Python - 军军小站|张军博客
Python

Python网络爬虫:基础知识Beautiful Soup

一、BeautifulSoup简介网络数据挖掘指的是从网站中获取数据的过程,数据挖掘技术可以让我们从网站世界中收集大量有价值的数据。BeautifulSoup是一个Python库,可以从HTML或XML文件中获取数据,利用它你可以做很多事情,比如你可以持续解析某个商品的最新价格,以便跟踪价格的波动情况。二、BeautifulSoup安装安装BeautifulSouppip3installbeautifulsoup4检验是否安装成功frombs4import

系统 2019-09-27 17:53:33 2048

Python

Python爬取豆瓣电影(附生成图表)

Python爬取豆瓣电影,最简单,最暴力,直接搞Api首先是api地址(地址去官网溜达一圈很容易就找到):requests.get('https://movie.douban.com/j/search_subjects?type=movie&tag={}&sort=recommend&page_limit={}&page_start=0'.format(tag,page)使用requests发送get请求拿到json数据(一次可以抓很多条,所以没必要循环抓

系统 2019-09-27 17:53:31 2048

Python

python程序异常崩溃时如何快速分析并解决问题

程序异常崩溃时会提供非常详细的错误信息,掌握正确的分析方法,就可以快速定位问题并解决问题,下面这段代码会引发异常导致程序终止deffunc_tet():func_sum('4',3)deffunc_sum(a,b):value=a+breturnvaluefunc_tet()运行这段程序,异常信息如下我将异常信息分为两部分,分析时,先关注最后一行绿色框内的信息,这里的信息明确的指明了异常的类型和异常的解释信息,这是我们分析问题的第一步,随着经验的积累,你很

系统 2019-09-27 17:52:03 2048

Python

Python爬虫偷懒神器!快速一键生成Python爬虫请求头

今天介绍个神奇的网站!堪称爬虫偷懒的神器!我们在写爬虫,构建网络请求的时候,不可避免地要添加请求头(headers),以mdn学习区为例,我们的请求头是这样的:一般来说,我们只要添加user-agent就能满足绝大部分需求了,Python代码如下:在学习过程中有什么不懂得可以加我的python学习交流扣扣qun,784758214群里有不错的学习视频教程、开发工具与电子书籍。与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内

系统 2019-09-27 17:50:07 2048

Python

Python妙用re.sub分析正则表达式匹配过程

声明:本文所使用方法为老猿自行研究并编码,相关代码版权为老猿所有,禁止转载文章,代码禁止用于商业用途!在《第11.23节Python中re模块的搜索替换功能:sub及subn函数》介绍了re.sub函数,其中的替换内容可以是一个函数,利用该功能我们可以展示正则表达式匹配过程中匹配到的目标子串的匹配顺序、匹配文本的内容和匹配文本在搜索文本中的位置。具体实现如下:importrematchcount=0defparsematch(patstr,text):gl

系统 2019-09-27 17:48:49 2048

Python

Python程序设计入门(4)模块和包

Python语言功能非常强大,除了类之外,还有模块和包的概念,这有点像perl,此处简单说说包和模块。一、Python中的模块模块――其实就是我们说的库(lib)的概念,不过它不仅只是可以包含一系列函数,也可以包含类,python里是没有像C语言之类,直接include某文件的,包正是这种类似的东西。Python引入模块的方法有两种:1、import模块名(实际是对应的就是文件名.py)2、模块名=__import__("模块文件名(不带扩展名)")也可以

系统 2019-09-27 17:48:22 2048

Python

用Python从0开始实现一个中文拼音输入法的思路详解

众所周知,中文输入法是一个历史悠久的问题,但也实在是个繁琐的活,不知道这是不是网上很少有人分享中文拼音输入法的原因,接着这次NLPProject的机会,我觉得实现一发中文拼音输入法,看看水有多深,结果发现还挺深的,但是基本效果还是能出来的,而且看别的组都做得挺好的,这次就分享一下我们做的结果吧。(注:此文假设读者已经具备一些隐马尔可夫模型的知识)任务描述实现一个中文拼音输入法。经过分析,分为以下几个模块来对中文拼音输入法进行实现:核心功能包括拼音切分(Sp

系统 2019-09-27 17:48:20 2048

Python

python strip()函数 介绍

描述Pythonstrip()方法用于移除字符串头尾指定的字符(默认为空格)。语法strip()方法语法:str.strip([chars]);参数chars--移除字符串头尾指定的字符。返回值返回移除字符串头尾指定的字符生成的新字符串。实例以下实例展示了strip()函数的使用方法:#!/usr/bin/python#-*-coding:UTF-8-*-str="0000000jb51.net0000000"print(str.strip('0'))#去

系统 2019-09-27 17:47:56 2048

Python

Python字典嵌套

文|猿天罡前言前两篇文章,我们学习了Python字典的基本用法和遍历字典的三种方式为了让小伙伴们不耗费多余的注意力,我们举的例子都尽可能的简单,不信你回去看看,字典键对应的值都是基本数据类型(字符串、数字等)。其实,字典里键对应的值可以很复杂。我们可以在字典中存储列表,在列表中存储字典,在字典中存储字典等等。Python中几乎所有的数据类型,都可以存进字典里。学习不是一日之功,需摆正心态,持之以恒,希望小伙伴们对学习一门语言抱有基本的耐心。下面我们来开心地

系统 2019-09-27 17:46:52 2048

Python

Python爬虫中urllib库的进阶学习

urllib的基本用法urllib库的基本组成利用最简单的urlopen方法爬取网页html利用Request方法构建headers模拟浏览器操作error的异常操作urllib库除了以上基础的用法外,还有很多高级的功能,可以更加灵活的适用在爬虫应用中,比如:使用HTTP的POST请求方法向服务器提交数据实现用户登录使用代理IP解决防止反爬设置超时提高爬虫效率解析URL的方法本次将会对这些内容进行详细的分析和讲解。POST请求POST是HTTP协议的请求方

系统 2019-09-27 17:38:44 2048

Python

Python:axis=0 axis=1的理解

官方文档解释:轴用来为超过一维的数组定义的属性,二维数据拥有两个轴:第0轴沿着行的垂直往下,第1轴沿着列的方向水平延伸。注意看,官方对于0和1的解释是轴,也就是坐标轴。而坐标轴是有方向的,所以千万不要用行和列的思维去想axis,因为行和列是没有方向的,这样想会在遇到不同的例子时感到困惑。根据官方的说法,1表示横轴,方向从左到右;0表示纵轴,方向从上到下。当axis=1时,数组的变化是横向的,而体现出来的是列的增加或者减少。其实axis的重点在于方向,而不是

系统 2019-09-27 17:56:03 2047

Python

python常用导入函数及其他操作备忘录

python常用导入函数及其他操作备忘录python常用导入函数解压缩zip并读取csv文件查看缺失值权重系数取绝对值后排序(查看特征权重重要度)python常用导入函数fromIPython.displayimportdisplayimportnumpyasnpimportpandasaspdfrompandasimportSeries,DataFramefromPILimportImageimportmatplotlib.pyplotasplt%mat

系统 2019-09-27 17:55:18 2047

Python

牛!这本 Python 3.6 的书火爆了 IT 圈!

原文链接:https://t.csdnimg.cn/wSsp最近这段时间,常常有人在后台留言:该不该学Python?如何学Python?鉴于大家都有这方面的困惑今天就给大家推荐一本巨有影响力的Python书火到什么地步呢?在京东上常常卖断货!上线2月就成为畅销王!好评不断!这本书可谓是笔者独家私藏图书之一了,对我学习Python有着莫大的帮助,这次拿出来给大家分享一下PS:文末还将赠送5门课程!这本基于3.6的Python书究竟好在哪?这本书就是《疯狂Py

系统 2019-09-27 17:55:01 2047

Python

Python中的高阶函数(内置高阶函数map()、reduce

一、什么是高阶函数在计算机编程语言中,高阶函数指的是接受函数作为输入或输出的函数。二、高阶函数的特性函数本身也可以赋值给变量变量可以指向函数f=abs#abs()取绝对值函数,将函数赋给变量fprint(f(-10))#输出结果-10的绝对值三、内置高阶函数map()map():接收两个参数,一个是函数一个是序列map()将传入的函数依次作用到序列的每个元素,并且把结果作为新的序列返回例:对一个序列[-1,3,-4,-5]的每一个元素求绝对值代码:结果:例

系统 2019-09-27 17:54:46 2047

Python

Python与其他语言相比优缺点 python零基础入门

Python与其他语言相比优缺点python零基础入门python作为一门高级编程语言,它的诞生虽然很偶然,但是它得到程序员的喜爱却是必然之路,以下是Python与其他编程语言的优缺点对比:1.Python优势:简单易学,能够把用其他语言制作的各种模块很轻松地联结在一起。劣势:速度较慢,且有一些特定情况下才会出现(无法重现)的bug2.C/C++C/C++优势:可以被嵌入任何现代处理器中,几乎所有操作系统都支持C/C++,跨平台性非常好劣势:学习难度大,且

系统 2019-09-27 17:54:17 2047