搜索到与相关的文章
Python

零基础写python爬虫之爬虫框架Scrapy安装配置

前面十章爬虫笔记陆陆续续记录了一些简单的Python爬虫知识,用来解决简单的贴吧下载,绩点运算自然不在话下。不过要想批量下载大量的内容,比如知乎的所有的问答,那便显得游刃不有余了点。于是乎,爬虫框架Scrapy就这样出场了!Scrapy=Scrach+Python,Scrach这个单词是抓取的意思,Scrapy的官网地址:点我点我。那么下面来简单的演示一下Scrapy的安装流程。具体流程参照://www.jb51.net/article/48607.htm

系统 2019-09-27 17:54:46 2119

Python

python实现常见算法

常见算法:一、排序引入1.排序与搜索排序算法(英语:Sortingalgorithm)是一种能将一串数据依照特定顺序进行排列的一种算法。2.排序算法的稳定性稳定性:稳定排序算法会让原本有相等键值的纪录维持相对次序。18385672(4,1)(3,1)(3,7)(5,6)(3,7)(3,1)如果一个排序算法是稳定的,当有两个相等键值的纪录R和S,且在原本的列表中R出现在S之前,在排序过的列表中R也将会是在S之前。不稳定排序算法可能会在相等的键值中改变纪录的相

系统 2019-09-27 17:54:46 2119

Python

实例详解Python装饰器与闭包

闭包是Python装饰器的基础。要理解闭包,先要了解Python中的变量作用域规则。变量作用域规则首先,在函数中是能访问全局变量的:>>>a='globalvar'>>>deffoo():print(a)>>>foo()globalvar然后,在一个嵌套函数中,内层函数能够访问在外层函数中定义的局部变量:>>>deffoo():a='freevar'defbar():print(a)returnbar>>>foo()()freevar闭包上面的嵌套函数就是

系统 2019-09-27 17:54:39 2119

Python

Python模仿POST提交HTTP数据及使用Cookie值的方法

本文实例讲述了在Python中模仿POSTHTTP数据及带Cookie提交数据的实现方法,分享给大家供大家参考。具体实现方法如下:方法一如果不使用Cookie,发送HTTPPOST非常简单:复制代码代码如下:importurllib2,urllibdata={'name':'www','password':'123456'}f=urllib2.urlopen(url='//www.jb51.net/',data=urllib.urlencode(data)

系统 2019-09-27 17:54:37 2119

Python

python中数组和矩阵乘法及使用总结(推荐)

Matrix是Array的一个小的分支,包含于Array。所以matrix拥有array的所有特性。但在数组乘和矩阵乘时,两者各有不同,如果a和b是两个matrices,那么a*b,就是矩阵积如果a,b是数组的话,则a*b是数组的运算1.对数组的操作>>>importnumpyasnp>>>a=np.array([[1,2,3],[4,5,6],[7,8,9]])>>>aarray([[1,2,3],[4,5,6],[7,8,9]])>>>b=a.copy

系统 2019-09-27 17:54:15 2119

Python

Python 自带网页解析器 html.parser

一般用xlml但遇到过解析出来的内容不一样。有误用另一种方法得到正确的,有误应该只是极少问题。这种方案备用html=browser.page_sourcehtm=bs(html,'html.parser')

系统 2019-09-27 17:53:29 2119

Python

python学习笔记——if和else

首先我们提到一个代码块的概念。在python中并没有花括号来表示代码块这种规定。所以它有了一个新的规定:用缩进来表示代码块。(强制要求缩进)当然了,这对像我这种不缩进都要死的人,没有任何坏处。所以我们来将一下if语句的模板。cgg=10ifcgg<=60:print("Youarerubbish")else:print("Youaregarbage")这就是最基本的if-else当然了,我们还有elseif,在python中用elif来表示。如:cgg=1

系统 2019-09-27 17:53:01 2119

Python

python的循环

python的循环编写程序时经常有代码需要重复运行,python提供了while和for进行循环操作。一、while循环1、while循环可以根据条件进行判断,决定是否要循环执行语句块,语法如下:循环条件后面也是要使用冒号,然后缩进写循环操作语句,先判断条件是否成立,如果为true,则执行循环操作语句,如果为false,则跳出循环。示例代码如下:count=0while(count<5):count=count+1print(count)#结果>>>5变量

系统 2019-09-27 17:52:20 2119

Python

Python进阶之路 3.5.2 for循环

3.5.2for循环hello大家好,不知道在上节中大家练习while循环练习得怎么样了,相信大家都已经熟悉while循环了吧,那么现在我在这里在向大家讲解一下for循环。大家肯定也很懵圈,怎么有个while循环,又有个for循环,for循环又是干嘛的?相信很多刚接触编程的朋友一定很懵圈,哈哈......因为我当时也很懵圈。好了,废话不多说,接下来就给大家将一下for循环和while循环的区别,以及for循环是什么东西。while循环的功能非常强大,它可以

系统 2019-09-27 17:52:18 2119

Python

Python基于BeautifulSoup和requests实现的爬虫功能示例

本文实例讲述了Python基于BeautifulSoup和requests实现的爬虫功能。分享给大家供大家参考,具体如下:爬取的目标网页:http://www.qianlima.com/zb/area_305/这是一个招投标网站,我们使用python脚本爬取红框中的信息,包括链接网址、链接名称、时间等三项内容。使用到的Python库:BeautifulSoup、requests代码如下:#-*-coding:utf-8-*-importrequestsfr

系统 2019-09-27 17:52:10 2119