写python协程时使用gevent模块和queue模块可以大大提高爬虫速度。在同时爬取多个网站时，原来用for循环一个网站一个网站按循序顺序爬，就像先烧饭后烧菜，两个步骤异步进行。使用多协程可以让爬虫自己选择爬取顺序，就像边烧饭边烧菜，两个步骤同步进行，速度自然快了。不多说了，来看下代码吧：fromgeventimportmonkeymonkey.patch_all()#打上多协程布丁，下面的程序就可以执行多协程了importrequests,geven
系统 2019-09-27 17:47:59 2044
经常有同学问我Python入门及进阶的学习书籍，所以今天给大家分享两本书。Python编程：从入门到实践Python从入门到实践，豆瓣评分9.1分，基于Python3.5也兼顾了2.7。书前半部分（11章）是对Python基础知识的讲解，而后半部分（9章）分别讲述了三个项目实践，从「外星人入侵」游戏，数据可视化，DjangoWEB开发进行实践。可以说是真的兼顾了「入门」和「实践」。难能可贵的是作者专门拿出一章来讲如何进行单元测试，单元测试我觉得是一个程序员
系统 2019-09-27 17:47:47 2044
AES(英文：AdvancedEncryptionStandard，中文：高级加密标准)，是一种区块加密标准。AES将原始数据分成多个4×4字节矩阵来处理，通过预先定义的密钥对每个字节矩阵中的每个字节进行异或、替换、移位以及线性变换操作来达到加密的目的。密钥长度可以是128，192或256比特。下面是一个利用PythonM2Crypto库，并使用aes_128_ecb算法进行加密和解密的例子。首先介绍一下几个关键的点：1、iv(Initialization
系统 2019-09-27 17:47:10 2044
什么是生成器？可以理解为一种数据类型，这种数据自动实现了迭代器协议（其他数据类型需要调用自己内置的_iter_方法），所以生成器就是可迭代对象python提供生成器的两种表现形式：1.生成器函数：常规函数的定义，但是，使用yield语句而不是return语句返回结果。yield语句一次返回一个结果，在每个结果中间，挂起函数的状态，以便下次从它离开的地方继续执行。**函数里有yiled，执行函数就是一个生成器，不管yield位置在哪。采集函数创建生成器时，如
系统 2019-09-27 17:46:40 2044
涉及到详情页爬取目录结构:kaoshi_bqg.pyimportscrapyfromscrapy.spidersimportRulefromscrapy.linkextractorsimportLinkExtractorfrom..itemsimportBookBQGItemclassKaoshiBqgSpider(scrapy.Spider):name='kaoshi_bqg'allowed_domains=['biquge5200.cc']start_
系统 2019-09-27 17:46:11 2044
前面的python3入门系列基本上也对python入了门，从这章起就开始介绍下python的爬虫教程，拿出来给大家分享；爬虫说的简单，就是去抓取网路的数据进行分析处理；这章主要入门，了解几个爬虫的小测试，以及对爬虫用到的工具介绍，比如集合，队列，正则表达式；用python抓取指定页面：代码如下：importurllib.requesturl="http://www.baidu.com"data=urllib.request.urlopen(url).rea
系统 2019-09-27 17:45:49 2044
大体上把Python中的数据类型分为如下几类：Number（数字）包括int,long,float,complexString（字符串）例如：hello,"hello",helloList（列表）例如：[1,2,3],[1,2,3,[1,2,3],4]Dictionary（字典）例如：{1:"nihao",2:"hello"}Tuple（元组）例如：(1,2,3,abc)Bool（布尔）包括True、False由于Python中认为所有的东西都是对象，所以
系统 2019-09-27 17:38:45 2044
代码实例：复制代码代码如下:try:importtermios,TERMIOS1exceptImportError:try:importmsvcrt2exceptImportError:try:fromEasyDialogsimportAskPassword3exceptImportError:getpass="default_getpass"4else:getpass="AskPassword"5else:getpass="win_getpass"els
系统 2019-09-27 17:37:53 2044
2016年11月27日08:13:13API服务地址：http://lbsyun.baidu.com/index.php?title=webapi/high-acc-ip使用方法：第一步，申请密钥（AK），作为访问服务的依据；第二步，拼写发送HTTP/HTTPS请求的URL，注意需使用第一步申请的AK；第三步，接收HTTP/HTTPS请求返回的数据（JSON/JSONP格式）服务地址：http://api.map.baidu.com/highacciplo
系统 2019-09-27 17:37:40 2044
你应该在生产环境中把TEMPLATE_DEBUGFalse如果这个设为``True``，为了在那个好看的错误页面上显示足够的东西，Django的模版系统就会为每一个模版保存一些额外的信息。实现一个404模板如果``DEBUG``设置为``True``，Django会显示那个自带的404错误页面。但如果``DEBUG``被设置成``False``，那它的行为就不一样了：他会显示一个在你的模版根目录中名字叫``404.html``的模版所以，当你准备部署你的应
系统 2019-09-27 17:37:36 2044
