协程是什么我们已经做过不少爬虫项目,不过我们爬取的数据都不算太大,如果我们想要爬取的是成千上万条的数据,那么就会遇到一个问题:因为程序是一行一行依次执行的缘故,要等待很久,我们才能拿到想要的数据。既然一个爬虫爬取大量数据要爬很久,那我们能不能让多个爬虫一起爬取?这样无疑能提高爬取的效率,就像一个人干不完的活儿,组个团队一起干,活一下被干完了。这是一个很好的思路——让多个爬虫帮我们干活。但具体怎么用Python实现这事呢?我们可以先别急着想怎么实现这件事,后
系统 2019-09-27 17:50:16 1975
原题|Left-recursivePEGgrammars作者|GuidovanRossum(Python之父)译者|豌豆花下猫(“Python猫”公众号作者)声明|本翻译是出于交流学习的目的,基于CCBY-NC-SA4.0授权协议。为便于阅读,内容略有改动。我曾几次提及左递归是一块绊脚石,是时候去解决它了。基本的问题在于:使用递归下降解析器时,左递归会因堆栈溢出而导致程序终止。【这是我的PEG系列的第5部分。其它文章参见这个目录】假设有如下的语法规则:ex
系统 2019-09-27 17:49:42 1975
原题|Left-recursivePEGgrammars作者|GuidovanRossum(Python之父)译者|豌豆花下猫(“Python猫”公众号作者)声明|本翻译是出于交流学习的目的,基于CCBY-NC-SA4.0授权协议。为便于阅读,内容略有改动。我曾几次提及左递归是一块绊脚石,是时候去解决它了。基本的问题在于:使用递归下降解析器时,左递归会因堆栈溢出而导致程序终止。【这是我的PEG系列的第5部分。其它文章参见这个目录】假设有如下的语法规则:ex
系统 2019-09-27 17:49:40 1975
列表列表是内建的数据结构,用来存储一系列元素。列表与字符串相同点:都支持索引([]运算符)、切片([:])、拼接(+)、重复(*)、成员(in运算符)、长度(len()函数)和循环(for)操作。不同点:列表使用[]生成,元素之间用逗号分离,字符串使用成对引号生成;列表可以包含多种类型的对象,字符串只能是字符;列表的内容是可变的,字符串一旦生成就不可变。列表的可变性可以对列表中的任意元素进行重新赋值,如:lst[0]=‘a’可以通过切片操作对子列表进行赋值
系统 2019-09-27 17:49:26 1975
1.1安装模块pipinstallpykafka1.2基本使用#-*coding:utf8*-frompykafkaimportKafkaClienthost='IP:9092,IP:9092,IP:9092'client=KafkaClient(hosts=host)#生产者topicdocu=client.topics['my-topic']producer=topicdocu.get_producer()foriinrange(100):printi
系统 2019-09-27 17:48:56 1975
代码很简单,功能也很简单=w=webpage2pdf#!/usr/bin/envpython3importsystry:fromPyQt4importQtWebKitfromPyQt4.QtCoreimportQUrlfromPyQt4.QtGuiimportQApplication,QPrinterexceptImportError:fromPySideimportQtWebKitfromPySide.QtCoreimportQUrlfromPySide
系统 2019-09-27 17:48:50 1975
下面通过几个案例来分析一下,注意:本节的parsematch函数请参考《妙用re.sub分析正则表达式解析匹配过程》案例一:>>>re.findall(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')['断魔归本合元神']>>>parsematch(r".*.*(.*)",'第二回悟彻菩提真妙理断魔归本合元神')第1次匹配,匹配情况:匹配子串group(0):第二回悟彻菩提真妙理断魔归本合元神,位置为:(0,19)匹配子串group(1):
系统 2019-09-27 17:48:48 1975
阅读更多万能的Python大法可以做很多有趣的事情,那我们今天来看看使用简单的Python来实现对一个网页的朗读吧!首先我们需要装一些必要的库:readability它是用来提取网页内的内容的pipinstallreadability-lxmlgoose它是一个文章提取器,我们用它来进行文章的提取pipinstallgoose3baidu-aip百度提供的PythonSDK,接口文档:http://ai.baidu.com/docs#/TTS-Online
系统 2019-09-27 17:48:22 1975
随便在网上找了找,感觉都是讲半天讲不清楚,这里写一下。defgenerator():whileTrue:receive=yield1print('extra'+str(receive))g=generator()print(next(g))print(g.send(111))print(next(g))输出:1extra1111extraNone1为什么会这样呢,点进send就能看到一句话send:Resumesthegeneratorand"sends"
系统 2019-09-27 17:48:19 1975
什么是闭包Objectsaredatawithmethodsattached.Closuresarefunctionswithdataattached.一般来说,我们都非常熟悉面向对象(OOD)语言中的对象的概念。所谓对象(Object),指的是附带相应方法的__数据__。那么相对而言,闭包(closure)指的则是附带相应数据的__函数__。换句话说,闭包函数能够引用一些并不在当前代码全局上下文中定义的变量。这些被引用的变量(称为自由变量)是在闭包函数被
系统 2019-09-27 17:48:00 1975