前言刚开始开发Web的时候，没太在意隔离虚拟环境，用了系统的那一套，Python2.7版本是系统自带的，虽说明年就结束了，但是现在开发都会有一套3.x以上的环境，即使你开发不注意，你部署的时候总归是要隔离出来的。1.方便隔离，不同环境编写测试2.方便迁移，pipfreeze到出包文件依赖，随后提交管理和迁移都很方便virtualenv前提是你有两套PythonmikejingdeMacBook-Pro:~MKJ$whichpython/usr/bin/py
系统 2019-09-27 17:52:33 2110
爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:06 2110
函数：split()Python中有split()和os.path.split()两个函数，具体作用如下：split()：拆分字符串。通过指定分隔符对字符串进行切片，并返回分割后的字符串列表（list）os.path.split()：按照路径将文件名和路径分割开一、函数说明1、split()函数语法：str.split(str="",num=string.count(str))[n]参数说明：str：表示为分隔符，默认为空格，但是不能为空('')。若字符串
系统 2019-09-27 17:50:50 2110
什么是生产器利用迭代器，我们可以每次迭代获取数据(通过next(）方法)时按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代到的状态需要我们自己记录，进而才能根据当前状态生产下一个数据。为了达到记录当前状态，并配合next(）函数进行迭代使用，我们可以采用更简便的语法。即生成器(gennerator)。生成器是一类特殊的迭代器创建生成器的方法1：将列表生成器[]改为(）代码:nums=[x*2forxinrange(10)]print(num
系统 2019-09-27 17:49:50 2110
celery英文官方网站：www.celeryproject.org中文网站：http://docs.jinkan.org/docs/celery/celeryCelery是一个简单、灵活且可靠的，处理大量消息的分布式系统，并且提供维护这样一个系统的必需工具。专注于实时处理的任务队列，同时也支持任务调度。作用：解决耗时操作：开一个新的进程，去操作耗时操作，不影响原有进程定时操作，使Listitem用celery定时执行操作：定义一个任务task，也就是一个
系统 2019-09-27 17:48:28 2110
如下所示：importtime,requestesfromtomorrowimportthreads@threads(10)#使用装饰器，这个函数异步执行defdownload(url):returnrequests.get(url)defmain():start=time.time()urls=['https://pypi.org/project/tomorrow/0.2.0/','https://www.cnblogs.com/pyld/p/47167
系统 2019-09-27 17:48:19 2110
python的pickle模块实现了基本的数据序列和反序列化。通过pickle模块的序列化操作我们能够将程序中运行的对象信息保存到文件中去，永久存储；通过pickle模块的反序列化操作，我们能够从文件中创建上一次程序保存的对象。基本接口：复制代码代码如下:pickle.dump(obj,file,[,protocol])注解：将对象obj保存到文件file中去。protocol为序列化使用的协议版本，0：ASCII协议，所序列化的对象使用可打印的ASCII
系统 2019-09-27 17:47:04 2110
fromkeys()方法从序列键和值设置为value来创建一个新的字典。语法以下是fromkeys()方法的语法：dict.fromkeys(seq[,value]))参数seq--这是将用于字典的键准备的值的列表。value--这是可选的，如果提供的话则值将被设置为这个值返回值此方法返回列表。例子下面的例子显示fromkeys()方法的使用。#!/usr/bin/pythonseq=('name','age','sex')dict=dict.fromke
系统 2019-09-27 17:46:49 2110
一、说明类似json将xml解析为python对象，可以使用第三方库untangle或xmltodict实现。将以下内容保存为xml2obj.xml，后我我们就使用该文件。1.第一行的是xml文件的声明，它定义了xml的版本(1.0)和所使用编码为UTF-8。2.接下来就是xml文件的内容了，这些内容按一个树状结构进行组织摆放，形式如下：section1contentsection2content其中，每一个.叫做一个节点，也叫一个元素，节点可以嵌套放置，
系统 2019-09-27 17:46:25 2110
Scrapy官方介绍是Anopensourceandcollaborativeframeworkforextractingthedatayouneedfromwebsites.Inafast,simple,yetextensibleway.意思就是一个开源和协作框架，用于以快速，简单，可扩展的方式从网站中提取所需的数据。环境准备本文项目使用环境及工具如下python3scrapymongodbpython3scrapy的安装就不再叙述mongodb是用来存
系统 2019-09-27 17:46:17 2110
