做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2386
YAML语法规则：http://www.ibm.com/developerworks/cn/xml/x-cn-yamlintro/下载PyYAML：http://www.yaml.org/解压安装：pythonsetup.pyinstall1.新建test.yaml文件，内容如下：name:TomSmithage:37spouse:name:JaneSmithage:25children:-name:JimmySmithage:15-name1:Jenny
系统 2019-09-27 17:56:16 2386
继3.7版本之后Python再次发布了新版本，虽然新版本带来了不少调整，但是其中很大一部分都是对代码底层设计的修改，又或是typing、pickle等不常用的功能，对多数用户而言影响不大，今天我想重点聊一聊那些将对我们的代码编写产生较大影响的新功能。在体验开始前先说下准备工作，由于Python3.8还没有正式发布，因此通过Anaconda的多版本管理搭建Python3.8新环境的方法是行不通的，我的做法是到官网下载对应的最新版本后单独安装。为了避免与现有环
系统 2019-09-27 17:55:51 2386
假设红包金额为money，数量是num，并且红包金额money>=num*0.01原理如下，从1~money*100的数的集合中，随机抽取num-1个数，然后对这些数进行排序，在排序后的集合前后分别插入0和money*100，组成新的集合用新的集合，（后一个数-前一个数）/100得到红包的大小然后使用红包的时候，从num个红包集合中随机拿一个，既是随机红包了defredbags(money,num=10):importrandomchoice=random
系统 2019-09-27 17:54:19 2386
我就废话不多说，直接上代码吧！fromPILimportImageGrabimporttimeimportscheduleimportosimportshutilimportdatetimedays=-3#截屏defsavepic():im=ImageGrab.grab()now=time.strftime("%Y_%m_%d_%H_%M_%S",time.localtime())day=time.strftime("%Y%m%d",time.localt
系统 2019-09-27 17:46:40 2386
Traceback(mostrecentcalllast):File"/usr/flink/alert/server/greeter_server.py",line8,infromexampleimporthelloworld_pb2,helloworld_pb2_grpcModuleNotFoundError:Nomodulenamed'example'1、Python中，每个py文件被称之为模块，每个具有_init_.py文件的目录被
系统 2019-09-27 17:46:30 2386
制作思路导入微信库ichat，中文分词库jieba跳出登陆二维码，扫码登陆获取好友列表构建所有好友个性签名组成的大列表tList对个性签名进行中文分词导入imageio库中的imread函数，并用这个函数读取本地图片，作为词云形状图片导入词云制作库wordcloud构建并配置词云对象w，注意要加scale参数，提高清晰度显示词云图片，并保存到本地#导入微信库ichat，中文分词库jiebaimportitchatimportjieba#先登录微信，跳出登陆
系统 2019-09-27 17:45:51 2386
集合类型数学上,，把set称做由不同的元素组成的集合，集合（set）的成员通常被称做集合元素（setelements）。Python把这个概念引入到它的集合类型对象里。集合对象是一组无序排列的可哈希的值，集合成员可以做字典中的键。数学集合转为Python的集合对象很有效，集合关系测试和union、intersection等操作符在Python里也同样如我们所预想地那样工作。和其他容器类型一样，集合支持用in和notin操作符检查成员，由len()内建函数得
系统 2019-09-27 17:38:27 2386
前言互联网发展到现在，早已超越了原始的初衷，人类从来没有像现在这样依赖过他；也正是这种依赖，促进了互联网技术的飞速发展。而终端设备的创新与发展，更加速了互联网的进化；HTTP/1.1规范发布于1999年，同年12月24日，HTML4.01规范发布；尽管已到2012年，但HTML4.01仍是主流；虽然HTML5的草案已出现了好几个年头，但转正日期，遥遥无期，少则三五年，多则数十年；而HTML5的客户代理(对于一般用户而言，就是浏览器)，则已百家争鸣，星星向荣
系统 2019-08-29 23:45:57 2386
今天突然想在正在做的网站中加上个像中关村一样的参数纠错的功能，效果如下图：虽然看起来好像蛮简单，但是自己还是想了一下午加上晚上的2个小时，不过等到自己做出来的时候好像也感觉到蛮简单的，其实这种web页面的小特效只要把思路想通了就很简单了，呵呵，只是思路，不能说是算法，算法太高深，ME也不懂。看到这个效果很容易想到，无非也就是给那个td单元格加上一个mouseover事件，当鼠标移上出的时候就出现那个“参数纠错”的HTML标签。用firebug查看中关村的页
系统 2019-08-29 23:40:46 2386
