做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2389
学英语广告最近也许是刚开学的原因，不管是公众号，还是刷抖音，导出都能看到关于学英语、背单词的广告。不知道现在学生们背单词买的什么辅导材料。反正我们上学那会，《星火阅读》特别的火。记得当时随书还送一个红色的塑料膜。书中英语单词是红色的其他文字是黑色的。背单词的时候先把塑料膜盖在书上，然后就只能看到翻译和音标，从而起到自测英语的作用。一页看完了取下塑料膜，再核对哪些单词记错了。就这么一个无脑的功能，当时的我们都觉得好犀利，谁一本这样的背单词书，都不好意思出去装
系统 2019-09-27 17:55:27 2389
处理丢失数据有两种丢失数据：Nonenp.nan(NaN)In[1]:importnumpyasnpIn[12]:%timeitnp.arange(0,10000,dtype=int).sum()21.3µs±1.66µsperloop(mean±std.dev.of7runs,10000loopseach)In[13]:%timeitnp.arange(0,10000,dtype=float).sum()24.2µs±2.7µsperloop(mean±
系统 2019-09-27 17:55:21 2389
一：第一步windows下Anaconda与PyCharm的安装windows下Anaconda与PyCharm的安装与使用（致Python初学者们-Anaconda入门使用指南）或（Python数据分析必备Anaconda安装、快捷键、包安装）二：第二步python环境变量配置（看下文中如何配置环境变量）Anaconda安装后配置环境变量Anaconda安装后在cmd中运算python无效，是环境变量没有生效。正常安装需要有三个，配置好就行。D:\xwa
系统 2019-09-27 17:54:12 2389
无聊统计了下列表去重到底有多少种方法。下面小编给大家总结一下，具体内容详情如下；开发中对数组、列表去重是非常常见的需求，对一个list中的id进行去重，有下面几种方法，前面两种方法不能保证顺序，后面两种方法可以保持原来的顺序。下面的代码都在Python3下测试通过，Python2下请自行测试1.使用set的特型，python的set和其他语言类似,是一个无序不重复元素集orgList=[1,0,3,7,7,5]#list()方法是把字符串str或元组转成数
系统 2019-09-27 17:53:06 2389
oop1.py文件代码#user/bin/pythonclassFoo:defbar(self):print('ok')defhello(self,name):print("iam%s"%name)foo=Foo()foo.bar()foo.hello('FredHuang')classFoo:def__init__(self,name,age):'''初始化实例属性'''self._name=name"""该方法不能通过frommoduleimport*
系统 2019-09-27 17:53:01 2389
python模块randomIn[1]:importrandomIn[2]:random.uniform(0.7,5)Out[2]:0.7418808135797732In[3]:random.uniform(0.7,5)Out[3]:1.20091265582769In[4]:random.uniform(0.7,5)Out[4]:4.7791965347089125In[5]:random.uniform(0.7,5)Out[5]:2.78827963
系统 2019-09-27 17:51:08 2389
本文实例讲述了Python类属性与实例属性，类对象与实例对象用法。分享给大家供大家参考，具体如下：demo.py（类属性，所有实例对象共用类属性）：#定义工具类继承object是为了兼容python2.xclassTool(object):#使用赋值语句定义类属性，记录实例化工具对象的数量count=0def__init__(self,name):self.name=name#初始化方法内部定义及初始化实例属性#类名.类属性名的方式访问类属性.Tool.c
系统 2019-09-27 17:49:22 2389
集合类型数学上,，把set称做由不同的元素组成的集合，集合（set）的成员通常被称做集合元素（setelements）。Python把这个概念引入到它的集合类型对象里。集合对象是一组无序排列的可哈希的值，集合成员可以做字典中的键。数学集合转为Python的集合对象很有效，集合关系测试和union、intersection等操作符在Python里也同样如我们所预想地那样工作。和其他容器类型一样，集合支持用in和notin操作符检查成员，由len()内建函数得
系统 2019-09-27 17:38:27 2389
Python3，开一个线程，间隔1秒把一个递增的数字写入队列，再开一个线程，从队列中取出数字并打印到终端复制代码代码如下:#!/usr/bin/envpython3importtimeimportthreadingimportqueue#一个线程，间隔一定的时间，把一个递增的数字写入队列#生产者classProducer(threading.Thread):def__init__(self,work_queue):super().__init__()#必须
系统 2019-09-27 17:37:44 2389
