做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2472
本文实例讲述了python解析网页源代码中的115网盘链接的方法。分享给大家供大家参考。具体方法分析如下：其中的1.txt，是网页http://bbs.pediy.com/showthread.php?t=144788另存为1.txt具体代码如下：importreif__name__=="__main__":fp=open("c:\\1.txt")https=re.compile(r"(http://u.*)")forurlinhttps.findall(
系统 2019-09-27 17:55:53 2472
学英语广告最近也许是刚开学的原因，不管是公众号，还是刷抖音，导出都能看到关于学英语、背单词的广告。不知道现在学生们背单词买的什么辅导材料。反正我们上学那会，《星火阅读》特别的火。记得当时随书还送一个红色的塑料膜。书中英语单词是红色的其他文字是黑色的。背单词的时候先把塑料膜盖在书上，然后就只能看到翻译和音标，从而起到自测英语的作用。一页看完了取下塑料膜，再核对哪些单词记错了。就这么一个无脑的功能，当时的我们都觉得好犀利，谁一本这样的背单词书，都不好意思出去装
系统 2019-09-27 17:55:27 2472
使用深度学习进行图像类任务时，通常网络的输入大小是固定的，最近在进行涉及到文字检测的工作中，由于预处理resize缩小了原图，导致字体变模糊，从而检测失败，后来想到使用overlap来对图像进行缩放裁剪，即先将原图缩放到一定尺寸，再裁剪得到网络的输入。好了，来说正题，使用yolov3，网络的输入是352x352x3，而输入图像大小为几百上千不等，因此需对原图进行resize，起初直接进行缩放+填充，检测的map很低，后来分析发现有些352x352的输入图像
系统 2019-09-27 17:55:08 2472
字典的特点：以键值对的形式存在，无序排序；key必须唯一不重复，且不能使用可变对象声明一个字典d={}print(d)print(type(d))增：d[1]=‘a’d[2]=‘c’d[3]=‘b’print(d)d.update({4:‘z’})print(d)dict.setdefault(key,value)，如果该key不存在，则在字典中插入这个键值对，并返回value；如果该key已存在，则返回字典中key对应的value，原字典不做更新d.se
系统 2019-09-27 17:54:56 2472
《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第11章数据可视化11.1matplotlib调用matplotlib有下面四个步骤：（1）设定画图背景样式mpl.style.use(“ggplot”)（2）设定画布#命名画布为fig，并把fig分为两个小画布（ax1,ax2），设置fig的大小为12*4点fig,(ax1,ax2)=plt.subplots(1,2,figsize=(12,4))（3）画图及设定元素df_mean.价格.pl
系统 2019-09-27 17:54:24 2472
效果图walker喜欢的功能：代码补全，一个问号（?）给出注释，两个问号浏览代码。环境操作系统：Windows10x641903Python3.6.7x64JupyterQtConsole4.5.2（官方文档）步骤安装ipythonpip3installipython-ihttps://pypi.doubanio.com/simple/安装pyreadlinepip3installpyreadline-ihttps://pypi.doubanio.com/
系统 2019-09-27 17:54:09 2472
脚本过于简单，供学习和参考。主要了解一下smtplib库的使用和超时机制的实现。使用signal.alarm实现超时机制。#!/usr/bin/envpython#-*-coding:utf-8-*-importtimeimportsysimportloggingimportsmtplibimportsocketimportsignalimportConfigParserfromdatetimeimportdatetimefromemailimporten
系统 2019-09-27 17:52:53 2472
题目1.编程实现9*9乘法表(循环嵌套的复习)。2.用函数实现求100-200里面所有的素数。3.请用函数实现一个判断用户输入的年份是否是闰年的程序。4.题目需求:对于一个十进制的正整数，定义f(n)为其各位数字的平方和5.题目描述:给定一个正整数，编写程序计算有多少对质数的和等于输入的这个正整数，并输出结果。输入值小于1000。1.编程实现9*9乘法表(循环嵌套的复习)。foriinrange(1,10):print()forjinrange(1,i+1
系统 2019-09-27 17:51:44 2472
python模块randomIn[1]:importrandomIn[2]:random.uniform(0.7,5)Out[2]:0.7418808135797732In[3]:random.uniform(0.7,5)Out[3]:1.20091265582769In[4]:random.uniform(0.7,5)Out[4]:4.7791965347089125In[5]:random.uniform(0.7,5)Out[5]:2.78827963
系统 2019-09-27 17:51:08 2472
