做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2459
使用深度学习进行图像类任务时，通常网络的输入大小是固定的，最近在进行涉及到文字检测的工作中，由于预处理resize缩小了原图，导致字体变模糊，从而检测失败，后来想到使用overlap来对图像进行缩放裁剪，即先将原图缩放到一定尺寸，再裁剪得到网络的输入。好了，来说正题，使用yolov3，网络的输入是352x352x3，而输入图像大小为几百上千不等，因此需对原图进行resize，起初直接进行缩放+填充，检测的map很低，后来分析发现有些352x352的输入图像
系统 2019-09-27 17:55:08 2459
《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第11章数据可视化11.1matplotlib调用matplotlib有下面四个步骤：（1）设定画图背景样式mpl.style.use(“ggplot”)（2）设定画布#命名画布为fig，并把fig分为两个小画布（ax1,ax2），设置fig的大小为12*4点fig,(ax1,ax2)=plt.subplots(1,2,figsize=(12,4))（3）画图及设定元素df_mean.价格.pl
系统 2019-09-27 17:54:24 2459
自定义可迭代的类列表可以获取列表的长度，然后使用变量i对列表索引进行循环，也可以获取集合的所有元素，且容易理解。没错，使用列表的代码是容易理解，也很好操作，但这是要付出代价的。列表之所以可以用索引来快速定位其中的任何一个元素，是因为列表是一下子将所有的数据都装载在内存中，而且是一块连续的内存空间。当数据量比较小时，实现比较容易；当数据量非常大时，会非常消耗内存资源。而迭代就不同，迭代是读取多少元素，就将多少元素装载到内存中，不读取就不装载。这有点像处理XM
系统 2019-09-27 17:52:25 2459
崩溃边缘…最近公司很多事情，最重要的是，很多时候问题压根不出在我身上，但还得我去定位解决，为什么大家都是写代码的，我就得给你们擦屁股呢！怒从心头起，搞得错别字都发出去了，哎…晚上加完班回来坐在电脑前发呆，不知道该写点什么。想起今天领导说的要拿java写一套解密算法后，通过python调用，突然想想有阵子没学java了…然后，你们以为我要弃坑写Java的内容，No…开发者桌面之前写过一篇文章：将Android手机打造成你的python开发者桌面在安卓手机上通
系统 2019-09-27 17:51:10 2459
importtimedeflog_time(func,*args,**kwargs):definner():t1=time.time()func(*args,**kwargs)t2=time.time()print(f"使用的时间是{t2-t1}s")returninner@log_timedefappend_func():ll=list()foriinrange(10000):ll.append(i)@log_timedefinsert_func():l
系统 2019-09-27 17:49:44 2459
我就废话不多说，直接上代码吧！fromPILimportImageGrabimporttimeimportscheduleimportosimportshutilimportdatetimedays=-3#截屏defsavepic():im=ImageGrab.grab()now=time.strftime("%Y_%m_%d_%H_%M_%S",time.localtime())day=time.strftime("%Y%m%d",time.localt
系统 2019-09-27 17:46:40 2459
最近，想在我的YouMoney（http://code.google.com/p/youmoney/）里面增加提取用户操作系统版本信息。比如windows用户，可能要返回WindowsXP,或者Windows2003,苹果用户应该返回MacOSX10.5.8。用了很多办法，包括在mac系统里调用系统命令，取环境变量，等等。最后无意发现，原来python里里面有个platform模块就可以干这件事情。省事啊！mac上这么干复制代码代码如下:localhost
系统 2019-09-27 17:38:43 2459
现在是好时机来指出Django和URL配置背后的哲学：松耦合原则。简单的说，松耦合是一个重要的保证互换性的软件开发方法。Django的URL配置就是一个很好的例子。在Django的应用程序中，URL的定义和视图函数之间是松耦合的，换句话说，决定URL返回哪个视图函数和实现这个视图函数是在两个不同的地方。这使得开发人员可以修改一块而不会影响另一块。例如，考虑一下current_datetime视图。如果我们想把它的URL从原来的/time/改变到/curre
系统 2019-09-27 17:37:39 2459
eclipse不能打开了打开出现version1.4.2_03ofJVMisnotsuitableforthisproduct.Version:1.5orgreaterisrequired环境变量也设置了版本是1.6的很有可能是oracle自带的那个烂jvm，看看你的环境变量设置：classpath、java_home都是那个Oracle搞的将环境变量path里面有关oracle的全放到最后即可如：%SystemRoot%\system32;%System
系统 2019-08-29 23:48:55 2459
