做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2487
《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第11章数据可视化11.1matplotlib调用matplotlib有下面四个步骤：（1）设定画图背景样式mpl.style.use(“ggplot”)（2）设定画布#命名画布为fig，并把fig分为两个小画布（ax1,ax2），设置fig的大小为12*4点fig,(ax1,ax2)=plt.subplots(1,2,figsize=(12,4))（3）画图及设定元素df_mean.价格.pl
系统 2019-09-27 17:54:24 2487
主成分分析是一种常用的降维方法，多见于数据预处理阶段，其伪代码如下：输入：样本数据集D={x1,x2,x3,x4},低空间维度数d'过程：1对所有样本进行中心化(每个特征维度都减去其均值)2计算所有样本的协方差矩阵3对协方差矩阵进行特征分解4取最大的d'个特征值的对应特征向量w1,w2,w3输出：投影矩阵W*=（w1,w2,wd'）下面是其代码实现：首先是产生数据，我们使用sklearn的make_blobs方法产生三类数据，每类有三个特征。数据结构是(n
系统 2019-09-27 17:53:00 2487
脚本过于简单，供学习和参考。主要了解一下smtplib库的使用和超时机制的实现。使用signal.alarm实现超时机制。#!/usr/bin/envpython#-*-coding:utf-8-*-importtimeimportsysimportloggingimportsmtplibimportsocketimportsignalimportConfigParserfromdatetimeimportdatetimefromemailimporten
系统 2019-09-27 17:52:53 2487
1.变量不能独立存在在C++等语言中，变量的声明和赋值是可以分开的inta;a=343;而在python中却不行，在声明python变量的同时必须进行赋值操作a=343如果你直接使用一个不存在的变量，就会发生错误,NameError:name'b'isnotdefined2.变量是内存中数据的引用a=343这样代码被执行时，首先要在内存中创建出343这个对象，然后让a指向它，这便是引用。此后，我们在程序中使用变量a时，其实都是在使用343，python可以
系统 2019-09-27 17:51:55 2487
题目1.编程实现9*9乘法表(循环嵌套的复习)。2.用函数实现求100-200里面所有的素数。3.请用函数实现一个判断用户输入的年份是否是闰年的程序。4.题目需求:对于一个十进制的正整数，定义f(n)为其各位数字的平方和5.题目描述:给定一个正整数，编写程序计算有多少对质数的和等于输入的这个正整数，并输出结果。输入值小于1000。1.编程实现9*9乘法表(循环嵌套的复习)。foriinrange(1,10):print()forjinrange(1,i+1
系统 2019-09-27 17:51:44 2487
本章包括：超越分类和回归的机器学习形式机器学习模型的正式评估程序为深度学习准备数据特征工程解决过度拟合问题接近机器学习问题的通用工作流程一、机器学习的四个分支机器学习算法通常分为四大类：1、监督学习监督学习主要包括分类和回归，但也有更多的外来变种，包括以下（有例子）：1）序列生成-给定图片，预测描述它的标题。序列生成有时可以重新表述为一系列分类问题（例如重复预测序列中的单词或标记）。2）语法树预测-给定一个句子，将其分解预测为语法树。3）物体检测-给定图片
系统 2019-09-27 17:48:34 2487
Traceback(mostrecentcalllast):File"/usr/flink/alert/server/greeter_server.py",line8,infromexampleimporthelloworld_pb2,helloworld_pb2_grpcModuleNotFoundError:Nomodulenamed'example'1、Python中，每个py文件被称之为模块，每个具有_init_.py文件的目录被
系统 2019-09-27 17:46:30 2487
Python3，开一个线程，间隔1秒把一个递增的数字写入队列，再开一个线程，从队列中取出数字并打印到终端复制代码代码如下:#!/usr/bin/envpython3importtimeimportthreadingimportqueue#一个线程，间隔一定的时间，把一个递增的数字写入队列#生产者classProducer(threading.Thread):def__init__(self,work_queue):super().__init__()#必须
系统 2019-09-27 17:37:44 2487
附件:prevFrame.rar如果倒着放2倍侦速的话是prevFrame();prevFrame();本文转自：http://www.5uflash.com/flashjiaocheng/Flashaschengxu/105.htmlflash帧倒着播放(源文件)
系统 2019-08-29 23:35:16 2487
