做爬虫项目时，我们需要考虑一个爬虫在爬取时会遇到各种情况（网站验证，ip封禁），导致爬虫程序中断，这时我们已经爬取过一些数据，再次爬取时这些数据就可以忽略，所以我们需要在爬虫项目中设置一个中断重连的功能，使其在重新运行时从之前断掉的位置重新爬取数据。实现该功能有很多种做法，我自己就有好几种思路，但是真要自己写出来就要费很大的功夫，下面我就把自己好不容易拼凑出来的代码展示出来吧。首先是来介绍代码的思路：将要爬取的网站连接存在一个数组new_urls中，爬取一
系统 2019-09-27 17:56:18 2469
今天就和大家一起来讨论一下python实现12306余票查询（pycharm+python3.7），一起来感受一下python爬虫的简单实践我们说先在浏览器中打开开发者工具(F12)，尝试一次余票的查询，通过开发者工具查看发出请求的包可以看到红框框中的URL就是我们向12306服务器发出的请求，那么具体是什么呢？我们来看看https://kyfw.12306.cn/otn/leftTicket/queryZ?leftTicketDTO.train_date
系统 2019-09-27 17:54:56 2469
字典的特点：以键值对的形式存在，无序排序；key必须唯一不重复，且不能使用可变对象声明一个字典d={}print(d)print(type(d))增：d[1]=‘a’d[2]=‘c’d[3]=‘b’print(d)d.update({4:‘z’})print(d)dict.setdefault(key,value)，如果该key不存在，则在字典中插入这个键值对，并返回value；如果该key已存在，则返回字典中key对应的value，原字典不做更新d.se
系统 2019-09-27 17:54:56 2469
《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第11章数据可视化11.1matplotlib调用matplotlib有下面四个步骤：（1）设定画图背景样式mpl.style.use(“ggplot”)（2）设定画布#命名画布为fig，并把fig分为两个小画布（ax1,ax2），设置fig的大小为12*4点fig,(ax1,ax2)=plt.subplots(1,2,figsize=(12,4))（3）画图及设定元素df_mean.价格.pl
系统 2019-09-27 17:54:24 2469
效果图walker喜欢的功能：代码补全，一个问号（?）给出注释，两个问号浏览代码。环境操作系统：Windows10x641903Python3.6.7x64JupyterQtConsole4.5.2（官方文档）步骤安装ipythonpip3installipython-ihttps://pypi.doubanio.com/simple/安装pyreadlinepip3installpyreadline-ihttps://pypi.doubanio.com/
系统 2019-09-27 17:54:09 2469
C++文件test.h#pragmaonce#includeextern"C"char*show(char*input);test.cpp#include"test.h"extern"C"char*show(char*input){returninput;}编译为so库gcctest.cpp-fPIC-shared-olibtest.so调用importctypesmyso=ctypes.cdll.LoadLibrary('./libtest.so')my
系统 2019-09-27 17:53:31 2469
脚本过于简单，供学习和参考。主要了解一下smtplib库的使用和超时机制的实现。使用signal.alarm实现超时机制。#!/usr/bin/envpython#-*-coding:utf-8-*-importtimeimportsysimportloggingimportsmtplibimportsocketimportsignalimportConfigParserfromdatetimeimportdatetimefromemailimporten
系统 2019-09-27 17:52:53 2469
python模块randomIn[1]:importrandomIn[2]:random.uniform(0.7,5)Out[2]:0.7418808135797732In[3]:random.uniform(0.7,5)Out[3]:1.20091265582769In[4]:random.uniform(0.7,5)Out[4]:4.7791965347089125In[5]:random.uniform(0.7,5)Out[5]:2.78827963
系统 2019-09-27 17:51:08 2469
importtimedeflog_time(func,*args,**kwargs):definner():t1=time.time()func(*args,**kwargs)t2=time.time()print(f"使用的时间是{t2-t1}s")returninner@log_timedefappend_func():ll=list()foriinrange(10000):ll.append(i)@log_timedefinsert_func():l
系统 2019-09-27 17:49:44 2469
前言paramiko模块是基于Python实现的SSH远程安全连接，可以提供在远程服务器上执行命令、上传文件到服务器或者从指定服务器下载文件的功能。paramiko模块安装方法paramiko模块不是python自带的标准库，需要自行下载安装，建议使用pip自动安装。方法如下：（1）配置pip命令和镜像源路径。如果已配置，跳过。（2）执行pipinstallparamiko进行安装。出现successful字样表示安装完成。paramiko常用函数介绍SS
系统 2019-09-27 17:49:26 2469
