综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 2108
之前我在windows10系统上面安装python3.7，虽然在windows上面安装简单，操作也方便，但是想要和linux的shell脚本交互就不方便了。因此，我决定在centos7上面也安装上python最新版本在这期间，我踩了很多坑，也填了很多坑，后来几乎要面临崩溃了，期间发生了什么？别着急，耐心往下看！操作环境:CentOS7.464位一般安装步骤1.下载python安装包wgethttps://www.python.org/ftp/python/
系统 2019-09-27 17:53:50 2108
1.python2/3区别整除python2:print'3/2=',3/2print'3//2=',3//2print'3/2.0=',3/2.0print'3//2.0=',3//2.0结果：3/2=13//2=13/2.0=1.53//2.0=1.0python3:print('3/2=',3/2)print('3//2=',3//2)print('3/2.0=',3/2.0)print('3//2.0=',3//2.0)3/2=1.53//2=13
系统 2019-09-27 17:53:32 2108
defsend_mail(to_mail,subject,data,filename=None):smtp_server='smtp.exmail.qq.com'from_mail=""mail_pass=""msg=MIMEMultipart()msg["From"]=from_mailmsg["To"]=','.join(to_mail)msg["Subject"]=Header(subject,'utf-8').encode()#构造htmld=da
系统 2019-09-27 17:53:10 2108
最近在工作中遇到一个问题，就是有一个功能希望在各种服务器上实现，而服务器上的系统版本可能都不一样，有的是CentOS6.x，有的是CentOS7.x。需要说明的一点是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，这意味着我要实现的功能要适配这两种版本的系统。你可能会说，这有什么的，自己写的时候，注意一下就好了。事情其实没有那么容易，我要实现的功能是基于一个框架进行定制，需要修改不少的框架代码
系统 2019-09-27 17:51:50 2108
一、背景今天闲着无事，写了一个小小的Python脚本程序，然后给同学炫耀的时候，发现每次都得拉着其他人过来看着自己的电脑屏幕，感觉不是很爽，然后我想着网上肯定有关于Python脚本转换成可执行文件的操作，事不宜迟，我就开始了问度娘，各种寻找资料，发现网上的资料太多了，有一些比较老了，适合Python2.x系列，在现在Python3流行的时代，我们当然是直接无视，但是各种方法凌乱的很，各种教程也是或全或缺的，鄙人也捣鼓了可久，后来发现一种方法挺多人用的，在自
系统 2019-09-27 17:51:28 2108
pika生产者程序大致步骤：1.建立连接connection，需要认证的调用认证参数2.创建通道channel当然channel可以池化，这样可以重复使用3.声明队列指定队列属性，一旦指定属性不能修改，例如是否持久化，名称4.声明交换机交换机类型，名称等，也可以不用声明，直接使用“”空字符串，默认交换机也可以5.将队列与交换机绑定queue_bind6.basic_publish发送到交换机指定路由键pika消费者程序大致步骤：1.建立连接connecti
系统 2019-09-27 17:51:26 2108
#生成等差数列#一般的赋值需要通过for函数r1_10=range(1,10,1)foriinr1_10:print(i)importnumpynumpy.arange(2,10,3)r=numpy.arange(2,10,3)#向量化运算r+rr-rr*rr/r#函数的向量化次方运算numpy.power(r,3)#向量化运算，比较运算r>=5#结合过滤运算r[r>=5]#矩阵运算,r乘以r的转置numpy.dot(r,r.T)#向量化的数据框运算fro
系统 2019-09-27 17:50:35 2108
Pandas类似R语言中的数据框(DataFrame),Pandas基于Numpy,但是对于数据框结构的处理比Numpy要来的容易。1.Pandas的基本数据结构和使用Pandas有两个主要的数据结构：Series和DataFrame。Series类似Numpy中的一维数组，DataFrame则是使用较多的多维表格数据结构。Series的创建>>>importnumpyasnp>>>importpandasaspd>>>s=pd.Series([1,2,3
系统 2019-09-27 17:50:11 2108
最近写了一些python3程序，四处能看到bytes类型，而它并不存在于python2中，这也是python3和python2显著区别之一。以前在写python2代码的时候，经常会遇到很多编码报错的异常，原因在于python2对unicode的支持不是特别理想。而在python3中，所有编写的代码都是unicode，python解析器在运行的时候，内部都转换（除非你显示定义为bytes类型）为unicode，减少了出错的可能性。在python3中，有两种字
系统 2019-09-27 17:49:59 2108
