综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库，也就是说我们不需要额外安装即可使用，它包含四个模块(主要对前三个模块进行学习)：request:它是最基本的HTTP请求模块，我们可以用它来模拟发送一请求，就像在浏览器里输入网址然后敲击回车一样，只需要给库方法传入URL还有额外的参数，就可以模拟实现这个过程了。error:异常处理模块，如果出现请求错误，我们可以捕
系统 2019-09-27 17:54:27 1710
我们有时候会需要在网上查找并下载图片，当数量比较少的时候，点击右键保存，很轻松就可以实现图片的下载，但是有些图片进行了特殊设置，点击右键没有显示保存选项，或者需要下载很多图片，这样的情况，写一段Python爬虫代码就可以轻松解决!一、页面抓取#coding=utf-8importurllibdefgetHtml(url):page=urllib.urlopen(url)html=page.read()returnhtmlhtml=getHtml("http
系统 2019-09-27 17:54:24 1710
操作系统：windows10安装模块：Pillowpytesseracttesseract-ocr1、首先安装Pillow，可以选择安装windows版的安装包下载地址：https://pypi.org/project/Pillow/#files此处我选择安装Pillow-6.1.0.win-amd64-py2.7.exe2、安装完成后再进行安装pytesseract下载地址：https://pypi.org/project/pytesseract/#fi
系统 2019-09-27 17:54:22 1710
Python日期的加减等操作经常会用的，总结一下。1.日期输出格式化所有日期、时间的api都在datetime模块内。datetime=>stringnow=datetime.datetime.now()now.strftime('%Y-%m-%d%H:%M:%S')#输出2012-03-0516:26:23.870105strftime是datetime类的实例方法。2.string=>datetimet_str='2012-03-0516:26:23'
系统 2019-09-27 17:54:18 1710
今天在写监控脚本的时候遇到一个问题，就是我执行每一个监控模块(脚本)的时候，例如CPU、内存、磁盘脚本，都会返回一个字典格式的数据，但是我需要将这三个字典，组合成一个大字典，然后通过requests模块发送给api接口，so，我就在网上找了一些方法，然后总结，写成这编博文。1、首先定义三个字典(不需要考虑字典的具体内容)>>>cpu_dict={'cpu_count':8,'cpu_ratio':3.5}>>>memory_dict={'memory_co
系统 2019-09-27 17:54:08 1710
一般使用import和from...import...导入模块。以下述spam.py内的文件代码为例。'''遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！'''#spam.pyprint('fromthespam.py')money=1000defread1():print('spam模块：',money)defread2():print('spam
系统 2019-09-27 17:54:08 1710
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 1710
本文实例讲述了Python中@property的理解和使用。分享给大家供大家参考，具体如下：重看狗书,看到对User表定义的时候有下面两行@propertydefpassword(self):raiseAttributeError('passwordisnotareadableattribute')@password.setterdefpassword(self,password):self.password_hash=generate_password_
系统 2019-09-27 17:54:06 1710
Python高级专用类方法的实例详解除了__getitem__和__setitem__之外Python还有更多的专用函数。某些可以让你模拟出你甚至可能不知道的功能。下面的例子将展示UserDict一些其他专用方法。def__repr__(self):returnrepr(self.data)(1)def__cmp__(self,dict):(2)ifisinstance(dict,UserDict):returncmp(self.data,dict.dat
系统 2019-09-27 17:53:44 1710
定义通常，一个descriptor是具有“绑定行为”的对象属性。所绑定行为可通过descriptor协议被自定义的__get__(),__set__()和__delete__()方法重写。如果一个对象的上述三个方法任意一个被重写，则就可被称为descriptor。属性的默认操作是从对象字典中获取、设置和删除一个属性。例如，a.x有一个查找链，先a.__dict__['x']，若没有则type(a).__dict__['x']，若没有增往上查找父类直到元类。
系统 2019-09-27 17:53:41 1710
BacktoPythonIndex很好玩儿的数据结构，多用于无序数据去重多组数据逻辑运算，寻找交集，并集，非集等操作见https://blog.csdn.net/business122/article/details/7541486
系统 2019-09-27 17:53:35 1710
Python对于将函数作为参数传递给另一个函数调用是非常方便的，只要你在函数中将调用的参数按照函数处理进行调用，这种操作就能顺利完成。如：defS(n):sum=0foriinrange(n):sum+=ireturnsumdefP(f):a=eval(input('输入一个数'))print('数的累加为：'f(a))运行P(S)，即能够从键盘获得输入并打印出结果。这里将函数S作为参数传递给P是非常方便的。而在P中，之所以将参数f认为是函数，则是因为对它
系统 2019-09-27 17:53:34 1710
安装完mysql-python后import加载模块提示以下错误，复制代码代码如下:ImportError:libmysqlclient_r.so.16:cannotopensharedobjectfile:Nosuchfileordirectory于是google之，总结一下解决方法：（1）在mysql-ython的安装目录下找到site.cfg，将#mysql_config=XXXXXXXXXXXXXXXX注释符号去掉，并填上mysql_config的
系统 2019-09-27 17:53:27 1710
微信订阅号：Rabbit_svip本次笔记基于python3.7在大多数编程语言中，注释都是一项非常有用且常用的功能。在python中有3种注释方法。以#号开头三个单引号(''')三个双引号(""")以#号开头#sayhiprint("HelloWorld!")print("Python~")#这是一条注释#号后面跟着的部分都属于注释。#号适合用在单行注释。三个单引号(''')和三个双引号(""")'''这是多行注释，使用单引号。这是多行注释，使用单引号。
系统 2019-09-27 17:53:23 1710
本来是在找交通识别的程序，然后凑巧看见了证件照换底，于是学习了一下~一开始在网上找了一个很普遍写的程序，但是效果并不好，想要放弃了，然后看见了这个，参考：pythonopencv实现证件照换底功能本人基于此做了一些改进，便于自己运行和调试，还加了中值滤波，本人觉得效果还不错~代码：importcv2importnumpyasnpdefcvtBackground(path,color):"""功能：给证件照更换背景色（常用背景色红、白、蓝）输入参数：path
系统 2019-09-27 17:53:20 1710
