综述本系列文档用于对Python爬虫技术的学习进行记录总结。Python版本是3.7.4urllib库介绍它是Python内置的HTTP请求库,也就是说我们不需要额外安装即可使用,它包含四个模块(主要对前三个模块进行学习):request:它是最基本的HTTP请求模块,我们可以用它来模拟发送一请求,就像在浏览器里输入网址然后敲击回车一样,只需要给库方法传入URL还有额外的参数,就可以模拟实现这个过程了。error:异常处理模块,如果出现请求错误,我们可以捕
系统 2019-09-27 17:54:27 1676
一、语法while条件:执行代码while就是当的意思,它指当其后面的条件成立,就执行while下面的代码。例:写一个从0打印到10的程序count=0whilecount<=10:print('第%s次'%count)count+=1如果要打印1~10之间的偶数怎么办呢?那就得先搞清楚,怎么判断一个数字是偶数?能被2整除的就是偶数,但如何判断这个数是否能被2整除呢?简单,直接判断这个数除以2之后的余数是否为0就行了,这就用到了前面“Python之运算符”
系统 2019-09-27 17:54:23 1676
一些讨论Python中使用配置文件的最佳实践Python中使用配置文件的最好方法Python符号常量多种配置文件方案对比我的建议1.排除yamlyaml不是一个好主意,因为需要给项目引入额外的依赖。首先排除它,除非是你的个人项目,或者你的项目已经引入了这个package。2.使用setting.py如果你只是需要配置一些全局的符号常量(symbolicconstants),参考Django的做法,使用setting.py,参见:https://github
系统 2019-09-27 17:54:23 1676
k8spythonapi二次封装pipinstallpprintkubernetesimporturllib3frompprintimportpprintfromkubernetesimportclientfromosimportpathimportyamlclassK8sApi(object):def__init__(self):#self.config=config.kube_config.load_kube_config()urllib3.disab
系统 2019-09-27 17:54:23 1676
本文实例讲述了Python采用socket模拟TCP通讯的实现方法。分享给大家供大家参考。具体实现方法如下:对于TCPserver端的创建而言,分为如下几个步骤:创建socket对象(socket):其中两个参数分别为AddressFamily(如AF_INET为IPV4,AF_INET6为IPV6,AF_UNIX为UNIX域协议族)、socket类型(如SOCK_STREAM为TCP,SOCK_DGRAM为UDP)。绑定服务器地址(bind):参数为服务
系统 2019-09-27 17:54:21 1676
开篇:测试过程中,对于多参数参数多值的情况进行测试用例组织,之前一直使用【正交分析法】进行用例组织,说白了就是把每个参数的所有值分别和其他参数的值做一个全量组合,用Python脚本实现,就是itertools模块中product方法(又称笛卡尔积法)。正交分析法的优点是测试用例覆盖率100%,缺点测试用例数量庞大,执行用例消耗的人工巨大。Pairwise(结对)算法源于对传统的正交分析方法优化后得到的产物,它的理论来自于数学统计。毫不避讳的说,本人看不懂数
系统 2019-09-27 17:54:21 1676
单向链表单向链表也叫单链表,是链表中最简单的一种形式,它的每个节点包含两个域,一个信息域(元素域)和一个链接域。这个链接指向链表中的下一个节点,而最后一个节点的链接域则指向一个空值。表元素域elem用来存放具体的数据。链接域next用来存放下一个节点的位置(python中的标识)变量p指向链表的头节点(首节点)的位置,从p出发能找到表中的任意节点。节点实现classNode(object):"""单链表的结点"""def__init__(self,item
系统 2019-09-27 17:54:18 1676
安装Python3安装Python依赖:yuminstallopenssl-develbzip2-develexpat-develgdbm-develreadline-develsqlite-devel由于Python在linux不支持我们以可执行程序的方式安装,所以需要我们选择对应的版本源码安装源码下载站点:https://www.python.org/ftp/python/以Python3.6为例:wgethttps://www.python.org/
系统 2019-09-27 17:54:16 1676
【百度云搜索,搜各种资料:http://www.lqkweb.com】【搜网盘,搜各种资料:http://www.swpan.cn】Requests请求Requests请求就是我们在爬虫文件写的Requests()方法,也就是提交一个请求地址,Requests请求是我们自定义的**Requests()方法提交一个请求参数:url=字符串类型url地址callback=回调函数名称method=字符串类型请求方式,如果GET,POSTheaders=字典类型
系统 2019-09-27 17:54:11 1676
给类或实例绑定其他方法(函数),需要注意问题:(1)定义方法(函数)时,要加self,如:defset_age(self,age):self.age=age(2)实例绑定方法与类绑定方法是不一样的,实例绑定方法时是要借助函数的,类绑定方法时可以直接赋值的,如:classStudet(object):def__init__(self,name):self.name=name实例绑定方法:s1=Studet('Boo')fromtypesimportMetho
系统 2019-09-27 17:54:09 1676