背景说明感觉微信公众号算得是比较难爬的平台之一,不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制),但后面会开始整理写一些实战出来。简单介绍下本次的开发环境:python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制,但不同公众号每次抓取之前都要进行分析。打开Fiddler,将手机配置好相关代理,为避免干扰过多,这里给Fiddler加个过滤规则,只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2004
logging库提供了两个可以用于日志滚动的class(可以参考https://docs.python.org/2/library/logging.handlers.html),一个是RotatingFileHandler,它主要是根据日志文件的大小进行滚动,另一个是TimeRotatingFileHandler,它主要是根据时间进行滚动。在实际应用中,我们通常根据时间进行滚动,因此,本文中主要介绍TimeRotaingFileHandler的使用方法(R
系统 2019-09-27 17:52:54 2004
本文实例为大家分享了python3.6.7端口扫描器的具体代码,供大家参考,具体内容如下环境:python3.6.7#-*-coding:utf-8-*-importsocketimportthreadingimportargparselock=threading.Lock()openNum=0threads=[]defportscan(ip,port):globalopenNumtry:s=socket.socket(socket.AF_INET,soc
系统 2019-09-27 17:52:14 2004
python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。smtp协议的基本命令包括:HELO向服务器标识用户身份MAIL初始化邮件传输mailfrom:RCPT标识单个的邮件接收人;常在MAIL命令后面,可有多个rcptto:DATA在单个或多个RCPT命令后,表示所有的邮件接收人已标识,并初始化数据传输,以.结束VRFY用于验证指定的用户/邮箱是否存在;由于安全方面的原因,服务器常禁止此命令EXPN验证给定的邮箱
系统 2019-09-27 17:50:26 2004
本书特色用传统的电子表格来处理数据不仅效率低下,而且无法处理某些格式的数据,对于混乱或庞大的数据集更是束手无策。本书将教你如何利用语法简单、容易上手的Python轻松处理数据。作者通过循序渐进的练习,详细介绍如何有效地获取、清洗、分析与呈现数据,如何将数据处理过程自动化,如何安排文件编辑与清洗任务,如何处理更大的数据集,以及如何利用获取的数据来创作引人入胜的故事。学完本书,你的数据处理和分析能力将更上一层楼。快速了解Python基本语法、数据类型和语言概念
系统 2019-09-27 17:49:12 2004
前段时间为准备百度面试恶补的东西,虽然最后还是被刷了,还是把那几天的“战利品”放点上来,算法一直是自己比较薄弱的地方,以后还要更加努力啊。下面用Python实现了几个常用的排序,如快速排序,选择排序,以及二路并归排序等等。复制代码代码如下:#encoding=utf-8importrandomfromcopyimportcopydefdirectInsertSort(seq):"""直接插入排序"""size=len(seq)foriinrange(1,s
系统 2019-09-27 17:48:21 2004
命名空间:每一个作用域变量存储的位置,或者解释为存储作用域中变量的字典。作用:获取想查看某个作用域中的变量名、变量值。使用方法:locals()#当前命名空间1.效果图:2.代码a=10b=20#定义一个变量接收全局命名空间里的变量名、变量值global_namespace=locals()print(global_namespace)print('\n\n\n')defone():c=30d=40#定义一个变量接收局部命名空间里的变量名、变量值local
系统 2019-09-27 17:47:13 2004
最近遇到一个情景,就是定期生成并发送服务器使用情况报表,按照不同维度统计,涉及python对excel的操作,上网搜罗了一番,大多大同小异,而且不太能满足需求,不过经过一番对源码的"研究"(用此一词让我觉得颇有成就感)之后,基本解决了日常所需。主要记录使用过程的常见问题及解决。python操作excel主要用到xlrd和xlwt这两个库,即xlrd是读excel,xlwt是写excel的库。可从这里下载https://pypi.python.org/pyp
系统 2019-09-27 17:45:56 2004
学习python字符串方法的使用,对书中列举的每种方法都做一个试用,将结果记录,方便以后查询。(1)s.capitalize();功能:返回字符串的的副本,并将首字母大写。使用如下:>>>s='wwwwww'>>>scap=s.capitalize()>>>scap'Wwwwww'(2)s.center(width,char);功能:返回将s字符串放在中间的一个长度为width的字符串,默认其他部分用空格填充,否则使用char参数填充。举例如下:>>>s'
系统 2019-09-27 17:37:56 2004
作用域:顾名思义,作用的范围。如果你是自学者,而且已经进军到函数这一部分了,那么就应当了解下Python的作用域。否则你可能会像我一样,总是对一个变量名同时存在函数内和函数外且有不同值搞的晕头转向。在这里就总结一下,在本人的知识范围内所了解到的作用域是什么样的,LEGB规则到底规定了什么。全局范围的产生(global):我们创建一个xxx.py文件,就是一个模块,这时一个作用域就产生了。这个范围是整个模块,称作Global,全局范围。例如:创建一个文件de
系统 2019-09-27 17:37:48 2004