背景说明感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境：python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制，但不同公众号每次抓取之前都要进行分析。打开Fiddler，将手机配置好相关代理，为避免干扰过多，这里给Fiddler加个过滤规则，只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2288
目录一、Windows二、Mac这篇文章将解除你使用python的pipinstallxxx受到的网速限制，如果只是下载较小的第三方库，可以尝试pip--default-timeout=100install-Uxxx。一、Windows找到python安装目录下的：\Lib\site-packages\pip\models\index.py文件，将PYPI的值改为你所需要的镜像源即可，例如改为豆瓣镜像源：#PyPI=Index('https://pypi.
系统 2019-09-27 17:53:43 2288
PythonsocketC/S结构的聊天室应用服务端：#!/usr/bin/envpython#coding:utf8importsocket,selectdefbroadcast_data(sock,message):forsocketinconn_list:ifsocket!=server_socketandsocket!=sock:try:socket.send(message)except:socket.close()conn_list.remov
系统 2019-09-27 17:53:37 2288
一、写在前面我写爬虫已经写了一段时间了，对于那些使用GET请求或者POST请求的网页，爬取的时候都还算得心应手。不过最近遇到了一个有趣的网站，虽然爬取的难度不大，不过因为表单提交的存在，所以一开始还是有点摸不着头脑。至于最后怎么解决的，请慢慢往下看。二、页面分析这次爬取的网站是：https://www.ctic.org/crm?tdsourcetag=s_pctim_aiomsg，该网站提供了美国的一些农田管理的数据。要查看具体的数据，需要选择年份、单位、
系统 2019-09-27 17:53:08 2288
ftp登陆连接fromftplibimportFTP#加载ftp模块ftp=FTP()#设置变量ftp.set_debuglevel(2)#打开调试级别2，显示详细信息ftp.connect("IP","port")#连接的ftpsever和端口ftp.login("user","password")#连接的用户名，密码printftp.getwelcome()#打印出欢迎信息ftp.cmd("xxx/xxx")#进入远程目录bufsize=1024#设置
系统 2019-09-27 17:50:53 2288
前面简单提到了Python模拟登录的程序，但是没写清楚，这里再补上一个带注释的Python模拟登录的示例程序。简单说一下流程：先用cookielib获取cookie，再用获取到的cookie，进入需要登录的网站。#-*-coding:utf-8-*-#!/usr/bin/pythonimporturllib2importurllibimportcookielibimportreauth_url='http://www.nowamagic.net/'home
系统 2019-09-27 17:50:25 2288
概述如果你已经阅读过上一个章节,那么你应该已经完成了充分的准备工作并且创建了一个很简单的具有如下文件结构的Web应用:microblog|-flask文件夹|-<一些虚拟环境的文件>|-app文件夹||-static文件夹||-templates文件夹||-__init__.py文件||-views.py文件|-tmp文件夹|-run.py文件亲,想要运行这个程序么?那就运行这个run.py文件,然后在你的浏览器里边打开http://localhost:5
系统 2019-09-27 17:49:00 2288
PID算法实现importtimeclassPID:def__init__(self,P=0.2,I=0.0,D=0.0):self.Kp=Pself.Ki=Iself.Kd=Dself.sample_time=0.00self.current_time=time.time()self.last_time=self.current_timeself.clear()defclear(self):self.SetPoint=0.0self.PTerm=0.0s
系统 2019-09-27 17:48:24 2288
如果你还在为python的各种urllib和urlibs，cookielib头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采集数据模拟登录必备利器！这也是python推荐的HTTP客户端库：本文就以一个模拟登录的例子来加以说明，至于采集大家就请自行发挥吧。代码很简单，主要是展现python的requests库的简单至极，代码如下：s=requests.session()data={'user':'
系统 2019-09-27 17:47:52 2288
作者|猪哥责编|伍杏玲前段时间时间为大家讲解了如何使用requests库模拟登录淘宝，而今天我们将对该功能进行丰富。所以我们把之前的那个版本定为1.0，而今天修改的版本定为2.0。版本的迭代意味着功能的升级，那今天的2.0版本较之前的1.0版本有哪些改进呢？我们一起来看看！1.0版本实现步骤我们先来回顾一下模拟登录淘宝的步骤吧，我们还是先看看淘宝登录的详细时序图：这是淘宝网登录的一个请求流程，而我们模拟登录也是根据这样的一个流程。但是在代码模拟登录的时候就
系统 2019-09-27 17:47:17 2288
