背景说明感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境：python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制，但不同公众号每次抓取之前都要进行分析。打开Fiddler，将手机配置好相关代理，为避免干扰过多，这里给Fiddler加个过滤规则，只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2068
一、简介1，使用微信，定时往指定的微信群里发送指定信息。2，需要发送的内容使用excel进行维护，指定要发送的微信群名、时间、内容。二、py库1，itchat：这个是主要的工具，用于连接微信个人账号接口。以下是一些相关的知识点网站。2，xlrd：这个是用来读Excel文件的工具。3，apscheduler：这个是用来定时调度时间的工具。三、实例代码#coding=utf-8fromdatetimeimportdatetimeimportitchatimpo
系统 2019-09-27 17:53:46 2068
安装pythoncouchDb库：https://pypi.python.org/pypi/CouchDB/0.10连接服务器复制代码代码如下:>>>importcouchdb>>>couch=couchdb.Server('http://example.com:5984/')创建数据库复制代码代码如下:>>>db=couch.create('test')#新建数据库>>>db=couch['mydb']#使用已经存在的数据库创建文档并插入到数据库：复制代
系统 2019-09-27 17:51:49 2068
切片：方便截取list、tuple、字符串部分索引的内容正序切片语法：dlist=doList[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3。即索引0，1，2，正好是3个元素实例：dolist=[1,3,5,7,9,11]dlist=dolist[0:3]#与range()函数一致含左不含右nlist=dolist[:3]#当开始值为0时，可以不写，效果与dlist一致print(dlist)print(nlist)运行结果：倒序切片语法：
系统 2019-09-27 17:50:00 2068
pandas中选取方式有很多种，最常用的是一下几种：直接选取（单维度选取）、iloc();loc();ix()函数选取（区域选区），at();iat()函数选取（单元格选取）。通过以上几种方式可以实现：选取某些行、某些列、某区域（同时选择某些行和某些列）、某个单元格，还可以进行条件选区。具体实现方法如下。首先创建一个DataFrame.importpandasaspdimportnumpyasnpdata={'name':['Joe','Mike','Ja
系统 2019-09-27 17:49:56 2068
前言使用requests进行爬取、BeautifulSoup进行数据提取。主要分成两步：第一步是解析图书列表页，并解析出里面的图书详情页链接。第二步是解析图书详情页，提取出感兴趣的内容，本例中根据不同的数据情况，采用了不同的提取方法，总的感觉就是BeautifulSoup用起来很方便以下是几个典型HTML内容提取的Python代码片段1、提取详情页链接列表页中的详情页链接片段深度学习入门：基于Python的理论与实现提取详情页链接的Python代码#bs是
系统 2019-09-27 17:49:25 2068
1、先来看一个函数：defsum(x,y):returnx+y用lambda来实现：p=lambdax,y:x+yprint(p(1,2))2、传入一个参数的lambda函数a=lambdax:x*xprint(a(2))#注意：这里直接a(2)可以执行，但没有输出的，因为没有print3、多个参数的lambda形式：a=lambdax,y,z:x*y*zprint(a(5,6,7))匿名函数lambda：是指一类无需定义标识符（函数名）的函数或子程序。l
系统 2019-09-27 17:48:43 2068
一、实现创建文件夹和日志#!/usr/bin/envpython#-*-coding:utf-8-*-#Author:nuligeimportosimportdatetime#获取系统时间log_path_suffix=datetime.datetime.now().strftime('%Y-%m-%d')#创建文件夹folder_name='\log'root_directory='D:\python\disk_monitor'try:os.mkdir(
系统 2019-09-27 17:46:38 2068
什么是异常？异常是Python对象，表示一个错误。当Python脚本发生异常时我们需要捕获处理它，否则程序会终止执行。在程序运行过程中，总会遇到各种各样的错误，有的错误是程序编写有问题造成的还有一类错误是完全无法在程序运行过程中预测的：一切异常皆是对象系统定义的异常：BaseException所有异常的基类，父类Exception常规错误的基类StandardError所有的内建标准异常的基类，标准化错误ImportError导入模块错误Arithmeti
系统 2019-09-27 17:46:28 2068
一、初识PythonPython官方网站：www.python.org版本：python-3.4.3.amd64somebody初次接触Python，没有使用Python2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣，目前是作为一门兴趣来了解及学习。二、安装windows环境安装由于somebody未有真实的Python开发经验，切目前仅限于学习，故所有的操作均在windows环境下进行。1.官网下载安装程序，链接：https://w
系统 2019-09-27 17:45:51 2068
