背景说明感觉微信公众号算得是比较难爬的平台之一，不过一番折腾之后还是小有收获的。没有用Scrapy(估计爬太快也有反爬限制)，但后面会开始整理写一些实战出来。简单介绍下本次的开发环境：python3requestspsycopg2(操作postgres数据库)抓包分析本次实战对抓取的公众号没有限制，但不同公众号每次抓取之前都要进行分析。打开Fiddler，将手机配置好相关代理，为避免干扰过多，这里给Fiddler加个过滤规则，只需要指定微信域名mp.wei
系统 2019-09-27 17:53:47 2127
文章目录pipvirtualenv缺点Pipenv总结学Python有段时间了，学的时候会想着拿它和Java对比。在对比的时候，发现Java有很成熟的项目构建工具，有使用xml的Maven，也有使用groovy的Gradle，这样的构建工具能够自动处理项目的依赖，很是方便。对于Python，在依赖管理方面，从一个初学者的角度看，嗯，只能说，贵圈真乱！(本文纯属个人观点，不喜勿喷)好吧，让我们捋一捋。在包管理方面，听说现在在役的包管理工具有distutils
系统 2019-09-27 17:52:49 2127
变量的定义如：>>>width=20>>>height=5*9>>>width*height900>>>string="shouke"注意：1.Python中不能使用未定义的变量2.变量的定义无需进行类型声明，可直接赋值3.交互模式中，‘_’表示表达式最后输出值，如下：>>>tax=12.5/100>>>price=100.5>>>price*tax12.5625>>>price+_#等同于price+12.5625113.0625>>>round(_,2
系统 2019-09-27 17:52:16 2127
装13的冷场“龙生九子，各不相同…”囚牛、睚眦、嘲风、蒲牢、狻猊、霸下、狴犴、负屃、螭吻。都说提笔忘字丢人，可至少还有提笔的机会。随着信息化时代的普及，原来越多的人成了半文盲。怎么说？电脑前打字敲的一二一，可提起笔来就忘字。从前特别喜欢钢笔，笔袋里放的凌美、百利、永生、英雄一堆，买的北碳、毕加索、派克、百利金各式牌子的墨水。结果感觉半年多都没动过这些陈年老货了。下午聊天装13说到龙生九子，本来吹得正欢，结果朋友问老七bìàn怎么写，然后…瞬间懵逼了，这个1
系统 2019-09-27 17:51:38 2127
Python编程中raise可以实现报出错误的功能，而报错的条件可以由程序员自己去定制。在面向对象编程中，可以先预留一个方法接口不实现，在其子类中实现。如果要求其子类一定要实现，不实现的时候会导致问题，那么采用raise的方式就很好。而此时产生的问题分类是NotImplementedError。写一段代码如下：classClassDemo:deftest_demo(self):raiseNotImplementedError("mytest:notimpl
系统 2019-09-27 17:51:29 2127
1.linux下消息记录关于系统的各种消息一般都会记录在/var/log/messages文件中，有些主机在中默认情况下有可能没有启用，具体配置方法可参考下面这篇博客：系统日志配置/var/log/messages2.python代码实现原理其实很简单，就是读/var/log/messages文件，找到有关usb的信息就可以了。#!/usr/bin/envpythonusbmsg=open("/var/log/messages","r")forlinein
系统 2019-09-27 17:50:15 2127
在Python3环境下使用Python2代码时，碰到了如下的语句：#importmatplotlib.financeasmpf需要安装pipinstallmpl_finance，然后用下面的语句取代。importmpl_financeasmpfmpf_kline.py#coding:utf-8importos,sysimportdatetimeimportmatplotlib.pyplotaspltfrommatplotlib.pylabimportdat
系统 2019-09-27 17:50:12 2127
一、简介Python是一门功能强大的高级脚本语言，它的强大不仅表现在其自身的功能上，而且还表现在其良好的可扩展性上，正因如此，Python已经开始受到越来越多人的青睐，并且被屡屡成功地应用于各类大型软件系统的开发过程中。与其它普通脚本语言有所不同，Python程序员可以借助Python语言提供的API，使用C或者C++来对Python进行功能性扩展，从而即可以利用Python方便灵活的语法和功能，又可以获得与C或者C++几乎相同的执行性能。执行速度慢是几乎
系统 2019-09-27 17:49:36 2127
如果你还在为python的各种urllib和urlibs，cookielib头疼，或者还还在为python模拟登录和抓取数据而抓狂，那么来看看我们推荐的requests，python采集数据模拟登录必备利器！这也是python推荐的HTTP客户端库：本文就以一个模拟登录的例子来加以说明，至于采集大家就请自行发挥吧。代码很简单，主要是展现python的requests库的简单至极，代码如下：s=requests.session()data={'user':'
系统 2019-09-27 17:47:52 2127
上篇文章我们介绍了树的概念，今天我们来介绍一种特殊的树——二叉树，二叉树的应用很广，有很多特性。今天我们一一来为大家介绍。二叉树顾名思义，二叉树就是只有两个节点的树，两个节点分别为左节点和右节点，特别强调，即使只有一个子节点也要区分它是左节点还是右节点。常见的二叉树有一般二叉树、完全二叉树、满二叉树、线索二叉树、霍夫曼树、二叉排序树、平衡二叉树、红黑树、B树这么多种类。我们这篇文章中简单介绍一般二叉树、完全二叉树和满二叉树。一般二叉树很简单，只要满足子节点
系统 2019-09-27 17:47:38 2127
1.从集合中取出最大或最小N个元素importheapqnums=[1,8,2,23,7,-4,18,23,42,37,2]print(heapq.nlargest(3,nums))#输出[42,37,23]print(heapq.nsmallest(3,nums))#输出[-4,1,2]也支持其他参数支持更为复杂的数据结构portfolio=[{'name':'IBM','shares':100,'price':91.1},{'name':'AAPL',
系统 2019-09-27 17:46:31 2127
由于python代码有的需要在python2.7版本执行，有的需要在python3版本执行，所以需要安装多个python环境。前提：已经安装了anaconda和python3（安装步骤参考：https://blog.csdn.net/flyer_tang/article/details/80363669）目的：为jupyter再添加python2.7版本内核环境安装步骤如下：创建python2.7版本虚拟环境condacreate-nenv_namepyt
系统 2019-09-27 17:57:26 2126
爬虫需要，一个机器多个口，一个口多个ip，为轮询这些ipdemo#coding=utf-8importrequests,sys,socketfromrequests_toolbelt.adaptersimportsourcereload(sys)sys.setdefaultencoding('utf-8')s=requests.Session()new_source=source.SourceAddressAdapter('192.168.4.2')s.m
系统 2019-09-27 17:56:57 2126
目录一，什么是爬虫二，初识爬虫-采集汽车资讯信息三，requests和BeautifulSoup模块基本使用requests:importrequestsBeautifulSoup：frombs4importBeautifulSoup四，初识爬虫-自动登录购酒网http://order.gjw.com/login/login五，requests模块详细介绍六，一大波"自动登陆"示例一，什么是爬虫很久很久以前，还没有"百度"，"谷歌"，有的还是传说中的"大黄
系统 2019-09-27 17:56:42 2126
决策树部分理论支撑1*通过选取一定的特征来降低数据的不确定性（熵）2*建议寻找多分类问题的最优特征的最优候选值。把多分类问题转换成多几层递归的二分类问题，防止数据对特征值的控制敏感。3*停止条件取得了最够好的分类结果递归到了预定的最深深度叶子节点的纯度分裂次数达到极限最大特征数...4*相关公式entropy(D)=−∑i=1nPilog2Pientropy(D)=-\sum_{i=1}^nP_ilog_2P_ientropy(D)=−∑i=1nPil
系统 2019-09-27 17:50:46 2126
