今天介绍个神奇的网站！堪称爬虫偷懒的神器！我们在写爬虫，构建网络请求的时候，不可避免地要添加请求头(headers)，以mdn学习区为例，我们的请求头是这样的：一般来说，我们只要添加user-agent就能满足绝大部分需求了，Python代码如下：importrequestsheaders={#'authority':'developer.mozilla.org',#'pragma':'no-cache',#'cache-control':'no-cach
系统 2019-09-27 17:53:21 2119
模块：模块就是一个python文件。模块就是一个python文件。功能：1.可以提高文件的重复利用率。提高开发效率2.用于划分程序结构。自定义模块：模块就是一个python文件而已，所有python代码都可以放入模块，实际开发中，模块放入的内容都是重复利用率高的内容主要包含：1.为当前模块专门定义的变量【其他语言一般都是常量】2.函数。3.类4.测试代码注意：模块的命名不要和内置模块重名！测试代码统一放到判断当中if__name__=='__main__'
系统 2019-09-27 17:53:19 2119
环境：win10(64)，python3.7.1，git2.7.2，pylint-2.3.1，git_pylint_commit_hook-2.5.1以上为当期搭建所用到的版本，有异常时方便查找问题。安装pylint，pylint是一个单独可以对python文件进行格式校验的模块，https://www.pylint.org/官网地址有各个电脑环境的安装说明，Windows下，使用：pipinstallpylint安装完成之后，就可以直接使用pylint对
系统 2019-09-27 17:53:18 2119
使用Pythontruffle构建完整的智能合约使用solidity的truffle框架开发智能合约，使用Python调用合约。1.合约编写、编译和部署gitclonehttps://github.com/jamess010/AIonChaincd./AIonChain&&cd./master/smartcontracttruffledevelop(port:9545)compilemigrate(--reset)2.使用python调用安装web3.py
系统 2019-09-27 17:52:56 2119
版权声明：转载请注明作者（独孤尚良dugushangliang）出处：https://blog.csdn.net/dugushangliang/article/details/91970111python2的xrange()函数，被发展成了python3的range()函数，而python2的range()函数则同raw_input()函数一样（详见https://blog.csdn.net/dugushangliang/article/details/8
系统 2019-09-27 17:52:55 2119
今天接着跟大家总结Python爬虫面试中常见的高频面试题。有需要的伙伴用心看啦！1.Request中包含什么呢？1、请求方式：主要有GET和POST两种方式,POST请求的参数不会包含在url里面2、请求URLURL：统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL来唯一确定3、请求头信息,包含了User-Agent（浏览器请求头）、Host、Cookies信息4、请求体,GET请求时，一般不会有，POST请求时，请求体一般包含form-
系统 2019-09-27 17:52:44 2119
随着脚本复杂程度增加，配置文件成了必不可少。之前一直使用json文件，当作配置文件。比较之下，configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]
系统 2019-09-27 17:52:13 2119
一、zipfile模块的简述zipfile是python里用来做zip格式编码的压缩和解压缩的，由于是很常见的zip格式，所以这个模块使用频率也是比较高的，在这里对zipfile的使用方法做一些记录。即方便自己也方便别人。zipfile里有两个非常常用的class,分别是ZipFile和ZipInfo,在绝大多数的情况下，我们只需要使用这两个class就可以了。ZipFile是主要的类，用来创建和读取zip文件而ZipInfo是存储的zip文件的每个文件的
系统 2019-09-27 17:51:00 2119
使用threading.Event可以实现线程间相互通信，之前的Python：使用threading模块实现多线程编程七[使用Condition实现复杂同步]我们已经初步实现了线程间通信的基本功能，但是更为通用的一种做法是使用threading.Event对象。使用threading.Event可以使一个线程等待其他线程的通知，我们把这个Event传递到线程对象中，Event默认内置了一个标志，初始值为False。一旦该线程通过wait()方法进入等待状态
系统 2019-09-27 17:50:54 2119
在数据分析领域，最热门的莫过于Python和R语言，此前有一篇文章《别老扯什么Hadoop了，你的数据根本不够大》指出：只有在超过5TB数据量的规模下，Hadoop才是一个合理的技术选择。这次拿到近亿条日志数据，千万级数据已经是关系型数据库的查询分析瓶颈，之前使用过Hadoop对大量文本进行分类，这次决定采用Python来处理数据：硬件环境CPU：3.5GHzIntelCorei7内存：32GBHDDR31600MHz硬盘：3TBFusionDrive数据
系统 2019-09-27 17:50:47 2119
SeriesSeries类似一维数组，由一组数据及一组相关数据标签组成。使用pandas的Series类即可创建。importpandasaspds1=pd.Series(['a','b','c,','d'])print(s1)#输出：0a#1b#2c#3d#dtype:object上面是传入一个列表实现，上面的0，1，2，3就是数据的默认标签。另外可以通过index属性自定义标签。s2=pd.Series(['1','2','3,','4'],index
系统 2019-09-27 17:50:09 2119
理解新概念PythonV2.2中引入了迭代器的思想。唔，这并不十分正确；这种思想的“苗头”早已出现在较老的函数xrange()以及文件方法.xreadlines()中了。通过引入yield关键字，Python2.2在内部实现的许多方面推广了这一概念，并使编程定制迭代器变得更为简单（yield的出现使函数转换成生成器，而生成器反过来又返回迭代器）。迭代器背后的动机有两方面。将数据作为序列处理通常是最简单的方法，而以线性顺序处理的序列通常并不需要都同时实际存在
系统 2019-09-27 17:49:57 2119
#!/usr/bin/python#*-*coding:utf8*-*"""适用于在/proc/meminfo中提供了可用内存MemAvailable的系统使用"""fromoptparseimportOptionParserimportsysparser=OptionParser()parser.add_option("-k",dest="k",action="store_true",default=True,help="DisplayMeminfoKB
系统 2019-09-27 17:49:21 2119
threadpoolmakeRequests的原型如下defmakeRequests(callable_,args_list,callback=None,exc_callback=_handle_thread_exception)，可以看出第一个参数是线程将要启动任务函数，第二个是要传个任务函数的参数列表，第三个是回调函数，可以用于收集任务结束后的结果或者环境清理args_list中每一项要么是一个单独的变量，要么是一个2个元素的元组，该元组第1项是位置参
系统 2019-09-27 17:49:19 2119
剑指offer：从上到下打印二叉树题目描述从上往下打印出二叉树的每个节点，同层节点从左至右打印。结果：[8,6,10,5,7,9,11]解题思路典型的使用队列的题目。每从队列头部获取一个节点，就将该节点的左右子节点存入队列的尾部。如此往复，直至队列为空。代码#coding:utf-8classSolution:#从上往下打印出二叉树的每个节点，同层节点从左至右打印defPrintFromTopToBottom(self,root):array=[]resu
系统 2019-09-27 17:49:17 2119
