在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'
系统 2019-09-27 17:46:26 2264
本文对Python爬虫常用的模块做了较为深入的分析，并以实例加以深入说明。分享给大家供大家参考之用。具体分析如下：creepy模块某台湾大神开发的，功能简单，能够自动抓取某个网站的所有内容，当然你也可以设定哪些url需要抓。地址：https://pypi.python.org/pypi/creepy功能接口：set_content_type_filter:设定抓取的content-type（header中的contenttype）。包括text/htmla
系统 2019-09-27 17:45:57 2264
变量是拥有匹配对象的名字（标识符）。命名空间是一个包含了变量名称们（键）和它们各自相应的对象们（值）的字典。一个Python表达式可以访问局部命名空间和全局命名空间里的变量。如果一个局部变量和一个全局变量重名，则局部变量会覆盖全局变量。每个函数都有自己的命名空间。类的方法的作用域规则和通常函数的一样。Python会智能地猜测一个变量是局部的还是全局的，它假设任何在函数内赋值的变量都是局部的。因此，如果要给全局变量在一个函数里赋值，必须使用global语句。
系统 2019-09-27 17:38:10 2264
自动化单元测试的意义出处作者：许式伟写于：2005年3月背景：WPSOffice2005(开发代号:V6)原文：why-unit-test.pdf(pdf格式)目录自动化单元测试的重要特征单元测试的项目意义单元测试对设计的意义cppunitforv6将测试案例写在dll中常规测试的缺陷一般是基于手工的，不具备可回归性。因此测试的效率不高。由于缺乏效率，往往导致测试仅仅针对典型数据，覆盖面往往也很低。自动化单元测试的重要特征自动化、可回归性Quiet案例的执
系统 2019-08-29 23:46:58 2264
