在爬取的过程中难免发生ip被封和403错误等等，这都是网站检测出你是爬虫而进行反爬措施，在这里为大家总结一下怎么用IP代理防止被封首先，设置等待时间：常见的设置等待时间有两种，一种是显性等待时间（强制停几秒），一种是隐性等待时间（看具体情况，比如根据元素加载完成需要时间而等待）图1是显性等待时间设置，图2是隐性第二步，修改请求头：识别你是机器人还是人类浏览器浏览的重要依据就是User-Agent，比如人类用浏览器浏览就会使这个样子的User-Agent：'
系统 2019-09-27 17:46:26 2020
基本命令显示版本信息pip-V安装指定包pipinstallpipinstall-i'host'指定下载源卸载指定包pipuninstall列出已安装的包piplist显示有关已安装包的信息pipshow查找指定包pipsearch修改下载源Linuxvim~/.pip/pip.conf#编辑用户目录下隐藏的配置文件，没有的话生成一个格式如下：[global]index-url=http://mirrors.aliyun.com/pypi/simple/[
系统 2019-09-27 17:45:41 2020
需要用到的包：beautifulsoup4html5libimagerequestsredisPyMySQLpip安装所有依赖包：pipinstall\Image\requests\beautifulsoup4\html5lib\redis\PyMySQL运行环境需要支持中文测试运行环境python3.5，不保证其他运行环境能完美运行需要安装mysql和redis配置config.ini文件，设置好mysql和redis，并且填写你的知乎帐号向数据库导入i
系统 2019-09-27 17:38:39 2020
变量是拥有匹配对象的名字（标识符）。命名空间是一个包含了变量名称们（键）和它们各自相应的对象们（值）的字典。一个Python表达式可以访问局部命名空间和全局命名空间里的变量。如果一个局部变量和一个全局变量重名，则局部变量会覆盖全局变量。每个函数都有自己的命名空间。类的方法的作用域规则和通常函数的一样。Python会智能地猜测一个变量是局部的还是全局的，它假设任何在函数内赋值的变量都是局部的。因此，如果要给全局变量在一个函数里赋值，必须使用global语句。
系统 2019-09-27 17:38:10 2020
环境：SQLServer2005or2008最近在处理一个锁的问题时，发现一个比较郁闷的事，使用X锁居然无法锁住查询，模拟这个问题，可以使用如下T-SQL脚本来建立测试环境。USEmaster;GOIF@@TRANCOUNT>0ROLLBACKTRAN;GO--=======================================--建立测试数据库--a.删除测试库,如果已经存在的话IFDB_ID(N'db_xlock_test')ISNOTNUL
系统 2019-08-29 23:41:07 2020
可重用性是JakartaCommons项目的灵魂所在。这些包在设计阶段就已经考虑了可重用性问题。其中一些包，例如Commons里面用来记录日志的Logging包，最初是为其他项目设计的，例如JakartaStruts项目，当人们发现这些包对于其他项目也非常有用，能够极大地帮助其他项目的开发，他们决定为这些包构造一个"公共"的存放位置，这就是JakartaCommons项目。为了真正提高可重用性，每一个包都必须不依赖于其他大型的框架或项目。因此，Common
系统 2019-08-29 23:37:28 2020
梁山一百单八将，十之七八死于征讨方腊之战，详情如下：第一百一十回燕青秋林渡射宋江东京城献俘“入云龙”公孙胜：剿灭完王庆后便离开宋江，回家侍奉老母。“玉臂匠”金大坚、“紫髯伯”皇甫瑞、“圣手书生”萧让和“铁叫子”乐和被留在东京，未随同去征讨方腊。“神医”安道全途中被差回京城。第一百一十一回：张顺夜伏金山寺宋江智取润州城“云里金刚”宋万、“没面目”焦挺、“九尾龟”陶宗旺，攻打润洲时在乱军中被箭射死，马踏身亡。第一百一十二回卢俊义分兵宣州道宋公明大战毗陵郡“百胜
系统 2019-08-29 23:07:43 2020
现在许多的项目都在用maven做管理，学习一下，这是一篇比较基础的文章。转载于developseworks中国。原文地址：http://www.ibm.com/developerworks/cn/opensource/os-maven2/Maven2的新特性级别：初级键胡(jianhgreat@hotmail.com),西安交通大学硕士伟红胡(huweih@cn.ibm.com),工程师，IBM区域合作伙伴支持中心,IBM2006年2月23日本文主要阐述M
系统 2019-08-29 22:40:53 2020
sublimetext2是一款非常优秀的跨平台文本及源代码编辑器，本人非常喜欢，但是不支持GB2312和GBK编码在某些时候比较麻烦。可以通过向sublimetext中添加编码类型转换包（比如“ConvertToUTF8"）来解决这一问题。具体方法如下：首先声明：这一方法前提是sublimetext2的安装路径没有中文字符，且系统路径的%username%中不包含中文字符。否则需要手动添加转换包，这个稍后说明。1.安装SublimePackageContr
系统 2019-08-12 09:27:27 2020
http://blog.csdn.net/hijk139/article/details/8308224业务系统需要收集监控系统日志，想到了hadoop的flume。经过试验，虽说功能不算足够强大，但基本上能够满足功能需求。Flume是一个分布式、可靠和高可用的服务日志收集工具，能够和hadoop,hive等配置完成日志收集，存储，分析处理等工作，更详细的介绍可以参见apache网站。下面介绍下简单的安装配置方法1,网上下载flume-ng安装包，分别部署
系统 2019-08-12 09:27:26 2020
