网络爬虫由于一个ip频繁访问同一网站，容易返回456或者被长时间封禁。特别的本机有socks5客户端的设置如下，前提是已经安装了socks5的客户端软件，并且启动起来在固定端口为本机提供服务。使用前先更新requests版本为支持socks的版本。pipinstall-Urequests[socks]importrequestsmy_proxies={"http":"http://127.0.0.1:1080","https":"https://127.0
系统 2019-09-27 17:56:50 2661
创建项目scrapystartprojectzhaoping创建爬虫cdzhaopingscrapygenspiderhrzhaopingwang.com目录结构items.pytitle=scrapy.Field()position=scrapy.Field()publish_date=scrapy.Field()pipelines.pyfrompymongoimportMongoClientmongoclient=MongoClient(host='1
系统 2019-09-27 17:53:15 2661
背景谈到httpclient,可能大多数想到就是apache的那个httpclient或者jdk自带的urlconnection,也许有人会考虑使用netty无论如何，jetty的高性能实现总归是让人感到好奇，接下来我们一探究竟样例我们结合样例代码具体分析初始化httpClient=newHttpClient();httpClient.setConnectorType(HttpClient.CONNECTOR_SELECT_CHANNEL);httpCli
系统 2019-08-29 23:50:58 2661
日常饮食中，吃肉时应适量吃一点蒜，否则，肉的营养就不能最多地进入人体。在动物肉食品中，尤其是瘦肉中含有丰富的维生素(维生素产品，维生素资讯)b1，然而维生素b(维生素b产品，维生素b资讯)1在体内停留的时间很短，会随小便大量排出。如果在吃肉时再吃点大蒜，肉中的维生素b1能和大蒜中的大蒜素结合。这样可使维生素b1的含量提高46倍，而且能使维生素b1溶于水的性质变为溶于脂的性质，从而延长维生素b1在人体内的停留时间。医学专家在研究中还发现：吃肉又吃蒜，能促进血
系统 2019-08-29 22:55:17 2661
定义：为创建一组相关或相互依赖的对象提供一个接口，而且无需指定他们的具体类。类型：创建类模式类图：抽象工厂模式与工厂方法模式的区别抽象工厂模式是工厂方法模式的升级版本，他用来创建一组相关或者相互依赖的对象。他与工厂方法模式的区别就在于，工厂方法模式针对的是一个产品等级结构；而抽象工厂模式则是针对的多个产品等级结构。在编程中，通常一个产品结构，表现为一个接口或者抽象类，也就是说，工厂方法模式提供的所有产品都是衍生自同一个接口或抽象类，而抽象工厂模式所提供的产
系统 2019-08-29 22:45:30 2661
熟悉S3C44B0X开发板的开发流程一．Bootloader1.建立Cygwin虚拟linux环境（1）点击setup.exe开始安装（2）点击下一步，进入选择安装方法的界面：图1安装界面图二选择安装途径界面在这里，如果你的安装文件没有下载到本地，你可以选择从Internet安装。我们选择从本地安装，点击下一步继续。图三选择安装路径等图四选择Cygwin安装程序路径（3）选择好Cygwin安装程序的路径后点击下一步继续安装。图五选择安装模块（4）选择好自己
系统 2019-08-12 09:30:39 2661
前端的纯技术就是对规范的认知什么是DOMContentLoaded事件？首先想到的是查看W3C的HTML5规范，DOMContentLoaded事件在什么时候触发：Oncetheuseragentstopsparsingthedocument,theuseragentmustrunthefollowingsteps:1.Setthecurrentdocumentreadinessto“interactive”andtheinsertionpointtoun
系统 2019-08-12 09:30:31 2661
这一周接触到Cocos2D开发，在它的官网上看到RayWenderlic写的关于cocos2d开发的文章，感觉写的挺好，翻译了一下。原文链接地址大家可以在上面看到作者的更多内容初次翻译文章，望各位关照，想说的话在作者的文章里边也有表述，就直接开始吧游戏截图例子下载：Cocos2DSimpleGame.zip(776K)下载次数:348Cocos2D是iPhone开发中一个非常有用的库，它可以让你在创建自己的iPhone游戏时节省很多的时间。它具有很多的功能
系统 2019-08-12 09:29:28 2661
今天装了vs2005准备使用新功能进行串口通信，可是vs2005没有mscomm控件，还要手动注册，注册完成后，发现函数跟我原先在vc6.0的不一样，比如6.0是SetCommPort但是vs2005是put_CommPort，很不爽，卸载了2005，继续使用vc6.0，写好程序后，软件一运行到mscomm的create函数就跳出如下错误断言错误，跟踪断点，发现时在判断指针是否为空时出现错误了，在资料上查了很多资料，修改了很多次也不见起作用，以为是2005
系统 2019-08-12 01:55:41 2661
2009年的时候写了一篇"解决问题：心态原则方法",那么快就3年了,今天继续这个话题,把我解决问题的心得记录分享一下;下面的内容来自我平时的笔记,我按照问题解决的过程,重新整理了一下.从准确的描述问题开始你现在能不能用一句话描述清楚遇到的问题?问题是什么？形式上/直观上的描述描述的过程中,发现逻辑上说不过去了,可以发现盲点排除干扰因素,明确问题关键点和包含的概念问题的背景？(这是一个通用的问题还是特定背景下的问题?)2012-10-720:23:36更新假
系统 2019-08-12 01:54:35 2661
