Python爬虫:一些常用的爬虫技巧总结爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。1、基本抓取网页get方法importurllib2url"http://www.baidu.com"respons=urllib2.urlopen(url)printresponse.read()post方法importurllibimporturllib2url="http://abcde.com"form={'name':'abc','pass
系统 2019-09-27 17:38:00 2106
用Socket和ServerSocket这两个类模拟监听80端口请求的WEB服务器其实很简单的,我搞了一晚上才搞定。。。。。。说说为神马吧,主要是InputStream的阻塞机制!刚开始,我一次性读取1024字节,成功了。然后我又想到如果请求的字节数很长的话,只读取一次肯定不行,于是就用循环的方法使用read方法读取Request输入流的数据。然后,悲剧的事情就发生了!!!read方法竟然阻塞了,然后找资料找了好久找不到有用的资料,只看见有人说用java.
系统 2019-08-29 23:21:07 2106
设计缓存的目的缓存模块可以用来实现下列功能:提供了一系列的API它使得开发者不需要学习很多内部的工作机制,就可以将常用的缓存功能加入应用使用企业库的配置工具很容易配置性能高效线程安全,内部的代码考虑到了在多个线程调用,没有非预期的内部交互。使用后端存储,使得发生以外也可以保持数据的完整无缺。保证了内存中的数据和后端存储保持数据同步。本节讲述一些缓存模块设计的亮点,和设计的细节。还包括一些过期处理的设计和扫描处理的设计。1、设计亮点上图显示的是缓存模块中关键
系统 2019-08-29 23:19:28 2106
每年都有无数年轻程序员,加入软件行业。他们在学校里学过编程,但是对这个行业的现实一无所知。PatrickMcKenzie是美国一家小软件公司的老板,他写了一篇长文,介绍这个行业的一些实际情况。我看了以后很感慨,有些地方很受启发。我选择了一部分,翻译如下。一、90%的编程工作来自内部软件(90%ofprogrammingjobsareincreatingLineofBusinesssoftware)计算机专业的学生,可能有一种印象,觉得大部分程序员,都在编写
系统 2019-08-29 22:38:00 2106
晚上,和东方易维的CTO辛鹏和总经理王昕先生,在中关村西区那个西堤咖啡,聚了聚,聊了有关OPUG的事宜。OPUG(开发流程用户组)的地址是http://www.opug.org.cn/,欢迎大家访问。很佩服辛鹏现在还能有这番热情,弄这个OPUG社区。他的想法也还是有很多可取之处的,比如:(1)现在国内有关流程社区这一块,一直是一个空白。但国内流程应用和接触流程的技术人员和客户也越来越多,大家实际是需要这么一个社区的。(2)国内的流程产品Provider之间
系统 2019-08-29 22:34:55 2106
总结:服务器程序编写:①调用ServerSocket(intport)创建一个服务器端套接字,并绑定到指定端口上;②调用accept(),监听连接请求,如果客户端请求连接,则接受连接,返回通信套接字。③调用Socket类的getOutputStream()和getInputStream获取输出流和输入流,开始网络数据的发送和接收。④最后关闭通信套接字。客户端程序编写:①调用Socket()创建一个流套接字,并连接到服务器端;②调用Socket类的getOu
系统 2019-08-29 22:31:35 2106
在本文中,我们将介绍JSF转换和验证框架的概念,它比您所想的要容易使用得多,也灵活得多。首先我们将介绍应用于JSF生命周期的转换和验证过程,然后展示一个简单的JSF应用程序中的默认转换和验证过程。接着将展示如何创建和插入自定义的实现,以应对要求更高的场景。正如Rick在以前的文章中所说的,我们会理论与实践并重,先介绍概念,再用一个实际例子说明这些概念的应用。示例应用程序将涵盖大多数转换和验证用例,虽然只是初级的。注意,示例应用程序的默认编译环境是Maven
系统 2019-08-29 22:23:21 2106
dwr.xml文件的结构如下:
系统 2019-08-29 21:58:16 2106
1Web应用共享数据区ServletContext接口ServletContext接口表示一个web应用的上下文。可以想象成一个web一个能用的共享数据区域,该区域保存整个web共享数据。1.1Servlet容器何时创建ServeltContext接口实现类当一个web应用启动的时候,就会创建该ServletContext接口的实现类。我们可以在根据需求,读写ServletContext这个web共享区的数据,那么如何获得ServletContext这个实
系统 2019-08-12 09:30:34 2106
学习selenium自动化有一段时间了,今天一位自动化测试大侠给了我指导。如下:第一步,先用selenium的固定脚本把手工测试的流程写成脚本eg:driver.FindElement(By.Id("UserName")).Clear();第二步,把这些脚本放到reshaper/nunit里去运行和打报告在testcase加入断言或者验证第三部,重构这些脚本,用页面对象模式(类似于pagefactory)把脚本重构成用页面对象模式:把页面封装起来,业务逻辑
系统 2019-08-12 09:27:24 2106