Python爬虫：一些常用的爬虫技巧总结爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、基本抓取网页get方法importurllib2url"http://www.baidu.com"respons=urllib2.urlopen(url)printresponse.read()post方法importurllibimporturllib2url="http://abcde.com"form={'name':'abc','pass
系统 2019-09-27 17:38:00 2199
冯大辉，是前支付宝网络中国科技有限公司的DBA。现在丁香园(http://DXY.cn)网站出任CTO。在工作之余，也比较关注Web2.0的一些发展情况，会在BLOG上写一些架构相关的文章，和大家分享，BLOG的地址是http://www.dbanotes.net/作为一名资深的DBA，大辉却在自己的BLOG上边写了不少关于网站架构这方面的一些文章，能不能谈谈DBA跟网站架构这方面的关系呢？好多朋友和我开玩笑，说我做一个DBA，却总去写一些架构相关的东西，
系统 2019-08-29 23:50:10 2199
（贴图转自ReasonMagazine）如果说几个月前还只是美国军方及政府独乐乐，近来WikiLeaks终于让全世界同乐了——维基解密终于解密了涉及世界绝大多数国家的秘密文件,整个世界都被朱利安.阿桑奇（JulianAssange）撩拨的兴奋起来。2010年年初，WikiLeaks第一次大规模披露伊战和阿富汗战争的10万份秘密文件时，美国军方无力招架，尴尬的面对千夫所指。倒是美国的媒体人们空前一致的站到军方及政府一边，怀疑阿桑奇的记者身份，指责阿桑奇的鲁莽
系统 2019-08-29 23:49:16 2199
第三章前期准备高质量的实践方法是创造高质量软件程序员的共性。末期强调质量：强调系统测试中期强调质量：强调构建实践（本书大部分篇幅所关注）前期强调质量，机会并要求高质量的产品。1，前期准备适用于现代软件设计前期进行认真适当的准备活动，那么项目会运行的很好，目标是降低风险。2，准备不周全的原因1）没有做前期准备的技能2）有技能，但是不能抵御尽快编码的欲望。3）管理人员认为没有必要的前期准备。3，前期准备简明论据诉诸逻辑：开始之前先思考做什么？如何去做？诉诸类比
系统 2019-08-29 23:14:17 2199
两种修改png图片颜色方法的对比在手机游戏开发中，为了节省资源，我们常常修改png图片以实现一张图片多种显示效果。有两种办法可以实现这个功能：第一种是装载png图片，使用getRGB()取得取得图片的RGB颜色数据,然后修改RGB颜色数据，再用Image的静态方法createRGBImage()将修改后的RGB颜色数据生成新的png图片。示例代码：testImage为测试的Image对象，imgW,imgH为其宽和高//取得图片的RGB数据--这个数组是比
系统 2019-08-29 22:54:21 2199
在多线程程序中，我们经常需要对要访问的资源进行加锁。加锁的目的是为了同步对资源的访问，但是，加锁不可避免的会降低应用的并发量。那么如何在需要加锁的时候，尽可能地提高并发量了？下面是我的一些经验，仅供参考。1.首先，我们要控制好锁的粒度。锁的粒度越大，能支持的并发就越小。我们只需要将真正需要同步的代码块lock住，而不需要同步的代码块不要放在lock块中。当然，锁的粒度也不是越小越好，粒度太细的锁会导致编程很繁琐，而且需要足够的细心和全面考虑方可保证锁不会出
系统 2019-08-29 22:43:04 2199
《设计模式》一书对于访问者模式给出的定义为：表示一个作用于某对象结构中的各元素的操作。它使你可以在不改变各元素的类的前提下定义作用于这些元素的新操作。从定义可以看出结构对象是使用访问者模式必须条件，而且这个结构对象必须存在遍历自身各个对象的方法。设想一个场景，就是学校，学校里有老师和学生，老师和学生可以称为两种元素，我们可以对这些元素进行很多操作(注意，这些操作都是外部性质的，不属于元素本身，这个至关重要），比如评价，问卷调查，采访和体检等，如果我们把这些
系统 2019-08-29 22:14:05 2199
在开发的过程中有很多的标签，用于显示或者是逻辑运算，但有些时候一些复杂的逻辑使用标签展示不是很方便，被迫使用<%%>代码片段案例：备注：一个检测对象Obj对应多个监测项目item步骤：1、查询出所有的监测对象obj2、循环监测对象，根据每个监测对象查询所有的监测项目item思路很清晰，但是问题出来了，如何保证标题和查询出来的内容一一对应的关系，而不会出现错位的现象？解决办法：使用一个map(itemcode,itemvalue);来保证数据对应起来由于JS
系统 2019-08-29 22:11:03 2199
1.缘起：假设我们的C/S系统中服务端与客户端之间采用UDP进行通信，那么服务端如何知道每个客户端当前是否仍然在线了？有可能某个客户端一直没有退出，但是在很长一段时间内都没有与服务端作任何通信，那么服务端就应该认为这个客户端已经离线了吗？为了能让服务端掌握每个客户端是否在线的状态，我们可以这样做，只要客户端一启动起来，就每隔一段时间间隔（如10秒）就向服务端发一个“我还在线”的消息，以表明自己的状态。而服务端如果在一个更大的时间间隔内（如20秒）都没有收到
系统 2019-08-29 22:05:22 2199
在一个JSP页面中添加一个对象很容易——页面中的每个控件即代表一个类的属性，然后提交表单，构成一个JAVABEAN对象，然后保存就可以。这里我介绍一下如何在一个页面中添加多个表单：1、添加一个table，有若干列，每列代表JAVABEAN的一个属性2、可以自动添加和减少一个行（即一个javabean对象）构成这样一个table之后就相当于创建了多个对象——一行代表一个对象，每列代表这个类的属性那么如何组织数据让后台保存到数据库中呢？1、使用JSON格式保存
系统 2019-08-29 22:01:32 2199
