近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录1.在正常情况下..可以用importchardetthischarset=chardet.detect(strs)["encoding"]来获取该文件或页面的编码方式或直接抓取页面的charset=xxxx来获取2.遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.st
系统 2019-09-27 17:38:01 2286
下载图片下载图片有两种方式，一种是通过Requests模块发送get请求下载，另一种是使用Scrapy的ImagesPipeline图片管道类，这里主要讲后者。安装Scrapy时并没有安装图像处理依赖包Pillow，需手动安装否则运行爬虫出错。首先在settings.py中设置图片的存储路径：IMAGES_STORE='D:/'图片处理相关的选项还有：#图片最小高度和宽度设置，可以过滤太小的图片IMAGES_MIN_HEIGHT=110IMAGES_MIN
系统 2019-09-27 17:37:58 2286
工作环境：IDE:Eclipse3.1.2jdk:jdk1.5.0_06Tomcat:apache-tomcat-5.5.15AXIS2:1.0(war版本和bin版本)环境准备：http://ws.apache.org/axis2/download/1_0/download.cgi去下载AXIS2的BinaryDistributionurl:http://apache.justdn.org/ws/axis2/1_0/axis2-std-1.0-bin.z
系统 2019-08-29 23:47:04 2286
在http://www.theserverside.com/articles/article.tss?l=LightweightModeling一文中，作者介绍了一种实际可行的MDA方法。即通过UML->EMFModel->Code得到领域模型的代码。然后将领域模型的代码通过JETtemplates生成更多的程序代码。一种实际的MDA方法--LightweightDomainSpecificModeling
系统 2019-08-29 23:46:01 2286
吃水不忘挖井人，希望大家支持一下写这篇文章作者：http://www.cnblogs.com/thinhunan/archive/2006/04/01/DeveloperNotesForPrototype.html看到一个很好的东西在国内没有被很多人使用起来，实在是不爽，所以花了很大功夫把这个手册翻译成中文，由于这篇文章很长，所以，翻译的工作量很大而且有些地方英文版也没有说清楚，虽得查看源代码，好在不是坚持做完了，大家鼓励下啊！^o^prototype.j
系统 2019-08-29 23:26:29 2286
作者：NormanIngal(趋势科技威胁回应工程师)根据报导，最近出现了一些可攻击多种运算平台的大规模攻击恶意程式。在最近的一次事件中，苹果Mac电脑遭到了新的KOOBFACE家族变种所攻击。(Koobface是一个恶名昭彰的恶意程式家族，专门透过社交网路散播，如：Facebook。不过，事实上这些事件并非零星个案。它们是大规模入侵与恶意网站攻击的冰山一角。网路犯罪者已逐渐将浏览器类型与作业系统版本侦测纳入标准攻击程序当中。而且，攻击中使用的恶意网站、酬
系统 2019-08-29 23:25:49 2286
如何引用自定的staticblock呢，很简单，一段代码解决：在magento的模版中有些内容想通过后台来控制，那么你可以将这些htmlcssjs放在CMS的staticblocks中，然后用下面的代码来在前台输出写到phtml文件里的的PHP代码如下：getLayout()->createBlock('cms/block')->setBlockId('your_block_Identifier')->toHtml()?>其
系统 2019-08-29 23:22:08 2286
关于Query的学习。主要使用TermQuery和BooleanQuery，它们是最最基础的Query。我感觉Query的灵活性太大了，这就使得它那么地具有魅力。当用户提交了检索关键字以后，首先就是要根据这个关键字进行分析，因为不同的用户提交的关键词具有不同的特点，所以使用不同方式来构造Query是极其关键的，从而使提供的检索服务最大程度地满足用户的意愿。先看看Query抽象类的继承关系，如图所示：最简单最基础的就是构造一个TermQuery，根据词条本身
系统 2019-08-29 22:58:00 2286
首先，我们讨论什么是真正的DWR。DWR是DirectWebRemoting的缩写，是Java和JavaScript相结合的开源库。通过它，可以简单、容易地构建Ajax程序，无需深入了解XMLRequest的编码细节。它容许你通过客户端的JavaScript，采用看似调用浏览器本地代码的方法来调用服务器端的代码。这就是DWR的直接含义。相对DWR提高的各种强大功能而言，其体系结构却非常简单。下面一幅精确的图概要说明了DWR的运行机制。在图的左侧有一个eve
系统 2019-08-29 22:56:46 2286
分层与分模块开发，是开发时经常选用的两种方式，应该说分模块开发是较多被采用的方式，但一直以来都觉得其实分层方式自己是比较欣赏的方式，对于两种开发方式分别的看法是：分层开发优点：1、保持系统分层结构分层开发在这点上无疑是可以保证的，同时有利于保证系统层次的职责的清晰以及分离。2、面向接口的编程由于采用分层开发，各层次之间采用接口依赖的方式就更容易被执行了。缺点：1、容易造成瓶颈现象由于分层开发各个承担人员的任务难度不一样，很容易形成瓶颈现象。2、对于系统设计
系统 2019-08-29 22:55:11 2286
