- 军军小站|张军博客
搜索到与相关的文章
Python

浅谈Python爬取网页的编码处理

背景中秋的时候,一个朋友给我发了一封邮件,说他在爬链家的时候,发现网页返回的代码都是乱码,让我帮他参谋参谋(中秋加班,真是敬业==!),其实这个问题我很早就遇到过,之前在爬小说的时候稍微看了一下,不过没当回事,其实这个问题就是对编码的理解不到位导致的。问题很普通的一个爬虫代码,代码是这样的:#ecoding=utf-8importreimportrequestsimportsysreload(sys)sys.setdefaultencoding('utf8

系统 2019-09-27 17:37:38 1942

编程技术

我的新书《微博是这样炼成的:从聊天室到Twitter

我的新书《微博是这样炼成的:从聊天室到Twitter的实现》己由人民邮电出版社出版,上市发行。先上封面图:本书特点简介:(1)项目驱动本书的技术点专注于网络通信、安全加密和项目设计构架3方面。讲解的技术要点有TCP/IP编程、设计模式、UDP编程、P2P通信、通信加密技术、JavaNIO技术、JMF视频通信、RMI远程调用、HessianWebService、Memcached缓存系统等。这些看似深刻难以理解和掌握的技术要点被通过循序渐进的案例实践,一步一

系统 2019-08-29 23:41:29 1942

编程技术

PL/SQL Developer 操作导出数据脚本、数据

完整的导出整个数据库表结构即dmp文件方法:Tools-->ExportTables:选择OracleExport默认选项即可,在Outputfile选择一个输出目标点击Export,即可导出表结构导出表中数据Tools-->ExportTables:选择SQLInserts遇到大字段(clob,blob)会出问题导不出来,在此可以选择需要导出的表,在Outputfile中选择导出的目标,点击Export即可导出,在此有几个选项可以去掉所有的可选项直接导出

系统 2019-08-29 23:16:30 1942

编程技术

AjaxPro使用说明

AjaxPro使用说明1目录2修改历史纪录31、什么是Ajax42、为什么使用Ajax43、Ajax应用场景44、Ajax开发框架55、AjaxPro说明66、AjaxPro实例说明62.1、添加AjaxPro.dll应用62.2、配置web.config82.3、添加服务端方法92.4、添加前台代码112.5、运行程序,检验结果121、什么是AjaxAjax是异步Javascript和XML(AsynchronousJavaScriptandXML)的英

系统 2019-08-29 22:48:21 1942

编程技术

全国867万考生今日高考 今年高校计划招生475万

http://news.sohu.com/20050607/n225844774.shtml六月六日,参加高考的学生在河南郑州回民中学考点了解座位分布。高考即将开始,全国各地沉浸在备战高考的气氛中。据新华社北京6月6日电(记者吕诺)全国高考将于7日拉开帷幕。全国统一考试时间为7日、8日两天。由于部分省市高考科目设置不同,今年江苏省、广东省高考时间为7日、8日、9日以及10日上午共三天半,上海市高考时间为7日、8日以及9日上午共两天半。英语科目考试时间调整到

系统 2019-08-29 22:42:06 1942

编程技术

HornetQ初体验

技术介绍下面来自百度百科HornetQ是一个支持集群和多种协议,可嵌入、高性能的异步消息系统。HornetQ完全支持JMS,HornetQ不但支持JMS1.1API同时也定义属于自己的消息API,这可以最大限度的提升HornetQ的性能和灵活性。在不久的将来更多的协议将被HornetQ支持。[1]HornetQ拥有超高的性能,HornetQ在持久化消息方面的性能可以轻易的超于其它常见的非持久化消息引擎的性能。当然,HornetQ的非持久化消息的性能会表现的

系统 2019-08-29 22:38:05 1942

编程技术

“练”出领导力

有人认为,领导只是小部分人的事情。他们认为只有极个别的人才能够理解错综复杂的领导事务。但是《领导力》一书的作者詹姆斯·库泽斯和巴里·波斯纳在书中却表示,其实人人都可以成为好的领导者,人人都可以经过学习和演练而成为领导者。詹姆斯·库泽斯和巴里·波斯纳得出这样的结论并不是头脑发热、一时兴起,他们从1983年就开始进行与领导力相关的问题的研究,并于1987年出版了第一个版本的《领导力》。在过去的20多年中,他们的研究一直在持续,并于2007年出版了《领导力》的第

系统 2019-08-29 22:34:41 1942

编程技术

ESBasic 可复用的.NET类库(05) -- 工作者引

1.缘起:假设我们的系统在运行的过程中,源源不断的有新的任务需要处理(比如订单处理),而且这些任务的处理是相互独立的,没有前后顺序依赖性(顺序依赖性是指,必须在任务A处理结束后才可开始B任务),那么我们就可以使用多个线程来同时处理多个任务。每个处理任务的线程称为“工作者(线程)”。我设计了ESBasic.Threading.Engines.IWorkerEngine工作者引擎,其目的就是使用多个线程来并行处理任务,提高系统的吞吐能力。工作者引擎的形象示意图

系统 2019-08-29 22:15:05 1942

编程技术

(原创)一个优秀软件开发人员的必修课:GRASP

我偶然在google或yahoo这样的搜索引擎搜索GRASP发现,除了国外的网站,国内网站多介绍和讨论GoF而很少介绍GRASP,即使这少量的文章也讲解非常粗略。个人认为作为优秀的开发人员,理解GRASP比GoF更重要,故写此文章。前面我在《(原创)一个优秀软件开发人员的必修课:GRASP软件开发模式浅析》中介绍了使用GRASP的目的,今天允许我调换一下顺序,先从低耦合讲起,因为诸如创建者模式、信息专家模式的根本目的就是降低耦合。1.低耦合(LowCoup

系统 2019-08-29 21:58:58 1942

编程技术

一次library cache pin故障的解决过程

在dbsnake上看到的这篇文章,转过来。主要还是学习解决问题的一个思路。这个往往比问题的解决更重要。原文链接如下:http://dbsnake.com/2010/06/solve-library-cache-pin.html内容如下:今天接到同事的电话,说他的一个存储过程已经run了一个多小时了,还在继续run,他觉得极不正常,按道理说不应该run这么长时间。我说那我去看一下吧。这个库是一个AIX上的10.2.0.4,我采集了一下问题时间段的AWR报告:

系统 2019-08-12 09:29:44 1942