Python

零基础写python爬虫之使用urllib2组件抓取网页内容

版本号:Python2.7.5,Python3改动较大,各位另寻教程。所谓网页抓取,就是把URL地址中指定的网络资源从网络流中读取出来,保存到本地。类似于使用程序模拟IE浏览器的功能,把URL作为HTTP请求的内容发送到服务器端,然后读取服务器端的响应资源。在Python中,我们使用urllib2这个组件来抓取网页。urllib2是Python的一个获取URLs(UniformResourceLocators)的组件。它以urlopen函数的形式提供了一个

系统 2019-09-27 17:46:01 2511

Python

Python中使用tarfile压缩、解压tar归档文件示例

Python自带的tarfile模块可以方便读取tar归档文件,牛b的是可以处理使用gzip和bz2压缩归档文件tar.gz和tar.bz2。与tarfile对应的是zipfile模块,zipfile是处理zip压缩的。请注意:os.system(cmd)可以使Python脚本执行命令,当然包括:tar-czf*.tar.gz*,tar-xzf*.tar.gz,unzip等,当我觉得这样尽管可以解决问题,但我觉得很业余。使用tarfile压缩复制代码代码如

系统 2019-09-27 17:38:47 2511

Java

java现状----编程使用的语言最新排名

有相当权威性的TIOBE的编程语言指数最近一期的结果显示Java稳居第一,且有较大优势,C++下降了两名,落后于(Visual)Basic和PHP,成了老五。而C则稳居第二。PositionSep2007PositionSep2006DeltainPositionProgrammingLanguageRatingsSep2007DeltaSep2006Status11Java21.701%+0.17%A22C14.908%-3.15%A34(Visual)

系统 2019-08-29 23:41:24 2511

编程技术

dwr2

假設您要從資料庫中查詢出一些字串,然後填寫到表單的下拉選單中。例如一個示意的Java程式如下:12345678packageonlyfun.caterpillar;publicclassOption{publicString[]getOptions(){//實際上這些字串是從資料庫中查到的啦…returnnewString[]{"良葛格","毛美眉","米小狗"};}}傳回的字串陣列,您要填寫到下拉選單中,當然,首先我們要在dwr.xml中開發這個物件…1

系统 2019-08-29 23:24:25 2511

编程技术

能再变态点么?

一个700M的数据集文件包含了1,175,646条数据,其中1,175,645条数据的长度要么是0,要么是32,而居然在中间夹杂了一条,它的长度是30!长度为0或32是通过观察得到的结论,30是完全未曾预料的,naturally,我的代码core掉了……为了定位这一条数据,我采用二分法一点点切文件,然后对切割所得的文件进行检查,stepbystep,最后定位到出错的位置:312121212221-x-122-small-tc-asp33.log文件包含了不

系统 2019-08-29 22:22:16 2511

编程技术

Sql2005 全文索引(四)

-->Title:Sql2005全文索引(四)-->Author:wufeng4552-->Date:2009-10-14實戰篇(續)(6)填充全文索引填充全文索引实质上就是更新全文索引,其目的是让全文索引可能够反映最新的数据表内容。(6.1)填充全文索引的方式填充全文索引一共有三种方式:完全填充:完全填充方式通常发生在首次填充全文目录或全文索引时,在前一节中所说到的“启用全文索引”时,就已经对全文索引进行了一次完全填充,以后就可以使用基于更改跟踪的填充和

系统 2019-08-29 22:20:59 2511

Android

【Android游戏开发之六】终于做到在SurfaceView

Himi原创,欢迎转载,转载请注明!谢谢。原文地址:http://blog.csdn.net/xiaominghimi/archive/2010/12/26/6099194.aspx各位童鞋请你们注意:surfaceview中确实有onDraw这个方法,但是surfaceview不会自己去调用!!!而我代码中的ondraw也好draw也好,都是我自己定义的一个方法。。。放在线程中不断调用的,一定要注意!!昨天圣诞节,没有出去,而是一天时间全部纠结在如何在S

系统 2019-08-29 22:20:23 2511

编程技术

《Effective STL》重读笔记整理

最近有闲,在工作之余重读了《effectiveSTL》一书,并通过twitter记了一下笔记,今天整理收集到这里。twitter真的非常适合记读书笔记,哈哈,以后要好好地发扬。另,我的手机还是很老的UIQ3.0的索爱手机,有没有达人推荐一些上推的应用程序?谢谢。====================================#estl第50条:熟悉与STL相关的web站点。三个:www.sgi.com/tech/stl、www.stlport.or

系统 2019-08-29 22:05:13 2511

编程技术

如何在面试中发现优秀程序员

导读:找工作时人们总喜欢把简历写得漂亮一点,给面试官留下好印象。那么如何能在漂亮的简历中找出真正可用的优秀程序员呢?面试的问题很重要。本文作者详细介绍了他在面试中的经验,与大家分享,帮你招到优秀的程序员。他将面试大体分为三部分:在第一部分里,我们要做的是看应聘者的简历上写的是否符合实际情况。在第二部分里,我们要评估一下候选者究竟有多少实际经验。最后,我们要用一些问答选项或编程问题来测试这些经验。我曾在一次面试中要求一个很有经验的嵌入式软件开发人员写出一个反

系统 2019-08-12 09:29:48 2511

编程技术

算法系列15天速成——第六天 五大经典查找【下】

大家是否感觉到,树在数据结构中大行其道,什么领域都要沾一沾,碰一碰。就拿我们前几天学过的排序就用到了堆和今天讲的”二叉排序树“,所以偏激的说,掌握的树你就是牛人了。今天就聊聊这个”五大经典查找“中的最后一个”二叉排序树“。1.概念:<1>其实很简单,若根节点有左子树,则左子树的所有节点都比根节点小。若根节点有右子树,则右子树的所有节点都比根节点大。<2>如图就是一个”二叉排序树“,然后对照概念一比较比较。2.实际操作:我们都知道,对一个东西进行操作,无非就

系统 2019-08-12 09:29:45 2511

编程技术

2012华为软件机试题 浅析(二) ----------------

经与哥们联系,有的时间段的人,机试考的是这个题:将一个字符串中的小写字母变成大写的,如果是大写的则保持不变。如果是字母之外的符号如“,”、“?”等,则去掉这些符号。原型给定voidchange2(constchar*pIn,char*pOut)。下面是我的作答,仅供参考:voidchange2(constchar*pIn,char*pOut){//char*p=NULL;//p=pIn;if(pIn==NULL||pOut==NULL)return;whi

系统 2019-08-12 09:29:41 2511

编程技术

Iphone 官方的开发指南

核心应用程序所有的iPhone应用程序都是基于UIKit框架构建而成的,因此,它们在本质上具有相同的核心架构。UIKit负责提供运行应用程序和协调用户输入及屏幕显示所需要的关键对象。应用程序之间不同的地方在于如何配置缺省对象,以及如何通过定制对象来添加用户界面和行为。虽然应用程序的界面和基本行为的定制发生在定制代码的内部,但是,还有很多定制需要在应用程序的最高级别上进行。这些高级的定制会影响应用程序和系统、以及和设备上的其它程序之间的交互方式,因此,理解何

系统 2019-08-12 09:29:38 2511

编程技术

oledb快速导入Excel案例

DataTabledtImportExcel=null;stringpathFile=Server.MapPath("~/ErrorCatory.xlsx");//stringstrConn=@"Provider=Microsoft.Ace.OleDb.12.0;"+"datasource="+UploadFilePath+";ExtendedProperties='Excel12.0;HDR=Yes;IMEX=1;'";//strConn=string.

系统 2019-08-12 01:33:02 2511

编程技术

IE9平台预览版4 发布

今天IE团队发布了IEPlatformPreview4。新版本的IE内核速度再上一个台阶,对Web标准的支持也进一步增强,Acid3的分数已经到了95分,相比PlatformPreview3又是一个很大进步。SunSpider测试分数:Web标准兼容性:Acid3分数:IE9平台预览版4发布

系统 2019-08-12 01:32:52 2511