写了一个抓taobao图片的爬虫,全是用if,for,while写的,比较简陋,入门作品。从网页http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。复制代码代码如下:#-*-coding:cp936-*-importurllib2importurllibmmurl="http://mm.taobao.com/json/request_top_list.htm?t
系统 2019-09-27 17:53:25 2346
好想在2014结束前再赶出个10篇博文来,~(>_<)~,不写博客真不是一个好兆头,至少说明对学习的欲望和对知识的研究都不是那么积极了,如果说这1天的时间我能赶出几篇精致的博文,你们信不信,哈哈,反正我是信了。。。python检测服务器是否ping通的2种方法1、第一种比较挫,就是用ping,python调用shell,这个适用于较少的服务器数量,几百台已经很慢了(当然是说python同步的方法,要是nodejs异步方式还是很快的,但是nodejsCPU计
系统 2019-09-27 17:53:22 2346
01散点图散点图显示两组数据的值,如图1-1所示。每个点的坐标位置由变量的值决定,并由一组不连接的点完成,用于观察两种变量的相关性。例如,身高—体重、温度—维度。图1-1散点图示例使用Matplotlib的scatter()函数绘制散点图,其中x和y是相同长度的数组序列。scatter()函数的一般用法为:主要参数说明如下:x,y:数组。s:散点图中点的大小,可选。c:散点图中点的颜色,可选。marker:散点图的形状,可选。alpha:表示透明度,在0~
系统 2019-09-27 17:52:53 2346
在互联网出现之前,“抄”很不方便,一是“源”少,而是发布渠道少;而在互联网出现之后,“抄”变得很简单,铺天盖地的“源”源源不断,发布渠道也数不胜数,博客论坛甚至是自建网站,而爬虫还可以让“抄”完全自动化不费劲。这就导致了互联网上的“文章”重复性很高。这里的“文章”只新闻、博客等文字占据绝大部分内容的网页。中文新闻网站的“转载”(其实就是抄)现象非常严重,这种“转载”几乎是全文照抄,或改下标题,或是改下编辑姓名,或是文字个别字修改。所以,对新闻网页的去重很有
系统 2019-09-27 17:51:18 2346
目录1.获取工作目录和设置工作目录2.获取日期处理3.列表的倒排序4.使用apply处理两个值的代码5.断言函数assert6.yield生成器7.获取程序运行时间8.动态生成变量9.数据可持续化操作10.数据运行时间211.创建目录12.删除无用的数据13.字符串格式化14.zip自动生成字典15.各种包的离线下载地址16.路径的设置17.数据添加ignore_index的使用技巧18.删除nan的总结19.批量重命名20.nohup的使用21.rese
系统 2019-09-27 17:49:55 2346
自动化一直是测试圈中的热聊,也是大家追求的技术方向。在测试中,往往回归测试也是测试人员的“痛点”。对于迭代慢、变更少的功能,就能用上自动化来替代人工回归,减轻工作量。问题在分享环境搭建之前,先抛出我的一个疑问吧。app启用时,分不同的场景:1.首次安装启用,有欢迎页;2.非首次启用,直接进入到登录页;3.配置了推荐展示时,启用app,会先展示推荐内容,才进入到登录页。不同场景对应的activity都是不同的,我目前处理办法是,写了个输入函数,加了个if判断
系统 2019-09-27 17:49:53 2346
文件操作文件操作介绍打开打开方式File对象的属性文件的读写File对象的常用方法读写定位关闭os模块详解os简介常用功能关于操作系统关于文件与目录路径操作json和pickle模块详解json简介python类型数据和JSON数据格式互相转换规则jsontopythonpythontojson数据类型编解码序列化及反序列化常用参数pickle简介JSON和pickle模块的区别文件操作介绍打开默认数据是加载到内存中,结果也是保存到内存中,程序执行结束,所
系统 2019-09-27 17:49:28 2346
此程序以李毅吧为例子,以面向对象的设计思想实现爬取保存网页数据,暂时并未用到并发处理,以后有机会的话会加以改善首先去百度贴吧分析贴吧地址栏中url后的参数,找到分页对应的参数pn,贴吧名字对应的参数kw首先创建类,写好__init__方法,run方法,__init__方法里先可以直接写passrun方法里大概整理一下整体的思路构造url列表,因为要爬取1000页,每页需对应一个url遍历发送请求,获取响应保存将可封装的步骤封装到单独的方法,所以这里又增加了
系统 2019-09-27 17:46:58 2346
我们在多文件下载或多事务处理时,经常会出现使用线程以提高效率的情况,而这时在GUI程序中如何表示进度,就成了一个不大不小的问题。现在比较被大众接受的方式,大体就是如迅雷等下载工具中一样,用表格中加载进度条以进行显示。而对于Swing来说,并没有现成的组件能够实现这一操作,还有下载的并发,似乎也需要额外进行处理。于是,我在此提供一个基于jdk1.6版本的示例,以供参考。(因为jdk1.6提供了SwingWorker,简化了图形程序中的线程处理,使用其他jdk
系统 2019-08-29 22:47:49 2346
注:前一篇:UNIX高手的10个习惯参见http://www.ibm.com/developerworks/cn/aix/library/au-badunixhabits.html级别:中级JohnFronckowiak,总裁,IDCConsultingInc.2008年7月24日作为MichaelStutz优秀文章的后续,本文将提供另外10个改进您的UNIX®命令行效率的好习惯。了解常见错误和克服它们的方法,并确切了解为何值得采用这10个UNIX习惯。<
系统 2019-08-29 22:26:22 2346