上次完成的url爬取项目并不能满足需求，在此完成了一个更为强大的爬取代码，有需要的可以直接运行，根据自己爬取的网站更改部分正则和形参即可。前排提示：运行需要耐心，因为几千个url爬完的话，还是建议花生瓜子可乐电影准备好。下面是代码，代码有注释，很容易理解。注意：爬虫代码每过一段时间就需要更新，因为爬的东西在变，所以可能过一段时间就要更新爬虫。#-*-coding:utf-8-*-"""CreatedonWedSep2914:01:282018@author
系统 2019-09-27 17:52:48 2239
离线批量下载，首先可以使用：pipfreeze>requirements.txt可以将其中的==改成>=，批量修改即可使用命令，把下载的库放入dependency文件夹下：中途可能因为网络原因下载失败，再次执行该命令即可，已经下载好的包不会重复下载pipdownload-ddependency-rrequirements.txt批量离线安装：pipinstall--no-index--find-links=安装包路径-rrequirements.txt下载
系统 2019-09-27 17:47:58 2239
1：readline()file=open("sample.txt")while1:line=file.readline()ifnotline:breakpass#dosomethingfile.close()一行一行得从文件读数据，显然比较慢；不过很省内存；测试读10M的sample.txt文件，每秒大约读32000行；2：fileinputimportfileinputforlineinfileinput.input("sample.txt"):pas
系统 2019-09-27 17:38:15 2239
高性能服务器TornadoPython的web框架名目繁多，各有千秋。正如光荣属于希腊，伟大属于罗马。Python的优雅结合WSGI的设计，让web框架接口实现千秋一统。WSGI把应用（Application）和服务器（Server）结合起来。Django和Flask都可以结合gunicon搭建部署应用。与django和flask不一样，tornado既可以是wsgi应用，也可以是wsgi服务。当然，选择tornado更多的考量源于其单进程单线程异步IO的
系统 2019-09-27 17:38:14 2239
前言pandas是基于Numpy构建的含有更高级数据结构和工具的数据分析包类似于Numpy的核心是ndarray，pandas也是围绕着Series和DataFrame两个核心数据结构展开的。Series和DataFrame分别对应于一维的序列和二维的表结构。pandas约定俗成的导入方法如下：frompandasimportSeries,DataFrameimportpandasaspd1.1.Pandas分析步骤1、载入日志数据2、载入area_ip数
系统 2019-09-27 17:37:36 2239
java的经典书籍baidu一下把的.不说了.以下几本是我看过或是翻过的.保存一下日后争取把他看完.不断更新...看完这本,基础知识有一个系统的了解.适合初学者.同事的书,就是从这本入门的,我借来看了一下,android不是很难.这本书图书馆借的,准备长期持有参考.java高级技术的知识.我觉得挺好.各种框架都不如spring的地位和重要性.这本书有点复杂.逆向破解算是一个程序员技术里面的传统技术.想收藏一本专门讲加密解密的.很想收藏一本.书不厚,简单易懂
系统 2019-08-29 22:56:51 2239
最近要增加短信平台对移动CMPP3协议的支持，所以就研究了下他的实现。所谓的CMPP就是中国移动通信互联网短信网关接口协议。CMPP协议以TCP/IP作为底层通信承载,所以开发这块需要对TCP/IP网络编程要有一定的了解。原理：个人理解就是双方建立以什么方式来通信，就好比信是暗号写的，只有双方看的懂。本文主要针对于长连接形式发送短信为例，而我们编写程序也只用编写在C/S架构的通讯过程中的C，然后根据服务商提供的帐号、参数经行测试。下图是长连接的流程图。一、
系统 2019-08-29 22:53:23 2239
版本控制在团队开发中是必不可少的。CVS是优秀的开源版本控制软件，Eclipse本身就内置了对CVS的支持，只需简单配置，即可使用CVS。首先我们要正确安装并配置好CVS服务器，通常LinuxServer都自带CVS服务，不过命令行操作比较繁琐。Windows下也有简单易用的CVS服务器，这里我们推荐CVSNT，可以下载CVSNT2.0.51a，安装并启动CVSNT：然后切换到Repositories面板，添加一个Repository，命名为/cvs-ja
系统 2019-08-29 22:45:05 2239
如果您喜欢这些文章，欢迎点击此处订阅本Blog
系统 2019-08-29 22:29:06 2239
大概要实现的内容这是一个很简单的示例，服务器端只是用了一个jsp页面，返回的类型为xml。先讲下是怎么回事，就是在浏览器端，通过ajax请求，发送一串英文字母，服务器端通过比较，返回具有相同前缀的英文单词。就这么个意思。工程是在IntelliJIDE中完成的。做前端开发感觉用IntelliJ比较方便，因为对于写javascript的话，有函数名的提示。本例提供下载。望各位提出宝贵意见哈。一、客户端JSP页面Html代码收藏代码<%--CreatedbyIn
系统 2019-08-29 22:19:25 2239
