爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:07 1768
Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（GlobalInterpreterLock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。在Python中我们主要是通过thread和threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用threading模块实现多线程编程。这篇文章我们主要来看看Python对多线程
系统 2019-09-27 17:50:59 1768
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高XPath，全称XMLPathLanguage，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可
系统 2019-09-27 17:50:58 1768
前言Python以其简单易懂的语法格式与其它语言形成鲜明对比，初学者遇到最多的问题就是不按照Python的规则来写，即便是有编程经验的程序员，也容易按照固有的思维和语法格式来写Python代码，有一个外国小伙总结了一些大家常犯的错误，，我把他翻译过来并在原来的基础补充了我的一些理解，希望可以让你避开这些坑。0、忘记写冒号在if、elif、else、for、while、class、def语句后面忘记添加“:”ifspam==42print('Hello!')
系统 2019-09-27 17:50:54 1768
习题1：读入文件pmi_days.csv，完成以下操作：1.统计质量等级对应的天数，例如：优：5天良：3天中度污染：2天2.找出PMI2.5的最大值和最小值，分别指出是哪一天。importpandasimportnumpyfile=open(r"pmi_days.csv")df=pandas.read_csv(file)date=df.groupby('质量等级')excellent=dict([xforxindate])['优']good=dict([x
系统 2019-09-27 17:50:40 1768
PIL提供了通用的图像处理功能，以及大量的基本图像操作，如图像缩放、裁剪、旋转、颜色转换等。Matplotlib提供了强大的绘图功能，其下的pylab/pyplot接口包含很多方便用户创建图像的函数。为了观察和进一步处理图像数据，首先需要加载图像文件，并且为了查看图像数据，我们需要将其绘制出来。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnp#加载图像img=Image.open("
系统 2019-09-27 17:50:40 1768
一、Python下载1、Python最新源码，二进制文档，新闻资讯等可以在Python的官网查看到：2、Python官网：https://www.python.org/3、你可以在以下链接中下载Python的文档，你可以下载HTML、PDF和PostScript等格式的文档。4、Python文档下载地址：https://www.python.org/doc/二、Window平台安装Python:1、以下为在Window平台上安装Python的简单步骤：2、
系统 2019-09-27 17:50:36 1768
下面是十个Python中很有用的贴士和技巧。其中一些是初学这门语言常常会犯的错误。注意：假设我们都用的是Python31.列表推导式你有一个list：bag=[1,2,3,4,5]现在你想让所有元素翻倍，让它看起来是这个样子：[2,4,6,8,10]大多初学者，根据之前语言的经验会大概这样来做bag=[1,2,3,4,5]foriinrange(len(bag)):bag[i]=bag[i]*2但是有更好的方法：bag=[elem*2foreleminba
系统 2019-09-27 17:50:33 1768
平时做数据处理基本离不了日志记录功能。每次都配置一堆挺烦人，索性封装个模块，这里记录一下，与大家共享。说明本日志模块目前只有一个方法getLogger，其他配置项通过参数传递，包括日志文件名，等级，日志文件划分方式，日志清除配置，日志格式等。logger.pyimportloggingfromloggingimporthandlers#日志级别字典__level_dict={'critical':logging.CRITICAL,'fatal':loggi
系统 2019-09-27 17:50:32 1768
最近在工作中遇到一个问题，就是有一个功能希望在各种服务器上实现，而服务器上的系统版本可能都不一样，有的是CentOS6.x，有的是CentOS7.x。需要说明的一点是，CentOS6.x上的Python版本是2.6.x的，而CentOS7.x上的Python版本是2.7.x的，这意味着我要实现的功能要适配这两种版本的系统。你可能会说，这有什么的，自己写的时候，注意一下就好了。事情其实没有那么容易，我要实现的功能是基于一个框架进行定制，需要修改不少的框架代码
系统 2019-09-27 17:50:30 1768
