我们开始来谈谈python的爬虫。1,什么是爬虫:网络爬虫是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。互联网犹如一个大蜘蛛网,我们的爬虫就犹如一个蜘蛛,当在互联网遇到所需要的资源,我们就会爬取下来,即为爬虫是一个请求网站并且提取数据的自动化程序。2,下面我们来提到两个名词:1)请求,request即为我们的请求,当我们在浏览器内输入网址,敲击回车时,这时浏览器就会发送消息给该网址所在
系统 2019-09-27 17:50:56 2255
1.linux下消息记录关于系统的各种消息一般都会记录在/var/log/messages文件中,有些主机在中默认情况下有可能没有启用,具体配置方法可参考下面这篇博客:系统日志配置/var/log/messages2.python代码实现原理其实很简单,就是读/var/log/messages文件,找到有关usb的信息就可以了。#!/usr/bin/envpythonusbmsg=open("/var/log/messages","r")forlinein
系统 2019-09-27 17:50:15 2255
importrequests,time,csvfrombs4importBeautifulSouphref_list=[]url='https://hz.58.com/lvguanbinguan'headers={'user-agent':}params={'PGTID':'0d306b32-0004-f711-87c6-3e3cb7371c0d','ClickID':'2'}res=requests.get(url,headers=headers,par
系统 2019-09-27 17:49:24 2255
字符编码一、ascii码:基于拉丁字母的一套电脑编码系统,主要用于显示现代英语和其他西欧语言,最多只能用8位标识,即2**8=256-1,所以最多只能表示255个字符。计算机沿用中国,中文显然远大于255字符,必须要对中文进行编码二、中文编码为处理汉字,程序设计用于简体中文GB2132和繁体中文big5GB2312(1980年)共7445个字符,包括6763个汉字和682个其它符号,GBK1.0(1995年)收录了21886个符号,它分为汉字区和图形符号区
系统 2019-09-27 17:48:01 2255
动态链接库在Windows中为.dll文件,在linux中为.so文件。以linux平台为例说明python调用.so文件的使用方法。本例中默认读者已经掌握动态链接库的生成方法,如果不太清楚的可以参考动态链接库的使用调用上例动态链接库的使用中的sum.soimportctypesso=ctypes.CDLL('./sum.so')print"so.sum(50)=%d"%so.sum(50)so.display("helloworld!")print"so
系统 2019-09-27 17:47:56 2255
NumPy是一个优秀的科学计算库,提供了很多实用的数学函数、强大的多维数组对象和优异的计算性能,不仅可以取代Matlab和Mathematica的许多功能,而且业已成为Python科学计算生态系统的重要组成部分。但与这些商业产品不同,它是免费的开源软件。本书从NumPy安装讲起,逐渐过渡到数组对象、常用函数、矩阵运算、线性代数、金融函数、窗函数、质量控制等内容,致力于向初中级Python编程人员全面讲述NumPy及其使用。另外,通过书中丰富的示例,你还将学
系统 2019-09-27 17:47:44 2255
clock()方法返回当前的处理器时间,以秒表示Unix上一个浮点数。精度取决于具有相同名称的C函数,但在任何情况下,这是使用于基准Python或定时的算法函数。在Windows中该函数返回,因为这个函数的第一个调用过去挂钟秒钟,作为浮点数,基于Win32函数QueryPerformanceCounter。语法以下是clock()方法的语法:time.clock()参数NA返回值此方法返回当前处理器时间作为浮点数在UNIX秒钟,并在Windows中表示返回
系统 2019-09-27 17:46:43 2255
一、说明类似json将xml解析为python对象,可以使用第三方库untangle或xmltodict实现。将以下内容保存为xml2obj.xml,后我我们就使用该文件。1.第一行的是xml文件的声明,它定义了xml的版本(1.0)和所使用编码为UTF-8。2.接下来就是xml文件的内容了,这些内容按一个树状结构进行组织摆放,形式如下:section1contentsection2content其中,每一个.叫做一个节点,也叫一个元素,节点可以嵌套放置,
系统 2019-09-27 17:46:25 2255
概述在我们使用内置打印函数print时,打印出的Python数据结构对象总是一行的输出的方式,这样对数据结构较复杂或数据较多的对象的显示并不美观,这时我们可以利用pprint输出美化数据结构对象。pprint方法概览美化输出我们可以利用pprint中的PrettyPrinter控制输出的打印时的缩进,行宽、甚至打印深度等,定义类如下classpprint.PrettyPrinter(indent=1,width=80,depth=None,stream=N
系统 2019-09-27 17:45:58 2255
Kmean分类项目链接:https://github.com/Wchenguang/gglearn/blob/master/KmeansClassifier/讲解/KmeansClassifier.ipynb首先,随机确定K个初始点作为质心(不必是数据中的点)。然后将数据集中的每个点分配到一个簇中,具体来讲,就是为每个点找到距其最近的质心,并将其分配该质心所对应的簇.这一步完成之后,每个簇的质心更新为该簇所有点的平均值.重复上述过程直到数据集中的所有点都距
系统 2019-09-27 17:45:38 2255