拉勾网爬虫解析拉勾网网站:在拉勾网上输入关键词后我们可以得到相应的岗位信息(这里以Python为例),我们先获取到网站中所有的城市信息,再通过城市信息遍历爬取全国的Python职位信息。在数据包的Headers中我们可以得到网页头的相关信息,如网页URL、请求方法、Cookies信息、用户代理等相关信息。获取所有城市:classCrawlLaGou(object):def__init__(self):#使用session保存cookies信息self.la
系统 2019-09-27 17:52:08 2290
filepath=input('请输入文件名称:')city_list=pocess_json_file(filepath)city_list.sort(key=lambdacity:city['aqi'])#列名lines=[]lines.append(list(city_list[0].keys()))forcityincity_list:lines.append(list(city.values()))f=open('aqi.csv','w',enc
系统 2019-09-27 17:51:58 2290
ftp登陆连接fromftplibimportFTP#加载ftp模块ftp=FTP()#设置变量ftp.set_debuglevel(2)#打开调试级别2,显示详细信息ftp.connect("IP","port")#连接的ftpsever和端口ftp.login("user","password")#连接的用户名,密码printftp.getwelcome()#打印出欢迎信息ftp.cmd("xxx/xxx")#进入远程目录bufsize=1024#设置
系统 2019-09-27 17:50:53 2290
Python的MRO即MethodResolutionOrder(方法解析顺序),也就是在Python中的类的继承顺序是怎样的。在Python2.3之前,MRO的实现是基于DFS的,而在Python2.3以后MRO的实现是基于C3算法(我这里两种算法的具体实现都不详述)。C3算法最早被提出是用于Lisp的,应用在Python中是为了解决原来基于深度优先搜索算法不满足本地优先级,和单调性的问题。本地优先级:指声明时父类的顺序,比如C(A,B),如果访问C类对
系统 2019-09-27 17:50:47 2290
python3中的字符串是一种常见的数据类型。字符串有多种表现形式:单引号、双引号和三引号,且这些字符串的表现形式(单、双、三)都必须是成对出现的。单、双引号是英文的:‘'和"",三引号则是三个单引号或者三个双引号都可以:""""""或者'''''',在python中打出来时没有顺序之分(其实也看不出来顺序...),在一对引号的中间打上东西就是字符串,例如:#单引号#'123''小明''xyz'#双引号#"123""小明""xyz"关于单引号:单引号比较特
系统 2019-09-27 17:49:33 2290
动态链接库在Windows中为.dll文件,在linux中为.so文件。以linux平台为例说明python调用.so文件的使用方法。本例中默认读者已经掌握动态链接库的生成方法,如果不太清楚的可以参考动态链接库的使用调用上例动态链接库的使用中的sum.soimportctypesso=ctypes.CDLL('./sum.so')print"so.sum(50)=%d"%so.sum(50)so.display("helloworld!")print"so
系统 2019-09-27 17:47:56 2290
clear()方法将删除字典中的所有项目(清空字典)语法以下是clear()方法的语法:dict.clear()参数NA返回值此方法不返回任何值。例子下面的例子显示了clear()方法的使用#!/usr/bin/pythondict={'Name':'Zara','Age':7};print"StartLen:%d"%len(dict)dict.clear()print"EndLen:%d"%len(dict)当我们运行上面的程序,它会产生以下结果:Sta
系统 2019-09-27 17:46:51 2290
一、说明类似json将xml解析为python对象,可以使用第三方库untangle或xmltodict实现。将以下内容保存为xml2obj.xml,后我我们就使用该文件。1.第一行的是xml文件的声明,它定义了xml的版本(1.0)和所使用编码为UTF-8。2.接下来就是xml文件的内容了,这些内容按一个树状结构进行组织摆放,形式如下:section1contentsection2content其中,每一个.叫做一个节点,也叫一个元素,节点可以嵌套放置,
系统 2019-09-27 17:46:25 2290
Kmean分类项目链接:https://github.com/Wchenguang/gglearn/blob/master/KmeansClassifier/讲解/KmeansClassifier.ipynb首先,随机确定K个初始点作为质心(不必是数据中的点)。然后将数据集中的每个点分配到一个簇中,具体来讲,就是为每个点找到距其最近的质心,并将其分配该质心所对应的簇.这一步完成之后,每个簇的质心更新为该簇所有点的平均值.重复上述过程直到数据集中的所有点都距
系统 2019-09-27 17:45:38 2290
python是支持多线程的,并且是native的线程。主要是通过thread和threading这两个模块来实现的。thread是比较底层的模块,threading是对thread做了一些包装的,可以更加方便的被使用。这里需要提一下的是python对线程的支持还不够完善,不能利用多CPU,但是下个版本的python中已经考虑改进这点,让我们拭目以待吧。threading模块里面主要是对一些线程的操作对象化了,创建了叫Thread的class。一般来说,使用
系统 2019-09-27 17:38:43 2290