《Python3爬虫、数据清洗和可视化实战》零一韩要宾黄园园著第九章：pandas数据清理9.1数据读写、选择、整理和描述Pandas是用来数据清洗的Python库，由于它的依赖库很多，所以建议还是下载anaconda，里面内置了相关库。9.1.1读取CSV数据df=pd.read_csv(“csv_path”,delimiter=”,”,encoding=””)参数说明：“csv_path”,CSV文件路径；delimiter=”,”：分隔方式；enco
系统 2019-09-27 17:54:37 1813
本文实例讲述了Python字符串、列表、元组的截取与切片操作。分享给大家供大家参考，具体如下：demo.py（字符串、列表、元组的截取）：#切片(截取)[开始索引:结束索引:步长]步长默认为1结束索引默认截取到末尾#字符串的截取print("012345"[1:3])#12#列表的截取print([0,1,2,3,4,5][1:3])#[1,2]#元组的截取print((0,1,2,3,4,5)[1:3])#(1,2)#字典的元素是无序的,没有索引,所以不
系统 2019-09-27 17:54:29 1813
一：从各种不同的格式文件中导入数据,总结目前最常用的文件格式导入数据的一些方法:#-*-coding:utf-8-*-fromnumpyimport*defloadDataSet(fileName):'''导入数据'''numFeat=len(open(fileName).readline().split('\t'))-1dataMat=[]labelMat=[]fr=open(fileName)forlineinfr.readlines():lineAr
系统 2019-09-27 17:54:24 1813
正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。re模块使Python语言拥有全部的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象拥有一系列方法用于正则表达式匹配和替换。re模块也提供了与这些方法功能完全一致的函数，这些函数使用一个模式字符串做为它们的第一个参数。python正则表达式的使用（实
系统 2019-09-27 17:54:15 1813
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 1813
表数据超过百万级别时使用pandas读取数据速度过慢，如果仍然想用pandas读取，可以通过多进程提高效率。同时可以将常用数据保存为pkl文件，以便后续使用。@主要代码实现#按照表中的某字段将表划分为比较均匀的多个子集#本例中需要读取的表中包含了城市字段，#且涉及的城市包含了全国大部分城市，数据分布较为均匀，因此制作了一张省份城市配置表，将数据划分#读取省份-城市配置表，获取城市列表defget_division_list(db_connect,divis
系统 2019-09-27 17:53:46 1813
《lnmp一键安装包》中需要获取ip地址，有2种情况：如果服务器只有私网地址没有公网地址，这个时候获取的IP（即私网地址）不能用来判断服务器的位置，于是取其网关地址用来判断服务器在国内还是国外（脚本为了使国内用户快速下载，yum源自动设置成163，这个情况就需要获取网关地址）；如果服务器有公网地址，这时获取的IP地址可用来直接判断服务器地理位置。获取服务器IP，如果有公网地址就取公网地址，没有公网地址就取私网网址下面是之前我用shell来获取本地IP脚本：
系统 2019-09-27 17:53:41 1813
BacktoPythonIndex很好玩儿的数据结构，多用于无序数据去重多组数据逻辑运算，寻找交集，并集，非集等操作见https://blog.csdn.net/business122/article/details/7541486
系统 2019-09-27 17:53:35 1813
在Python中有两种函数，一种是def定义的函数，另一种是lambda函数，也就是大家常说的匿名函数。今天我就和大家聊聊lambda函数，在Python编程中，大家习惯将其称为表达式。1.为什么要用lambda函数?先举一个例子：将一个列表里的每个元素都平方。先用def来定义函数，代码如下defsq(x):returnx*xmap(sq,[yforyinrange(10)])再用lambda函数来编写代码map(lambdax:x*x,[yforyinr
系统 2019-09-27 17:53:33 1813
classRoom:def__init__(self,name,length,width):self.__name=nameself.__length=lengthself.__width=widthdefget_name(self):returnself.__namedefset_name(self,newName):iftype(newName)isstrandnewName.isdigit()==False:self.__name=newNameel
系统 2019-09-27 17:53:27 1813
