一：从各种不同的格式文件中导入数据,总结目前最常用的文件格式导入数据的一些方法:#-*-coding:utf-8-*-fromnumpyimport*defloadDataSet(fileName):'''导入数据'''numFeat=len(open(fileName).readline().split('\t'))-1dataMat=[]labelMat=[]fr=open(fileName)forlineinfr.readlines():lineAr
系统 2019-09-27 17:54:24 2006
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。Python¶requests#!-*-encoding:utf-8-*-importrequestsimportrandom#要访问的目标页面targetUrl="http://httpbin.org/ip"#要访问的目标HTTPS页面#targetUrl="https:
系统 2019-09-27 17:54:07 2006
requests提供了一个叫做session类，来实现客户端和服务端的会话保持使用方法1.实例化一个session对象2.让session发送get或者post请求session=requests.session()session.get(url,headers)下面就用人人网来实战一下#coding=utf-8importrequestssession=requests.session()#登录的表单urlpost_url="http://www.ren
系统 2019-09-27 17:53:16 2006
阅读目录一多态多态指的是一类事物有多种形态动物有多种形态：人，狗，猪importabcclassAnimal(metaclass=abc.ABCMeta):#同一类事物:动物@abc.abstractmethoddeftalk(self):passclassPeople(Animal):#动物的形态之一:人deftalk(self):print('sayhello')classDog(Animal):#动物的形态之二:狗deftalk(self):prin
系统 2019-09-27 17:53:09 2006
填充螺旋演示结果：实例代码：importmatplotlib.pyplotaspltimportnumpyasnptheta=np.arange(0,8*np.pi,0.1)a=1b=.2fordtinnp.arange(0,2*np.pi,np.pi/2.0):x=a*np.cos(theta+dt)*np.exp(b*theta)y=a*np.sin(theta+dt)*np.exp(b*theta)dt=dt+np.pi/4.0x2=a*np.cos
系统 2019-09-27 17:52:35 2006
第1题：如何解决验证码的问题，用什么模块，听过哪些人工打码平台？PIL、pytesser、tesseract模块平台的话有：（打码平台特殊，不保证时效性）云打码挣码斐斐打码若快打码超级鹰第2题：ip被封了怎么解决，自己做过ip池么？关于ip可以通过ip代理池来解决问题ip代理池相关的可以在github上搜索ipproxy自己选一个去说https://github.com/awolfly9/IPProxyTool提供大体思路：获取器通过requests的爬虫
系统 2019-09-27 17:52:35 2006
在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 2006
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 2006
在Python3.5（含）以前，字典是不能保证顺序的，键值对A先插入字典，键值对B后插入字典，但是当你打印字典的Keys列表时，你会发现B可能在A的前面。但是从Python3.6开始，字典是变成有顺序的了。你先插入键值对A，后插入键值对B，那么当你打印Keys列表的时候，你就会发现B在A的后面。不仅如此，从Python3.6开始，下面的三种遍历操作，效率要高于Python3.5之前：forkeyin字典forvaluein字典.values()forkey
系统 2019-09-27 17:52:03 2006
爬虫即网络爬虫，英文是WebSpider。翻译过来就是网络上爬行的蜘蛛，如果把互联网看作一张大网，那么爬虫就是在大网上爬来爬去的蜘蛛，碰到想要的食物，就把他抓取出来。我们在浏览器中输入一个网址，敲击回车，看到网站的页面信息。这就是浏览器请求了网站的服务器，获取到网络资源。那么，爬虫也相当于模拟浏览器发送请求，获得到HTML代码。HTML代码里通常包含了标签和文字信息，我们就从中提取到我们想要的信息。通常爬虫是从某个网站的某个页面开始，爬取这个页面的内容，找
系统 2019-09-27 17:51:07 2006
