在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 2066
本文实例讲述了Python进程间通信Queue消息队列用法。分享给大家供大家参考，具体如下：进程间通信-QueueProcess之间有时需要通信，操作系统提供了很多机制来实现进程间的通信。1.Queue的使用可以使用multiprocessing模块的Queue实现多进程之间的数据传递，Queue本身是一个消息列队程序，首先用一个小实例来演示下Queue的工作原理：代码如下：#coding=utf-8frommultiprocessingimportQue
系统 2019-09-27 17:52:28 2066
建造者模式，也是一种创建新对象的设计方法，和C++中的虚函数很类似，但是用到了python自身的虚基类ABCMeta。1.应用场景:某个类中的函数较多，且实现比较复杂，很多时候需要继承的子类重载或者重新定义逻辑；2.背景基础：由于用到python中虚函数，需要了解abc模块中的ABCMeta和python中类创建对象时的__metaclass__属性含义。一般地，在某个类中如果定义__metaclass__=something时，简单地说是，创建对象时，会
系统 2019-09-27 17:52:26 2066
扫描服务器ip开放端口，用线程池ThreadPoolExecutor，i7的cpu可以开到600个左右现成,大概20s左右扫描完65535个端口，根据电脑配置适当降低线程数#!/usr/local/python3.6.3/bin/python3.6#coding=utf-8importsocketimportdatetimeimportrefromconcurrent.futuresimportThreadPoolExecutor,waitDEBUG=Fa
系统 2019-09-27 17:52:19 2066
#下载一个网页importrequestsimportreurl='https://www.biquge5200.cc/14_14621/'#模拟浏览器发送http请求response=requests.get(url)#编码方式response.encoding='utf-8',如果下载下来的网页内容有中文乱码现象就需要加上这一句话#网页源码html=response.text#[0]取列表下第0个元素.#eg:title的输出结果为：['斗神狂飙无弹窗
系统 2019-09-27 17:52:18 2066
我们首先来看下python的全部代码，大家可以直接复制后测试：#-*-encoding:utf-8-*-importloggingimportwmiimportosimporttimefromConfigParserimportConfigParserimportsmtplibfromemail.mime.textimportMIMETextimportsocketfromdatetimeimportdatetimeimportreimportsysimp
系统 2019-09-27 17:52:12 2066
函数这么重要的东西自然少不了。那么在python中是怎么定义的呢？defcgg(name):print("haha%s"%name)def是定义的意思，而cgg是函数名，name是参数。当然了，有了函数吗，自然少不了函数的返回值。那么这里用的依然是return。defcgg(a,b):returna+b模块一个小例子：importtimeprint(time.asctime())这个可以显示现在的时间。而这个time就是一个模块，包括之前的turtle也是
系统 2019-09-27 17:51:49 2066
主机环境：（Python2.7.9/Win8_64/bs4）利用BeautifulSoup4来抓取www.pm25.com上的PM2.5数据，之所以抓取这个网站，是因为上面有城市PM2.5浓度排名（其实真正的原因是，它是百度搜PM2.5出来的第一个网站！）程序里只对比了两个城市，所以多线程的速度提升并不是很明显，大家可以弄10个城市并开10个线程试试。最后吐槽一下：上海的空气质量怎么这么差！！！PM25.py复制代码代码如下:#!/usr/bin/envp
系统 2019-09-27 17:51:23 2066
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。Repetitionisthemotherofalllearning.重复是学习之母。看、看、看、看、看，看视频，看书，看公众号…倘若学习编程只要看看书、看看视频、听听讲就能够学会，那编程本身也失去魅力了。现在大家图方便，搜集大堆大堆的视频教程去看，看的时候感觉都懂了。看完什么都忘了。要动手啊！你学编程，无论是工作，还是做自己的项目，都是要一行代码一行代码地去敲出来的。这个过程才是真正学习
系统 2019-09-27 17:51:10 2066
python程序运行中，可由程序抛出异常。异常触发：使用raise命令抛出异常，即可使用异常基类Exception，也可使用自定义异常类（继承Exception类）。classPoint:def__init__(self,x,y):self.x=xself.y=y#DefineaclasstoraiseLineerrorsclassLineError(Exception):#继承自基类Exceptiondef__init__(self,ErrorInfo)
系统 2019-09-27 17:50:11 2066
