在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 2162
1.常用模块#连接数据库connect()函数创建一个新的数据库连接对话并返回一个新的连接实例对象PG_CONF_123={'user':'emma','port':123,'host':'192.168.1.123','password':'emma','database':'dbname'}conn=psycopg2.connect(**PG_CONF_123)#打开一个操作整个数据库的光标连接对象可以创建光标用来执行SQL语句cur=conn.cur
系统 2019-09-27 17:52:21 2162
#下载一个网页importrequestsimportreurl='https://www.biquge5200.cc/14_14621/'#模拟浏览器发送http请求response=requests.get(url)#编码方式response.encoding='utf-8',如果下载下来的网页内容有中文乱码现象就需要加上这一句话#网页源码html=response.text#[0]取列表下第0个元素.#eg:title的输出结果为：['斗神狂飙无弹窗
系统 2019-09-27 17:52:18 2162
在写程序时，我们经常需要定义一些路径常量，为了逻辑和代码的清晰，可以新建一个config.ini文件,然后调用其中的信息即可。config.ini文件格式如下：[section1]model_dir=/home/user/nlp-data/trained-model;注释save_input=./profiling/inputsave_state=./profiling/state......[section2]save_output=./profilin
系统 2019-09-27 17:51:24 2162
转：https://www.jianshu.com/p/4be85de84d2a本机环境：Windows1064位Anacondapython3.7报错信息：pipisconfiguredwithlocationsthatrequireTLS/SSL,howeverthesslmoduleinPythonisnotavailable.解决方法：原因：Anaconda环境变量未配置完全需要配置的环境变量：D:\ProgramData\Anaconda3D:\
系统 2019-09-27 17:50:37 2162
1.python中创建进程的两种方式：frommultiprocessingimportProcessimporttimedeftest_():print'-----test-----'if__name__=='__main__':p=Process(target=test_)p.start()whileTrue:print'--main--''''1.通过process类创建一个进程对象，然后start即可开启进程，testtest_函数是进程实现的功能
系统 2019-09-27 17:49:44 2162
第一步：标记化处理表达式的第一步就是将其转化为包含一个个独立符号的列表。这一步很简单，且不是本文的重点，因此在此处我省略了很多。首先，我定义了一些标记（数字不在此中，它们是默认的标记）和一个标记类型：token_map={'+':'ADD','-':'ADD','*':'MUL','/':'MUL','(':'LPAR',')':'RPAR'}Token=namedtuple('Token',['name','value'])下面就是我用来标记`expr`
系统 2019-09-27 17:49:09 2162
阅读更多万能的Python大法可以做很多有趣的事情，那我们今天来看看使用简单的Python来实现对一个网页的朗读吧！首先我们需要装一些必要的库：readability它是用来提取网页内的内容的pipinstallreadability-lxmlgoose它是一个文章提取器，我们用它来进行文章的提取pipinstallgoose3baidu-aip百度提供的PythonSDK，接口文档：http://ai.baidu.com/docs#/TTS-Online
系统 2019-09-27 17:48:22 2162
创建Deque序列:fromcollectionsimportdequed=deque()Deque提供了类似list的操作方法:d=deque()d.append('1')d.append('2')d.append('3')len(d)d[0]d[-1]输出结果:3'1''3'两端都使用pop:d=deque('12345')len(d)d.popleft()d.pop()d输出结果:5'1''5'deque(['2','3','4'])我们还可以限制d
系统 2019-09-27 17:47:59 2162
这货很强大,必须掌握文档链接http://docs.python.org/2/library/itertools.htmlpymotw链接http://pymotw.com/2/itertools/基本是基于文档的翻译和补充，相当于翻译了itertools用于高效循环的迭代函数集合组成总体，整体了解无限迭代器复制代码代码如下:迭代器参数结果例子count()start,[step]start,start+step,start+2*step,...count
系统 2019-09-27 17:47:57 2162
