在学习转换之前先了解以下它们的基本概念RDD：弹性分布式数据集，是一个只读分区集合DataFrame：以命名列方式组织的分布式数据集，概念上和关系型数据库的一张表一样DataSet：分布式数据集合，Python暂时不支持了解了基本的概念之后，接下来我们通过代码编写三种数据集的形成RDD的形成frompyspark.sqlimportSparkSessionif__name__=='__main__':spark=SparkSession\.builder\
系统 2019-09-27 17:52:31 2095
实现一个支持动态扩容的数组并完成其增删改查#通过python实现动态数组"""数组特点：占用一段连续的内存空间，支持随机（索引）访问，且时间复杂度为O(1)添加元素时间复杂度：O(n)删除元素时间复杂度：O(n)"""classArr:def__init__(self,capacity=10):"""构造函数:paramcapacity:数组最大容量，不指定的话默认为10"""self._capacity=capacityself._size=0#数组有效
系统 2019-09-27 17:52:16 2095
闲暇之余，在家里自建了个服务器，因为用的小区宽带，IP位动态分配。域名解析就是个问题，我的域名一般停放在DNSPod下。DNSPod有提供修改的API，就用Python简单的实现了一下动态解析。这样，就不用安装花生壳了。废话不说，看代码：#!/usr/bin/envpython#-*-coding:utf-8-*-importhttplib,urllib,urllib2importtimeimportsys,osimportreimportjsonuser
系统 2019-09-27 17:52:14 2095
Python是一门非常酷的语言，因为很少的Python代码可以在短时间内做很多事情，并且，Python很容易就能支持多任务和多重处理。py1、关键代码可以依赖于扩展包Python使许多编程任务变得简单，但是对于很关键的任务并不总是提供最好的性能。使用C、C++或者机器语言扩展包来执行关键任务能极大改善性能。这些包是依赖于平台的，也就是说，你必须使用特定的、与你使用的平台相关的包。简而言之,该解决方案提供了一些应用程序的可移植性,以换取性能,您可以获得只有通
系统 2019-09-27 17:51:50 2095
前言今天就简单的对日志做个封装，实际工作中直接拿去用吧方法1"""------------------------------------@Time:2019/5/228:12@Auth:linux超@File:logfile.py@IDE:PyCharm@Motto:Realwarriors,daretofacethebleakwarning,daretofacetheincisiveerror!-----------------------------
系统 2019-09-27 17:51:39 2095
模块Module定义包含一系列数据、函数、类的文件，通常以.py结尾。作用让一些相关的数据，函数，类有逻辑的组织在一起，使逻辑结构更加清晰。有利于多人合作开发。导入import1.语法：import模块名import模块名as别名2.作用：将某模块整体导入到当前模块中3.使用：模块名.成员fromimport1.语法：from模块名import成员名[as别名1]作用：将模块内的一个或多个成员导入到当前模块的作用域中。fromimport*1.语法：fro
系统 2019-09-27 17:51:00 2095
迭代器和可迭代对象由for循环的内部原理说起list01=[2,434,5,6,8]foriteminlist01:print(item)大家有没有想过list类型对象为什么可以被for循环呢？能够被for循环的条件是：它是可迭代对象(iterable)。那么什么是可迭代对象呢？参考一下内置函数item()的官方说明文档：iter(object[,sentinel])返回一个iterator对象。根据是否存在第二个实参，第一个实参的解释是非常不同的。如果没
系统 2019-09-27 17:50:22 2095
Linux下安装Python3.6和第三方库如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的python2环境，比如yum！！！！！不要动现有的python2环境！一、安装python3.61.安装依赖环境#yum-yinstallzlib-develbzip2-developenssl-develncurses-develsqlite-develreadline-develtk-develg
系统 2019-09-27 17:50:22 2095
1.可传入参数：@app.route('/user/')#常用的不加参数的时候默认是字符串形式的@app.route('/post/')#常用的#指定int，说明是整型的@app.route('/post/')@app.route('/post/')@app.route('/login',methods=['GET','POST'])DEFAULT_CONVERTERS={'default':UnicodeConverter,'string':Unicod
系统 2019-09-27 17:49:32 2095
更新mysql8.17的脚本：2019-09-19#-*-coding:utf-8-*-importsysreload(sys)importgetoptimportcommandsimportsubprocessimportfileinputimportos__author__='Lenny'INFO="\033[1;33;40m%s\033[0m"ERROR="\033[1;31;40m%s\033[0m"NOTICE="\033[1;32;40m%s\
系统 2019-09-27 17:49:31 2095
