上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 1956
随着脚本复杂程度增加，配置文件成了必不可少。之前一直使用json文件，当作配置文件。比较之下，configparser库更加适合。下述文件为一个简单的configparser库的配置文件config.ini[testdb]db_port=3306db_host=127.0.0.1db_user=rootdb_passwd=123456#remark[zhfx]target="zy-zhfx"targets=["zy-zhfx"]num=3上述方括号内的[]
系统 2019-09-27 17:52:13 1956
个人想到的解决方法有两种,一种是.replace('old','new')第一个参数是需要换掉的内容比如空格,第二个是替换成的内容,可以把字符串中的空格全部替换掉.第二种方法是像这样str_1_data='abc'str_2_list=str_1_data.split()str_1=''foriinrange(len(str_2_list)):#这里可以直接用str_1.join(str2_list)str_1+=str_2_list[i]print(st
系统 2019-09-27 17:51:45 1956
Socket是网络应用的基础。而Python使得网络socket编程入门变得超级简单。在这篇简介里面我们将创建一个简单服务器，用于接受和相应客户端程序的请求。由于本人最近对LinuxContainers有点痴迷，因此我们也将在服务器中实现2个容器。同时在容器中我们在几秒钟内就能创建其他一些主机，这就能非常简单的模拟出一个网络。创建容器我使用的是Ubuntu14.04.然后用root用户运行下面的命令就可以创建好2个容器了。复制代码代码如下:lxc-crea
系统 2019-09-27 17:51:21 1956
身为全国三大主流编程语言之一，Python是一种面向对象的解释型计算机程序设计语言，具有丰富和强大的库。Python的简单入门及其它的全能型，能适应所有平台操作，所以一致成为最受欢迎的语言。今天，六星教育就来和大家分析一些关于Python语言的经典案例。一、题目：企业发放的奖金根据利润提成。利润(I)低于或等于10万元时，奖金可提10%；利润高于10万元，低于20万元时，低于10万元的部分按10%提成，高于10万元的部分，可可提成7.5%；20万到40万之
系统 2019-09-27 17:50:43 1956
模块概述如果说模块是按照逻辑来组织Python代码的方法,那么文件便是物理层上组织模块的方法。因此,**一个文件被看作是一个独立模块,一个模块也可以被看作是一个文件。模块的文件名就是模块的名字加上扩展名.py。与其它可以导入类(class)的语言不同,在Python中你导入的是模块或模块属性**。模块名称空间一个名称空间就是一个名称到对象的关系映射.导入模块导入模块整体(import)方式一复制代码代码如下:importmodule1importmodul
系统 2019-09-27 17:50:10 1956
在python自动化中，经常会遇到对数据文件的操作，比如添加多名员工，但是直接将员工数据写在python文件中，不但工作量大，要是以后再次遇到类似批量数据操作还会写在python文件中吗？应对这一问题，可以将数据写excel文件，针对excel文件进行操作，完美解决。本文仅介绍python对excel的操作安装xlrd库xlrd库官方地址：https://pypi.org/project/xlrd/pipinstallxlrd笔者在安装时使用了pip3in
系统 2019-09-27 17:49:41 1956
文章作者：Tyan博客：noahsnail.com|CSDN|1.引言众所周知，Python语言简单、易学、开源、具有丰富的库，Python的第一个编译器是用C语言实现的。但Python的缺点也非常明显，最让人诟病的就是Python的性能问题。因此，为了提高程序的运行效率，通常会将程序的关键部分使用C或C++重写，编译成动态链接库，然后在Python（CPython）中进行调用。运行环境：Ubuntu16.04、Python2.7、Python3.5。2.
系统 2019-09-27 17:49:18 1956
原文链接：https://edu.csdn.net/topic/python115?utm_source=yjs感觉全世界营销文都在推Python，但是找不到工作的话，又有哪个机构会站出来给我推荐工作？笔者冷静分析多方数据，想跟大家说：关于超越老牌霸主Java，过去几年间Python一直都被寄予厚望。但是事实是虽然上升趋势，但是国内环境下，一时间是无法马上就超越Java的，也可以换句话说：超越Java只是时间问题罢。超越Java，或许只是时间问题有企业的大
系统 2019-09-27 17:47:57 1956
很多书籍里面讲的Python备份都是在linux下的，而在xp上测试一下也可以执行备份功能，代码都差不多相同，就是到执行打包的时候是不一样的。而且要用到winrar，其他的压缩文件也是一样的。首先我们要把winrar的路径添加到path里面，这里添加完了要重启机子才有效。这里要注意:把winrar的路径添加到path里面之后一定要重启，否则path的设定不会起作用，打包就会失败！这里用到得命令是：winraraxxx.zipxxxxxxx为任意字符实例代码
系统 2019-09-27 17:47:53 1956
