上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 1884
示例标准线程多进程，生产者/消费者示例：Worker越多,问题越大复制代码代码如下:#-*-coding:utf8-*-importosimporttimeimportQueueimportthreadingfromPILimportImagedefcreate_thumbnail(filename,size=(128,128)):try:fp,fmt=filename.rsplit('.',1)im=Image.open(filename)im.thum
系统 2019-09-27 17:52:06 1884
前言或许你已经用过装饰器，它的使用方式非常简单但理解起来困难（其实真正理解的也很简单），想要理解装饰器，你需要懂点函数式编程的概念，python函数的定义以及函数调用的语法规则等，虽然我没法把装饰器变得简单，但是我希望可以通过下面的步骤让你由浅入深明白装饰器是什么。假定你拥有最基本的Python知识，本文阐述的东西可能对那些在工作中经常接触Python的人有很大的帮助。1、函数（Functions）在Python里，函数是用def关键字后跟一个函数名称和一
系统 2019-09-27 17:51:47 1884
子曰：“工欲善其事，必先利其器。”学习Python就需要有编译Python程序的软件，一般情况下，我们选择在Python官网下载对应版本的Python然后用记事本编写，再在终端进行编译运行即可，但是对于我这样懒的小白，我喜欢装一些方便的软件来辅助我编写程序。在学习Java时，正常情况选择安装JDK然后配置环境变量后，用记事本编写程序再在终端编译运行即可，而我一般选择安装JDK+MyEclipse。将Python和Java进行类比的话，在Python中使用P
系统 2019-09-27 17:51:16 1884
安装前准备(准备编译环境)yuminstallzlib-develbzip2-developenssl-develncurses-develgcc-c++gcc-y获取Python3.6源码#获取源码wgethttps://www.python.org/ftp/python/3.6.3/Python-3.6.3.tar.xz#安装xzyuminstallxz-y#解压tar-xvfPython-3.6.3.tar.xz-C/usr/local/src/安装
系统 2019-09-27 17:51:11 1884
返回被去除指定字符的字符串默认去除空白字符删除首尾字符：str.strip([char])删除首字符：str.lstrip([char])删除尾字符str.strip([char])判断是否匹配首末字符匹配成功返回True,否则返回False匹配首字符：str.startswith(char[,start[,end]])匹配末字符：str.endswith(char[,start[,end]])查找字符,找到返回字符位置,否则返回-1从字符串开头查找str
系统 2019-09-27 17:50:02 1884
1.这几天陆续收到很多读者、球友的留言、私信，说要怎么学Python？有没有基础的，偏小白的学习方法？我的回答是：等我统一答复。小胖从不食言，今天就来说说我觉得一个零基础、想转行、一直不得法的人应该如何入门。2.对于Python来说，一直有个误区，那就是「Python很简单」。不知道你有没有、或者曾经有过这样的想法。我也能理解，毕竟一句话就能打印helloworld，3行代码就能人脸识别，真的太简单了。但这真的是Python的全部吗？如果你只是满足于依靠强
系统 2019-09-27 17:49:49 1884
1、a.log文件中包含以下eddy|123|18jay|456|202、目标结构：2.1、['eddy|123|18','jay|456|20']2.2、[['eddy','123','18'],['jay','456','20']]defli(f1):new_li=[]withopen('a.log',mode='r',encoding='utf-8')asf1:data=f1.read()data1=data.split('\n')returndat
系统 2019-09-27 17:49:35 1884
一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。当然，像Spark这类的工具能够胜任处理100G至几个T的大数据集，但要想充分发挥这些工具的优势，通常需要比较贵的硬件设备。而且，这些工具不像pandas那样具有丰富的进行高质量数据清洗、探索和分析的特性。对于中等规模的数据，我们的愿望是尽量让pandas继续发挥其优势，而不是换用其他工具。本文我们
系统 2019-09-27 17:49:29 1884
对于Linux用户来说，命令行的名声相当的高。不像其他操作系统，命令行是一个可怕的命题，但是对于Linux社区中那些经验丰富的大牛，命令行却是最值得推荐鼓励使用的。通常，命令行对比图形用户界面，更能提供更优雅和更高效的解决方案。命令行伴随着Linux社区的成长，UNIXshells，例如bash和zsh，已经成长为一个强大的工具，也是UNIXshell的重要组成部分。使用bash和其他类似的shells，可以得到一些很有用的功能，例如，管道，文件名通配符和
系统 2019-09-27 17:49:16 1884
