上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 1811
一、异常1.1异常介绍异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下：1.2异常种类在python中不同的异常可以用不同的类型（python中统一了类与类型，类型即类）去标识，不同的类对象标识不同的异常，一个异常标识一种错误1#触发IndexError2l=['egon','aa']3l[3]45#触发KeyError6dic={'name':'egon'}7dic['age']89#触发ValueError10s='hello'1
系统 2019-09-27 17:52:31 1811
英文文档callable(object)ReturnTrueiftheobjectargumentappearscallable,Falseifnot.Ifthisreturnstrue,itisstillpossiblethatacallfails,butifitisfalse,callingobjectwillneversucceed.Notethatclassesarecallable(callingaclassreturnsanewinstance
系统 2019-09-27 17:52:30 1811
Python装饰器是一个消除冗余的强大工具。随着将功能模块化为大小合适的方法，即使是最复杂的工作流，装饰器也能使它变成简洁的功能。例如让我们看看Djangoweb框架，该框架处理请求的方法接收一个方法对象，返回一个响应对象：defhandle_request(request):returnHttpResponse("Hello,World")我最近遇到一个案例，需要编写几个满足下述条件的api方法：返回json响应如果是GET请求，那么返回错误码做为一个注
系统 2019-09-27 17:52:01 1811
python的dict用起来很方便，可以自定义key值，并通过下标访问，示例如下：复制代码代码如下:>>>d={'key1':'value1',...'key2':'value2',...'key3':'value3'}>>>printd['key2']value2>>>lambda表达式也是很实用的东东，示例如下：复制代码代码如下:>>>f=lambdax:x**2>>>printf(2)4>>>两者结合可以实现结构相似的函数调用，使用起来很方便，示例如
系统 2019-09-27 17:51:38 1811
scipy的引入要制作一张具有特定形状的词云图，便需要一张原始图片提供形状参数，于是我们便要使用scipyscipy的安装在Windows系统中，在命令提示符中输入pipinstallscipy进行安装若报错则尝试pip3installscipy或sudopip3installscipy在苹果系统中则建议直接输入sudopip3installscipy若报错则参照Windows下的方法scipy的运用scipy旨在提取原始图片的形状参数，并应用于制作特定形
系统 2019-09-27 17:50:36 1811
在这个世界上，人们每天都在用Python完成着不同的工作。而文件操作，则是大家最常需要解决的任务之一。使用Python，你可以轻松为他人生成精美的报表，也可以用短短几行代码快速解析、整理上万份数据文件。当我们编写与文件相关的代码时，通常会关注这些事情：我的代码是不是足够快？我的代码有没有事半功倍的完成任务？在这篇文章中，我会与你分享与之相关的几个编程建议。我会向你推荐一个被低估的Python标准库模块、演示一个读取大文件的最佳方式、最后再分享我对函数设计的
系统 2019-09-27 17:50:22 1811
一、运算符1、算术运算符：+-*///**%+加两个数相加1+2=3-减两个数相减3-1=2*乘两个数相乘1*2=2/除两个数相除5/2=2.5//整除两个数相除得到整数5//2=2**幂幂次方2**3=8%取余两个数的余数5%2=1（可以用来判断奇偶数取余为0的时候为偶数取余为1的时候为奇数）2、比较运算符：>、<、>=、<=、==、！=结果只有真假truefalse为bool类型3、赋值运算符：+=-=*=/=//=%=**=num+=1等价于num=
系统 2019-09-27 17:49:47 1811
最近越发感觉到限制我对Python运用、以及读懂别人代码的地方，大多是在于对数据的处理能力。其实编程本质上就是数据处理，怎么把文本数据、图像数据，通过python读入、切分等，变成一个N维矩阵，然后再带入别人的模型，bingo~跑出来一个结果。结果当然也是一个矩阵或向量的形式。所以说，之所以对很多模型、代码束手无策，其实还是没有掌握好数据处理的“屠龙宝刀”，无法对海量数据进行“庖丁解牛”般的处理。因此，我想以一个别人代码中的一段为例，仔细琢磨文本数据处理的
系统 2019-09-27 17:49:36 1811
目录一、Python基础1.数据类型和变量2.字符串和编码3.list和tuplelisttuple4.条件判断5.循环6.dict和setdictset二、函数1.调用函数2.定义函数3.函数的参数位置参数默认参数可变参数关键字参数命名关键字参数参数组合4.递归函数三、高级特性1.切片2.迭代3.列表生成式4.生成器5.迭代器四、函数式编程1.高阶函数map/reducefiltersorted2.返回函数3.匿名函数4.装饰器5.偏函数五、模块六、面向
系统 2019-09-27 17:49:08 1811
