上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2113
yield的功能类似于return，但是不同之处在于它返回的是生成器。生成器生成器是通过一个或多个yield表达式构成的函数，每一个生成器都是一个迭代器（但是迭代器不一定是生成器）。如果一个函数包含yield关键字，这个函数就会变为一个生成器。生成器并不会一次返回所有结果，而是每次遇到yield关键字后返回相应结果，并保留函数当前的运行状态，等待下一次的调用。由于生成器也是一个迭代器，那么它就应该支持next方法来获取下一个值。基本操作#通过`yield`
系统 2019-09-27 17:52:18 2113
基本常识python中的左位移和右位移利用Python在一个文件的头部插入数据withopen(path,"r+")asf:old=f.read()f.seek(0)f.write(data)f.write(old)Debugxpath中遇到[]AttributeError:‘dict’objecthasnoattribute‘iteritems’Python3.5中：iteritems变为items【Python】ufunc‘subtract’didno
系统 2019-09-27 17:52:10 2113
来源：ApacheCN『USFMSDS501计算数据科学中文讲义』翻译项目原文：ProgrammingPatternsinPython译者：飞龙协议：CCBY-NC-SA4.0现在我们已经了解了计算机如何组织数据，并进行一些低级编程操作，现在让我们看一些常见的高级编程模式。每一个这些操作都有一个使用条件和循环模式的实现，我们可以使用python语法很容易地表达。我们也可以使用现有的库函数来实现相同的功能，我们也将探索它们。当我们进行时，你会发现程序设计和编
系统 2019-09-27 17:51:25 2113
获取现在的时间用方法datetime.datetime.now().strftime('%F%T')，获取未来或者过去的时间可以用如下方法：#-*-coding:utf-8-*-importdatetimeif__name__=='__main__':print(datetime.datetime.now().strftime('%F%T'))print((datetime.datetime.now()-datetime.timedelta(days=1)
系统 2019-09-27 17:51:23 2113
Python这门解释性语言也有专门的线程模型，Python虚拟机使用GIL（GlobalInterpreterLock，全局解释器锁）来互斥线程对共享资源的访问，但暂时无法利用多处理器的优势。在Python中我们主要是通过thread和threading这两个模块来实现的，其中Python的threading模块是对thread做了一些包装的，可以更加方便的被使用，所以我们使用threading模块实现多线程编程。这篇文章我们主要来看看Python对多线程
系统 2019-09-27 17:50:59 2113
在Python中通过GET来获取页面的COOKIE是非常简单的事情，下面的代码实例演示了如何利用Python获取COOKIE内容#!/usr/bin/envpython#coding=utf-8#-*-coding:utf-8-*-#encoding=utf-8importurllibimporturllib2importhttplibcj=''header={'Host':'218.94.26.135','Accept-Language':'zh-CN'
系统 2019-09-27 17:50:46 2113
PIL提供了通用的图像处理功能，以及大量的基本图像操作，如图像缩放、裁剪、旋转、颜色转换等。Matplotlib提供了强大的绘图功能，其下的pylab/pyplot接口包含很多方便用户创建图像的函数。为了观察和进一步处理图像数据，首先需要加载图像文件，并且为了查看图像数据，我们需要将其绘制出来。fromPILimportImageimportmatplotlib.pyplotaspltimportnumpyasnp#加载图像img=Image.open("
系统 2019-09-27 17:50:40 2113
什么是浅拷贝？先看一个例子a=[1,2,3,4]b=aa.pop(0)print(a)print(b)输出：[2,3,4][2,3,4]正常对于这种可变对象的这种赋值，会导致a和b指向一个内存地址，而我们将a中的第0个元素剔除后，实质就是改变了对应的内存地址中的数值，所以会导致b也发生变化下面看一下浅拷贝：a=[1,2,3,4]b=a.copy()a.pop(0)print(a)print(b)输出[2,3,4][1,2,3,4]这种就是浅拷贝，拷贝的列表
系统 2019-09-27 17:50:34 2113
前言本不想多说什么，年后在公司亲历一段别样经验，不想吐槽，只因吐槽不能改变任何现状。小姐心态，寡妇待遇，妇联追求，一份技术工作做出弯腰，低头，下跪，也是醉了。今年大环境不好，大厂裁员，人才过盛，好在自己还是去了符合自己意愿的公司。新工作快一个月，主要工作技术内容是一个Django的小东西，首先是需要从Python2迁移至Python3，简单带点重构。Python2迁移Python3运行环境服务run在docker里，启动方式里面没有嵌入太多环境变量，基本基
系统 2019-09-27 17:50:00 2113
