通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2317
Python相信大家都有所耳闻，特别是Python进入山东省小学教材，还列入全国计算机等级考试。打算爬网易云音乐评论的我，首先要安装一个Python环境。目前Python有2.x版和3.x版，在进行比较后，我选择了2.7版本。首先，仍然是百度搜索Python关键词，进入官网。首页即可快速下载最新版本。我要安装的是2.7版本，所以选择导航条上的Downloads。点击Downloads后我们发现这里有多个版本，我们可以点击选择我们需要下载的版本。点击版本后，
系统 2019-09-27 17:52:13 2317
这个问题是如何在一些场景下使用断言表达式，通常会有人误用它，所以我决定写一篇文章来说明何时使用断言，什么时候不用。为那些还不清楚它的人，Python的assert是用来检查一个条件，如果它为真，就不做任何事。如果它为假，则会抛出AssertError并且包含错误信息。例如：py>x=23py>assertx>0,"xisnotzeroornegative"py>assertx%2==0,"xisnotanevennumber"Traceback(mostr
系统 2019-09-27 17:51:11 2317
主要目标识别图中红色的裂缝，尝试了几种不同的方法，最后发现比较每一点的RGB差值可以很好的解决这个问题，也就是提取图片中的红色相关信息。处理结果如下：实现的代码如下，注意opencv读入的图片通道顺序是bgr：importcv2importmatplotlib.pyplotaspltimagepath=r'tear/11.jpg'image=cv2.imread(imagepath)height,width,channel=image.shapeforii
系统 2019-09-27 17:50:25 2317
Python数据类型转换有时候，我们需要对数据内置的内心进行转换，数据类型的转换，你只需要将数据类型作为函数名即可。以下几个内置的函数可以执行数据类型之间的转换，这些函数返回一个新的对象，表示转换的值。函数描述int(x[,base])将x转换为一个整数float(x)将x转换到一个浮点数complex(real[,imag])创建一个复数str(x)将对象x转换位字符串repr(x)将对象x转换位表达式字符串eval(str)用来计算在字符串中的有效Py
系统 2019-09-27 17:50:09 2317
目录基础部分shutil.copyfileobj(file1，file2)：shutil.copyfile(file1，file2)：其他shutil.copymode(file1，file2)：shutil.copystat(file1，file2)：shutil.copy(file1，file2)：shutil.copy2(file1，file2)：shutil.copytree(源目录，目标目录)：shutil.rmtree(目标目录)：shutil
系统 2019-09-27 17:49:33 2317
首先下载源tar包可利用linux自带下载工具wget下载，如下所示：wgethttp://www.python.org/ftp/python/2.7.3/Python-2.7.3.tgz下载完成后到下载目录下，解压tar-zxvfPython-2.7.3.tgz进入解压缩后的文件夹cdPython-2.7.3在编译前先在/usr/local建一个文件夹python27（作为python的安装路径，以免覆盖老的版本）mkdir/usr/local/pyth
系统 2019-09-27 17:48:01 2317
写在最前面：带你从最简单的二叉树构造开始，深入理解二叉树的数据结构，ps:不会数据结构的程序猿只能是三流的首先，我们构造一个二叉树这是最标准，也是最简单的二叉树构造方法'''树的构建：3920157'''classTree():'树的实现'def__init__(self,data,left=0,right=0):self.left=leftself.right=rightself.data=datadef__str__(self):returnstr(s
系统 2019-09-27 17:47:24 2317
我们已知python是具有非常多的包一种开源语言，封装了各种算法。python典型的数据结构为列表/元组/字符串/字典，与C/C++中的数组(array)/栈(stack)/（优先）队列”(queue)/二叉树(binarytree)有明显区别。在python官网中指出，列表可以作为栈和队列使用，但是并未给出特别详细具体的教程。在python官网上有关于list和dict数据结构的描述参考，如链接所示，但是没有关于时间复杂度和空间复杂度的分析。本文是对官网
系统 2019-09-27 17:47:00 2317
如何使用spring的作用域：这里的scope就是用来配置springbean的作用域，它标识bean的作用域。在spring2.0之前bean只有2种作用域即：singleton(单例)、non-singleton（也称prototype）,Spring2.0以后，增加了session、request、globals
系统 2019-08-29 23:49:21 2317
