通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2068
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。一，tofile()和fromfile()tofile()将数组中的数据以二进制格式写进文件tofile()输出的数据不保存数组形状和元素类型等信息fromfile()函数读回数据时需要用户指定元素类型，并对数组的形状进行适当的修改从上面的例子可以看出，在读入数据时:需要正确设置dtype参数，
系统 2019-09-27 17:49:58 2068
pandas中选取方式有很多种，最常用的是一下几种：直接选取（单维度选取）、iloc();loc();ix()函数选取（区域选区），at();iat()函数选取（单元格选取）。通过以上几种方式可以实现：选取某些行、某些列、某区域（同时选择某些行和某些列）、某个单元格，还可以进行条件选区。具体实现方法如下。首先创建一个DataFrame.importpandasaspdimportnumpyasnpdata={'name':['Joe','Mike','Ja
系统 2019-09-27 17:49:56 2068
8.计数排序8.1算法思想计数排序是一个非基于比较的排序算法。它的优势在于在对一定范围内的整数排序时，它的复杂度为Ο(n+k)（其中k是整数的范围），当o（k）O(nlog(n))的时候其效率反而不如基于比较的排序（基于比较的排序的时间复杂度在理论上的下限是O(nlog(n)),如归并排序，堆排序）。作为一种线性时间复杂度的排序，计数排序要求输入的数据必须是有确定范围
系统 2019-09-27 17:49:42 2068
有几个原因使您可能想用C扩展Zope。最可能的是您有一个已能帮您做些事的现成的C库，但是您对把它转换成Python却不感兴趣。此外，由于Python是解释性语言，所以任何被大量调用的Python代码都将降低您的速度。因此，即使您已经用Python写了一些扩展，您仍然要考虑把其中最常被调用的部分改用C来写。不论哪种方式，扩展Zope都是从扩展Python开始。此外，扩展Python会给您带来其它的好处，因为您的代码将可以从任何Python脚本访问，而不只是从
系统 2019-09-27 17:49:36 2068
inux开发人员经常使用Python完成小块的工作，因为你可以编写脚本的情况很容易。它已经成为完成配置和部署等小任务的一个流行方式。WindowsAzure，微软的云，也没有什么不同。通过PythonSDK所提供的可用性，Python成为WindowsAzure的头等公民。让我们看看我们如何能够使用Python无需其它而只需一个WindowsAzure订阅就可以用编程方式从vmdepot部署一个映像到WindowsAzure上。建立一个管理证书任何与Win
系统 2019-09-27 17:49:19 2068
python中，类内方法外的变量叫属性，类内方法内的变量叫字段。他们的私有公有访问方法类似。classC:__name="私有属性"deffunc(self):print(C.__name)classsub_C(C):definfo(self):print(C.__name)#派生类中不可以访问父类的私有字段obj=C()obj.func()obj=sub_C()obj.info()方法、属性的访问于上述方式相似，即：私有成员只能在类内部使用以上这篇老生常
系统 2019-09-27 17:48:28 2068
命名空间：每一个作用域变量存储的位置，或者解释为存储作用域中变量的字典。作用：获取想查看某个作用域中的变量名、变量值。使用方法：locals()#当前命名空间1.效果图：2.代码a=10b=20#定义一个变量接收全局命名空间里的变量名、变量值global_namespace=locals()print(global_namespace)print('\n\n\n')defone():c=30d=40#定义一个变量接收局部命名空间里的变量名、变量值local
系统 2019-09-27 17:47:13 2068
今天是2019.9.11号22:51分这是我自学Python的第二天,也是我写博客的第二天,还是不知道怎样写博客的第二天,有点懵今天学Python还是一样的懵,错误还是有很多,而且脑中也不够灵活,逻辑能力还是有待提高,还得继续加油,为了以后能成为一名IT大佬,我得坚持再坚持,努力再努力,加油吧!骚年!!!!!结果是由过程决定的,相信我努力的过程会有回报的.我能行的,我相信自己下面是我的知识总结和错误总结======我======是======一======
系统 2019-09-27 17:46:05 2068
一、初识PythonPython官方网站：www.python.org版本：python-3.4.3.amd64somebody初次接触Python，没有使用Python2.x进行开发真实项目的经历。所以不知2.x版本和3.x版本孰优孰劣，目前是作为一门兴趣来了解及学习。二、安装windows环境安装由于somebody未有真实的Python开发经验，切目前仅限于学习，故所有的操作均在windows环境下进行。1.官网下载安装程序，链接：https://w
系统 2019-09-27 17:45:51 2068
