通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2182
前几天看到一个关于Python的面试题lst=[1,2,[3]]lst1=lst*2#[1,2,[3],1,2,[3]]lst1[2].append(4)#[3,4]print(lst1)开始时，就处理错了。最终上机测试发现，乘法貌似是内存地址的拷贝。也就是说lst1[2]和lst1[5]都指向同一个对象，最终lst1结果如下：print(lst1)#[1,2,[3,4],1,2,[3,4]]
系统 2019-09-27 17:52:30 2182
目录第十五章、Python多线程之信号量和GIL1.信号量(Semaphore)2.GIL说明：第十五章、Python多线程之信号量和GIL1.信号量(Semaphore)信号量用来控制线程并发数的，Semaphore管理一个内置的计数器，每当调用acquire()时-1，调用release()时+1。计数器不能小于0，当计数器为0时，acquire()将阻塞线程至同步锁定状态，直到其他线程调用release()。其实就是控制最多几个线程可以操作同享资源。
系统 2019-09-27 17:51:26 2182
NumPy提供了多种存取数组内容的文件操作函数。保存数组数据的文件可以是二进制格式或者文本格式。二进制格式的文件又分为NumPy专用的格式化二进制类型和无格式类型。一，tofile()和fromfile()tofile()将数组中的数据以二进制格式写进文件tofile()输出的数据不保存数组形状和元素类型等信息fromfile()函数读回数据时需要用户指定元素类型，并对数组的形状进行适当的修改从上面的例子可以看出，在读入数据时:需要正确设置dtype参数，
系统 2019-09-27 17:49:58 2182
语音识别系统的第一步是进行特征提取，mfcc是描述短时功率谱包络的一种特征，在语音识别系统中被广泛应用。一、mel滤波器每一段语音信号被分为多帧，每帧信号都对应一个频谱（通过FFT变换实现），频谱表示频率与信号能量之间的关系。mel滤波器是指多个带通滤波器，在mel频率中带通滤波器的通带是等宽的，但在赫兹（Hertz）频谱内mel滤波器在低频处较密集切通带较窄，高频处较稀疏且通带较宽，旨在通过在较低频率处更具辨别性并且在较高频率处较少辨别性来模拟非线性人类
系统 2019-09-27 17:48:18 2182
1.安装SublimeText3虽然现在的Sublime3还处于beta阶段,但已经非常稳定了,而且速度比Sublime2得到了增强.Sublime3可以到官网下载并安装.Sublime虽然是免费软件,但如果有足够的经济能力,可以考虑购买以表示支持.2.安装PackageControlSublimePackageControl可以说是必须安装的插件,因为其方便的提供了安装/升级/删除Sublime插件的功能,安装方法见PackageControl官网.安装
系统 2019-09-27 17:47:56 2182
命名空间：每一个作用域变量存储的位置，或者解释为存储作用域中变量的字典。作用：获取想查看某个作用域中的变量名、变量值。使用方法：locals()#当前命名空间1.效果图：2.代码a=10b=20#定义一个变量接收全局命名空间里的变量名、变量值global_namespace=locals()print(global_namespace)print('\n\n\n')defone():c=30d=40#定义一个变量接收局部命名空间里的变量名、变量值local
系统 2019-09-27 17:47:13 2182
Python自1.5版本起增加了re模块，它提供Perl风格的正则表达式模式。Python1.5之前版本则是通过regex模块提供Emacs风格的模式。Emacs风格模式可读性稍差些，而且功能也不强，因此编写新代码时尽量不要再使用regex模块，当然偶尔你还是可能在老代码里发现其踪影。1.正则表达式基础1.1.简单介绍正则表达式并不是Python的一部分。正则表达式是用于处理字符串的强大工具，拥有自己独特的语法以及一个独立的处理引擎，效率上可能不如str自
系统 2019-09-27 17:45:50 2182
scipy.misc.logsumexp函数的输入参数有(a,axis=None,b=None,keepdims=False,return_sign=False)，具体配置可参见这里，返回的值是np.log(np.sum(np.exp(a)))。这里需要强调的是使用该函数的场景：一般来说，该函数主要用于非常小的数值的运算（比如蒙特卡洛取样样本）。在这种情况下，将数据保持log处理是必须的。所以这时你如果想将数组中的数据累加求和就需要这样计算log(sum(
系统 2019-09-27 17:38:13 2182
本文希望提供傻瓜式的教程，能够令读者成功安装Python和pip。第一步，我们先来安装Python，博主选择的版本是最新的3.4.2版本。windows下面的Python安装一般是通过软件安装包安装而不是命令行，所以我们首先要在Python的官方主页上面下载最新的Python安装包。下载地址是：https://www.python.org/downloads/在下载完成之后，一直点击下一步就OK了。在安装完成之后，打开控制台，输入“Python”，我们能够
系统 2019-09-27 17:37:59 2182
