通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2163
Python在读取文件内容时的路径问题，值得深究一下.我想讨论的重点还是在绝对路径上面.在这之前我们先看一下1：相对路径这张图演示了在相对路径下寻找查找指定文件.open（'相对路径演示'\'相对路径示例'.txt）打开的是相对当前运行的程序所在目录。而我当前运行的程序相对位置在桌面.所以直接print(lines)可以看到这个结果2：绝对路径.绝对路径的查找方法就不演示了，相信每个人都会找到。但是我想讨论的是几个关于路径中的编码问题，相信这对初学者们有很
系统 2019-09-27 17:52:11 2163
经常会有小朋友问我，“我想做个黑客，我该学什么编程语言？”，或者有的小朋友会说：“我要学c，我要做病毒”。其实对于这些小朋友而言他们基本都没有接触过编程语言，只是通过影视或者其他地方看到的一些东西认为黑客很酷，超级厉害，因此也萌生了这样的想法。我也认为黑客很厉害，他们不只是会一门编程语言那么简单，要想成为他们那样厉害的人对小朋友来说还有很长的路要走。而很多小朋友真正想做的就是能通过简单的代码做出很酷炫的东西，能在同学间炫耀一把，那就很满足了。如果你真的想学
系统 2019-09-27 17:51:14 2163
讨论采用*模糊导入或者单独导入变量会在不同文件生成不同的对象.a└──mypackage├──a.py├──b.py├──c.pyb.py内容如下importcdefb():print("b方法开始")print(c.config)print(id(c.config))c.py内容如下config="ONCE"a.py内容如下importbimportcdefa():print(c.config)c.config="TWO"print(c.config)p
系统 2019-09-27 17:51:09 2163
事先在网上搜索了一大圈，头都大了，看到那么多文章写道在python里安装psycopg2的各种坑和各种麻烦，各种不成功。搜索了一下午，索性外出放松。晚饭后，又继续上psycopg2官网（http://initd.org/psycopg/docs/install.html）看了一些有关install的资料，感觉还是麻烦。最后上这个网（https://pypi.python.org/pypi/psycopg2/）上，准备用wheel的方式进行安装。不过在此网页
系统 2019-09-27 17:50:03 2163
目录一.冒泡排序--BubbleSort基本思想：优化后的冒泡排序二.选择排序--SelectionSort基本思想：三.插入排序--InsertionSort基本思想：四.希尔排序--ShellSort基本思想:五.堆排序--HeapSort基本思想：六.归并排序--MergeSort基本思想：七.快速排序--QuickSort基本思想：八.对比本博客的排序算法元素的排序顺序默认从小到大。一.冒泡排序–BubbleSort基本思想：两两比较相邻记录的元素
系统 2019-09-27 17:49:19 2163
计算机的系统时钟设置为特定的日期、时间和时区。内置的time模块让Python程序能读取系统时钟的当前时间。在time模块中，time.time()和time.sleep()函数是最有用的模块。time模块time.time()函数Unix纪元是编程中经常参考的时间：1970年1月1日0点，即协调世界时（UTC）。time.time()函数返回自那一刻以来的秒数，是一个浮点值（回想一下，浮点值只是一个带小数点的数）。这个数字称为UNIX纪元时间戳。纪元时间
系统 2019-09-27 17:48:32 2163
1.安装SublimeText3虽然现在的Sublime3还处于beta阶段,但已经非常稳定了,而且速度比Sublime2得到了增强.Sublime3可以到官网下载并安装.Sublime虽然是免费软件,但如果有足够的经济能力,可以考虑购买以表示支持.2.安装PackageControlSublimePackageControl可以说是必须安装的插件,因为其方便的提供了安装/升级/删除Sublime插件的功能,安装方法见PackageControl官网.安装
系统 2019-09-27 17:47:56 2163
logging模块logging模块是一个较庞大的模块。具有较完备的日志体系。主要分为：主体Logger-处理器-格式器logging为python内置模块，无需安装。导入方式：importlogging即可日志等级排序(弱->强)DEBUG
系统 2019-09-27 17:47:07 2163
seek()方法在偏移设定该文件的当前位置。参数是可选的，默认为0，这意味着绝对的文件定位，它的值如果是1，这意味着寻求相对于当前位置，2表示相对于文件的末尾。没有返回值。需要注意的是，如果该文件被打开或者使用'a'或'A+'追加，任何seek()操作将在下次写撤消。如果该文件只打开使用“a”的追加模式写，这种方法本质上是一个空操作，但读使能(模式'a+')，它仍然在追加模式打开的文件非常有用。如果该文件在文本模式下使用“t”，只有tell()返回的偏移开
系统 2019-09-27 17:46:25 2163
