通常在使用Spark算子函数，比如使用map()或者reduce函数我们向函数传入条件时，函数内部可以使用驱动程序中定义的变量，但是这样会使集群中所有任务都会得到变量新的副本，这些副本的更新不会传播回驱动程序，导致读写共享变量效率低下或者内存溢出，为了解决这个问题Spark提供了两种共享变量类型：广播变量和累加器广播变量：用来高效分发较大对象，只能在Driver定义，不能在Executor端定义，同时RDD不存储数据所以不能广播出去累加器：用来对信息进行聚
系统 2019-09-27 17:52:33 2183
---恢复内容开始---以前经常使用python2.现在很多东西都切换到了python3，发现很多东西还是存在一些差异化的。跨目录import是常用的一种方法，并且有不同的表现形式，新手很容易搞混。有必要这里做个总结，给大家科普一下：1同级目录下的调用：同级目录下的调用比较简单，一般使用场景是不同类的相互调用。不用考虑路径问题，常用的格式是：fromfileimport*或者fromfileimportclass/function等。下面以一个例子作为说明
系统 2019-09-27 17:52:20 2183
1.枚举-enumerate可以有参数哦之前我们这样操作：i=0foriteminiterable:printi,itemi+=1现在我们这样操作：fori,iteminenumerate(iterable):printi,itemenumerate函数还可以接收第二个参数。就像下面这样：>>>list(enumerate('abc'))[(0,'a'),(1,'b'),(2,'c')]>>>list(enumerate('abc',1))[(1,'a')
系统 2019-09-27 17:52:08 2183
目录第十五章、Python多线程之信号量和GIL1.信号量(Semaphore)2.GIL说明：第十五章、Python多线程之信号量和GIL1.信号量(Semaphore)信号量用来控制线程并发数的，Semaphore管理一个内置的计数器，每当调用acquire()时-1，调用release()时+1。计数器不能小于0，当计数器为0时，acquire()将阻塞线程至同步锁定状态，直到其他线程调用release()。其实就是控制最多几个线程可以操作同享资源。
系统 2019-09-27 17:51:26 2183
接触Python不久，看到很多人写2048，自己也捣鼓了一个，主要是熟悉Python语法。程序使用Python3写的，代码150行左右，基于控制台，方向键使用输入字符模拟。演示图片2048.py#-*-coding:UTF-8-*-#!/usr/bin/python3importrandomv=[[0,0,0,0],[0,0,0,0],[0,0,0,0],[0,0,0,0]]defdisplay(v,score):'''显示界面'''print('{0:4
系统 2019-09-27 17:51:12 2183
讨论采用*模糊导入或者单独导入变量会在不同文件生成不同的对象.a└──mypackage├──a.py├──b.py├──c.pyb.py内容如下importcdefb():print("b方法开始")print(c.config)print(id(c.config))c.py内容如下config="ONCE"a.py内容如下importbimportcdefa():print(c.config)c.config="TWO"print(c.config)p
系统 2019-09-27 17:51:09 2183
在我遇到SimPy包的其中一位创始人KlausMiller时，从他那里知道了这个包。Miller博士阅读过几篇提出使用Python2.2+生成器实现半协同例程和“轻便”线程的技术的可爱的Python专栏文章。特别是（使我很高兴的是），他发现在用Python实现Simula-67样式模拟时，这些技术很有用。结果表明TonyVignaux和ChangChui以前曾创建了另一个Python库，它在概念上更接近于Simscript，而且该库使用了标准线程技术，而不
系统 2019-09-27 17:49:52 2183
目录一.冒泡排序--BubbleSort基本思想：优化后的冒泡排序二.选择排序--SelectionSort基本思想：三.插入排序--InsertionSort基本思想：四.希尔排序--ShellSort基本思想:五.堆排序--HeapSort基本思想：六.归并排序--MergeSort基本思想：七.快速排序--QuickSort基本思想：八.对比本博客的排序算法元素的排序顺序默认从小到大。一.冒泡排序–BubbleSort基本思想：两两比较相邻记录的元素
系统 2019-09-27 17:49:19 2183
Python入门之内置模块--time模块1、time模块time翻译过来就是时间,这个模块是与时间相关的模块importtime#内置模块--标准库（1）time.time()时间戳（时间戳表示的是格林尼治时间是从1970年1月1日00:00:00开始按秒计算的偏移量）print(time.time())#时间戳浮点数秒（2）time.sleep()睡眠time.sleep(3)#秒（3）time.localtime()将时间戳转换成结构化时间prin
系统 2019-09-27 17:48:58 2183
01前言Python现有的版本多，每个项目使用的Python版本都不一样，管理起来比较麻烦。github有一个项目叫做pyenv，它是一个多版本管理工具，非常好用，不但支持多版本，而且可以自由切换。本文以CentOS7平台为例，演示pyenv的功能。本文转自我个人的公众号：天目星，请大家多多关注。请关注我的微信公众号一、安装pyenv的项目地址：https://github.com/pyenv/pyenvPS：安装pyenv前需要安装相关依赖包$yumin
系统 2019-09-27 17:48:50 2183
