上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 1847
在之前学习的RDD和DataFrame数据集主要处理的是离线数据，随着时代发展进步，我们会发现越来越多数据是在源源不断发回到数据中心，同时需要立刻响应给用户，这样的情况我们就会用到实时处理，常用的场景有实时显示某商场一小时人流密度、实时显示当天火车站人口总数等等。接下来从实时数据源说起，实时数据源主要有：FileSourceSocketSourceFlumeSourceKafkaSourceFileSource指的是文件作为数据来源，常用的有本地文件fil
系统 2019-09-27 17:52:32 1847
1、python装饰器最基础的函数1defsum1():2sum=1+23print(sum)4sum1()查看函数执行用了多长时间，写了几句代码插进去了：1importtime23defsum1():4start=time.clock()5sum=1+26print(sum)7end=time.clock()8print("timeused:",end-start)910sum1()可是随着继续翻看，对越来越多的函数感兴趣了，都想看下他们的运行时间如何，
系统 2019-09-27 17:52:26 1847
现在互联网巨头，都已经转投到人工智能领域，而人工智能的首选编程语言就是python，未来前景显而易见。那么问题来了，想学Python，Python工程师工资一般多少?值得去学吗?说句实在话，还得看你自己：自己足够用功，经验够，两三万月薪也不是不可能;如果资历浅，又不用功，想要高薪，除非运气够好！学习Python可以从事以下工作：一、人工智能Python作为人工智能的黄金语言，选择人工智能作为就业方向是理所当然的，而且就业前景好，薪资普遍较高，拉勾网上，人工
系统 2019-09-27 17:51:49 1847
目录一、插入排序二、冒泡排序三、快排（递归）四、选择排序生成一个长度为10的范围在0~20的随机数组importrandomtemp_list=[]whileTrue:num=random.randint(0,20)ifnumnotintemp_list:temp_list.append(num)iflen(temp_list)==10:breakprinttemp_list一、插入排序definsert(list):length=len(list)for
系统 2019-09-27 17:51:37 1847
只需10行Python代码，我们就能实现计算机视觉中目标检测。fromimageai.DetectionimportObjectDetectionimportosexecution_path=os.getcwd()detector=ObjectDetection()detector.setModelTypeAsRetinaNet()detector.setModelPath(os.path.join(execution_path,"resnet50_coc
系统 2019-09-27 17:51:29 1847
一、定义函数def函数名():函数体代码例：#定义函数defemail():print('sendemail')#调用执行函数email()二、函数的返回值defemail():print("sendemail")return"发送成功"#没有return，默认返回Noneret=email()#函数return后面是什么值，ret等于返回值print(ret)注意：一旦遇到return,函数内部return以下的代码不再执行。三、函数的普通参数defem
系统 2019-09-27 17:51:12 1847
模块Module定义包含一系列数据、函数、类的文件，通常以.py结尾。作用让一些相关的数据，函数，类有逻辑的组织在一起，使逻辑结构更加清晰。有利于多人合作开发。导入import1.语法：import模块名import模块名as别名2.作用：将某模块整体导入到当前模块中3.使用：模块名.成员fromimport1.语法：from模块名import成员名[as别名1]作用：将模块内的一个或多个成员导入到当前模块的作用域中。fromimport*1.语法：fro
系统 2019-09-27 17:51:00 1847
本文原创并首发于公众号【Python猫】，未经授权，请勿转载。原文地址：https://mp.weixin.qq.com/s/XzCqoCvcpFJt4A-E4WMqaA（一）最近，我突然想到一个问题：相比其它语言，有哪些概念或习惯叫法是Python特有的？在朋友圈提出这个问题后，我得到最多的回复是——Pythonic。这个回复一点都不意外，名字中自带Python的，当然是特有的啦，与它相似的，还有Pythonista。这两个词是啥意思呢？Python圈内
系统 2019-09-27 17:50:45 1847
mongodb是基于分布式文件存储的nosql(非关系型)数据库虽说是nosqldb,butmongodb其中的文档可以是关系型的在mongodb中,表为集合,里面的数据为文档;文档本质就是一条调JSON数据进入mongodb:mongo退出mongodb:exit库操作显示库:showdbs选择或者创建:usellsdb#不管该库是否存在,都会use进入,如何该库不存在,use进去不存入数据退出时,该库不会被创建.所以创建库就use再写入数据.查看所在库
系统 2019-09-27 17:50:39 1847
