上面我们学习了RDD如何转换，即一个RDD转换成另外一个RDD，但是转换完成之后并没有立刻执行，仅仅是记住了数据集的逻辑操作，只有当执行了Action动作之后才会真正触发Spark作业，进行算子的计算执行操作有：reduce(func)collect()count()first()take(n)takeSample(withReplacement,num,[seed])takeOrdered(n,[ordering])saveAsTextFile(path
系统 2019-09-27 17:52:33 2218
Git是编程中的基本技能之一，互联网公司几乎都在使用Git进行协作编程，昨天还有位禅友在微信上专门告诉我说星期五面试的时候刚好被问到Git，幸好在这几天学了一下。Git并不难，但会Git至少可以说明一个人的学习能力或者说对技术的嗅觉能跟上主流，如果面试问你GitHub是什么都不知道，面试官就会对你打一个大的问号。简单点评这一道题。在使用for循环迭代一个列表时，有时我们需要获取列表中每个元素所在的下标位置是多少，例如numbers=[10,29,30,41
系统 2019-09-27 17:52:23 2218
将test01.csv中的张三语文成绩替换成100，且不改变文件其他内容新建一个test02.csv的空文件代码实现如下：importoswithopen("./test01.csv",mode="r",encoding="utf-8")ast1,open("./test02.csv",mode="w",encoding="utf-8")ast2:forlineint1:#文件也是可以迭代的一行行拿出来替换写入新文件中，节省内存if"语文"inline:l
系统 2019-09-27 17:51:18 2218
前言本不想多说什么，年后在公司亲历一段别样经验，不想吐槽，只因吐槽不能改变任何现状。小姐心态，寡妇待遇，妇联追求，一份技术工作做出弯腰，低头，下跪，也是醉了。今年大环境不好，大厂裁员，人才过盛，好在自己还是去了符合自己意愿的公司。新工作快一个月，主要工作技术内容是一个Django的小东西，首先是需要从Python2迁移至Python3，简单带点重构。Python2迁移Python3运行环境服务run在docker里，启动方式里面没有嵌入太多环境变量，基本基
系统 2019-09-27 17:50:00 2218
作业一：需求：写函数，计算传入字符串中的【数字】、【字母】、【空格】以及【其他】的个数1#!/usr/bin/envpython2#-*-coding:utf-8-*-34#先定义一个函数5deffunc(args):6#定义一个计算数字的变量7digit_num=08#定义一个计算字母的变量9al_num=010#定义一个计算空格的变量11spance_num=012#定义一个计算其他的变量13other_num=01415foriinargs:16if
系统 2019-09-27 17:49:36 2218
最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但ApacheHadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopyp
系统 2019-09-27 17:48:52 2218
本文介绍了使用Python来扫描指定目录下的文件，或者匹配指定后缀和前缀的函数。步骤如下：如果要扫描指定目录下的文件，包括子目录，需要调用scan_files("/export/home/test/")如果要扫描指定目录下的特定后缀的文件（比如jar包），包括子目录，调用scan_files("/export/home/test/",postfix=".jar")如果要扫描指定目录下的特定前缀的文件（比如test_xxx.py），包括子目录，调用scan_
系统 2019-09-27 17:47:27 2218
本文实例讲述了python的类方法和静态方法。分享给大家供大家参考。具体分析如下：python没有和C++中static关键字，它的静态方法是怎样的呢？还有其它语言中少有的类方法又是神马？python中实现静态方法和类方法都是依赖于python的修饰器来实现的。复制代码代码如下:classMyClass:defmethod(self):print("method")@staticmethoddefstaticMethod():print("staticme
系统 2019-09-27 17:47:26 2218
本节内容paramiko模块（基于SSH用于连接远程服务器并执行相关操作）paramiko模块SSHClient用于连接远程服务器并执行基本命令基于用户名密码连接#Author:yyqianimportparamiko#创建SSH对象ssh=paramiko.SSHClient()#允许连接不在know_hosts文件中的主机ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())#连接服务器ssh
系统 2019-09-27 17:46:15 2218
本文实例讲述了PythonMongoDB插入数据时已存在则不执行，不存在则插入的解决方法。分享给大家供大家参考，具体如下：前言：想把QQ日志爬虫(Python)爬下来的日志保存到MongoDB里面。但insert的时候报错：E11000duplicatekeyerrorcollection:QQ.Blogindex:_id_dupkey:{:"965464518_1301232446"}后来知道错误的原因是：插入的数据和已有数据的ID重复了。我想要的是：插
系统 2019-09-27 17:38:32 2218
