Spark编程环境Spark可以独立安装使用，也可以和Hadoop一起安装使用。在安装Spark之前，首先确保你的电脑上已经安装了Java8或者更高的版本。Spark安装访问Spark下载页面，并选择最新版本的Spark直接下载，当前的最新版本是2.4.2。下载好之后需要解压缩到安装文件夹中，看自己的喜好，我们是安装到了/opt目录下。tar-xzfspark-2.4.2-bin-hadoop2.7.tgzmvspark-2.4.2-bin-hadoop2
系统 2019-09-27 17:52:49 2012
简单使用最开始，我们用最短的代码体验一下logging的基本功能。importlogginglogger=logging.getLogger()logging.basicConfig()logger.setLevel('DEBUG')logger.debug('logsomething')#输出out>>DEBG:root:logsomething第一步，通过logging.getLogger函数，获取一个loger对象，但这个对象暂时是无法使用的。第二步
系统 2019-09-27 17:52:26 2012
问题1：需要得到一个类似{“demo”:{“key”:”value”}}这样格式的字典dic。dic=dict()dic_temp=dict()dic_temp={"key":"value"}dic["demo"]=dic_temp问题2：创建一个多值映射字典.。d={}forkey,valueinpairs:ifkeynotind:d[key]=[]d[key].append(value)问题3：需要得到一个类似[{“id”:1,“text”:“Root
系统 2019-09-27 17:48:04 2012
前言在浏览博客时，偶然看到了用python将汉字转为拼音的第三方包，但是在实现的过程中发现一些参数已经更新，现在将两种方法记录一下。xpinyin在一些博客中看到，如果要转化成带音节的拼音，需要传递参数，‘show_tone_marks=True'，但我在实际使用时发现，已经没有这个参数了，变成了tone_marks，其它的参数和使用方法，一看就明白了，写的很清楚。看下源码：classPinyin(object):"""translatechineseha
系统 2019-09-27 17:46:05 2012
python是支持多线程的，主要是通过thread和threading这两个模块来实现的。thread模块是比较底层的模块，threading模块是对thread做了一些包装的，可以更加方便的使用。虽然python的多线程受GIL限制，并不是真正的多线程，但是对于I/O密集型计算还是能明显提高效率，比如说爬虫。下面用一个实例来验证多线程的效率。代码只涉及页面获取，并没有解析出来。#-*-coding:utf-8-*-importurllib2,timeim
系统 2019-09-27 17:37:56 2012
最近在弄邮件系统二次开发，mirapoint实现群组功能有两种方法，最后决定使用LDAP来实现。找了很多LDAP相关的文章，觉得下面这篇文章讲得浅显易懂，转过来备用。-------------------------------------------------------------------------理解与应用LDAP服务器(前段时间一直在做LDAP+POSTFIX相关项目，先把关于LDAP的一些经验写出来，一来可能会帮助一些人，二来对我自己所学
系统 2019-08-29 23:04:09 2012
今天是22岁的最后一天。几个月前，我从沃顿商学院毕业，用文凭上“最高荣誉毕业”的标签安抚了已经年过半百的老妈，然后转头辞去了毕业后的第一份工作，跟一家很受尊敬的公司、还有150万的年薪道了别，回到了上海，加入了“刚毕业就失业”俱乐部，开始了一天三顿盒饭的新生活，中间许多精彩剧情暂时略过。我肯定不是第一个做过这样事的人，也肯定不会是最后一个。所以在说自己的一些有趣故事前，我想借用大家(包括30岁甚至40岁以上的朋友)的一点时间和一点平和的心态，和大家分享过去
系统 2019-08-29 22:01:03 2012
首先我们从一个小程序导入，各定一个list，找出其中的素数，我们会这样写importmathdefis_Prims(number):ifnumber==2:returnTrue//除2以外的所有偶数都不是素数elifnumber%2==0:returnFalse//如果一个数能被除1和本身之外的数整除，则为合数。其实我们的判定范围到根号n就可以forcurinrange(2,int(math.sqrt(number))+1,2):ifnumber%cur=
系统 2019-09-27 17:52:34 2011
用python和numpy处理数据次数比较多,写了几个小函数,可以方便地读写数据:#-*-coding:utf-8-*-#----------------------------------------------------------------------#FileName:gettxtdata.py#功能:读取字符串和文件中的数值数据(浮点数)#主要提供类似matlab中的dlmread和dlmwrite函数#同时提供loadtxtdata和sav
系统 2019-09-27 17:47:34 2011
JSON(JavaScriptObjectNotation)是一种轻量级的数据交换格式。它基于JavaScript（StandardECMA-2623rdEdition-December1999）的一个子集。JSON采用完全独立于语言的文本格式，但是也使用了类似于C语言家族的习惯（包括C,C++,C#,Java,JavaScript,Perl,Python等）。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写，同时也易于机器解析和生成。今天用py
系统 2019-09-27 17:37:51 2011
