最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但ApacheHadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopyp
系统 2019-09-27 17:48:52 2129
matplotlib简介matplotlib是python中用于绘制2D图像，用于科学计算绘图基本绘图函数说明和例子barh(bottom,width,height=0.8,left=None,**kwargs)绘制矩形的边界为：left,left+width,bottom,bottom+height参数：bottom：标量或数组，是条形图的y轴width：条形图的每一个条形的宽height：条形的高度，标量序列，默认是0.8left：条形的左边的边界，标
系统 2019-09-27 17:48:33 2129
URL提交是百度提供的一个站长工具，用于给站长提供手工收录某些URL的接口，但是该接口有验证码识别部分，比较难弄。所以编写了如下程序进行验证码自动识别：主要思路获取多个验证码，提交到http://lab.ocrking.com/进行多次识别，然后计算每个验证码图片识别出来的字母或数字进行统计，得出统计率最高的即为验证码。复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-importrequestsimportt
系统 2019-09-27 17:48:10 2129
random()方法返回一个随机浮点数r，使得0是小于或等于r以及r小于1。语法以下是random()方法的语法：random()注意：此函数是无法直接访问的，所以我们需要导入random模块，然后我们需要使用random对象来调用这个函数。参数NA返回值此方法返回一个随机浮点数r，使得0是小于或等于r以及r小于1。例子下面的例子显示了random()方法的使用。#!/usr/bin/pythonimportrandom#Firstrandomnumber
系统 2019-09-27 17:47:35 2129
Python脚本有一个毛病，当使用相对路径时，被另一个不同目录下的py文件中导入时，会报找不到对应文件的问题。感觉是当前工作目录变成了导入py文件当前目录。如果你有配置文件的读取操作，然后都放在一个py文件中，而你又用的是相对路径，而且这个py文件在多个不同目录下的py文件中被导入，那就呵呵了。。。还是用绝对路径吧。解决这个问题，可以用绝对路径。当然是自动的绝对路径，而不是每次都手动给前缀赋值，让脚本自动寻找当前文件的绝对路径。此处分享在python下获取
系统 2019-09-27 17:46:48 2129
怎么理解装饰器，用过或者写过什么装饰器吗？1.1.概述：装饰器本质上是一个Python函数，它可以让其他函数在不需要做任何代码变动的前提下增加额外功能，装饰器的返回值也是一个函数对象。1.2.详细描述：1.importlogging8.ret=oldfunc(*args,**kwargs)9.returnret10.11.返回新函数12.returnnew_func13.14.15.#通过语法糖使用装饰器16.@decoratorbr/>2.#定义装饰器,
系统 2019-09-27 17:46:27 2129
背景写代码的时候，你会发现你的代码越写越多。然而，功能需要也越来越多，然后你的冗余代码就多得不能再多了~~~怎么办，我太难了。那就寻求一些高级写法，一般的高级写法都是尽可能地短。另外，把重复的代码抽取出来，封装成函数，每次使用直接调函数即可。For循环赋值前提条件：我创建了一个road类，这个类里面有这些属性。我先初始化给road赋值，然后再把这些对象放到roadObjList集合里面。目标：从roadObjList集合里面取出每个road对象的objec
系统 2019-09-27 17:46:11 2129
Python安装selenium包打开命令行窗口，进入python交互环境python尝试导入selenium包，报错，说明尚未安装seleniumimportselenium退出python交互环境exit()使用pip安装selenium包pipinstallselenium下载对应版本的webdirver,这里用的是某歌的，因为本机安装的某歌浏览器，网页有对应版本说明及下载地址，这里不写了，注意的是下载的dirver一定要在环境变量里path配有的路
系统 2019-09-27 17:46:04 2129
介绍Python常见的字符串处理方式字符串截取>>>s='hello'>>>s[0:3]'he'>>>s[:]#截取全部字符'hello'消除空格及特殊符号s.strip()#消除字符串s左右两边的空白字符（包括'\t'，'\n','\r',''）s.strip('0')#消除字符串s左右两边的特殊字符（如'0'）,字符串中间的'0'不会删除例如：>>>s='000hello00world000'>>>s.strip('0')'hello00world's
系统 2019-09-27 17:45:26 2129
最近写的代码中写了很多函数，都是按步骤调用的，想看代码执行到第几个函数了，但又不想在每个函数中打印来表示执行到哪了，这时候就想用进度条来显示了，看网上没有我这种思路来实现的，自己来写个importtimeimporttqdmdefwork1():time.sleep(1)defwork2():time.sleep(1)defwork3():time.sleep(1)defwork4():time.sleep(1)defwork5():time.sleep(
系统 2019-09-27 17:45:25 2129
######################分支语句python3.5#################代码的缩进格式很重要建议4个空格来控制#根据逻辑值（True，Flase）判断程序的运行方向#Ture：表示非空的量（String，tuple元组、list、set、dictonary），所有非零的数字#False：0，None、空的量#逻辑表达式可以包含逻辑运算符andornotif：##################################
系统 2019-09-27 17:38:35 2129
闭包并不是什么新奇的概念，它早在高级语言开始发展的年代就产生了。闭包（Closure）是词法闭包（LexicalClosure）的简称。对闭包的具体定义有很多种说法，这些说法大体可以分为两类：一种说法认为闭包是符合一定条件的函数，比如参考资源中这样定义闭包：闭包是在其词法上下文中引用了自由变量的函数。另一种说法认为闭包是由函数和与其相关的引用环境组合而成的实体。比如参考资源中就有这样的的定义：在实现深约束时，需要创建一个能显式表示引用环境的东西，并将它与相
系统 2019-09-27 17:38:28 2129
实例如下：defTestDic1():dict2={'aa':222,11:222}forvalindict2:printvaldefTestDic2():dict2={'aa':222,11:222}for(key,val)indict2.items():printkey,":",valdefTestList1():list=[1,2,3,4,5,3,2,'ada','fs3']foriinrange(len(list)):printlist[i]def
系统 2019-09-27 17:38:16 2129
if语句>>通用格式if语句一般形式如下:if:elif:else:另外需要注意的是，Python中是没有switch/case语句的while循环while语句是Python语言中最通用的迭代结构，简而言之，只要顶端测试一直计算到真值，就会重复执行一个语句块。>>一般格式while:else:>>break,continue,pass和循环elsebreak跳出最近所在的循环(跳过整个循环语句)。continue跳到最近所在循环的开头处(来到循环的首行)
系统 2019-09-27 17:37:45 2129
python有一个相应的特殊解构器（destructor）方法名为__del__()。然而，由于python具有垃圾对象回收机制（靠引用计数），这个函数要直到该实例对象所有的引用都被清除掉后才会被执行。python中的解构器是在实例释放前提供特殊处理功能方法，它们通常没有被实现，因为实例很少被显式释放。在下面的例子中，我们分别创建（并覆盖）__init__()和__del__()构造器及解构函数，然后，初始化类并给同样的对象很多别名。id()内建函数可用来
系统 2019-09-27 17:37:40 2129
