最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但ApacheHadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopyp
系统 2019-09-27 17:48:52 1799
我觉得，开始学习一门编程时候，不仅仅是要去学习它的语法，而是在给你一段代码的时候，你能够对这段代码的主要结构在心里面有一个大致的框架，也就是你要知道这一块是干什么的，那一块又是干什么的，然后再一块一块的详细去看代码的具体语句。一、从对象到类1.对象是在应用程序中使用的、组合成一个单一的实体的数据。例如，如果编写一个程序使用汽车，那么将会创建一个Car对象，其中包含了一些汽车的信息，如车的重量、大小、引擎以及门的数量。如果你正在编写一个程序来记录人，那么你可
系统 2019-09-27 17:48:44 1799
一、字符串(str)1.1字符串的定义字符串就是一串字符，是编程语言中表示文本的数据类型在Python中可以使用一对双引号"或者一对单引号'定义一个字符串可以使用索引获取一个字符串中指定位置的字符，索引计数从0开始也可以使用for循环遍历字符串中每一个字符1#!/usr/bin/envpython32#-*-coding:utf-8-*-34"""5@author:fyh6@time:2019/5/317"""89str1="hellopython"101
系统 2019-09-27 17:48:32 1799
一、对列表（list）进行排序推荐的排序方式是使用内建的sort()方法，速度最快而且属于稳定排序复制代码代码如下:>>>a=[1,9,3,7,2,0,5]>>>a.sort()>>>printa[0,1,2,3,5,7,9]>>>a.sort(reverse=True)>>>printa[9,7,5,3,2,1,0]>>>b=['e','a','be','ad','dab','dbc']>>>b.sort()>>>printb['a','ad','be'
系统 2019-09-27 17:48:22 1799
在Bioinformatics(生物信息学)领域，WebService是很重要的一种数据交换技术，未来必将更加重要。目前EBI所提供的WebService就分别有SOAP和REST两种方式的服务，不管是数据服务还是计算服务（计算任务提交）。1Python+SOAP/WSDL/UDDI最普遍的做法（个人观点）是使用pythonZSI2.0，ZSI还依赖于SOAPpy和pyXML等LIB。SOAP协议很多人都很熟悉，有很多现有的应用也都使用Java等语言来开发
系统 2019-09-27 17:48:09 1799
推荐系统中经常需要处理类似user_id,item_id,rating这样的数据，其实就是数学里面的稀疏矩阵，scipy中提供了sparse模块来解决这个问题，但scipy.sparse有很多问题不太合用：1、不能很好的同时支持data[i,...]、data[...,j]、data[i,j]快速切片；2、由于数据保存在内存中，不能很好的支持海量数据处理。要支持data[i,...]、data[...,j]的快速切片，需要i或者j的数据集中存储；同时，为了
系统 2019-09-27 17:48:09 1799
面向对象编程时，都会遇到一个概念，类，python也有这个概念，下面我们通过代码来深入了解下。创建和使用类classDog():def__init__(self,name,age):self.name=nameself.age=agedefsit(self):print(self.name.title()+"isnowsitting.")defroll_over(self):print(self.name.title()+"rolledover!")my_
系统 2019-09-27 17:48:08 1799
思路：1、画一张白色的图片（大小为：200*50）2、逐个填充像素点，每个像素点随机3、往图片上写入字符字符随机生成字符的颜色是随机的字符的组成：大写字母、小写字母以及数字fromPILimportImage,ImageDraw,ImageFontimportnumpyasnpdefbgcolor():returnnp.random.randint(64,255),np.random.randint(64,255),np.random.randint(64
系统 2019-09-27 17:48:05 1799
很多书籍里面讲的Python备份都是在linux下的，而在xp上测试一下也可以执行备份功能，代码都差不多相同，就是到执行打包的时候是不一样的。而且要用到winrar，其他的压缩文件也是一样的。首先我们要把winrar的路径添加到path里面，这里添加完了要重启机子才有效。这里要注意:把winrar的路径添加到path里面之后一定要重启，否则path的设定不会起作用，打包就会失败！这里用到得命令是：winraraxxx.zipxxxxxxx为任意字符实例代码
系统 2019-09-27 17:47:53 1799
采集内容常需要得到网页返回的验证码做进一步处理下面代码是用python写的用来获取网页http状态码的脚本#!/usr/bin/python#-*-coding:utf-8-*-#encoding=utf-8#Filename:states_code.pyimporturllib2url='//www.jb51.net/'response=Nonetry:response=urllib2.urlopen(url,timeout=5)excepturllib
系统 2019-09-27 17:47:48 1799
