最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但ApacheHadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopyp
系统 2019-09-27 17:48:52 2171
numpy.ptp()是计算最大值与最小值差的函数，用法如下：importnumpyasnpa=np.array([np.random.randint(0,20,5),np.random.randint(0,20,5)])print('原始数据\n'a)print('对所有数据计算\n',a.ptp())print('axis=0,按行方向计算，即每列\n',a.ptp(axis=0))#按行方向计算，即每列print('axis=1,按列方向计算，即每行
系统 2019-09-27 17:48:43 2171
前言Python生成器(generator)并不是一个晦涩难懂的概念。相比于MetaClass和Closure等概念，其较为容易理解和掌握。但相对于程序结构：顺序、循环和分支而言其又不是特别的直观。无论学习任何的东西，概念都是非常重要的。正确树立并掌握一些基础的概念是灵活和合理运用的前提，本文将以一种通俗易懂的方式介绍一下generator和yield表达式。1.Iterator与Iterable首先明白两点：Iterator(迭代器)是可迭代对象;可迭代
系统 2019-09-27 17:48:41 2171
一、字符串(str)1.1字符串的定义字符串就是一串字符，是编程语言中表示文本的数据类型在Python中可以使用一对双引号"或者一对单引号'定义一个字符串可以使用索引获取一个字符串中指定位置的字符，索引计数从0开始也可以使用for循环遍历字符串中每一个字符1#!/usr/bin/envpython32#-*-coding:utf-8-*-34"""5@author:fyh6@time:2019/5/317"""89str1="hellopython"101
系统 2019-09-27 17:48:32 2171
URL提交是百度提供的一个站长工具，用于给站长提供手工收录某些URL的接口，但是该接口有验证码识别部分，比较难弄。所以编写了如下程序进行验证码自动识别：主要思路获取多个验证码，提交到http://lab.ocrking.com/进行多次识别，然后计算每个验证码图片识别出来的字母或数字进行统计，得出统计率最高的即为验证码。复制代码代码如下:#!/usr/bin/envpython#-*-coding:utf-8-*-importrequestsimportt
系统 2019-09-27 17:48:10 2171
1.函数的动态参数1.1*args位置参数动态传参defchi(*food):print("我要吃",food)chi("大米饭","小米饭")结果:我要吃('大米饭','小米饭')#多个参数传递进去.收到的内容是元组tuple1.2**kwargs关键字参数动态传参deffunc(**kwargs):print(kwargs)func(a=1,b=2,c=3)func(a=1,b=2)结果:{'a':1,'b':2,'c':3}{'a':1,'b':2}
系统 2019-09-27 17:47:53 2171
目录一、概述1.1从数据处理到人工智能二、Python库之数据分析2.1numpy2.2pandas2.3scipy三、Python库之数据可视化3.1matplotlib3.2Seaborn3.3Mayavi四、Python库之文本处理4.1PyPDF24.2NLTK4.3Python-docx五、Python库之机器学习5.1Scikit-learn5.2TensorFlow5.3MXNet六、单元小结6.1从数据处理到人工智能一、概述1.1从数据处理
系统 2019-09-27 17:47:49 2171
自己在玩dota的时候有时候喜欢边玩游戏边听音乐,但是切换下一曲的时候必须得切出游戏,而切换音乐的热键ctrl+alt+方向键在游戏的时候没有用,好事蛋疼,今天试试使用python来实现键盘监控切换下一曲,下面贴出代码importpythoncom,pyHookimportwin32gui,win32api,win32conLcontrol_press=FalseLmenu_press=FalseLeft_press=FalsedefOnKeyboardE
系统 2019-09-27 17:47:49 2171
引言logging的基本用法网上很多，这里就不介绍了。在引入正文之前，先来看一个需求：假设需要将某功能封装成类库供他人使用，如何处理类库中的日志？数年前在一个C#开发的项目中，我用了这样的方法：定义一个logging基类，所有需要用到日志的类都继承这个基类，这个基类中定义一个LogHandler事件，该事件用于实现具体的记录日志动作，同时可以通过将类A的LogHandler委托挂到类B的LogHandler上，实现将两个类的日志信息添加到一起。自从看了py
系统 2019-09-27 17:47:37 2171
random()方法返回一个随机浮点数r，使得0是小于或等于r以及r小于1。语法以下是random()方法的语法：random()注意：此函数是无法直接访问的，所以我们需要导入random模块，然后我们需要使用random对象来调用这个函数。参数NA返回值此方法返回一个随机浮点数r，使得0是小于或等于r以及r小于1。例子下面的例子显示了random()方法的使用。#!/usr/bin/pythonimportrandom#Firstrandomnumber
系统 2019-09-27 17:47:35 2171
