最近，我加入了Cloudera，在这之前，我在计算生物学/基因组学上已经工作了差不多10年。我的分析工作主要是利用Python语言和它很棒的科学计算栈来进行的。但ApacheHadoop的生态系统大部分都是用Java来实现的，也是为Java准备的，这让我很恼火。所以，我的头等大事变成了寻找一些Python可以用的Hadoop框架。在这篇文章里，我会把我个人对这些框架的一些无关科学的看法写下来，这些框架包括:Hadoop流mrjobdumbohadoopyp
系统 2019-09-27 17:48:52 1875
前言R:代表redis-cliP:代表python的redis准备pipinstallredispool=redis.ConnectionPool(host='39.107.86.223',port=6379,db=1)redis=redis.Redis(connection_pool=pool)redis.所有命令下面命令所有命令我都省略了，有和Python内置函数冲突的我会加上redis.全局命令dbsize（返回key的数量）R:dbsizeP:pr
系统 2019-09-27 17:48:51 1875
python可以方便地支持多线程。可以快速创建线程、互斥锁、信号量等等元素，支持线程读写同步互斥。美中不足的是，python的运行在python虚拟机上，创建的多线程可能是虚拟的线程，需要由python虚拟机来轮询调度，这大大降低了python多线程的可用性。我们经今天用了经典的生产者和消费者的问题来说明下python的多线程的运用上代码：#encoding=utf-8importthreadingimportrandomimporttimefromQue
系统 2019-09-27 17:48:36 1875
一、字符串(str)1.1字符串的定义字符串就是一串字符，是编程语言中表示文本的数据类型在Python中可以使用一对双引号"或者一对单引号'定义一个字符串可以使用索引获取一个字符串中指定位置的字符，索引计数从0开始也可以使用for循环遍历字符串中每一个字符1#!/usr/bin/envpython32#-*-coding:utf-8-*-34"""5@author:fyh6@time:2019/5/317"""89str1="hellopython"101
系统 2019-09-27 17:48:32 1875
一、对列表（list）进行排序推荐的排序方式是使用内建的sort()方法，速度最快而且属于稳定排序复制代码代码如下:>>>a=[1,9,3,7,2,0,5]>>>a.sort()>>>printa[0,1,2,3,5,7,9]>>>a.sort(reverse=True)>>>printa[9,7,5,3,2,1,0]>>>b=['e','a','be','ad','dab','dbc']>>>b.sort()>>>printb['a','ad','be'
系统 2019-09-27 17:48:22 1875
Golang与python线程详解及简单实例在GO中，开启15个线程，每个线程把全局变量遍历增加100000次，因此预测结果是15*100000=1500000.varsumintvarccccintvarm*sync.MutexfuncCount1(iint,chchanint){forj:=0;j<100000;j++{cccc=cccc+1}ch<-cccc}funcmain(){m=new(sync.Mutex)ch:=make(chanint,1
系统 2019-09-27 17:48:20 1875
测试题：0.Python是什么类型的语言？Python是一种脚本语言，写好了就可以直接运行Python是一种面向对象、解释型、动态类型计算机程序设计语言解释型：程序无需编译成二进制代码，而是在执行时对语句一条一条编译动态类型：在程序执行过程中，可以改变变量的类型它常被昵称为胶水语言，能够把用其他语言制作的各种模块（尤其是C/C++）很轻松地联结在一起1.IDLE是什么？是python程序自带的简洁的集成开发环境2.print()的作用是什么？打印文本输出字
系统 2019-09-27 17:47:51 1875
1.服务端主程序：#encoding:utf-8importthreadingfromprocedure.socket_serverimportThreadingHttpServer,MainHandlerfromprocedure.processimportmq_respond_procedurefromloggerimportlog,logwffromconfimport(HOST,PORT,MQ_A_RECV_1,MQ_A_RECV_2,MQ_A_R
系统 2019-09-27 17:47:49 1875
自己在玩dota的时候有时候喜欢边玩游戏边听音乐,但是切换下一曲的时候必须得切出游戏,而切换音乐的热键ctrl+alt+方向键在游戏的时候没有用,好事蛋疼,今天试试使用python来实现键盘监控切换下一曲,下面贴出代码importpythoncom,pyHookimportwin32gui,win32api,win32conLcontrol_press=FalseLmenu_press=FalseLeft_press=FalsedefOnKeyboardE
系统 2019-09-27 17:47:49 1875
Python编程中对于某些需要重复调用的程序，可以使用函数进行定义，基本形式为：def函数名(参数1,参数2,……,参数N):执行语句函数名为调用的表示名，参数则是传入的参数，可以更具需要定义，也可以没有。#例1：简单的函数使用#coding=gb2312#定义函数defhello():print'hellopython!'#调用函数hello()>>>hellopython!函数可以带参数和返回值，参数将按从左到右的匹配，参数可设置默认值，当使用函数时没
系统 2019-09-27 17:47:48 1875
count()方法返回出现在范围内串子数range[start,end]。可选参数的start和end都解释为片符号。语法以下是count()方法的语法：str.count(sub,start=0,end=len(string))参数sub--这是子串用来进行搜索。start--搜索从这一索引。第一个字符从0开始的索引。默认情况下搜索从0开始的索引。end--搜索从该索引结束。第一个字符从0开始的索引。默认情况下搜索结束的最后一个索引。返回值此方法返回集中
系统 2019-09-27 17:47:22 1875
使用装python饰器做缓存装饰器在之前的文章中有讲过，这里主要是说了装饰器的用法和应该怎么理解。这片文章给出一片补充：主要说在缓存方面的应用。在此之前呢，需要补充一些知识点：就是python查找变量的顺序是什么？答案就是LEGB原则：也就是`Local->Enclosed->Global->Built-in`也就是先在局部作用域内(例如函数内)进行查找，然后在[闭包]1内查找，接下来分别是全局作用域和内置的保留名称注意：闭包内的变量，不能改变，但是对于列
系统 2019-09-27 17:47:18 1875
如果文件已连接(与终端设备相关联)到一个tty(状)的设备，isatty()方法返回True，否则返回False。语法以下是isatty()方法的语法：fileObject.isatty();参数NA返回值如果该文件被连接(与终端设备相关联)到一个tty(类似终端)设备此方法返回true，否则返回false。例子下面的例子显示了isatty()方法的使用。#!/usr/bin/python#Openafilefo=open("foo.txt","wb")p
系统 2019-09-27 17:46:53 1875
前言进程之间通信与线程同步是一个历久弥新的话题，对编程稍有了解应该都知道，但是细说又说不清。一方面除了工作中可能用的比较少，另一方面就是这些概念牵涉到的东西比较多，而且相对较深。网络编程，服务端编程，并发应用等都会涉及到。其开发和调试过程都不直观。由于同步通信机制的原理都是想通的，本文希通过望借助python实例来将抽象概念具体化。阅读之前可以参考之前的一篇文章：python多线程与多进程及其区别，了解一下线程和进程的创建。python多线程同步pytho
系统 2019-09-27 17:46:39 1875
刚来这个公司，熟悉了环境，老大就开始让我做一个迁移、修改代码的工作，我想说的是，这种工作真没劲~~，看别人的代码、改别人的代码、这里改个变量、那里改个文件名・・・・・・，都是些没技术含量、很繁琐的事情，不过通过迁移代码顺便熟悉下环境也好。扯了这么多，说说今天的主题吧――代码编码格式改变，由于某些原因，需要将代码从A机房迁移到B机房，这两个之间不能互相访问，但是历史原因导致A机房的代码全是utf8编码的，B机房要求是GBK编码，看看这个怎么解决。编码问题先说
系统 2019-09-27 17:45:49 1875
