publicclassWordCountApp{//可以指定目录,目录下如果有二级目录的话,是不会执行的,只会执行一级目录.privatestaticfinalStringINPUT_PATH="hdfs://hadoop1:9000/abd";//输入路径privatestaticfinalStringOUT_PATH="hdfs://hadoop1:9000/out";//输出路径,reduce作业输出的结果是一个目录//_SUCCESS:在linux
系统 2019-08-12 09:26:47 2229
usingSystem;usingSystem.Collections.Generic;usingSystem.Text;usingDevExpress.XtraGrid.Localization;usingDevExpress.XtraBars.Localization;usingDevExpress.XtraCharts.Localization;usingDevExpress.XtraEditors.Controls;usingDevExpress.
系统 2019-08-12 09:26:39 2229
本文主要基于AnandRajaraman和JeffreyDavidUllman合著，王斌翻译的《大数据-互联网大规模数据挖掘与分布式处理》一书。KMeans算法是最常用的聚类算法，主要思想是:在给定K值和K个初始类簇中心点的情况下，把每个点(亦即数据记录)分到离其最近的类簇中心点所代表的类簇中，所有点分配完毕之后，根据一个类簇内的所有点重新计算该类簇的中心点(取平均值)，然后再迭代的进行分配点和更新类簇中心点的步骤，直至类簇中心点的变化很小，或者达到指定的
系统 2019-08-12 01:32:45 2229
密码学俱乐部的第一条规则是：永远不要自己发明密码系统。密码学俱乐部的第二条规则是：永远不要自己实现密码系统：在现实世界中，在实现以及设计密码系统阶段都找到过许多漏洞。Python中的一个有用的基本加密库就叫做cryptography。它既是一个“安全”方面的基础库，也是一个“危险”层。“危险”层需要更加小心和相关的知识，并且使用它很容易出现安全漏洞。在这篇介绍性文章中，我们不会涵盖“危险”层中的任何内容!cryptography库中最有用的高级安全功能是一
系统 2019-09-27 17:56:58 2228
logging模块简介logging模块是python内置模块，专门为打印日志的模块importlogginglogging.debug('debugmessage')logging.info('infomessage')logging.warning('warningmessage')logging.error('errormessage')logging.critical('criticalmessage')默认情况下python的logging模块将
系统 2019-09-27 17:56:41 2228
本文简单讲述了python操作CouchDB的方法，分享给大家供大家参考。具体方法如下：1.安装pythoncouchDb库：https://pypi.python.org/pypi/CouchDB/0.102.连接服务器>>>importcouchdb>>>couch=couchdb.Server('http://example.com:5984/')3.创建数据库>>>db=couch.create('test')#新建数据库>>>db=couch['
系统 2019-09-27 17:55:43 2228
创建目录python3.6.5安装目录：mkdir/usr/local/python3.6.5进入安装目录：cd/usr/local/python3.6.5执行以下命令，下载python安装包wgethttps://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz解压安装包tar-xzvfPython-3.6.5.tgz执行以下命令切换到解压目录：cdPython-3.6.5执行以下命令，安装gcc组件yum
系统 2019-09-27 17:55:38 2228
#-*-coding:utf-8-*-"""CreatedonSatJun816:13:362019@author:User"""importnumpyasnpimportpandasaspd#importmatplotlibasmpl#importmatplotlib.pyplotasplt#importdatetimeprint('\npd.read_table:')jddf=pd.read_csv('data\stock50.csv',sep=','
系统 2019-09-27 17:55:17 2228
pythonredis之连接池的原理转载地址什么是连接池通常情况下,当我们需要做redis操作时,会创建一个连接,并基于这个连接进行redis操作,操作完成后,释放连接,一般情况下,这是没问题的,但当并发量比较高的时候,频繁的连接创建和释放对性能会有较高的影响于是,连接池就发挥作用了连接池的原理是,通过预先创建多个连接,当进行redis操作时,直接获取已经创建的连接进行操作,而且操作完成后,不会释放,用于后续的其他redis操作这样就达到了避免频繁的red
系统 2019-09-27 17:55:12 2228
一、I/O模型IO在计算机中指Input/Output，也就是输入和输出。由于程序和运行时数据是在内存中驻留，由CPU这个超快的计算核心来执行，涉及到数据交换的地方，通常是磁盘、网络等，就需要IO接口。同步（synchronous）IO和异步（asynchronous）IO，阻塞（blocking）IO和非阻塞（non-blocking）IO分别是什么，到底有什么区别？这个问题其实不同的人给出的答案都可能不同，比如wiki，就认为asynchronousI
系统 2019-09-27 17:55:10 2228
