本文发表于本人博客。前面几次讲了关于Hadoop的环境搭建、HDFS操作，今天接着继续。本来Hadoop源码中就有一个例子WordCount,但是今天我们来自己实现一个加深对这个Mapper、Reducer的理解，如有不对欢迎指正。我们先来梳理一下思路，对于自定义Mapper以及Reducer，我们先要覆盖其map以及reduce函数，然后按照相关步骤比如设置输入文件目录、输入文件格式化类、设置自定义Mapper、分区、排序、分组、规约、设置自定义Redu
系统 2019-08-12 09:27:04 3361
国外的开源项目开展的是如火如荼，我们国内的当然也不甘落后。为了更好的玩转Python，我使用了ubuntuLinux来作为开发环境。但是由于国内网络的限制，访问国外的一些软件源的时候，速度比较慢，这时我们需要更换成国内的软件源。1、更换ubuntu18.04的软件安装源查看Ubuntu18版本和codename（一定要注意codename对应）$lsb_release-aNoLSBmodulesareavailable.DistributorID:Ubun
系统 2019-09-27 17:57:23 3360
IntroductionEntropyisameasureofdisorder,ormorepreciselyunpredictability.Forexample,aseriesofcointosseswithafaircoinhasmaximumentropy,sincethereisnowaytopredictwhatwillcomenext.Astringofcointosseswithacoinwithtwoheadsandnotailshasz
系统 2019-08-29 23:37:45 3360
第一个Hadoop下的Wordcount程序这次的源码是用的Hadoop实战的源码首先将源码拷贝进Linux下的工作目录下，在/home/hadoop/workspace下。导入两个测试文件echo"HelloWorldByeWorld"file01echo"HelloHadoopByeHadoop"file02创建一个Jar包目录：mkdirFirstJar编译Java文件至FirstJar下：javac-classpath/usr/hadoop/had
系统 2019-08-12 09:27:20 3360
一般来说，当我们的数据库的数据超过了100w记录的时候就应该考虑分表或者分区了，这次我来详细说说分表的一些方法。目前我所知道的方法都是MYISAM的，INNODB如何做分表并且保留事务和外键，我还不是很了解。首先，我们需要想好到底分多少个表，前提当然是满足应用。这里我使用了一个比较简单的分表方法，就是根据自增id的尾数来分，也就是说分0-9一共10个表，其取值也很好做，就是对10进行取模。另外，还可以根据某一字段的md5值取其中几位进行分表，这样的话，可以
系统 2019-08-12 01:55:25 3360
今天刚开始学习mysql，最先接触用户管理，给大家分享下注：mysql中命令的大小写都可以的==========登录退出相关===================root@jack-desktop:~#mysql-uroot-pzengdc123//-u和root之间空格可有可无，-p和密码之间不能有空格root@jack-desktop:~#mysql-uroot-pzengdc123root@jack-desktop:~#mysql-uroot-pEn
系统 2019-08-12 01:53:57 3360
Nosql，作为程序员在当下不了解点儿，还真不行，出去聊起来别人就会说你土。那么就聊聊其中一个比较火的redis。redis单机版没得说，但是一直没有集群版，有也是山寨的。前段时间对redis的实现进行了一些学习，明天就要发布redis集群的稳定版，作为纪念以及学习，发一下redis集群实现的细节，英文好的就看原文吧。redis集群实现一个高性能、线性可扩展的1000节点的集群。Redis集群没有最重要或者说中心节点，这个版本最主要的一个目标是设计一个线性
系统 2019-08-12 01:52:21 3360
CORBA的基本内容（下）（本文转载自软件工程专家网www.21cmm.com）苏洋接口仓库CORBA引入接口仓库(InterfaceRepository)的目的在于使服务对象能够提供持久的对象服务。将接口信息存入接口仓库后，如果客户端应用提交动态调用请求（DynamicInvocation），ORB可以根据接口仓库中的接口信息及分布环境下数据对象的描述，获取请求调用所需的信息。接口仓库作为CORBA系统的组成部分，管理和提供到OMGIDL映射接口定义的访
系统 2019-08-12 01:31:51 3360
1、使用git的时候，gnome-ssh-askpass出现“error:cannotrun/usr/libexec/openssh/gnome-ssh-askpass:Nosuchfileordirectory”错误：shenweiyan@localhost17:05:20~=>gitpushoriginmastererror:cannotrun/usr/libexec/openssh/gnome-ssh-askpass:Nosuchfileordire
系统 2019-08-12 09:26:43 3359
这份代码是redis的client接口，其和server端的交互使用了deps目录下的hiredisc库，同时，在这部分代码中，应用了linenoise库完成类似history命令查询、自动补全等终端控制功能。1#include"fmacros.h"//用于mac下的兼容性处理2#include"version.h"//版本信息头文件，当前版本是2.4.1034#include5#include6#include
系统 2019-08-12 01:32:36 3359
