【试验目的】本试验目的是为了总结hadoop相关参数优化对性能的影响。【试验环境】硬件环境本次试验用机4台，配置一致：CPU：Intel(R)Xeon(R)CPUE5620@2.40GHz*16内存：MemTotal:32867608kB64bitlinux版本CentOSrelease6.2(Final)内核版本2.6.32-220.el6.x86_64硬盘Model:IBMServeRAIDM5015(scsi)Disk/dev/sda:2997GBS
系统 2019-08-12 09:30:16 2122
这是小D第一篇博客，有什么错误还请各位指正。小D也是刚接触Hadoop，因为在淘宝实习，有很多算法要在分布式环境下实现，所以这几天一直在看Hadoop，边用边学。最近实现的一个算法需要reduce输出很多参数，每个参数的格式不一样，而且要做为下一次mapreduce的输入，大家都知道Hadoop的分布式操作系统HFS是以目录为节点读取文件的，每个reduce输出一个分片，所以必须把要输出的文件根据类型的不同输出到不同的目录中去。因为淘宝还在用Hadoop0
系统 2019-08-12 09:29:27 2120
本文发表于本人博客。前面几次讲了关于Hadoop的环境搭建、HDFS操作，今天接着继续。本来Hadoop源码中就有一个例子WordCount,但是今天我们来自己实现一个加深对这个Mapper、Reducer的理解，如有不对欢迎指正。我们先来梳理一下思路，对于自定义Mapper以及Reducer，我们先要覆盖其map以及reduce函数，然后按照相关步骤比如设置输入文件目录、输入文件格式化类、设置自定义Mapper、分区、排序、分组、规约、设置自定义Redu
系统 2019-08-12 09:27:04 2074
一.hadoop2.0的目录结构如下图所示二.bin目录Hadoop最基本的管理脚本和使用脚本所在目录，这些脚本是sbin目录下管理脚本的基础实现，用户可以用这些脚本管理和使用hadoop三.etc目录hadoop配置文件所在的目录，包括core-site.xml、hdfs-site.xml、mapred-site.xml等从hadoop1.0继承而来的配置文件和yarn-site.xml等hadoop2.0新增的文件。.template是模板文件四.in
系统 2019-08-12 09:30:36 2047
第一个Hadoop下的Wordcount程序这次的源码是用的Hadoop实战的源码首先将源码拷贝进Linux下的工作目录下，在/home/hadoop/workspace下。导入两个测试文件echo"HelloWorldByeWorld"file01echo"HelloHadoopByeHadoop"file02创建一个Jar包目录：mkdirFirstJar编译Java文件至FirstJar下：javac-classpath/usr/hadoop/had
系统 2019-08-12 09:27:20 2038
