WordCount&Hadoop

系统 2040 0

第一个Hadoop下的Wordcount程序

这次的源码是用的Hadoop实战的源码

首先将源码拷贝进Linux下的工作目录下,在/home/hadoop/workspace下。

导入两个测试文件

echo "Hello World Bye World"  file01

echo "Hello Hadoop Bye Hadoop" file02

创建一个Jar包目录:mkdir FirstJar 

编译Java文件至FirstJar下:javac -classpath /usr/hadoop/hadoop-XXX-core.jar -d FirstJar WordCount.java 

打包FirstJar:Java -cvf WordCount.jar -C FirstJar/ .   (注意这个点不要漏掉)

在HDFS上创建输入输出目录:hadoop dfs -mkdir input,hadoop dfs -mkdir output

上传测试文件至HDFS:Hadoop dfs -put  file0*  input

运行Jar包:Hadoop jar WordCount.jar WordCount input output

需要说明的一点:Hadoop实战源码中有包目录,编译过程中若不删除包目录,在执行jar包是会发生找不到class类的错误,即便执行时在类前加上该目录也找不到,具体愿意还待研究。

Linux 删除目录,文件:rm -rf dirname

WordCount&Hadoop


更多文章、技术交流、商务合作、联系博主

微信扫码或搜索:z360901061

微信扫一扫加我为好友

QQ号联系: 360901061

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描下面二维码支持博主2元、5元、10元、20元等您想捐的金额吧,狠狠点击下面给点支持吧,站长非常感激您!手机微信长按不能支付解决办法:请将微信支付二维码保存到相册,切换到微信,然后点击微信右上角扫一扫功能,选择支付二维码完成支付。

【本文对您有帮助就好】

您的支持是博主写作最大的动力,如果您喜欢我的文章,感觉我的文章对您有帮助,请用微信扫描上面二维码支持博主2元、5元、10元、自定义金额等您想捐的金额吧,站长会非常 感谢您的哦!!!

发表我的评论
最新评论 总共0条评论