在hadoop上运行MapReduce程序命令 | 张恒镭的博客

在hadoop上运行MapReduce程序命令

时间:13-12-17 栏目:hadoop 作者:恒镭, 张 评论:0 点击: 2,227 次

java 源码处理:
编译:
~/toolbox/jdk1.6.0_20/bin/javac -classpath ~/hadoop/hadoop-0.20.2-core.jar -d . mapReduceText.java
~/toolbox/jdk1.6.0_20/bin/jar -cvf ./joe/mapReduceTextId.jar -C . .
运行: ~/hadoop/bin/hadoop jar ./joe/testTip.jar org.myorg.mapReduceText input output
非java源码处理:
1,编写好 map,reducer源码
2,在本地测试源码
3,测试无误后把输入文件 拷至HDFS中,用命令 /home/hadoop/hadoop/bin/hadoop dfs -copyFromLocal <localdir> <dsdir>
4, 运行mapreduce
/home/hadoop/hadoop/bin/hadoop jar /home/hadoop/hadoop/contrib/streaming/hadoop-0.20.2-streaming.jar -file /home/hadoop/wanghy/wordcount/test/mapper -mapper /home/hadoop/wanghy/wordcount/test/mapper -file /home/hadoop/wanghy/wordcount/test/reducer -reducer /home/hadoop/wanghy/wordcount/test/reducer -input wanghy/wordcount/input -output wanghy/wordcount/output/
其中, -file 是本地可执行文件参数,如果可执行文件未上传至HDFS,则应添加此参数。
        重运行时应该删除掉output目录,否则报错。
5, 拷贝结果至本地 /home/hadoop/hadoop/bin/hadoop dfs -copyToLocal <dsoutputdir> <local>

声明: 本文由( 恒镭, 张 )原创编译,转载请保留链接: 在hadoop上运行MapReduce程序命令

在hadoop上运行MapReduce程序命令:等您坐沙发呢!

发表评论




------====== 本站公告 ======------
欢迎关注我的博客。

其他