机器学习和生物信息学实验室联盟

 找回密码
 注册

QQ登录

只需一步,快速开始

搜索
查看: 4196|回复: 2
打印 上一主题 下一主题

Hadoop的HelloWorld

[复制链接]
跳转到指定楼层
楼主
发表于 2012-4-22 18:14:48 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
本帖最后由 YuHaiyang 于 2012-4-22 23:09 编辑

Hadoop 的helloworld程序就是wordcount单词统计了。俗话说万事开头难,没有helloworld也就没有后面更复杂的程序了。而这种问题也不好去请教师兄师姐,一个人弄弄半天也不一定弄得好,这里结合自己的情况写个教程。
环境是100
首先进入hadoop的目录
cd /usr/local/hadoop-0.20.2/
开启服务
cd bin
./start-all.sh
关掉安全模式(前几天搬了几台电脑走,现在要用,以后改设置了估计就不用了)
hadoop dfsadmin -safemode leave
创建文件夹,放入HDFS文件系统中:
hadoop fs -mkdir /test/
hadoop fs -put 123.txt /usr/dm/

现在准备工作做完了
下面有两种方法来执行wordcount
第一:用本身的example
hadoop jar hadoop-0.20.2-examples.jar wordcount /usr/dm/123.txt /usr/dm/yhy/
执行完毕后,查看,拿回操作
hadoop fs -ls /usr/dm/yhy/
hadoop fs -cat /usr/dm/yhy/part-r-00000
hadoop fs -get /usr/dm/yhy/part-r-00000 .(这里有个点)
第二种:编译wordcount代码,并执行
从hadoop目录下src/examples/org/apache/hadoop/examples/WordCount.java里得到源码
我这里建立了个yhy文件夹,并在其中建立了classes和src文件夹,WordCount.java放在src中
下面是编译(在hadoop根目录下)
javac -classpath hadoop-0.20.2-core.jar:lib/commons-cli-1.2.jar  yhy/src/WordCount.java -d yhy/classes/
jar -cvf yhy/wordcount.jar -C yhy/classes/ .

执行(在yhy文件夹下,org.apache.hadoop.examples.WordCount是类,之所以这么长是因为编译的时候自动生成了很多文件夹)
hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount /usr/dm/321.txt /usr/dm/yhy/














分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
收藏收藏 转播转播 分享分享
回复

使用道具 举报

板凳
发表于 2012-4-22 21:18:19 | 只看该作者
very goooooooood, 奖励50元,记账!
回复 支持 反对

使用道具 举报

沙发
发表于 2012-4-22 18:33:56 | 只看该作者
我最喜欢一步步的详细操作~

期待持续更新。
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

机器学习和生物信息学实验室联盟  

GMT+8, 2024-11-23 16:27 , Processed in 0.075414 second(s), 19 queries .

Powered by Discuz! X3.2

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表