机器学习和生物信息学实验室联盟

标题: Hadoop的HelloWorld [打印本页]

作者: YuHaiyang 时间: 2012-4-22 18:14
标题: Hadoop的HelloWorld
本帖最后由 YuHaiyang 于 2012-4-22 23:09 编辑

Hadoop 的helloworld程序就是wordcount单词统计了。俗话说万事开头难，没有helloworld也就没有后面更复杂的程序了。而这种问题也不好去请教师兄师姐，一个人弄弄半天也不一定弄得好，这里结合自己的情况写个教程。
环境是100
首先进入hadoop的目录
cd /usr/local/hadoop-0.20.2/
开启服务
cd bin
./start-all.sh
关掉安全模式（前几天搬了几台电脑走，现在要用，以后改设置了估计就不用了）
hadoop dfsadmin -safemode leave
创建文件夹，放入HDFS文件系统中：
hadoop fs -mkdir /test/
hadoop fs -put 123.txt /usr/dm/

现在准备工作做完了
下面有两种方法来执行wordcount
第一：用本身的example
hadoop jar hadoop-0.20.2-examples.jar wordcount /usr/dm/123.txt /usr/dm/yhy/
执行完毕后，查看，拿回操作
hadoop fs -ls /usr/dm/yhy/
hadoop fs -cat /usr/dm/yhy/part-r-00000
hadoop fs -get /usr/dm/yhy/part-r-00000 .（这里有个点）
第二种：编译wordcount代码，并执行
从hadoop目录下src/examples/org/apache/hadoop/examples/WordCount.java里得到源码
我这里建立了个yhy文件夹，并在其中建立了classes和src文件夹，WordCount.java放在src中
下面是编译（在hadoop根目录下）
javac -classpath hadoop-0.20.2-core.jar:lib/commons-cli-1.2.jar yhy/src/WordCount.java -d yhy/classes/
jar -cvf yhy/wordcount.jar -C yhy/classes/ .

执行（在yhy文件夹下，org.apache.hadoop.examples.WordCount是类，之所以这么长是因为编译的时候自动生成了很多文件夹）
hadoop jar wordcount.jar org.apache.hadoop.examples.WordCount /usr/dm/321.txt /usr/dm/yhy/

作者: xmubingo 时间: 2012-4-22 18:33
我最喜欢一步步的详细操作~

期待持续更新。

作者: zouquan 时间: 2012-4-22 21:18
very goooooooood, 奖励50元，记账！

欢迎光临机器学习和生物信息学实验室联盟 (http://123.57.240.48/)