机器学习和生物信息学实验室联盟

标题: MapReduce与Hadoop深入 [打印本页]

作者: Fth-Hokage 时间: 2012-2-27 11:09
标题: MapReduce与Hadoop深入
本帖最后由 Fth-Hokage 于 2012-2-27 11:11 编辑

近期将要发表一些日志，欢迎有兴趣的同学一起探讨，均为自己的理解，可能有误，欢迎大家提出并指正~

日志更新目录
   MapReduce高级编程系列概论
   MapReduce高级编程之自定义DataType
   MapReduce高级编程之自定义InputFormat
   MapReduce高级编程之本地聚集与Combinner
   MapReduce高级编程之Job链

   Hadoop源码理解系列概论
   Hadoop源码理解之RPC
   Hadoop源码理解之JobTracker
   Hadoop源码理解之TaskTracker
   Hadoop源码理解之直击心脏Shuffle

   Hadoop框架性能调优系列概论
   Hadoop框架性能调优之数据分摊与压缩存储
   Hadoop框架性能调优之破解Shuffle(扩大磁盘溢写比例、破解Shuffle排序、破解Shuffle归并)
   Hadoop框架性能调优之map/reduce task数
   Hadoop框架性能调优之线程数量调优
   Hadoop框架性能调优之合理利用内存，减少磁盘I/O

   MapReduce应用之论文推荐

日志因为需要梳理，故而每2天发表一篇
欢迎大家一起探讨并指正，以加深对hadoop与MapReduce的理解~

作者: xmubingo 时间: 2012-2-27 12:04
果断顶起啊！

作者: zouquan 时间: 2012-2-27 16:02
哇，此贴必火，赶紧留名~~

作者: Fth-Hokage 时间: 2012-2-27 16:57

zouquan 发表于 2012-2-27 16:02
哇，此贴必火，赶紧留名~~

多谢旭斌和老师的支持，希望咱实验室把这个MapReduce和分布式数据挖掘搞得有声有色~~

作者: Fth-Hokage 时间: 2012-2-27 16:59

xmubingo 发表于 2012-2-27 12:04
果断顶起啊！

多谢支持，旭斌

后续还有很多技术上的问题要你帮忙呢

作者: zouquan 时间: 2012-2-27 20:03

Fth-Hokage 发表于 2012-2-27 16:57
多谢旭斌和老师的支持，希望咱实验室把这个MapReduce和分布式数据挖掘搞得有声有色~~

振坤把mahout的用法搞定了，今天给我演示了，真是太棒了，我们争取搞一个能出名的平台系统。

作者: cwc 时间: 2012-2-27 22:08
赶紧跟上师兄的脚步~

作者: Fth-Hokage 时间: 2012-2-28 09:15

zouquan 发表于 2012-2-27 20:03
振坤把mahout的用法搞定了，今天给我演示了，真是太棒了，我们争取搞一个能出名的平台系统。

Great, 太棒了, 全力十足把CB-DDM搞好~~

作者: tangzk 时间: 2012-2-28 13:09
强烈支持啊！！

作者: Fth-Hokage 时间: 2012-2-28 15:34

大宝发表于 2012-2-27 22:08
赶紧跟上师兄的脚步~

哈哈一起狂奔~~

作者: hsc 时间: 2012-2-28 16:57
强力支持！！！

作者: reck 时间: 2012-10-17 17:16
你这些题目的内容不妨发出来。
除了代码理解部分，其余部分我大都有实现。
我甚至实现了Hbase Hfile Inputformat，即利用hadoop MR直接可以读取hbase在HDFS上面存储进行 map/reduce运算。
还曾经整合到hive中，目的在于提高hbase mr运行性能。
不妨一起讨论下。

欢迎光临机器学习和生物信息学实验室联盟 (http://123.57.240.48/)