MapReduce与Hadoop深入

Fth-Hokage · 发表于 2012-2-27 11:09:06

本帖最后由 Fth-Hokage 于 2012-2-27 11:11 编辑

近期将要发表一些日志，欢迎有兴趣的同学一起探讨，均为自己的理解，可能有误，欢迎大家提出并指正~

日志更新目录
   MapReduce高级编程系列概论
   MapReduce高级编程之自定义DataType
   MapReduce高级编程之自定义InputFormat
   MapReduce高级编程之本地聚集与Combinner
   MapReduce高级编程之Job链

   Hadoop源码理解系列概论
   Hadoop源码理解之RPC
   Hadoop源码理解之JobTracker
   Hadoop源码理解之TaskTracker
   Hadoop源码理解之直击心脏Shuffle

   Hadoop框架性能调优系列概论
   Hadoop框架性能调优之数据分摊与压缩存储
   Hadoop框架性能调优之破解Shuffle(扩大磁盘溢写比例、破解Shuffle排序、破解Shuffle归并)
   Hadoop框架性能调优之map/reduce task数
   Hadoop框架性能调优之线程数量调优
   Hadoop框架性能调优之合理利用内存，减少磁盘I/O

   MapReduce应用之论文推荐

日志因为需要梳理，故而每2天发表一篇
欢迎大家一起探讨并指正，以加深对hadoop与MapReduce的理解~

reck · 发表于 2012-10-17 17:16:08

你这些题目的内容不妨发出来。
除了代码理解部分，其余部分我大都有实现。
我甚至实现了Hbase Hfile Inputformat，即利用hadoop MR直接可以读取hbase在HDFS上面存储进行 map/reduce运算。
还曾经整合到hive中，目的在于提高hbase mr运行性能。
不妨一起讨论下。

hsc · 发表于 2012-2-28 16:57:01

强力支持！！！

Fth-Hokage · 发表于 2012-2-28 15:34:21

大宝发表于 2012-2-27 22:08
赶紧跟上师兄的脚步~

哈哈一起狂奔~~

tangzk · 发表于 2012-2-28 13:09:07

强烈支持啊！！

Fth-Hokage · 发表于 2012-2-28 09:15:05

zouquan 发表于 2012-2-27 20:03
振坤把mahout的用法搞定了，今天给我演示了，真是太棒了，我们争取搞一个能出名的平台系统。

Great, 太棒了, 全力十足把CB-DDM搞好~~

cwc · 发表于 2012-2-27 22:08:36

赶紧跟上师兄的脚步~

zouquan · 发表于 2012-2-27 20:03:43

Fth-Hokage 发表于 2012-2-27 16:57
多谢旭斌和老师的支持，希望咱实验室把这个MapReduce和分布式数据挖掘搞得有声有色~~

振坤把mahout的用法搞定了，今天给我演示了，真是太棒了，我们争取搞一个能出名的平台系统。

Fth-Hokage · 发表于 2012-2-27 16:59:10

xmubingo 发表于 2012-2-27 12:04
果断顶起啊！

多谢支持，旭斌

后续还有很多技术上的问题要你帮忙呢

Fth-Hokage · 发表于 2012-2-27 16:57:36

zouquan 发表于 2012-2-27 16:02
哇，此贴必火，赶紧留名~~

多谢旭斌和老师的支持，希望咱实验室把这个MapReduce和分布式数据挖掘搞得有声有色~~

		自动登录	找回密码
密码			注册