本节书摘来华章计算机《Hadoop与大数据挖掘》一书中的第2章 ,第2.4节,张良均 樊 哲 位文超 刘名军 许国杰 周 龙 焦正升 著 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
2.4 Hadoop编程开发
Hadoop框架最核心的设计就是HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。本节就MapReduce开发相关内容进行分析,包括HDFS Java API操作、MapReduce原理、MapReduce相关流程组件配置及编程等。最后将给出两个算法:Kmeans算法、Tf-idf算法的动手实践,加深对MapReduce编程的认识和理解。