Hadoop 最早起源于 Apache Nutch 。Nutch 是一个开源的网络搜索引擎，由 Doug Cutting 于 2002 年创建。Nutch 的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、 查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题，即不能解决数十 亿网页的存储和索引问题。之后，谷歌发表的两篇论文为该问题提供了可行的解决方案。 一篇是2003 年发表的关于谷歌分布式文件系统（GFS）的论文 。该论文描述了谷歌搜索引擎网页相关数据的存储架构，该架构可解决 Nutch 遇到的网页抓取和索引过程中产生的超大文件存储需求的问题。但由于谷歌仅开源了思想而未开源代码，Nutch 项目组便根据论文完成了一个开源实现，即 Nutch的分布式文件系统（NDFS）。另一篇是2004 年发表的关于谷歌分布式计算框架MapReduce 的论文 。该论文描述了谷歌内部最重要的分布式计算框架 MapReduce 的设计艺术，该框架可用于处理海量网页的索引问题。同样，由于谷歌未开源代码，Nutch 的开发人员完成了一个开源实现。由于 NDFS 和 MapReduce 不仅适用于搜索领域，2006 年年初，开发人员便将其移出 Nutch，成为 Lucene 的一个子项目，称为Hadoop。大约同一时间，Doug Cutting 加入雅虎公司，且公司同意组织一个专门的团队继 续发展 Hadoop。同年 2 月，Apache Hadoop 项目正式启动以支持 MapReduce 和 HDFS 的独立发展。2008 年 1 月，Hadoop 成为 Apache *项目，迎来了它的快速发展期。 

 

 

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5058129.html，如需转载请自行联系原作者