这里来学习的是利用MapReduce的分布式编程模型来实现简单的倒排索引。
首先什么是倒排索引?
倒排索引是文档检索中最常用的数据结构,被广泛地应用于全文搜索引擎。
它主要是用来存储某个单词(或词组)在一个文档或一组文档中存储位置的映射,即可以通过内容来查找文档;
而不是通过文档来确定文档所包含的内容,因而被称作倒排索引(Inverted Index)。
倒排索引的基本原理和建立过程可以用图来说明。
各种类型的文件经过解析后变成纯文本,再经过中文分词,并与对应的文档号进行组合,
就形成了最简单的倒排索引文件倒排序表。
倒排序表的结构是这样一些元组集合:<词汇,<文档 ID,词汇位置>>。
比如有如下三个文件:
file1.txt
MapReduce is simple
file2.txt
MapReduce is powerful is simple
file3.txt
Hello MapReduce bye MapReduce
经过倒排索引之后的输出结果可能是:
Hello file3.txt:1;
MapReduce file3.txt:2; file2.txt:1; file1.txt:1;
bye file3.txt:1;
is file2.txt:2; file1.txt:1;
powerful file2.txt:1;
simple file2.txt:1; file1.txt:1;
设计思路
倒排索引主要关注的点在于单词、文档URL和词频。
1、Map过程
2、Combine过程
3、Reduce过程
===========================================
此处应有代码
===========================================