2021SC@SDUSC

TokenStream

Lucene的analysis模块主要负责词法分析及语言处理而形成Term。

Lucene的index模块主要负责索引的创建，里面有IndexWriter。

Lucene的store模块主要负责索引的读写。

Lucene的QueryParser主要负责语法分析。 

Lucene的search模块主要负责对索引的搜索。

Lucene的similarity模块主要负责对相关性打分的实现。

通过对文本的分析来建立TokenStreams(分词数据流)。TokenStream是由一个个Token(分词组成的数据流)。所以说Analyzer就代表着一个从文本数据中抽取索引词（Term）的一种策略。为了定义具体完成哪些分析工作，Analyzer的子类必须实行自己的createCompontents方法。这里也是我们进行中文扩展的主要切入口。

TokenStream即是从Document的域（field）中或者查询条件中抽取一个个分词而组成的一个数据流。TokenSteam中是一个个的分词，而每个分词又是由一个个的属性（Attribute）组成。对于所有的分词来说，每个属性只有一个实例。这些属性都保存在AttributeSource中，而AttributeSource正是TokenStream的父类。

TokenStream的工作流程：

1.实例化TokenStream, 添加属性到AttributeSource，或从AttributeSource中获取属性.

2.调用reset()方法，设置stream的初始状态

3.调用increamStoken()方法，来获取下一个分词。这个方法会被docuemnt中的每一个分词调用。所以一个有效的实现对于好的性能来说是至关重要的。

4.调用end（）方法来完成一些收尾工作

5.调用close()方法来释放stream关联的一些资源。