lucene分词部分源码阅读-分词流程

分词入口:子类调用 Analyzer.totkenStream(String fieldName,Read read)。构建分词器,读入待分词文本。

lucene分词部分源码阅读-分词流程

子类中实现createComponents方法

lucene分词部分源码阅读-分词流程

将需要的Tokenizer,及Filter传入TokenStreamComponents , TokenStreamComponents是Analyzer的内部类。

lucene分词部分源码阅读-分词流程

lucene分词部分源码阅读-分词流程

返回对象为包装了Tokenizer的Filter。lucene分词部分源码阅读-分词流程Filter继承自TokenStream。

 

之后用返回的filter对象调用incrementToken方法,外层装饰对象先调用内层装饰对象的incrementToken方法,执行顺序为:最先进行分词,再按照装饰顺序进行过滤,最终分词结果转为指定词元格式后返回。

lucene分词部分源码阅读-分词流程

lucene分词部分源码阅读-分词流程lucene分词部分源码阅读-分词流程

lucene分词部分源码阅读-分词流程lucene分词部分源码阅读-分词流程 Dimensions_ 发布了29 篇原创文章 · 获赞 3 · 访问量 6032 私信 关注
上一篇:python-使用Lucene(PyLucene)查找单个字段术语


下一篇:lucene原理