分词入口:子类调用 Analyzer.totkenStream(String fieldName,Read read)。构建分词器,读入待分词文本。
子类中实现createComponents方法
将需要的Tokenizer,及Filter传入TokenStreamComponents , TokenStreamComponents是Analyzer的内部类。
返回对象为包装了Tokenizer的Filter。Filter继承自TokenStream。
之后用返回的filter对象调用incrementToken方法,外层装饰对象先调用内层装饰对象的incrementToken方法,执行顺序为:最先进行分词,再按照装饰顺序进行过滤,最终分词结果转为指定词元格式后返回。
Dimensions_ 发布了29 篇原创文章 · 获赞 3 · 访问量 6032 私信 关注