1.概述
分词器基本分为四类，SimpleAnalyzer,StopAnalyzer,WhitespaceAnalyzer,StandardAnalyzer.
2.Token
这里主要涉及 Tokenizer，TokenFilter
Tokenizer： 将一组数据划分为不同的词汇单元
TokenFilter： 数据过滤
类结构图如下
相关文章
- 02-09Lucene分词停用词库stopwords
- 02-09Lucene支持中文分词代码实现
- 02-09【lucene】lucene 分词 以及自定义分词器
- 02-09Lucene 5.2.1 + jcseg 1.9.6中文分词索引(Lucene 学习序列2)
- 02-09实现一套ES全文检索语法-到Lucene语法的转换工具，以实现在es外部兼容处理文本分词
- 02-09【lucene】lucene自定义 filter
- 02-09Net Core使用Lucene.Net和盘古分词器 实现全文检索
- 02-09Lucene - CustomScoreQuery 自定义排序
- 02-09测试Ik分词器以及增加自己的词汇
- 02-09lucene全文搜索之四：创建索引搜索器、6种文档搜索器实现以及搜索结果分析（结合IKAnalyzer分词器的搜索器）基于lucene5.5.3