ElasticSearch中安装中文分词器Ik_Analyzer

一. Ik_Analyzer中文分词器简介

1. GoogleCode 官网介绍

IK Analyzer 是一个开源的,基于Java语言开发的轻量级的中文分词工具包.从2006年12月推出1.0版开始, IKAnalyzer已经推出了4个大版本.最初它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件.从3.0版本开始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现. 在2012版本中,IK实现了简单的分词歧义排除算法,标志着IK分词器从单纯的词典分词向模拟语义分词衍化.

2. IK Analyzer 2012 特性

• 1️⃣. 采用了特有的“正向迭代最细粒度切分算法“,支持细粒度和智能分词两种切分模式;

• 2️⃣. 在系统环境为Core2 i7 3.4G双核,4G内存,window 7 64位,Sun JDK 1.6_29 64位,普通pc环境测试,IK2012具有160万字/秒(3000KB/S)的高速处理能力;

• 3️⃣. 2012版本的智能分词模式支持简单的分词排歧义处理和数量词合并输出;

• 4️⃣. 采用了多子处理器分析模式,支持英文字母、数字、中文词汇等分词处理,兼容韩文、日文字符;

• 5️⃣. 优化的词典存储,更小的内存占用.支持用户词典扩展定义,特别在2012版本,词典支持中文,英文,数字混合词语.

3. IK版本



二. es5.6.8安装IK中文分词器

1. 下载IK中文分词器

下载地址:
https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v5.6.8


下载完毕解压缩.


2. IK Analyzer安装包config目录介绍



IKAnalyzer.cfg.xml: 分词器扩展配置文件;

stopword.dic: 停止词典,表示无意义的词,中文分词的时候会忽略它们,如 “的”、“地”、“得” 等.

extra_xxx.dic扩展停用词: 表示一些 IK-Analyzer 自己无法解析的专有词汇,需要程序员手动告诉它,这些词是完整有语义的词,不要再做切分,如 “量子物理”、“拉普拉斯方程”、“高斯定理”、“傅里叶级数” 等.

无论是“停用词字典”还是“扩展字典”文件都要用 UTF-8 编码,文件中的一行表示一个词,结尾不要有空格.

3. 安装ik中文分词器

进入到我们自己的elasticsearch安装目录,我的是E:\ELK\elasticsearch-5.6.8\plugins目录,在该目录下创建一个ik文件夹.

如图所示:


将之前下载的elasticsearch-analysis-ik-5.6.8.zip解压缩,然后复制里面的所有内容,并移动到plugins/ik/目录下,如下图所示:


注意:

解压的文件需要全部放到ik根目录,否则启动失败.

4. 启动es,测试中文分词器.

4.1 curl 命令

curl -XGET "http://192.168.1.102:9200/_analyze?pretty" -H 'Content-Type:application/json' -d '{"""analyzer""":"""ik_smart""","""text""":"""跟一一哥学习es的使用,可以来上海找我"""}'

4.2 DSL命令

可以在kibana的DevTools中执行DSL命令.

GET /_analyze?pretty
{"""analyzer""":"""ik_smart""","""text""":"""跟一一哥学习es的使用,可以来上海找我"""}