特别注意:版本问题(IK Analyzer的版本中注意各个版本的细微区别,小编就是栽在IK Analyzer2012_U5 和IK Analyzer2012FF上了)
版本匹配:
1、IK Analyzer 2012_U5 支持的是 lucene 3.2-3.6版本
2、IK Analyzer2012 FF(你问啥是FF,其实就是For 4.0,在API和功能上保持不变,只是让其支持了Lucene4.0和Solr4.0,让这部分的用户能用起来。)
下载地址:
GoogleCode :http://code.google.com/p/ik-analyzer/downloads
配置说明:
把 IKAnalyzer中的IKAnalyzer.cfg.xml, ext.dic(如果找不到,可以手动创建一个该文件), stopword.dic文件放到代码的根目录中。
需要在项目中引入:
IKAnalyzer.cfg.xml
IKAnalyzer2012.jar
lucene-core-3.6.0.jar
stopword.dic
使用IK Analyzer实现
- import java.io.IOException;
- import java.io.StringReader;
- import org.apache.lucene.analysis.Analyzer;
- import org.apache.lucene.analysis.TokenStream;
- import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
- import org.wltea.analyzer.lucene.IKAnalyzer;
- public class Test2 {
- public static void main(String[] args) throws IOException {
- String text="基于java语言开发的轻量级的中文分词工具包";
- //创建分词对象
- Analyzer anal=new IKAnalyzer(true);
- StringReader reader=new StringReader(text);
- //分词
- TokenStream ts=anal.tokenStream("", reader);
- CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);
- //遍历分词数据
- while(ts.incrementToken()){
- System.out.print(term.toString()+"|");
- }
- reader.close();
- System.out.println();
- }
- }
使用lucene
- package com.haha.test;
- import java.io.IOException;
- import java.io.StringReader;
- import org.wltea.analyzer.core.IKSegmenter;
- import org.wltea.analyzer.core.Lexeme;
- public class Test3 {
- public static void main(String[] args) throws IOException {
- String text="基于java语言开发的轻量级的中文分词工具包";
- StringReader sr=new StringReader(text);
- IKSegmenter ik=new IKSegmenter(sr, true);
- Lexeme lex=null;
- while((lex=ik.next())!=null){
- System.out.print(lex.getLexemeText()+"|");
- }
- }
-
}
运行后结果:
基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|