IK Analyzer 和 lucene结合使用

特别注意:版本问题(IK Analyzer的版本中注意各个版本的细微区别,小编就是栽在IK Analyzer2012_U5 和IK Analyzer2012FF上了)

版本匹配:

1、IK Analyzer 2012_U5 支持的是 lucene 3.2-3.6版本

2、IK Analyzer2012 FF(你问啥是FF,其实就是For 4.0,在API和功能上保持不变,只是让其支持了Lucene4.0和Solr4.0,让这部分的用户能用起来。)

下载地址:

GoogleCode :http://code.google.com/p/ik-analyzer/downloads

配置说明:

把 IKAnalyzer中的IKAnalyzer.cfg.xml, ext.dic(如果找不到,可以手动创建一个该文件), stopword.dic文件放到代码的根目录中。

需要在项目中引入:

IKAnalyzer.cfg.xml

IKAnalyzer2012.jar

lucene-core-3.6.0.jar

stopword.dic

使用IK Analyzer实现

  1. import java.io.IOException;  
  2. import java.io.StringReader;  
  3. import org.apache.lucene.analysis.Analyzer;  
  4. import org.apache.lucene.analysis.TokenStream;  
  5. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
  6. import org.wltea.analyzer.lucene.IKAnalyzer;  
  7.   
  8. public class Test2 {  
  9.     public static void main(String[] args) throws IOException {  
  10.         String text="基于java语言开发的轻量级的中文分词工具包";  
  11.         //创建分词对象  
  12.         Analyzer anal=new IKAnalyzer(true);       
  13.         StringReader reader=new StringReader(text);  
  14.         //分词  
  15.         TokenStream ts=anal.tokenStream("", reader);  
  16.         CharTermAttribute term=ts.getAttribute(CharTermAttribute.class);  
  17.         //遍历分词数据  
  18.         while(ts.incrementToken()){  
  19.             System.out.print(term.toString()+"|");  
  20.         }  
  21.         reader.close();  
  22.         System.out.println();  
  23.     }  
  24. }


使用lucene

  1. package com.haha.test;  
  2.   
  3. import java.io.IOException;  
  4. import java.io.StringReader;  
  5.   
  6. import org.wltea.analyzer.core.IKSegmenter;  
  7. import org.wltea.analyzer.core.Lexeme;  
  8.   
  9. public class Test3 {  
  10.       
  11.     public static void main(String[] args) throws IOException {  
  12.         String text="基于java语言开发的轻量级的中文分词工具包";  
  13.         StringReader sr=new StringReader(text);  
  14.         IKSegmenter ik=new IKSegmenter(sr, true);  
  15.         Lexeme lex=null;  
  16.         while((lex=ik.next())!=null){  
  17.             System.out.print(lex.getLexemeText()+"|");  
  18.         }  
  19.     }  
  20.   
  21. }  

运行后结果:

基于|java|语言|开发|的|轻量级|的|中文|分词|工具包|


上一篇:Java Web开发速学宝典(JSP+Servlet+Struts 2 + Hibernate + Spring)源代码下载


下一篇:mysql 增加只读用户查询指定表