2、Lucene 最简单的使用（小例子）

2022-11-27 15:16:08

在了解了Lucene以后，我打算亲手来做一个Lucene的小例子，这个例子只是Lucene最简单的应用：使用Lucene实现标准的英文搜索；

1、下载Lucene

下载Lucene，到Lucene的官方下载http://lucene.apache.org/；

2、新建项目

新建一个Java Project 然后引入Lucene的jar 包：

因为要实现的功能非常简单，所以Jar包只引入了一部分，当然Lucene的jar包远远不止这些；

core包：Lucene的核心包

analyzers包：主要进行对采集的内容和用户输入的内容进行分词；

highlighter包：主要对搜索的结果进行高亮显示，就像百度搜索结果标红一样；

queries和queryparser包：搜索查询包，根据用户输入关键定去检索内容；

主要用到这三个包；

3、准备数据源文件

要让用户搜索结果，首先得有数据源，我准备了几个文本文档，里面全是英文内容：

将这些文本文件放在一个全英文的目录里面，同时还要建一些纯英文的目录用来存放索引文件；

4、对数据源进行索引

在用户进行搜索前，系统得先对数据源进行分析，排序，分词，创建索引；这是一步很关键的工作：

新建一个CreateIndex类，代码如下：

package com.lucene;

import java.io.File;

import java.util.Collection;

import org.apache.commons.io.FileUtils;

import org.apache.commons.io.filefilter.TrueFileFilter;

import org.apache.lucene.analysis.Analyzer;

import org.apache.lucene.analysis.standard.StandardAnalyzer;

import org.apache.lucene.analysis.util.CharArraySet;

import org.apache.lucene.document.Document;

import org.apache.lucene.document.Field.Store;

import org.apache.lucene.document.StringField;

import org.apache.lucene.document.TextField;

import org.apache.lucene.index.IndexWriter;

import org.apache.lucene.index.IndexWriterConfig;

import org.apache.lucene.index.IndexWriterConfig.OpenMode;

import org.apache.lucene.store.Directory;

import org.apache.lucene.store.FSDirectory;

import org.apache.lucene.util.Version;

import org.junit.Test;

public class CreateIndex {

        /** 数据源目录 **/

        public static final String DATA_DIR="E:/data/lucene/en/data";

        /** 索引目录 **/

        public static final String INDEX_DIR="E:/data/lucene/en/index";

        @Test

        public void create(){

            try {

                Directory dir = FSDirectory.open(new File(INDEX_DIR));

                //4. 通过CharArraySet可以向分词中追加一些停止词（即排除检索的词）

                CharArraySet arrSet = new CharArraySet(Version.LUCENE_4_9, 0, false);

                //3. Analyzer 用于对数据源进行分词

                Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_4_9, arrSet);

                //2. IndexWriter的配置信息都存放在IndexWriterConfig中

                IndexWriterConfig config = new IndexWriterConfig(Version.LUCENE_4_9,analyzer);

                // OpenMode.CREATE_OR_APPEND 指定，该创建索引是可以在以后通过追加的方式向里面添加内容

                config.setOpenMode(OpenMode.CREATE_OR_APPEND);

                //1. 创建索引的入口，创建索引必须用IndexWriter进行创建或者追加

                IndexWriter writer = new IndexWriter(dir,config);

                File dataDir = new File(DATA_DIR);

                //5.得到数据源中所有的文件

                Collection<File> files = FileUtils.listFiles(dataDir, TrueFileFilter.INSTANCE, TrueFileFilter.INSTANCE);

                for(File file : files){

                    //6. 通过向Writer追加Document的方式添加内容

                    Document doc = new Document();

                    doc.add(new StringField("filename",file.getName(), Store.YES));

                    String content = FileUtils.readFileToString(file);

                    doc.add(new TextField("content",content,Store.YES));

                    writer.addDocument(doc);

                }

                writer.close();

            } catch (Exception e) {

                e.printStackTrace();

            }

        }

}

在新建完CreateIndex类以后，可以使用Test运行一下，然后在索引目录就会生成一些这样的文件：

这就是Lucene创建完索引的索引数据库了；

5、创建检索

创建一个SearchIndex类，主要作用是通过用户输入内容分词，然后检索出用户想要的结果：

import java.io.File;

import org.apache.lucene.analysis.standard.StandardAnalyzer;

import org.apache.lucene.document.Document;

import org.apache.lucene.index.DirectoryReader;

import org.apache.lucene.index.IndexReader;

import org.apache.lucene.queryparser.classic.QueryParser;

import org.apache.lucene.search.IndexSearcher;

import org.apache.lucene.search.Query;

import org.apache.lucene.search.ScoreDoc;

import org.apache.lucene.search.TopDocs;

import org.apache.lucene.store.Directory;

import org.apache.lucene.store.FSDirectory;

import org.apache.lucene.util.Version;

import org.junit.Test;

public class SearchIndex {

    @Test

    public void search(){

        try {

            String keyword = "java";

            // 在这里进行检索的时候，需要加载的目录就是创建索引的目录，创建索引以后，那些原数据源在Lucene上就暂时用不到了

            Directory directory = FSDirectory.open(new File(CreateIndex.INDEX_DIR));

            IndexReader reader = DirectoryReader.open(directory);

            // IndexSearcher 是Lucene的检索的入口点，所有检索都从这里入口

            IndexSearcher searcher = new IndexSearcher(reader);

            // 通过analyzer对用户输入的词进行分词

            StandardAnalyzer analyzer = new StandardAnalyzer(Version.LUCENE_4_9);

            // 构建检索条件

            QueryParser parser = new QueryParser(Version.LUCENE_4_9, "content",analyzer);

            Query query = parser.parse(keyword);

            // 最后使用searcher.search检索，search方法的参数很多，还可以根据需求，取出相应的条数

            TopDocs topDocs = searcher.search(query, 20);

            // topDocs.totalHits 返回的是所有检索到记录的条数的总和

            ScoreDoc[] docs = topDocs.scoreDocs;

            System.out.println("关键词\" "+keyword+" \"共检索到 "+topDocs.totalHits+" 条相关的记录");

            System.out.println("被检索到记录，他们分别放在以下的文件中：");

            for(ScoreDoc doc : docs){

                int docId = doc.doc;

                Document document = reader.document(docId);

                System.out.println(document.get("filename"));

            }

        } catch (Exception e) {

            e.printStackTrace();

        }

    }

}

为了方便，我摸拟了一个搜索词“java” 看能查询出多少条数据，运行单元测试：

小结：这只是Lucene的最简单的用法，还有很多高深的用法，可以查看Lucene的官方文档，Lucene用来检索中文同样很厉害，大家快去试试吧；下小节我会贴出我写的使用Lucene来做一个千度搜索；

码农公寓

相关文章