Lucene系列-概述

为了生存,就得干一行爱一行。那就学习下lucene吧。

全文检索介绍

流程:

  1. 建索引
    • 准备待搜索文档
    • 文档分词:将文档分成一个个单独的单词,去除标点符号、停词(无意义的冠词介词等),得到token
    • 语言处理:统一小写,单词缩减或转变为词根形式,得到term
    • 索引:用term创建字典,term->doc,对字典按字母顺序排序,合并相同的term成为文档倒排链表。term->doc1,doc2,doc3
  2. 搜索
    • 输入查询语句
    • 处理查询语句:词法分析、语法分析、语言处理,得到语法树
    • 搜索索引,得到符合语法树的文档
    • 根据文档和查询语句的相关性,进行结果排序

计算文档间的相关性:

文档有许多term组成,不同的term对文档的重要性不同。判断文档间的关系需要两步:

  • 计算各term对文档的权重

Lucene系列-概述

  • 计算文档和query间的相关性

文档由一系列的词组成,可以用各词的权重组成的向量代表一个文档。Doc vector = {weight1, weight2, ..., weightN},query也看做是一个文档,query和doc的词数取并集,不含某词,则对应的权重为0。

文档间的相关性转变为两个向量间的夹角大小,夹角越小,相关性越大。夹角越小,余弦越大,所以文档间的相关性如下计算:

Lucene系列-概述

Lucene

Lucene就是一个开源的全文检索库,java实现的,只支持纯文本文件的索引和搜索,不负责其由其他格式文件抽取文本或从网络抓取文件。它的工作流程和上述相似。

Lucene系列-概述

代码实例

//建索引
Analyzer analyzer = new MaxWordAnalyzer();//词法分析器
IndexWriter writer = new IndexWriter(new RAMDirectory(), analyzer, true, IndexWriter.MaxFieldLength.UNLIMITED); //建索引主类
Document doc = new Document();//待索引文档
doc.add(new Field("id","1",Field.Store.YES,Field.Index.NOT_ANALYZED));//文档属性
doc.add(new Field("name","zhangsan",Field.Store.YES,Field.Index.ANALYZED_NO_NORMS);
writer.addDocument(doc);
writer.commit();
//搜索索引
QueryParser parser = new QueryParser(Version.LUCENE_30, "name", analyzer);//语法分析器(词法、语法分析)
Query q = parser.parse("zhangsan");//查询语句的语法分析获得语法树
IndexSearcher searcher = new IndexSearcher(writer.getReader());//查询主类
TopDocs docs = searcher.search(q,10);//搜索
for (ScoreDoc scoreDoc : docs.scoreDocs) {
//展示结果
Document doc = searcher.doc(scoreDoc.doc);
System.out.println(doc.get("id") + doc.get("name"));
}

Lucene包结构

Lucene系列-概述

红线为建索引过程,蓝线为搜索过程。

analysis:语言分析器,对需要建立索引的文本进行分词、过滤等操作,如Analyzer类

index:索引管理,负责索引的创建、删除,如IndexWriter。索引包是整个系统核心,全文检索的根本就是为每个切出来的词建索引,查询时就只需要遍历索引,而不需要去正文中遍历,从而极大的提高检索效率。

store:数据存储管理,主要包括一些底层的I/O操作,如Directory

queryParser:查询分析器,生成语法树,实现查询关键词间的运算,如QueryParser

search:对索引的搜索,根据查询条件,得到结果,如IndexSearcher

similarity:对相关性打分模型的实现

上一篇:centos8 安装vmware需要的内核头文件 kernel-headers.


下一篇:利用ZYNQ SOC快速打开算法验证通路(5)——system generator算法IP导入IP integrator