Lucene全文检索,我是如何拿到阿里、网易双offer的

  1. 执行查询,根据要查询的关键词到对应的域上进行搜索。找到关键词,根据关键词找到对应的文档

  2. 渲染结果:根据文档的id找到文档对象,对关键词进行高亮显示,分页处理,最终展示给用户看。

Lucene的使用


下载Lucene:https://lucene.apache.org/

工程搭建:创建一个java工程,添加jar,新建测试程序

Lucene全文检索,我是如何拿到阿里、网易双offer的

从文本文件中找出包含指定单词单词的文件

1. 创建索引

Lucene全文检索,我是如何拿到阿里、网易双offer的

@Test

public void createIndex() throws Exception {

//1、创建一个Director对象,指定索引库保存的位置。

//把索引库保存在内存中

//Directory directory = new RAMDirectory();

//把索引库保存在磁盘

Directory directory = FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath());

//2、基于Directory对象创建一个IndexWriter对象

IndexWriter indexWriter = new IndexWriter(directory, new IndexWriterConfig());

//3、读取磁盘上的文件,对应每个文件创建一个文档对象。

File dir = new File(“F:\Intellij idea\Lucene\source”);

File[] files = dir.listFiles();

for (File f : files) {

//取文件名

String fileName = f.getName();

//文件的路径

String filePath = f.getPath();

//文件的内容

String fileContent = FileUtils.readFileToString(f, “utf-8”);

//System.out.println(fileContent);

//文件的大小

long fileSize = FileUtils.sizeOf(f);

//创建Field

//参数1:域的名称,参数2:域的内容,参数3:是否存储

Field fieldName = new TextField(“name”, fileName,Field.Store.YES);

Field fieldContent = new TextField(“content”, fileContent, Field.Store.YES);

Field fieldPath = new TextField(“path”, filePath, Field.Store.YES);

Field fieldSize = new TextField(“size”, fileSize + “”, Field.Store.YES);

//不需要分词和索引,只进行存储

//Field fieldPath = new StoredField(“path”, filePath);

//存储长整型数据,做运算使用,不能取值

//Field fieldSizeValue = new LongPoint(“size”, fileSize);

//只存储

//Field fieldSizeStore = new StoredField(“size”, fileSize);

//创建文档对象

Document document = new Document();

//向文档对象中添加域

document.add(fieldName);

document.add(fieldPath);

document.add(fieldContent);

document.add(fieldSize);

//document.add(fieldSizeValue);

//document.add(fieldSizeStore);

//5、把文档对象写入索引库

indexWriter.addDocument(document);

}

//6、关闭indexwriter对象

indexWriter.close();

}

2. 查询索引库

Lucene全文检索,我是如何拿到阿里、网易双offer的

@Test

public void searchIndex() throws Exception {

//1、创建一个Director对象,指定索引库的位置

Directory directory = FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath());

//2、创建一个IndexReader对象

IndexReader indexReader = DirectoryReader.open(directory);

//3、创建一个IndexSearcher对象,构造方法中的参数indexReader对象。

IndexSearcher indexSearcher = new IndexSearcher(indexReader);

//4、创建一个Query对象,TermQuery

Query query = new TermQuery(new Term(“content”, “void”));

//5、执行查询,得到一个TopDocs对象

//参数1:查询对象 参数2:查询结果返回的最大记录数

TopDocs topDocs = indexSearcher.search(query, 10);

//6、取查询结果的总记录数

System.out.println(“查询总记录数:” + topDocs.totalHits);

//7、取文档列表

ScoreDoc[] scoreDocs = topDocs.scoreDocs;

//8、打印文档中的内容

for (ScoreDoc doc : scoreDocs) {

//取文档id

int docId = doc.doc;

//根据id取文档对象

Document document = indexSearcher.doc(docId);

System.out.println(document.get(“name”));

System.out.println(document.get(“path”));

System.out.println(document.get(“size”));

//System.out.println(document.get(“content”));

System.out.println("-----------------");

}

//9、关闭IndexReader对象

indexReader.close();

}

分析器

================================================================

进行检索时,默认使用的是标准分析器StandardAnalyzer通过指定的数据格式,通过将 Lucene 的 Document 传递给分析器 Analyzer 对各字段进行分词,经过分词器分词之后,通过索引写入工具 IndexWriter 将得到的索引写入到索引库,Document 本身也会被写入一个文档信息库,分词器不同,建立的索引数据就不同;比较通用的一个中文分词器

【一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义】

浏览器打开:qq.cn.hn/FTf 免费领取

IKAnalyzer。

测试分析器

@Test

public void testTokenStream() throws Exception {

//使用Analyzer对象的tokenStream方法返回一个TokenStream对象。词对象中包含了最终分词结果。

//1. 创建一个Analyzer对象,StandardAnalyzer对象

Analyzer analyzer = new StandardAnalyzer();

//2.使用分析器对象的tokenStream方法获得一个TokenStream对象

TokenStream tokenStream = analyzer.tokenStream("", “Lucene是apache下的一个开放源代码的全文检索引擎工具包。”);

//3.向TokenStream对象中设置一个引用,相当于数一个指针

CharTermAttribute charTermAttribute = tokenStream.addAttribute(CharTermAttribute.class);

//4.调用TokenStream对象的rest方法。如果不调用抛异常

tokenStream.reset();

//5.使用while循环遍历TokenStream对象

while(tokenStream.incrementToken()) {

System.out.println(charTermAttribute.toString());

}

//6.关闭TokenStream对象

tokenStream.close();

}

测试结果:

lucene

apache

2、IKAnalyze的使用方法

  • 把IKAnalyzer的jar包添加到工程中,把配置文件和扩展词典添加到工程的classpath下

注意:扩展词典严禁使用windows记事本编辑保证扩展词典的编码格式是utf-8

扩展词典:添加一些新词

停用词词典:无意义的词或者是敏感词汇

修改测试代码:

//Analyzer analyzer = new StandardAnalyzer();

Analyzer analyzer = new IKAnalyzer();

在代码中使用:修改分析器即可

//IndexWriter indexWriter = new IndexWriter(directory, new IndexWriterConfig());

IndexWriterConfig config = new IndexWriterConfig(new IKAnalyzer());

IndexWriter indexWriter = new IndexWriter(directory, config);

索引库维护


1、添加文档

2、删除文档(删除全部、根据查询关键词删除文档)

3、修改文档(先删除后添加)

public class IndexManager {

private IndexWriter indexWriter;

@Before

public void init() throws Exception {

//创建一个IndexWriter对象,使用IKAnalyzer作为分析器

indexWriter =

new IndexWriter(FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath()),

new IndexWriterConfig(new IKAnalyzer()));

}

@Test

public void addDocument() throws Exception {

//创建一个IndexWriter对象,需要使用IKAnalyzer作为分析器

IndexWriter indexWriter =

new IndexWriter(FSDirectory.open(new File(“F:\Intellij idea\logs”).toPath()),

new IndexWriterConfig(new IKAnalyzer()));

//创建一个Document对象

Document document = new Document();

//向document对象中添加域

document.add(new TextField(“name”, “新添加的文件”, Field.Store.YES));

document.add(new TextField(“content”, “新添加的文件内容”, Field.Store.NO));

document.add(new StoredField(“path”, “F:\Intellij idea\logs”));

// 把文档写入索引库

indexWriter.addDocument(document);

//关闭索引库

上一篇:计算机毕业设计之 [含开题报告+论文+源码等]基于Lucene全文检索框架实现的博客管理系统


下一篇:MySQL学习中的DDL的语法知识3(标识列)