目录
Lucene
Lucene介绍
全文检索引擎工具包，实现从海量数据中快速查询数据。
方案对比
-
传统方案
-
优点：使用简单，简单的SQL语句即可。
-
缺点：1、数据量大时查询性能差（不会通过索引查询）；2、查询的结果不够全面。
-
-
全文检索方案
-
缺点：使用相对复杂，通过提供的API进行操作。
-
优点：1、数据量大时查询性能好；2、查询的结果全面
-
全文检索是什么?
-
索引流程：通过索引程序切分数据的内容成一个个词语，建立词语与每一条数据的对应关系
-
检索流程：通过检索程序，根据搜索关键词，在索引库查找目标内容
Lucene是什么?
Lucene是apache软件基金会下的一个子项目。 是一个免费、开放源代码的全文检索引擎工具包。
Lucene官方网站
官方网站：http://lucene.apache.org/
全文检索流程介绍
索引和检索流程图
索引流程详细介绍
- 采集数据
-
通过JDBC操作获取到关系数据库中的业务数据
-
通过IO流获取文件上的数据
-
通过爬虫（蜘蛛）程序获取网络上的网页数据
-
- 创建文档对象
-
说明：文档对象（Document），一个文档对象包含有多个域（Field）。一个文档对象就相当于关系数据库表中的一条记录，一个域就相当于一个字段。
-
-
分析文档对象
-
把原始数据，转换成文档对象后，使用分词器把文档中域的内容切分成一个个词语，为后续建立索引做准备。
-
-
建立倒排索引
-
建立词语和文档的对应关系，词语在什么文档出现，出现了几次，在什么位置出现（倒排索引），并且保存到索引库。
-
数据库&索引库结构对比
| 数据库 | 表 | 行 | 列 |
|---|---|---|---|
| Databases实例 | Tables | Rows | column |
| 索引库的存储目录 | 无 | Document文档 | Field域 |
Lucene使用
环境搭建
pom依赖
<dependencies>
<!--mysql连接驱动-->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>${mysql.version}</version>
</dependency>
<!--ik分词器-->
<dependency>
<groupId>com.janeluo</groupId>
<artifactId>ikanalyzer</artifactId>
<version>2012_u6</version>
</dependency>
<!--查询解析器-->
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
<version>${lucene.version}</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.16</version>
</dependency>
</dependencies>实体类
@Data
public class Book {
// 图书id
private int id;
// 图书名称
private String bookName;
// 图书价格
private float bookPrice;
// 图书图片
private String bookPic;
// 图书描述
private String bookDesc;
}
DAO实现类
public class BookDaoImpl implements BookDao {
//查询所有数据
@Override
public List<Book> findAll() {
Connection connection = null;
PreparedStatement preparedStatement = null;
ResultSet resultSet = null;
try {
Class.forName("com.mysql.jdbc.Driver");
connection = DriverManager.getConnection("jdbc:mysql:///test", "root", "root");
preparedStatement = connection.prepareStatement("select * from book");
resultSet = preparedStatement.executeQuery();
List<Book> bookList = new ArrayList<>();
while (resultSet.next()) {
Book book = new Book();
book.setId(resultSet.getInt("id"));
book.setBookName(resultSet.getString("bookname"));
book.setBookPrice(resultSet.getFloat("price"));
book.setBookPic(resultSet.getString("pic"));
book.setBookDesc(resultSet.getString("bookdesc"));
bookList.add(book);
}
return bookList;
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
if (connection != null) {
connection.close();
}
if (preparedStatement != null) {
preparedStatement.close();
}
if (resultSet != null) {
resultSet.close();
}
} catch (Exception e) {
e.printStackTrace();
}
}
return null;
}
}
索引流程实现
public class IndexTest {
/**
* 索引流程
*/
@Test
public void createIndex() throws Exception {
BookDao bookDao = new BookDaoImpl();
List<Book> list = bookDao.findAll();
// 1 创建分词器（Analyzer），用于分词
Analyzer analyzer = new IKAnalyzer();
// 2.创建索引配置对象（IndexWriterConfig），配置索引库
IndexWriterConfig indexWriterConfig = new IndexWriterConfig(Version.LUCENE_47, analyzer);
/**
* 2.1 设置一个打开模式
* CREATE-每次都覆盖之前的索引库，创建新的索引库
* APPEND-追加，如果存在索引库，直接追加数据，否则报错
* CREATE_OR_APPEND-创建或追加，如果存在就追加，没有就创建
*/
indexWriterConfig.setOpenMode(IndexWriterConfig.OpenMode.CREATE);
// 3.创建索引目录对象（Directory），指定索引库的位置
Directory directory = FSDirectory.open(new File("e:/luceneIndex"));
// 4.创建索引写入对象（IndexWriter）
IndexWriter indexWriter = new IndexWriter(directory, indexWriterConfig);
for (Book book : list) {
//创建文档对象
Document document = new Document();
/**
* TextField参数：
* 参数一：域的名称
* 参数二：域的值
* 参数三：指定是否把域值存储到文档对象中，最终保存在磁盘上
*/
document.add(new StringField("id", book.getId()+"", Field.Store.YES));
document.add(new TextField("bookName", book.getBookName(), Field.Store.YES));
document.add(new DoubleField("bookPrice", book.getBookPrice(), Field.Store.YES));
document.add(new StoredField("bookPic", book.getBookPic()));
document.add(new TextField("bookDesc", book.getBookDesc(), Field.Store.NO));
//把文档对象写入索引库
indexWriter.addDocument(document);
}
// 5.提交事务
indexWriter.commit();
// 6.关闭资源
indexWriter.close();
}
}运行结果：
luke查看索引数据
检索流程实现
/**
* 检索流程
*/
@Test
public void searchIndex() throws Exception {
// 1.创建分词器对象（Analyzer），用于对关键字分词
Analyzer analyzer = new IKAnalyzer();
// 2.创建查询对象（Query）
// 2.1 创建查询解析器
QueryParser queryParser = new QueryParser("", analyzer);
Query query = queryParser.parse("bookName:java");
// 3.创建索引目录对象（Directory），指定索引库的位置
FSDirectory directory = FSDirectory.open(new File("e:/luceneIndex"));
// 4.创建索引读取对象（IndexReader），把索引数据读取到内存中
IndexReader indexReader = DirectoryReader.open(directory);
// 5.创建索引查询对象（IndexSearcher），执行搜索
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
// 6.执行搜索，返回结果集（TopDocs）
TopDocs topDocs = indexSearcher.search(query, 10);
System.out.println("总命中数：" + topDocs.totalHits);
// 7.处理结果集
ScoreDoc[] scoreDocs = topDocs.scoreDocs;
for (ScoreDoc scoreDoc : scoreDocs) {
//scoreDoc.doc：索引
Document doc = indexSearcher.doc(scoreDoc.doc);
System.out.println("图书id = " + doc.get("id"));
System.out.println("图书名称 = " + doc.get("bookName"));
System.out.println("图书价格 = " + doc.get("bookPrice"));
System.out.println("图书图片 = " + doc.get("bookPic"));
System.out.println("图书描述 = " + doc.get("bookDesc"));
System.out.println("===========================================");
}
// 8.释放资源
indexReader.close();
}运行结果：
分词器