Solr 07 - Solr从MySQL数据库中导入数据 (Solr DIH的使用示例)

2022-12-08 15:26:52

1 加入数据导入处理器的jar包
2 加入数据库驱动包
3 配置solrconfig.xml文件
4 重启Tomcat并查看DIH的配置
5 执行数据导入
版权声明

1 加入数据导入处理器的jar包

复制Solr解压后dist目录中的:solr-dataimporthandler-4.10.4.jar;

粘贴到contrib/dataimporthandler/lib目录下, lib目录需要手动创建:

2 加入数据库驱动包

复制所用数据库服务器的相应jar包;

粘贴到contrib/db/lib目录下, db/lib目录需要手动创建:

注意: 这里使用的MySQL服务器版本为5.7.20, 故导入5.1.44版本的jar包 —— 其他较低版本的jar包可能会出现一些不可预知的Bug.

3 配置solrconfig.xml文件

在SolrCore(即collection1)中找到solrconfig.xml文件.

3.1 配置lib标签 - 加入驱动jar包

<!-- 配置加入数据导入、数据库驱动的jar包 -->

<lib dir="${solr.install.dir:../..}/contrib/dataimporthandler/lib" regex=".*\.jar"/>

<lib dir="${solr.install.dir:../..}/contrib/db/lib" regex=".*\.jar"/>

3.2 配置requestHandler标签 - 加入DIH

Solr的数据索引分两种: 全量导入(full-import)和增量导入(delta-import):

① 全量导入: 就是一次性全部导入所有数据;

② 增量导入: 就是当数据库中的数据有更新时再作导入处理.

使用dataimport就需要在solrconfig.xml中添加DIH配置信息:

<!-- 加入数据导入的请求处理器 -->

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">

    <lst name="defaults">

        <str name="config">data-config.xml</str>

    </lst>

</requestHandler>

3.3 在conf目录下创建data-config.xml

(1) data-config.xml文件:

注意: 这里field的column属性对应于数据库中表的字段, 而name属性的值必须与scheme.xml约束文件中新配置的field的name属性的值一致, 否则无法解析.

这里配置的MySQL表信息, 与Solr 06 - Solr中配置使用IK分词器 (配置schema.xml) 中使用的MySQL数据一致, 具体的SQL文件可以在我的GitHub 中下载, 文件是Solr使用IK分词器的表数据.sql.

<?xml version="1.0" encoding="UTF-8" ?>

<dataConfig>

    <!-- 数据源配置 -->

    <dataSource type="JdbcDataSource"

            driver="com.mysql.jdbc.Driver"

            url="jdbc:mysql://127.0.0.1:3306/solr?useSSL=true"

            user="ur_login_name"

            password="ur_pwd"/>

    <document>

         <!-- 配置sql语句执行结果, 与商品业务域的对应关系 -->

         <entity name="product" pk="pid"

                 query="SELECT pid, name, catalog, catalog_name, price, description, picture

                        FROM products">

             <field column="pid" name="id"/>

             <field column="name" name="product_name"/>

             <field column="catalog" name="product_catalog"/>

             <field column="catalog_name" name="product_catalog_name"/>

             <field column="price" name="product_price"/>

             <field column="description" name="product_description"/>

             <field column="picture" name="product_picture"/>

         </entity>

    </document>

</dataConfig>

(2) 参数说明:

① dataSource: 定义了数据的位置, 对于数据库, 则是DSN(Data Source Name, 即数据源名称, 数据库服务器的主机名、端口和数据库名、用户、密码); 对于HTTP数据源, 则是基本的URL.

② entity: 实体会被处理生成包含多个字段的文档的集合, 会被发送给Solr进行索引. 对于RDBMS数据源, 一个实体是一个视图或表, 可能被一至多个SQL语句处理来生成一系列具有一或多个列(字段)的行(文档).

③ processor: 一个实体处理器会完成整个从数据源抽取内容、转换并将其添加到索引的工作, 可用自定义实体处理器扩展或替换默认提供的处理器.

④ transformer: 从实体中取得的每个字段的集都可以选择进行转换, 此过程可修改字段、创建新字段或从单个行生成多个行. 可通过公用接口自定义转换器.

(3) 其他配置用法说明:

<entity name="product" pk="pid"

        query="SELECT * FROM products"

        deltaImportQuery="SELECT * FROM products where pid='${dih.delta.id}'"

        deltaQuery="SELECT pid FROM products where last_modified > '${dih.last_index_time}'" >

    <field />

    <!-- ...... -->

</entity>

① pk代表主键;

② query: 是在全量导入(full-import)模式下使用的查询;

③ deltaImportQuery 和 deltaQuery: 用于增量导入(delta-import)模式:

a) 数据库中要有一个类型为timestamp的类似于last_modified的时间字段;

b) 执行数据导入时, Solr会在自动生成conf/dataimport.properties文件, 用来记录最后一次导入的时间;

c) 执行delta-import的时候, 先根据deltaQuery查出需要导入的数据的id, 然后通过id来执行deltaImportQuery, 最终实现增量导入数据.

(4) Solr 5.x版本的变化:

① Solr 5.x 之后的版本使用${dih.delta.id}来获取需要增量导入的数据的主键, 之前的版本使用的是${dataimporter.delta.ID};

② 使用${dih.last_index_time}来获取dataimport.properties文件中last_index_time的属性值, 之前的版本使用的是${dataimporter.last_index_time}.

4 重启Tomcat并查看DIH的配置

重启Tomcat, 在菜单栏的[Dataimport]查看配置的Entity是否生效. 也可通过菜单栏的[Files]查看配置文件.

5 执行数据导入

(1) 通过Solr管理界面的Dataimport方式导入:

注意: 由于Solr管理界面的不稳定性, 索引状态的显示可能会消失, 可通过查看Dashboard中JVM-Memory的波动程度, 确定是否处于索引状态.

(2) 也可通过HTTP请求的方式导入, HTTP请求URL格式为:

http://ip:port/[web-dir]/CoreName/dataimport?command=command[&params], 其中command命令见下述示例, params参数有如下选项:

参数	描述
clean	默认为true, 表示是否在建立下一次索引前清除原有索引(慎用)
commit	默认为true, 表示是否在操作完成后提交
debug	默认为false, 表示是否以Debug模式运行. 此默认的commit默认为false.
entity	用已指定操作的entity, 只能指定DIH配置文件中内首层元素的name, 若传递空值, 则对所有entity执行操作.
optimize	默认为true, 表示在操作之后是否optimize(优化索引).

(3) 示例:

① 如果执行全量导入, 导入前清除索引, 导入后提交结果, 则发送如下URL请求:

http://ip:port/[webdir/]CoreName/dataimport?command=full-import&clean=true&commit=true

② 如果执行增量导入, 导入前不清除索引, 导入后提交结果, 则发送如下URL请求:

http://ip:port/[webdir/]CoreName/dataimport?command=delta-import&clean=false&commit=true

版权声明

作者: 马瘦风

出处: 博客园马瘦风的博客

您的支持是对博主的极大鼓励, 感谢您的阅读.

本文版权归博主所有, 欢迎转载, 但请保留此段声明, 并在文章页面明显位置给出原文链接, 否则博主保留追究相关人员法律责任的权利.

码农公寓