.Net程序员 Solr-5.3之旅 (三)Solr 从MSSQ导入索引数据

2022-04-03 01:52:12

阅读目录

引言
准备工作
data-config.xml
schema.xml
导入数据
结尾
附件下载

引言

Other men live to eat, while I eat to live.----苏格拉底

别人活着为了享受吃,而我吃是为了活着。

我们活着不能只是为了吃，嘿嘿，有时候我们还得写点代码=。=||

回到顶部

准备工作

1.sqljdbc4.jar 我用的SqlServer2008

Microsoft JDBC Driver 4.0 for SQL Server 支持以下操作系统：

Linux、Unix、Windows Server 2008、

Windows Vista Service Pack 1、Windows Server 2008 R2 和 Windows 7。

2.将solr-5.3.1\dist目录下的 solr-dataimporthandler-5.3.1.jar复制到apache-tomcat\webapps\solr\WEB-INF\lib目录下

3.将下载的sqljdbc4.jar放到apache-tomcat\webapps\solr\WEB-INF\lib目录下

4.在Solr5中默认dataImport功能是禁用的，需要在D:\solr_home\FixValue\conf\solrconfig.xml中追加配置

    <requestHandler name="/dataimport" class="solr.DataImportHandler">

    <lst name="defaults">

    <str name="config">data-config.xml</str>

    </lst>

    </requestHandler>

data-config.xml代表的是当前路径用于数据导入的配置文件，我上篇文章有说到将Example中的配置文件复制过来，里面就包含这个文件

目录在solr-5.3.1\example\example-DIH\solr\solr\conf\data-config.xml

回到顶部

data-config.xml

接下来我们导入数据的关键配置就在 solr-data-config.xml和schema.xml这两个文件里面

1.solr-data-config.xml 我的配置是：

<env-entry>

<dataConfig>

  <dataSource name="Test" type="JdbcDataSource" driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" url="jdbc:sqlserver://192.168.1.1:1433;DatabaseName=Test" user="sa" password="123456"></dataSource>

  <document>

    <entity name="FixValue" dataSource="hunter"

      query="SELECT ID ,FixType,Value,Name,Status,OrderSort,CreationDate FROM [FixValue]"

      deltaQuery="SELECT ID FROM [FixValue] where CreationDate > '${dataimporter.last_index_time}'"

      deltaImportQuery="SELECT * FROM [FixValue] where ID='${dih.delta.ID}'"

      >

      <field column="ID" name="id"/>

      <field column="FixType" name="fixtype"/>

      <field column="Value" name="value"/>

      <field column="Name" name="name"/>

      <field column="Status" name="status"/>

      <field column="OrderSort" name="ordersort"/>

      <field column="CreationDate" name="creationdate"/>

    </entity>

  </document>

</dataConfig>

如果你英文还可以，可以到https://wiki.apache.org/solr/去查找你需要的资料

这里我们用到的是https://wiki.apache.org/solr/DataImportHandler#Configuration_in_data-config.xml

对于solr-data-config.xml的配置，里面都有详细说明，下面我抓几个重要部分说一下：

dataSource数据库链接。

entity.dataSource我们要使用的链接配置名称。

entity.query用于第一次将所有数据全部导入到Solr中。

entity.deltaQuery用于查找有更改的数据。

entity.deltaImportQuery将deltaQuery中超找到的数据同步到Solr中，就是对Solr中已经存在的索引数据进行增加和修改。

entity.deletedPkQuery 这里我没有配置到，具体怎么使用有待研究。

field.column 对应数据库中的字段名称

field.name 对应solr中存储的索引字段名称，区分大小写，后面我们在使用query查询时用到

一般在导入索引数据时都要带上一个唯一的标识字段，用于solr对索引的增删改查

回到顶部

schema.xml

官方参考文献（英语）：https://wiki.apache.org/solr/SchemaXml

我们拷贝过来的schema.xml文件中有一些示例数据，我们先清除掉第一行name="_version_"到<uniqueKey>id</uniqueKey>之间的所有行

然后加入我们对FixValue表的字段定义

    <field name="_version_" type="long" indexed="true" stored="true" required="true"/>

    <field name="id" type="string" indexed="true" stored="true" omitNorms="true" required="true"/>

    <field name="fixtype" type="string" indexed="true" stored="true" omitNorms="true"/>

    <field name="value" type="string" indexed="true" stored="true" omitNorms="true"/>

    <field name="name" type="text_general" indexed="true" stored="true" omitNorms="true"/>

    <field name="status" type="string" indexed="true" stored="true" omitNorms="true"/>

    <field name="ordersort" type="string" indexed="true" stored="true" omitNorms="true"/>

    <field name="creationdate" type="string" indexed="true" stored="true" omitNorms="true"/>

    <uniqueKey>id</uniqueKey>

name="_version_"是属于每个Schema文件中必须包含的字段，记录索引版本的字段。

field.required标识这个字段是必须字段，如果在以后的更新和同步中这个字段值为Null则不会被同步到索引中。

field.type标识这个字段是什么数据类型，是在Schema文件中fieldType节点中配置，需要分词可以使用text_general，但是text_general相对于中文来说很弱，只能一元分词，后面我会开篇介绍如何加入自定义的分词器IKanalyzer。

<uniqueKey>id</uniqueKey>是标识哪个字段是主键

回到顶部