Solr DIH以Mysql为数据源批量创建索引

演示使用solr管理后台,以mysql为数据源,批量建索引的方法
测试于:Solr 4.5.1, mmseg4j 1.9.1, Jdk 1.6.0_45, Tomcat 6.0.37 | CentOS 5.7

配置数据源

[root@devnote ~]# cd /root/solr-4.5.1/example/example-DIH/solr/db/conf
[root@devnote conf]# touch mysql-data-config.xml

编辑mysql-data-config.xml,根据需要添加新内容,内容可参见同目录下db-data-config.xml文件

<dataConfig>
    <dataSource driver="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/basic" user="root" password="123"/>
    <document>
        <entity name="article" transformer="HTMLStripTransformer"
               query="SELECT id, title, content FROM article">
                <field column="id" name="id" />
                <field column="title" name="title" />
                <field column="content" name="content" stripHTML="true" />
        </entity>
    </document>
</dataConfig>

transformer="HTMLStripTransformer"配合stripHTML="true"使用来达到过滤正文html标签的作用。

配置dataimport handler

打开solr管理后台,选择相应的core,选择Dataimport(可参考如下第二张截图)
初次使用此功能,会显示:sorry, no dataimport-handler defined!
编辑solrconfig

[root@devnote ~]# vi solr-4.5.1/example/solr/collection1/conf/solrconfig.xml

加入如下代码

 <requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
  <lst name="defaults">
    <str name="config">/root/solr-4.5.1/example/example-DIH/solr/db/conf/mysql-data-config.xml</str>
  </lst>
</requestHandler>

添加位置根据自己的习惯,便于查找即可,我这里放到系统内置最后一个handler,replication之下,如:
Solr DIH以Mysql为数据源批量创建索引

重启报错:java.lang.ClassNotFoundException: org.apache.solr.handler.dataimport.DataImportHandler引入需要的包即可

[root@devnote ~]# cp solr-4.5.1/dist/solr-dataimporthandler-*.jar /opt/tomcat/webapps/solr/WEB-INF/lib/

因为涉及到连接mysql,自己找一个mysql的驱动包也放到上述lib中

重启

执行创建索引

  1. 选择对应的core;
  2. 选择Dataimport;
  3. 选择实体article;(注Solr 4.9.0中实体列表为空,解决方法参见:For security reasons, SolrResourceLoader cannot load files from outside the instance's directory)
  4. 执行Execute;
  5. Refresh Status查看状态,右侧会显示正确索引的数量。

Solr DIH以Mysql为数据源批量创建索引

如过此内容对您有帮助,欢迎以点击广告的形式来支持我们,但请每天不要多于一次,否则可能被识别恶意点击,导致封号。

上一篇:IOS 消息机制(NSNotificationCenter)


下一篇:python扩展实现方法--python与c混和编程