【PHP高效搜索专题(1)】sphinx&Coreseek的介绍与安装

2022-10-15 21:43:06

我们已经知道mysql中带有"%keyword%"条件的sql是不走索引的,而不走索引的sql在大数据量+大并发量的时候,不仅效率极慢还很有可能让数据库崩溃.那我们如何通过某些关键字来搜索我们想要的文章呢? 虽然mysql的MYISAM提供全文索引,但是只支持中文,并且性能却不敢让人恭维,因此采用Sphinx来做mysql的全文索引工具是一个很好的选择.

简介

Sphinx是由俄罗斯人Andrew Aksyonoff开发的一个全文检索引擎。意图为其他应用提供高速、低空间占用、高结果 相关度的全文搜索功能。Sphinx可以非常容易的与SQL数据库和脚本语言集成。当前系统内置MySQL和PostgreSQL 数据库数据源的支持，也支持从标准输入读取特定格式的XML数据.

  1. 高速的建立索引(在当代CPU上，峰值性能可达到10 MB/秒);
  2. 高性能的搜索(在2 – 4GB 的文本数据上，平均每次检索响应时间小于0.1秒);
  3. 可处理海量数据(目前已知可以处理超过100 GB的文本数据, 在单一CPU的系统上可 处理100 M 文档);
  4. 提供了优秀的相关度算法，基于短语相似度和统计（BM25）的复合Ranking方法;
  5. 支持分布式搜索;
  6. 支持短语搜索
  7. 提供文档摘要生成
  8. 可作为MySQL的存储引擎提供搜索服务;
  9. 支持布尔、短语、词语相似度等多种检索模式;
  10. 文档支持多个全文检索字段(最大不超过32个);
  11. 文档支持多个额外的属性信息(例如：分组信息，时间戳等);
  12. 支持断词;

sphinx的安装与使用

安装
wget http://sphinxsearch.com/files/sphinx-2.2.9-release.tar.gz

tar zxvf sphinx-2.2.9-release.tar.gz

cd sphinx-2.2.9-release

./configure --prefix=/usr/local/sphinx/ --with-mysql=/usr/bin/mysql/

make && make install

--prefix：指定 sphinx 的安装路径

--with-mysql：指定 mysql 安装路径,注意这里的安装路径一般是指通过编译安装的mysql路径,如果你是通过yum来安装的mysql的话,此项可以不用加

make的时候,有可能会报错,不要管,继续等待.如果最终失败的话,再make clean之后,删除目录,重新configure.

注意,此时的sphinx还不能支持中文

安装成功后,按道理应该有三个工具

ls /usr/local/sphinx/bin

indexer 创建索引命令

searchd 启动进程命令

search  命令行搜索命令

其中search命令已经在新版本的sphinx取消了,可以用api文件来进行测试;

配置与使用
cd /usr/local/sphinx/etc

ls

example.sql # 示例sql

sphinx.conf.dist # 完整版配置项

sphinx-min.conf.dist # 精简版配置项

cp sphinx.conf.dist sphinx.conf

vim sphinx.conf # 配置数据库连接信息,打开utf8字符集注释(sql_query_pre = SET NAMES utf8),然后可以把以上的示例sql导入数据库里面做测试;

cd /usr/local/sphinx/bin

 ./indexer --all # 创建索引,如果后面又新增加了数据,还要重新或增量建立sql;
./search this #搜索test库中有this的;注意,在新版本的sphinx里面该命令已经被取消了,但可以通过api文件来测试

$ cd sphinx/api

$ php test.php test

如果执行indexer命令报错

ERROR: index 'test1stemmed': sql_connect: Can't connect to local MySQL server through socket '/var/run/mysqld/mysqld.sock'

则可能是因为mysql.sock的位置问题，在本机中，该位置是/tmp/mysql.sock（与安装mysql时设置有关），在sphinx.conf中取消这一行的注释即可（去掉前面的#号）：

#sql_sock                = /tmp/mysql.sock

然而以上的所有步骤都没有什么卵用,因为sphinx是不支持中文的,所以我们可以选择使用基于sphinx的coreseek,也可以选择其他更方便的扩展,本文就先结束coreseek

coreseek

安装
安装mmseg
wget http://www.coreseek.cn/uploads/csft/4.0/coreseek-4.1-beta.tar.gz

tar zxvf coreseek-4.1-beta.tar.gz

cd coreseek-4.1-beta

ls

csft-4.1  #sphinx中文扩展

mmseg-3.2.14 #中文词库

testpack 

#先安装mmseg中文分词系统

cd mmseg-3.2.14/

./configure --prefix=/usr/local/mmseg

如果报错 annot find input file: src/Makefile.in

就依次执行:

aclocal   #是一个perl 脚本程序，它的定义是：“aclocal - create aclocal.m4 by scanning configure.ac” ,如果执行此句还是错误的话就 yum -y install libtool

libtoolize --force

automake --add-missing

autoconf

autoheader

make clean

#然后再从新编译一下

./configure --prefix=/usr/local/mmseg

make && make intall

测试

$ /usr/local/mmseg/bin/mmseg -d /usr/local/mmseg/etc /usr/src/coreseek-4.1-beta/mmseg-3.2.14/src/t1.txt

中文/x 分/x 词/x 测试/x

中国人/x 上海市/x

$ ./mmseg -d ../etc test.txt

小/x 白兔/x 白/x 又/x 白/x 两/x 只/x 耳朵/x 竖/x 起来/x

爱/x 吃/x 萝卜/x 爱/x 吃/x 菜/x
安装csft-4.1
cd /usr/src/coreseek-4.1-beta/csft-4.1

sh buildconf.sh # 如果不报错就代表没问题,如果输出的warning信息可以忽略，如果出现error则需要解决  

./configure --prefix=/usr/local/coreseek --without-unixodbc --with-mmseg --with-mmseg-includes=/usr/local/mmseg/include/mmseg/ --with-mmseg-libs=/usr/local/mmseg/lib/ --with-mysql

make && make install
配置

配置文件

  • 名为main的主数据源:source main{}
  • 继承名为main的增量数据源:source delta:main{}
  • 名为main的主索引:index main{}
  • 继承名为main的增量索引:index delta:main{}
  • 分布式索引:index dist1{}
  • 索引器:indexer{}
  • 服务进程:searchd{}

增量配置肯定是要做的,所以先准备一个计数器

-- 只记录一行数据

CREATE TABLE sph_counter

(

counter_id INTEGER PRIMARY KEY NOT NULL,

max_doc_id INTEGER NOT NULL

);
#MySQL数据源配置，详情请查看：http://www.coreseek.cn/products-install/mysql/

cd /etc

cp sphinx.conf.dist csft.conf #复制为csft名后就可以自动读取

#主数据源

source main

{

    type                    = mysql

    sql_host                = localhost

    sql_user                = root

    sql_pass                = 123456

    sql_db                  = test

    sql_port                = 3306

    sql_query_pre           = SET NAMES utf8

    sql_query_pre           = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company;#通过replace into语句记录每次建立数据源最后一条数据id;

    sql_query               = SELECT * FROM hr_spider_company WHERE id<=( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 ) 

     sql_attr_uint            = id                        #从SQL读取到的值必须为整数

     sql_attr_uint            = from_id                #从SQL读取到的值必须为整数，不支持全文检索

     sql_attr_uint            = link_id                #从SQL读取到的值必须为整数，不支持全文检索

     sql_attr_uint            = add_time                #从SQL读取到的值必须为整数，不支持全文检索

     sql_field_string         = link_url                 #字符串字段(可全文搜索，可返回原始文本信息)

     sql_field_string          = company_name          #字符串字段(可全文搜索，可返回原始文本信息)

     sql_field_string          = type_name             #字符串字段(可全文搜索，可返回原始文本信息)

     sql_field_string          = trade_name             #字符串字段(可全文搜索，可返回原始文本信息)

     sql_field_string          = email                 #字符串字段(可全文搜索，可返回原始文本信息)

     sql_field_string          = description             #字符串字段(可全文搜索，可返回原始文本信息)     sql_attr_timestamp      = date_added  #从SQL读取到的值必须为时间戳，作为时间属性

    sql_query_info_pre      = SET NAMES utf8  #命令行查询时，设置正确的字符集

    sql_query_info          = SELECT id,from_id,link_id,company_name,type_name,trade_name,address,description, FROM_UNIXTIME(add_time) AS add_time  FROM hr_spider_company  WHERE id=$id                     #用于PHP-CLI命令行查询时，从数据库读取原始数据信息 

    #区段查询 每次查询一段数据来建立索引

    #sql_query_range = SELECT MIN(id),MAX(id) FROM documents

    #sql_range_step  = 1000

    #sql_query = SELECT * FROM documents WHERE id>=$start AND id<=$end

}

#主数据索引

index main

{

  source      = main  #对应的source名称

  path      = /usr/local/coreseek/var/data/main #主数据索引存储路径及其名称

  docinfo     = extern

  charset_type    = zh_cn.utf-8

  min_word_len = 1 #索引词最小长度

  min_prefix_len = 0 #最小索引前缀长度

  min_infix_len = 1 #最小索引中缀长度

  ngram_len = 1 #对于非字母型数据的长度切割(for CJK indexing)

  charset_dictpath = /usr/local/mmseg/etc/ #分词的词典路径,BSD、Linux环境下设置，/符号结尾

  html_strip    = 0 #是否去除用户输入查询内容的html标签

}

#增量数据源

source delta : main

{

    sql_query_pre           = SET NAMES utf8

    sql_query               = SELECT * FROM hr_spider_company WHERE id>( SELECT max_doc_id FROM sph_counter WHERE counter_id=1 )

    sql_query_post_index    = REPLACE INTO sph_counter SELECT 1,MAX(id) FROM hr_spider_company

} 

#增量数据索引

index delta : main

{

    source          = delta

    path            = /usr/local/coreseek/var/data/delta

}

source src1throttled : src1

{

  sql_ranged_throttle = 100

}

#全局index定义

indexer

{

    mem_limit            = 128M  #内存大小限制 默认是 32M, 最大 2047M, 推荐为 256M 到 1024M之间

}

#searchd服务定义

searchd

{

    # 监测端口及形式,一下几种均可,默认为本机9312端口

    # listen = 127.0.0.1

    # listen = 192.168.0.1:9312

    # listen = 9312

    # listen = /var/run/searchd.sock

    listen                  = 9312

    read_timeout            = 5  # 读取超时时间

    max_children            = 30 # searche进程的最大运行数

    max_matches             = 1000 # 最大的查询结果返回数

    seamless_rotate         = 1 # 是否支持无缝切换(做增量索引时需要)

    preopen_indexes         = 0 # 在启动运行时是否提前加载所有索引文件

    unlink_old              = 1 # 是否释放旧的索引文件

    pid_file = /usr/local/coreseek/var/log/searchd.pid

    log = /usr/local/coreseek/var/log/searchd.log  # search进程的日志路径

    query_log = /usr/local/coreseek/var/log/query.log  # 查询日志地址

    binlog_path     =                                              #关闭binlog日志

}
测试
cd  /usr/local/coreseek/bin

./search 淘宝
使用 sphinx 需要做以下几件事

1.有数据；

2.建立 sphinx 配置文件；

3.生成索引；

4.启动 searchd 服务进程，默认是9312

5.用 PHP 去连接 sphinx 服务

#启动服务,监听9312端口

cd /usr/local/coreseek/bin/

./searchd

#./searchd -c /usr/local/coreseek/etc/csft_mysql.conf  #如果配置文件不是默认的csft.conf的话

# 执行索引（查询、测试前必须执行一次）

./indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate  

# 执行增量索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate 

# 合并索引

/usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0  #为了防止多个关键字指向同一个文档加上--merge-dst-range deleted 0 0

# 后台服务测试

/usr/local/coreseek/bin/search -c /usr/local/coreseek/etc/csft_mysql.conf  aaa  

#关闭后台服务

/usr/local/coreseek/bin/searchd -c /usr/local/coreseek/etc/csft_mysql.conf --stop

searchd 命令参数介绍：

  • -c 指定配置文件
  • --stop 停止服务
  • --pidfile 用来显式指定一个 PID 文件
  • -p 指定端口

自动化建立索引

# 每分钟进行一次增量索引

*/1 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf delta --rotate 

# 每五分钟合并一次索引

*/5 * * * * /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --merge main delta --rotate --merge-dst-range deleted 0 0  

# 每天晚上的一点三十分建一次完整的索引

30 1 * * *  /bin/sh /usr/local/coreseek/bin/indexer -c /usr/local/coreseek/etc/csft_mysql.conf --all --rotate

参考

Sphinx中文指南

sphinx全文检索之PHP使用教程

coreseek-4.1 参考手册

coreseek-4.1的一些配置说明(左侧边栏)

Sphinx PHP扩展(类)使用说明

sphinx中文版Coreseek中文检索引擎安装和使用方法(Linux)

上一篇：Oracle数据库作业-5 查询


下一篇：Python enum 枚举 判断 key（键） 或者 value（值）是否在枚举中