#配置源

source sphinx_t0 #数据库名_数据表名，每配置一个数据表，都需要写上一个配置源

{

    type                    = mysql #数据库类型

    sql_host                = localhost

    sql_user                = root

    sql_pass                = 123123

    sql_db                    = sphinx #指定数据库

    sql_port                = 3306    # optional, default is 3306

    sql_sock                 = /tmp/mysql.sock #mysql接口

    #从数据库之中读取数据的SQL语句设置

    #在这里尽可能不使用where或groupby，

    #将where与groupby的内容交给sphinx，由sphinx进行条件过滤与groupby效率会更高

    #注意：select的字段必须包括一个唯一主键以及要全文检索的字段（可以有多个）、输出的字段。

    #where中要用到的字段也要select出来

    #例：

    #在配置sql语句，可以先写出一句预计要执行的sql语句，然后根据sphinx规定设置

    #select * from t0 where description like '%广州%' or name like '%s%'

    #=> select id,description,name,age from t0

    sql_query                = \

        SELECT id, name, age, description,group_id,date_added \

        FROM t0

    sql_attr_uint            = age

    #使用sql_attr设置的字段(搜索条件)，只能作为属性，使用SphinxClient::SetFilter()进行过滤；

    #未被设置的字段，自动作为全文检索的字段，使用SphinxClient::Query("搜索字符串")进行全文搜索

    #sql_query第一列id需为整数，且被系统使用，无需再设置sql_attr_uint

    sql_attr_uint            = group_id

    sql_attr_timestamp        = date_added #定义不同类型的字段要用不同的属性名,比如上面的sql_attr_timestamp就是时间戳类型

    #sql_query_info            = SELECT * FROM documents WHERE id=$id  #命令行查询时，从数据库读取原始数据信息

    #在执行sql_query前执行的sql命令, 可以有多条

    sql_query_pre           = SET NAMES utf8 #执行sql字符编码

}

#索引，每一源需要一个索引

index sphinx_t0 #索引名字一般与配置源一致

{

    source                    = sphinx_t0 #source 关联源

    path                    = /usr/local/coreseek/var/data/sphinx_t0 #索引文件存放路径，每个索引文件一个

    docinfo                 = extern

    charset_dictpath        = /usr/local/mmseg/etc/ #指明分词法读取词典文件的位置，当启用分词法时，为必填项。在使用LibMMSeg作为分词 库时，需要确保词典文件uni.lib在指定的目录下

    charset_type            = zh_cn.utf-8 #字符编码

}

#索引，控制所有索引

indexer

{

    mem_limit                = 512M #内存

}

#sphinx守护进程配置

searchd

{

    port                    = 9312 #端口

    log                        = /usr/local/coreseek/var/log/searchd.log

    query_log                = /usr/local/coreseek/var/log/query.log

    read_timeout            = 5 #超时

    max_children            = 30 #最大连接数

    pid_file                = /usr/local/csft/var/log/searchd.pid #pid文件路径

    max_matches                = 1000 #max_matches最大匹配数，也就是查找的数据再多也只返回这里设置的1000条

    seamless_rotate            = 1

    preopen_indexes            = 0

    unlink_old                = 1

}

<?php

    header('Content-Type:text/html;charset=utf-8');    //编码为utf-8

　　include 'sphinxapi.php';  // 加载Sphinx API,网上下载

    $list= array();

    if(!empty($_POST)){

        $sc = new SphinxClient(); // 实例化Api

        $sc->setServer('192.168.1.108', 9312); // 设置服务端，第一个参数sphinx服务器地址，第二个sphinx监听端口

        $res = $sc->query($_POST['key'], 'sphinx_t0'); // 执行查询，第一个参数查询的关键字，第二个查询的索引名称，mysql索引名称（这个也是在配置文件中定义的），多个索引名称以,分开，也可以用*表示所有索引。

        // print_r($sc);

        print_r($res);exit;

    }

?>

<form action="" method="post">

<input type="text" name="key" />

<input type="submit" value="提交" />

</form>
?>

<?php

ini_set('display_errors', 'On');

error_reporting(E_ALL);

date_default_timezone_set ('Asia/Shanghai');

set_time_limit(0);

$buffer    = ini_get('output_buffering');

if($buffer){

    ob_end_flush();

}

//注意文件的编码格式是utf8

echo '处理新词库...'.PHP_EOL;  //PHP_EOL windwos相当于'\r\n',unix\linux相当于'\n'

flush();

$filename       = "words.txt";

$handle         = fopen ($filename, "r");

$content        = fread ($handle, filesize ($filename));

fclose ($handle);

$content      =    trim($content);

$arr1         =     explode( "\r\n" ,$content );

// print_r($arr1);exit;

$arr1         =    array_flip(array_flip($arr1));  //反转数组的键值,剔除重复的值

foreach($arr1 as $key=>$value){

    $value  =   dealchinese($value);

    if(!empty($value)){

        $arr1[$key] = $value;

    }else{

        unset($arr1[$key]);

    }

}

// print_r($arr1);exit;

echo '处理原来词库...'.PHP_EOL;

flush();

$filename2     = "unigram.txt";

$handle2     = fopen ($filename2, "r");

$content2     = fread ($handle2, filesize ($filename2));

fclose ($handle2);

$content2    = dealchinese($content2,"\r\n");

$arr2         = explode( "\r\n" ,$content2 );

echo '删除相同词条...'.PHP_EOL;

flush();

$array_diff    = array_diff($arr1,$arr2);

echo '格式化词库...'.PHP_EOL;

flush();

$words='';

foreach($array_diff as $k => $word){

    $words .= $word."\t1".PHP_EOL."x:1".PHP_EOL;

}

//echo $words;

file_put_contents('words_new.txt',$words,FILE_APPEND); //写入文件

echo 'done!';

function dealChinese($str, $join=''){

    preg_match_all('/[\x{4e00}-\x{9fff}]+/u', $str, $matches); //将中文字符全部匹配出来

    $str = join($join, $matches[0]); //从匹配结果中重新组合

    return $str;

}

?>