站内搜索——Lucene +盘古分词

为了方便的学习站内搜索,下面我来演示一个MVC项目。

1.首先在项目中【添加引入】三个程序集和【Dict】文件夹,并新建一个【分词内容存放目录】

Lucene.Net.dll、PanGu.dll、PanGu.Lucene.Analyzer.dll

链接:http://pan.baidu.com/s/1eS6W8s6 密码:ds8b

站内搜索——Lucene +盘古分词

站内搜索——Lucene +盘古分词

链接:链接:http://pan.baidu.com/s/1geYyDnt 密码:8rq4

站内搜索——Lucene +盘古分词

2.建立Search控制器,并转到Index界面写入如下内容:

站内搜索——Lucene +盘古分词

PS:VS有问题,波浪号由他去吧,,,

----------后台语句-------

->创建索引语句

      public ActionResult SearchContent()
{
//首先根据name区分是点击的哪个按钮
if (!String.IsNullOrEmpty(Request.Form["btnSearch"]))//执行搜索
{ }
else//创建索引
{
CreateSearchIndex();//调用创建索引语句
}
return Content("OK");
}
//创建索引语句
public void CreateSearchIndex()
{
string indexPath = @"H:\lucenedir";//注意和磁盘上文件夹的大小写一致,否则会报错。将创建的分词内容放在该目录下
FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());
bool isUpdate = IndexReader.IndexExists(directory);//判断索引库是否存在
if (isUpdate)
{
//如果索引目录被锁定(比如索引过程中程序异常退出),则首先解锁
//Lucene.Net在写索引库之前会自动加锁,在close的时候会自动解锁
//不能多线程执行,只能处理意外被永远锁定的情况
if (IndexWriter.IsLocked(directory))
{
IndexWriter.Unlock(directory);//un-否定。强制解锁
}
}
IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);
//-------调用业务层拿到所有的数据
Search.BLL.UserGUIDBll bll = new Search.BLL.UserGUIDBll();
List<Search.Model.UserInfo> list=bll.SelectAll();
foreach (UserInfo item in list)
{
Document document = new Document();//一条Document相当于一条记录
document.Add(new Field("id",item.UserId.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));//每个Document可以有自己的属性(字段),所有字段名都是自定义的,值都是string类型
//想给用户展示什么就往词库里面添加什么
document.Add(new Field("title",item.UserName, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
document.Add(new Field("content", item.UserContent, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
writer.AddDocument(document); }
writer.Close();//会自动解锁
directory.Close();//不要忘了Close,否则索引结果搜不到
}

  执行创建索引语句,将看到分词内容文件夹里面将多一些东西,这些就是用来以后检索的

站内搜索——Lucene +盘古分词

->执行索引语句

    public ActionResult SearchContent()
{
//首先根据name区分是点击的哪个按钮
if (!String.IsNullOrEmpty(Request.Form["btnSearch"]))//执行搜索
{
List<ViewSearchContentModel> recList=SearchBookContent();
ViewData["searchList"] = recList;
return View("Index");
}
else//创建索引
{
CreateSearchIndex();//调用创建索引语句 }
return Content("OK");
}

SearchBookContent类:

   //执行索引语句
public List<ViewSearchContentModel> SearchBookContent()
{
string indexPath = @"H:\lucenedir"; //lucene存数据的路径
string searchTxt = Request.Form["txtContent"];//获取用户输入的内容
//将用户输入的内容进行分词
List<string> kw=SearchController.GetPanGuWord(searchTxt); //string kw = "没有";
FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
IndexReader reader = IndexReader.Open(directory, true);
IndexSearcher searcher = new IndexSearcher(reader);
PhraseQuery query = new PhraseQuery();//查询条件
//query.Add(new Term("msg", kw));//where contains("msg",kw) 这里的msg对应上面的msg
foreach (string word in kw)//先用空格,让用户去分词,空格分隔的就是词“计算机 专业”
{
query.Add(new Term("content", word));//contains("msg",word)
}
query.SetSlop(100);//两个词的距离大于100(经验值)就不放入搜索结果,因为距离太远相关度就不高了
TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);//盛放查询结果的容器
searcher.Search(query, null, collector);//使用query这个查询条件进行搜索,搜索结果放入collector
//collector.GetTotalHits()总的结果条数
ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//从查询结果中取出第m条到第n条的数据 List<ViewSearchContentModel> list = new List<ViewSearchContentModel>();
for (int i = 0; i < docs.Length; i++)//遍历查询结果
{
ViewSearchContentModel viewModel = new ViewSearchContentModel();
int docId = docs[i].doc;//拿到文档的id。因为Document可能非常占内存(DataSet和DataReader的区别)
//所以查询结果中只有id,具体内容需要二次查询
Document doc = searcher.Doc(docId);//根据id查询内容。放进去的是Document,查出来的还是Document
viewModel.Id = doc.Get("id");
viewModel.Title = doc.Get("title");
viewModel.Content = doc.Get("content");
list.Add(viewModel);
}
return list; }
class SearchResult
{
public int Id { get; set; }
public string Msg { get; set; }
}
//利用盘古分词对用户输入的内容进行分词
public static List<string> GetPanGuWord(string str)
{
List<string> list=new List<string>();
Analyzer analyzer = new PanGuAnalyzer();
TokenStream tokenStream = analyzer.TokenStream("", new StringReader(str));
Lucene.Net.Analysis.Token token = null;
while ((token = tokenStream.Next()) != null)
{
list.Add(token.TermText());
// Console.WriteLine(token.TermText());
}
return list;
}

ViewSearchContentModel类:(这个类定义在MVC中的Model里面的,视图要展示啥数据,这里就定义什么)

  站内搜索——Lucene +盘古分词站内搜索——Lucene +盘古分词

站内搜索——Lucene +盘古分词

->前台修改如下:

<%@ Page Language="C#" Inherits="System.Web.Mvc.ViewPage<dynamic>" %>

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">

<html xmlns="http://www.w3.org/1999/xhtml" >
<head runat="server">
<title>文档搜索</title>
</head>
<body>
<div>
<form method="post" action="/Search/SearchContent">
请输入搜索的条件:<input type="text" name="txtContent" />
<input type="submit" value="搜索" name="btnSearch"/>
<input type="submit" value="创建索引库" name="btnCreate"/>
</form>
<table>
<tbody>
<%if (ViewData["searchList"] != null)
{
foreach (站内搜索2.Models.ViewSearchContentModel item in (List<站内搜索2.Models.ViewSearchContentModel>)ViewData["searchList"])
{%>
<tr><td><%=item.Id%></td><td><%=item.Title%></td><td><%=item.Content%></td></tr>
<% } }
%>
</tbody>
</table> </div>
</body>
</html>

-----这时基本搜索功能就实现了,接下来实现高亮显示-------

1.添加或引入PanGu.HighLight和PanGu.HighLight.pdb

链接:http://pan.baidu.com/s/1eS6W8s6 密码:ds8b

创建一个Common文件夹,并在里面建立一个WebCommon类

站内搜索——Lucene +盘古分词  

代码如下:(这个类中参数keyworkds就是要高亮显示的值,content就是返回的内容,这样在搜索结果中调用这个类就能实现高亮)

using System;
using System.Collections.Generic;
using System.Linq;
using System.Web;
using PanGu.HighLight;
using PanGu; namespace 站内搜索2.Common
{
public class WebCommon
{
public static string CreateHighLight(string keywords, string content)
{
SimpleHTMLFormatter simpleHTMLFormatter = new PanGu.HighLight.SimpleHTMLFormatter("<font style='color:red'>", "</font>");
Highlighter highlighter = new PanGu.HighLight.Highlighter(simpleHTMLFormatter, new Segment());
//设置每个摘要的字符数
highlighter.FragmentSize = 150;
return highlighter.GetBestFragment(keywords, content);
}
}
}

在搜索结果中调用这个类:

    //  viewModel.Content = doc.Get("content");
viewModel.Content = Common.WebCommon.CreateHighLight(Request["txtContent"], doc.Get("content"));

写到这先放张效果图吧:

站内搜索——Lucene +盘古分词

注意:有的时候我们使用razor引擎,会发生自动编码问题,为了正常显示,我们可以这样写:@MVCHtmlString.Create(item.Title)

JS侧栏分享代码:

<!-- JiaThis Button BEGIN -->
<script type="text/javascript" src="http://v3.jiathis.com/code/jiathis_r.js?move=0&btn=r4.gif" charset="utf-8"></script>
<!-- JiaThis Button END -->

最后再补充一下分词工具使用方式:

站内搜索——Lucene +盘古分词

站内搜索——Lucene +盘古分词

站内搜索——Lucene +盘古分词

站内搜索源码下载:链接:http://pan.baidu.com/s/1o8IlAZK 密码:0gwf

上一篇:mysql查询练习


下一篇:sourcetree下回退