中文分词之结巴分词~~~附使用场景+demo（net）

2022-05-14 12:50:30

常用技能（更新ing）：http://www.cnblogs.com/dunitian/p/4822808.html#skill

技能总纲（更新ing）：http://www.cnblogs.com/dunitian/p/5493793.html

在线演示：http://cppjieba-webdemo.herokuapp.com

完整demo：https://github.com/dunitian/TempCode/tree/master/2016-09-05

逆天修改版：https://github.com/dunitian/TempCode/blob/master/2016-09-05/jieba.NET.0.38.2.zip

先说下注意点，结巴分词他没有对分词进行一次去重，我们得自己干这件事；字典得自行配置或者设置成输出到bin目录

 

应用场景举例（搜索那块大家都知道，说点其他的）

中文分词之结巴分词~~~附使用场景+demo（net）

——————————————————————————————————————————————————

言归正传：看一组民间统计数据：（非Net版，指的是官方版）

中文分词之结巴分词~~~附使用场景+demo（net）

net版的IKanalyzer和盘古分词好多年没更新了，所以这次选择了结巴分词（这个名字也很符合分词的意境~~结巴说话，是不是也是一种分词的方式呢？）

下面简单演示一下：

1.先引入包：

中文分词之结巴分词~~~附使用场景+demo（net）

2.字典设置：

中文分词之结巴分词~~~附使用场景+demo（net）

中文分词之结巴分词~~~附使用场景+demo（net）

3.简单封装的帮助类：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
using System.Linq;
using JiebaNet.Segmenter;
using System.Collections.Generic;
 
namespace LoTLib.Word.Split
{
    #region 分词类型
    public enum JiebaTypeEnum
    {
        /// <summary>
        /// 精确模式---最基础和自然的模式，试图将句子最精确地切开，适合文本分析
        /// </summary>
        Default,
        /// <summary>
        /// 全模式---可以成词的词语都扫描出来, 速度更快，但是不能解决歧义
        /// </summary>
        CutAll,
        /// <summary>
        /// 搜索引擎模式---在精确模式的基础上对长词再次切分，提高召回率，适合用于搜索引擎分词
        /// </summary>
        CutForSearch,
        /// <summary>
        /// 精确模式-不带HMM
        /// </summary>
        Other
    }
    #endregion
 
    /// <summary>
    /// 结巴分词
    /// </summary>
    public static partial class WordSplitHelper
    {
        /// <summary>
        /// 获取分词之后的字符串集合
        /// </summary>
        /// <param name="objStr"></param>
        /// <param name="type"></param>
        /// <returns></returns>
        public static IEnumerable<string> GetSplitWords(string objStr, JiebaTypeEnum type = JiebaTypeEnum.Default)
        {
            var jieba = new JiebaSegmenter();
            switch (type)
            {
                case JiebaTypeEnum.Default:
                    return jieba.Cut(objStr);                 //精确模式-带HMM
                case JiebaTypeEnum.CutAll:
                    return jieba.Cut(objStr, cutAll: true);   //全模式
                case JiebaTypeEnum.CutForSearch:
                    return jieba.CutForSearch(objStr);        //搜索引擎模式
                default:
                    return jieba.Cut(objStr, false, false);   //精确模式-不带HMM
            }
        }
 
        /// <summary>
        /// 获取分词之后的字符串
        /// </summary>
        /// <param name="objStr"></param>
        /// <param name="type"></param>
        /// <returns></returns>
        public static string GetSplitWordStr(this string objStr, JiebaTypeEnum type = JiebaTypeEnum.Default)
        {
            var words = GetSplitWords(objStr, type);
            //没结果则返回空字符串
            if (words == null || words.Count() < 1)
            {
                return string.Empty;
            }
            words = words.Distinct();//有时候词有重复的，得自己处理一下
            return string.Join(",", words);//根据个人需求返回
        }
    }
}

调用很简单：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
string str = "bootstrap-datetimepicker 进一步跟进~~~开始时间和结束时间的样式显示";
Console.WriteLine("\n精确模式-带HMM：\n");
Console.WriteLine(str.GetSplitWordStr());
 
Console.WriteLine("\n全模式：\n");
Console.WriteLine(str.GetSplitWordStr(JiebaTypeEnum.CutAll));
 
Console.WriteLine("\n搜索引擎模式：\n");
Console.WriteLine(str.GetSplitWordStr(JiebaTypeEnum.CutForSearch));
 
Console.WriteLine("\n精确模式-不带HMM：\n");
Console.WriteLine(str.GetSplitWordStr(JiebaTypeEnum.Other));
 
Console.ReadKey();

效果：

中文分词之结巴分词~~~附使用场景+demo（net）

--------------------------

有人可能会说，那内容关键词提取呢？==》别急，看下面：

中文分词之结巴分词~~~附使用场景+demo（net）

中文分词之结巴分词~~~附使用场景+demo（net）

中文分词之结巴分词~~~附使用场景+demo（net）

这种方式所对应的字典是它=》idf.txt

中文分词之结巴分词~~~附使用场景+demo（net）

简单说下Constants==》

中文分词之结巴分词~~~附使用场景+demo（net）

效果：

中文分词之结巴分词~~~附使用场景+demo（net）

完整帮助类（最新看github）：https://github.com/dunitian/TempCode/tree/master/2016-09-05

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
using System.Linq;
using JiebaNet.Segmenter;
using System.Collections.Generic;
using JiebaNet.Analyser;
 
namespace LoTLib.Word.Split
{
    #region 分词类型
    public enum JiebaTypeEnum
    {
        /// <summary>
        /// 精确模式---最基础和自然的模式，试图将句子最精确地切开，适合文本分析
        /// </summary>
        Default,
        /// <summary>
        /// 全模式---可以成词的词语都扫描出来, 速度更快，但是不能解决歧义
        /// </summary>
        CutAll,
        /// <summary>
        /// 搜索引擎模式---在精确模式的基础上对长词再次切分，提高召回率，适合用于搜索引擎分词
        /// </summary>
        CutForSearch,
        /// <summary>
        /// 精确模式-不带HMM
        /// </summary>
        Other
    }
    #endregion
 
    /// <summary>
    /// 结巴分词
    /// </summary>
    public static partial class WordSplitHelper
    {
        #region 公用系列
        /// <summary>
        /// 获取分词之后的字符串集合
        /// </summary>
        /// <param name="objStr"></param>
        /// <param name="type"></param>
        /// <returns></returns>
        public static IEnumerable<string> GetSplitWords(string objStr, JiebaTypeEnum type = JiebaTypeEnum.Default)
        {
            var jieba = new JiebaSegmenter();
            switch (type)
            {
                case JiebaTypeEnum.Default:
                    return jieba.Cut(objStr);                 //精确模式-带HMM
                case JiebaTypeEnum.CutAll:
                    return jieba.Cut(objStr, cutAll: true);   //全模式
                case JiebaTypeEnum.CutForSearch:
                    return jieba.CutForSearch(objStr);        //搜索引擎模式
                default:
                    return jieba.Cut(objStr, false, false);   //精确模式-不带HMM
            }
        }
 
        /// <summary>
        /// 提取文章关键词集合
        /// </summary>
        /// <param name="objStr"></param>
        /// <returns></returns>
        public static IEnumerable<string> GetArticleKeywords(string objStr)
        {
            var idf = new TfidfExtractor();
            return idf.ExtractTags(objStr, 10, Constants.NounAndVerbPos);//名词和动词
        }
 
        /// <summary>
        /// 返回拼接后的字符串
        /// </summary>
        /// <param name="words"></param>
        /// <returns></returns>
        public static string JoinKeyWords(IEnumerable<string> words)
        {
            //没结果则返回空字符串
            if (words == null || words.Count() < 1)
            {
                return string.Empty;
            }
            words = words.Distinct();//有时候词有重复的，得自己处理一下
            return string.Join(",", words);//根据个人需求返回
        }
        #endregion
 
        #region 扩展相关
        /// <summary>
        /// 获取分词之后的字符串
        /// </summary>
        /// <param name="objStr"></param>
        /// <param name="type"></param>
        /// <returns></returns>
        public static string GetSplitWordStr(this string objStr, JiebaTypeEnum type = JiebaTypeEnum.Default)
        {
            var words = GetSplitWords(objStr, type);
            return JoinKeyWords(words);
        }
 
        /// <summary>
        /// 提取文章关键词字符串
        /// </summary>
        /// <param name="objStr"></param>
        /// <returns></returns>
        public static string GetArticleKeywordStr(this string objStr)
        {
            var words = GetArticleKeywords(objStr);
            return JoinKeyWords(words);
        }
        #endregion
    }
}

 

中文分词之结巴分词~~~附使用场景+demo（net）

还有耐心或者只看末尾的有福了~

web端的字典配置那是个烦啊，逆天把源码微调了下

 中文分词之结巴分词~~~附使用场景+demo（net）

中文分词之结巴分词~~~附使用场景+demo（net）

使用方法和上面一样

中文分词之结巴分词~~~附使用场景+demo（net）

中文分词之结巴分词~~~附使用场景+demo（net）

web版演示：

https://github.com/dunitian/LoTCode/blob/master/PawChina/PawChina/PawChina.UI/Areas/PawRoot/assets/js/note.js

https://github.com/dunitian/LoTCode/blob/master/PawChina/PawChina/PawChina.UI/Areas/PawRoot/Controllers/PartialViewController.cs

结巴中文分词相关：

https://github.com/fxsjy/jieba

https://github.com/anderscui/jieba.NET

http://cppjieba-webdemo.herokuapp.com


本文转自毒逆天博客园博客，原文链接：http://www.cnblogs.com/dunitian/p/5841839.html，如需转载请自行联系原作者

上一篇：Package gp in the OpenCASCADE


下一篇：【25】考虑写出一个不抛异常的swap函数