模块安装
pip install jieba
jieba分词器支持4种分词模式:
- 精确模式该模式会试图将句子最精确地切分开，适合在文本分析时使用。
- 全模式该模式会将句子中所有可以成词的词语都扫描出来，速度也非常快，缺点是不能解决歧义问题，有歧义的词语也会被扫描出来。
- 搜索引擎模式该模式会在精确模式的基础上对长词语再进行切分，将更短的词切分出来。在搜索引擎中，要求输入词语的一部分也能检索到整个词语相关的文档，所以该模式适用于搜索引擎分词。
- Paddle模式该模式利用PaddlePaddle深度学习框架，训练序列标注网络模型实现分词，同时支持词性标注。
该模式在4.0及以上版本的jieba分词器中才能使用。使用该模式需要安装PaddlePaddle模块，安装命令为“pip install paddlepaddle”。
开源代码
https://github.com/fxsjy/jieba
基本用法
>>> import jieba
>>> str1 = '我来到了成都的西南交通大学犀浦校区，发现这儿真不错'
>>> seg_list = jieba.cut(str1, cut_all=True)
>>> print('全模式分词结果：' + '/'.join(seg_list))
全模式分词结果：我/来到/了/成都/的/西南/交通/大学/犀/浦/校区/，/发现/这儿/真不/真不错/不错
>>> seg_list = jieba.cut(str1, cut_all=False)
>>> print('精确模式分词结果：' + '/'.join(seg_list))
精确模式分词结果：我/来到/了/成都/的/西南/交通/大学/犀浦/校区/，/发现/这儿/真不错
词性标注
paddle模式词性标注对应表如下：
paddle模式词性和专名类别标签集合如下表，其中词性标签 24 个（小写字母），专名类别标签 4 个（大写字母）。
| 标签 | 含义 | 标签 | 含义 | 标签 | 含义 | 标签 | 含义 |
|---|---|---|---|---|---|---|---|
| n | 普通名词 | f | 方位名词 | s | 处所名词 | t | 时间 |
| nr | 人名 | ns | 地名 | nt | 机构名 | nw | 作品名 |
| nz | 其他专名 | v | 普通动词 | vd | 动副词 | vn | 名动词 |
| a | 形容词 | ad | 副形词 | an | 名形词 | d | 副词 |
| m | 数量词 | q | 量词 | r | 代词 | p | 介词 |
| c | 连词 | u | 助词 | xc | 其他虚词 | w | 标点符号 |
| PER | 人名 | LOC | 地名 | ORG | 机构名 | TIME | 时间 |