jieba库的使用

安装:

  cmd模式下输入

pip install jieba

  anaconda对应环境

conda install jieba

分词原理:

   Jieba分词依靠中文词库

    -利用一个中文词库,确定汉字之间的关联概率

    -汉字间概率大的组成词组,形成分词结果

    -除了分词,用户还可以添加自定义的词组

jieba库的三种模式:

  -精确模式:把文本精确的切分开,不存在冗余单词

#jieba.lcut(s)
jieba.lcut("中国是一个伟大的国家")

#output:['中国', '是', '一个', '伟大', '的', '国家']  

  -全模式:把文本中所有的可能的词语都扫描出来,有冗余  

#jieba.lcut(s,cut_all=True)
jieba.lcut("中国是一个伟大的国家",cut_all=True)

#output:['中国', '国是', '一个', '伟大', '的', '国家']   

  -全搜索引擎模式:在精确模式的基础上,对长词再次切分

#jieba.lcut_for_search(s)
jieba.lcut_for_search("*是伟大的")

#output:['中华', '华人', '人民', '共和', '*', '*', '是', '伟大', '的']

 

向分词词典中增加新词w:

#jieba.add_word(w)

jieba.add_word("蟒蛇语言")

jieba.lcut("淡黄的长裙,蓬松的头发")
['淡黄', '的', '长裙', ',', '蓬松', '的', '头发']
上一篇:Jieba分词——三国演义上卷节选


下一篇:jieba库使用