python词云（二）：中文词云介绍及其存在的问题

2022-03-16 13:35:54

这里主要介绍一下基于Python生成中文词云，学习只要是通过网上的博客，及python中文分词库jieba：
博客：http://blog.csdn.net/fontthrone/article/details/72782971
和http://blog.csdn.net/fontthrone/article/details/72782499
及jieba包的github：https://github.com/fxsjy/jieba
然后提出不足，在接下来的几篇相关的博客来解决这个问题：

jieba中文分词组件特点：

  • 支持三种分词模式：

    • 精确模式，试图将句子最精确地切开，适合文本分析；
    • 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
    • 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
  • 支持繁体分词
  • 支持自定义词典

算法

  • 基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图 (DAG)
  • 采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
  • 对于未登录词，采用了基于汉字成词能力的 HMM 模型，使用了 Viterbi 算法

主要功能

jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用 HMM 模型
jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM 模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK 字符串，可能无法预料地错误解码成 UTF-8
jieba.cut 以及jieba.cut_for_search返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用jieba.lcut 以及jieba.lcut_for_search 直接返回list
jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。

import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list))  # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list))  # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦")  # 默认是精确模式
print(", ".join(seg_list))

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造")  # 搜索引擎模式
print(", ".join(seg_list))

结果：
python词云（二）：中文词云介绍及其存在的问题
jieba.load_userdict(file_name) 添加自定义词典，使 分词更加精确。
词典格式为一个词占一行；每一行分三部分：词语、词频（可省略）、词性（可省略），用空格隔开，顺序不可颠倒。file_name 若为路径或二进制方式打开的文件，则文件必须为 UTF-8 编码。
用add_word(word, freq=None, tag=None)和del_word(word)能动态修改词频
关键词的提取方法这里提到了基于TF-IDF算法的关键词抽取和基于TextRank算法的关键词提取：
基于TF-IDF算法的关键抽取API:

  • jieba.analyse.extract_tags(sentence, topK=20, withWeight=False, allowPOS=())
    sentence 为待提取的文本

topK 为返回几个 TF/IDF 权重最大的关键词，默认值为 20
withWeight 为是否一并返回关键词权重值，默认值为 False
allowPOS 仅包括指定词性的词，默认值为空，即不筛选
jieba.analyse.TFIDF(idf_path=None) 新建 TFIDF 实例，idf_path 为 IDF 频率文件
基于TextRank算法的关键词抽取API：

  • jieba.analyse.textrank(sentence, topK=20, withWeight=False, allowPOS=('ns', 'n', 'vn', 'v')) 直接使用，接口相同，注意默认过滤词性。
  • jieba.analyse.TextRank() 新建自定义 TextRank 实例
    感觉词性的标注还是蛮有用，使语言分析可解释性更强：

jieba.posseg.POSTokenizer(tokenizer=None)
新建自定义分词器，tokenizer 参数可指定内部使用的
jieba.Tokenizer 分词器。jieba.posseg.dt为
默认词性标注分词器。
标注句子分词后每个词的词性，采用和 ictclas 兼容的标记法。
例子：

import jieba.posseg as pseg
words=pseg.cut("我爱杭州")
for word ,flag in words:
    print('%s,%s'%(word,flag))

结果：
python词云（二）：中文词云介绍及其存在的问题
并行分词：
原理：将目标文本按行分隔后，把各行文本分配到多个 Python 进程并行分词，然后归并结果，从而获得分词速度的可观提升。
API：
jieba.enable_parallel(4) 开启并行分词模式，参数为并行进程数
jieba.disable_parallel() 关闭并行分词模式
Tokenize：返回词语在原文的起止位置
默认模式

import jieba

result=jieba.tokenize(u'人生苦短，我用python')
for tk in result:
    print("word %s\t\t start %d \t\t end :%d"%(tk[0],tk[1],tk[2]))

python词云（二）：中文词云介绍及其存在的问题
这里中文分词例子：



from os import path
from scipy.misc import imread
import matplotlib.pyplot as plt
import codecs
import jieba
# jieba.load_userdict("txt\userdict.txt")
# 添加用户词库为主词典,原词典变为非主词典
from wordcloud import WordCloud, ImageColorGenerator
DATABASE_ENGINE = 'sqlite3'
# 获取当前文件路径
# __file__ 为当前文件, 在ide中运行此行会报错,可改为
# d = path.dirname('.')
d = path.dirname(__file__)

stopwords = {}
isCN = 1 #默认启用中文分词
back_coloring_path = "1.jpg" # 设置背景图片路径
text_path = '123.txt' #设置要分析的文本路径
font_path = 'simkai.ttf' # 为matplotlib设置中文字体路径没
stopwords_path = 'stopwords1893.txt' # 停用词词表
imgname1 = "WordCloudDefautColors.png" # 保存的图片名字1(只按照背景图片形状)
imgname2 = "WordCloudColorsByImg.png"# 保存的图片名字2(颜色按照背景图片颜色布局生成)

my_words_list = ['路明非'] # 在结巴的词库中添加新词

back_coloring = imread(path.join(d, back_coloring_path))# 设置背景图片

# 设置词云属性
wc = WordCloud(font_path=font_path,   #设置字体
               background_color="white",  # 背景颜色
               max_words=2000,  # 词云显示的最大词数
               mask=back_coloring,  # 设置背景图片
               max_font_size=100,  # 字体最大值
               random_state=42,
               width=1000, height=860, margin=2,# 设置图片默认的大小,但是如果使用背景图片的话,那么保存的图片大小将会按照其大小保存,margin为词语边缘距离
               )

# 添加自己的词库分词
def add_word(list):
    for items in list:
        jieba.add_word(items)

add_word(my_words_list)

text = open(path.join(d, text_path)).read()

def jiebaclearText(text):
    mywordlist = []
    seg_list = jieba.cut(text, cut_all=False)
    liststr="/ ".join(seg_list)
    f_stop = open(stopwords_path)
    try:
        f_stop_text = f_stop.read( )
        f_stop_text=(f_stop_text,'utf-8')
    finally:
        a=1
        #f_stop.close( )
    f_stop_seg_list=f_stop.read().split('\n')
    f_stop.close()
    for myword in liststr.split('/'):
        if not(myword.strip() in f_stop_seg_list) and len(myword.strip())>1:
            mywordlist.append(myword)
    return ''.join(mywordlist)

if isCN:
    text = jiebaclearText(text)

# 生成词云, 可以用generate输入全部文本(wordcloud对中文分词支持不好,建议启用中文分词),也可以我们计算好词频后使用generate_from_frequencies函数
wc.generate(text)
# wc.generate_from_frequencies(txt_freq)
# txt_freq例子为[('词a', 100),('词b', 90),('词c', 80)]
# 从背景图片生成颜色值
image_colors = ImageColorGenerator(back_coloring)

plt.figure()
# 以下代码显示图片
plt.imshow(wc)
plt.axis("off")
plt.show()
# 绘制词云

# 保存图片
wc.to_file(path.join(d, imgname1))

image_colors = ImageColorGenerator(back_coloring)

plt.imshow(wc.recolor(color_func=image_colors))
plt.axis("off")
# 绘制背景图片为颜色的图片
plt.figure()
plt.imshow(back_coloring, cmap=plt.cm.gray)
plt.axis("off")
plt.show()
# 保存图片
wc.to_file(path.join(d, imgname2))

原图：
python词云（二）：中文词云介绍及其存在的问题
结果：

python词云（二）：中文词云介绍及其存在的问题
【注：这里用了原来博主的图同为龙族迷】
可以看到由于用的图片不为背景与前景像Wordcloud中一样是黑白分明的，源码中用来区分前景与背景的方法只是根据灰度来区分的
所以感觉效果差了一点，接下来的三四片博客我将对这个问题进行优化改进
python词云（二）：中文词云介绍及其存在的问题

上一篇：Dsadd批量域帐号（详细属性）添加方法


下一篇：A.6-什么是“asp.net”?