闲暇时间喜欢看小说，就想着给小说做词云，展示小说的主要内容。开发语言是Python，主要用到的库有wordcloud、jieba、scipy。代码很简单，首先用jieba.cut()函数做分词，生成以空格分割的字符串，然后新建WordCloud类，保存为图片。
#coding:utf-8
import sys
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
from scipy.misc import imread
from datetime import datetime novel=sys.argv[1] #'assz.txt'
imgmask=sys.argv[2] #'assz.jpg'
t=datetime.now()
resimg="word_"+novel.split('.')[0]+"_"+str(t.month)+str(t.day)+str(t.hour)+str(t.minute)+str(t.second)+".jpg" novletext=open(novel).read()
hmseg=jieba.cut(novletext) seg_space=' '.join(hmseg) alice_color=imread(imgmask)
#wordcloud默认不支持中文，这里的font_path需要指向中文字体，不然得到的词云全是乱码
fwc=WordCloud(font_path='msyh.ttc',max_words=700,background_color='white',mask=alice_color,max_font_size=100,font_step=1).generate(seg_space)
imagecolor=ImageColorGenerator(alice_color)
plt.imshow(fwc.recolor(color_func=imagecolor))
plt.axis("off")
plt.show()
fwc.to_file(resimg)
结果如下
得到的结果很不理想，一是角色的名字被分割开，比如“路西恩”被分割成了“路西”、“恩”或者“路”、“西恩”；二是“这样”、“那样”、“他们”这样的常用词太多，盖住了其他词语，让人无法确定小说的内容。
因此在生成词云之前，还得先生成一个过滤表，把“这样”、“那样”、“他们”这样的常用词去掉，不参与词云展示。这里我选了《斗破苍穹》《回到过去变成猫》《奥术神座》《灭运图录》《一世之尊》5本书，求出词频并排序，取每本书出现频率最高的1500个词，如果一个词在这7500个词中出现两次（不含）以上，则认为是高频常用词，写入过滤表中。
#coding:utf-8
import os
import jieba def ff(dd):
return dd[1] def array2dic(arr):
segdict={}
for seg in arr:
if len(seg)<2:
continue
if seg in segdict:
segdict[seg]+=1
else:
segdict[seg]=1
return segdict novels=['斗破苍穹.txt','回到过去变成猫.txt','assz.txt','mytl.txt','yszz.txt']
freq=[]
for novel in novels:
maotext=open(novel).read()
seglist=jieba.cut(maotext)
segdict=array2dic(seglist) c=1
segsort=sorted(segdict.items(),key=ff,reverse=True)
for item in segsort:
#print(item[0]+' '+str(item[1]))
freq.append(item[0])
if c==1500:
break
c+=1 freqdict=array2dic(freq)
freqsort=sorted(freqdict.items(),key=ff,reverse=True)
k=1
f=open('filter3.txt','w+')
for item in freqsort:
if item[1]>3:
f.write(item[0]+" ")
if k%5==0:
f.write("\n")
k+=1
f.close()
print('ok')
同时，在分词之前，添加新词，保证分词准确。修改后的代码如下
#coding:utf-8
import sys
import jieba
import matplotlib.pyplot as plt
from wordcloud import WordCloud,ImageColorGenerator
from scipy.misc import imread
from datetime import datetime jieba.add_word('路西恩')
jieba.add_word('恐怖如斯') def customfilter(segs):
filter=open('filter.txt').read()
resseg=""
for seg in segs:
if seg not in filter:
resseg+=' '+seg
return resseg novel=sys.argv[1] #'assz.txt'
imgmask=sys.argv[2] #'assz.jpg'
t=datetime.now()
resimg="word_"+novel.split('.')[0]+"_"+str(t.month)+str(t.day)+str(t.hour)+str(t.minute)+str(t.second)+".jpg" novletext=open(novel).read()
hmseg=jieba.cut(novletext) seg_space=customfilter(hmseg) alice_color=imread(imgmask) fwc=WordCloud(font_path='msyh.ttc',max_words=700,background_color='white',mask=alice_color,max_font_size=100,font_step=1).generate(seg_space)
imagecolor=ImageColorGenerator(alice_color)
plt.imshow(fwc.recolor(color_func=imagecolor))
plt.axis("off")
plt.show()
fwc.to_file(resimg)
成果代码
这样的结果比之前进步不小。
从词云上能看出不少有意思的规律，比如：有女主的小说，女主的名字出现频率往往仅次于主角。比如路西恩与娜塔莎，郝仁与薇薇安。但是全职里陈果在词频上享受了女主的待遇，钦点的女主苏沐橙反倒要仔细找才能看到。