最近用到文本相关性计算,要在开放域语料上操作,找了好久没找到好的方法,后来看到了清华的梁斌老师建的cikuapi,上面能查询一些相关词,自己写代码爬的时候出现中文解码问题,遂到Github上找了下相关代码,最终找到crawl_cikuapi,
抓取相关词,cikuapi提供一个引擎能查询给定关键词的相关词,
crawl_cikuapi中有两个函数:
1、get_degrees:这个好像是获取相关级别的,但是我这边还没调通,
2:、get_related_words:是获取相关词并追加在本地文件中,
查询“ABC”的结果:
就介绍这些,有问题可以继续评论交流,