北大开源分词工具包: 准确率远超THULAC、jieba 分词

2024-03-21 11:59:46

pkuseg 的优势

pkuseg 是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。pkuseg 具有如下几个特点：

多领域分词。相比于其他的中文分词工具包，此工具包同时致力于为不同领域的数据提供个性化的预训练模型。根据待分词文本的领域特点，用户可以*地选择不同的模型。
我们目前支持了新闻领域，网络领域，医药领域，旅游领域，以及混合领域的分词预训练模型。
在使用中，如果用户明确待分词的领域，可加载对应的模型进行分词。如果用户无法确定具体领域，你也可以使用 pkuseg 默认的通用模型
更高的分词准确率。相比于其他的分词工具包，当使用相同的训练数据和测试数据，pkuseg 可以取得更高的分词准确率。
支持用户自训练模型。支持用户使用全新的标注数据进行训练。
支持词性标注。

安装

目前仅支持 python3
为了获得好的效果和速度，强烈建议通过 pip install 更新到目前的最新版本

通过 PyPI 安装(自带模型文件)：

pip3 install pkuseg
之后通过import pkuseg来引用

如果 PyPI 官方源下载速度不理想，建议使用镜像源，比如：初次安装：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pkuseg

更新：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple -U pkuseg

如果不使用 pip 安装方式，选择从 GitHub 下载，可运行以下命令安装：

python setup.py build_ext -i

GitHub 上面的代码并不包括预训练模型，因此需要用户自行下载或训练模型，使用时设定 "model_name" 为模型文件即可。

各类分词性能对比

我们选择 jieba、THULAC 等国内代表分词工具包与 pkuseg 做性能比较。

细领域训练及测试结果

以下是在不同数据集上的对比结果：

MSRA	Precision	Recall	F-score
jieba	87.01	89.88	88.42
THULAC	95.60	95.91	95.71
pkuseg	96.94	96.81	96.88

WEIBO	Precision	Recall	F-score
jieba	87.79	87.54	87.66
THULAC	93.40	92.40	92.87
pkuseg	93.78	94.65	94.21

更多详细比较可参见和现有工具包的比较。

使用方式

代码示例1：使用默认配置进行分词（如果用户无法确定分词领域，推荐使用默认模型分词）

import pkuseg

seg = pkuseg.pkuseg()           # 以默认配置加载模型
text = seg.cut('我爱北京*')  # 进行分词
print(text)
['我', '爱', '北京', '*']

代码示例2：细领域分词（如果用户明确分词领域，推荐使用细领域模型分词）

import pkuseg

seg = pkuseg.pkuseg(model_name='medicine')  # 程序会自动下载所对应的细领域模型
text = seg.cut('我爱北京*')              # 进行分词
print(text)

代码示例3：分词同时进行词性标注，各词性标签的详细含义可参考 tags.txt

import pkuseg

seg = pkuseg.pkuseg(postag=True)  # 开启词性标注功能
text = seg.cut('我爱北京*')    # 进行分词和词性标注
print(text)

代码示例4：对文件分词

import pkuseg

# 对input.txt的文件分词输出到output.txt中
# 开20个进程
pkuseg.test('input.txt', 'output.txt', nthread=20)

其他使用示例可参见详细代码示例。

参数说明

模型配置

pkuseg.pkuseg(model_name = "default", user_dict = "default", postag = False)
    model_name      模型路径。
                "default"，默认参数，表示使用我们预训练好的混合领域模型(仅对pip下载的用户)。
                "news", 使用新闻领域模型。
                "web", 使用网络领域模型。
                "medicine", 使用医药领域模型。
                "tourism", 使用旅游领域模型。

    user_dict       设置用户词典。
                "default", 默认参数，使用我们提供的词典。
                None, 不使用词典。
                dict_path, 在使用默认词典的同时会额外使用用户自定义词典，可以填自己的用户词典的路径，词典格式为一行一个词。

    postag           是否进行词性分析。
                False, 默认参数，只进行分词，不进行词性标注。
                True, 会在分词的同时进行词性标注。

对文件进行分词

pkuseg.test(readFile, outputFile, model_name = "default", user_dict = "default", postag = False, nthread = 10)
    readFile        输入文件路径。
    outputFile      输出文件路径。
    model_name      模型路径。同pkuseg.pkuseg
    user_dict       设置用户词典。同pkuseg.pkuseg
    postag          设置是否开启词性分析功能。同pkuseg.pkuseg
    nthread         测试时开的进程数。

模型训练

pkuseg.train(trainFile, testFile, savedir, train_iter = 20, init_model = None)
    trainFile       训练文件路径。
    testFile        测试文件路径。
    savedir         训练模型的保存路径。
    train_iter      训练轮数。
    init_model      初始化模型，默认为None表示使用默认初始化，用户可以填自己想要初始化的模型的路径如init_model='./models/'。

多进程分词

当将以上代码示例置于文件中运行时，如涉及多进程功能，需要使用 if __name__ == '__main__' 保护全局语句。

预训练模型

pkuseg 除了给我们提供默认的训练模型之外，我们还可以指定以下预训练模型，只需要在调用的时候将 model_name 改成以下你需要的名称即可！

news: 在MSRA（新闻语料）上训练的模型。
web: 在微博（网络文本语料）上训练的模型。
medicine: 在医药领域上训练的模型。
tourism: 在旅游领域上训练的模型。
mixed: 混合数据集训练的通用模型。随pip包附带的是此模型。

当然，如果以上模型不能满足你的需求，你也可以通过大量语料训练自己的模型，从而达到更高的识别率！

作者：华为云享开发者 Jerryning

码农公寓