CRF++工具包的使用

  CRF学习完了,但是理论不结合实践总是无法出真知的。使用CRF进行命名实体识别有很多方法,比如CRF++工具包、sklearn包中的crfsuite套装、keras框架、tensorflow框架、pytorch框架等等,下面总结借助CRF++工具包实现的几点心得。

一、CRF++工具包的安装与配置

1.CRF++:Yet Another CRF toolkit

  CRF++是基于C++开发、可自定义特征集、基于LBFGS快速训练等等高效特征的CRF开源工具包。用于对序列数据进行分割和标记,主要用于NLP任务,例如命名实体识别、信息提取和文本分块任务。

2.安装

  截至目前更新的最新版为2013-02-13的CRF0.58版本。Windows下的安装很简单,只需要下载下来解压即可。解压包中的文件如图1所示。实际上使用的文件主要有CRF++的训练程序(crf_learn.exe)文件、CRF++的测试程序(crf_test.exe)文件和训练程序和测试程序需要使用的静态链接库(libcrfpp.dll)三个文件。

 CRF++工具包的使用

图表 1 CRF++0.58解压后文件目录

  以上图中各个文件夹内容:

  • doc文件夹:官方主页的html内容。
  • example文件夹:分别有四个任务:基础任务英文命名实体识别basenp、英文分词chunking、日文分词seg、日文实体识别JapaneseNE,每个人物对应的训练数据(train.data)、测试数据(test.data)、模板文件(template)和执行脚本文件(exec.sh)。
  • sdk文件夹:CRF++的头文件和静态链接库。
3.命令行使用
(1)训练(encoding):crf_learn template_file train_file model_file >> train_info_file。

即训练需要准备template_file、train_file两个文件,输出model_file文件。训练有以下几个参数:

  • -a CRF-L2/CRF-L1/MIRA:规范化算法选择,默认是CRF-L2。一般情况L2算法要比L1算法稍微好一点,虽然L1算法中非零特征的数值要比L2中大幅度的小。在0.45版本后的CRF++,还支持single-best MIRA训练算法。
  • -c float:设置CRF的hyper-parameter。默认为1.0,c的数值越大,CRF拟合训练数据的程度越高。这个参数可以调整过度拟合和不拟合之间的平衡度,通过交叉验证等方法寻找较优的参数。
  • -f NUM:设置特征的cut-off threshold。CRF++使用训练数据中至少NUM次出现的特征。默认值为1,当使用CRF++到大规模数据时,只出现一次的特征可能会有几百万,这个选项就会在这样的情况下起到作用。
  • -p NUM:多核CPU,通过多线程提升训练速度。NUM是线程数量。
  • -t:同时生成文本格式的模型,用于调试。
  • -e float:设置停止条件的阈值,float是一个大于0的浮点数。
  • -v:显示版本并退出程序。
  • -m NUM:设置LBFGS的最大迭代次数,NUM是一个整数,默认为10K。

  训练时输出内容的参数:

  • iter:表示迭代次数
  • terr:表示标记的训练错误率,等于标记的训练错误数量/标记的总数。
  • serr:表示sentence的训练错误率,等于sentence的训练错误数量/sentence的总数。
  • obj:当前的目标函数值。当目标函数值收敛到某个固定值时,CRF++停止迭代。
  • diff:目标函数值的相对变化。它等于当前的目标函数值减去上一个目标函数值。
(2)测试:crf_test -m model_file test_files >> result_file。

此处有两个参数:-v和-n。-v用来预测标签概率值,默认值为0,级别越高输出的内容越多;-n NUM显示不同可能序列的概率值。eg. crf_test -v0 -n 20 -m model test.data

二、实验

1.准备训练文件
(1)训练测试文件格式
  • 文件由很多token组成,每个token占据一行,包含固定的字段。
  • 所有token的字段数量相等,字段的数量没有限制,字段之间用空白分割(空格符或者tab符)。
  • 每个字段通常表示某种含义。如:第一列表示单词,第二列表示词性,第三列表示属性等等……h
  • 一个sentence由多个token表述,sentence之间通过空行来区分边界。
  • 训练文件中,最后一个字段必须是标记,将作为CRF++训练的目标。
(2)模板文件

  CRF++使用模板文件来生成特征。模板文件需要用户编写,从而指定需要生成哪些特征。文件中的每一行定义了一个特征模板,以#开头的行是注释行,空行也被认为是注释行而被剔除。有两种类型的特征模板,通过特征模板的第一个字符区分。

  • l  宏语句:特征模板中使用的宏语句%x[row,col],%x是固定的,宏语句的引导字符。row是一个整数,指定了相对于当前的数据行的行数,col是一个整数,指定了采用第几个字段(从0开始编号)。
  • l  Unigram特征模板:模板的第一个字符串为U,这种特征模板用于描述unigram特征。

  给定一个Unigram特征模板U01:%x[0,1],它会生成M个特征函数,其中M为训练数据的行数(剔除空行,因为空行是sentence的分隔符)。每个特征函数为:

“““

func1 = if (output = LABEL1 and feature = “U01:xx1”) return 1 else return 0

func2 = if (output = LABEL2 and feature = “U01:xx2”) return 1 else return 0

func3 = if (output = LABEL3 and feature = “U01:xx3”) return 1 else return 0

……

funcM = if (output = LABELM and feature = “U01:xxM”) return 1 else return 0

”””

    其中LABEL1,……,LABELM是训练文件中每一行的标记,feature=“U01:xx1”,……,feature="U01:xxM"是训练文件中,每一行由U01:%x[0,1]指定的,从该行提取到的特征。

   需要注意的是,上述生成的特征函数会有大量重复,假设标记的种类一共有L个,由U01:%x[0,1]指定,从该行提取到的特征的种类一共有N个,则特征函数的种类一共有L×N个。CRF++会按照L中标记,N中特征来自动生成L×N个特征函数。

  • Bigram特征模型:模板的第一个字符串为B,这种特征模板用于描述bigram特征。

   给定一个Bigram特征模板B01:%x[0,1],它会生成M个特征函数,其中M为训练数据的行数(剔除空白行,因为空白行是sentence的分隔符)。每个特征函数为

“““

func2 = if (output = LABEL2/LABEL1 and feature="B01:xx2") return 1 else return 0

func3 = if (output = LABEL3/LABEL2 and feature="B01:xx3") return 1 else return 0

func4 = if (output = LABEL4/LABEL3 and feature="B01:xx4") return 1 else return 0

....

funcM = if (output = LABELM/LABELM_1 and feature="B01:xxM") return 1 else return 0

”””

    在Bigram中,特征函数中的output是当前的输出标记和前一个输出标记的联合,即联合的是标记而不是特征,特征的联合由宏语句来实现。其他的意义和Unigram中的相同。

  此时生成的特征函数也会有大量重复。假设标记的种类一共有L个,由B01:%x[0,1]指定的,从该行提取到的特征的种类一共有N个,则CRF++会按照L种标记,N种特征自动生成L×L×N个特征函数,训练后函数的权值反映了上一个节点的标签对当前节点的影响。

  当标记的种类L较大时,Bigram会生成非常多的特征函数,其中非常多的特征函数在样本中的返回值只有少量的1,此时,模型的训练和测试将会非常低效。

  如果某一行的内容只有一个字符B,表示:由当前的输出标记和前一个输出标记的联合生成的特征函数。

三、实践

(1)用CRF进行命名实体识别

博客:https://www.jianshu.com/p/12f2cdd86679

参考文献

[1] http://www.huaxiaozhuan.com/%E5%B7%A5%E5%85%B7/CRF/chapters/crfpp.html,CRF++使用。

[2] http://taku910.github.io/crfpp/,CRF

上一篇:自然语言处理之动手学NER


下一篇:bilstm-crf模型使用(摸索版)