NLP Evaluation Metric 分类问题

一、Background

在学会了用deeplearning做情感分类之后,如何评价自己的模型有效果呢?如果没有评价指标的话,别人也没法知道你的方法好不好,那么你所做的一切都是浮云。

最简单的评价指标就是准确率(Accuracy),常用的还有精确率(Precision)、召回率(Recall)、F值、宏平均与微平均等等。并且现在的分类基本上都是多分类问题,我就直接按照多分类来阐述。

二、评价指标

多类分类问题中,分类结果一般有4种情况:

  • 属于类C的样本被正确分类到类C,记这一类样本数为TP
  • 不属于类C的样本被错误分类到类C,记这一类样本数为FP
  • 属于类别C的样本被错误分类到类C的其他类,记这一类样本数为FN
  • 不属于类别C的样本被正确分类到了类别C的其他类,记这一类样本数为TN

1、Accuracy
准确率

Accuracy=TP+TNTP+FP+FN+TNAccuracy=TP+TNTP+FP+FN+TN

2、Precision
精确率
Precision=TPTP+FPPrecision=TPTP+FP

3、Recall
召回率
Recall=TPTP+FNRecall=TPTP+FN

4、F-measure
F值
F=(1+β2)Precision+Recall(β2Precision)+RecallF=(1+β2)∗Precision+Recall(β2∗Precision)+Recall

通常情况下,ββ取为1。

5、Macro-averaging
宏平均是指所有类别的每一个统计指标值的算数平均值,也就是宏精确率

Precisionmacro=1Ni=0NPiPrecisionmacro=1N∑i=0NPi

Recallmacro=1Ni=0NRiRecallmacro=1N∑i=0NRi

Fmacro=2PrecisionmacroRecallmacroPmacro+RmacroFmacro=2∗Precisionmacro∗RecallmacroPmacro+Rmacro

NLP Evaluation Metric 分类问题

NLP Evaluation Metric 分类问题

三、Demo

四、Reference

不得不说这个有很多错误,但还是有值得借鉴的地方
https://sanmisanfan.github.io/2017/08/16/mulitlable-classification/

http://www.cnblogs.com/robert-dlut/p/5276927.html
https://zhuanlan.zhihu.com/p/30953081

上一篇:阿里云RDS for PostgreSQL用户如何定制数据库参数


下一篇:参加阿里云开发者大会对于大数据与AI 的未来思考