机器学习(ML)策略(1)(ML strategy(1))
为什么是ML策略?(Why ML Strategy?)
正交化(Orthogonalization)
单一数字评估指标(Single number evaluation metric)
查准率(precision)和查全率(recall)
$F_1$分数:$\frac{2}{\frac{1}{P} + \frac{1}{R}}$,在数学中,这个函数叫做查准率$P$和查全率$R$的调和平均数。
满足和优化指标(Satisficing and optimizing metrics)
程序运行时间
假阳性(false positive)
训练/开发/测试集划分(Train/dev/test distributions)
开发(dev)集也叫做开发集(development set),有时称为保留交叉验证集(hold out cross validation set)。
数据随机洗牌
开发集和测试集的大小(Size of dev and test sets)
什么时候该改变开发/测试集和指标?(When to change dev/test sets and metrics)
为什么是人的表现?(Why human-level performance?)
贝叶斯错误率