Kaldi的交叉熵正则化

xent_regularize, Cross Entropy Regularize

nnet3/nnet-discriminative-trainning.cc:109

void NnetDiscriminativeTrainer::ProcessOutputs()

交叉熵正则化,即帧平滑

《解读深度学习:语音识别实践》8.2.3 帧平滑

当正确地进行词图补偿后,进行几次序列鉴别性训练的迭代后,就会很快出现过拟合。即,几次鉴别性训练迭代后,模型计算出的帧准确率(帧的后验概率)显著变差(比原模型)。这要归咎与帧序列比帧的维度高,那么,训练时估计出的后验概率是处于帧序列的层次,而解码时估计出的后验概率是处于帧的层次,

上一篇:Xamarin引用第三方包错误解决方法


下一篇:第二阶段——个人工作总结DAY10