神经网络训练技巧

1、数据增强

2、数据预处理

3、学习率衰减

4、在预训练模型上微调

5、用relu激活函数代替sigmoid

6、正则化(L1正则、L2正则、dropout)

7、注意类别不均衡数据(用带权重的损失函数、batch-size balanced sampling)

8、resize图片:center-crop(原图短边等于网络输入size,长边等比例缩放)

9、多任务学习multi-task

10、特征融合:concat操作

11、triplet loss技巧(在训练完其它分支,再加上它可以提高精度、否则不收敛;hard negative sampling)

上一篇:python – Tensorflow数据集API中的过采样功能


下一篇:python – 如何以不同的速率从pandas数据帧中对每个组进行采样