有关深度学习模型精度突然下降的问题
文章目录
前言
最近在跑深度学习模型时，遇到了精度会在一定间隔内突然下降的问题，所以这篇博客的主要目的就是解决掉它
提示：以下是本篇文章正文内容，下面案例可供参考
一、原本精度图和复现精度图
第一张是论文中的图片，第二张是我按照论文中的参数去进行复现的图片（原图片找不到了…大概是这样的）。虽然我的样本数不如原论文中的多，但是出现这种情况确实让我大跌眼镜。（我的数据处理，以及代码本身没有存在问题，这点我已经检查过了）
（虽然是PS的图，但我当时的结果差不多就是这个样子…）
二、解决方法
网络模型中自带的Dropout会使神经元随机失活，而在VGGNet中会有Dropout层的出现，虽然它会提高我们模型的鲁棒性，但是也会造成某些重要的神经元被无效掉，所以会导致我们的复现结果不那么理想。因而只要去除掉Dropout层整个模型就会在代码无误的情况下趋于平稳。
这是去掉Dropout后的结果。
``
希望可以尽快完成我的实验…先埋个坑，日后补上模型压缩相关的工作。