论文笔记(3)-Extracting and Composing Robust Features with Denoising Autoencoders

2023-12-14 21:00:15

这篇文章是Bengio研究的在传统的autoencoder基础上增加了噪声参数，也就是说在输入X的时候，并不直接用X的数据，而是按照一定的概率来清空输入为0。paper中的名词为corrupted。这样活动函数计算的时候就用这个X尖来计算，而不是用X来计算。然后算法通过reconstruct来根据计算的Y来重构求X。

如下图所示，这种思路十分类似于dropout。不过dropout是在隐层做trike，而这个算法是选择性忽略输入的数据。