1.以前我一直认为像素样本权重取0与直接去掉该样本点效果一样,但今天发现了一个小问题:
当我用1200×800的图像扔进网络中训练,和我使用1200×1200(将上述1200×800图像扩充)的图像并将扩充的部分的样本权重设为0时,得到的结果不同,且精度有一定差距
2.发现当数据经过GroupNorm时,两组数据会有差异,经过一系列的卷积等变换,最终数据差异越来越大。
上图为1200×1200,[:, 800:1200]的样本权重取0的数据经过网络第一层的groupNorm的结果
上图为1200×800的数据经过网络第一层的groupNorm的结果
在经过此groupNorm层之前,经过了一层3*3的卷积层并没有使两个数据发生差异
3.因为图像空间大小不同,所以Normalization后的数据也会有差异,导致虽然样本权重设为0但是还是会有影响