Attention: SENet理解

论文下载

核心

SENet关注channel之间的关系,学习不同channel的重要程度。

创新点
卷积操作默认对输入特征图的所有channel进行融合

SENet自动学习不同channel特征的重要程度

整体结构
Attention: SENet理解

Two-step:

  1. squeeze
    全局平均池化
  2. excitation
    channel尺度缩放,学习不同channel的重要程度

代码

pytorch代码

上一篇:16_3_NLP RNNs Encoder Decoder 多头 Attention_complexity_max path length_sequential operations_colorbar


下一篇:一文彻底搞懂attention机制