注意力机制介绍

• 基于人的认知：人总是关注一个画面中的重要信息
• 最早应用于 NLP领域，在CV领域也有广泛应用
• 没有严格的数学定义：例如滑动窗口和局部特征提取都可以理解为一种注意力机制
• 在NN中 注意力机制通常是一个额外的神经网络：选择输入的某些部分/给输入的不同部分加权重
• 以CNN为例：可以再颜色维度加注意力，也可以在通道维度加注意力

《squeeze and excitation networks》()

sd