《Attention Augmented Convolutional Networks》注意力的神经网络

paper: 《Attention Augmented Convolutional Networks》 https://arxiv.org/pdf/1904.09925.pdf

这篇文章是google brain的,应该有分量。上来就说:卷积神经网络有一个重要的弱点就是 它仅仅操作于于一个领域,对于没有考虑到全局信息有损失。

(这就是全局和局部的辨证关系。)

注意力机制,以一种能够把握长距离作用的手段,在序列模型和生成模型里使用。这篇文章使用注意力机制到判别模型中来,作为替代卷积的手段。(非常具有ambition)

这篇文章由于使用的是tensorflow 所以表述和 pytorch不同 (tensorfow 是 w*h*c pytorch 是 c*w*h)

在论文的self-attention over image 部分里使用了《Attention is All You Need》的方法介绍有人已经研究过了 在这里 :https://kexue.fm/archives/4765    (苏同学的博客里有不少干货)

总之和上一篇里Self-Attention Generative Adversarial Networks介绍的方法几乎一致。所以就直接参考上边博客的内容。

 

上一篇:论文阅读-可变形卷积网络:Deformable Convolutional Networks


下一篇:「Computer Vision」Note on Exploring Randomly Wired Neural Networks