ViViT: A Video Vision Transformer 阅读笔记

论文:https://arxiv.org/pdf/2103.15691.pdf

开源代码:无

时间线:2021 arxiv

领域:行为识别

机构:google research

1.Motivation

使用纯transformer结构解决视频分类问题;

2.主要方法

2.1 transformer结构设计

        ViViT: A Video Vision Transformer 阅读笔记

一共四种transformer结构:1.直接复用原始transformer

                                            2.Factorised encoder

                                            3.Factorised self-attention

                                            4.Factorised dot-product attention

2.2 token的构建

        1.Uniform frame sampling

        2.Tubelet embedding

3.效果ViViT: A Video Vision Transformer 阅读笔记

4,结论

目前video transformer 还刚刚兴起,可以关注一下今年ActivityNet Challenge的冠军方法,都是参照transformer进行改造的,目前来看是可以多多挖掘的方向 

上一篇:带你换个角度理解图卷积网络


下一篇:Transformer的说明