互补时域动作提名生成

这里的互补是指actionness score grouping 和 sliding window ranking这两种方法提proposal的结合，这两种方法各有利弊，形成互补。

滑窗均匀覆盖所有的视频片段，但时域边界不准确，聚合方法可能更准确但当actionness score比较低的时候，也会漏掉一些proposal。

整体思路：

用actionness score proposal训好PATE网络作用在滑窗proposal上，以此来收集被actionness score grouping遗漏的proposal。

这些proposal经过时域卷积用于proposal ranking和边界回归。本论文在TURN的基础上做的改进。

三种主流方法：

第一种方法的缺点是边界不准，当收集大量proposal时才会产生较高的recall。

第二种方法在更细的粒度上(unit / snippet)训练二分类器，产生actionness score。TAG算法是merge的处理算法，源自watershed算法，用于将连续的高分区域聚合成proposal，避开的硬阈值聚合的缺点，是ssn那篇文章提出的方法。边界更加准确。当这种方法有两个常见的缺点：

1. 在背景片段产生高分响应，导致fp。

2. 在动作片段产生低分响应，导致低recall。

解决方案：

缺点1的方案. actionness proposal是细粒度的，边界更加准确。window-level ranking 加入了全局上下文信息而更有区分性。

window-level分类器用于TAG后处理，以及proposal的排序和边界回归。

缺点2的方案. 滑窗均匀覆盖了视频的所有片段。

适应性的选择滑窗产生的proposal来弥补actionness遗漏的proposal

CTAP：

产生actionness proposals和滑窗proposals，用proposal互补分类器从滑窗proposal中选择漏掉的正确proposal，这个两类分类器用于区分proposal是否被actionness和TAG正确检测到。最后一步是proposal ranking和时域边界微调。相比作者的另一篇TURN中的简单时域平均池化，这里使用了时域卷积。可以有效的保存顺序信息

这里的时序卷积就是时域上的一维卷积

Initail Proposal Generation

Video pre-processing：视频被切分为许多视频单元，每个单元包含连续的n帧，应用双流提取对应单元的特征。

Actionness score：训练一个二分类器对每一个单元产生actionness score

设计了两层时序卷积网络，输入是ta个连续的特征单元，输出动作还是背景的概率。

交叉熵loss，N是batchsize：

表示二值序列，对每一个输入xi表示在xi内的每一个单元有动作1，没动作0。