Abstract
在Mask-RCNN的基础上加一个在一段video clip中可以propagate instance masks的模块。这样可以参照clip最中间那个instances segmentation 来predict clip-level的instance tracks
Method
MaskProp以一个video的随机长度L作为输入然后输出一个video-level的instance seg tracks M^i，以及类别c^i和置信度s^i。
首先我们的方法要先建立一个clip-level的object instance tracks,clip长度为2T+1。T值既要满足GPU显存大小，也要能handle一定遮挡和模糊的能力。
然后把L个clip的track整合。
4.1. Video Mask R-CNN
loss：
t 代表一个clip里的centre frame，其中prop的loss如下
其中是instance i 由clip的center frame 预测得到的seg
是t'的GT mask
in frame t
p是每个pixel location；总体上这个loss是一个soft IOU loss，会比普通的CEloss要好。
4.2. Mask Propagation Branch
Overview
mask propagation branch是用来track instances的。给出一个视频clip，centered at frame t。对于frame t 中的每个object instance会给出clip-level instance masks。具体三个步骤：
1）instance-specific feature computation，提特征
2）temporal propagation of instance features，传特征
3）propagated instance segmentation，分割
Computing Instance Specific Features
mask branch会先predict frame-level的instance masks
然后用这些frame-level的instance masks来计算instance-specific feature for frame t：对于每个object i，我们计算element-wise product between 和feature from backbone。产生一些新的tensors
，总之就是把backbone feature里不属于这个objects的pixels排除。
Temporally Propagating Instance Features
给出frame-level和
，我们的方法会产生一个propagated instance feature tensor
，它代表由
产生的
帧里的object i 的feature。具体：用
得到的alignment来warping
。用一个deformable conv实现。具体的：计算element-wise difference of
，然后输入到一个residual block，会产生motion offsets
，这些偏移量包含k×k可变形卷积核每个项的（x，y）采样位置。
propagation step 的输入由1）2）
。然后用deformable conv产生
Segmenting Propagated Instances
用预测一个在
帧里相关的object mask。先建立一个新feature：
然后输入到一个1x1卷积里产生帧里相关的object mask，然后会做一个softmax nonlinearity across all Nt instances。
然后对于不属于任何object instance的pixels，我们会用一个3x3卷积来计算的instance-agnostic attention map
。然后把
乘上每一个预测的instance masks。
4.3. Video-Level Segmentation Instances
得到每个clip里的每帧的分割后，还需要把他们连接起来。我们会分配给每个clip-level instance tracks一个video-level的instance ID，通过匹配ID来连接。
Matching Clip-Level Instance Tracks
考虑一对tacks，一个是以t为中心，一个为t'。可能二者会由重合部分。记重合的时间区间为
，我们会通过比较重叠帧中预测的instance masks来比较他们是否match。用下面的式子计算出的一个matching score来确认是否是同一个objcet instance。
Video-Level Instance ID Assignment
我们记为video level IDs集合。通过从t=1到t=L匹配clip-level instance tracks来建立
。
首先我们初始化t=1时。
让代表分配给
的video-level 的ID。
然后t>1时，需要通过匹配和在t时刻之前所有有重叠部分的
来分配一个ID
。
对于已经在中的ID y，我们会计算一个score
来衡量how well
和ID set中已有的tracks的match程度。
是指示函数。
是最大值。如果q*大于一个阈值，
就会被分配给一个ID
。否则，就代表这个clip track不匹配现存的所有ID，所以分配一个新的ID同时扩充ID set
最后，每个clip都会有一个ID：