图卷积标签噪声清洁器：为异常检测训练即插即用动作分类器
原文：arXiv:1903.07256v1
摘要
在以往的工作中，弱标签下的视频异常检测是一个典型的多实例学习问题。在本文中，我们提供了一个新的视角，即噪声标签下的有监督学习任务。在这样的观点下，只要去除标签噪声，我们就可以直接将全监督行为分类器应用于弱监督异常检测，并充分利用这些成熟的分类器。为此，我们设计了一个图卷积网络来校正有噪声的标签。基于特征相似性和时间一致性，我们的网络将监控信号从高置信度片段传播到低置信度片段。以这种方式，网络能够为动作分类器提供干净的监督。在测试阶段，我们只需要从动作分类器获得片段式的预测，而不需要任何额外的后处理。在3个不同尺度的数据集上用2种类型的动作分类器进行了大量实验，结果表明了该方法的有效性。值得注意的是，我们获得了82.12%的UCF犯罪帧级AUC分数。
1介绍
视频中的异常检测在现实场景中有着广泛的应用，如智能监控、暴力报警、证据调查等，长期以来一直受到人们的研究，异常通常被定义为不同于以往工作中常见模式的行为或外观模式[6，1，13]。基于这一定义，一种流行的异常检测范式是一类分类[66,11]（又称一元分类），即仅用正常的训练样本对通常的模式进行编码。然后将不同的编码模式检测为异常。然而，不可能在一个数据集中收集所有正常的行为。因此，一些正常事件可能会偏离编码模式，并可能导致误报。近年来，有研究[20，22，58]提出了一种新的二值分类范式：训练数据中既包含异常视频又包含正常视频。
在二值分类的基础上，我们试图解决弱监督异常检测问题，在训练数据中只有视频级别的异常标签可用。在这个问题中，既没有修剪的异常片段，也没有时间注释来考虑人力成本。
在以前的工作中，弱监督异常检测问题被看作是一个多实例学习（MIL）任务[20，22，58]。他们将一段视频（或一组片段）视为一个包，包中包含视为实例的片段（或帧），并通过包级注释学习实例级异常标签。在本文中，我们从一个新的角度来解决这个问题，将其描述为噪声标签下的有监督学习任务。噪声标签是指异常视频中正常片段的错误注释，因为标记为“异常”的视频可能包含相当多的正常片段。在这种观点下，我们可以直接训练完全监督的行动分类器，一旦噪声标签被清除。
在训练和测试阶段，我们的噪声标记视角都有明显的优势。我们的动作分类器参与了整个学习过程，而不是简单地提取MIL模型的离线特征。在训练过程中，动作分类器和完全监督更新的唯一区别是输入标签。因此，我们保留了这些动作分类器的所有优点，如设计良好的结构、可转移的预训练权值、现成的源代码等。至于测试，训练好的分类器可以直接进行预测，而无需任何后处理。它将特征提取和异常决策无缝地集成到一个模型中，具有极大的方便性和高效性。
直观地说，经过良好训练的分类器产生的预测噪声较小，而经过清洗的标签又有助于训练出更好的分类器。为此，我们设计了一个备用的培训程序，如图1所示。它包括两个交替的阶段，即清洁和分类。在清洗阶段，我们训练一个清洁器来修正从分类器中得到的噪声预测，并且清洁器以较少的噪声提供精确的标签。在分类阶段，动作分类器用清洗后的标签重新训练，生成更可靠的预测。这样的循环操作执行几次直到收敛。我们的清洁器的主要思想是通过高置信度的预测来消除低置信度预测的噪声。我们设计了一个图卷积网络（GCN）来建立高置信度片段和低置信度片段之间的关系。在图中，片段被抽象为顶点，异常信息通过边传播。在测试过程中，我们不再需要清理器，而是直接从训练好的分类器中获取片段异常结果。为了验证我们模型的普遍适用性，我们对两种主流的动作分类器进行了广泛的实验：3D conv网络C3D[59]和双流结构TSN[62]。此外，我们在3个不同规模的数据集上评估了所提出的方法，即UCF犯罪[58]、ShanghaiTech[43]和UCSD Peds[35]。实验结果表明，该模型提高了弱监督异常检测的性能。

图1：交替优化机制的概念。利用动作分类器预测的含噪标签对标签噪声清洁器进行训练，然后对其进行细化。重新分配清理后的标签以优化动作分类器。这两个训练过程交替执行

简言之，本文的贡献有三个方面：
•我们将弱标签异常检测问题作为噪声标注下的有监督学习任务，并提出了一个替代训练框架来优化动作分类器。
•我们建议使用GCN清理噪音标签。据我们所知，这是第一个工作，以适用于纠正标签噪声GCN在视频分析领域。
•我们使用两种类型的动作分类器在3个不同尺度的异常检测数据集上进行了实验，其中最先进的性能验证了我们方法的有效性。源代码位于https://github.com/jx-zhong-for-academic-purpose/GCN-anomal-Detection。
2相关工作
异常检测。作为最具挑战性的问题之一，视频中的异常检测已经被广泛研究了多年[30，67，65，19，34，3，47，35]。大多数研究是在假设异常是罕见的或看不见的情况下解决这个问题的，而偏离正常模式的行为被认为是异常的。他们试图通过各种统计模型对规则模式进行编码，例如社会力模型[45]、纹理上的混合动态模型[35]、视频卷上的隐马尔可夫模型[21,30]、时空域上的马尔可夫随机场[28]、高斯过程建模[49,11]，并将异常识别为异常值。稀疏重建[41，31，13，67]也是常用模式建模的另一种流行方法。它们利用稀疏表示来构造正常行为的字典，并将异常检测为重建误差较大的异常。近年来，随着深度学习的成功，一些研究者设计了基于抽象特征学习[19,12,42]或视频预测学习[40]的深度神经网络来进行异常检测。与仅基于正常行为建立检测模型的工作不同，有研究[2，20，58]使用了常用和不常用的数据来建立模型。其中，MIL用于弱监督设置下的运动模式建模[20，58]。Sultani等人[58]提出了一种基于MIL的分类器来检测异常，其中深度异常排序模型预测异常得分。与之不同的是，我们将带有弱标签的异常检测问题描述为噪声标签下的有监督学习，并设计了一个交替的训练过程来逐步提高动作分类器的识别能力。
行动分析。动作分类是计算机视觉领域一个长期存在的问题，已有大量的研究工作[61，59，62，10，26，63]。大多数现代方法都引入了深层架构模型[10、59、57、62]，包括最流行的双流网络[57]、C3D[59]及其变体[62、15、53、10]。到目前为止，基于深度学习的方法已经取得了最先进的成果。除了动作分类外，一些研究者最近还关注了时间动作定位[68，38，69，56，16]。时态行为检测和异常检测的性能指标有很大的不同：行为检测的目的是找到一个尽可能与地面真相重叠的时态间隔，而异常检测的目的是在不同的鉴别阈值下获得鲁棒的帧级性能。在本文中，我们尝试利用功能强大的动作分类器，以一种简单可行的方式检测异常。
在嘈杂的标签下学习。针对噪声标签问题的研究工作[33，48，51，17]一般可分为两类：降噪和损失校正。在降噪的情况下，他们的目标是通过显式或隐式地建立噪声模型来校正噪声标签，例如条件随机场（CRF）[60]，知识图[37]。在后一组的方法是直接学习标签噪声，利用损失调整校正方法。Azadi等人[4]通过对损失函数施加正则化项来主动选择训练特征。不同于这些一般的方法，我们的GCN是针对视频的，并利用了基于视频的特点。
图卷积神经网络。近年来，一大批图卷积网络[50，29，52，36，18]被提出用于处理图结构数据。这些工作的一个重要方面是利用谱图理论[8,14]，它在谱域上分解图信号，并定义一系列卷积的参数化滤波器。许多研究者提出了改进谱卷积的方法，使其在节点分类和推荐系统等任务上具有更高的性能。标签噪声清洁器的目标是在高置信度注释的监督下对图（整个视频）中的节点（视频片段）进行分类。
3问题陈述
给定一个包含N个片段的视频V={vi}_i=1^N，可观察标签Y∈{1，0}表示该视频是否包含异常片段。注意，在训练数据中没有提供时间注释。异常检测的目标是一旦异常出现在测试视频中，就可以精确定位异常的时间位置。
Sabato和Tishby[54]提供了一个理论分析，其中MIL任务可以被视为单侧标签噪声下的学习。在以前的一些工作[20，22，58]中，弱监控信号下的异常检测被描述为典型的故障指示灯问题。因此，我们自然地将异常检测从MIL公式转换为噪声标签设置。
MIL公式。在该公式中，每个片段vi被视为异常标签yi不可用的实例。这些剪辑根据给定的视频级别异常标签Y组成正/负包：正包（Y=1）包括至少一个异常剪辑，而负包（Y=0）完全由正常片段组成。因此，异常检测被建模为MIL下的关键实例检测[39]，以搜索yi=1的正实例vi。此MIL设置允许在行李级别监控下学习实例级别标签，并由此导出一组方法[20、22、58]。
噪声标记学习公式。很明显，标签Y=0是无噪声的，因为它意味着视频V中的所有片段vi都是正常的：

然而，Y＝1是有噪声的，因为在这种情况下，视频V部分地由异常剪辑组成：

这被称为单面标签噪声[7，9，55]，因为噪声仅随Y=1出现。只要适当地处理标签噪声w.r.t.Y=1，我们就能够很容易地将各种成熟的动作分类器应用于异常检测。
4图卷积标签噪声清洁器
与许多噪声标记学习方法类似，该方法采用了类EM优化机制：交替训练动作分类器和噪声清洁器。在噪声清洁器的每个训练步骤中，我们都从动作分类器中获得粗略的片段异常概率，并且我们的噪声清洁器的目标是通过高置信度的异常分数来校正低置信度的异常分数。
不同于其他一般的噪声标记学习算法，我们的清洁器是专门为视频设计的。据我们所知，这是第一个在噪声标记视频中部署GCN的工作。在图卷积网络中，我们利用视频的两个特征来校正标签噪声，即特征相似性和时间一致性。直观地说，特征相似性意味着异常片段具有相似的特征，而时间一致性则意味着异常片段可能在时间上彼此接近。
4.1. 特征相似图模块
如图2所示，动作分类器的特征首先用两个完全连接的层进行压缩，以减轻维数灾难[5]。我们用属性图[52]F=（V，E，X）对特征进行了相似的建模，其中V是顶点集，E是边集，X是顶点的属性。特别地，V是第3节中定义的视频，E描述片段之间的特征相似性，X∈R^N×d表示这N个片段的d维特征。F的邻接矩阵A^F∈R^N×N定义为

其中，元素A^F（i，j）以类似的方式度量第i个和第j个片段之间的特征。因为邻接矩阵应该是非负的，所以我们用归一化指数函数将相似度限定在范围(0,1]上。基于图F，具有相似特征的片段紧密相连，标签分配根据不同的邻接值进行不同的传播。

图2：标签噪声清洁器培训过程概述。动作分类器从异常视频片段中提取时空特征，并输出噪声片段级标签。对分类器中的片段级特征进行压缩，并将其输入到两个图模块中，对片段的特征相似性和时间一致性进行建模。在这两个基于graphbased的模块中，较暗的节点表示代码段的异常置信度较高。将这两个模型的输出进行融合，以较少的噪声预测片段级标签。通过高置信度片段更新损失以校正预测噪声。

通过图拉普拉斯运算，驱动相邻顶点具有相同的异常标签。在Kipf和Welling[29]之后，我们用重正化技巧近似图Laplacian：

其中自环邻接矩阵

，In∈R^N×N为单位矩阵；

为相应的度矩阵。最后，特征相似图模块层的输出计算为：

其中W是可训练的参数矩阵，σ是激活函数。由于整个计算过程是可微的，我们的特征相似图模块可以端到端的方式进行训练。因此，神经网络能够无缝地结合单个或多个堆叠的模块。尽管上述过程包含一些元素计算，但我们在附录中提供了一个高效的矢量化实现。
最近，Wang和Gupta[63]还建立了相似图来分析视频。然而，目标和方法都与我们有很大的不同：他们的目标是捕获相关对象/区域的相似关系的长期依赖性，而我们试图用整个片段/帧的相似性水平来传播监控信号。
4.2. 时间一致性图模块
正如[24，46，64]所指出的，时间一致性对许多基于视频的任务是有利的。时间一致性图T直接建立在视频的时间结构上。其邻接矩阵A^T∈R^N×N仅依赖于第i个和第j个片段的时间位置：

其中k是非负核函数。考虑到内核应该区分不同的时间距离，并紧密连接附近的片段。在实践中，我们使用指数核（又称拉普拉斯核）精确地限定在(0,1]中：

同样，对于图的拉普拉斯近似，我们得到了重整化邻接矩阵A~^T，如等式4所示，并且该模的正演结果计算如下：

其中W是可训练参数矩阵，σ是激活函数，X是输入特征矩阵。叠加的时间一致性图层也可以方便地加入到神经网络中。
4.3. 损失函数
最后，将上述两个模块的输出与平均池层进行融合，并通过Sigmoid函数进行激活，得到图中每个顶点的概率预测pi，对应于噪声清洁器w.r.t.第i个片段的异常概率。损失函数L基于两种类型的监督：

其中LD和LI分别在直接监督和间接监督下计算。给出了动作分类器的粗略异常概率

直接监督下的损失项定义为高置信度片段上的交叉熵误差：

其中H是高置信度片段集。我们对每个视频帧进行“10-crop”增强1的过采样，并计算平均异常概率y^_i以及动作分类器的预测方差。正如Kendall和Gal[27]所指出的，方差度量预测的不确定性。换句话说，方差越小，说明置信度越高。这个信心标准在概念上很简单，但实际上是有效的。
间接监督项是一种时间加密策略[32]，用于进一步利用少量标记数据，因为高置信度预测仅来自整个视频的一部分。其主要思想是在不同的训练步骤中平滑所有片段的网络预测：

其中pi是我们的噪声清洁器在不同训练时期的贴现加权平均预测。原始的“冷启动”初始化和我们的实现之间有一个主要的区别，如附录中所述，因为我们已经从动作分类器获得了一组粗略的预测。
4.4. 交替优化
我们的噪声清洁器的训练过程只是交替优化的一部分。另一部分，即我们分类器的训练过程，与普通的完全监督更新完全相同，只是标签是来自我们训练的清洁工的片段预测。在多次重复这种交替优化之后，最后训练的分类器直接预测最终的异常检测结果。显然，在训练或测试阶段几乎不需要改变动作分类器。因此，我们可以方便地训练弱标签下的全监督动作分类器，并直接将其部署到异常检测中，而无需任何提示。
5实验

5.1. 数据集和评估指标
我们在三个不同尺度的数据集上进行了实验，分别是UCF犯罪[58]、上海科技[43]和UCSD-Peds[35]。
UCF犯罪是真实世界监控视频的大规模数据集。异常类型有13种，长视频1900条，其中训练视频1610条，测试视频290条。
上海科技是一个中等规模的437个视频数据集，包括13个场景的130个异常事件。在标准协议[43]中，所有的训练视频都是正常的，这个设置不适合二进制分类任务。因此，我们通过随机选择异常测试视频来重组数据集，并将其转化为训练数据，反之亦然。同时，培训视频和测试视频都涵盖了这13个场景。新的数据集分割将用于后续比较。更多细节见附录。
UCSD-Peds是一个由两个子集组成的小规模数据集：Peds1有70个视频，Peds2有28个视频。由于前者更常用于像素级异常检测[66]，我们仅对后者进行实验，如[43]所示。类似地，默认训练集不包含异常视频。继He等人[20]之后，将UCSD-Peds2上的6个异常视频和4个正常视频随机纳入训练数据，其余视频构成测试集。我们还将此过程重复10次，并报告平均性能。
评估指标。根据前面的工作[43，20，58]，我们绘制了帧级接收机工作特性（ROC）曲线，并计算了曲线下面积（AUC）作为评估指标。在时间异常检测任务中，较大的帧级AUC意味着较高的诊断能力，以及在不同阈值下的鲁棒性。
5.2. 实施细则
动作分类器。为了验证模型的普遍适用性，我们在实验中使用了两种主流的动作分类器结构。C3D[59]是一个三维卷积网络。该模型是在Sports-1M[26]数据集上预先训练的。在训练过程中，我们将fc7层的特征输入到标签噪声清洁器中。
时间段网络（TSN）[62]是一种双流结构。我们选择在dynamics-400[10]上预先训练的BN Inception[23]作为主干，并从其全局池层中提取特征来训练我们的噪声清洁器。动作分类器都是在Caffe[25]平台上实现的，其视频采样和数据增强的设置与[62]相同。在所有的实验中，如果没有特别指定，我们会保留默认设置。贴上噪音清洁剂的标签。在我们将作者列表和确认部分添加到相机就绪版本之后，由于空间有限，这部分必须移到附录中。请参阅我们的Github页面和附录。
5.3. UCF犯罪实验
在视频级监控下，我们对C3D进行了18000次迭代训练。对于TSN，两个流的初始迭代次数都是20000。在每个重新训练步骤中，我们在4000次迭代中停止更新过程。
逐步的结果。如图3所示，我们报告了每一步的AUC表现，以评估我们的替代训练机制的有效性。即使只有给定的视频级别标签，C3D和TSN的RGB分支也可以在第一步实现下降性能。在训练过程中引入动作量词是一个明智的选择。然而，TSN的光流远不能令人满意，这反映了我们进行噪声净化的必要性。在接下来的步骤中，该方法显著提高了所有动作分类器的检测性能。面对初始预测中最大的噪声，我们的光流分支的AUC性能仍然从70.87%提高到78.08%，相对增益为10.2%。

间接监督。我们对TSN的光流形态进行了烧蚀研究。首先，我们将间接监督项从损失中剔除，以验证其有效性。如表1第2行所示，性能从74.60%略微下降到73.79%，但步骤1的结果仍有相当大的提高。在接下来的烧蚀中，我们去除了间接监督项以消除干扰。

时间一致性。我们想探讨两个问题：时态信息有用吗？我们的图卷积能利用这些信息吗？通过排除其他干扰因素，只有时间一致性模块。为了去除时间信息图，我们用0.5（其边界的中值）填充等式6中的AT，并再现交替训练过程。如表1第3行所示，没有时序图的性能比第一步差，在这种情况下，GCN只记住高置信度预测的模式，而忽略了其他片段。至于图卷积的消融，我们观察到独立的时间一致性模块将AUC提高到72.93%，如表1第4行所示，这表明我们的图卷积确实利用了时间信息。
特征相似性。同样，我们只保留特征相似性模块来研究相似图和卷积运算的有效性。首先将邻接矩阵的所有元素作为中间值，破坏特征相似图。在表1的第5行，AUC值下降到67.23%，没有图表。恢复原始特征相似图后，单个特征相似性模块可以将AUC值从70.87%提高到72.44%，如表1第6行所示。这说明相似图和卷积都有利于去除噪声标签。
定量比较。我们在ROC曲线、AUC和虚警率三个指标上与现有模型进行了比较。如图4所示，我们所有动作分类器的曲线几乎完全包围了其他分类器，这意味着它们在不同的阈值下始终优于其竞争对手。三条曲线的光滑性表明了该方法的高稳定性。如表2所示，我们将AUC值最多提高到82.12%。对于0.5检测分数下的误报率，C3D略低于Sultani等人，而其他两个分类器则相当令人满意，如表2所示。值得注意的是，TSN的RGB分支将虚警率降低到0.1%，几乎是迄今为止最佳结果的1/20。


测试集的定性分析。为了观察我们的模型的影响，我们将动作分类器预测的前后变化可视化。如图5所示，我们的去噪过程大大减轻了正常片段和异常片段中动作分类器的预测噪声。有趣的是，分类器未能如图5c所示从头到尾检测到“Arrest007”视频中的异常事件。在观看了“逮捕”课的所有视频之后，我们终于发现了可能的原因：在这个测试视频中类似的场景在训练数据中并不存在。在这段视频中，一名男子在自助洗衣店因故意破坏洗衣机而被捕，如图5d所示，而“逮捕”事件发生在高速公路上或在培训数据的收银台。这意味着，由于现有模型的泛化能力有限，在一般场景中检测异常事件仍然是一个很大的挑战。

图5:UCF犯罪测试结果的可视化。蓝色的曲线是在视频级别标签下训练的动作分类器的预测，橙色的曲线是在干净的监控下的结果。绿色的“GT”条是基本事实。最好在Adobe Reader中观看，其中（d）应作为视频播放。

5.4. 上海理工大学实验
逐步的结果。如表3所示，在对所有动作分类器进行交替训练后，性能得到了提高。第三步TSN的光流分支结果表明，迭代次数过多会影响检测性能。然而，我们的方法表现强劲，因为AUC值只是略有下降。

定性分析。与UCF犯罪不同的是，上海理工大学新校区的培训数据具有时间上的基本真实性。在此基础上，我们可以直观地了解GCN的工作原理。图6中的异常事件是一个学生跳过栏杆，如图7所示。时间一致性模块（右上角）倾向于平滑原始的高置信度预测（左上角的橙色点）。因此，它用密集的高置信度预测正确地注释了第150-200帧，但是由于高置信度输入不足而忽略了剩余的地面真值。特征相似性模块（右下角）倾向于通过相似程度传播信息。它标记了一个很长的片段间隔，包括学生先前的助跑和随后的减速动作，可能是因为它们在光流上具有类似的“同一方向的快速运动”的表示。将这两个模块组合在一起的整个GCN（左下角）可以制作更精确的标签。

图6:ShanghaiTech w.r.t.视频“05 0021”上GCN输出的可视化。左上角的粗略预测来自光流分支，而其他三个是由GCN模块清理的片段标签。

图7：上海科技“050021”部分视频。最好在Adobe Reader中观看，其中（a）-（c）应作为视频播放。

5.5. UCSD-Peds实验研究
在UCSD-Peds系统中，一些基本事实只有4帧，而C3D的预测单元达到16帧。因此，我们用TSN进行了实验。为了使输入尺寸与RGB分支匹配，将原始灰度帧复制到3个原色通道中。
逐步的结果。重复实验10次后，我们得到图8中的方框图。第一步的平均结果已经足够好了，所以我们首先将前90%的高置信度预测输入GCN。我们观察到，该方法不仅提高了检测性能，而且稳定了10次重复实验的预测。

定量比较。我们报告了AUC的“平均值±标准差”，并与文献[20]中相同分割方案下的其他方法进行了比较。如表4所示，我们的方法在两种输入模式下都优于其他方法。

表4:UCSD-Peds2的定量比较。根据评审员的意见，我们进行了更多的比较，如附录所示。

6结论
本文从一个新的角度研究了弱监督异常检测问题，将其转化为噪声标记下的有监督学习任务。与以往的MIL方法相比，这种方法在两个方面具有明显的优点：a）直接继承了成熟动作分类器的所有优点；b）异常检测是通过一个完整的端到端模型完成的，非常方便。此外，我们利用GCN来清理标签，以训练动作分类器。在交替优化过程中，GCN通过将异常信息从高置信度预测传播到低置信度预测来降低噪声。我们在3个不同尺度的数据集和2种不同类型的动作分类网络上验证了该检测模型的有效性和通用性。
确认。本工作部分得到了国家视频技术工程实验室深圳分部项目、国家自然科学基金和广东省大数据科学研究项目（U1611461）、深圳市科技计划项目（JCYJ201708141146428）的支持，部分得到了国家教科基金的支持深圳市基础研究计划（JCYJ201708141120312）。我们感谢三位匿名评论员的宝贵意见。此外，我们感谢杰瑞的英文编辑。