Pedestrian Detection aided by Deep Learning Semantic Tasks

CVPR 2015

本文考虑将语义任务（即：行人属性和场景属性）和行人检测相结合，以语义信息协助进行行人检测。先来看一下大致的检测结果（TA-CNN为本文检测结果）：

可以看出，由于有了属性信息的协助，其行人检测的精确度有了较大的提升。具体网络架构如下图所示：

首先从各个数据集上进行行人数据集的收集和整理，即:从Caltech上收集行人正样本和负样本，然后从其他数据集上收集 hard negative samples。有了这些行人图像的patch就可以进行行人属性和行人检测的多任务共同学习的框架了。本文提出的TA-CNN框架，是简化版的AlexNet，去掉了一层Conv和fc，加入了 SPV(Structure Projection Vector),其具体计算方法见论文。

其中，论文中考虑到的行人属性和场景属性主要有以下几种：

 谈一下我对这篇文章的总体感受：

　　本文将属性信息结合到行人检测中，充分利用语义信息排除错误信息的干扰。以ACF行人检测的结果为基准，进行是否是行人的判断，实际上这是将行人检测问题转化为了图像分类问题，而不是像FCN那样进行行人的定位。这一点我觉得挺扯淡的。文中设计了新的联合训练的loss function，并且花了大量篇幅进行了推导和展示。我一直觉得这是一个multi-task的工作，仔细看看标题：人家是用属性信息协助行人检测。额、、无力吐槽、、