论文阅读：Face Recognition: From Traditional to Deep Learning Methods 《人脸识别综述：从传统方法到深度学习》
一、引言
1.探索人脸关于姿势、年龄、遮挡、光照、表情的不变性，通过特征工程人工构造feature，结合PCA、LDA、支持向量机等机器学习算法。
2.流程
- 人脸检测，返回人脸的bounding box
- 人脸对齐，用2d或3d的参考点，去对标人脸
- 人脸表达，embed
- 人脸匹配，匹配分数
二、人脸识别发展综述
1.几何特征
- 最早：边缘提取算子和连通域算子提取特征器官
- 发展：梯度图像
- 基于几何理论的方法在3d识别中有一定应用 [20][21]
2.整体方法
- PCA [22-24]
- PCA的概率版变体，利用贝叶斯分析 [25]。使用两组特征脸来描述相同人和不同人之间variation
- PAC其他变体
- kernel PCA
- 独立成分分析 ICA
- 其他见文章
PCA方法总的来说是基于整体脸，而不是局部部件，来判断输入图像是否是人脸。
PCA方法的问题在于，其投影将训练集中所有图片的variance最大化了，也就是说，最大的特征向量并不利于人脸识别，这是因为，提取到的eigenvector很有可能同一个体的variation（光照，姿势，表情带来的）
- LDA，即Fisher discriminant analysis 【32-36】旨在解决上述问题，其主要思想为利用类别标签去寻找一个投影矩阵，使之能最大化类间距离，同时最小化类内距离。
- 类内距离定义不准确时，LDA方法容易过拟合【35】。这在输入数据是高维度并且每类中的个体数量比较少时很容易出现（多数人脸集就是这样的情况）
- 因此一般在使用LDA前，先用PCA降维
- LDA也有基于kernel和概率的方法，这和PCA类似
- 支持向量机【40】
- 考虑一个二分类问题，分别是类内difference和类间difference（这一点和基于概率的PCA有点类似）
- 将SVM和PCA、LDA做结合，效果不明显，主要因为LDA已经encode了识别人脸所需的判别信息
- 局部保留投影 locality preserving projection （LPP）？
- PCA和LDA保留图像整体信息，LPP则侧重保留局部信息
- LPP学习到的投影（降维）致力于将局部信息相似的图像放在更加接近的子空间中（这似乎意味着对同人不同姿势的识别更好）
- 基向量正交化【43】
- 人脸的稀疏表达【44】
- 将test image用训练图片的线性组合来来表达，通过强调系数矩阵的稀疏性，使得矩阵中多数非零系数都来自正确的类
- 测试时，用每个类的系数矩阵来重构图像，重构误差最小的认为是正确类
- 这种方法可以通过给线性组合增加一项稀疏误差来提高鲁棒性
- K-SVD，如何从训练集中选择一个更加紧凑和有判别性的子集【46】
- 马尔科夫场，【47】，衡量图片中每个像素的权重
- 联合贝叶斯方法（受启发于概率PCA）【48】
- 这种方法中，一张人脸图像被表述为两个独立高斯变量的和（一个代表类内变换，一个代表类间变换）
- 在LFW上达到了92.4%，是整体方法在这个数据集上达到的最高水平
3.基于特征的方法
指利用在人脸图像不同位置提取到的局部特征的方法。（几何方法可以视为该类的一种，也就是提取的是几何特征）
比整体方法更适合于解决个体变换的问题（光照、表情等导致的），其许多描述子具有一定的不变性。
- 模式本征脸法【50】，PCA被独立的用于各局部区域去产生一个本征脸集
- 一种基于二元边缘特征的方法【51】
- hausdorff distance 常用于边缘匹配算法的一种距离算法，衡量两组点集之间的相似程度
- 变体，LEM（line edge maps，线性边缘映射）【53】，将人脸表述为线元
- 基于弹性模型的方法elastic bunchgraph matching（EBGM）【54-55】
- 动态链接模型，将人脸用图上的节点表示，节点包含从预定义的人脸关键点上提取的Gabor小波变换系数
- 除了Gabor，还有基于梯度直方图（HOG）的，【57-59】，效果更优，鲁棒性好
机器视觉其他领域的局部特征描述子发展起来之后，基于特征的方法又火了一波。【60】
- LBP描述子【61】
- 将图像划分为局部，提取LBP直方图，然后拼接为一个全局的特征向量。
- 使用卡方距离（chi-square distance）描述相似性
- 这种方法的变体被广泛应用于人脸检测、表情分析等领域
- 与Gabor特征图结合；使用傅里叶变换；LDP，通过编码方向信息来提取高层次的局部信息【63-66】
- SIFT（Scale invariant feature transform，尺度不变特征变形）
- 描述了三种匹配SIFT描述子的方法，基于规则网格（regular grid）的效果最好
- SURF，dense feature extraction【69-70】
- 其他变形：volume-sift，partial-descriptor-sift，人脸识别准确率有一定提高
- 其他从训练集中学习局部特征的方法
- k-means，PCA，随机树等，致力于对人脸局部微小特征进行离散编码，然后形成人脸不同区域的直方图，最后对每个直方图使用PCA建立人脸描述子【72-74】
- 其他和LBP类似的方法【75-76】
基于特征的方法更鲁棒，但也丢失了整体方法的一些缺点，例如不能很好的鉴别非判别信息，不够紧凑。
4.混合方法
- 这是在DNN出来前最常用的方法，通常是用LBP、SIFT等提取局部特征，然后用PCA、LDA将其投影到低维判别子空间
- 利用Gabor小波特征和子空间方法结合【77-79】
- 基本思路为将不同方向和尺度的Gabor核和图片卷积，将输出拼接成特征向量，再对特征向量进行降维
- LBP描述子是许多混合方法的另一关键组件
- 【81】将图像分成若干不重叠区域，从不同分辨率进行LBP描述子提取和拼接，再投影到PCA+LDA子空间
- 【82】将上述方法拓展到彩色空间
- 拉普拉斯PCA【83】
- three-patch LBP和four-patch LBP月LDA和SVM结合，通过编码相邻patch像素之间的相似性来提升准确率【84】
- 【85】从人脸特征点周围的多尺度LBP提取高维表述，然后用PCA降维，并用联合贝叶斯方法获取最后的判别特征，实验发现高维表述有利于提升精度（向量维度1k->100k，准确率提升6%~7%），但降维计算量巨大，因此这篇文章还提供了 一个对PCA和联合贝叶斯进行估计的稀疏线性投影矩阵，如下
- GaussianFace 【86，87】，基于隐性高斯判别过程的多任务学习方法。其拓展了高斯过程方法，并使用了一种更高效的核LDA来从LBP描述子中学习人脸表述；这种方法能够有效利用不同来源的图像信息。该方法在LFW上准确率能达到98.52%，能与很多深度学习方法媲美。
- 有的混合方法使用了不同局部信息的组合
- Gabor小波特征和LBP特征组合【88】，此文认为LBP描述子提取细节信息，Gabor小波特征则编码了更大尺度的人脸轮廓信息，对二者特征各自进行PCA降维，拼接后用LDA投影到子空间
- 用于光照变化环境中人脸识别的多特征系统【8】，三个贡献
- 提出了一个降低光照影响的pipeline
- 提出了LBP的一个变体，LTP，对噪声更不敏感
- 提出了一种将Gabor wavelet和LBP、LTP特征集合并使用核LDA进行降维再做分数归一化、分数融合的系统
- 稠密SIFT描述子
- 使用其他低层次局部信息训练SVM
- 总的来说混合方法分为两条思路
- 一是通过组合不同形式的局部特征
- 二是通过一些学习方法去提升特征的判别能力
- 深度学习方法则通过训练端到端的系统，来学习到最适合识别任务的大量特征。
5.基于深度学习的方法
- 现有的大型人脸数据集【9-15】
- 其优点在于
- 学习到有判别性的特征
- 特征降维
- 可以训练分类器
- 基本思路
- 训练bottleneck feature作为表述【99】
- 用其他目标识别方法对bottleneck进行优化，例如联合贝叶斯【9】，使用不同loss【10】
- 或者通过优化距离度量直接学习bottleneck特征【100-102】
- 早期：
- 基于决策的概率神经网络PBDNN【103】，用强度和边缘特征训练两个PBDNN，然后联合决策
- SOM（self-organising map）+CNN【104-105】。SOM是一种无监督的网络，能够将输入数据投影到低维空间，同时保留其拓扑信息。
上述两种方法都不是端到端的，并且所用神经网络非常浅。
- 【100】提出了一种端到端的CNN，使用了一种孪生神经网络结构和对比度损失【106】，不过这种网络也很浅，训练数据集也小。
早期方法效果都比较一般，主要是训练集都比较小，造成网络泛化能力不强。
直到ImageNet等大型数据集提出以后【107】，基于深度学习的人脸识别才真正获得state-of-art的准确率【9,99】】
- Facebook DeepFace【99】，在LFW上97.35%
- 采用softmax loss^2损失函数
- 来自4030人的4.4m张图片数据
- 主要贡献：
- 提出了一种有效的基于3D建模的人脸对齐方法
- 提出了一种包含局部连接层的CNN结构【108-109】，可以学习到一幅图像中不同局部的信息
- DeepID【9】
- 在10个区域、3个尺度、RGB和灰度通道等patches上训练了60个CNN？？？
- 测试时，从每个patch及其水平翻转的副本中提取160个bottleneck特征，特征维数160x2x60=19200维
- 在19200维特征上训练一个联合贝叶斯分类器实现人脸认证
- 训练集有来自10177人的202599张图像
- 影响DNN人脸识别精度的三要素
- 训练集
- CNN结构
- loss
- 数据集方面
- 【110】研究了训练集中不同个体数量对识别精度的影响
- 研究将大数据集中每个个体按所含图片多少降序排列
- 实验发现，取前10000个个体的图片作为子集时训练所得精度最高，再增加后续个体图片反而会使精度下降，这是因为再往后，每个个体的图片非常少了。
- 【111】则研究了数据集广度和深度对精度的影响
- wider：数据集中含有更多不同个体
- deeper：数据集中每个个体含有更多图片
- 实验发现，数据集图片数量相同时，广度大的数据集，也就是个体数多的数据集，精度更高
- 作者认为这是因为wider dataset包含更多类间信息
- CNN结构方面
- base VGG【112】的，【10,11】
- base GoogleNet【113】的，【102】，精度和VGG实现的差不多，但参数少了20倍
- base ResNet【114】的，【115-121】，其主要特点为用一个shortcut connection去学习残差映射，使得深度网络更容易训练，因为它能促进信息在层间的传递
- 不同网络结构的综述【121】，最佳平衡的网络结构为100层ResNet，参【122】
- loss选择方面
- softmax loss【99,9,10,123】，研究认为这种loss对训练集中不存在的个体的泛化性能不好，因为它学习的特征强调的是类间difference，但不能降低类内变化的影响
- 改进：
- 一是用联合贝叶斯等判别子空间去优化bottleneck feature，【9,124,125,126,10,127】
- 二是使用metric learning（度量学习），例如将pairwise的对比度损失【100,101】作为监督信号，结合分类损失【124-126】
- metric learning代表作
- triplet loss【128，102】，通过一个边界来区别正样本对和负样本对的距离
- 使用triplet loss的网络比使用softmax的收敛慢，主要是因为一个训练集中有许多triplets
- 原文使用对hard triplet进行筛选的方法来提高训练效率，但更优的做法是先用softmax训练至收敛，再用triplet loss进行fine-tune【11,129,130】
- 变体：
- 用点积取代欧氏距离【129】
- 概率triplet loss【130】
- 【131-132】同时最小化正负样本的标准差
- center loss【133】
- 旨在最小化feature和其所属类中心的距离
- 通过center loss和softmax的联合训练，能够很好地增加类间距离（softmax），同时缩小类内距离（center loss）
- center loss比contrastive和triplet loss更容易实现，因为它不需要在训练中组成pair或者triplet
- range loss【134】
- 提升不平衡数据集的训练效果
- 分为两部分，类内部分最小化样本对于同一类的k类最大距离（k-largest distance），类间部分最大化一个batch中最接近的两类的中心距离。
- 通过使用这些极端的样本，range loss从每个类中使用了相同的信息，而不受每个类别所含图片数量多少的影响
- 与center loss类似，也需要和softmax结合使用【133】
将不同loss结合的一个难点在于如何在不同loss之间找到平衡，也就是如何设置系数，因此现在有很多方法开始调整softmax而不是把它和其他loss结合
- 特征归一化，L2范数归一化【115】，标准化【118】
- 给softmax loss的决策边界中引入一个margin【135】
- 这类的其他变体主要区别在于怎么向softmax中放入这个margin
- SphereFace【116】，权重系数全部归一化，因此决策边界只依赖于θ1和θ2
- CosFace【119，120】，使用了一个累加余弦间隔，区别于【135,116】中的乘法间隔，累加间隔更易实现和优化，特征向量的归一化和缩放同【115】
- ArcFace【121】，保持CosFace优势的同时，有更好的几何解释，因为其间隔累加在angle上而非cosine上
- 带间隔的softmax loss总结：
三、结语
提升数据集和网络size能够继续提高精度，前者可以通过GAN实现，后者可以通过使用Mobilenet等实现【154-156】