表情识别

• 简介
  • 利用卷积神经网络构建整个系统。
  • 尝试了Gabor、LBP等传统人脸特征提取方式。
  • 在FER2013、JAFFE和CK+数据集上进行模型评估。
• 环境部署
  • 基于Python3和Keras2（TensorFlow后端）
  • 具体依赖安装(推荐使用conda或者venv虚拟环境)
    • git clone https://github.com/luanshiyinyang/ExpressionRecognition.git
    • cd ExpressionRecognition
    • pip install -r requirements.txt
  • 预训练模型在Github根目录下的models文件夹中
• 项目说明
  • 传统方法
    • 数据预处理
      • 图片降噪
      • 人脸检测
        • HAAR分类器检测（opencv）
    • 特征工程
      • 人脸特征提取
        • LBP
        • Gabor
    • 分类器
      • SVM
  • 深度方法
    • 数据预处理
      • 人脸检测
        • HAAR分类器
        • MTCNN（效果更好）
    • 卷积神经网络
      • 用于特征提取+分类
• 卷积神经网络
  • 模型构建
    • 主要参考2018年CVPR几篇论文以及谷歌的Going Deeper设计如下网络结构。
      • 
      • 
    • 输入层后加入(1,1)卷积层增加非线性表示且模型层次较浅，参数较少（大量参数集中在全连接层）。
    • 具体代码

      •   def CNN3(input_shape=(48, 48, 1), n_classes=8):
              """
              参考论文实现
              A Compact Deep Learning Model for Robust Facial Expression Recognition
              :param input_shape:
              :param n_classes:
              :return:
              """
              # input
              input_layer = Input(shape=input_shape)
              x = Conv2D(32, (1, 1), strides=1, padding='same', activation='relu')(input_layer)
              # block1
              x = Conv2D(64, (3, 3), strides=1, padding='same')(x)
              x = PReLU()(x)
              x = Conv2D(64, (5, 5), strides=1, padding='same')(x)
              x = PReLU()(x)
              x = MaxPooling2D(pool_size=(2, 2), strides=2)(x)
              # block2
              x = Conv2D(64, (3, 3), strides=1, padding='same')(x)
              x = PReLU()(x)
              x = Conv2D(64, (5, 5), strides=1, padding='same')(x)
              x = PReLU()(x)
              x = MaxPooling2D(pool_size=(2, 2), strides=2)(x)
              # fc
              x = Flatten()(x)
              x = Dense(2048, activation='relu')(x)
              x = Dropout(0.5)(x)
              x = Dense(1024, activation='relu')(x)
              x = Dropout(0.5)(x)
              x = Dense(n_classes, activation='softmax')(x)
          
              model = Model(inputs=input_layer, outputs=x)
              return model
          
        

  • 模型训练
    • 主要在FER2013、JAFFE、CK+上进行训练，JAFFE给出的是半身图因此做了人脸检测。
    • 最后在FER2013上Pub Test和Pri Test均达到67%左右准确率（该数据集爬虫采集存在标签错误、水印、动画图片等问题），JAFFE和CK+5折交叉验证均达到99%左右准确率（这两个数据集为实验室采集，较为准确标准）。
    • 训练过程见train.ipynb文件
      • 
• 模型应用
  • 与传统方法相比，卷积神经网络表现更好，使用该模型构建识别系统，提供GUI界面和摄像头实时检测（摄像必须保证补光足够）。
  • 预测时对一张图片进行水平翻转、偏转15度、平移等增广得到多个概率分布，将这些概率分布加权求和得到最后的概率分布，此时概率最大的作为标签。
  • 注意，GUI预测只显示最可能是人脸的那个表情，但是对所有检测到的人脸都会框定预测结果并在图片上标记，标记后的图片在results目录下。
  • GUI界面
    • 运行scripts下的gui.py即可
    • 效果图
      • 
      • 
      • 图片来自百度，侵删。
  • 实时检测
    • 运行scripts下的recognition_camera.py即可
      • 效果图
        • 演示不便，效果不错。
        • 图片来自百度，侵删。
• 补充说明
  • 具体项目代码、数据集、模型已经开源于我的Github，欢迎Star或者Fork。