参考blog：
复习：
CNN入门
一文搞懂卷积神经网络：写的好，符合认知规律
CNN细节
激活函数概念，激活函数与损失函数，损失函数：交叉熵损失函数
大作业：阅读分析论文
- 基于Keras平台的卷积神经网络模型 :<基于卷积神经网络的人脸表情识别研究>
- 研究内容：
- 卷积神经网络：模拟人脑的分级处理和视觉神经的局部感知
- 提出的基于卷积神经网络的深度学习的网络结构：
- 卷积层
- 池化层
- 全连接层：综合目的，多层感知器
- softmax：多分类问题的求解
- 数据集： FER2013人脸表情数据集
- 图像：像素48*48，灰度，七种表情(0-6)
- 数据集扩增：小样本集训练模型，人为扩展训练数据：运用翻转变换、平移变换等训练集扩增10倍
- 实验：
- 训练集/测试集：8/2
- 识别率66.38%——>达到在使用人工的情况下对数据集的平均识别率水平65%±5%
- 主要思路及技术方案：
- CNN模型结构：2卷积+池化+3卷积+池化+全连接+softmax输出
- 多分类问题，七类表情识别分类
- search：
- 数据集：比网络模型更重要的是数据集
- 这个数据集是一个大型项目的一部分，是用谷歌的人脸识别API获得的，进行了各种边界处理、去重和裁剪的48*48灰度图（所以其实自己能做的数据增强选项不多）。fer2013有采集错误，人类也只有65%±5%的准确度
- fer2013训练集与测试集有一定差距，难以达到理想的泛化效果，所以用各种优化都能明显、或者比较明显的看到实际的改进，反馈好，很适合学习
- blog题主的实现与优化思路：
- 使用卷积神经网络[14]对图像转换进行歧视性训练。胜利者Yichuan Tang，他将SVM的primal objective作为loss去训练，然后加了一个L2-SVM的loss。这是一种在竞赛数据集等方面取得了巨大成果的新发展
- 题主的思路：普通卷积网络+交叉熵来做，再考虑后续优化
- 数据处理：对csv数据读取与分割，数据转图片和标签存入tfrecord（基础概念epoch）
- 神经网络：根据lenet5和alexnet进行变形；
- 3层卷积+池化：感受野
- 损失函数：交叉熵
- 全连接层FC+L2正则化机器学习中的L1和L2正则化-避免过拟合
- 原理：卷积、池化层、感受野、全连接层、softmax、交叉熵、正则化