最近一直在研究机器学习，看过两本机器学习的书，然后又看到深度学习，对深度学习产生了浓厚的兴趣，希望短时间内可以做到深度学习的入门和实践，因此写一个深度学习系列吧，通过实践来掌握《深度学习》和 TensorFlow，希望做成一个系列出来，加油！
学习内容包括了：
1. 小象学院的《深度学习》课程
2. TensorFlow的官方教程
3. 互联网上跟深度学习相关的教程
整个深度学习，学习的过程是通过一条主线串联起来的，这个知识结构总结的还是蛮好的。
1. 线性回归 - 线性回归是基础。
2. 神经网络 - 线性回归引入非线性激励（保留线性函数的信息，但是又要转化成为非线性，为啥呢？线性的描述能力太有限了，大部分复杂问题都是非线性的）就形成了神经元，神经元组合在一起就构成了最基础的神经网络，神经元和神经网络都是深度学习的基础。
3. 卷积神经网络（CNN）- 神经网络，通过卷积核构建成为CNN（卷积神经网络），为什么引入卷积核？如何引入卷积核？需要好好再理解和分析一下。
4. 卷积神经网络（CNN）- 目标分类，图像识别，人脸识别，物品识别，场景识别，文字识别，把卷积神经网络研究明白就可以完成大量的目标分类的功能。
5. 卷积神经网络（CNN）- 目标监测， 安防，自动驾驶，卷积神经网络的进一步应用场景。
6. 循环神经网络（RNN）- CNN时域迭代形成循环神经网络
7. LSTM - Word2vec - 语句生成，自动翻译，智能对话
8. 增强学习 - 围棋，德州扑克，自动游戏
9. 生成网络，判别网络，对抗网络 - 无限数据
计划与期望效果：
1. 理论讲解，模型分析
2. TensorFlow 实例运行，调试（源码共享）
3. 思想总结，资源分享，论文推荐，方便课后研究
能力进阶：
1. 入门：明白概念，练习和原理。
2. 实践：能够运用模型展开具体应用开发。
3. 提升：根据具体问题设计新的模型。
总结：理论+实践+总结 => 解决全新的问题
提纲：
1. 深度学习：传统到现在
2. 深度学习应用特点
3. 深度学习框架比较
4. TensorFlow 介绍
5. 一些基本深度学习概念
期待目标：
1. 了解深度学习发展
2. 清楚深度学习能力范围
3. 知道常见深度学习框架
4. 会 安装、运行、简单调试 TensorFlow，了解 TF运行方式
5. 了解：神经元，卷积核，分类，回归等基本概念
深度学习：传统到现在
1. 传统机器学习
数据预处理 -> 特征提取 -> 选择分类器
数据预处理：归一化，降维，去噪
特征提取：人工设计模式图像：SIFT，LBP，Fisher，Gabor，Hog 语言：MFCC，小波，Word2vec
选择分类器：SVM，决策树，随机森林，贝叶斯网络，线性回归，聚类
2. 深度学习
数据准备：数据，标签
设计模型：CNN，RNN，CNN+RNN
训练：调结构，损失函数，训练函数
2010年 NEC-UIUC Lin CVPR 2011
2012年 SuperVision
2014年 GoogLeNet VGG
2015年 MSRA
推动因素：
1. 理论：CNN，RNN，ReLU
2. 数据：ImageNet，LFW
3. 硬件：Nvidia CUDA + GPU
总结：深度学习 = 硬件（CPU+GPU+FPGA+TPU） + 算法（CNN，RNN，ReLU）+大数据（ImageNet）
未来可能进展 - 无人驾驶
未来可能进展 - 无人超市
未来可能进展 - 自动翻译
未来可能进展 - 个人助手
深度学习应用特点：
优点：
学习能力强
覆盖范围广，适用性好
可移植性好
ImageNet -> ImageNet Model -> 物品分类，目标检测，人脸计算，场景识别，生成图片
总结：5种类型的应用：物品分类，目标检测，人脸计算，场景识别，生成图像
缺点：
计算量大，便携性差
硬件要求高
模型设计复杂
有可能被“Hack”
长于计算，弱于算计
深度学习框架比较
TensorFlow Python，文档 +++，CNN兼容 +++，RNN兼容 ++，上手难易 +++，速度 ++，并行支持 ++，Keras兼容+，支持 Google
深度学习框架比较：
本课程选择：TensorFlow
1. 文档丰富，适合初学者
2. 安装非常方便
3. 谷歌支持，长期有效
4. 自动求导，只需关注模型设计
5. Keras支持，方便迅速开发
原因：
1. 统一模型标准，方便交流
2. 维持地位：TPU， Google Cloud，Future Market
3. 影响力 TF2016
TensorFlow 介绍 - 实例程序运行
1. 简单程序：直线方程拟合（见Code：course_1_tf_lr.py）
2. 基本迭代：迭代次数，Learning Rate，模型结构，误差对比
深度学习基本概念 - 神经元
深度学习基本概念 - 卷积核 - 图像处理基本算子（边界算子）
卷积核 - CNN卷积核Plot
本节总结：
1. 了解深度学习发展
2. 清楚深度学习能力范围
3. 知道常见的深度学习框架
4. 会安装、运行、简单更改 TensorFlow
5. 了解：神经元，卷积核，分类，回归等基本概念
总结:
课程代码：https://github.com/wiibrew/DeepLearningCourseCodes
https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_basic_operation.py
https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_lr.ipynb
https://github.com/wiibrew/DeepLearningCourseCodes/blob/master/course_1_tf_lr.ipynb