参考文献：《Tensorflow：实战Google深度学习框架》

【一】深度学习简介

1.1 深度学习定义

Mitchell对机器学习的定义：任务T上，随着经验E的增加，效果P也可以随之增加，那么程序可以在经验中学习。

传统机器学习算法的问题：无法从数据中习得更好的特征表达，从而无法有效的利用越来越多的数据

难点：如何数字化的表达现实世界中的实体；将非结构化的内容结构化；从实体中提取特征。

传统机器学习与深度学习的对比

1.2 深度学习历史

深度学习三阶段：

一、仿生机器学习：

　　1943年神经网络，

　　1958年感知机模型：首个根据数据学习特征权重的模型

　　1969：感知机只能解决线性可分问题，不能解决异或问题。 ——导致了神经网络的第一次低潮

二、分布式知识表达（distributed representation）和反向传播算法。

　　1990：分布式知识表达：现实世界中的概念应该通过多个神经元来表达，模型中每个神经元应该表达不同概念。

　　　　　知识从宽度向深度发展，能够习得另外的组合知识。n*m个缩减到n+m个。

　　1990：Rumelhart \ Hinton \ Williams 反向传播算法，计算能力大幅提高。

　　　　　卷积神经网络、循环神经网络在发展

　　1990： Hochreiter \ Schmidhuber LSTM算法

三、数据量提升 \ 计算能力提高

　　ImageNet， Krizhevsky AlexNet，引入深度学习。

1.3 深度学习应用

主要应用范围：

1、计算机视觉：图像分类 (ILSVRC)、物体识别（人脸识别：传统机器学习很难抽取特征）、图像搜索、字符识别

2、语音识别：机器翻译、语音合成

3、自然语言处理：

4、人机博弈：

　　AlphaGo的三部分：蒙特卡洛树搜索、估值网络、走棋网络。

　　蒙特卡洛树搜索：对不同落子点进行搜索

　　走棋网络：给定棋盘，判断下一步落子点

　　估值网络：给定棋盘，判断胜率