一. 感知机

1.     概念

有n个输入数据，通过权重与各数据之间的计算和，比较激活函数结果，得出输出

应用：很容易解决与、或、非问题

2.     演示

http://playground.tensorflow.org/

二. 神经网络

1.     定义

在机器学习和认知科学领域，人工神经网络（artificial neural network，缩写ANN），简称神经网络（neural network，缩写NN）或类神经网络，是一种模仿生物神经网络的结构和功能的计算模型，用于对函数进行估计或近似。

杰弗里·埃弗里斯特·辛顿 （英语：Geoffrey Everest Hinton）是反向传播算法的发明人之一，也是深度学习的积极推动者。

2.     分类

1)       基础神经网络：单层感知器，线性神经网络，BP神经网络，Hopfield神经网络等

2)       进阶神经网络：玻尔兹曼机，受限玻尔兹曼机，递归神经网络等

3)       深度神经网络：深度置信网络，卷积神经网络，循环神经网络，LSTM网络等

3.     神经网络的特点

1)       输入向量的维度和输入神经元的个数相同

2)       每个连接都有个权值

3)       同一层神经元之间没有连接

4)       由输入层，隐层，输出层组成

5)       第N层与第N-1层的所有神经元连接，也叫全连接

4.     组成

1)       结构（Architecture）例如，神经网络中的变量可以是神经元连接的权重

2)       激励函数（Activity Rule）大部分神经网络模型具有一个短时间尺度的动力学规则，来定义神经元如何根据其他神经元的活动来改变自己的激励值。

3)       学习规则（Learning Rule）学习规则指定了网络中的权重如何随着时间推进而调整。（反向传播算法）

5.     对比

 

三. 相关API

1.     one-hot

tf.one_hot(indices,depth,on_value=None,off_value=None,axis=None,dtype=None,name=None)

l  indices 在独热编码中位置，即数据集标签

l  depth张量的深度，即类别数

2.     获取mnist测试数据集

from tensorflow.examples.tutorials.mnist import input_data

mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)

3.     SoftMax回归

公式：

 

4.     损失计算：交叉熵

 

yi’为神经网络结果，