本系列将分为 8 篇 。今天是第四篇 。总是理论有些枯燥 ，今天来动手基于 TF 框架实现两个简单的案例 ，以小搏大熟悉一下整个过程 。整体来说 ，训练神经网络分为 3 个步骤 ：

1. 定义神经网络的结构和前向传播的输出结果
   
2. 定义损失函数以及选择反向传播优化的算法
   
3. 生成会话（tf.Session) 并在训练数据上反复运行反向传播优化算法
   

现以直线拟合和回归拟合两个简单案例来熟悉以上 3 个步骤 。

1.直线的拟合

比如我们现在要用 y = k * x + b (其中 k ,b为参数)通过多次的训练来拟合直线 y = 5 * x + 1 。

根据上述 3 个步骤 ，首先构造线性模型 y = k * x + b ，我们目的就是通过训练 ，使得参数 k ，b 去逼近真实值 5 ，1 。之后定义损失函数 ，这里我们用的是二次代价函数 ；选用梯度下降法进行优化 。最后在会话（tf.Session）中进行反复的优化 。具体代码和注释如下 ：

运行结果如下 ，经过 100 轮的训练优化 ，参数的训练值已经很逼近真实值了 。

2.线性回归

回归问题和分类问题不太一样 ，分类是得到结果为 label ，表示类别 ，比如二分类问题等 ，是离散的 ，有限个类别 。回归则是连续的 ，具体看下面例子 。

本例中 ，我们用 y = x*x +noise 随机生成200个散点 ，用神经网络训练 ，拟合出较为理想的回归结果 。

同上述 3 个步骤 ，第一步是定义网络结构和基本信息 ，这部分代码造了一个 10 个节点的中间层 ，之后直接连接一个节点的输出 。输入散点则是利用 numpy 在区间（-0.5，0.5）间生成 200 个散点 ，并在输出中添加了 noise 信息 。具体如下。

这里选用的代价函数为二次代价函数 ，优化算法也是梯度下降法 。之后执行对应的训练 ，并将结果以绘图形式输出 。代码如下 ：

运行该代码 ，得到的结果如下 。

本篇两个案例都比较简单 ，主要目的在于用两个简单实例熟悉神将网络训练的基本步骤 。最后 ，如果觉得这个系列不错 ，记得扫码关注噢 ！