秒懂神经网络---BP神经网络具体应用不能说的秘密
一、总结
一句话总结：
还是要上课和自己找书找博客学习相结合，这样学习效果才好，不能单视频，也不能单书
BP神经网络就是反向传播神经网络
1、BP神经网络是什么？
反向传播神经网络：通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。
BP网络（Back-ProPagation Network）又称反向传播神经网络， 通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的神经网络模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。
2、BP神经网络有哪些层？
三层：输入层、隐层和输出层，隐层可以有一层或多层
3、BP神经网络的优缺点有哪些？
有高度非线性和较强的泛化能力：优点
收敛速度慢、迭代步数多、易于陷入局部极小和全局搜索能力差：缺点
4、BP神经网络的解题思路？
遗传算法找搜索空间：先用遗传算法对“BP网络”进行优化在解析空间找出较好的搜索空间
BP网络找最优解：再用BP网络在较小的搜索空间内搜索最优解
5、神经网络中隐藏层的意义？
以任意精度逼近一个非线性函数：有关研究表明, 有一个隐层的神经网络, 只要隐节点足够多, 就可以以任意精度逼近一个非线性函数。
6、神经网络的数学本质是什么？
就是找函数：找一个满足输入到输出的复杂关系的函数
7、为什么隐藏层神经元数量的确定十分重要？
多易过度拟合：隐层神经元个数过多, 会加大网络计算量并容易产生过度拟合问题;
少达不到效果：神经元个数过少, 则会影响网络性能, 达不到预期效果。
8、如何确定隐藏层神经元的数量？
实际问题：网络中隐层神经元的数目与实际问题的复杂程度、输入和输出层的神经元数以及对期望误差的设定有着直接的联系。
经验公式：l=(n+m)^(1/2)+a； n为输入层神经元个数, m为输出层神经元个数, a为[ 1, 10]之间的常数。
9、BP神经网络如何选取激励函数？
S(x)=e^x/(1+e^x)：采用Sigmoid可微函数和线性函数作为网络的激励函数。
本文选择S型正切函数tansig作为隐层神经元的激励函数。而由于网络的输出归一到[ -1, 1]范围内, 因此预测模型选取S 型对数函数tansig作为输出层神经元的激励函数。
二、数据预测之BP神经网络具体应用以及matlab代码（转）
转自：数据预测之BP神经网络具体应用以及matlab代码
https://www.cnblogs.com/sallybin/p/3169572.html
1.具体应用实例。根据表2，预测序号15的跳高成绩。
表2 国内男子跳高运动员各项素质指标
|
序号 |
跳高成绩() |
30行进跑(s) |
立定三级跳远() |
助跑摸高() |
助跑4—6步跳高() |
负重深蹲杠铃() |
杠铃半蹲系数 |
100 (s) |
抓举 () |
|
1 |
2.24 |
3.2 |
9.6 |
3.45 |
2.15 |
140 |
2.8 |
11.0 |
50 |
|
2 |
2.33 |
3.2 |
10.3 |
3.75 |
2.2 |
120 |
3.4 |
10.9 |
70 |
|
3 |
2.24 |
3.0 |
9.0 |
3.5 |
2.2 |
140 |
3.5 |
11.4 |
50 |
|
4 |
2.32 |
3.2 |
10.3 |
3.65 |
2.2 |
150 |
2.8 |
10.8 |
80 |
|
5 |
2.2 |
3.2 |
10.1 |
3.5 |
2 |
80 |
1.5 |
11.3 |
50 |
|
6 |
2.27 |
3.4 |
10.0 |
3.4 |
2.15 |
130 |
3.2 |
11.5 |
60 |
|
7 |
2.2 |
3.2 |
9.6 |
3.55 |
2.1 |
130 |
3.5 |
11.8 |
65 |
|
8 |
2.26 |
3.0 |
9.0 |
3.5 |
2.1 |
100 |
1.8 |
11.3 |
40 |
|
9 |
2.2 |
3.2 |
9.6 |
3.55 |
2.1 |
130 |
3.5 |
11.8 |
65 |
|
10 |
2.24 |
3.2 |
9.2 |
3.5 |
2.1 |
140 |
2.5 |
11.0 |
50 |
|
11 |
2.24 |
3.2 |
9.5 |
3.4 |
2.15 |
115 |
2.8 |
11.9 |
50 |
|
12 |
2.2 |
3.9 |
9.0 |
3.1 |
2.0 |
80 |
2.2 |
13.0 |
50 |
|
13 |
2.2 |
3.1 |
9.5 |
3.6 |
2.1 |
90 |
2.7 |
11.1 |
70 |
|
14 |
2.35 |
3.2 |
9.7 |
3.45 |
2.15 |
130 |
4.6 |
10.85 |
70 |
|
15 |
3.0 |
9.3 |
3.3 |
2.05 |
100 |
2.8 |
11.2 |
50 |
4.4 (序号15)跳高成绩预测
4.4.1 数据整理
1）我们将前14组国内男子跳高运动员各项素质指标作为输入，即（30m行进跑，立定三级跳远，助跑摸高，助跑4-6步跳高，负重深蹲杠铃，杠铃半蹲系数，100m，抓举），将对应的跳高成绩作为输出。并用matlab自带的premnmx()函数将这些数据归一化处理。
数据集：（注意：每一列是一组输入训练集，行数代表输入层神经元个数，列数输入训练集组数）
P=[3.2 3.2 3 3.2 3.2 3.4 3.2 3 3.2 3.2 3.2 3.9 3.1 3.2;
9.6 10.3 9 10.3 10.1 10 9.6 9 9.6 9.2 9.5 9 9.5 9.7;
3.45 3.75 3.5 3.65 3.5 3.4 3.55 3.5 3.55 3.5 3.4 3.1 3.6 3.45;
2.15 2.2 2.2 2.2 2 2.15 2.14 2.1 2.1 2.1 2.15 2 2.1 2.15;
140 120 140 150 80 130 130 100 130 140 115 80 90 130;
2.8 3.4 3.5 2.8 1.5 3.2 3.5 1.8 3.5 2.5 2.8 2.2 2.7 4.6;
11 10.9 11.4 10.8 11.3 11.5 11.8 11.3 11.8 11 11.9 13 11.1 10.85;
50 70 50 80 50 60 65 40 65 50 50 50 70 70];
T=[2.24 2.33 2.24 2.32 2.2 2.27 2.2 2.26 2.2 2.24 2.24 2.2 2.2 2.35];
4.4.2 模型建立
4.4.2.1 BP网络模型
BP网络（Back-ProPagation Network）又称反向传播神经网络， 通过样本数据的训练，不断修正网络权值和阈值使误差函数沿负梯度方向下降，逼近期望输出。它是一种应用较为广泛的神经网络模型，多用于函数逼近、模型识别分类、数据压缩和时间序列预测等。
BP网络由输入层、隐层和输出层组成，隐层可以有一层或多层，图2是m×k×n的三层BP网络模型，网络选用S型传递函数， 通过反传误差函数
（ （Ti为期望输出、Oi为网络的计算输出），不断调节网络权值和阈值使误差函数E达到极小。
BP网络具有高度非线性和较强的泛化能力，但也存在收敛速度慢、迭代步数多、易于陷入局部极小和全局搜索能力差等缺点。可以先用遗传算法对“BP网络”进行优化在解析空间找出较好的搜索空间，再用BP网络在较小的搜索空间内搜索最优解。
4.4.2.2 模型求解
4.4.2.2.1 网络结构设计
1) 输入输出层的设计
该模型由每组数据的各项素质指标作为输入，以跳高成绩作为输出，所以输入层的节点数为8，输出层的节点数为1。
2) 隐层设计
有关研究表明, 有一个隐层的神经网络, 只要隐节点足够多, 就可以以任意精度逼近一个非线性函数。因此, 本文采用含有一个隐层的三层多输入单输出的BP网络建立预测模型。在网络设计过程中, 隐层神经元数的确定十分重要。隐层神经元个数过多, 会加大网络计算量并容易产生过度拟合问题; 神经元个数过少, 则会影响网络性能, 达不到预期效果。网络中隐层神经元的数目与实际问题的复杂程度、输入和输出层的神经元数以及对期望误差的设定有着直接的联系。目前, 对于隐层中神经元数目的确定并没有明确的公式, 只有一些经验公式, 神经元个数的最终确定还是需要根据经验和多次实验来确定。本文在选取隐层神经元个数的问题上参照了以下的经验公式:
其中, n为输入层神经元个数, m 为输出层神经元个数, a 为[ 1, 10]之间的常数。
根据上式可以计算出神经元个数为4-13个之间，在本次实验中选择隐层神经元个数为6.
网络结构示意图如下：
4.4.2.2.2 激励函数的选取
BP神经网络通常采用Sigmoid可微函数和线性函数作为网络的激励函数。本文选择S型正切函数tansig作为隐层神经元的激励函数。而由于网络的输出归一到[ -1, 1]范围内, 因此预测模型选取S 型对数函数tansig作为输出层神经元的激励函数。
4.4.2.2.3 模型的实现
此次预测选用MATLAB中的神经网络工具箱进行网络的训练, 预测模型的具体实现步骤如下:
将训练样本数据归一化后输入网络, 设定网络隐层和输出层激励函数分别为tansig和logsig函数, 网络训练函数为traingdx, 网络性能函数为mse,隐层神经元数初设为6。设定网络参数。网络迭代次数epochs为5000次, 期望误差goal为0.00000001, 学习速率lr为0. 01。设定完参数后, 开始训练网络。
该网络通过24次重复学习达到期望误差后则完成学习。详细代码见附录。
网络训练完成后，只需要将各项素质指标输入网络即可得到预测数据。
预测结果为：2.20
matlab代码：
?P=[3.2 3.2 3 3.2 3.2 3.4 3.2 3 3.2 3.2 3.2 3.9 3.1 3.2;
9.6 10.3 9 10.3 10.1 10 9.6 9 9.6 9.2 9.5 9 9.5 9.7;
3.45 3.75 3.5 3.65 3.5 3.4 3.55 3.5 3.55 3.5 3.4 3.1 3.6 3.45;
2.15 2.2 2.2 2.2 2 2.15 2.14 2.1 2.1 2.1 2.15 2 2.1 2.15;
140 120 140 150 80 130 130 100 130 140 115 80 90 130;
2.8 3.4 3.5 2.8 1.5 3.2 3.5 1.8 3.5 2.5 2.8 2.2 2.7 4.6;
11 10.9 11.4 10.8 11.3 11.5 11.8 11.3 11.8 11 11.9 13 11.1 10.85;
50 70 50 80 50 60 65 40 65 50 50 50 70 70];
?T=[2.24 2.33 2.24 2.32 2.2 2.27 2.2 2.26 2.2 2.24 2.24 2.2 2.2 2.35];
?[p1,minp,maxp,t1,mint,maxt]=premnmx(P,T);
?%创建网络
?net=newff(minmax(P),[8,6,1],{'tansig','tansig','purelin'},'trainlm');
?%设置训练次数
?net.trainParam.epochs = 5000;
?%设置收敛误差
?net.trainParam.goal=0.0000001;
?%训练网络
?[net,tr]=train(net,p1,t1);
TRAINLM, Epoch 0/5000, MSE 0.533351/1e-007, Gradient 18.9079/1e-010
TRAINLM, Epoch 24/5000, MSE 8.81926e-008/1e-007, Gradient 0.0022922/1e-010
TRAINLM, Performance goal met. ?%输入数据
?a=[3.0;9.3;3.3;2.05;100;2.8;11.2;50];
?%将输入数据归一化
?a=premnmx(a);
?%放入到网络输出数据
?b=sim(net,a);
?%将得到的数据反归一化得到预测数据
?c=postmnmx(b,mint,maxt);
?c c = 2.2003