【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

1 BP神经网络预测算法简介

1.1 神经网络的结构

神经网络的网络结构由输入层,隐含层,输出层组成。隐含层的个数+输出层的个数=神经网络的层数,也就是说神经网络的层数不包括输入层。下面是一个三层的神经网络,包含了两层隐含层,一个输出层。其中第一层隐含层的节点数为3,第二层的节点数为2,输出层的节点数为1;输入层为样本的两个特征X1,X2.

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

图1 三层神经网络

在神经网络中每一个节点的都与上一层的所有节点相连,称为全连接。神经网络的上一层输出的数据是下一层的输入数据。在图中的神经网络中,原始的输入数据,通过第一层隐含层的计算得出的输出数据,会传到第二层隐含层。而第二层的输出,又会作为输出层的输入数据。

神经网络中的每一层(除了输入层)都是由神经元组成,也称为节点。每一个神经元都相当于一个感知器。如下图:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

图2 单个神经元

 在神经网络中,每个节点都将计算出特征矩阵X与权值矩阵的加权和,得到净输入e,然后通过激励函数f(e)得到该节点的输出y。在图1中,每条连线都可以看做是一个权值。

在神经网络中,可以添加输出层节点的个数来解决多分类问题。有四个类别需要分类则,则输出层的节点个数可以设为4个节点,每一个节点代表一个类别。

1.2 BP神经网络的训练过程

神经网络的训练过程分为两个过程:1、向前传播得到预测数据;2、反向传播更新权重。如下图所示:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

图3 神经网络的训练过程

第一步、向前传播得到预测数据:向前传播的过程,即数据从输入层输入,经过隐含层,输出层的计算得到预测值,预测值为输出层的输出结果。网络层的输出即,该层中所有节点(神经元)的输出值的集合。我们以图一的神经网络结构为例,分析向前传播过程。

1.得到隐含层的输出y1,y2,y3:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

2.获取到第二层的隐含层输出y4,y5,输入的数据也就是第一层隐含层的输出数据y1,y2,y3。

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

3、通过输出层,得到最后的预测值y。

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

第二步、反向传播更新权重:根据样本的真实类标,计算模型预测的结果与真实类标的误差。然后将该误差反向传播到各个隐含层。计算出各层的误差,再根据各层的误差,更新权重。

1.计算输出层的误差:其中z为该样本的类标

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

2计算第二层隐含层的误差

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

3.计算第一次隐含层的误差:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

4、更新权重:新的权值=原权值+学习速率×该节点的误差×激励函数的导函数的值(f(e)的倒数)×与该节点相连的输入值

 4.1更新输入层与第一层隐含层之间的权值:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

4.2更新第一层隐含层与第二层隐含层之间的权值

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

4.3更新第二层隐含层与输出层之间的权值

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

以上就是反向传播的过程。误差从输出层反向的传到输入层,然后再从输入层向前更新权值。

1.3 BP神经网络的设计与实现

  (一) BP神经网络的设计

1.设计网络的结构:

本次实验采用java语言实现。设计了包含一个隐含层的神经网络,即一个2层的神经网络。

每层都含有一个一维X特征矩阵即为输入数据,一个二维W权值矩阵,一个一维的误差矩阵error,同时该神经网络中还包含了一个一维的目标矩阵target,记录样本的真实类标。

X特征矩阵:第一层隐含层的X矩阵的长度为输入层输入数据的特征个数+1,隐含层的X矩阵的长度则是上一层的节点的个数+1,X[0]=1。

W权值矩阵:第一维的长度设计为节点(即神经元)的个数,第二维的长度设计为上一层节点的个数+1;W[0][0]为该节点的偏置量

error误差矩阵:数组长度设计为该层的节点个数。

目标矩阵target:输出层的节点个数与其一致。

激活函数:采用sigmoid函数:1/1+e-x

2.神经网络的计算过程

按照以上的设计,向前传播得到下一层的输出结果,如图所示:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

求误差过程,如图所示:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

反向传播过程,调整权值,如图所示:

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

(二) BP神经网络的实现

一、向前传播得到预测数据:

1.初始化权值
2.训练数据集:
  2.1、导入训练数据集和目标值;
  2.2、向前传播得到输出值;
    2.2.1、获取隐含层的输出
    2.2.2、获取输出层的输出
二、反向传播更新权重
 1、获取输出层的误差;
 2、获取隐含层的误差;
 3、更新隐含层的权值;
 4、更新输出层的权值;

2 原子搜索算法

原子搜索优化算法(Atom Search Optimization)是于2019提出的一种基于分子动力学模型的新颖智能算法.模拟在原子构成的分子系统中,原子因相互间的作用力和系统约束力而产生位移的现象.在一个分子系统中,相邻的原子间存在相互作用力(吸引力和排斥力),且全局最优原子对其他原子存在几何约束作用 .引力促使原子广泛地探索整个搜索空间,斥力使它们能够有效地开发潜在区域 。具有寻优能力强,收敛快的特点。
1.原子优化算法原理

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

 【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

 【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

3 ASO优化BP神经网络的步骤

Step1:初始化BP神经网络的权值和阈值
Step2:计Logistic混沌映射改进的原子搜索优化算法的决策变量长度,选取均方误差作为优化的目标函数。
Step3:设置算法停止准则,使用遗传优化算法优化神经网络的权值和阈值参数。
Step4:将优化得到的权值和阈值参数赋给BP神经网络。
Step5:优化后的BP神经网络训练与测试,与优化前的BP神经网络进行误差分析和精度对比。

4 演示代码


%--------------------------------------------------------------------------
% Atom Search Optimization.
function [X_Best,Fit_XBest,Functon_Best]=ASO(alpha,beta,Fun_Index,Atom_Num,Max_Iteration)

% Dim: Dimension of search space.
% Atom_Pop: Population (position) of atoms.
% Atom_V:  Velocity of atoms.
% Acc: Acceleration of atoms.
% M: Mass of atoms. 
% Atom_Num: Number of atom population.
% Fitness: Fitness of atoms.
% Max_Iteration: Maximum of iterations.
% X_Best: Best solution (position) found so far. 
% Fit_XBest: Best result corresponding to X_Best. 
% Functon_Best: The fitness over iterations. 
% Low: The low bound of search space.
% Up: The up bound of search space.
% alpha: Depth weight.
% beta: Multiplier weight

alpha=50;
beta=0.2;


   Iteration=1;
   [Low,Up,Dim]=Test_Functions_Range(Fun_Index); 
 
   % Randomly initialize positions and velocities of atoms.
     if size(Up,2)==1
         Atom_Pop=rand(Atom_Num,Dim).*(Up-Low)+Low;
         Atom_V=rand(Atom_Num,Dim).*(Up-Low)+Low;
     end
   
     if size(Up,2)>1
        for i=1:Dim
           Atom_Pop(:,i)=rand(Atom_Num,1).*(Up(i)-Low(i))+Low(i);
           Atom_V(:,i)=rand(Atom_Num,1).*(Up(i)-Low(i))+Low(i);
        end
     end

 % Compute function fitness of atoms.
     for i=1:Atom_Num
       Fitness(i)=Test_Functions(Atom_Pop(i,:),Fun_Index,Dim);
     end
       Functon_Best=zeros(Max_Iteration,1);
       [Max_Fitness,Index]=min(Fitness);
       Functon_Best(1)=Fitness(Index);
       X_Best=Atom_Pop(Index,:);
     
 % Calculate acceleration.
 Atom_Acc=Acceleration(Atom_Pop,Fitness,Iteration,Max_Iteration,Dim,Atom_Num,X_Best,alpha,beta);


 % Iteration
 for Iteration=2:Max_Iteration 
           Functon_Best(Iteration)=Functon_Best(Iteration-1);
           Atom_V=rand(Atom_Num,Dim).*Atom_V+Atom_Acc;
           Atom_Pop=Atom_Pop+Atom_V;     
    
    
         for i=1:Atom_Num
       % Relocate atom out of range.  
           TU= Atom_Pop(i,:)>Up;
           TL= Atom_Pop(i,:)<Low;
           Atom_Pop(i,:)=(Atom_Pop(i,:).*(~(TU+TL)))+((rand(1,Dim).*(Up-Low)+Low).*(TU+TL));
           %evaluate atom. 
           Fitness(i)=Test_Functions(Atom_Pop(i,:),Fun_Index,Dim);
         end
        [Max_Fitness,Index]=min(Fitness);      
     
        if Max_Fitness<Functon_Best(Iteration)
             Functon_Best(Iteration)=Max_Fitness;
             X_Best=Atom_Pop(Index,:);
          else
            r=fix(rand*Atom_Num)+1;
             Atom_Pop(r,:)=X_Best;
        end
     
      % Calculate acceleration.
       Atom_Acc=Acceleration(Atom_Pop,Fitness,Iteration,Max_Iteration,Dim,Atom_Num,X_Best,alpha,beta);
 end

Fit_XBest=Functon_Best(Iteration); 

5 仿真结果

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

【BP预测】基于Logistic混沌映射改进的原子搜索算法优化BP神经网络实现数据预测matlab源码

6 参考文献

《基于BP神经网络的宁夏水资源需求量预测》

上一篇:【Python入门教程】第06篇 变量


下一篇:解决C++中:“取消对NULL指针XXX的引用”的警告提示