【BP预测】基于Logistic混沌映射改进麻雀算法改进BP神经网络实现数据预测

2023-08-08 13:15:22

一、 BP神经网络预测算法简介

1.1 神经网络的结构

神经网络的网络结构由输入层，隐含层，输出层组成。隐含层的个数+输出层的个数=神经网络的层数，也就是说神经网络的层数不包括输入层。下面是一个三层的神经网络，包含了两层隐含层，一个输出层。其中第一层隐含层的节点数为3，第二层的节点数为2，输出层的节点数为1；输入层为样本的两个特征X1,X2.

图1 三层神经网络

在神经网络中每一个节点的都与上一层的所有节点相连，称为全连接。神经网络的上一层输出的数据是下一层的输入数据。在图中的神经网络中，原始的输入数据，通过第一层隐含层的计算得出的输出数据，会传到第二层隐含层。而第二层的输出，又会作为输出层的输入数据。

神经网络中的每一层（除了输入层）都是由神经元组成，也称为节点。每一个神经元都相当于一个感知器。如下图：

图2 单个神经元

在神经网络中，每个节点都将计算出特征矩阵X与权值矩阵的加权和，得到净输入e，然后通过激励函数f(e)得到该节点的输出y。在图1中，每条连线都可以看做是一个权值。

在神经网络中，可以添加输出层节点的个数来解决多分类问题。有四个类别需要分类则，则输出层的节点个数可以设为4个节点，每一个节点代表一个类别。

1.2 BP神经网络的训练过程

神经网络的训练过程分为两个过程：1、向前传播得到预测数据；2、反向传播更新权重。如下图所示：

图3 神经网络的训练过程

第一步、向前传播得到预测数据：向前传播的过程,即数据从输入层输入，经过隐含层，输出层的计算得到预测值，预测值为输出层的输出结果。网络层的输出即，该层中所有节点（神经元）的输出值的集合。我们以图一的神经网络结构为例，分析向前传播过程。

1.得到隐含层的输出y1,y2,y3：

2.获取到第二层的隐含层输出y4,y5，输入的数据也就是第一层隐含层的输出数据y1,y2,y3。

3、通过输出层，得到最后的预测值y。

第二步、反向传播更新权重：根据样本的真实类标，计算模型预测的结果与真实类标的误差。然后将该误差反向传播到各个隐含层。计算出各层的误差，再根据各层的误差，更新权重。

1.计算输出层的误差：其中z为该样本的类标

2计算第二层隐含层的误差

3.计算第一次隐含层的误差：

4、更新权重：新的权值=原权值+学习速率×该节点的误差×激励函数的导函数的值（f(e)的倒数）×与该节点相连的输入值

4.1更新输入层与第一层隐含层之间的权值：

4.2更新第一层隐含层与第二层隐含层之间的权值

4.3更新第二层隐含层与输出层之间的权值

以上就是反向传播的过程。误差从输出层反向的传到输入层，然后再从输入层向前更新权值。

1.3 BP神经网络的设计与实现

（一） BP神经网络的设计

1.设计网络的结构：

本次实验采用java语言实现。设计了包含一个隐含层的神经网络，即一个2层的神经网络。

每层都含有一个一维X特征矩阵即为输入数据，一个二维W权值矩阵，一个一维的误差矩阵error，同时该神经网络中还包含了一个一维的目标矩阵target，记录样本的真实类标。

X特征矩阵：第一层隐含层的X矩阵的长度为输入层输入数据的特征个数+1，隐含层的X矩阵的长度则是上一层的节点的个数+1，X[0]=1。

W权值矩阵：第一维的长度设计为节点（即神经元）的个数，第二维的长度设计为上一层节点的个数+1；W[0][0]为该节点的偏置量

error误差矩阵：数组长度设计为该层的节点个数。

目标矩阵target：输出层的节点个数与其一致。

激活函数：采用sigmoid函数：1/1+e-x

2.神经网络的计算过程

按照以上的设计，向前传播得到下一层的输出结果，如图所示：

求误差过程，如图所示：

反向传播过程，调整权值，如图所示：

（二） BP神经网络的实现

一、向前传播得到预测数据：

1.初始化权值
2.训练数据集：
2.1、导入训练数据集和目标值；
2.2、向前传播得到输出值；
2.2.1、获取隐含层的输出
2.2.2、获取输出层的输出
二、反向传播更新权重
1、获取输出层的误差；
2、获取隐含层的误差；
3、更新隐含层的权值；
4、更新输出层的权值；

二、麻雀算法

优化问题是科学研究和工程实践领域中的热门问题。智能优化算法大多是受到人类智能、生物群体社会性或自然现象规律的启发，在解空间内进行全局优化。麻雀算法于2020年由薛建凯[1]首次提出，是基于麻雀种群的觅食和反捕食行为的一种新型智能优化算法。

麻雀搜索算法的具体步骤描述以及公式介绍：

构建麻雀种群：

其中，d表示待优化问题的维数，n表示麻雀种群的数量。所有麻雀种群的适应度函数可以表示成如下形式：

其中，Fx表示适应度函数值。

麻雀算法中的麻雀具有两大类分别是发现者和加入者，发现者负责为整个种群寻找食物并为加入者提供觅食的方向，因此，发现者的觅食搜索范围要比加入者的觅食搜索范围大。在每次迭代过程中，发现者按照公式（3）进行迭代。

其中，t表示当前迭代次数，Xij表示第i个麻雀种群在第j维中的位置信息,阿尔法表示的0到1的随机数，itermax表示最大迭代次数，Q表示一个服从正态分布的随机数，L是一个1*d并且元素全为1的矩阵，R2属于0-1表示麻雀种群位置的预警值，ST属于0.5-1表示麻雀种群位置的安全值。

当R2<ST时表示预警值小于安全值，此时觅食环境中没有捕食者，发现者可以进行广泛搜索操作；当R2>ST时意味着种群中有部分麻雀已经发现捕食者，并向种群中的其他麻雀发出预警，所有麻雀都需要飞往安全区域进行觅食。

在觅食过程中，部分加入者会时刻监视发现者，当发现者发现更好的食物，加入者会与其进行争夺，若成功，会立即获得该发现者的食物，否则加入者按照公式（4）进行位置更新。

其中，XP表示目前发现者所发现的最优位置，Xworst表示当前全局最差的位置，A表示其元素随机赋值为1或-1的1*d的矩阵并且满足一下关系：

L仍然是一个1*d并且元素全为1的矩阵。当i>n/2时这表明第i个加入者没有获得食物，处于饥饿状态，此时需要飞往其他地方进行觅食，以获得更多的能量。

在麻雀种群中，意识到危险的麻雀数量占总数的10%到20%，这些麻雀的位置是随机产生的，按照公式（5）对意识到危险的麻雀的位置进行不断更新。

其中，Xbest表示当前全局最优位置，是服从标准正态分布的随机数用来作为步长控制参数，贝塔是一个属于-1到1的随机数，fi表示当前麻雀个体的适应度值，fg表示全局最佳适应度值，fw表示全局最差适应度值，像左耳朵一样的这个是读"一不洗诺"吗？"一不洗诺"表示一个避免分母为0的常数。当fi>fg时表示此时麻雀处于种群边缘，极易受到捕食者的攻击，当fi=fg时表示处于种群中间的麻雀也受到了危险，此时需要靠近其他麻雀以减少被捕食的风险。

三、部分代码



function [FoodFitness,FoodPosition,Convergence_curve]=SSA(N,Max_iter,lb,ub,dim,fobj)
if size(ub,1)==1
    ub=ones(dim,1)*ub;
    lb=ones(dim,1)*lb;
end
Convergence_curve = zeros(1,Max_iter);
%Initialize the positions of salps
SalpPositions=initialization(N,dim,ub,lb);
FoodPosition=zeros(1,dim);
FoodFitness=inf;
%calculate the fitness of initial salps
for i=1:size(SalpPositions,1)
    SalpFitness(1,i)=fobj(SalpPositions(i,:));
end
[sorted_salps_fitness,sorted_indexes]=sort(SalpFitness);
for newindex=1:N
    Sorted_salps(newindex,:)=SalpPositions(sorted_indexes(newindex),:);
end
FoodPosition=Sorted_salps(1,:);
FoodFitness=sorted_salps_fitness(1);
%Main loop
l=2; % start from the second iteration since the first iteration was dedicated to calculating the fitness of salps
while l<Max_iter+1
    c1 = 2*exp(-(4*l/Max_iter)^2); % Eq. (3.2) in the paper
    for i=1:size(SalpPositions,1)
        SalpPositions= SalpPositions';
        if i<=N/2
            for j=1:1:dim
                c2=rand();
                c3=rand();
                %%%%%%%%%%%%% % Eq. (3.1) in the paper %%%%%%%%%%%%%%
                if c3<0.5 
                    SalpPositions(j,i)=FoodPosition(j)+c1*((ub(j)-lb(j))*c2+lb(j));
                else
                    SalpPositions(j,i)=FoodPosition(j)-c1*((ub(j)-lb(j))*c2+lb(j));
                end
                %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
            end
        elseif i>N/2 && i<N+1
            point1=SalpPositions(:,i-1);
            point2=SalpPositions(:,i);
            SalpPositions(:,i)=(point2+point1)/2; % % Eq. (3.4) in the paper
        end
        SalpPositions= SalpPositions';
    end
    for i=1:size(SalpPositions,1)
        Tp=SalpPositions(i,:)>ub';Tm=SalpPositions(i,:)<lb';SalpPositions(i,:)=(SalpPositions(i,:).*(~(Tp+Tm)))+ub'.*Tp+lb'.*Tm;
        SalpFitness(1,i)=fobj(SalpPositions(i,:));
        if SalpFitness(1,i)<FoodFitness
            FoodPosition=SalpPositions(i,:);
            FoodFitness=SalpFitness(1,i); 
        end
    end
    Convergence_curve(l)=FoodFitness;
    l = l + 1;
end