Numpy理解各种梯度下降等优化算法
一 本节课程介绍
1.1 知识点
1、优化算法的基本介绍；
2、梯度下降算法的实现；
3、随机梯度下降的实现；
4、其他优化算法的对比；
二 课程内容
2.1 优化算法基本介绍
优化算法常用在最优化模型上，使得模型的损失值为最小。经典的优化算法分为直接法和迭代法。直接法是指能够直接获取到优化问题的最优解。其要求目标函数需要满足两个条件：（1）目标函数需要是凸函数，若目标函数是凸函数，其最优解处的梯度为0；（2）对于求解目标函数梯度为0，需要有其闭式解。常见的直接优化算法有岭回归，有想要更深了解的同学可以自行加深学习。
迭代法是指通过迭代的方式对最优解的估计，其可以分为一阶法和二阶法。本文所讲解的梯度下降法就属于是一阶法。二阶法也叫作牛顿法，Hessian矩阵就是目标函数的二阶信息。
人工智能中常见的优化算法有梯度下降法（BGD）、随机梯度下降法（SGD）、小批次梯度下降法（MBGD）、Adagrad和Adam等。
2.1.1 梯度下降法
梯度下降法需要求解每一步函数的梯度，按照梯度*固定步长的方式对上一步的数值进行加和，为了使得梯度最快拟合，使用梯度负数可以最快拟合。
特点：每次都会对全局数据进行更新，易造成训练缓慢。
2.1.2 随机梯度下降法
如上所述，当训练数据量特别大时，经典的梯度下降法每次对模型参数进行更新时，需要遍历所有的训练数据，会造成很长的训练时间，在这种情况下显然不可取。
为了解决这个问题，随机梯度下降法每次使用单个训练样本进行计算损失，即可以实现用单个训练数据对模型参数进行更新，极大的加快了收敛速度，但是由于使用单个样本近似全局，易造成准确率降低，模型震荡严重。
特点：模型更新较快，精度下降。
2.1.3 动量梯度下降法
为了缓解随机梯度下降模型精确率较差的问题，其一陷入函数鞍点处。使用惯性保持的方式进行缓解这个问题。
修改梯度下降法的公式为，添加一个修正项，为一个系数乘以上一步的步伐。这里的系数为带衰减的系数。即其由两部分组成：一是由学习率乘以当前的梯度；二是带衰减的前一个步伐。这样惯性就可以使得当前的步伐考虑到上一步伐有一定的惯性保持。
三 实验测试
3.1 numpy实现批量梯度下降
首先要导入库：
import numpy as np
import matplotlib.pyplot as plt
（1）设置X参数值随机生成的200行一列的均匀分布数据乘以5。
X = 5 * np.random.rand(200, 1)
（2）设置y与x之间的关系式如下，其中np.random.randn(200, 1)作为噪声项，3和8是我们需要求解的值，即最终求解的矩阵为[[3],[8]]为最完整的答案：
y = 3 + 8 * X + np.random.randn(200, 1)
（3）设置x参数要加上一个偏置项，即y=w*x+b，其中b是乘以1的，故需要生成200行一列的1用来求解b。：
x=np.c_[np.ones((200, 1)), X]#作为求解偏置项，即偏置项需要乘以1，而不是x
（4）设置梯度下降的基本参数，learning_rate为学习率，iterations为迭代次数，并初始化θ的值：
learning_rate=0.05
iterations=2000
theta=np.random.randn(2,1)
（5）根据梯度下降法的公式，迭代计算并打印输出：
for i in range(iterations):
gradients=1.0/200*x.T.dot(x.dot(theta)-y)
theta=theta-learning_rate*gradients
print(theta)
最终模型运行后值为：
（5）构建需要预测的x值，按照上面的方式一样：
X_test = np.array([[0],[5]])
X_pred=np.c_[np.ones((2, 1)), X_test]#作为求解偏置项，即偏置项需要乘以1，而不是x
（6）预测值为其点乘参数y=WT*X：
y_predict = X_pred.dot(theta)
（7）绘制图可视化，为折线图和散点图
plt.plot(X_test, y_predict, 'r-')
plt.plot(X, y, 'b.')
最终可查看拟合效果：
3.2 numpy实现随机梯度下降法
首先要导入库：
import numpy as np
import matplotlib.pyplot as plt
（1）设置X参数值随机生成的200行一列的均匀分布数据乘以5。
X = 5 * np.random.rand(200, 1)
（2）设置y与x之间的关系式如下，其中np.random.randn(200, 1)作为噪声项，3和8是我们需要求解的值，即最终求解的矩阵为[[3],[8]]为最完整的答案：
y = 3 + 8 * X + np.random.randn(200, 1)
（3）设置x参数要加上一个偏置项，即y=w*x+b，其中b是乘以1的，故需要生成200行一列的1用来求解b。：
x=np.c_[np.ones((200, 1)), X]#作为求解偏置项，即偏置项需要乘以1，而不是x
（4）设置梯度下降的基本参数，learning_rate为学习率，iterations为迭代次数（这里要考虑每次对一个样本更新，样本有200个，为了保持2000次迭代，这里选取2000/200=10），并初始化θ的值：
learning_rate=0.05
iterations=10
theta=np.random.randn(2,1)
（5）根据梯度下降法的公式，迭代计算并打印输出：
for epoch in range(iterations):
for i in range(200):
random_idx=random.randint(0,200)#随机生成抽取样本的位置
xi=x[random_idx:random_idx+1]#根据随机生成的位置选取样本
yi=y[random_idx:random_idx+1]
gradients=xi.T.dot(xi.dot(theta)-yi) #只用了一个数据不需要求平均值
theta= theta - learning_rate * gradients
最终模型运行后值为：
（5）构建需要预测的x值，按照上面的方式一样：
X_test = np.array([[0],[5]])
X_pred=np.c_[np.ones((2, 1)), X_test]#作为求解偏置项，即偏置项需要乘以1，而不是x
（6）预测值为其点乘参数y=WT*X：
y_predict = X_pred.dot(theta)
1
（7）绘制图可视化，为折线图和散点图
plt.plot(X_test, y_predict, 'r-')
plt.plot(X, y, 'b.')
最终可查看拟合效果：
四 思考与作业
尝试使用sklearn实现不同的梯度下降算法