【Python】机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值

【Python】机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值


本题目来自吴恩达机器学习视频。

题目:

你是一个餐厅的老板,你想在其他城市开分店,所以你得到了一些数据(数据在本文最下方),数据中包括不同的城市人口数和该城市带来的利润。第一列是城市的人口数,第二列是在这个城市开店所带来的利润数。

现在,假设一开始θ0和θ1都是0,利用梯度下降的方法,找到合适的θ值,其中学习速率α=0.01,迭代轮次为1000轮

上一个文章里,我们得出了CostFunction,即损失函数。

现在我们需要找到令损失函数最小的θ值,利用梯度下降函数

1、导包

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

2、之前写的CostFunction函数

def computeCost(X, y, theta):
inner = np.power(((X * theta.T) - y), 2)
return np.sum(inner) / (2 * len(X))

3、引入文件,把X和Y分开,在X左边加一列1,θ0和θ1设置为0,0

path = 'ex1data1.txt'
data = pd.read_csv(path, header=None, names=['Population', 'Profit'])
data.insert(0, 'Ones', 1)
rows = data.shape[0]
cols = data.shape[1]
X = data.iloc[:, 0:cols - 1]
Y = data.iloc[:, cols - 1:cols]
theta = np.mat('0,0')
X = np.mat(X.values)
Y = np.mat(Y.values) cost = computeCost(X, Y, theta)

4、设置更新速率α为0.01,设置迭代次数为1000次

alpha = 0.01
iters = 1500

5、写出梯度下降函数的实现

def gradientDescent(X, Y, theta, alpha, iters):
temp = np.mat(np.zeros(theta.shape)) # 一个数组,temp大小为θ的个数
parameters = int(theta.ravel().shape[1]) # 参数的个数
cost = np.zeros(iters) # 一个数组,存着每次计算出来的costFunction的值 for i in range(iters):
error = (X*theta.T)-Y; #误差值
for j in range(parameters):
term = np.multiply(error,X[:, j])
temp[0,j] = theta[0,j] - ((alpha/len(X)) * np.sum(term))
theta = temp
cost[i] = computeCost(X,Y,theta)
return theta, cost

解析:

temp数组存的是临时变量,因为所有的θ需要同步更新,所以先存入临时变量中,后面计算完所有θ的值后再同步更新。

parameters是一个int值的数,即有多少个变量,本题中有θ0和θ1,所以parameters=2

cost是一个数组,大小和迭代次数一样,每一层存放当前迭代次数下的CostFunction的返回值

6、调用函数,并返回结果

g, cost = gradientDescent(X, Y, theta, alpha, iters)
print(g)

最后结果g=[[-3.24140214  1.1272942 ]]

即最后的θ0=-3.24 θ1=1.127

7、把图打出来,看看是否收敛

fig, ax = plt.subplots(figsize=(12,8))
ax.plot(np.arange(iters),cost,'r')
ax.set_xlabel('Iterations')
ax.set_ylabel('Cost')
plt.show()

【Python】机器学习之单变量线性回归 利用批量梯度下降找到合适的参数值

发现随着迭代次数iters的增大,损失慢慢的降低,所以有效,计算正确。

PS:数据集在机器学习的第一篇中的最下方。

上一篇:线性回归(最小二乘法、批量梯度下降法、随机梯度下降法、局部加权线性回归) C++


下一篇:梯度下降法原理与python实现