Andrew Ng机器学习编程作业: Linear Regression

编程作业有两个文件

1.machine-learning-live-scripts(此为脚本文件方便作业)

2.machine-learning-ex1(此为作业文件)

将这两个文件解压拖入matlab工作区内并将machine-learning-live-scripts内的ex1.mlx拖入到machine-learning-ex1\ex1中

Andrew Ng机器学习编程作业: Linear Regression

在命令提示符区输入subimit命令,并填写邮箱与提交凭证来提交作业。

1.A simple MATLAB function

修改warmUpExercise.m文件,生成5*5的单位矩阵并赋给A

A = eye(5);

2.Linear regression with one variable(单变量线性回归)

2.1 Plotting the data

通过每个城市的人口与利润数据求人口与利润的关系。

ex1data1.txt文件内包含了数据集

加载数据并将人口数据赋给X利润数据给y

data = load('ex1data1.txt'); % read comma separated data
X = data(:, 1); y = data(:, 2);

修改plotData.m文件,填写下面的绘制代码

 plot(x, y, 'rx', 'MarkerSize', 10); % Plot the data
ylabel('Profit in $10,000s'); % Set the y-axis label
xlabel('Population of City in 10,000s'); % Set the x-axis label

执行plotData(X,y)将会出面下面图

  Andrew Ng机器学习编程作业: Linear Regression

2.2 Gradient Descent

价值函数:

Andrew Ng机器学习编程作业: Linear Regression

假设函数:

Andrew Ng机器学习编程作业: Linear Regression

调整参数的公式是:

Andrew Ng机器学习编程作业: Linear Regression

每迭代一次J的值就会减少一次。所预测的模型与实际就越符合。

初始化各个变量:

m = length(X) % number of training examples
X = [ones(m, 1), data(:,1)]; % Add a column of ones to x
theta = zeros(2, 1); % initialize fitting parameters
iterations = 1500;
alpha = 0.01;

修改computeCost.m文件。填写代码,计算价值函数:

 J = (1/(2*m))*sum((X*theta-y).^2);

保存执行

computeCost(X, y, theta)  

如果得到的值为32.07则表示计算正确。

修改gradientDescent.m文件,填写代码,用梯度下降算法计算theta值

temp = zeros(size(X,2),1);
  for j = 1:size(X,2)
  temp(j,1) = theta(j,1)-alpha*(1/m)*sum((X*theta-y).*X(:,j));
end
theta = temp;

文件中已经写好循环结构。记住一次迭代中,计算theta值需要用用当前的theta值,视频中已经说明

Andrew Ng机器学习编程作业: Linear Regression

绘制回归直线与训练集的线

% Run gradient descent:
% Compute theta
theta = gradientDescent(X, y, theta, alpha, iterations); % Print theta to screen
% Display gradient descent's result
fprintf('Theta computed from gradient descent:\n%f,\n%f',theta(1),theta(2)) % Plot the linear fit
hold on; % keep previous plot visible
plot(X(:,2), X*theta, '-')
legend('Training data', 'Linear regression')
hold off % don't overlay any more plots on this figure

绘制结果:

Andrew Ng机器学习编程作业: Linear Regression

theta可视化:

价值函数的3d视图

Andrew Ng机器学习编程作业: Linear Regression

价值函数的等高线

Andrew Ng机器学习编程作业: Linear Regression

3. Linear regression with multiple variables(多变量线性回归)

多变量与单变量的价值函数相同。梯度计算也类似,只是多变量线性回归每次迭代计算的theta的数量多。

拥有房子大小和卧室数量两个特征,与房子价格。求房子价格与这两个特征的关系。

导入数据

% Load Data
data = load('ex1data2.txt');
X = data(:, 1:2);
y = data(:, 3);
m = length(y); % Print out some data points
% First 10 examples from the dataset
fprintf(' x = [%.0f %.0f], y = %.0f \n', [X(1:10,:) y(1:10,:)]');

因为房子大小与卧室数量两个值差距很大,如果直接使用梯度下降,那么收敛速度就会很慢。所以需要先进行特征缩放。

特征缩放公式:

Andrew Ng机器学习编程作业: Linear Regression

u为对对应特征平均值,s为标准差(视频中为max-min)。

修改featureNormalize.m文件,填写代码。得到正确的平均值与标准差。可以使用mean函数计算平均值,std函数计算标准差。

mu = mean(X);
sigma = std(X);
X_norm=(X-mu)./sigma;

给X添加一列1

X = [ones(m, 1) X];

在computeCostMulti.m中填写价值函数

 J = (1/(2*m))*sum((X*theta-y).^2);

价值函数也可以用下面公式表示,计算结果一样

Andrew Ng机器学习编程作业: Linear Regression

梯度下降计算theta的值将代码填入gradientDescentMulti.m文件中

 temp = zeros(size(X,2),1);
for j = 1:size(X,2)
temp(j,1) = theta(j,1)-alpha*(1/m)*sum((X*theta-y).*X(:,j));
end
theta = temp;

计算theta的值还可是使用正规方程法。视频中有讲解

Andrew Ng机器学习编程作业: Linear Regression

theta = pinv(X'*X)*X'*y;

预测价格:

price = [[1 ([1650 3]-mu)./sigma]*theta]

需注意,因为进行了特征缩放,所以也应该的需要预测的房子的特征进行缩放。

价格为

Andrew Ng机器学习编程作业: Linear Regression

学习速度alpha,应该选择合适的大小。 过大可能导致价值函数不减反增。过小则会收敛太慢。

上一篇:Coursera machine learning 第二周 编程作业 Linear Regression


下一篇:初学Redis最清晰完整的教程