Deep Learning 学习随记(三)续 Softmax regression练习

上一篇讲的Softmax regression,当时时间不够,没把练习做完。这几天学车有点累,又特别想动动手自己写写matlab代码

所以等到了现在,这篇文章就当做上一篇的续吧。

回顾:

上一篇最后给出了softmax regression的代价函数和其偏导数,当然要实现的话基本也就是这两个函数的实现,为方便查看,这里再写一遍:

代价函数:

Deep Learning  学习随记(三)续 Softmax regression练习

偏导数:

Deep Learning  学习随记(三)续 Softmax regression练习

实现:

实现过程就是对MNIST手写数字库进行的分类(数字从0~9共10个)。

说实话,上面代价函数对于我这matlab用的不熟的人来说,着实吓了一跳,好在看了讲义,里面真是深入浅出啊,相当于手把手教咱编程啊,太赞了~

讲义里给出了代码的基本框架,我们只需填几个地方就行,主要就是上面代价函数和偏导数部分的实现,而且这部分实现的一些小技巧讲义里面也告诉我们了。

上面这两个函数的代码实现就几行,是在softmaxCost.m里面实现的:

%% ---------- YOUR CODE HERE --------------------------------------
% Instructions: Compute the cost and gradient for softmax regression.
% You need to compute thetagrad and cost.
% The groundTruth matrix might come in handy.
M = theta*data;
NorM = bsxfun(@minus, M, max(M, [], )); %归一化,每列减去此列的最大值,使得M的每个元素不至于太大。
ExpM = exp(NorM);
P = bsxfun(@rdivide,ExpM,sum(ExpM)); %概率
cost = -/numCases*(groundTruth(:)'*log(P(:)))+lambda/2*(theta(:)'*theta(:)); %代价函数
thetagrad = -/numCases*((groundTruth-P)*data')+lambda*theta; %梯度

关于其中bsxfun的用法,是讲义给出的,果然好用的多。

另外一个需要我们自己填写的地方就是softmaxPredict.m:

%% ---------- YOUR CODE HERE --------------------------------------
% Instructions: Compute pred using theta assuming that the labels start
% from .
M = theta*data;
%pred = max(M,[],);
[Y,pred] = max(M,[],);

这里一开始写错了,pred取的是每一列的最大值了(pred = max(M,[],1)),应该取行号(代表的是10个数字中概率最大的那个数字)然后跟label对比求正确率。

然后就是结果:

Deep Learning  学习随记(三)续 Softmax regression练习

迭代了100次达到上限,结束,最后的正确率是92.250%。

ps:

讲义地址:http://deeplearning.stanford.edu/wiki/index.php/Exercise:Softmax_Regression

里面有手写数字库等需要下载。

另外,这代码选项里怎么没有matlab啊,看着那个转置符号变成那样很不爽。。。

上一篇:Linux下一个简单守护进程的实现 (Daemon)


下一篇:[转帖] Linux 创建一个简单的私有CA、发证、吊销证书