机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  前言:

  本次实验主要任务是学习CRF模型的参数,实验例子和PGM练习3中的一样,用CRF模型来预测多张图片所组成的单词,我们知道在graph model的推理中,使用较多的是factor,而在graph model参数的学习中,则使用较多的是指数线性模型,本实验的CRF使用的是log-linear模型,实验内容请参考 coursera课程:Probabilistic Graphical Models中的assignmnet 7. 实验code可参考网友的:code实验对应的模型示意图如下:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  CRF参数求解过程:

  本实验中CRF模型所表示的条件概率计算公式为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  其中的分母为划分函数,表达式为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  采用优化方法训练CRF模型的参数时,主要任务是计算模型的cost和grad表达式。其中cost表达式为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  grad表达式为:

 机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  公式中的2个期望值表示模型对特征的期望以及数据对特征的期望,其表达式如下:

 机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  在计算cost和grad时需要分别计算下面6个中间量:

 机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  关于这几个中间量的计算方法,可以参考实验教程中的介绍,或者直接看博文后面贴出的代码,这里简单介绍下其计算方法:

  log partition function: 需先建立CRF模型对应的clique tree,并对其校正,校正过程中时需要message passing,而最后passing的消息和最后一个clique factor相乘后的val之和取对数就logZ了。

  weighted feature counts: 当训练样本中某个样本及标签的值符合CRF模型的某一个特征时,就将该特征对应的参数值累加,最后求和即可。

  regularization cost: 直接计算。

  model expected feature counts: 计算模型对特征的期望,同样需要用到前面校正好了的clique tree. 当某个特征的变量全部属于clique tree中某个clique变量时,求出该clique对应的factor中符合这些特征变量值的和,注意归一化。

  data feature counts: 在计算weighted feature counts的同时,如果某个特征在样本中出现,则对相应特征计数。

  regularization gradient term: 直接计算。

  matlab知识:

  ndx = sub2ind(siz,varargin):

  siz为一个矩阵的维度向量,varargin输入的向量表示在矩阵size的位置,返回的是linear index的值。比如sub2ind([3 4],2,4)返回11,表示在3×4大小的矩阵中,第2行第4列为矩阵的第11个元素。

  C = horzcat(A1,...,AN):

  将参数表示的矩阵在水平方向合成一个大矩阵。

  实验中一些函数简单说明:

  [cost, grad] = LRCostSGD(X, y, theta, lambda, i):

  计算带L2惩罚项的LR cost. 其中X是输入矩阵,每一行代表一个样本,y为对应的标签向量。theta为LR模型的权值参数,lambda为权值惩罚系数。i表示选择X矩阵中第i个样本来计算(循环取,mod实现)。cost和grad分别为这个样本的误差值和输出对权值的导数值。

  thetaOpt = StochasticGradientDescent (gradFunc, theta0, maxIter):

  实验1的内容。gradFunc是函数句柄,[cost, grad] = gradFunc(theta, i),计算logistic regression在第i个样本theta处的cost和grad.  theta0为权值初始值,maxIter为最大迭代次数。这里的每次迭代只使用了一个样本,采用随机梯度下降法(SGD)更新权值。

  thetaOpt = LRTrainSGD(X, y, lambda):

  该函数完成的是用训练样本X和标签y对LR进行参数优化,迭代次数和初始学习率等超参数在函数内部给定,实现该函数时需调用StochasticGradientDescent().

  pred = LRPredict (X, theta):

  计算样本矩阵X在参数theta下的预测标签pred.

  acc = LRAccuracy(GroundTruth, Predictions):

  计算关于真实标签GroundTruth和预测标签Predictions的准确率。

  allAcc = LRSearchLambdaSGD(Xtrain, Ytrain, Xvalidation, Yvalidation, lambdas):

  实验2的内容。该函数是计算lambdas向量中每个lambda在验证集Xvalidation,Yvalidation上的错误率,这些错误率保存在输出变量allAcc中。

  [P, logZ] = CliqueTreeCalibrate(P, isMax):

  实验3的内容。对clique tree P进行校正,在校正过程中同时求得划分函数Z的log值:logZ. 求logZ时只能用sum-product不能使用max-product,所以此时的isMax=0. 其方法是将最后一次传送的message和最后一个clique相乘得到的factor,然后将factor中的val求和即可。

  featureSet = GenerateAllFeatures(X, modelParams):

  X是训练样本矩阵,因为在CRF中需要同时输入多张图片(本实验中多张图片构成一个单词),所以这里X中的每一行代表一张图片。结构体modelParams有3个成员:numHiddenStates,表示CRF中隐含节点的个数,这里为26(26个字母); numObservedStates,表示CRF中观察节点的个数,这里为2(每个像素要么为0,要么为1); lambda,权值惩罚系数。返回值featureSet包括2个成员:numParams, CRF中参数的个数,需考虑权值共享情况,即可能有多个特征共用一个权值; features, 装有多个feature的向量,且每个feature又是一个结构体。该feature结构体中有3个成员,如下:var,特征所包含的变量;assignment,因为特征一般为指示函数,所以表示特征只在assignment处的值为1,其它处为0; paramIdx,特征所对应的参数在theta中的索引。

  features = ComputeConditionedSingletonFeatures (X, modelParams):

  计算输入图像中单个像素的特征,如果输入X为3*32大小,因为有26个字母,所以总共的特征数为3*32*26=2496. 又假设每个像素可取0或1两个值,所以总共的参数个数为2*32*26=1664. 很明显有些特征是共用相同参数的。得到的features.var为图片序列的编号,features.assignment为对应字母的编号,features.paramIdx由像素值决定参数的位置。

  features = ComputeUnconditionedSingletonFeatures (len, modelParams):

  len为图片序列中图片的个数。如果len=3,则该函数实现后的特征向量长度为3*26=78,参数个数为26. features.var为图片编号,features.assignment为字母编号的,features.paramIdx位置和字母编号一样。

  features = ComputeUnconditionedPairFeatures (len, modelParams):

  len为图片序列中图片的个数。如果len=3, 则该函数实现后的特征向量长度为2*26*26=1352,参数个数为26×26=676.  其中的features.var为图片序列编号的组合,features.assignment为字母序号编号的组合,features.paramIdx为所在字母序号中对应的位置。

  由上面学到的3种特征可知,特征的var都是与输入图片序列的标号有关,特征的assignment都是与字母的序号有关,paramIdx可能与字母序列以及图片序列编号都  有关。实验教程中给出的3种特征如下:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  上面第2种特征为应该为conditionedPairFeatures,但和实验code没有对应起来,实验code中该特征被替换成了conditionedSigleFeatures.

  VisualizeCharacters (X):

  可视化样本X,因为X中一个样本序列,可能包含多个字母,该函数将X中所含的字母显示在一张图上。

  [nll, grad] = InstanceNegLogLikelihood(X, y, theta, modelParams):

  实验4和5的内容。其中参数X,y,modelParams和前面介绍的一样,注意X矩阵对CRF来说只算一个样本。参数theta为列向量,大小numParams x 1,是整个CRF模型*享的参数。这2个实验的实现主要按照博文前面介绍的算法来计算,代码如下:

% function [nll, grad] = InstanceNegLogLikelihood(X, y, theta, modelParams)
% returns the negative log-likelihood and its gradient, given a CRF with parameters theta,
% on data (X, y).
%
% Inputs:
% X Data. (numCharacters x numImageFeatures matrix)
% X(:,) is all ones, i.e., it encodes the intercept/bias term.
% y Data labels. (numCharacters x vector)
% theta CRF weights/parameters. (numParams x vector)
% These are shared among the various singleton / pairwise features.
% modelParams Struct with three fields:
% .numHiddenStates in our case, set to ( possible characters)
% .numObservedStates in our case, set to (each pixel is either on or off)
% .lambda the regularization parameter lambda
%
% Outputs:
% nll Negative log-likelihood of the data. (scalar)
% grad Gradient of nll with respect to theta (numParams x vector)
%
% Copyright (C) Daphne Koller, Stanford Univerity, function [nll, grad] = InstanceNegLogLikelihood(X, y, theta, modelParams)
% featureSet is a struct with two fields:
% .numParams - the number of parameters in the CRF (this is not numImageFeatures
% nor numFeatures, because of parameter sharing)
% .features - an array comprising the features in the CRF.
%
% Each feature is a binary indicator variable, represented by a struct
% with three fields:
% .var - a vector containing the variables in the scope of this feature
% .assignment - the assignment that this indicator variable corresponds to
% .paramIdx - the index in theta that this feature corresponds to
%
% For example, if we have:
%
% feature = struct('var', [ ], 'assignment', [ ], 'paramIdx', );
%
% then feature is an indicator function over X_2 and X_3, which takes on a value of
% if X_2 = and X_3 = (which would be 'e' and 'f'), and otherwise.
% Its contribution to the log-likelihood would be theta() if it's 1, and 0 otherwise.
%
% If you're interested in the implementation details of CRFs,
% feel free to read through GenerateAllFeatures.m and the functions it calls!
% For the purposes of this assignment, though, you don't
% have to understand how this code works. (It's complicated.) featureSet = GenerateAllFeatures(X, modelParams); %因为拟合的是条件概率,所以需要使用X % Use the featureSet to calculate nll and grad.
% This is the main part of the assignment, and it is very tricky - be careful!
% You might want to code up your own numerical gradient checker to make sure
% your answers are correct.
%
% Hint: you can use CliqueTreeCalibrate to calculate logZ effectively.
% We have halfway-modified CliqueTreeCalibrate; complete our implementation
% if you want to use it to compute logZ. nll = ;
grad = zeros(size(theta));
%%%
% Your code here:
% 计算cost
ctree = CliqueTreeFromFeatrue(featureSet.features, theta, modelParams); %对整个展开的CRF对应的graph而言
[ctree,logZ] = CliqueTreeCalibrate(ctree, ); %对tree进行校正,并求出划分函数的对数
[featureCnt,weightCnt] = WeightFeatureCnt(y, featureSet.features, theta);
weightedFeatureCnt = sum(weightCnt);
regCost = (modelParams.lambda/)*(theta * theta');
nll = logZ-weightedFeatureCnt+regCost; % 计算grad
mFeatureCnt = ModelFeatureCount (ctree, featureSet.features, theta);%求模型期望时,不能使用y信息
regGrad = modelParams.lambda* theta;
grad = mFeatureCnt-featureCnt+regGrad;
end %% 该函数实现的功能是对每个特征都建立一个factor
function ctree = CliqueTreeFromFeatrue(features, theta, modelParams)
n = length(features);
factors = repmat(EmptyFactorStruct(),n,);
for i=:n
factors(i).var = features(i).var;
factors(i).card = ones(,length(features(i).var))*modelParams.numHiddenStates; %难道都是y变量?
factors(i).val = ones(, prod(factors(i).card));
% 给该factor赋特征值
factors(i) = SetValueOfAssignment(factors(i), features(i).assignment, exp(theta(features(i).paramIdx)));
end
ctree = CreateCliqueTree(factors);
end %% 该函数是求输入样本是否满足各个特征,如果满足特征i,则counts(i)=,且weighted(i)填入相应的权值。
function [counts, weighted] = WeightFeatureCnt(y, features, theta) %这里要使用y值,因为要用y来计算指示特征
%注意特征向量的长度和参数向量的长度并不相同,因为多个特征可以共用一个参数,所以一般参数向量要短些
counts = zeros(,length(theta));
weighted = zeros(length(theta), );
for i = :length(features)
feature = features(i);
if all(y(feature.var)==feature.assignment) %判断所给的y是否满足特征所描述的
counts(feature.paramIdx) = ;
weighted(i) = theta(feature.paramIdx);
end
end
end %% 该函数是计算模型的特征期望值,利用模型对应校正好的clique tree来计算,每个特征由其对应的clique中归一化的val构成
function mFeatureCnt = ModelFeatureCount (ctree, features, theta)
mFeatureCnt = zeros(,length(theta)); %提前开辟空间有利于matlab运算速度
for i = :length(features)
mIdx = features(i).paramIdx;
cliqueIdx = ;
for j = :length(ctree.cliqueList)
if all(ismember(features(i).var,ctree.cliqueList(j).var))
cliqueIdx = j; %在clique tree上找到包含第i个特征所有元素的clique
break;
end
end
eval = setdiff(ctree.cliqueList(cliqueIdx).var, features(i).var);
featureFactor = FactorMarginalization(ctree.cliqueList(cliqueIdx),eval); %得到只包含该特征变量的factor
idx = AssignmentToIndex(features(i).assignment,featureFactor.card);
mFeatureCnt(mIdx) = mFeatureCnt(mIdx) + featureFactor.val(idx) / sum(featureFactor.val);%归一化
end
end

  相关理论知识点:

  learning按照模型结构是否已知,数据是否完全可以分为4类。比如HMM属于结构已知但数据不完全那一类(因为模型中的状态变量不能观测)。

  PGM learning的任务有:probabilistic queries(for new instance);Specific prediction task(for new instance);Knowledge discovery(for distribution).

  overfitting分为参数的overfitting和结构的overfitting.

  PGM中比较容易整合先验知识。

  MLE(最大似然估计)与充分统计量密切相关。

  在BN中,如果有disjoint set的参数,则可将似然函数分解成局部的似然函数乘积。如果是table CPD的话,则局部似然函数又能进一步按照变量中每一维分解。

  数据越少需使用越简单的模型,这样泛化性能才好,否则很容易过拟合。

  MLE的缺点是不能很好的判断其参数估计的可信度。比如在下列两种情况下用抛硬币估计硬币朝上的概率时,使用MLE有结果:(a). 10次有7次朝上,这时估计硬币朝上的概率为0.7;(b). 10000次有7000次朝上,硬币朝上的概率也被判为0.7. 虽然估计的结果都为0.7,但很明显第二种情形的估计结果更可信,第一种情形过拟合。

  为了克服MLE的缺点,可采用Bayesian估计(也叫最大后验估计),Bayesian估计的抗噪能力更强,类似于权值惩罚。贝叶斯估计是把模型中的参数也看成是一个随机变量,这样在估计该参数时会引入该参数的先验。为了达到共轭分布的目的,该先验分布一般取Dirichlet分布。

  2个变量的Dirichlet分布曲线可以在2维平面上画出,是因为Dirichlet变量之间有和为1的约束,相当于减少了一个*量。

  在贝叶斯网络中,如果参数在先验中是相互独立的,则这些参数在后验中也是相互独立的。

  划分函数的对数对参数求导,直接把划分函数按照定义代入公式,可得求导结果为模型对特征的期望。在采用MLE估计时,可以推出loss对参数的导数为数据对特征的期望减去模型对特征的期望, MRF下的证明如下:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  所以最终MRF的梯度公式为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  相对应CRF是用的log条件似然函数,其梯度计算公式为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  MRF和CRF的loss函数的优化都属于凸优化。并且两者计算梯度时都需要图模型的inference,其中MRF每次迭代需inference一次,而CRF每次迭代的每个样本处需inference一次。从这点看貌似CRF的计算量要大些。不过由于MRF需要拟合联合概率,而CRF不需要,所以总的来说,CRF计算量要小些。

  在MRF和CRF中也可以采用MAP估计,这里的先验函数一般为高斯先验和拉普拉斯先验,两者的公式分别为:

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  机器学习&数据挖掘笔记_23(PGM练习七:CRF中参数的学习)

  其中高斯先验类似L2惩罚,使得很多参数在0附近(因为接近0时导数变小,惩罚力度变小),但不一定为0,所以对应的模型很dense,而拉普拉斯先验类似L1惩罚,使得很多参数都为0(因为其导数不变,即惩罚力度没变),对应模型比较sparse.

  参考资料:

实验code可参考网友的:code

PGM练习三:马尔科夫网络在OCR上的简单应用

coursera课程:Probabilistic Graphical Models

上一篇:English - 英语学习小笔记


下一篇:一文弄懂神经网络中的反向传播法——BackPropagation【转】