ls 是误差平方和最小,mmse是误差平方和均值最小。它们的准则是不同的,一个是确定意义的,一个是统计意义。虽然统计意义的量实际也要用样本来计算,但是也不能说他们是等价的吧。MMSE要到相关矩阵(虽然也要用样本来计算),但是LS中却没有统计相关量的影子。
更具体的说,如果观测到的含噪结果Y是待估计参数X的一个函数:F(X)=Y。MMSE准则是基于最小化E{(X’-X)^H*(X’-X)}来计算估计值X’的;而least squares是选择X’而令Y-F(X’)的二乘和最小。
所以我们看到,这里考虑误差的对象是完全不一样的(且不论误差定义的不同):MMSE考虑的是estimator的误差,而LS考虑的是观测量的误差。在这样的情况下,MMSE估计必须要知道条件概率P(X|Y),通常情况下即X和噪声的分布。而LS估计因为只着眼于观测量,则完全没有这样的限制。这里我们看到,如果讨论estimator是否最优,必须考虑到各estimator所具有的先验信息(MMSE要求知道函数F的形式,以及X和噪声分布;LS仅要求知道函数F)。
考虑一个最简单的Y=AX+V模型在LMMSE准则和LS准则下的估计,这里V是零均值高斯白噪声(因此LMMSE和MMSE等价)。此时,LMMSE给出X’=inv[inv(R_x)+(AH)*inv(R_v)*A]*(AH)*inv(R_v)*Y;而LS给出X’=inv[(AH)*A]*(AH)*Y。显然仅在噪声的谱密度趋近为零的时候,两个estimator才可能等价