一、最小化误差函数拟合

正则化( regularization )技术涉及到给误差函数增加一个惩罚项,使得系数不会达到很大的值。这种惩罚项最简单的形式采用所有系数的平方和的形式。这推导出了误差函数的修改后的形式:


在效果上, λ 控制了模型的复杂性,因此决定了过拟合的程度。

二、贝叶斯曲线拟合

1.正态分布( normal distribution )或者高斯分布( Gaussian distribution )

对于一元实值变量 x ,高斯分布被定义为:

它由两个参数控制:\(μ\) ,被叫做均值( mean ),以及\(σ^2\) ,被叫做方差( variance )。方差的平方根,由 \(σ\) 给定,被叫做标准差( standard deviation )。方差的倒数,记作 \(β = \frac{1}{σ^2}\) ,被叫做精度( precision )。
D 维向量 x 的高斯分布:

2.曲线拟合

曲线拟合问题的目标是能够根据 N 个输入 \(x = (x_1 , . . . , x_N )^T\) 组成的数据集和它们对应的目标值 \(t = (t_1 , . . . , t_N )^T\) ,在给出输入变量 x 的新值的情况下,对目标变量 t 进行预测。
对应的 t 值服从高斯分布,分布的均值为 y(x, w) ,有:

图形化表示：

用训练数据$ {x, t}$ ,通过最大似然方法,来决定未知参数 w 和 β 的值，然函数为：

对数似然函数：

求其最大值就可以求得\(w\)。进一步确定精度参数 \(β\):