P5-P8 误差的来源 and 梯度下降
bias(偏差)+variance(方差)
真实的模型和训练的模型之间的误差是偏差和方差导致的
1.评估bias
\(假设x的平均值是\mu,方差\sigma^2\)
取N个样本点，计算平均值\(m，m\neq\mu\)
对很多组的m求期望等于\(\mu\)
m分布对于\(\mu\)的方差取决于样本点的个数,N越小越逆闪
2.评估variance
\(s^2=\frac{1}{N}\sum_n(x^n-m)^2\)
\(E[s^2]=\frac{N-1}{N}\sigma^2\neq\sigma^2\)
简单的模型偏差是比较大的，复杂的模型偏差小，复杂模型的域可能包含目标
简单的模型方差是比较小的，复杂的模型方差大，散布开
bias大重新考虑模型
variance大考虑数据集的调整
交叉验证
将训练集分为两部分，训练集和检验集，
1.用训练集训练模型，然后再验证集上比较，确定较好的模型
2.用全部的训练集训练确定的模型
3.用测试集测试
N-折交叉验证
将训练集分成N份
1.N-1Train，1val
2.用不同的model去训练选出最好的
3.用全部的Training set去训练选出的model
Gradient Descent
Tip 1： Tuning your learning rates
Adaptive Learning Rates
逐渐减小learning rate \(\eta^t=\eta/\sqrt{t+1}\)
不同的参数设计不同的rate
Adagrad
Learning rate= \(\eta^t\)除以过去所有微分的平均值
得\(w^{t+1}=w^t-\frac{\eta}{\sqrt{\sum_{i=0}^t(g^i)^2}}g^t\)
the best step is \(\frac{Fist derivative}{Second derivative}\)
Tip 2 : Stochastic Gradient Descent
每次只选一个example（部分data）来算Lost function ，G-D走了一步，S-G-D走很多很多步
但每次走的方向和全局梯度方向是不一致的
Tip 3 : Feature Scaling
让不同的参数的Scaling相同
R个example, 对每一个example的参数i取平均值\(\sigma_i\)
\(x_i^r<-\frac{x_i^r-m_i}{\sigma_i}\)
Gradient Descent 的 learning rate要小，否则就不能保证Lost function在减小。
数学证明的关键思路：函数在某一点的泰勒展开后，只有x无限趋于这个点时，才能用多项式插(一阶展开就是Gradient Descent的形式了)，但Learning rate 太大的时候，x距离这一点就不足够近了。