泛化能力差和过拟合:
引起过拟合的原因:
1)过度VC维(模型复杂度高)------确定性噪声;
2)随机噪声;
3)有限的样本数量N。
具体实验来看模型复杂度Qf/确定性噪声、随机噪声sigma2、样本数量N对过拟合的影响:
尽量避免过拟合:
1)从简单模型开始:降低模型复杂度;
2)data cleaning/data pruning:去noise;
3)data hinting(线索):增加样本数量;
4)regularization:正则化;
5)validation:验证。