文章目录
- VC Bound Rephrase: Penalty for Model Complexity
- THE VC Message
- VC Bound Rephrase: Sample Complexity
- Looseness of VC Bound
- Fun Time
VC Bound Rephrase: Penalty for Model Complexity
VC Bound：
改述：好事情发生（GOOD）
gen.error：generalization error
得到EoutE_{out}Eout的范围。
根号这一项被叫做model complexity。
THE VC Message
横轴是VC dimension，纵轴是Error。
model complexity随着VC dimension的变大而变大。
VC dimension增大后，可以shatter的点变多（hypothesis变强），EinE_{in}Ein减小。
VC dimension增大后，模型复杂度（model complexity）增大，导致要付出的代价变大。
所以EoutE_{out}Eout通常会先减后增。
强大的H\mathcal{H}H（EinE_{in}Ein很小）并不总是好的。
VC Bound Rephrase: Sample Complexity
VC Bound：
一个例子：
然而实践上一般10dVC10d_{VC}10dVC的资料就够用了。
Looseness of VC Bound
上面的例子说明了VC Bound实际上是很宽松的。
原因：
对于不同的模型，VC Bound 的宽松程度实际上是差不多的。