文章目录
- Recap: The Learning Flow
- Noise
- Probabilistic Marbles
- Target Distribution：$P(y|\mathbf{x})$
- The New Learning Flow
- Fun Time
Recap: The Learning Flow
如果资料有noise会发生什么？
Noise
在介绍pocket算法之前简单的介绍了noise。
noise有以下几种情况：
Probabilistic Marbles
有noise时可以认为是有“会随时间变色”的弹珠，只要记录在取样时的颜色即可。整体的性质是不会变的，橘色的概率仍然是可以被预测的。
i.i.d.：independent and identically distributed 独立同分布。
P(y∣x)P(y|\mathbf{x})P(y∣x)：代表在已经确定是x\mathbf{x}x弹珠的情况下的两种颜色的概率。
VC Bound在有noise的情况下仍然有效。
Target Distribution：P(y∣x)P(y|\mathbf{x})P(y∣x)
例子：一个点有70%的概率是圈，那么就认为它是圈（ideal mini-target），其30%是叉的概率被视为杂讯。
deterministic target可以被看作target distribution的一种特殊情况。
学习的目标：在常见的点上要做的好（接近mini-target）。
The New Learning Flow
以上说明了pocket的可行性。