RKHS-wiki
概
这里对RKHS做一个简单的整理, 之前的理解错得有点离谱了.
主要内容
首先要说明的是, RKHS也是指一种Hilbert空间, 只是其有特殊的性质.
Hilbert空间\(\mathcal{H}\), 其中的每个元素\(f: \mathcal{X} \rightarrow \mathbb{K}\), 并由内积\(\langle \cdot, \cdot, \rangle_{\mathcal{H}}\)建立联系. 我们考虑如下的线性算子:
\[\delta_x(f) = f(x).
\]
进一步假设\(\delta_x\)是有界线性算子, 则根据Riesz表示定理可知, 存在唯一的\(\phi_x \in \mathcal{H}\),
\[f(x) = \delta_x(f) = \langle f, \phi_x \rangle_{\mathcal{H}},
\]
此时
\[\delta_x (\phi_y) = \langle \phi_y, \phi_x \rangle_{\mathcal{H}}.
\]
RKHS指的就是每一个\(\delta_x, \forall x \in \mathcal{X}\)均为有界线性算子, 换言之,
\[|f(x) - g(x)| = |\delta_x(f) - \delta_x (g)| \le M_x \|f - g\|_{\mathcal{H}}, \quad \forall x \in \mathcal{X}.
\]
一般的, RKHS总会和某些特定的kernel \(K\)联系在一起, 实际上, 对于上述情况:
\[K(x, y) := \langle \phi_x, \phi_y \rangle.
\]
在什么情况下可以通过\(K\)确定一个Hilbert 空间?
Moore-Aronszajn 定理: 当\(K\)对称正定, 则存在唯一的Hilbert空间, 其reproducing kernel是\(K\).
proof:
首先通过K构造线性空间\(\mathrm{span}(\{K(\cdot, x): x \in \mathcal{X}\})\), 再赋予内积
\[\langle K_x, K_y \rangle_{\mathcal{H}} = K(x, y).
\]
其中, 内积的可交换性由K的对称性带来, 内积\((x, x)=0\)当且仅当\(x=0\)由正定性带来.
再令上述内积空间的闭包为
\[\mathcal{H},
\]
即包括
\[f = \sum_i a_i K_{x_i}.
\]
显然
\[f(x) = \sum_i a_i K(x, x_i) = \langle f, K_x \rangle_{\mathcal{H}}.
\]
故
\[|f(x)-g(x)| = |\langle f-g, K_x \rangle_{\mathcal{H}}| \le \|K_x\|_{\mathcal{H}} \|f-g\|_{\mathcal{H}}.
\]
故\(\mathcal{H}\)是RKHS且其reproducing kernel即为\(K\).
倘若还存在别的Hilbert空间\(\mathcal{G}\), 那么显然\(\mathcal{H} \subset \mathcal{G}\), 只需证明反包含即可. 对于任意的\(g \in \mathcal{G}\), 可分解为
\[g = g_{\mathcal{H}} + g_{\mathcal{H}^{\bot}},
\]
\[g(x) = \langle g, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{G}} + \langle g_{\mathcal{H}^{\bot}}, K_x \rangle_{\mathcal{G}} = \langle g_{\mathcal{H}}, K_x \rangle_{\mathcal{H}} = g_{\mathcal{H}}(x).
\]
故\(g\in \mathcal{H}\).
Reproducing Kernel Hilbert Space (RKHS)