参数估计

• 点估计
  • 极大似然估计：
    • 优化目标：\(p(X|\theta)\)
    • 预测分布：\(p(x|\theta_{\rm MLE})\)
  • 最大后验估计：\(p(\theta|X, \alpha)\propto p(X|\theta)p(\theta|\alpha)\)
    • 优化目标：\(p(X|\theta)p(\theta|\alpha)\)
    • 预测分布：\(p(x|\theta_{\rm MAP})\)
  • 矩估计（数理统计）
• 区间估计（数理统计）

回归

• 频率学派
  • 极大似然估计
    • 建模：\(p(y|x,w)\)
    • 优化目标：\(p(Y|X,w)\)
    • 预测：\(p(y|x,w_{\rm MLE})\)
• 贝叶斯学派
  • 最大后验估计
    • 建模
      • 描述：引入模型参数的先验分布 \(p(w|\alpha)\)
      • 公式：\(p(y|x,w,\alpha) =\frac{p(y|x,w)p(w|\alpha)}{p(w|y, x,\alpha)}\)
    • 优化目标
      • 公式：\(p(w|Y, X, \alpha)=\frac{p(Y|X,w)p(w|\alpha)}{p(Y|X,\alpha)}\propto p(Y|X,w)p(w|\alpha)\)
      • 解释：相当于极大似然估计的优化目标增加了正则项
    • 预测：\(p(y|x,w_{\rm MAP})\)
    • 问题：仅考虑了可能性最大的模型
  • 全贝叶斯
    • 建模
      • 动机：考虑所有可能的模型
      • 公式：\(p(y|x, Y, X, \alpha)= \underset{w|Y, X, \alpha}{\mathbb{E}}\left[p(y|x, w, \alpha) \right]\)
    • 问题：\(p(y|x, Y, X, \alpha)\) 可能无法求出闭式解
  • 分层贝叶斯
    • 建模
      • 动机：为先验分布的参数引入超先验，取消先验分布参数的影响
      • 公式 \(p(y|x, Y, X, \gamma) =\underset{\alpha|\gamma}{\mathbb{E}}\left[p(y|x, Y, X, w, \alpha) \right]\)
    • 问题
      • 引起先验分布参数的递归确定问题
      • \(p(y|x, Y, X, \gamma)\) 未必有闭式解
  • 经验贝叶斯
    • 建模
      • 动机
        • 没有合适的超先验，或者引入超先验之后期望没有闭式解，导致无法进行分层贝叶斯推断
        • 用频率学派的观点，用数据估计先验，即考虑 \(p(\alpha|Y, X)\)
        • 若期望没有闭式解，则假设数据先验是尖峰分布，并用点估计估计期望
      • 公式
        • \(p(y|x, Y, X) = \underset{\alpha|Y, X}{\mathbb{E}}\,\underset{w|Y, X, \alpha}{\mathbb{E}}\left[p(y|x, Y, X, w, \alpha) \right] \approx \underset{w|Y, X, \widehat{\alpha}}{\mathbb{E}}\left[p(y|x, Y, X, w, \widehat{\alpha}) \right]\)
        • 估计 \(\widehat{\alpha}\) ：\(p(\alpha|Y, X) \propto p(Y|X, \alpha) p(\alpha)\propto p(Y|X, \alpha)\)