Boost是集成学习方法中的代表思想之一，核心的思想是不断的迭代。boost通常采用改变训练数据的概率分布，针对不同的训练数据分布调用弱学习算法学习一组弱分类器。在多次迭代的过程中，

当前次迭代所用的训练数据的概率分布会依据上一次迭代的结果而调整。也就是说训练数据的各样本是有权重的，这个权重本身也会随着迭代而调整。Adaboost(后面补一篇介绍这个的文章吧)在

迭代的过程中通过不断调整数据分布的权重来达到提高性能的目的，GBM(Gradient Boosting Machine)则是在迭代的过程中，新的模型建立在之间建立模型损失函数的梯度下降方向上，为什么这么

做是有效的，数学语言是最严谨的，让我们从数学的角度出发理解一下。

　　从数值优化的角度入手。我们假设有一个模型$F(X|\Theta) $，我们通过优化$\Theta$得到模型的最优解

$$ \theta^* = \mathop{\arg\min}_{\theta} \ \mathrm{L} (\theta).$$

其中，$\mathrm{L}(\theta) = E_(y,x)\mathrm{L}(y,F(X|\Theta))$　我们令$F^*(x) =F(X|\Theta^*) $　

论文笔记：GREEDY FUNCTION APPROXIMATION: A GRADIENT BOOSTING MACHINE