Perceptron Learning Algorithm (PLA)

  1. Perceptron - 感知机,是一种二元线性分类器,它通过对特征向量的加权求和,并把这个”和”与事先设定的门槛值(threshold)做比较,高于门槛值的输出1,低于门槛值的输出-1。Perceptron Learning Algorithm (PLA)其中sign 是取符号函数,括号中所包含的内容大于0时,取+1;小于0时,取-1。
  2. 对h(x)做一些数学上的简化。变成向量表示:Perceptron Learning Algorithm (PLA)Perceptron Learning Algorithm (PLA)
  3. 感知机(perceptron)是一个线性分类器(linear classifiers)。sign(WTX)其实就相当于WTX=0,都表示一个超平面。
  4. PLA算法只有在满足训练样本是线性可分(linear separable)的情况下才可以停止。Perceptron Learning要做的是,在“线性可分”的前提下,由一个初始的Perceptron h(x)开始,通过不断的learning,不断的调整h(x)的参数w,使他最终成为一个完美的perceptron。
  5. PLA的方法(梯度下降法)如下:Perceptron Learning Algorithm (PLA)

  6. PLA “知错就改”演算法解释:Perceptron Learning Algorithm (PLA)在其两边分别乘以Perceptron Learning Algorithm (PLA)可得到:Perceptron Learning Algorithm (PLA)因为Perceptron Learning Algorithm (PLA)是错误点,所以Perceptron Learning Algorithm (PLA)是小于0的。因此,Perceptron Learning Algorithm (PLA)慢慢接近于0或者大于0.这说明误差在慢慢减小。
  7. 证明PLA能够使w不断接近wf:
    Perceptron Learning Algorithm (PLA)  Perceptron Learning Algorithm (PLA)
  8. 当训练数据集是线性可分时,感知机学习算法是迭代收敛的;当训练数据集是线性不可分时,感知机学习算法不收敛,迭代结果会发生震荡。
上一篇:《Java程序员面试笔试宝典》之Java变量命名有哪些规则


下一篇:smtp协议