-
Perceptron - 感知机，是一种二元线性分类器，它通过对特征向量的加权求和，并把这个”和”与事先设定的门槛值(threshold)做比较，高于门槛值的输出1，低于门槛值的输出-1。
其中sign 是取符号函数，括号中所包含的内容大于0时，取+1；小于0时，取-1。
- 对h(x)做一些数学上的简化。变成向量表示：
- 感知机（perceptron）是一个线性分类器(linear classifiers）。sign(WTX)其实就相当于WTX=0，都表示一个超平面。
- PLA算法只有在满足训练样本是线性可分（linear separable）的情况下才可以停止。Perceptron Learning要做的是，在“线性可分”的前提下，由一个初始的Perceptron h(x)开始，通过不断的learning，不断的调整h(x)的参数w，使他最终成为一个完美的perceptron。
PLA的方法(梯度下降法)如下：
-
PLA “知错就改”演算法解释：
在其两边分别乘以
可得到：
因为
是错误点，所以
是小于0的。因此，
慢慢接近于0或者大于0.这说明误差在慢慢减小。
-
证明PLA能够使w不断接近wf:
- 当训练数据集是线性可分时，感知机学习算法是迭代收敛的；当训练数据集是线性不可分时，感知机学习算法不收敛，迭代结果会发生震荡。
相关文章
- 10-24PLA(perceptron learning algorithm)感知机学习
- 10-24分类算法之感知器学习算法PLA 和口袋算法Pocket Algorithm
- 10-24Orthogonal Least Squares Learning Algorithm for Radial Basis Function Networks
- 10-24感知机：Perceptron Learning Algorithm
- 10-24Sparse RBM learning Algorithm
- 10-24Machine Learning—Mixtures of Gaussians and the EM algorithm
- 10-24机器学习基石笔记：02 Learning to Answer Yes/No、PLA、PA
- 10-24玻尔兹曼机的学习算法--Hinton论文系列《A learning algorithm for Boltzmann machines》
- 10-24machine learning model(algorithm model) .vs. statistical model
- 10-24The algorithm learning of sort which include Bubblesort,Insertsort,Quicksort and Mergesort.