感知机相关知识

感知机

  • 给定输入x, 权重w, 偏移b, 感知机输出:

\[o=\sigma(<w,x>+b){\quad \quad} \sigma(x)=\begin{cases} 1& \text{if x>0}\\ 1& \text{others} \end{cases} \]

相当于给所有样本点画一条线,将不同类别尽可能划分开,是一个二分类问题

  • 二分类:-1或1
    • 线性回归输出一个实数,感知机输出离散的两个值
    • softmax可以输出多分类,感知机只能做二分类

训练感知机

  • 训练伪代码
    \(\quad\)initialize \(w=0\) and \(b=0\)
    \(\quad\)\(\quad\)repeat:
    \(\quad\)\(\quad\)\(\quad\)if \(y_i[<w,x_i>+b]\leq0\) then //异号说明预测错误
    \(\quad\)\(\quad\)\(\quad\)\(\quad\)\(w\leftarrow w+y_ix_i\) and \(b\leftarrow b+y_i\)
    \(\quad\)\(\quad\)end if
    \(\quad\)until all classified correctly

  • 等价于使用批量大小为1的梯度下降,并使用如下损失函数

\[\zeta(y,x,w)=max(0,-y<w,x>) \]

如果上述Loss是一个0,说明\(y<w,x>\)大于零,预测正确,损失为0;反之则预测错误,返回损失。

收敛定理

  • 假设
    • 数据在半径\(r\)内,相当于数据量大小。
    • 余量\(\rho\)分类两类 \(\quad \quad y(x^Tw+b)\geq\rho\)
      对于\({||x||}^2+b^2\leq 1\)
    • 感知机保证在\(\frac{r^2+1}{{\rho}^2}\)步后收敛。

多层感知机

XOR问题

  • 单层的感知机只能对数据做一个线性分割(类似于切一刀),因此对于异或这类问题无法被感知机拟合,这个问题造成了第一次AI寒冬。

多层感知机

  • 一层的感知机模型无法拟合XOR问题,但如果增加感知机层数,就可以拟合异或问题了,比如:

    • A感知机对于x轴做切分:等于0返回1,等于1返回-1
    • B感知机对于y轴做切分:等于1返回1,等于0返回-1
    • 结果为两个感知机输出的乘积(0,0)返回-1;(0,1)返回1,(1,0)返回1;(1,1)返回0.
      上述两个感知机模型便可以解决异或的问题,相当于在数据集上切了两刀。
  • 一个多层感知机由输入层、隐藏层(hidden)、输出层构成,输入输出层的大小由具体问题的输入输出类别决定,隐藏层大小由我们自定义,是一个超参数。

单隐藏层

  • 输入\(x\in R^n\)
  • 隐藏层\(W_1\in R^{m\times n}\),\(b_1\in R^m\)
  • 输出层\(w_2\in R^m\),\(b_2\in R\)

\[h = \sigma({W_1x+b_1}) \]

\[o=w_2^Th+b_2 \]

\(\sigma\)是按元素的激活函数。

为什么要激活函数(非线性)?

  • 如果激活函数还是线性的话,我们的多层感知机模型只能拟合一个线性的问题,如果引入一个非线性的激活函数,可以使我们的模型增加一些非线性的特点,能够更好的拟合现实世界中的各种问题。

Sigmoid激活函数

\[sigmoid(x)=\frac{1}{1+exp(-x)} \]

它将输入投影到(0,1)区间。是一个软的\(\sigma(x)=\begin{cases} 1& \text{if x>0}\\ 1& \text{others} \end{cases}\)

  • 优势:更好求导。

Tanh激活函数

\[tanh(x)=\frac{1-exp(-2x)}{1+exp(-2x)} \]

它将输入投影到(-1,1)区间。相当于Sigmoid的放缩平移。

ReLU激活函数

\[ReLU(x)=max(x,0) \]

  • 求导更简单,无指数运算,避免梯度消失

多类分类

  • 输入\(x\in R^n\)
  • 隐藏层\(W_1\in R^{m\times n}\),\(b_1\in R^m\)
  • 输出层\(W_2\in R^{m\times k}\),\(b_2\in R^k\)

\[h = \sigma({W_1x+b_1}) \]

\[o=W_2^Th+b_2 \]

\[y=softmax(o) \]

多隐藏层

\[h_1 = \sigma({W_1x+b_1}) \]

\[h_2 = \sigma({W_2x+b_2}) \]

\[h_3 = \sigma({W_3x+b_3}) \]

\[o = W_4h_3+b_4 \]

  • 超参数
    • 隐藏层数
    • 每层隐藏层大小
      一般来说,将第一层设置的较大一点,之后随着层数慢慢减少。

总结

  • 多层感知机使用隐藏层和激活函数来得到一个非线性的模型
  • 常用激活函数:Sigmoid,Tanh,ReLU
  • 使用softmax来处理多分类
  • 超参数为隐藏层层数,和各个隐藏层的大小。

——————觉得有用给笔者点个赞呀o( ̄︶ ̄)o

上一篇:《算数教程》笔记1


下一篇:基于Prometheus和Grafana的监控平台 - 环境搭建