一、感知机是什么？
感知机(perceptron)是作为神经网络（深度学习）的起源的算法，因此，学习感知机的构造也是学习通向神经网络和深度学习的一种重要思想。
感知机接收多个输入信号，输出一个信号。这里所说的“信号”可以想象成电流或河流那样具备“流动性”的东西。像电流流过导线，向前方输送电子一样，感知机的信号也会形成流，向前方输送信息。但是，和实际的电流不同的是，感知机的信号只有“流/不流”（1/0）两种取值。这里我们认为0对应“不传递信号”， 1对应“传递信号”。
如图1是一个接收两个输入信号的感知机的例子。
x
1
x_1
x1、
x
2
x_2
x2是输入信号，
y
y
y是输出信号，
w
1
w_1
w1、
w
2
w_2
w2是权重（
w
w
w是weight的首字母）。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时，会被分别乘以固定的权重（
w
1
x
1
w_1x_1
w1x1、
w
2
x
2
w_2x_2
w2x2）。神经元会计算传送过来的信号的总和，只有当这个总和超过了某个界限值时，才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值，用符号
θ
θ
θ表示。
感知机的运行原理仅此而已！上述内容可以用如下数学式来表示。
y
=
{
0
,
(
w
1
x
1
+
w
2
x
2
≤
θ
)
1
,
(
w
1
x
1
+
w
2
x
2
>
θ
)
y=\begin{cases} 0, & (w_1x_1 + w_2x_2 ≤ θ)\\ 1, & (w_1x_1 + w_2x_2 > θ) \end{cases}
y={0,1,(w1x1+w2x2≤θ)(w1x1+w2x2>θ)
感知机的多个输入信号都有各自固有的权重，这些权重发挥着控制各个信号的重要性的作用。也就是说，权重越大，对应该权重的信号的重要性就越高。
二、用感知机搭建简单逻辑电路
2.1 与门(AND gate)
如图2所示，这种输入信号和输出信号的对应表称为“真值表”。与门仅在两个输入均为1时输出1，其他时候则输出0。
下面考虑用感知机来表示这个与门。需要做的就是确定能满足图中的真值表的 w 1 w_1 w1、 w 2 w_2 w2、 θ θ θ的值。那么，设定什么样的值才能制作出满足图中条件的感知机呢？实际上，满足上图条件的参数选择方法有无数多个。比如，当( w 1 w_1 w1, w 2 w_2 w2, θ θ θ) = (0.5, 0.5, 0.7) 时，可以满足图中条件。此外，当( w 1 w_1 w1, w 2 w_2 w2, θ θ θ) 为 (0.5, 0.5, 0.8) 或者(1.0, 1.0, 1.0)时，同样也满足与门的条件。设定这样的参数后，仅当 x 1 x_1 x1和 x 2 x_2 x2同时为1时，信号的加权总和才会超过给定的阈值 θ θ θ。
2.2 与非门(NAND gate)和或门(OR gate)
与非门仅在两个输入均为1时输出0，其他时候则输出1，其真值表如下图所示。
要表示与非门，可以用(
w
1
w_1
w1,
w
2
w_2
w2,
θ
θ
θ) = (−0.5, −0.5, −0.7)这样的组合（其他的组合也是无限存在的）。实际上，只要把实现与门的参数值的符号取反，就可以实现与非门。接下来咱们再来看一下下面这张图所示的或门。或门是“只要有一个输入信号是1，输出就为1”的逻辑电路。
注意：这里决定感知机参数的并不是计算机，而是我们人。我们看着真值表这种“训练数据”，人工考虑（想到）了参数的值。而机器学习的课题就是将这个决定参数值的工作交由计算机自动进行。 学习是确定合适的参数的过程，而人要做的是思考感知机的构造（模型），并把训练数据交给计算机。
如上所示，我们已经知道使用感知机可以表示与门、与非门、或门的逻辑电路。这里重要的一点是：与门、与非门、或门的感知机构造是一样的。实际上， 3个门电路只有参数的值（权重和阈值）不同。也就是说，相同构造的感知机，只需通过适当地调整参数的值，就可以像“变色龙演员”表演不同的角色一样，变身为与门、与非门、或门。
三、感知机的实现
3.1 简单感知机的实现
我们用Python来实现刚才的逻辑电路。这里，先定义一个接收参数 x 1 x_1 x1和 x 2 x_2 x2的AND函数。
def AND(x1, x2):
w1, w2, theta = 0.5, 0.5, 0.7
tmp = x1*w1 + x2*w2
if tmp <= theta:
return 0
elif tmp > theta:
return 1
if __name__ == '__main__':
print(AND(0, 0)) # 输出0
print(AND(1, 0)) # 输出0
print(AND(0, 1)) # 输出0
print(AND(1, 1)) # 输出1
果然和我们预想的输出一样！这样我们就实现了与门。按照同样的步骤，也可以实现与非门和或门。
3.2 导入权重和偏置
考虑到以后的复杂操作，我们来对它们的实现稍作修改。在此之前，首先把感知机的数学表达式修改下，用把
θ
θ
θ替换为
−
b
-b
−b，更新后的数学式如下。
y
=
{
0
,
(
b
+
w
1
x
1
+
w
2
x
2
≤
0
)
1
,
(
b
+
w
1
x
1
+
w
2
x
2
>
0
)
y=\begin{cases} 0, & (b+w_1x_1 + w_2x_2 ≤ 0)\\ 1, & (b+w_1x_1 + w_2x_2 > 0) \end{cases}
y={0,1,(b+w1x1+w2x2≤0)(b+w1x1+w2x2>0)
此处，
b
b
b称为偏置，
w
1
w_1
w1和
w
2
w_2
w2称为权重。如上式所示，感知机会计算输入的信号和权重的乘积，然后加上偏置，如果这个值大于0则输出1，否则输出0。下面，我们使用Numpy，按照上式方式实现感知机。
import numpy as np
def AND(x1, x2):
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.7
tmp = np.sum(x*w) + b
if tmp <= 0:
return 0
elif tmp > 0:
return 1
if __name__ == '__main__':
print(AND(0, 0)) # 输出0
print(AND(1, 0)) # 输出0
print(AND(0, 1)) # 输出0
print(AND(1, 1)) # 输出1
注意，偏置 b b b和权重 w 1 w_1 w1、 w 2 w_2 w2的作用是不一样的。具体地说， w 1 w_1 w1和 w 2 w_2 w2是控制输入信号的重要性的参数，而偏置 b b b是调整神经元被激活的容易程度（输出信号为1的程度）的参数。
接下来，我们继续实现与非门和或门。
import numpy as np
def NAND(x1, x2):
x = np.array([x1, x2])
w = np.array([-0.5, -0.5]) # 仅权重和偏置和AND不同!
b = 0.7
tmp = np.sum(x*w) + b
if tmp <= 0:
return 0
elif tmp > 0:
return 1
def OR(x1, x2):
x = np.array([x1, x2])
w = np.array([0.5, 0.5]) # 仅权重和偏置和AND不同!
b = -0.2
tmp = np.sum(x*w) + b
if tmp <= 0:
return 0
elif tmp > 0:
return 1
if __name__ == '__main__':
print(AND(0, 0)) # 输出0
print(AND(1, 0)) # 输出0
print(AND(0, 1)) # 输出0
print(AND(1, 1)) # 输出1
print(OR(0, 0)) # 输出0
print(OR(1, 0)) # 输出1
print(OR(0, 1)) # 输出1
print(OR(1, 1)) # 输出1
四、感知机的局限性
4.1 异或门(XOR gate)
如下图所示为异或门的真值表。
实际上，用前面介绍的感知机是无法实现这个异或门的。为什么用感知机可以实现与门、或门和与非门，却无法实现异或门呢？下面我们尝试通过画图来思考其中的原因。
首先，我们试着将或门的动作形象化。或门的情况下，当权重参数(
b
b
b,
w
1
w_1
w1,
w
2
w_2
w2) = (-0.5, 1, 1) 时，可满足或门的真值表条件。此时，感知机可用下面的表达式描述。
y
=
{
0
,
(
−
0.5
+
x
1
+
x
2
≤
0
)
1
,
(
−
0.5
+
x
1
+
x
2
>
0
)
y=\begin{cases} 0, & (-0.5+x_1 + x_2 ≤ 0)\\ 1, & (-0.5+x_1 + x_2 > 0) \end{cases}
y={0,1,(−0.5+x1+x2≤0)(−0.5+x1+x2>0)
上式表示的感知机会生成由直线
−
0.5
+
x
1
+
x
2
=
0
-0.5+x_1+x_2=0
−0.5+x1+x2=0 分割开的两个空间。其中一个空间输出1，另一个空间输出0，如下图所示。
或门在
(
x
1
,
x
2
)
=
(
0
,
0
)
(x_1, x_2)=(0, 0)
(x1,x2)=(0,0)时输出0，在
(
x
1
,
x
2
)
(x_1, x_2)
(x1,x2)为(0, 0)、(1, 0)、(1, 1)时输出1。在上图中，⚪表示0，▲表示1。如果想制作或门，需要用直线将上图中的⚪和▲分开，上图直线就将这四个点正确地分开了。那么，异或门能否用一条直线分出0，1呢？
显然，做不到用一条直线将图7中的⚪和▲分开。
4.2 线性和非线性
图7中的⚪和▲无法用一条直线分开，但是如果将“直线”这一限制条件去掉 ，就可以实现了，如图8所示就为一个实现方式。另外，像图8这样的曲线分割而成的空间称为非线性空间，由直线分割而成的空间称为线性空间。
五、多层感知机
感知机不能表示异或门让人深感遗憾，但也无需悲观。实际上，感知机的绝妙之处在于它可以“叠加层”（通过叠加层来表示异或门）。
5.1 已有门电路的组合
异或门可以按照下图所示组合与门、与非门、或门来实现。这里，
x
1
x_1
x1和
x
2
x_2
x2表示输入信号，
y
y
y表示输出信号。
x
1
x_1
x1和
x
2
x_2
x2是与非门和或门的输入，而与非门和或门的输出则是与门的输入。
异或门的真值表如下。
5.2 异或门的实现
使用之前定义的AND函数、NAND函数、OR函数实现XOR gate。
def XOR(x1, x2):
s1 = NAND(x1, x2)
s2 = OR(x1, x2)
y = AND(s1, s2)
return y
if __name__ == '__main__':
print(XOR(0, 0)) # 输出0
print(XOR(1, 0)) # 输出1
print(XOR(0, 1)) # 输出1
print(XOR(1, 1)) # 输出0
如图11所示，异或门是一种多层结构的神经网络。这里，将最左边的一列称为第0层，中间的一列称为第1层，最右边的一列称为第2层。实际上，与门、或门、与非门是单层感知机，而异或门是2层感知机。叠加了多层的感知机也称为多层感知机(multi-layered perceptron)。
1.第0层的两个神经元接收输入信号，并将信号发送至第一层的神经元。
2.第1层的神经元将信号发送至第2层的神经元，第2层的神经元输出y。