模型
转移方程
记第
j
j
j层的第
i
i
i个unit为
a
i
(
j
)
a_i^{(j)}
ai(j)。
activation function就是sigmoid function:
g
(
z
)
=
1
1
+
e
−
θ
T
z
g(z)=\frac{1}{1+e^{-\theta^Tz}}
g(z)=1+e−θTz1。
转移方程：
a
(
j
+
1
)
=
g
(
Θ
(
j
)
[
a
0
(
j
)
a
(
j
)
]
)
a^{(j+1)}=g(\Theta^{(j)}\begin{bmatrix}a_0^{(j)}\\a^{(j)}\end{bmatrix})
a(j+1)=g(Θ(j)[a0(j)a(j)])。
其中
a
0
(
j
)
=
1
a_0^{(j)}=1
a0(j)=1为bias unit。
若第 j j j层有 s j s_j sj个unit，则 Θ ( j ) \Theta^{(j)} Θ(j)是一个 s j + 1 × ( s j + 1 ) s_{j+1}\times (s_j+1) sj+1×(sj+1)的矩阵。