深入浅出3D感知中的优化与基于学习的技术 (第二章)原创教程

总结了下这部分基于学习的感知技术，会写一个新的系列教程讲解这部分三维感知技术的发展到最新的技术细节，并支持自己最近的项目开发和论文。本系列禁止转载，有技术探讨可以发邮件给我 fanzexuan135@163.com
这一章先讲一些数学知识，这是看懂后面要讲解的论文和学术界前沿技术的关键。

2.1 导数记号

我们将导数视为向量空间之间的线性映射。更准确地说,给定在开集 $U\subseteq X$ 和 $V\subseteq Y$ 上定义的函数 $F:U\to V$ 以及 $a\in U$,在 $a$ 处的导数是一个线性映射 $DF(a):X\to Y$,满足:

$$\underset{v\to 0}{\lim }\frac{\Vert F(a+v)-F(x)-DF(a)\cdot v\Vert }{\Vert v\Vert }=0\text{\hspace{1em}(2.1)}$$

其中,$\Vert \cdot \Vert$ 表示向量的范数。

如果 $X={\mathbb{R}}^n$ 和 $Y={\mathbb{R}}^m$ 是欧几里得空间,那么可以通过对标准坐标基 { e 1 , e 2 , … , e n } \{e_1,e_2,\dots,e_n\} {e1​,e2​,…,en​} 作用导数算子来形成雅可比矩阵:

$$J_{ij}=\frac{\partial F_i}{\partial x_j}(a)=D{F}_i(a)e_j,F(a)=(F_1(a),\dots ,F_m(a))\text{\hspace{1em}(2.2)}$$

式中,$\frac{\partial }{\partial x_j}$ 表示对第 $j$ 个分量求偏导数。

高阶导数的表示类似,例如二阶导数 $D_x^{2}F=D_{xx}F$。

梯度: 关于泛函 $L$ (即损失函数)的导数称为梯度。我们将梯度表示为行向量:

$$\frac{\partial L}{\partial x}=D_{x}L=\left[\frac{\partial L}{\partial x_1}\dots \frac{\partial L}{\partial x_n}\right]\text{\hspace{1em}(2.3)}$$

这暗示了它们属于 ${\mathbb{R}}^n$ 上线性泛函的空间。在推导自定义网络层的反向传播时,这种表示法的经济性很明显。给定函数 $F:X\mapsto Y$ 和 $L:Y\mapsto \mathbb{R}$ 以及 $a\in X$,应用链式法则,我们得到反向传播算法中典型的向量-雅可比乘积:

$$D{L}_x(a)=D_{y}L(F(a))\cdot D_{x}F(a)\text{\hspace{1em}(2.4)}$$

在大多数情况下,不需要显式构造矩阵 $D_{x}F(a)$,而是可以就地计算向量-雅可比乘积。

2.2 隐式层

隐式层是在神经网络中施加先验和几何约束的强大工具。与直接将输入映射到输出 $y=f(x)$ 的典型前馈层不同,隐式层定义了一个函数 $\varphi (x,y)=0$,给定的输出 $y^{\ast }$ 必须满足这个函数。当然,任何前馈层都可以写成隐式形式 $\varphi (x,y)=f(x)-y=0$。

作为一个激励性的例子,考虑一个求解线性系统 $Ax=b$ 的层,其中 $A\in {\mathbb{R}}^{n\times n}$ 是非奇异的, $b\in {\mathbb{R}}^n$,$x\in {\mathbb{R}}^n$。我们可以将其表示为一个神经网络层,它接受两个输入 $A$ 和 $b$,并求解一个满足约束 $Ax=b$ 的 $x$。为了训练具有这种层的网络,我们需要能够通过这一层进行微分。换句话说,给定梯度 $\frac{\partial L}{\partial x}$,我们需要计算相对于输入的梯度 ∂ L ∂