双目视觉

理想双目相机成像模型

对于双目视觉的建模如下，其中$O$、$O^{\prime }$是两个相机的位置，$X$是成像点在空间中的位置，$\mathbf{x}$是$X$在图像1上的位置，${\mathbf{x}}^{\prime }$是$X$在图像2上的位置

其中并作如下定义

• 基线：两个相机中心的连线
• 对极平面：空间点$X$与相机中心$O$、$O^{\prime }$所构成的平面
• 对极线：对极平面与图像平面的交线
• 对极点:另一个相机中心。在图像平面上的投影基线和像平面的交点

基本矩阵

几何证明

对于一幅图像上的点$\mathbf{x}$，在另一幅图像中存在一条对应的对极线$l^{\prime }$。在第二幅用像上，任何与该点$\mathbf{x}$匹配的点${\mathbf{x}}^{\prime }$必然在对极线$l^{\prime }$上。该对极线是过点$\mathbf{x}$与第一个摄像机中心C的射线在第二幅图像上的投影。因此，存在一个从一幅图像上的点到另一幅图像上与之对应的对极线的映射$\mathbf{x}\to l^{\prime }$。

给定点${\mathbf{x}}^{\prime }$与$e^{\prime }$，可求得对极线为
$$l^{\prime }=e^{\prime }\times {\mathbf{x}}^{\prime }={\left[e^{\prime }\right]}_{\times }{\mathbf{x}}^{\prime }$$
又因为
$$x^{\prime }=H_{\pi }\mathbf{x}$$
由此存在
$$l^{\prime }={\left[e^{\prime }\right]}_{\times }{H}_{\pi }\mathbf{x}=F\mathbf{x}$$
定义基本矩阵为
$$F={\left[e^{\prime }\right]}_{\times }{H}_{\pi }$$
其中$H_{\pi }$是从一幅图像到另一幅画像通过任意平面π的转移映射。

且满足${\mathbf{x}}^{\prime T}F\mathbf{x}=0$

因为
$${\mathbf{x}}^{\prime T}{l}^{\prime }=0$$
又因为
$$l^{\prime }=F\mathbf{x}$$
所以存在
$${\mathbf{x}}^{\prime T}F\mathbf{x}=0$$

代数证明

设存在单应变换$\mathbf{x}=P\mathbf{X}$
$$X(\lambda )=P_1^{+}{x}_1+\lambda C_1$$
其中，$P_1^{+}=P_1^T(P_1{P}_1^T{)}^{-1}$,是第一幅图像的相机矩阵 $(P=K[R|t]$ )的伪逆，$C_1$ 是第一幅图像的光心。该射线上的两个特殊点$P_1^{+}{x}_1$ 和$C_1$在第二幅图像中的投影分别为$P_2{P}_1^{+}{x}_1$和$P_2{C}_1$, 依照定义，后者就是对极点 $e_2$ 。我们已经知道，对极线 $l_2$ 就是这两个点的连线(即叉乘):
$$\begin{array}{rl}{l}^{\prime }& =(P^{\prime }\mathbf{C})\times (P^{\prime }{P}^{+}\mathbf{x})\end{array}$$
又因为
$${\left[e^{\prime }\right]}_{\times }=P^{\prime }\mathbf{C}$$
所以
l ′ = ( P ′ C ) × ( P ′ P + x ) = ( [ e ′ ] × P ′