(九)单应性矩阵

图像变换，单应矩阵

恒友成

7157人浏览 · 2022-05-27 00:20:42

恒友成 · 2022-05-27 00:20:42 发布

欢迎访问个人网络日志🌹🌹知行空间🌹🌹

单应矩阵(homography matrix)等同于透视变换中使用的矩阵。

透视变换描述了两个平面之间的映射关系。理解之所以称为单应矩阵，是因为两个平面之间的关系是确定的，只能通过唯一的矩阵来表示这个变换，故称之为单应矩阵。

单应矩阵通常描述处于共同平面上的一些点在两张图像间的变换关系。对于空间中固定平面上的点P(如墙面)，对于运动的相机，可根据P在 $t_k,t_{k+1}$ 时刻图像中的位置 $p_1,p_2$ 来估计相机的运动。

设点P所处的固定平面的方程为：
$n^TP + d = 0$
上式参考空间中平面的方程：
$A(x-x_0) + B(y-y_0) + C(z-z_0) = 0$
化简为：
$-\frac{n^TP}{d} = 1$

设 $K$ 是相机的内参矩阵， $R$ 和相机外参旋转矩阵, $\vec{t}$ 是相机外参平移向量，则根据相机模型的推导，空间点P到像素坐标系的映射可写为:
$\vec{t})$

使用齐次坐标表示像素坐标，因齐次坐标最后一维为0或1，则带尺度因子的 $s p$ 与 $p$ 是相等的，
$\begin{bmatrix} u\\ v\\ 1 \end{bmatrix} \simeq \begin{bmatrix} su\\ sv\\ s \end{bmatrix}$
$\simeq$ 表示齐次坐标这种尺度相等的关系。

则方程
$\vec{t})$
可写成
$p_2 \simeq K(RP + \vec{t}\cdot(-\frac{n^TP}{d}))$
将 $t_k$ 时刻的相机坐标系当做世界坐标系，则R表示 $t_k$ 到 $t_{k+1}$ 时刻相机的姿态变化， $\vec{t}$ 表示 $t_k$ 到 $t_{k+1}$ 时刻相机的平移变化，上述方程可写成：
$p_2 \simeq K(R-\frac{\vec{t}n^T}{d})K^{-1}p_1$
记 $H=K(R-\frac{\vec{t}n^T}{d})K^{-1}$ ,则上式写为：
$p_2 = s H p_1$
因 $p_2$ 和 $p_1$ 是齐次坐标，具有尺度不变性，s尺度缩放因子，而齐次坐标的最后一维要么为0要么为1，因此s最后都会被约掉，因此，
$p_2 \simeq H p_1$
H即为单应矩阵。
$\begin{bmatrix} u_2\\ v_2\\ 1 \end{bmatrix} \simeq \begin{bmatrix} h_1 & h_2 & h_3 \\ h_4 & h_5 & h_6 \\ h_7 & h_8 & h_9 \end{bmatrix}\begin{bmatrix} u_1 \\ v_1 \\ 1 \end{bmatrix}$

这里还是 $\simeq$ 而非=，因此对矩阵 $H$ 乘以任意的缩放因子 $s$ 上式仍然成立。假设取 $\frac{1}{h_9}$ 则矩阵H可以重新写成：
$\begin{bmatrix} h_1 & h_2 & h_3 \\ h_4 & h_5 & h_6 \\ h_7 & h_8 & 1 \end{bmatrix}$
因此可令 $h_9=1$ ，单应矩阵只包含8个自由度。

$\left\{\begin{matrix} u_2=\frac{h_1u_1+h_2v_1+h_3}{h_7u_1+h_8v_1+1}\\ v_2=\frac{h_4u_1+h_5v_1+h_6}{h_7u_1+h_8v_1+1} \end{matrix}\right.$
整理之后可以写为：

$\left\{\begin{matrix} h_1u_1+h_2v_1+h_3 - h_7u_1u_2 - h_8v_1u_2 = u_2\\ h_4u_1+h_5v_1+h_6 - h_7u_1v_2 - h_8v_1v_2 = v_2 \end{matrix}\right.$

由以上推理过程，1组匹配点可以得到2个方程，因此自由度为8的单应矩阵H可以通过4组匹配点(不能有3点共线)得到8个方程来求得，方程组可写为：

$\begin{bmatrix} u^1_1 & v^1_1 & 1 & 0 & 0 & 0 & -u^1_1u^1_2 & -v^1_1u^1_2\\ 0 & 0 & 0 & u^1_1 & v^1_1 & 1 & -u^1_1v^1_2 & -v^1_1v^1_2\\ u^2_1 & v^2_1 & 1 & 0 & 0 & 0 & -u^2_1u^2_2 & -v^2_1u^2_2\\ 0 & 0 & 0 & u^2_1 & v^2_1 & 1 & -u^2_1v^2_2 & -v^2_1v^2_2\\ u^3_1 & v^3_1 & 1 & 0 & 0 & 0 & -u^3_1u^3_2 & -v^3_1u^3_2\\ 0 & 0 & 0 & u^3_1 & v^3_1 & 1 & -u^3_1v^3_2 & -v^3_1v^3_2\\ u^4_1 & v^4_1 & 1 & 0 & 0 & 0 & -u^4_1u^4_2 & -v^4_1u^4_2\\ 0 & 0 & 0 & u^4_1 & v^4_1 & 1 & -u^4_1v^4_2 & -v^4_1v^4_2\\ \end{bmatrix}\begin{bmatrix} h_1\\ h_2\\ h_3\\ h_4\\ h_5\\ h_6\\ h_7\\ h_8 \end{bmatrix}=\begin{bmatrix} u_2^1\\ v_2^1\\ u_2^2\\ v_2^2\\ u_2^3\\ v_2^3\\ u_2^4\\ v_2^4 \end{bmatrix}$