【高等代数】8. 矩阵(3)
3.6 线性方程组
在引入矩阵乘法之后，可以将线性方程组写成\(Ax=\beta\)，这里
称\(m\times n\)矩阵\(A\)为方程组的系数矩阵，\(m\times (n+1)\)矩阵\((A,\beta)\)为方程组的增广矩阵，使得\(Ax_0=\beta\)的向量\(x_0\)称为方程组的一组解。如果方程组有解，则称方程组为相容的，否则称为不相容的；如果\(\beta=0\)，则称方程组为齐次的，否则称为非齐次的。齐次线性方程组总有解\(x=0\)，它被称为零解（平凡解），此外如果齐次方程组有解\(x\ne 0\)，则称之为非零解（非平凡解）。
线性方程组解的结构与系数矩阵的秩有紧密的联系，从简单到复杂，先从其次线性方程组开始，再推广至非齐次线性方程组。以下均设\(x\)是\(n\)维列向量，即方程组具有\(n\)个不定元。
-
齐次线性方程组解的结构：设\(\mathrm{rank}(A)=r\)，则当\(r=n\)时，齐次线性方程组\(Ax=0\)只有零解。当\(r<n\)时，齐次方程组有非零解，且解依赖于\(n-r\)个独立参数。具体说来，若
\[A=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q, \]则方程组的通解为
\[x=t_{t+1}Q^{-1}\varepsilon_{r+1}+\cdots+t_{n}Q^{-1}\varepsilon_n, \]这里\(t_{t+1},\cdots,t_n\)是任意的数，\(\varepsilon_{r+1},\cdots,\varepsilon_n\)是单位坐标列向量。
设\(r<n\)，取\(x=t_{r+1}Q^{-1}\varepsilon_{r+1}+\cdots+ t_{n}Q^{-1}\varepsilon_n\)，则
\[Ax=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q(t_{r+1}Q^{-1}\varepsilon_{r+1}+\cdots +t_{n}Q^{-1}\varepsilon_n)=P\sum_{i=r+1}^{n}t_i\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}\varepsilon_i=0. \]反之，设\(x^0\)是\(Ax=0\)的解，则
\[P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Qx^0=0, \]记\(Qx^0=y=(y_1,y_2)‘\)，\(y_1\)是\(r\)维行向量，由上式得到\(y_1=0\)，即
\[Qx^0=(0,\cdots,0,t_{r+1},t_{r+2},\cdots,t_n)‘=\sum_{i=r+1}^{n}t_i\varepsilon_i, \]因此
\[x^0=\sum_{i=r+1}^{n}t_iQ^{-1}\varepsilon_i. \]当\(r=n\)时，\(A\)是列满秩的，故存在\(m\)阶可逆阵\(P\)使得
\[A=P\begin{pmatrix} I_{(n)} \\ 0 \end{pmatrix}, \]如果\(x^0\)是齐次线性方程组的解，就有
\[Ax^0=P\begin{pmatrix} I_{(n)} \\ 0 \end{pmatrix}x^0=P\begin{pmatrix} x^0 \\ 0 \end{pmatrix}=0, \]再结合\(P\)可逆，得到\(x^0=0\)。
-
非齐次方程组的相容性：方程\(Ax=\beta\)有解的充要条件是\(\mathrm{rank}(A)=\mathrm{rank}(A,\beta)\)。
设\(\mathrm{rank}(A)=r\)，则存在\(m\)阶可逆阵\(P\)和\(n\)阶可逆阵\(Q\)使得
\[A=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q. \]证明必要性。设方程组有解\(x^0\)，则代入\(Ax^0=\beta\)有
\[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Qx^0=P^{-1}\beta, \]将\(Qx^{0}\)分解为\((y_1,y_2)‘\)，则自然\(P^{-1}\beta\)可分解为\((y_1,0)‘\)，于是
\[\begin{aligned} \mathrm{rank}(A,\beta)&=\mathrm{rank}\left\{P\left[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q,P^{-1}\beta \right]\right\}\&=\mathrm{rank}\left\{P\left[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} Q_{11} & Q_{12} \\ Q_{21} & Q_{22} \end{pmatrix},\begin{pmatrix} y_1‘ \\ 0 \end{pmatrix}\right] \right\}\&=\mathrm{rank}\left[P\begin{pmatrix} I_{(r)} & 0 & y_1‘ \\ 0 & 0 & 0 \end{pmatrix}\begin{pmatrix} Q_{11} & Q_{12} & 0 \Q_{21} & Q_{22} & 0\\ 0& 0 & 1 \end{pmatrix}\right] \&=\mathrm{rank}\begin{pmatrix} I_{(r)} & 0 & y_1‘ \\ 0 & 0 & 0 \end{pmatrix}=r. \end{aligned} \]原式得证。
证明充分性。设\(\mathrm{rank}(AB)=\mathrm{rank}(A)=r\)，此时\(P^{-1}\beta=(z_1,z_2)‘\)，类似分解
\[\begin{aligned} (A,\beta)&=\left(P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q,\beta\right)\&=P\left[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} Q_{11} & Q_{12} \\ Q_{21} & Q_{22} \end{pmatrix},P^{-1}\beta \right]\&=P\left[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix},P^{-1}\beta\right]\begin{pmatrix} Q_{11} & Q_{12} & 0 \Q_{21} & Q_{22} & 0 \0 & 0 & 1 \end{pmatrix}\&=P\begin{pmatrix} I_{(r)} & 0 & z_1‘ \0 & 0 & z_2‘ \end{pmatrix}\begin{pmatrix} Q_{11} & Q_{12} & 0 \Q_{21} & Q_{22} & 0 \0 & 0 & 1 \end{pmatrix}, \end{aligned} \]这样我们知道
\[\mathrm{rank}\begin{pmatrix} I_{(r)} & 0 & z_1‘ \0 & 0 & z_2‘ \end{pmatrix}=r, \]所以\(z_2=0\)。取\(x^0=Q^{-1}\pmatrix{I_{(r)} & 0 \\ 0 & 0}_{n\times n}P^{-1}\beta\)，则
\[Ax^0=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}QQ^{-1}\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}P^{-1}\beta=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} z_1 \\ 0 \end{pmatrix}=PP^{-1}\beta=\beta. \]原式得证。
-
非齐次方程组的结构定理：对相容的方程组\(Ax=\beta\)，有\(\mathrm{rank}(A)=r\)，则
-
\(r=n\)时，方程组的解是唯一的。
-
\(r<n\)时，方程组的解依赖于\(n-r\)个独立参数，且其通解由对应的齐次方程组\(Ax=0\)通解与自身的一个特解构成。
设\(x^0\)是\(Ax=\beta\)的一个特解，若\(x\)是\(Ax=\beta\)的一个解，则
\[\left\{\begin{array}{} Ax^0=\beta,\Ax=\beta, \end{array}\right.\Rightarrow A(x-x^0)=0, \]即\(x-x^0\)是方程组\(Ax=0\)的解。
-
这三个定理完全刻画了线性方程组的求解理论，为判断线性方程组是否有解、解的情况提供了依据。特别当\(A\)为\(n\)阶方阵时，方程有唯一解等价于\(\det A\ne 0\)，此时
这便是Cramer法则的矩阵形式。
3.7 矩阵的广义逆
矩阵的广义逆是计算数学中常用的工具，它将逆矩阵概念予以推广，使得每个矩阵都有广义逆。对逆矩阵的求解，实际上是求解矩阵方程\(AX=I\)，将其予以推广，得到矩阵方程\(AXA=A\)。
-
定理：矩阵方程\(AXA=A\)恒有解。
具体地说，设\(\mathrm{rank}(A)=r\)，且\(A=P\pmatrix{I_{(r)} & 0 \\ 0 & 0}Q\)，这里\(P,Q\)取定，则矩阵方程的通解为
\[X=Q^{-1}\begin{pmatrix} I_{(r)} & B \\ C & D \end{pmatrix}P^{-1}, \]这里\(B,C,D\)是任意满足型号要求的矩阵。
充分性：将\(X\)代入\(AXA=A\)，可验证此矩阵方程自然成立。
必要性：设\(X\)是矩阵方程的解，则
\[P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}QXP\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0, \end{pmatrix} \]记\(QXP=\pmatrix{E & B \\ C & D}\)，则
\[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}\begin{pmatrix} E & B \\ C & D \end{pmatrix}\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}=\begin{pmatrix} E & 0 \\ 0 & 0 \end{pmatrix}=\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}, \]即\(E=I_{(r)}\)，由此
\[X=Q^{-1}\begin{pmatrix} I_{(r)} & B \\ C & D \end{pmatrix}P^{-1}. \]特别当\(A\)可逆时，\(X=A^{-1}\)。
对此矩阵方程\(AXA=A\)，它与矩阵求逆方程类似，且满足\(AX=I_{(m)}\)，\(XA=I_{(n)}\)，因此称这样的\(X\)为矩阵\(A\)的广义逆。由上述证明过程，矩阵\(A\)的广义逆并不唯一，且\(A^-\)唯一的充要条件是\(A\)为可逆方阵，这样\(B,C,D\)都为空。
- 广义逆：矩阵方程\(AXA=A\)的解称为矩阵\(A\)的广义逆，记作\(A^-\)。
对矩阵的广义逆，有以下应用：
-
非齐次线性方程组解的相容性：\(Ax=\beta\)有解的充要条件是\(\beta=AA^{-}\beta\)。
设\(Ax^0=\beta\)，则
\[AA^-\beta=AA^{-}(Ax^0)=Ax^0=\beta, \]等式成立。反之，设\(\beta=AA^-\beta\)，则取\(x^0=A^-\beta\)，就有\(AA^-\beta=Ax^0=\beta\)。
-
非齐次线性方程组解的结构：设\(Ax=\beta\)有解，则它的通解为
\[x=A^-\beta+(I_{(n)}-A^-A)z. \]这里\(A^-\)是矩阵\(A\)的某个取定的广义逆，\(z\)是任意\(n\)维列向量。
因\(Ax=\beta\)有解，故\(AA^-\beta=\beta\)，取\(x=A^-\beta+(I_{(n)}-A^-A)z\)，则
\[Ax=AA^-\beta+Az-AA^-Az=AA^-\beta=\beta. \]反之，设\(x^0\)是方程\(Ax=\beta\)的解，取\(z=x_0\)，就有
\[A^-\beta+(I_{(n)}-A^-A)x^0=A^-Ax_0+x^0-A^-Ax^0=x^0. \]即\(x_0\)可表为上述形式。
-
齐次线性方程组解的结构定理：方程\(Ax=0\)恒有解，且通解为
\[x=(I_{(n)}-A^-A)z, \]这里\(A^-\)是矩阵\(A\)的某个取定的广义逆，\(z\)是任意\(n\)维列向量。
取第二个定理中\(\beta=0\)就得到此结论。
-
非齐次线性方程组广义逆与通解：设\(Ax=\beta\)有解，其中\(\beta\ne 0\)，则\(x=A^-\beta\)，这里\(A^-\)是矩阵的任一广义逆。
不妨设\(Ax=\beta\)的一个特解为\(x^0\)。取\(x=A^-\beta\)，则
\[Ax=AA^-\beta=AA^-Ax^0=Ax^0=\beta, \]这说明对矩阵任一广义逆\(A^-\)，\(A^-\beta\)都是方程\(Ax=\beta\)的解。
反之，设\(x^0\)是方程\(Ax=\beta\)的解，下证明存在矩阵\(A\)的一个广义逆\(A^-\)使得\(x^0=A^-\beta\)。设\(\mathrm{rank}(A)=r\)，且
\[A=P\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Q, \]则
\[A^-=Q^{-1}\begin{pmatrix} I_{(r)} & B \\ C & D \end{pmatrix}P^{-1}, \]于是由\(Ax^0=\beta\)，有
\[\begin{pmatrix} I_{(r)} & 0 \\ 0 & 0 \end{pmatrix}Qx^0=P^{-1}\beta. \]记\(Qx^0=(y_1,y_2)‘\)，则\(P^{-1}\beta=(y_1,0)‘\)，又因为\(\beta\ne 0\)且\(P\)可逆，所以\(y_1\ne 0\)。记
\[y_1=(c_1,c_2,\cdots,c_r),\quad c_i\ne 0, \]取\(B=0\)，\(D=0\)，\(C\)的第\(i\)列为\(\dfrac{1}{c_i}y_2‘\)，其他列为\(0\)，所得到的广义逆记作\(A^-\)，于是
\[A^-\beta=Q^{-1}\begin{pmatrix} I_{(r)} & 0 \\ C & 0 \end{pmatrix}\begin{pmatrix} y_1‘ \\ 0 \end{pmatrix}=Q^{-1}\begin{pmatrix} y_1‘ \\ y_2‘ \end{pmatrix}=Q^{-1}Qx^0=x^0. \]
当考虑复数域时，复矩阵的Moore-Penrose广义逆较常用，考虑如下的Penrose方程组：
这里\(A\in \mathbb{C}^{m\times n}\)是给定的，\(X\in \mathbb{C}^{n\times m}\)是未知的，满足此方程组的解\(X\)就称为\(A\)的Moore-Penrose广义逆。
- Moore-Penrose广义逆：对给定的\(A\in \mathbb{C}^{m\times n}\)，Penrose方程组的解\(X\)称为\(A\)的Moore-Penrose广义逆，记作\(A^+\)。
Moore-Penrose广义逆相比上面提到的广义逆的优越性在于，此广义逆是唯一的，因此许多时候Moore-Penrose广义逆就代表广义逆。
-
Moore-Penrose广义逆唯一：对任意\(m\times n\)矩阵\(A\)，Penrose方程组总有唯一解。
具体地说，设\(A=BC\)，其中\(B,C\)分别是列满秩矩阵和行满秩矩阵，则
\[X=\bar{C}^{\intercal}(C\bar{C}^{\intercal})^{-1}(\bar{B}^{\intercal}B)^{-1}\bar{B}^{\intercal}. \]将\(X\)代入四个矩阵方程，会发现四个方程均成立，故\(X\)的确是Penrose方程组的解。
下证唯一性，设\(X_1,X_2\)都是Penrose方程的解，则
\[\begin{aligned} X_1&\stackrel{P2}=X_1AX_1\&\stackrel{P1}=X_1AX_2AX_1\&\stackrel{P3}=X_1\overline{(AX_2)^{\intercal}}\overline{(AX_1)^{\intercal}}\&=X_1\overline{(AX_1AX_2)^{\intercal}}\&\stackrel{P1}=X_1\overline{(AX_2)^{\intercal}}\&\stackrel{P3}=X_1AX_2\&\stackrel{P1}=X_1AX_2AX_2\&\stackrel{P4}=\overline{(X_1A)^{\intercal}}\overline{(X_2A)^{\intercal}}X_2\&=\overline{(X_2AX_1A)^{\intercal}}X_2\&\stackrel{P1}=\overline{(X_2A)^{\intercal}}X_2\&\stackrel{P4}=X_2AX_2\&\stackrel{P2}=X_2. \end{aligned} \]于是\(X_1=X_2\)。
显然当\(A\)可逆时，\(A^+=A^{-1}\)，即广义逆确实是逆矩阵的推广。Moore-Penrose广义逆有如下与逆矩阵类似的性质：
- \((A^+)^+=A\)。
- \((\bar{A}^{\intercal})^+=\overline{(A^+)^\intercal}\)。
- \((\lambda A)^{\intercal}=\lambda^+A^+\)，这里\(\lambda^+\)是数\(\lambda\)的广义逆，当\(\lambda\ne 0\)时\(\lambda^+=\dfrac{1}{\lambda}\)，特别有\(0^+=0\)。
注意，广义逆不满足穿脱原理：