广义逆主要是为了把逆计算推广到奇异矩阵和非方阵. 广义逆矩阵是Moore首先明确提出来, 凭借他天才的几何直觉,利用正交投影算子来定义广义逆,但由于这类定义较为抽象而且不能进行有效运作,所以在之后的30年并未引起人们的注意.直到1955年,Penrose以更直接明确的代数形式给出了Moore广义逆矩阵的定义,他用四个方程再次定义了广义逆,并证明了A+的唯一性,还建立了A(1)与线性方程组Ax=b的解的联系,从那时起广义逆的研究开始蓬勃发展.
1. 广义逆介绍
定义: m x n的矩阵A∈C, 若n x m的矩阵X∈C 满足四个Moore-Penrose方程: (1) AXA=A; (2) XAX=X; (3) (AX)^H = AX; (4) (XA)^H = XA; 中的一个或者多个,则称X为A的广义逆矩阵.
由此可见A的广义逆一共有15类. 如果矩阵G满足第i个方程,则记为 G=A(i) , 如果满足多个,则记为 G=A(i,j,k) . 如果G满足全部四个方程,记为 G = A+.
满足第i类方程的集合记为 A{i}, 相应满足多类则记为 A{i,j} . 其中A{1} 叫做减号逆, 记为 A- , 而 A+ 叫做加号逆或者伪逆.
2. 加号逆介绍
A+ 的存在是唯一的. 当A可逆,A的逆就是加号逆. 下面构造性证明其存在性:
对A进行奇异值分解, 得到 A = V S U^H ,可以想象一下加号逆G要怎么构造. 令G = U S^-1 V^H (其中S^-1是把Sr取逆,其余零不变) , 那么可以验证G满足四个方程.
唯一性证明则是 设X,Y都是A的加号逆, 由 X 反复利用四个公式转换成 Y. 思路是两个A 和一个X可以变成一个A,这样就少了一个X, 转换几次就OK了. 过程如下:
X = XAX = X (AX)^H = X X^H A^H = X X^H (AYA)^H = X X^H A^H Y^H A^H = X X^H A^H (AY)^H = X X^H A^H A Y = X (A X A) Y = X A Y = X A (Y A Y)=X A (Y A) Y = X A A^H Y^H Y = (X A) A^H Y^H Y = A^H X^H A^H Y^H Y = (AXA)^H Y^H Y = YAY = Y.
A+ 满足以下定理:
- (A+)+= A;
- (AH)+= (A+)H (把H换成T也一样);
- (AHA)+ = A+(AH)+ , (AAH)+ = (AH)+ A+ ;
- 一般 (AB)+ ≠ B+A+ ;
- 一般 AA+ ≠ A+A ≠ I ;
- A+ 与A 的秩相同 ;
- A+ = (AHA)+AH = AH(AAH)+ ;
- A+ 和 AH 的象空间相同.
3. A+的几种基本求法
一. 满秩分解求:
A满秩分解为: A=FG,则有: A+=GH (GGH)-1 (FHF)-1 FH . 代入即可证明. 中间的两个逆可以合成一个逆来求,不过两个分开求比较简单.
推论:
- 当A列满秩, A+ = (AHA)-1AH ; 当A行满秩, A+ = AH(AAH)-1 . 因为F或G中令一个为I另一个为A即可证.
二. 奇异值分解求:
这个在证明加号逆存在性的时候就说明过了. 根据奇异值分解的过程,求解 A+ 可以化简为: 求出U1,Sr, 则 A+ = U1 Sr-1 U1H AH .
秩1公式: 当A的秩为1, 则 A+= (1/Σ(aij)²) AH . 也就是 A的所有个元素的平方和的倒数 乘以A的共轭转置.
三. 用谱分解求:
将AHA谱分解, 有AHA = Σ(i=1,k)λiGi
4. 线性方程组
有了广义逆,对非齐次线性方程组 Ax=b 的求解就可以更广了. 如果存在x使方程组满足,则称方程组相容;否则称为不相容方程组.
相容方程组中, Frobenious范数(即由内积诱导的范数,对向量来说 ||x|| = (x,x)^1/2 )最小的解x0称为极小范数解,极小范数解唯一.
不相容方程组中, 取x0使 ||Ax0 – b|| = min ||Ax – b|| ,则称x0为最小二乘解.最小二乘解不唯一,而其中范数最小的一个称为极小范数最小二乘解,或极小最小二乘解.
下面先看相容性:
定理1(Penrose定理) 矩阵方程AXB=D相容的充要条件为 AA(1)DB(1)B=D ; 其通解为: X = A(1)DB(1) + Y – A(1)AYBB(1), 其中Y为任意满足行列数的矩阵.
推论1: 集合 A{1} = { A(1) + Z – A(1)AZAA(1) |Z为任意n x m矩阵} .证明只需取B=D=A, Y=A(1) + Z. 因为A+也属于A{1}, 所以可以把 A+ 代入求.
推论2: 方程组Ax=b相容的充要条件是A A(1) b=b, 通解为: X= A(1)b + ( I- A(1)A)y , y为任意n维列向量. 把 A(1) 换成 A+ 比较好,因为 A+b是不相容方程的极小最小二乘解. 而且此处可证当A列满秩,相容方程组Ax=b解唯一.用到加号逆的第七条特性.
定理2 设P,Q分别为m,n阶可逆阵, 使PAQ 为矩阵R: , 则A{1}={QRP}, R中除Ir外的元素任意.
P和Q的求法和当初写(A I)初等变换成(I A^-1) 的方法一样, 先把A写在左上角,A下面和右边添上I, 然后把A初等变换成Ir, 则此时左下的I变成Q, 右上的I变成P.
一般用不上,因为 A+ 更好求.
下面的就只记了结论,证明过程不详述了.
相容线性方程组的极小范数解:
引理1: A{1,4} = {X∈C | XA = A(1,4) A} = {X | XA = A+A}. 证明可以用定义和代入证.
定理3: A{1,4}的通式为: A{1,4} = { A(1,4) + Z(I – AA(1,4)) | Z为任意n x m矩阵}.
定理4: 对任意A{1,4} , A(1,4)b都是相容方程组Ax=b的极小范数解,且唯一. 也就是A{1,4}的选择不改变最后的解.
定理5: 如果一个X,对任意b, Xb都是Ax=b的极小范数解,则X∈A{1,4}.
不相容方程组的最小二乘解:
引理2: A{1,3} = {X∈C | AX = AA(1,3) } = {X | AX = AA+}.
定理6: A{1,3}的通式为: A{1,3} = { A(1,3) + Z(I -A(1,3)A) | Z为任意n x m矩阵}.
定理7: 对任意A{1,3} , A(1,3)b都是不相容方程组Ax=b的最小二乘解. 最小二乘解一般不唯一, 当且仅当A列满秩时唯一.
- 推论是当A列满秩,A{1,3}仅含A+,当A行满秩,A{1,4}仅含A+. 证明: (证明方法比较奇怪,不知道有没有更好的.)
1) 当A列满秩, 因为A+ ∈A{1,3},所以可以把A+ 代入通式,得到其最小二乘解为A+b.而A+ 是唯一的,所以最小二乘解唯一.
2) 再考虑A{1,3}, 上面证明了A列满秩时最小二乘解唯一,所以肯定有 I – A(1,3)A =0. 所以 I = A(1,3)A , 所以 A(1,3)满足所有四个条件,此时A{1,3}只包含A+.
定理8: x是不相容方程组Ax=b的最小二乘解 等价于 x是方程组 AA(1,3) =b的解.
定理9: 不相容方程Ax=b的最小二乘解的通式为: x = A(1,3) b + (I – A(1,3)A)y . 其中y为任意n维列向量.
极小最小二乘解:
引理: A+ =A(1,4)AA(1,3).
定理10: x = A+b 是不相容方程组Ax=b的唯一极小最小二乘解. 反之, 若X对于任意b都有 Xb是Ax=b的极小最小二乘解,则X=A+.