矩阵范数
定义
设
A
∈
C
m
×
n
A\in \mathbb{C}^{m\times n}
A∈Cm×n,按某一法则在
C
m
×
n
\mathbb{C}^{m\times n}
Cm×n上规定
A
A
A的一个实值函数，记作
∥
A
∥
\Vert A \Vert
∥A∥,它满足下面4个条件：
（1）非负性：如果
A
≠
0
A\neq 0
A=0，则
∥
A
∥
>
0
\Vert A \Vert>0
∥A∥>0;如果
A
=
0
A=0
A=0，则
∥
A
∥
=
0
\Vert A \Vert=0
∥A∥=0
（2）齐次性：对于任意的
k
∈
C
,
∥
k
A
∥
=
∣
k
∣
∥
A
∥
k \in \mathbb{C}, \Vert kA \Vert=\left| k \right| \Vert A \Vert
k∈C,∥kA∥=∣k∣∥A∥
（3）三角不等式：
∀
A
,
B
∈
C
m
×
n
,
∥
A
+
B
∥
≤
∥
A
∥
∥
B
∥
\forall A,B \in \mathbb{C}^{m\times n}, \Vert A+B \Vert \le \Vert A \Vert \Vert B \Vert
∀A,B∈Cm×n,∥A+B∥≤∥A∥∥B∥
（4）次乘性：当矩阵乘积
A
B
AB
AB有意义时，若有
∥
A
B
∥
≤
∥
A
∥
∥
B
∥
\Vert AB \Vert \le \Vert A \Vert \Vert B \Vert
∥AB∥≤∥A∥∥B∥
则称 ∥ A ∥ \Vert A \Vert ∥A∥为矩阵范数
（如果次乘性的不等号反向，则幂等矩阵的矩阵范数为0，与非负性矛盾；
次乘性保证了矩阵幂级数的敛散性的“合理性”）
常用的矩阵范数
设
A
∈
C
m
×
n
A\in C^{m\times n}
A∈Cm×n
∥
A
∥
m
1
=
∑
i
=
1
m
∑
i
=
1
n
∣
a
i
j
∣
∥
A
∥
m
∞
=
n
⋅
max
i
,
j
∣
a
i
j
∣
∥
A
∥
F
=
∥
A
∥
m
2
=
(
∑
i
=
1
m
∑
i
=
1
n
∣
a
i
j
2
∣
2
)
1
2
\Vert A \Vert_{m_1}=\sum_{i=1}^{m}\sum_{i=1}^{n}\left|a_{ij}\right|\\ \Vert A \Vert_{m_\infty}=n\cdot \max \limits_{i,j}\left|a_{ij}\right|\\ \Vert A \Vert_F=\Vert A \Vert_{m_2}=(\sum_{i=1}^{m}\sum_{i=1}^{n}\left| a_{ij}^2\right|^2)^{\frac{1}{2}}
∥A∥m1=i=1∑mi=1∑n∣aij∣∥A∥m∞=n⋅i,jmax∣aij∣∥A∥F=∥A∥m2=(i=1∑mi=1∑n∣∣aij2∣∣2)21
等价
设 A ∈ C m × n A\in \mathbb{C}^{m\times n} A∈Cm×n, ∥ A ∥ \Vert A \Vert ∥A∥是 C m × n \mathbb{C}^{m\times n} Cm×n上的矩阵范数，则 C m × n \mathbb{C}^{m\times n} Cm×n上的任意两个矩阵范数等价
相容
设
A
∈
C
m
×
n
,
x
∈
C
n
A\in \mathbb{C}^{m\times n},x \in \mathbb{C}^{n}
A∈Cm×n,x∈Cn,如果取定的向量范数
∥
x
∥
\Vert x \Vert
∥x∥和矩阵范数
∥
A
∥
\Vert A\Vert
∥A∥满足
∥
A
x
∥
≤
∥
A
∥
∥
x
∥
\Vert Ax \Vert \le \Vert A \Vert\Vert x \Vert
∥Ax∥≤∥A∥∥x∥
则称矩阵范数
∥
A
∥
\Vert A \Vert
∥A∥与向量范数
∥
x
∥
\Vert x \Vert
∥x∥是相容的
算子范数
设
A
∈
C
m
×
n
,
x
=
(
x
1
,
⋯
,
x
n
)
T
∈
C
n
A\in \mathbb{C}^{m\times n},x=(x_1,\cdots,x_n)^T \in \mathbb{C}^{n}
A∈Cm×n,x=(x1,⋯,xn)T∈Cn,且在
C
n
\mathbb{C}^{n}
Cn中已规定了向量的范数（即
C
n
\mathbb{C}^{n}
Cn是
n
n
n维赋范线性空间），定义
∥
A
∥
=
sup
∥
x
∥
≠
0
∥
A
x
∥
∥
x
∥
=
max
∥
x
∥
=
1
∥
A
x
∥
\Vert A \Vert = \sup \limits_{\Vert x \Vert \neq 0} \frac{\Vert Ax \Vert}{\Vert x \Vert}=\max \limits_{\Vert x \Vert =1}\Vert Ax \Vert
∥A∥=∥x∥=0sup∥x∥∥Ax∥=∥x∥=1max∥Ax∥
则上式定义了一个与向量范数
∥
⋅
∥
\Vert \cdot \Vert
∥⋅∥相容的矩阵范数，称为向量范数
∥
⋅
∥
\Vert \cdot \Vert
∥⋅∥诱导的矩阵范数或算子范数
证明：
需要证明这个矩阵范数满足4条性质以及相溶性
相溶性：
设
y
≠
0
,
x
=
1
∥
y
∥
y
,
∥
x
∥
=
1
y\neq 0,x=\frac{1}{\Vert y \Vert} y,\Vert x \Vert =1
y=0,x=∥y∥1y,∥x∥=1
∥
A
y
∥
=
∥
A
(
∥
y
∥
)
x
∥
=
∥
y
∥
∥
A
x
∥
≤
∥
y
∥
∥
A
∥
=
∥
A
∥
∥
y
∥
\begin{aligned} &\quad \Vert Ay \Vert \\ &= \Vert A(\Vert y \Vert) x \Vert\\ &= \Vert y \Vert \Vert Ax \Vert\\ &\le \Vert y \Vert \Vert A \Vert\\ &= \Vert A \Vert \Vert y \Vert \end{aligned}
∥Ay∥=∥A(∥y∥)x∥=∥y∥∥Ax∥≤∥y∥∥A∥=∥A∥∥y∥
非负性：
若
A
≠
0
A\neq 0
A=0，则可以找到
∥
x
∥
=
1
\Vert x \Vert=1
∥x∥=1的向量
x
x
x，使得
A
x
≠
0
Ax \neq 0
Ax=0,从而
∥
A
x
∥
≠
0
\Vert Ax \Vert \neq 0
∥Ax∥=0
所以
∥
A
∥
=
max
∥
x
∥
=
1
∥
A
x
∥
>
0
\Vert A \Vert=\max \limits_{\Vert x \Vert=1} \Vert Ax \Vert>0
∥A∥=∥x∥=1max∥Ax∥>0
当
A
=
0
A=0
A=0,一定有
∥
A
∥
=
max
∥
x
∥
=
1
∥
0
x
∥
=
0
\Vert A \Vert=\max \limits_{\Vert x \Vert=1} \Vert 0x \Vert=0
∥A∥=∥x∥=1max∥0x∥=0
齐次性：
对于
∀
k
∈
C
\forall k \in \mathbb{C}
∀k∈C,有
∥
k
A
∥
=
max
∥
x
∥
=
1
∥
k
A
x
∥
=
∣
k
∣
max
∥
x
∥
=
1
∥
A
x
∥
=
∣
k
∣
∥
A
∥
\Vert kA \Vert=\max \limits_{\Vert x \Vert=1} \Vert kAx \Vert = \left|k \right| \max \limits_{\Vert x \Vert=1} \Vert Ax \Vert=\left|k \right| \Vert A \Vert
∥kA∥=∥x∥=1max∥kAx∥=∣k∣∥x∥=1max∥Ax∥=∣k∣∥A∥
三角不等式：
对于矩阵
A
+
B
A+B
A+B，可以找到向量
x
0
x_0
x0,使得
∥
A
+
B
∥
=
∥
(
A
+
B
)
x
0
∥
(
∥
x
0
∥
=
1
)
\Vert A+B \Vert= \Vert (A+B)x_0 \Vert \quad (\Vert x_0 \Vert=1)
∥A+B∥=∥(A+B)x0∥(∥x0∥=1)
于是
∥
A
+
B
∥
=
∥
(
A
+
B
)
x
0
∥
=
∥
A
x
0
+
B
x
0
∥
≤
∥
A
x
0
∥
+
∥
B
x
0
∥
≤
∥
A
∥
∥
x
0
∥
+
∥
B
∥
∥
x
0
∥
=
∥
A
∥
+
∥
B
∥
\begin{aligned} &\quad \Vert A+B \Vert\\ &= \Vert (A+B)x_0 \Vert\\ &=\Vert Ax_0+Bx_0 \Vert\\ &\le \Vert Ax_0 \Vert+ \Vert Bx_0 \Vert\\ &\le \Vert A \Vert \Vert x_0 \Vert+ \Vert B \Vert \Vert x_0 \Vert\\ &= \Vert A \Vert + \Vert B \Vert \end{aligned}
∥A+B∥=∥(A+B)x0∥=∥Ax0+Bx0∥≤∥Ax0∥+∥Bx0∥≤∥A∥∥x0∥+∥B∥∥x0∥=∥A∥+∥B∥
次乘性：
对于矩阵
A
B
AB
AB，可以找到向量
x
0
x_0
x0,使得
∥
A
B
x
0
∥
=
∥
A
B
∥
(
∥
x
0
∥
=
1
)
\Vert ABx_0 \Vert = \Vert AB \Vert \quad (\Vert x_0 \Vert=1)
∥ABx0∥=∥AB∥(∥x0∥=1)
于是
∥
A
B
∥
=
∥
A
B
x
0
∥
=
∥
A
(
B
x
0
)
∥
≤
∥
A
∥
∥
B
x
0
∥
≤
∥
A
∥
∥
B
∥
∥
x
0
∥
=
∥
A
∥
∥
B
∥
\begin{aligned} &\quad \Vert AB \Vert\\ &= \Vert ABx_0 \Vert\\ &=\Vert A(Bx_0) \Vert\\ &\le \Vert A \Vert \Vert Bx_0 \Vert\\ &\le \Vert A \Vert \Vert B \Vert \Vert x_0\Vert\\ &= \Vert A \Vert \Vert B \Vert \end{aligned}
∥AB∥=∥ABx0∥=∥A(Bx0)∥≤∥A∥∥Bx0∥≤∥A∥∥B∥∥x0∥=∥A∥∥B∥
证毕
常见的算子范数
设
A
∈
C
m
×
n
,
x
∈
C
n
A\in \mathbb{C}^{m\times n},x\in \mathbb{C}^{n}
A∈Cm×n,x∈Cn,则从属于向量
x
x
x的三种范数
∥
x
∥
1
,
∥
x
∥
2
,
∥
x
∥
∞
\Vert x \Vert_1,\Vert x \Vert_2 , \Vert x \Vert_\infty
∥x∥1,∥x∥2,∥x∥∞的算子范数依次是
（1）
∥
A
∥
1
=
max
j
∑
i
=
1
m
∣
a
i
j
∣
\Vert A \Vert_1=\max \limits_{j} \sum_{i=1}^{m} \left| a_{ij}\right|
∥A∥1=jmaxi=1∑m∣aij∣
称为列范数
（2）
∥
A
∥
2
=
λ
max
(
A
H
A
)
\Vert A \Vert_2 =\sqrt{\lambda_{\max}(A^HA)}
∥A∥2=λmax(AHA)
称为谱范数
（3）
∥
A
∥
∞
=
max
i
∑
j
=
1
n
∣
a
i
j
∣
\Vert A \Vert_\infty =\max \limits_{i} \sum_{j=1}^{n}\left|a_{ij}\right|
∥A∥∞=imaxj=1∑n∣aij∣
称为行范数
证明：
（1）
对于任何非零向量
x
x
x，设
∥
x
∥
1
=
1
\Vert x \Vert_1 =1
∥x∥1=1,则
∥
A
x
∥
1
=
∑
i
=
1
m
∑
j
=
1
n
∣
a
i
j
∣
∣
x
j
∣
=
∑
j
=
1
n
∑
i
=
1
m
∣
a
i
j
∣
∣
x
j
∣
=
∑
j
=
1
n
(
∑
i
=
1
m
∣
a
i
j
∣
)
∣
x
j
∣
≤
max
j
∑
i
=
1
m
∣
a
i
j
∣
∑
j
=
1
n
∣
x
j
∣
=
max
j
∑
i
=
1
m
∣
a
i
j
∣
\begin{aligned} &\quad \Vert Ax \Vert_1\\ &=\sum_{i=1}^{m}\sum_{j=1}^{n}\left| a_{ij}\right|\left| x_j\right|\\ &=\sum_{j=1}^{n}\sum_{i=1}^{m}\left| a_{ij}\right|\left| x_j\right|\\ &=\sum_{j=1}^{n}(\sum_{i=1}^{m}\left| a_{ij}\right|)\left| x_j\right|\\ &\le \max\limits_{j}\sum_{i=1}^{m}\left| a_{ij}\right| \sum_{j=1}^{n}\left| x_j\right|\\ &=\max\limits_{j}\sum_{i=1}^{m}\left| a_{ij}\right| \end{aligned}
∥Ax∥1=i=1∑mj=1∑n∣aij∣∣xj∣=j=1∑ni=1∑m∣aij∣∣xj∣=j=1∑n(i=1∑m∣aij∣)∣xj∣≤jmaxi=1∑m∣aij∣j=1∑n∣xj∣=jmaxi=1∑m∣aij∣
所以
∥
A
x
∥
1
≤
max
j
∑
i
=
1
m
∣
a
i
j
∣
\quad \Vert Ax \Vert_1\le \max\limits_{j}\sum_{i=1}^{m}\left| a_{ij}\right|
∥Ax∥1≤jmaxi=1∑m∣aij∣
设在
j
=
j
0
j=j_0
j=j0时，
∑
i
=
1
m
∣
a
i
j
∣
\sum_{i=1}^{m}\left|a_{ij}\right|
∑i=1m∣aij∣达到最大值，即
∑
i
=
1
m
∣
a
i
j
0
∣
=
max
1
≤
j
≤
n
∑
i
=
1
m
∣
a
i
j
∣
\sum_{i=1}^{m}\left|a_{ij_0}\right|=\max\limits_{1\le j \le n}\sum_{i=1}^{m}\left| a_{ij}\right|
i=1∑m∣aij0∣=1≤j≤nmaxi=1∑m∣aij∣
去向量
x
0
=
(
0
,
⋯
,
0
,
1
,
0
,
⋯
0
)
T
x_0=(0,\cdots,0,1,0,\cdots 0)^T
x0=(0,⋯,0,1,0,⋯0)T
其中第
j
0
j_0
j0个分量为
1
1
1,其余为
0
0
0，显然
∥
x
∥
1
=
1
\Vert x \Vert_1 =1
∥x∥1=1
∥
A
x
0
∥
1
=
∑
i
=
1
m
∣
∑
j
=
1
n
a
i
j
x
j
∣
=
∑
i
=
1
m
∣
a
i
j
0
∣
=
max
j
∑
i
=
1
m
∣
a
i
j
∣
\Vert Ax_0 \Vert_1=\sum_{i=1}^{m}\left|\sum_{j=1}^{n}a_{ij}x_j\right|=\sum_{i=1}^{m}\left|a_{ij_0}\right|=\max\limits_{j}\sum_{i=1}^{m}\left|a_{ij}\right|
∥Ax0∥1=i=1∑m∣∣∣∣∣j=1∑naijxj∣∣∣∣∣=i=1∑m∣aij0∣=jmaxi=1∑m∣aij∣
于是
∥
A
∥
1
=
max
∥
x
∥
1
=
1
∥
A
x
∥
1
=
max
j
∑
i
=
1
m
∣
a
i
j
∣
\Vert A \Vert_1=\max\limits_{\Vert x \Vert_1=1} \Vert Ax \Vert_1=\max\limits_{j} \sum_{i=1}^{m}\left| a_{ij} \right|
∥A∥1=∥x∥1=1max∥Ax∥1=jmaxi=1∑m∣aij∣
(2)
∥
A
∥
2
=
max
∥
x
∥
2
=
1
∥
A
x
∥
2
\Vert A \Vert_2=\max\limits_{\Vert x \Vert_2 =1} \Vert Ax \Vert_2
∥A∥2=∥x∥2=1max∥Ax∥2
因为
∥
A
x
∥
2
2
=
(
A
x
,
A
x
)
=
(
x
,
A
H
A
x
)
\Vert Ax \Vert_2^2 =(Ax ,Ax)=(x,A^H Ax)
∥Ax∥22=(Ax,Ax)=(x,AHAx)
显然，矩阵
A
H
A
A^HA
AHA是埃尔米特矩阵（复数版实对称矩阵），且非负，从而他的特征值都是非负实数
设
λ
1
≥
λ
2
≥
⋯
≥
λ
n
≥
0
\lambda_1\ge \lambda_2 \ge \cdots \ge \lambda_n \ge 0
λ1≥λ2≥⋯≥λn≥0为
A
H
A
A^HA
AHA的特征值，
而
x
1
,
x
2
,
⋯
,
x
n
x_1,x_2,\cdots,x_n
x1,x2,⋯,xn为这些特征值对应的一组标准正交特征向量，任何一个范数为
1
1
1的向量
x
x
x都可以表示为
x
=
a
1
x
1
+
⋯
a
n
x
n
x=a_1x_1+\cdots a_nx_n
x=a1x1+⋯anxn
则
(
x
,
x
)
=
∣
a
1
∣
2
+
⋯
∣
a
n
∣
2
=
1
(x,x)=\left|a_1\right|^2+\cdots \left|a_n\right|^2=1
(x,x)=∣a1∣2+⋯∣an∣2=1
又因为
∥
A
x
∥
2
2
=
(
x
,
A
H
A
x
)
=
(
a
1
x
1
+
⋯
a
n
x
n
,
λ
1
a
1
x
1
+
⋯
λ
n
a
n
x
n
)
=
λ
1
∣
a
1
∣
2
+
⋯
λ
n
∣
a
n
∣
2
≤
λ
1
(
∣
a
1
∣
2
+
⋯
∣
a
n
∣
2
)
=
λ
1
=
λ
max
(
A
H
A
)
\begin{aligned} &\quad \Vert Ax \Vert_2^2 \\ &=(x,A^H Ax)\\ &=(a_1x_1+\cdots a_n x_n,\lambda_1 a_1 x_1+\cdots \lambda_n a_n x_n)\\ &=\lambda_1\left|a_1\right|^2+\cdots \lambda_n \left|a_n\right|^2\\ &\le \lambda_1(\left|a_1\right|^2+\cdots \left|a_n\right|^2)\\ &=\lambda_1\\ &=\lambda_{\max}(A^HA) \end{aligned}
∥Ax∥22=(x,AHAx)=(a1x1+⋯anxn,λ1a1x1+⋯λnanxn)=λ1∣a1∣2+⋯λn∣an∣2≤λ1(∣a1∣2+⋯∣an∣2)=λ1=λmax(AHA)
取向量
x
=
x
1
x=x_1
x=x1,有
∥
A
x
1
∥
2
2
=
(
x
1
,
A
H
A
x
1
)
=
(
x
1
λ
1
x
1
)
=
λ
1
‾
(
x
1
,
x
1
)
=
λ
1
=
λ
max
(
A
H
A
)
\begin{aligned} &\quad \Vert Ax_1 \Vert_2^2\\ &=(x_1,A^H Ax_1)\\ &=(x_1 \lambda_1 x_1)\\ &=\overline{\lambda_1}(x_1,x_1)\\ &=\lambda_1\\ &=\lambda_{\max}(A^HA) \end{aligned}
∥Ax1∥22=(x1,AHAx1)=(x1λ1x1)=λ1(x1,x1)=λ1=λmax(AHA)
所以
∥
A
∥
2
=
max
∥
x
∥
2
=
1
∥
A
x
∥
2
=
λ
max
(
A
H
A
)
\Vert A \Vert_2= \max\limits_{\Vert x \Vert_2=1}\Vert Ax \Vert_2=\sqrt{\lambda_{\max}(A^HA)}
∥A∥2=∥x∥2=1max∥Ax∥2=λmax(AHA)
(3)设
∥
x
∥
∞
=
1
\Vert x \Vert_\infty=1
∥x∥∞=1,则
∥
A
x
∥
∞
=
max
i
∣
∑
j
=
1
n
a
i
j
x
j
∣
≤
max
j
∑
j
=
1
n
∣
a
i
j
∣
∣
x
j
∣
≤
max
j
∑
j
=
1
n
∣
a
i
j
∣
\begin{aligned} &\quad \Vert Ax \Vert_\infty\\ &=\max\limits_{i}\left|\sum_{j=1}^{n}a_{ij}x_j\right|\\ &\le \max\limits_{j}\sum_{j=1}^{n}\left|a_{ij}\right|\left|x_j\right|\\ &\le \max\limits_{j}\sum_{j=1}^{n}\left|a_{ij}\right| \end{aligned}
∥Ax∥∞=imax∣∣∣∣∣j=1∑naijxj∣∣∣∣∣≤jmaxj=1∑n∣aij∣∣xj∣≤jmaxj=1∑n∣aij∣
所以
max
∥
x
∥
∞
=
1
∥
A
x
∥
∞
≤
max
i
∑
j
=
1
n
∣
a
i
j
∣
\max\limits_{\Vert x \Vert_\infty=1}\Vert Ax \Vert_\infty \le \max\limits_{i}\sum_{j=1}^{n}\left|a_{ij}\right|
∥x∥∞=1max∥Ax∥∞≤imaxj=1∑n∣aij∣
设
∑
j
=
1
n
∣
a
i
j
∣
\sum_{j=1}^{n}\left|a_{ij}\right|
∑j=1n∣aij∣在
i
=
i
0
i=i_0
i=i0是取到最大值，取向量
x
0
=
(
x
1
,
⋯
,
x
n
)
T
x_0=(x_1,\cdots,x_n)^T
x0=(x1,⋯,xn)T
其中
x
j
=
{
∣
a
i
0
j
∣
a
i
0
j
,
a
i
0
j
=
0
1
,
a
i
0
j
=
0
x_j=\begin{cases} \frac{\left|a_{i_0 j}\right|}{a_{i_0 j}},a_{i_0 j}=0\\ 1,a_{i_0 j} =0 \end{cases}
xj=⎩⎨⎧ai0j∣ai0j∣,ai0j=01,ai0j=0
易知
∥
x
0
∥
∞
=
1
\Vert x_0 \Vert_\infty=1
∥x0∥∞=1
且当
i
=
i
0
i=i_0
i=i0时
∣
∑
j
=
1
n
a
i
j
x
j
∣
=
max
i
∑
j
=
1
n
∣
a
i
j
∣
\left|\sum_{j=1}^{n}a_{ij}x_j\right|=\max\limits_{i}\sum_{j=1}^{n}\left|a_{ij}\right|
∣∣∣∣∣j=1∑naijxj∣∣∣∣∣=imaxj=1∑n∣aij∣
从而
∥
A
x
0
∥
∞
=
max
i
∑
j
=
1
n
∣
a
i
j
∣
\Vert Ax_0 \Vert_\infty=\max\limits_{i}\sum_{j=1}^{n}\left| a_{ij}\right|
∥Ax0∥∞=imaxj=1∑n∣aij∣
所以
∥
A
∥
∞
=
max
∥
x
∥
∞
=
1
∥
A
x
∥
∞
=
max
i
∑
j
=
1
n
∣
a
i
j
∣
\Vert A \Vert_\infty=\max\limits_{\Vert x \Vert_\infty=1} \Vert Ax \Vert_\infty=\max\limits_{i}\sum_{j=1}^{n}\left| a_{ij}\right|
∥A∥∞=∥x∥∞=1max∥Ax∥∞=imaxj=1∑n∣aij∣
F范数性质
F范数又叫做费罗贝尼乌斯（Frobenius）范数
设
A
∈
C
m
×
n
A\in\mathbb{C}^{m\times n}
A∈Cm×n，而
U
∈
C
m
×
m
,
V
∈
C
n
×
n
U\in \mathbb{C}^{m\times m} ,V \in \mathbb{C}^{n\times n}
U∈Cm×m,V∈Cn×n都是酉矩阵
则
∥
U
A
∥
F
=
∥
A
∥
F
=
∥
A
V
∥
F
\Vert UA \Vert_F= \Vert A \Vert_F= \Vert AV \Vert_F
∥UA∥F=∥A∥F=∥AV∥F
证明：
设
A
=
(
α
1
,
⋯
,
α
n
)
A=(\alpha_1,\cdots,\alpha_n)
A=(α1,⋯,αn),则
∥
U
A
∥
F
2
=
∥
U
(
α
1
,
⋯
,
α
n
)
∥
F
2
=
∑
i
=
1
n
∥
U
α
i
∥
2
2
=
∑
i
=
1
n
∥
α
i
∥
2
2
=
∥
A
∥
F
2
\begin{aligned} &\quad \Vert UA \Vert_F^2\\ &= \Vert U(\alpha_1,\cdots ,\alpha_n) \Vert_F^2\\ &=\sum_{i=1}^{n}\Vert U\alpha_i\Vert_2^2\\ &=\sum_{i=1}^{n}\Vert\alpha_i \Vert_2^2\\ &=\Vert A \Vert_F^2 \end{aligned}
∥UA∥F2=∥U(α1,⋯,αn)∥F2=i=1∑n∥Uαi∥22=i=1∑n∥αi∥22=∥A∥F2
于是
∥
U
A
∥
F
=
∥
A
∥
F
\Vert UA \Vert_F= \Vert A \Vert_F
∥UA∥F=∥A∥F
而
∥
A
V
∥
F
=
∥
(
A
V
)
H
∥
F
=
∥
V
H
A
H
∥
F
=
∥
A
H
∥
F
=
∥
A
∥
F
\Vert AV \Vert_F = \Vert (AV)^H \Vert_F= \Vert V^H A^H \Vert_F=\Vert A^H \Vert_F = \Vert A \Vert_F
∥AV∥F=∥(AV)H∥F=∥VHAH∥F=∥AH∥F=∥A∥F
推论
与
A
A
A酉相似的矩阵的F范数相同
即
B
=
U
H
A
U
B=U^HAU
B=UHAU，则
∥
B
∥
F
=
∥
A
∥
F
\Vert B \Vert_F= \Vert A \Vert_F
∥B∥F=∥A∥F,其中
U
U
U是酉矩阵
谱范数的性质和谱半径
定理1
设
A
∈
C
m
×
n
A\in \mathbb{C}^{m\times n}
A∈Cm×n,则
（1）
∥
A
∥
2
=
max
∥
x
∥
2
=
∥
y
∥
2
=
1
∣
y
H
A
x
∣
,
x
∈
C
n
,
y
∈
C
m
\Vert A \Vert_2 =\max\limits_{\Vert x \Vert_2=\Vert y \Vert_2=1} \left| y^H Ax\right|,x \in \mathbb{C}^{n},y\in \mathbb{C}^{m}
∥A∥2=∥x∥2=∥y∥2=1max∣∣yHAx∣∣,x∈Cn,y∈Cm
（2）
∥
A
H
∥
2
=
∥
A
∥
2
\Vert A^H \Vert_2= \Vert A \Vert_2
∥AH∥2=∥A∥2
（3）
∥
A
H
A
∥
2
=
∥
A
∥
F
2
\Vert A^H A \Vert_2 = \Vert A\Vert_F^2
∥AHA∥2=∥A∥F2
证明：
（1）对满足
∥
x
∥
2
=
∥
y
∥
2
=
1
\Vert x \Vert_2=\Vert y \Vert_2=1
∥x∥2=∥y∥2=1的
x
,
y
x,y
x,y,有
∣
y
H
A
x
∣
≤
∥
y
∥
2
∥
A
x
∥
2
≤
∥
A
∥
2
\left| y^H Ax \right| \le \Vert y \Vert_2 \Vert Ax \Vert_2 \le \Vert A \Vert_2
∣∣yHAx∣∣≤∥y∥2∥Ax∥2≤∥A∥2
设有
∥
x
∥
2
=
1
\Vert x \Vert_2=1
∥x∥2=1，使得
∥
A
x
∥
2
=
∥
A
∥
2
≠
0
\Vert Ax \Vert_2= \Vert A \Vert_2 \neq 0
∥Ax∥2=∥A∥2=0
令
y
=
A
x
∥
A
x
∥
2
y=\frac{Ax}{\Vert Ax \Vert_2}
y=∥Ax∥2Ax,就有
∣
y
H
A
x
∣
=
∥
A
x
∥
2
2
∥
A
x
∥
2
=
∥
A
x
∥
2
=
∥
A
∥
2
\left|y^H Ax\right|=\frac{\Vert Ax \Vert_2^2}{\Vert Ax \Vert_2}= \Vert Ax \Vert_2=\Vert A \Vert_2
∣∣yHAx∣∣=∥Ax∥2∥Ax∥22=∥Ax∥2=∥A∥2
从而
max
∥
x
∥
2
=
∥
y
∥
2
=
1
∣
y
H
A
x
∣
=
∥
A
∥
2
\max\limits_{\Vert x \Vert_2=\Vert y \Vert_2=1}\left| y^H Ax \right|= \Vert A \Vert_2
∥x∥2=∥y∥2=1max∣∣yHAx∣∣=∥A∥2
（2）
∥
A
∥
2
=
max
∥
x
∥
2
=
∥
y
∥
2
=
1
∣
y
H
A
x
∣
=
max
∥
x
∥
2
=
∥
y
∥
2
=
1
∣
x
H
A
H
y
∣
=
∥
A
H
∥
2
\begin{aligned} &\quad \Vert A \Vert_2\\ &=\max\limits_{\Vert x \Vert_2=\Vert y \Vert_2=1} \left| y^H Ax \right|\\ &=\max\limits_{\Vert x \Vert_2=\Vert y \Vert_2=1}\left| x^H A^H y \right|\\ &=\Vert A^H \Vert_2 \end{aligned}
∥A∥2=∥x∥2=∥y∥2=1max∣∣yHAx∣∣=∥x∥2=∥y∥2=1max∣∣xHAHy∣∣=∥AH∥2
（3）
由
∥
A
H
A
∥
2
≤
∥
A
H
∥
2
∥
A
∥
2
,
∥
A
H
∥
2
=
∥
A
∥
2
\Vert A^H A\Vert_2 \le \Vert A^H \Vert_2 \Vert A \Vert_2,\Vert A^H \Vert_2= \Vert A \Vert_2
∥AHA∥2≤∥AH∥2∥A∥2,∥AH∥2=∥A∥2,有
∥
A
H
A
∥
2
≤
∥
A
∥
2
2
\Vert A^HA \Vert_2 \le \Vert A \Vert_2^2
∥AHA∥2≤∥A∥22
令
∥
x
∥
2
=
1
\Vert x \Vert_2=1
∥x∥2=1,使得
∥
A
x
∥
2
=
∥
A
∥
2
\Vert Ax \Vert_2= \Vert A \Vert_2
∥Ax∥2=∥A∥2,于是
∥
A
H
A
∥
2
≥
max
∥
x
∥
2
=
1
∣
x
H
A
H
A
x
∣
=
max
∥
x
∥
2
=
1
∥
A
x
∥
2
2
=
∥
A
∥
2
2
\begin{aligned} &\quad \Vert A^HA \Vert_2\\ &\ge\max\limits_{\Vert x\Vert_2=1}\left|x^HA^H Ax\right|\\ &=\max\limits_{\Vert x \Vert_2=1} \Vert Ax \Vert_2^2\\ &= \Vert A \Vert_2^2 \end{aligned}
∥AHA∥2≥∥x∥2=1max∣∣xHAHAx∣∣=∥x∥2=1max∥Ax∥22=∥A∥22
定理2
设
A
∈
C
m
×
n
,
U
∈
C
m
×
n
,
V
∈
C
n
×
n
A\in \mathbb{C}^{m\times n},U\in \mathbb{C}^{m\times n},V \in \mathbb{C}^{n\times n}
A∈Cm×n,U∈Cm×n,V∈Cn×n,且
U
H
U
=
I
m
,
V
H
V
=
I
n
U^HU=I_m,V^HV=I_n
UHU=Im,VHV=In,则
∥
U
A
V
∥
2
=
∥
A
∥
2
\Vert UAV \Vert_2 = \Vert A \Vert_2
∥UAV∥2=∥A∥2
证明：
令
v
=
V
H
x
,
u
=
U
y
v=V^Hx,u=Uy
v=VHx,u=Uy,则
∥
x
∥
2
=
1
⇔
∥
v
∥
2
=
1
\Vert x \Vert_2=1 \Leftrightarrow \Vert v \Vert_2=1
∥x∥2=1⇔∥v∥2=1
∥
y
∥
2
=
1
⇔
∥
u
∥
2
=
1
\Vert y \Vert_2 =1 \Leftrightarrow \Vert u \Vert_2=1
∥y∥2=1⇔∥u∥2=1
于是
∥
A
∥
2
=
max
∥
x
∥
2
=
∥
y
∥
2
=
1
∣
y
H
A
x
∣
=
max
∥
v
∥
2
=
∥
u
∥
2
=
1
∣
u
H
U
A
V
v
∣
=
∥
U
A
V
∥
2
\begin{aligned} &\quad \Vert A \Vert_2\\ &=\max\limits_{\Vert x \Vert_2=\Vert y \Vert_2=1}\left| y^H Ax \right|\\ &=\max \limits_{\Vert v \Vert_2 =\Vert u \Vert_2=1}\left|u^HUAVv\right|\\ &=\Vert UAV \Vert_2 \end{aligned}
∥A∥2=∥x∥2=∥y∥2=1max∣∣yHAx∣∣=∥v∥2=∥u∥2=1max∣∣uHUAVv∣∣=∥UAV∥2
定理3
设
A
∈
C
n
×
n
A \in \mathbb{C}^{n\times n}
A∈Cn×n,若
∥
A
∥
<
1
\Vert A \Vert<1
∥A∥<1,则
I
−
A
I-A
I−A为非奇异矩阵，且
∥
(
I
−
A
)
−
1
∥
≤
(
1
−
∥
A
∥
)
−
1
\Vert (I-A)^{-1} \Vert\le (1- \Vert A \Vert)^{-1}
∥(I−A)−1∥≤(1−∥A∥)−1
证明：
设
x
x
x为任一非零向量，则
∥
(
I
−
A
)
x
∥
=
∥
x
−
A
x
∥
≥
∥
x
∥
−
∥
A
x
∥
≥
∥
x
∥
−
∥
A
∥
∥
x
∥
=
(
1
−
∥
A
∥
)
∥
x
∥
>
0
\begin{aligned} &\quad \Vert (I-A)x \Vert\\ &= \Vert x-Ax \Vert\\ &\ge \Vert x \Vert- \Vert Ax \Vert\\ &\ge \Vert x \Vert- \Vert A \Vert \Vert x \Vert\\ &=(1-\Vert A \Vert)\Vert x \Vert\\ &>0 \end{aligned}
∥(I−A)x∥=∥x−Ax∥≥∥x∥−∥Ax∥≥∥x∥−∥A∥∥x∥=(1−∥A∥)∥x∥>0
所以，若
x
≠
0
x\neq 0
x=0,则
(
I
−
A
)
x
≠
0
(I-A)x \neq 0
(I−A)x=0
从而方程
(
I
−
A
)
x
=
0
(I-A)x=0
(I−A)x=0
无非零解，故
I
−
A
I-A
I−A非奇异
(
I
−
A
)
−
1
=
(
(
I
−
A
)
+
A
)
(
I
−
A
)
−
1
=
I
+
A
(
I
−
A
)
−
1
\begin{aligned} (I-A)^{-1}&=((I-A)+A)(I-A)^{-1}\\ &=I+A(I-A)^{-1} \end{aligned}
(I−A)−1=((I−A)+A)(I−A)−1=I+A(I−A)−1
从而
∥
(
I
−
A
)
−
1
∥
=
∥
I
+
A
(
I
−
A
)
−
1
∥
≤
∥
I
∥
+
∥
A
∥
∥
(
I
−
A
)
−
1
∥
=
1
+
∥
A
∥
∥
(
I
−
A
)
−
1
∥
\begin{aligned} &\quad \Vert (I-A)^{-1} \Vert\\ &=\Vert I+A(I-A)^{-1} \Vert\\ &\le \Vert I \Vert + \Vert A \Vert \Vert (I-A)^{-1} \Vert\\ &=1+\Vert A \Vert \Vert (I-A)^{-1} \Vert \end{aligned}
∥(I−A)−1∥=∥I+A(I−A)−1∥≤∥I∥+∥A∥∥(I−A)−1∥=1+∥A∥∥(I−A)−1∥
观察首尾，得到
∥
(
I
−
A
)
−
1
∥
≤
(
1
−
∥
A
∥
)
−
1
\Vert (I-A)^{-1} \Vert\le (1- \Vert A \Vert)^{-1}
∥(I−A)−1∥≤(1−∥A∥)−1
谱半径
设
A
∈
C
n
×
n
A\in \mathbb{C}^{n\times n}
A∈Cn×n,
λ
1
,
⋯
,
λ
n
\lambda_1,\cdots, \lambda_n
λ1,⋯,λn为
A
A
A的特征值，我们称
ρ
(
A
)
=
max
i
∣
λ
i
∣
\rho(A)=\max \limits_{i}\left|\lambda_i\right|
ρ(A)=imax∣λi∣
为
A
A
A的谱半径
特征值上界
对于任意矩阵
A
∈
C
n
×
n
A\in \mathbb{C}^{n\times n}
A∈Cn×n,总有
ρ
(
A
)
≤
∥
A
∥
\rho(A)\le \Vert A \Vert
ρ(A)≤∥A∥
证明：
设
λ
\lambda
λ是
A
A
A的任一特征值，
x
x
x为对应的特征向量，则有
A
x
λ
x
Ax\lambda x
Axλx
根据相容性
∣
λ
∣
∥
x
∥
=
∥
λ
x
∥
≤
∥
A
∥
∥
x
∥
\left|\lambda \right| \Vert x \Vert = \Vert \lambda x \Vert \le \Vert A \Vert \Vert x \Vert
∣λ∣∥x∥=∥λx∥≤∥A∥∥x∥
于是
∣
λ
∣
≤
∥
A
∥
\left|\lambda \right| \le \Vert A \Vert
∣λ∣≤∥A∥
有
ρ
(
A
)
≤
∥
A
∥
\rho(A) \le \Vert A \Vert
ρ(A)≤∥A∥
定理4
如果
A
∈
C
n
×
n
A\in \mathbb{C}^{n\times n}
A∈Cn×n,且
A
A
A是正规矩阵（包括实对称矩阵），则
ρ
(
A
)
=
∥
A
∥
2
\rho(A)=\Vert A \Vert_2
ρ(A)=∥A∥2
证明：
因为是正规矩阵，存在酉矩阵
U
U
U，使得
U
H
A
U
=
d
i
a
g
(
λ
1
,
⋯
,
λ
n
)
=
A
U^H AU =diag(\lambda_1,\cdots,\lambda_n)=A
UHAU=diag(λ1,⋯,λn)=A
于是
∥
A
∥
2
=
∥
U
H
A
U
∥
=
∥
d
i
a
g
(
λ
1
,
⋯
,
λ
n
)
∥
=
λ
max
(
A
H
A
)
=
max
i
(
λ
‾
i
λ
i
)
=
max
i
∣
λ
i
∣
2
=
ρ
(
A
)
\begin{aligned} &\quad \Vert A \Vert_2\\ &= \Vert U^H AU \Vert\\ &=\Vert diag(\lambda_1,\cdots , \lambda_n)\Vert\\ &=\sqrt{\lambda_{\max}(A^HA)}\\ &=\sqrt{\max\limits_{i}(\overline{\lambda}_i\lambda_i)}\\ &=\sqrt{\max\limits_{i}\left|\lambda_i\right|^2}\\ &=\rho(A) \end{aligned}
∥A∥2=∥UHAU∥=∥diag(λ1,⋯,λn)∥=λmax(AHA)
=imax(λiλi)
=imax∣λi∣2
=ρ(A)
定理5
对于任意非奇异矩阵
A
∈
C
n
×
n
A\in \mathbb{C}^{n\times n}
A∈Cn×n,
A
A
A的谱范数为
∥
A
∥
2
=
ρ
(
A
H
A
)
=
ρ
(
A
A
H
)
\Vert A \Vert_2 = \sqrt{\rho(A^HA)}=\sqrt{\rho(AA^H)}
∥A∥2=ρ(AHA)
=ρ(AAH)
证明：
∥
A
∥
2
=
λ
max
(
A
H
A
)
=
ρ
(
A
H
A
)
\begin{aligned} &\quad \Vert A \Vert_2\\ &=\sqrt{\lambda_{\max}(A^HA)}\\ &=\sqrt{\rho(A^HA)} \end{aligned}
∥A∥2=λmax(AHA)
=ρ(AHA)
因为
A
A
H
=
A
(
A
H
A
)
A
−
1
AA^H=A(A^HA)A^{-1}
AAH=A(AHA)A−1,所以
A
A
H
∼
A
H
A
AA^H\sim A^HA
AAH∼AHA,特征值相同，从而
∥
A
∥
2
=
ρ
(
A
H
A
)
=
ρ
(
A
A
H
)
\Vert A \Vert_2= \sqrt{\rho(A^HA)}=\sqrt{\rho(AA^H)}
∥A∥2=ρ(AHA)
=ρ(AAH)