正定矩阵、半正定矩阵
1.正定矩阵、半正定矩阵
1.1 正定矩阵
1.1.1 判断正定矩阵
1.矩阵的所有特征值都为正数
下面以对称矩阵为例，对称矩阵的特征值为正数，所以对称矩阵是正定矩阵
λ
1
>
0
、
λ
2
>
0
{
λ
1
λ
2
=
d
e
t
S
=
a
c
−
b
2
>
0
λ
1
+
λ
2
=
t
r
S
=
a
+
c
>
0
\lambda_1\gt0、\lambda_2\gt0\\ ~\\ \begin{cases} \lambda_1\lambda_2=det\ S=ac-b^2\gt0\\ \lambda_1+\lambda_2=tr\ S=a+c\gt0 \end{cases}
λ1>0、λ2>0 {λ1λ2=det S=ac−b2>0λ1+λ2=tr S=a+c>0
2.矩阵消元后的每个主元都为正数
3.矩阵的所有顺序主子式的行列式都是正的
4.对于所有非零向量（不仅仅是特征向量） x \boldsymbol{x} x，都有 x T S x > 0 \boldsymbol{x}^TS\boldsymbol{x}\gt 0 xTSx>0【在许多应用中， x T S x \boldsymbol{x}^TS\boldsymbol{x} xTSx 的结果代表系统中的能量】
S x = λ x x T S x = x T λ x x T S x = λ x T x x T S x = λ ∣ ∣ x ∣ ∣ 2 λ > 0 x T S x = λ ∣ ∣ x ∣ ∣ 2 > 0 x T S x > 0 S\boldsymbol{x}=\lambda\boldsymbol{x}\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}=\boldsymbol{x}^T\lambda\boldsymbol{x}\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}=\lambda\boldsymbol{x}^T\boldsymbol{x}\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}=\lambda||\boldsymbol{x}||^2\\ ~\\ \lambda\gt 0\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}=\lambda||\boldsymbol{x}||^2\gt0\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}\gt 0 Sx=λx xTSx=xTλx xTSx=λxTx xTSx=λ∣∣x∣∣2 λ>0 xTSx=λ∣∣x∣∣2>0 xTSx>0
5.如果矩阵A的列是线性无关的，则 S = A T A S=A^TA S=ATA是正定矩阵
x T S x = x T ( A T A ) x = ( x T A T ) ( A x ) = ( A x ) T ( A x ) = ∣ ∣ A x ∣ ∣ 2 > 0 \boldsymbol{x}^TS\boldsymbol{x}=\boldsymbol{x}^T(A^TA)\boldsymbol{x}=(\boldsymbol{x}^TA^T)(A\boldsymbol{x})=(A\boldsymbol{x})^T(A\boldsymbol{x})=||A\boldsymbol{x}||^2\gt0 xTSx=xT(ATA)x=(xTAT)(Ax)=(Ax)T(Ax)=∣∣Ax∣∣2>0
综上：矩阵正定的五个等价判定
1.2 半正定矩阵
1.2.1 判定半正定矩阵
半正定矩阵是正定矩阵的推广，相比正定矩阵，判定条件多了一个可以等于0的条件
1.所有矩阵特征值 ≥ 0 \geq 0 ≥0
2.消元后的所有主元 ≥ 0 \geq 0 ≥0
3.矩阵的所有顺序主子式的行列式都 ≥ 0 \geq 0 ≥0
4.对于所有非零向量（不仅仅是特征向量） x \boldsymbol{x} x，都有 x T S x ≥ 0 \boldsymbol{x}^TS\boldsymbol{x}\geq 0 xTSx≥0
5.如果矩阵A的列是线性有关的，则 S = A T A S=A^TA S=ATA是正定矩阵
1.3 椭圆 a x 2 + 2 b x y + c y 2 = 1 ax^2+2bxy+cy^2=1 ax2+2bxy+cy2=1
例子：
1.3.1 与对称矩阵 S S S有关的椭圆
x
T
S
x
=
1
[
x
y
]
[
5
4
4
5
]
[
x
y
]
=
1
S
=
[
5
4
4
5
]
\boldsymbol{x}^TS\boldsymbol{x}=1\\ ~\\ \begin{bmatrix} x & y \end{bmatrix} \begin{bmatrix} 5 & 4\\ 4 & 5 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}=1\\ ~\\ S=\begin{bmatrix} 5 & 4\\ 4 & 5 \end{bmatrix}
xTSx=1 [xy][5445][xy]=1 S=[5445]
求解矩阵
S
S
S 的特征值和特征向量
d
e
t
S
=
λ
1
λ
2
=
9
t
r
S
=
λ
1
+
λ
2
=
10
λ
1
=
9
、
λ
2
=
1
det\ S=\lambda_1\lambda_2=9\\ ~\\ tr\ S=\lambda_1+\lambda_2=10\\ ~\\ \lambda_1=9、\lambda_2=1\\
det S=λ1λ2=9 tr S=λ1+λ2=10 λ1=9、λ2=1
S x 1 = λ 1 x 1 [ 5 4 4 5 ] [ a 1 a 2 ] = 9 [ a 1 a 2 ] a 1 = a 2 x 1 = [ 1 1 ] S\boldsymbol{x}_1=\lambda_1\boldsymbol{x}_1\\ ~\\ \begin{bmatrix} 5 & 4\\ 4 & 5 \end{bmatrix} \begin{bmatrix} a_1\\ a_2 \end{bmatrix}=9 \begin{bmatrix} a_1\\ a_2 \end{bmatrix}\\ ~\\ a_1=a_2\\ ~\\ \boldsymbol{x}_1=\begin{bmatrix} 1\\ 1 \end{bmatrix}\\ Sx1=λ1x1 [5445][a1a2]=9[a1a2] a1=a2 x1=[11]
S x 2 = λ 2 x 2 [ 5 4 4 5 ] [ a 1 a 2 ] = [ a 1 a 2 ] a 1 = − a 2 x 2 = [ 1 − 1 ] S\boldsymbol{x}_2=\lambda_2\boldsymbol{x}_2\\ ~\\ \begin{bmatrix} 5 & 4\\ 4 & 5 \end{bmatrix} \begin{bmatrix} a_1\\ a_2 \end{bmatrix}= \begin{bmatrix} a_1\\ a_2 \end{bmatrix}\\ ~\\ a_1=-a_2\\ ~\\ \boldsymbol{x}_2=\begin{bmatrix} 1\\ -1 \end{bmatrix}\\ Sx2=λ2x2 [5445][a1a2]=[a1a2] a1=−a2 x2=[1−1]
q 1 = x 1 ∣ ∣ x 1 ∣ ∣ 、 q 2 = x 2 ∣ ∣ x 2 ∣ ∣ \boldsymbol{q}_1=\frac{\boldsymbol{x}_1}{||\boldsymbol{x}_1||}、\boldsymbol{q}_2=\frac{\boldsymbol{x}_2}{||\boldsymbol{x}_2||} q1=∣∣x1∣∣x1、q2=∣∣x2∣∣x2
Q
=
[
q
1
q
2
]
=
1
2
[
1
1
1
−
1
]
Λ
=
[
λ
1
0
0
λ
2
]
=
[
9
0
0
1
]
Q=[\boldsymbol{q}_1\quad\boldsymbol{q}_2]=\frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1\\ 1 & -1 \end{bmatrix}\\ ~\\ \Lambda= \begin{bmatrix} \lambda_1 & 0\\ 0 & \lambda_2 \end{bmatrix}= \begin{bmatrix} 9 & 0\\ 0 & 1 \end{bmatrix}
Q=[q1q2]=2
1[111−1] Λ=[λ100λ2]=[9001]
In xy system，axes are along the eigenvectors of S S S
1.3.2 与特征值矩阵 Λ \Lambda Λ有关的椭圆
S
=
Q
Λ
Q
T
（
P
r
i
n
c
i
p
a
l
A
x
i
s
T
h
e
o
r
e
m
）
x
T
S
x
=
(
x
T
Q
)
Λ
(
Q
T
x
)
=
X
T
Λ
X
S=Q\Lambda Q^T（Principal\ Axis\ Theorem）\\ ~\\ \boldsymbol{x}^TS\boldsymbol{x}=(\boldsymbol{x}^TQ)\Lambda (Q^T\boldsymbol{x})=X^T\Lambda X
S=QΛQT（Principal Axis Theorem） xTSx=(xTQ)Λ(QTx)=XTΛX
x
T
S
x
=
[
x
y
]
[
5
4
4
5
]
[
x
y
]
=
1
S
=
Q
Λ
Q
T
=
1
2
[
1
1
1
−
1
]
[
9
0
0
1
]
1
2
[
1
1
1
−
1
]
[
X
Y
]
=
Q
T
[
x
y
]
=
1
2
[
1
1
1
−
1
]
[
x
y
]
=
1
2
[
x
+
y
x
−
y
]
X
=
x
+
y
2
、
Y
=
x
−
y
2
\boldsymbol{x}^TS\boldsymbol{x}= \begin{bmatrix} x & y \end{bmatrix} \begin{bmatrix} 5 & 4\\ 4 & 5 \end{bmatrix} \begin{bmatrix} x \\ y \end{bmatrix}=1\\ ~\\ S=Q\Lambda Q^T= \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1\\ 1 & -1 \end{bmatrix} \begin{bmatrix} 9 & 0\\ 0 & 1 \end{bmatrix} \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1\\ 1 & -1 \end{bmatrix}\\ ~\\ \begin{bmatrix} X\\ Y \end{bmatrix}=Q^T\begin{bmatrix} x\\ y \end{bmatrix}= \frac{1}{\sqrt{2}}\begin{bmatrix} 1 & 1\\ 1 & -1 \end{bmatrix} \begin{bmatrix} x\\ y \end{bmatrix}=\frac{1}{\sqrt{2}} \begin{bmatrix} x+y\\ x-y \end{bmatrix}\\ ~\\ X=\frac{x+y}{\sqrt{2}}、Y=\frac{x-y}{\sqrt{2}}
xTSx=[xy][5445][xy]=1 S=QΛQT=2
1[111−1][9001]2
1[111−1] [XY]=QT[xy]=2
1[111−1][xy]=2
1[x+yx−y] X=2
x+y、Y=2
x−y
λ 1 X 2 + λ 2 Y 2 = 1 9 ( x + y 2 ) 2 + ( x − y 2 ) 2 = 1 \lambda_1X^2+\lambda_2 Y^2=1\\ ~\\ 9\bigg(\frac{x+y}{\sqrt{2}}\bigg)^2+\bigg(\frac{x-y}{\sqrt{2}}\bigg)^2=1 λ1X2+λ2Y2=1 9(2 x+y)2+(2 x−y)2=1
In XY system，axes are along the eigenvectors of Λ \Lambda Λ
1.4 重要应用：检验最小值
矩阵正定说明其表示的二次曲面位于开口朝上
矩阵负定说明其表示的二次曲面位于开口朝下