文章目录
各向同性
各向同性 (Isotropy) 是指随机向量是各向同性的如果它的协方差矩阵为单位矩阵。
对于均值为 μ \mu μ，协方差为 Σ \Sigma Σ的随机向量 X X X，我们可以定义 Z = Σ − 1 / 2 ( X − μ ) Z=\Sigma^{-1/2}(X-\mu) Z=Σ−1/2(X−μ)，可得 Z Z Z就是一个零均值各向同性的随机向量。证明1
各向同性的充要条件： n n n阶随机向量 X X X， X X X各向同性等价于 ∀ x ∈ R , E ⟨ X , x ⟩ 2 = ∥ x ∥ 2 2 \forall x\in \mathbb{R}, E\langle X,x\rangle^2=\lVert x\Vert_2^2 ∀x∈R,E⟨X,x⟩2=∥x∥22
证明：
E
⟨
X
,
x
⟩
2
=
E
[
x
T
X
X
T
x
]
=
x
T
E
[
X
X
T
]
x
=
x
T
x
=
∥
x
∥
2
2
E\langle X,x\rangle^2=E[x^TXX^Tx]=x^TE[XX^T]x=x^Tx=\lVert x\Vert_2^2
E⟨X,x⟩2=E[xTXXTx]=xTE[XXT]x=xTx=∥x∥22
各向同性的性质
1.如果 X X X是 n n n维各向同性随机向量，则 E ∥ X ∥ 2 2 = n E\lVert X\rVert_2^2=n E∥X∥22=n
2.如果 X , Y X, Y X,Y是独立的 n n n维各向同性随机向量，则 E ⟨ X , Y ⟩ 2 = n E\langle X ,Y\rangle^2=n E⟨X,Y⟩2=n
3.如果 X , Y X, Y X,Y是独立的 n n n维零均值各向同性随机向量，则 E ∥ X − Y ∥ 2 2 = 2 n E\lVert X−Y\rVert_2^2=2n E∥X−Y∥22=2n
证明1：
E
∥
X
∥
2
2
=
E
[
X
T
X
]
=
E
[
t
r
(
X
T
X
)
]
=
E
[
t
r
(
X
X
T
)
]
=
t
r
(
E
[
X
X
T
]
)
=
t
r
(
I
n
)
=
n
E\lVert X\rVert_2^2=E[X^TX]=E[tr(X^TX)]=E[tr(XX^T)]=tr(E[XX^T])=tr(I_n)=n
E∥X∥22=E[XTX]=E[tr(XTX)]=E[tr(XXT)]=tr(E[XXT])=tr(In)=n
证明2：
E
⟨
X
,
Y
⟩
2
=
E
[
Y
T
X
X
T
Y
]
=
E
Y
[
E
X
[
Y
T
X
X
T
Y
]
]
=
E
Y
[
Y
T
Y
]
=
n
E\langle X,Y\rangle^2=E[Y^TXX^TY]=E_Y[E_X[Y^TXX^TY]]=E_Y[Y^TY]=n
E⟨X,Y⟩2=E[YTXXTY]=EY[EX[YTXXTY]]=EY[YTY]=n
证明3：
E
∥
X
−
Y
∥
2
2
=
E
[
(
X
−
Y
)
T
(
X
−
Y
)
]
=
E
[
X
T
X
−
Y
T
X
−
X
Y
+
Y
T
Y
]
=
E
[
X
T
X
]
+
E
[
Y
T
Y
]
=
2
n
E\lVert X-Y\rVert_2^2=E[(X-Y)^T(X-Y)]=E[X^TX-Y^TX-XY+Y^TY]=E[X^TX]+E[Y^TY]=2n
E∥X−Y∥22=E[(X−Y)T(X−Y)]=E[XTX−YTX−XY+YTY]=E[XTX]+E[YTY]=2n
趋于正交的随机向量
假设
X
,
Y
X, Y
X,Y是独立的
n
n
n维各向同性随机向量，根据各向同性的性质，随机向量
X
,
Y
X, Y
X,Y的夹角：
cos
θ
X
,
Y
=
E
[
⟨
X
,
Y
⟩
∥
X
∥
2
∥
Y
∥
2
]
=
E
⟨
X
,
Y
⟩
E
∥
X
∥
2
E
∥
Y
∥
2
=
1
n
\cos\theta_{X,Y}=E[\cfrac{\langle X,Y\rangle}{\lVert X\rVert_2\lVert Y\rVert_2}]=\cfrac{E\langle X,Y\rangle}{E\lVert X\rVert_2E\lVert Y\rVert_2}=\cfrac{1}{\sqrt{n}}
cosθX,Y=E[∥X∥2∥Y∥2⟨X,Y⟩]=E∥X∥2E∥Y∥2E⟨X,Y⟩=n
1
可以看出，当 n n n足够大时， X , Y X, Y X,Y趋于正交。
证明
证明1
E
[
Z
]
=
E
[
Σ
−
1
/
2
(
X
−
μ
)
]
=
Σ
−
1
/
2
E
[
X
−
μ
]
=
0
E[Z]=E[\Sigma^{-1/2}(X-\mu)]=\Sigma^{-1/2}E[X-\mu]=0
E[Z]=E[Σ−1/2(X−μ)]=Σ−1/2E[X−μ]=0
Σ
Z
=
E
[
Z
Z
T
]
=
E
[
Σ
−
1
/
2
(
X
−
μ
)
(
X
−
μ
)
T
(
Σ
−
1
/
2
)
T
]
=
Σ
−
1
/
2
E
[
(
X
−
μ
)
(
X
−
μ
)
T
]
(
Σ
−
1
/
2
)
T
=
Σ
−
1
/
2
Σ
(
Σ
−
1
/
2
)
T
=
I
n
\Sigma_Z=E[ZZ^T]=E[\Sigma^{-1/2}(X-\mu)(X-\mu)^T(\Sigma^{-1/2})^T]=\Sigma^{-1/2}E[(X-\mu)(X-\mu)T](\Sigma^{-1/2})^T=\Sigma^{-1/2}\Sigma(\Sigma^{-1/2})^T=I_n
ΣZ=E[ZZT]=E[Σ−1/2(X−μ)(X−μ)T(Σ−1/2)T]=Σ−1/2E[(X−μ)(X−μ)T](Σ−1/2)T=Σ−1/2Σ(Σ−1/2)T=In
UA MATH567 高维统计II 随机向量2 各向同性的随机向量
范数与距离的关系以及在机器学习中的应用