随机向量:各向同性

文章目录

各向同性

各向同性 (Isotropy) 是指随机向量是各向同性的如果它的协方差矩阵为单位矩阵。

对于均值为 μ \mu μ,协方差为 Σ \Sigma Σ的随机向量 X X X,我们可以定义 Z = Σ − 1 / 2 ( X − μ ) Z=\Sigma^{-1/2}(X-\mu) Z=Σ−1/2(X−μ),可得 Z Z Z就是一个零均值各向同性的随机向量。证明1

各向同性的充要条件: n n n阶随机向量 X X X, X X X各向同性等价于 ∀ x ∈ R , E ⟨ X , x ⟩ 2 = ∥ x ∥ 2 2 \forall x\in \mathbb{R}, E\langle X,x\rangle^2=\lVert x\Vert_2^2 ∀x∈R,E⟨X,x⟩2=∥x∥22​

证明:
E ⟨ X , x ⟩ 2 = E [ x T X X T x ] = x T E [ X X T ] x = x T x = ∥ x ∥ 2 2 E\langle X,x\rangle^2=E[x^TXX^Tx]=x^TE[XX^T]x=x^Tx=\lVert x\Vert_2^2 E⟨X,x⟩2=E[xTXXTx]=xTE[XXT]x=xTx=∥x∥22​

各向同性的性质

1.如果 X X X是 n n n维各向同性随机向量,则 E ∥ X ∥ 2 2 = n E\lVert X\rVert_2^2=n E∥X∥22​=n
2.如果 X , Y X, Y X,Y是独立的 n n n维各向同性随机向量,则 E ⟨ X , Y ⟩ 2 = n E\langle X ,Y\rangle^2=n E⟨X,Y⟩2=n
3.如果 X , Y X, Y X,Y是独立的 n n n维零均值各向同性随机向量,则 E ∥ X − Y ∥ 2 2 = 2 n E\lVert X−Y\rVert_2^2=2n E∥X−Y∥22​=2n

证明1:
E ∥ X ∥ 2 2 = E [ X T X ] = E [ t r ( X T X ) ] = E [ t r ( X X T ) ] = t r ( E [ X X T ] ) = t r ( I n ) = n E\lVert X\rVert_2^2=E[X^TX]=E[tr(X^TX)]=E[tr(XX^T)]=tr(E[XX^T])=tr(I_n)=n E∥X∥22​=E[XTX]=E[tr(XTX)]=E[tr(XXT)]=tr(E[XXT])=tr(In​)=n

证明2:
E ⟨ X , Y ⟩ 2 = E [ Y T X X T Y ] = E Y [ E X [ Y T X X T Y ] ] = E Y [ Y T Y ] = n E\langle X,Y\rangle^2=E[Y^TXX^TY]=E_Y[E_X[Y^TXX^TY]]=E_Y[Y^TY]=n E⟨X,Y⟩2=E[YTXXTY]=EY​[EX​[YTXXTY]]=EY​[YTY]=n

证明3:
E ∥ X − Y ∥ 2 2 = E [ ( X − Y ) T ( X − Y ) ] = E [ X T X − Y T X − X Y + Y T Y ] = E [ X T X ] + E [ Y T Y ] = 2 n E\lVert X-Y\rVert_2^2=E[(X-Y)^T(X-Y)]=E[X^TX-Y^TX-XY+Y^TY]=E[X^TX]+E[Y^TY]=2n E∥X−Y∥22​=E[(X−Y)T(X−Y)]=E[XTX−YTX−XY+YTY]=E[XTX]+E[YTY]=2n

趋于正交的随机向量

假设 X , Y X, Y X,Y是独立的 n n n维各向同性随机向量,根据各向同性的性质,随机向量 X , Y X, Y X,Y的夹角:
cos ⁡ θ X , Y = E [ ⟨ X , Y ⟩ ∥ X ∥ 2 ∥ Y ∥ 2 ] = E ⟨ X , Y ⟩ E ∥ X ∥ 2 E ∥ Y ∥ 2 = 1 n \cos\theta_{X,Y}=E[\cfrac{\langle X,Y\rangle}{\lVert X\rVert_2\lVert Y\rVert_2}]=\cfrac{E\langle X,Y\rangle}{E\lVert X\rVert_2E\lVert Y\rVert_2}=\cfrac{1}{\sqrt{n}} cosθX,Y​=E[∥X∥2​∥Y∥2​⟨X,Y⟩​]=E∥X∥2​E∥Y∥2​E⟨X,Y⟩​=n ​1​

可以看出,当 n n n足够大时, X , Y X, Y X,Y趋于正交。

证明

证明1
E [ Z ] = E [ Σ − 1 / 2 ( X − μ ) ] = Σ − 1 / 2 E [ X − μ ] = 0 E[Z]=E[\Sigma^{-1/2}(X-\mu)]=\Sigma^{-1/2}E[X-\mu]=0 E[Z]=E[Σ−1/2(X−μ)]=Σ−1/2E[X−μ]=0
Σ Z = E [ Z Z T ] = E [ Σ − 1 / 2 ( X − μ ) ( X − μ ) T ( Σ − 1 / 2 ) T ] = Σ − 1 / 2 E [ ( X − μ ) ( X − μ ) T ] ( Σ − 1 / 2 ) T = Σ − 1 / 2 Σ ( Σ − 1 / 2 ) T = I n \Sigma_Z=E[ZZ^T]=E[\Sigma^{-1/2}(X-\mu)(X-\mu)^T(\Sigma^{-1/2})^T]=\Sigma^{-1/2}E[(X-\mu)(X-\mu)T](\Sigma^{-1/2})^T=\Sigma^{-1/2}\Sigma(\Sigma^{-1/2})^T=I_n ΣZ​=E[ZZT]=E[Σ−1/2(X−μ)(X−μ)T(Σ−1/2)T]=Σ−1/2E[(X−μ)(X−μ)T](Σ−1/2)T=Σ−1/2Σ(Σ−1/2)T=In​

UA MATH567 高维统计II 随机向量2 各向同性的随机向量
范数与距离的关系以及在机器学习中的应用

上一篇:2021/10/18 table:tr,th,td,caption


下一篇:P5057 [CQOI2006]简单题