《概率论与数理统计》课程教学资源（PPT课件）4.4 矩与协方差矩阵

第四节矩与协方差矩阵 一、矩与协方差矩阵的定义 二、n维正态变量的概率密度 三、n维正态变量的性质

第四节 矩与协方差矩阵 一、矩与协方差矩阵的定义 二、n维正态变量的概率密度 三、n维正态变量的性质

一、矩的定义 设(X,Y)是二维随机变量： X的k阶原点矩：E(X),k=1,2,3,.记作：4=E(X) X的k阶中心矩：E{IX-E(X)),k=2,3, X和Y的k+l阶混合矩：E(XY),k,l=1,2, X和Y的k+l阶混合中心矩： E{X-E(X)]Y-E(Y)},k,1=1,2,. 说明：E(X)是X的一阶原点矩；D(X)是X的二阶中心矩； Cov(X,Y)是X与Y的二阶混合中心矩. 在实际应用中，高于4阶的矩很少使用

一、矩的定义 设 ( ) X Y, 是二维随机变量. X k 的 阶原点矩： ( ) 1 2,3, k E X k ， = ， {[ ( )] }, 2,3, k X k 的 阶中心矩： E X E X k − = ( ), , 1,2, k l X Y k l 和 的 + 阶混合矩： E X Y k l = {[ ( )] [ ( )] }, , 1,2, k l E X E X Y E Y k l − − = X Y k l 和 的 + 阶混合中心矩： ( ) ( ) Cov , ( ) E X X D X X X Y X Y 是 的一阶原点矩； 是 的二阶中心矩； 是 与 的二阶混合中心矩. 说明： 在实际应用中，高于4 . 阶的矩很少使用 ( ). k 记作：k = E X

二、协方差矩阵的定义 定义二维随机变量（X1X2)有四个二阶中心矩，记为 CH=E[X-E(X C=Cov(Xi,X C2=E [X,-E(X )][X,-E(X2)] i,j=1,2 c1=E[X2-E(X,][X-E(X]}=c2 ca=E [X,-E(X2) 则称C= 为(X1,X)的协方差矩阵。 C22 C是对称矩阵

则 称 C =       2 1 2 2 1 1 1 2 c c c c 为 （X1，X2）的协方差矩阵。 二、协方差矩阵的定义 定义 二维随机变量（X1,X2）有四个二阶中心矩，记为    2 11 1 1 c E X E X = − ( ) c E X E X X E X 12 1 1 2 2 = − −  ( ) ( )    c E X E X X E X c 21 2 2 1 1 12 = − − =  ( ) ( )      2 22 2 2 c E X E X = − ( ) —— C 是对称矩阵. Cov( , ) ij i j c X X = i j , 1,2 =

设n维随机变量(X1,X2,.,Xn)的二阶混合中心矩 c=Cov(XX)=EIX;-E(X)IIX-E(X )i,j=1,2,n 都存在， 则称矩阵 C1C12.C1m C= 91 C22 C2n Cn2 Cnn 为n维随机变量(X1,X2,·,Xn)的协方差矩阵. C是对称矩阵

1 2 ( , , , ) 设 n X X X 维随机变量 n 的二阶混合中心矩 Cov( , ) [ ( )][ ( )] , 1,2, ,   , ij i j i i j j c X X E X E X X E X i j n = = − − = ， 都存在 则称矩阵 11 12 1 21 22 2 1 2 n n n n nn c c c c c c C c c c     =         1 2 ( , , , ) . 为n X X X 维随机变量 n 的协方差矩阵 —— C 是对称矩阵

三、n维正态变量的概率密度 矩阵形式 以二维随机变量(X,X2)为例。 1 )2m1-p n-, 0102 入矩阵-（货）-() K,X)的协方差矩阵C三 C1=1 o -p0102 detC -P0102

1 2 以二维随机变量 ( , ) . X X 为例 1 2 2 1 2 2 2 1 1 1 1 2 2 2 2 2 2 2 1 2 1 2 1 ( , ) 2π 1 1 ( ) ( )( ) ( ) exp 2 . 2(1 ) f x x σ σ ρ x μ x μ x μ x μ ρ ρ σ σ σ σ =  −     −   − − − −  − +         −   引入矩阵 1 2 , x X x   =     1 2 . μ μ μ   =     三、n 维正态变量的概率密度 2 1 1 2 2 1 2 2 , σ ρσ σ ρσ σ σ   =     1 2 ( , ) X X 的协方差矩阵 11 12 21 22 c c C c c   =     2 1 2 1 2 2 1 2 1 1 det σ ρσ σ C C ρσ σ σ −   − =     − 2 2 1 2 2 2 2 2 1 2 1 2 1 1 . (1 ) σ ρσ σ σ σ ρ ρσ σ σ   − =   −   − ——矩阵形式

由于(X-)'C'(X-川)= c-n个。gj周 “-, 002 于是(X1,X2)的概率密度可写成 1gw-cx- 1 n维正态随机变量(X1,.,Xn)的概率密度： 1 =-w-cx-小月 儿-

1 ( ) ( ) T X μ C X μ − − − = 2 2 1 1 1 1 2 2 2 2 2 2 2 1 2 1 ( ) ( )( ) ( ) 2 . 1 x μ x μ x μ x μ ρ ρ σ σ σ σ   − − − − = − +   −   2 2 1 2 1 1 1 1 2 2 2 1 2 1 2 2 1 ( , ) det σ ρσ σ x μ x μ x μ C ρσ σ σ x μ   −   − − −    −   − 由于 1 2 于是 ( , ) X X 的概率密度可写成 1 1 2 2 2 1 2 1 1 ( , ) exp ( ) ( ) . ( 2π) (det ) 2 T f x x X μ C X μ C   − = − − −       1 1 2 1 2 1 1 ( , , ) exp ( ) ( ) . ( 2π) (det ) 2 T n n f x x X μ C X μ C − = − −   − n X X 维正态随机变量 ( , , ) : 1 n 的概率密度

四、n维正态变量的性质 1°n维正态变量(X1,X2,Xn)中的每一个分量 X,i=1,2,.,n都是正态变量。 反之，若X,X2,.,X,都是正态变量且相互独立， 则(X1,X,.,Xn)是n维正态变量。 2°(X1,X2,.,Xn)服从正态分布的充分必要条件 是X1,X2,Xn的任一线性组合 11X1+l2X2+.+1nX.(其中1,2，n不全为零) 都服从一维正态分布

2 o ( , , , ) X1 X2  Xn 服从正态分布的充分必要条件 是 X X Xn , , , 1 2  的任一线性组合 nXn l X + l X ++ l 1 1 2 2 （其中 n l ,l , ,l 1 2  不全为零） 都服从一维正态分布。 1 o n 维正态变量( , , , ) X1 X 2  X n 中的每一个分量 X i , i = 1, 2,, n都是正态变量。 反之，若 X X X n , , , 1 2  都是正态变量且相互独立， 则( , , , ) X1 X 2  X n 是 n 维正态变量。 四、 n 维正态变量的性质

3°若(X1,X2,Xn)服从n维正态分布， Y,yz,Y为Xj=1,2,)的线性函数，则 (Y,Y2,Y)服从多维正态分布。 这一性质称为正态变量的线性变换不变性. 4°若(X1,X2,.,X,)服从n维正态分布，则 “X1,X2,.,Xn相互独立”与“X1,X2,.,Xn两两不 相关”是等价的

3 o 若 ( , , , ) X1 X2  Xn 服 从 n 维 正 态 分 布 ， Y Y Yk , , , 1 2  为 ( 1,2, , ) X j n j = 的 线 性 函 数 ， 则 ( , , , ) Y1 Y2  Yk 服从多维正态分布。 4 o 若( , , , ) X1 X2  Xn 服 从 n 维正态分布，则 “ X X Xn , , , 1 2  相互独立”与“ X X Xn , , , 1 2  两两不 相关”是等价的。 这一性质称为正态变量的线性变换不变性

内容小结 1.矩是随机变量的数字特征。 X的k阶原点矩：E(X),k=1,2,3,.记作：4=E(X) X的k阶中心矩：E{[X-E(X)},k=2,3, X和Y的k+l阶混合矩：E(XY),k,I=1,2, X和Y的k+l阶混合中心矩： EX-E(X)[Y-E(Y)},k,I=1,2,. 数学期望E(X)是X的一阶原点矩； 方差为二阶中心矩； 协方差Cov(X,Y)是X与Y的二阶混合中心矩 2.正态变量是最重要的随机变量，其优良性质一定要熟练掌握

内容小结 2. 正态变量是最重要的随机变量,其优良性质一定要熟练掌握. ( ) ; ; Cov( , ) . E X X X Y X Y 数学期望 是 的一阶原点矩 方差为二阶中心矩 协方差 是 与 的二阶混合中心矩 1. . 矩是随机变量的数字特征 X k 的 阶原点矩： ( ) 1 2,3, k E X k ， = ， {[ ( )] }, 2,3, k X k 的 阶中心矩： E X E X k − = ( ), , 1,2, k l X Y k l 和 的 + 阶混合矩： E X Y k l = {[ ( )] [ ( )] }, , 1,2, k l E X E X Y E Y k l − − = X Y k l 和 的 + 阶混合中心矩： ( ). k 记作：k = E X