西安电子科技大学：《概率论与数理统计》课程教学课件（讲稿）第四章 随机变量的数字特征 4.4 矩、协方差矩阵

第四章随机变量的数字特征 §4.1数学期望 9§4.2方差 §4.3协方差及相关系数 。§4.4矩、协方差矩阵 1/21

第四章 随机变量的数字特征  §4.1 数学期望  §4.2 方差  §4.3 协方差及相关系数  §4.4 矩、协方差矩阵 1/21

§4.4矩、协方差矩阵 。本节引入随机变量的另外几个数字特征 定义：X和Y是随机变量 1°若EX存在，k=1,2,.,称它为X的k阶原点矩，简称k阶矩 当k=1时即为数学期望EX),它是X的一阶原点矩 2°若E{[X一E(X)存在，k=1,2,·,称它为X的k阶中心矩 当k=2时即为方差DX),它是X的二阶中心矩 3°若EXY存在，k,l=1,2,·,称它为X和Y的k+阶混合矩 4°若E[X一EX)Y-EY)存在，k,l=1,2,·,称它为X和Y 的k+阶混合中心矩 当k=l=1时即为协方差Cov(X,Y),它是X和Y二阶混合中心矩 2/21

§4.4 矩、协方差矩阵  本节引入随机变量的另外几个数字特征 定义：X和Y是随机变量 1°若E(Xk )存在，k＝1,2,.，称它为X的k阶原点矩，简称k阶矩 当k＝1时即为数学期望E(X),它是X的一阶原点矩 2°若E{[X－E(X)]k }存在，k＝1,2,.，称它为X的k阶中心矩 当k＝2时即为方差D(X),它是X的二阶中心矩 3°若E(XkYl )存在，k,l＝1,2,.，称它为X和Y的k＋l阶混合矩 4°若E{[X－E(X)]k [Y－E(Y)]l }存在，k,l＝1,2,.，称它为X和Y 的k＋l阶混合中心矩 当k＝l＝1时即为协方差Cov(X,Y),它是X和Y二阶混合中心矩 2/21

§4.4矩、协方差矩阵 n维随机变量的协方差矩阵 9首先考虑二维随机变量的协方差矩阵 二维随机变量(X,X2)有四个二阶中心矩，设它们都存在， 分别记为 c11=EX1-EX)29 D(X1) C1=E(X-E(XDIX2-E(X2) Cov(XjX2) C21=EX2-EX2)X1-EX1)} Cov(X2,X) C22=E{[X2-E(X2)12} D(X2) 将它们排成矩阵的形式， 1C12 这个矩阵称为随机变量 (X1,X2)的协方差矩阵 C21 C22 3/21

§4.4 矩、协方差矩阵 n维随机变量的协方差矩阵  首先考虑二维随机变量的协方差矩阵  二维随机变量(X1 ,X2 )有四个二阶中心矩，设它们都存在， 分别记为 c11＝E{[X1－E(X1 )]2 } D(X1 ) c12＝E{[X1－E(X1 )][X2－E(X2 )]} Cov(X1 ,X2 ) c21＝E{[X2－E(X2 )][X1－E(X1 )]} Cov(X2 ,X1 ) c22＝E{[X2－E(X2 )]2 } D(X2 )  将它们排成矩阵的形式， 这个矩阵称为随机变量 (X1 ,X2 )的协方差矩阵         21 22 11 12 c c c c 3/21

§4.4矩、协方差矩阵 设n维随机变量X1,X2,.,Xm)的二阶混合中心： Ci Cov(Xi,X )EIX;-E(X;)I[X;-E(X;) i,j=1,2,.,n.都存在则称矩阵 C11 C12 Cin C= C21 C22 : Cnl 为n维随机变量的协方差矩阵 4/21

设 n 维随机变量(X1 , X2 ,  , Xn )的二阶混合中心矩 , 1,2, , . 都存在,则称矩阵 Cov( , ) {[ ( )][ ( )] i j n cij Xi X j E Xi E Xi X j E X j                      n n nn n n c c c c c c c c c C       1 2 2 1 2 2 2 1 1 1 2 1 为n 维随机变量的协方差矩阵. §4.4 矩、协方差矩阵 4/21

§4.4矩、协方差矩阵 对于n维随机变量(X1,X2,X)的协方差矩阵。由于c=C, (j,i,广=1,2，.，)因而是一个对称矩阵 9在实际中，由于维随机变量的分布是不知道的，或者太 复杂，数学上不易处理，因此协方差矩阵尤为重要 9维正态随机变量的概率密度的协方差矩阵表示 ·首先将二维正态随机变量的概率密度改写成另一种形式 二维正态随机变量(X1,X2)的概率密度为 西4-2p西4-+西-4 f(x1,x2)= ,21-p2)儿 2πo102V1-p1 0-00<c1<00,一00<2<00。 ●现在将指数中括号内的部分写成矩阵的行列式形式 5/21

§4.4 矩、协方差矩阵  对于n维随机变量(X1 ,X2 ,.,Xn )的协方差矩阵。由于cij＝cji， (i≠j, i，j＝1，2，.,n)因而是一个对称矩阵  在实际中，由于n维随机变量的分布是不知道的，或者太 复杂，数学上不易处理，因此协方差矩阵尤为重要  n维正态随机变量的概率密度的协方差矩阵表示  首先将二维正态随机变量的概率密度改写成另一种形式  二维正态随机变量(X1 ,X2 )的概率密度为 ，－∞<x1<∞,－∞<x2<∞。  现在将指数中括号内的部分写成矩阵的行列式形式                   2 2 2 2 2 1 2 1 1 2 2 2 1 2 1 1 2 ( )( ) ( ) 2 ( ) 2(1 ) 1 2 1 2 1 2 2 1 1 ( , )               x x x x f x x e 5/21

§4.4矩、协方差矩阵 令x 记(X1,X2)的协方差矩阵为 C= = 其中pao,=0 Cov(Xi,X2) =O102 =Cov(Xj,X2)=Cov(X2,X1) C的行列式C1=o2o22(1-p2), 于是C的递阵C=c-a -p2 6/21

§4.4 矩、协方差矩阵  令X= ，μ= ，记(X1 ,X2 )的协方差矩阵为 C＝ ＝ ， 其中12＝ ＝Cov(X1 ,X2 )＝Cov(X2 ,X1 )  C的行列式|C|＝1 22 2 (1- 2 ) ，  于是C的逆阵C－1＝ ＝         2 1 x x         2 1           21 22 11 12 c c c c         2 1 2 2 1 2 2 1         1 2 1 2 1 2 ( ) ( ) ( , )   D X D X Cov X X * | | 1 C C | | 1 C           2 1 2 1 1 2 2 2         6/21

§4.4矩、协方差矩阵 做如下计算 X-)'C-1(X-m) 展开二 1 (1-p2 1, 于是(X1,X2)的概率密度可写为 fx2)= )Cin e -00<X1<00,一00<X2<00 7/21

§4.4 矩、协方差矩阵 做如下计算  (X－μ)C－1 (X－μ) ＝ (x1－μ1，x2－μ2 ) 展开 ＝ 于是(X1 ,X2 )的概率密度可写为  f(x1 ,x2 )＝ ， －∞<x1<∞,－∞<x2<∞ | | 1 C           2 1 2 1 1 2 2 2                   2 2 1 1   x x                2 2 2 2 2 1 2 1 1 2 2 2 1 2 1 1 2 ( )( ) ( ) 2 ( ) (1 ) 1           x x x x ( ) ( ) 2 1 2/ 2 1/ 2 1 (2 ) | | 1         X C X e C 7/21

§4.4矩、协方差矩阵 推广到n维正态随机变量(X1,X2,X)的情况 引入矩阵 E(X) X2 42 E(X2) X- E(X) 9fc1X2.n月 2x-4C-(K-) (2π)21CV2 e -00<x<o0,i=1,2,.,n C是(X1,X2,Xn)的协方差矩阵 8/21

§4.4 矩、协方差矩阵  推广到n维正态随机变量(X1 ,X2 ,.,Xn )的情况  引入矩阵 X= ，μ= ＝ ，  f(x1 ,x2 ,.,xn )= ， －∞<xi<∞，i＝1，2，.，n C是(X1 ,X2 ,.,Xn )的协方差矩阵               n x x x  2 1               n    2 1               ( ) ( ) ( ) 2 1 E Xn E X E X  ( ) ( ) 2 1 / 2 1/ 2 1 (2 ) | | 1         X C X n e C 8/21

§4.4矩、协方差矩阵 9n维正态随机变量的四条重要性质： 91°n维正态随机变量(X,X2,X)的每一个分量X,i= 1,2,n,都是正态变量；反之若X1,X2Xn都是正态变量， 且相互独立，则（仪1，X2.,Xm)是正态变量 证明：对于第一个问题，由归纳法，正态变量的边缘概率 密度都是正态变量 反之，若相互独立，则协方差为0，协方差矩阵只有主对 角线元素不为0且是各正态变量的方差。 92°n维正态随机变量(X1,X2,X)服从n维正态分布的充要 条件是X1,X2,X的任意线性组合： IX +bX+.+lX 服从一维正态分布（其中l1,山2，m不全为0） 9/21

§4.4 矩、协方差矩阵  n维正态随机变量的四条重要性质：  1° n维正态随机变量(X1 ,X2 ,.,Xn )的每一个分量Xi，i＝ 1,2,.,n，都是正态变量；反之若X1 ,X2 ,.,Xn都是正态变量， 且相互独立，则(X1 ,X2 ,.,Xn )是正态变量 证明：对于第一个问题，由归纳法，正态变量的边缘概率 密度都是正态变量 反之，若相互独立，则协方差为0，协方差矩阵只有主对 角线元素不为0且是各正态变量的方差。  2° n维正态随机变量(X1 ,X2 ,.,Xn )服从n维正态分布的充要 条件是X1 ,X2 ,.,Xn的任意线性组合： l1X1+l2X2+.+lnXn 服从一维正态分布(其中l1 ,l2 ,.,ln不全为0) 9/21

§4.4矩、协方差矩阵 93°正态变量的线性变换不变性：若(X1,X2,.,Xm) 服从n维正态分布，设Y,Y2,Yk是X,j= 1,2,.,n的线性函数，则(Y1,Y2.,Y)也服从多维 正态分布 4°设(X1,X2,Xn)服从n维正态分布，则 “X1,X2,Xm相互独立”与“X1,X2,Xm两两不 相关”是等价的。 这是因为，正态变量的性质由协方差矩阵完全确 定，而矩阵中的元素为两两分量的协方差，反映 了两两相关性 10/21

§4.4 矩、协方差矩阵  3°正态变量的线性变换不变性：若(X1 ,X2 ,.,Xn ) 服从n维正态分布，设Y1 ,Y2 ,.,Yk是Xj，j＝ 1,2,.,n的线性函数，则(Y1 ,Y2 ,.,Yk )也服从多维 正态分布  4°设(X1 ,X2 ,.,Xn )服从n维正态分布，则 “X1 ,X2 ,.,Xn相互独立”与“X1 ,X2 ,.,Xn两两不 相关”是等价的。 这是因为，正态变量的性质由协方差矩阵完全确 定，而矩阵中的元素为两两分量的协方差，反映 了两两相关性 10/21