湘潭大学：《数理统计》课程教学资源（PPT课件讲稿）第三章 参数估计（3.3）最小方差无偏估计

§33最小方差无偏估计 最小方差无偏估计和有效估计是在某种意义下的最 优估计,两者既有区别又有密切的关系。如果求出 参数θ的一个估计量6,判别其是否为最小方差无偏 估计或有效估计,显然具有重要的意义。倘若能直 接求出参数e的最小方差无偏估计或有效估计,则 将更加令人满意,本节将研究这些问题。 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 1 §3.3 最小方差无偏估计 最小方差无偏估计和有效估计是在某种意义下的最 优估计，两者既有区别又有密切的关系。如果求出 参数 的一个估计量 ˆ ，判别其是否为最小方差无偏 估计或有效估计，显然具有重要的意义。倘若能直 接求出参数 的最小方差无偏估计或有效估计，则 将更加令人满意，本节将研究这些问题

、最小方差无偏估计 由定义34知,最小方差无偏估计(MVUE)是在 无偏估计类中,使均方误差达到最小的估计量,即在 均方误差最小意义下的最优估计。它是在应用中,人 们希望寻求的一种估计量。 定理3.7设6(X)是的一个无偏估计,D日<∞,若 对任何满足条件:E(X)=0,DL(X)<∞的统计量L(X), 有 ELL(X0(X=0 则6(X)是0的MVUE。共中X=(X1,X2,…,Xn)。 湘潭大学数学与计算科学学院一2层m

湘潭大学数学与计算科学学院 上一页 下一页 2 一、最小方差无偏估计 由定义3.4知，最小方差无偏估计（MVUE）是在 无偏估计类中，使均方误差达到最小的估计量，即在 均方误差最小意义下的最优估计。它是在应用中，人 们希望寻求的一种估计量。 定理 3.7 设 ( ) ˆ X 是 的一个无偏估计，Dˆ   ，若 对任何满足条件：EL(X) = 0, DL(X)  的统计量L(X)， 有 E[L(X )ˆ(X )] = 0， 则 ( ) ˆ X 是 的 MVUE。共中 ( , , , ) X = X1 X2  Xn

证明设B(X)是6的任一无偏估计,记 L(X)=6(X)-0(X),则L(X)为0的无偏估计,由于 D(X=DIL(X)+O(X)= DL(X)+DO(X) +2E{(x)-EL(X)(x)-E(x)} =DL(X)+D6(X)≥D6(X) 故6(X)是的MVUE。 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 3 证 明 设 ( ) ˆ1 X 是  的 任 一 无 偏 估 计 ， 记 ( ) ˆ ( ) ˆ ( ) L X = 1 X − X ，则L(X)为 0 的无偏估计，由于 2 [ ( ) ( )][ ˆ( ) ˆ( )] ( ) ˆ ( )] ( ) ˆ ( ) [ ( ) ˆ 1 E L X EL X X E X D X D L X X DL X D X      + − − = + = + ( ) ˆ ( ) ˆ = DL(X ) + D X  D X ， 故 ( )  ˆ X 是 的 MVUE

湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 4

例3.19设X=(X1,X2…,Xn)是来自正态总体 N(,2)的一个样本,已知X和S”分别是和2的无偏 估计,证明X和S分别是和的MVUE。 证明设L(X)满足EL(X)=0,则有 L·exi 2 ∑(x-p)}=0。(315) 上式关于求导,得 ∫…∫L∑ x)expo ∑(x-p}=0, i=1 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 5 例 3.19 设 ( , , , ) X = X1 X2  Xn 是来自正态总体 ( , ) 2 N   的一个样本，已知X 和 2  Sn 分别是 和 2  的无偏 估计，证明X 和 2  Sn 分别是 和 2  的 MVUE。 证明 设L(X)满足EL(X) = 0，则有    =        − − = ( ) 0 2 1 exp 1 2 2 L x d x n i i    。 （3.15） 上式关于 求导，得     =       − − = = ( ) 0 2 1 ( )exp 1 2 2 1 L x x dx n i i n i i   

故有 E{L(X)X}=0, 所以X是的MVUE 式(315)关于求二阶导数,得 ∫-∫42x12x-=0 式(3.15)关于σ2求导,得 ∫j2mC-my=0 湘潭大学数学与计算科学院一页一页]6

湘潭大学数学与计算科学学院 上一页 下一页 6 故有 EL(X)X= 0， 所以X 是 的 MVUE。 式（3.15）关于 求二阶导数，得     =       − − = = ( ) 0 2 1 ( ) exp 1 2 2 2 1 L x x dx n i i n i i    式（3.15）关于 2  求导，得     =       − − − = = ( ) 0 2 1 ( ) exp 1 2 2 2 1 L x x d x n i i n i i    

利用∑(x1-x)=∑(x1-p)3-m(x-),可得 ∫…J2 (x-x)exr 2oi= : 2(x, u)sdx=0 故有 E{(X)S}=0 所以S¨是σ2的MVUE 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 7 利用 2 1 2 1 2 ( − ) = ( − ) − ( − ) = = x x x n x n i i n i i ，可得     =       − − − = = ( ) 0 2 1 ( ) exp 1 2 2 2 1 L x x x d x n i i n i i    , 故有  ( )  0 2 =  E L X Sn 所以 2  S n 是 2  的 MVUE

定理37给出了最小方差无偏估计的一种判别方法, 但由上例可见,该判别法使用并不方便,而且还只是 个充分条件。为了寻求更好的方法,需要借助充分统计 量甚至充分完备统计量的概念。 定理38设总体X的分布函数为F(x;0,∈⊙是未 知参数,(X1,X2…X)是来自总体X的一个样本。如果 T=T(X1,X2,…Xn)是6的充分统计量,6的任一无 偏估计,记θE(6|T),则有 E=,对切p∈e, (3.16) Db=D6,对一切∈, (3.17) 即θ·是0的最小方差无偏估计。 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 8 定理3.7给出了最小方差无偏估计的一种判别方法， 但由上例可见，该判别法使用并不方便，而且还只是一 个充分条件。为了寻求更好的方法，需要借助充分统计 量甚至充分完备统计量的概念。 定理 3.8 设总体X 的分布函数为F(x; ),   是未 知参数，( , , ) X1 X2 Xn 是来自总体X 的一个样本。如果 ( , , ) T = T X1 X2 Xn 是 的充分统计量，ˆ 是 的任一无 偏估计，记 | ) ˆ ( ˆ E  T  ，则有  =   E ˆ ，对一切   ， （3.16） Dˆ = Dˆ  ，对一切   ， （3.17） 即  ˆ 是 的最小方差无偏估计

由于=E(|T)仍然是充分统计量且作为的估计量, 可称之为充分估计量,上述定理表明,要寻找的最小方 差无偏估计,无需在无偏的充分估计量类中寻找就足够 了。假若的充分无偏估计量是惟一的,则这个充分无偏 估计量就一定是最小方差无偏估计量。那么,在什么情况 下,它才是惟一的呢?显然,如果它又是完备统计量,便 可保证其惟一性。 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 9 由于 | ) ˆ ( ˆ = E  T  仍然是充分统计量且作为 的估计量， 可称之为充分估计量，上述定理表明，要寻找 的最小方 差无偏估计，无需在无偏的充分估计量类中寻找就足够 了。假若 的充分无偏估计量是惟一的，则这个充分无偏 估计量就一定是最小方差无偏估计量。那么，在什么情况 下，它才是惟一的呢？显然，如果它又是完备统计量，便 可保证其惟一性

定理3.9设总体X的分布函数为F(x;),O∈⊙, (X1,X2,Xn)为其样本,若T=T(X,X2,…X,)是的 充分完备统计量,为θ的一个无偏估计,则 6E(6|T (3.18) 为的惟一的最小方差无偏估计。 证明设a和是的任意两个无偏估计,由定理3.7 知,E(OT)和E(2|T)也是的无偏估计, 即对一切∈6,有 EIE(61mT)=6,EE(62|m)=0(3.19 湘潭大学数学与计算科学学院一页一页

湘潭大学数学与计算科学学院 上一页 下一页 10 定理 3.9 设总体X 的分布函数为F(x; ),  , ( , , , ) X1 X2  Xn 为其样本，若 ( , , ) T = T X1 X2 Xn 是 的 充分完备统计量，ˆ为 的一个无偏估计，则 | ) ˆ ( ˆ E  T  （3.18） 为 的惟一的最小方差无偏估计。 证明 设 1 ˆ 和 2 ˆ 是 的任意两个无偏估计，由定理 3.7 知， | ) ˆ ( E 1 T 和 | ) ˆ ( E  2 T 也是 的无偏估计， 即对一切  ，有 E [E(ˆ 1 |T)] =  ，E [E(ˆ 2 |T)] =  （3.19）