华中科技大学：《概率论与数理统计》课程电子教案（讲义）第七章 参数估计 §7.2 点估计（2/2）§7.3 估计量的评选原则

二、极大似然估计法引例（P169例7.4）袋中放有黑球和白球共4个，今有放回地抽球三次，得到2次白球，1次黑球，试问如何估计袋中白球个数？m1解：设袋中的白球数为m，记p=X为抽到的白球数。，4则 X~B(3,p),m=?0123Xmp100000-1/49/641/6427/6427/6422/48/6424/6424/648/6433/43/649/6427/6427/64410001当m=3时，P(X=2)最大，故m=3。极大似然原则：已发生的事件，其概率应该最大。故未知参数的选择应有利于该事件的发生。1(x,0)其中f(x,0)为x的密度函数i=lL(x,x,...,x,,0)=似然函数：IIP(X =x)其中P.(X=x)为X的分布律ale的极大似然估计值0(xi,x2，,x）L(x,x2,..,x,;0)=max L(x,x2,.,xn;0)的极大似然估计量(X,X2,X)

二、极大似然估计法 引例（P169 例 7.4）袋中放有黑球和白球共 4 个，今有放回地抽球三次，得到 2 次白 球，1 次黑球，试问如何估计袋中白球个数？ 解：设袋中的白球数为 m，记 4 m p  ，X 为抽到的白球数。 则 X ~ B(3, p) ， m =？ X 0 1 2 3 m p 0 1 2 3 4 0 1/4 2/4 3/4 1 1 27/64 8/64 3/64 0 0 27/64 24/64 9/64 0 0 9/64 24/64 27/64 0 0 1/64 8/64 27/64 1 当 m = 3 时, P(X = 2)最大, 故 m ˆ  3。 极大似然原则：已发生的事件，其概率应该最大。故未知参数的选择应有利于该事 件的发生。 似然函数：             其中 为 的分布律 其中 为 的密度函数 P X x P X x X f x f x X L x x x i n i i i n i i n ( ) ( ) ( , ) ( , ) ( , , , ; ) 1 1 1 2        的极大似然估计值 ( , , , ) ˆ 1 2 n  x x  x : ) max ( , , , ; ) ˆ ( , , , ; 1 2  1 2   n n L x x  x  L x x  x  的极大似然估计量 ( , , , ) ˆ  X1 X2  Xn

例1（P17i例7.5）设寿命X~E(1/e），试由下面（18个）样本观察值求未知参数日的极大似然估计值。解 L(,;0)=e)ex,>0, i=1,2,",n=100naa1nnx=0[-nlnenx]=InL02ae00ao=x=317.94（小时），估计量=X与矩估计相同。解得估计值例2（Pi72例7.7）设总体X~N(u,α），求μ和的极大似然估计。_(μ)21ea122解: L(u,α")==（2元）o11V2元011In?)-μ)In L =>(x222gi=laInL1之(x -μ) =- (nx - nμ)= 092ai=l解a1n13之(x -M)=0InL:204202002i=1=x,6?-1(x, -x)2=32得ni=l

例 1（P171 例 7.5）设寿命 X~E(1/θ )，试由下面（18 个）样本观察值求未知参数 θ 的极大似然估计值。 解： L x x e xi i n n i x n i ) 0, 1,2, , 1 ( , , ; ) ( 1 1                n i i x n e 1 1 1   ] 0 1 ln [ ln 2            x n n L n nx       解得 估计值   x ˆ =317.94（小时）， 估计量  ˆ  X 与矩估计相同。 例 2（P172 例 7.7）设总体 ~ ( , ) 2 X N   ，求  和 2  的极大似然估计。 解：           n i n x x n i i i L e e 1 ( ) 2 1 2 2 2 ( ) 2 1 2 2 2 2 (2 ) 2 1 ( , )              n i i x n L 1 2 2 2 ( ) 2 1 ln(2 ) 2 ln    解                           ( ) 0 2 1 1 2 ln ( ) 0 1 ( ) 1 ln 1 2 2 2 4 2 1 2 n i i n i i x n L L x nx n          得  ˆ  x ，      n i xi x S n 1 2 2 ~2 ( ) 1  ˆ

例3（Pi73例7.8）设总体X~U[a,b]，试求α和b的极大似然估计。1a≤x,x2,*x,≤b(b-a)nL(a,b)= f(x;a,b) =解：i=l其它0,:在a≤x,x2,..x,≤b下,a/,by=b--a=L(a,b)>..取a=xi，b=x,时，L(a,b)=max性质：若为的极大似然估计，u=u(の)有反函数=(u)，则ü=u(①)为u=u(①)的极大似然估计。例3（P174例7.9）设总体X～N(u,α），求α的极大似然估计。解：由>0,=V有反函数，再由例2知2=321故6=SZ(X, -X)?Vni=l（习题7.5，练习18.3）87.3估计量的评选原则一、无偏性若E()=θ，则称θ为θ的无偏估计量。例1证明样本均值X为总体期望的无偏估计。E(X)=↓ZE(X)= E(X)= μ证：ni=lE(4x)=↓ZE(X)=E(X*)=αx一般ni=l

例 3（P173 例 7.8）设总体 X~U[a,b]，试求 a 和 b 的极大似然估计。 解：              n i n n i a x x x b b a L a b f x a b 1 1 2 0, , , , ( ) 1 ( , ) ( ; , ) 其它   在 a  x1 , x2 , xn  b 下，a↗, b↘  b - a↘  L(a, b)↗  取 * * 1 ˆ ˆ , n a  x b  x 时，L(a，b) = max 性质：若  ˆ 为  的极大似然估计， u  u() 有反函数  (u) ，则 ) ˆ u ˆ  u( 为 u  u() 的极大似然估计。 例 3（P174 例 7.9） 设总体 ~ ( , ) 2 X N   ，求  的极大似然估计。 解：由 2   0 ,   有反函数，再由例 2 知 2 ~2  ˆ  S 故     n i Xi X n S 1 2 ( ) ~ 1 ˆ （习题 7.5，练习 18.3） §7.3 估计量的评选原则 一、无偏性 若 )  ˆ E( ，则称  ˆ 为  的无偏估计量。 例 1 证明样本均值 X 为总体期望的无偏估计。 证：       ( ) ( ) 1 ( ) 1 E X E X n E X n i i 一般 k n i k k K E Xi E X n E A     1 ( ) ( ) 1 ( )

一之(X,-X)"是总体方差D(X)=2的无偏估计。（练例2证明样本方差S2=-11习17.5)x?-n)]E(S?)=E[注证：i[nE(X)-nE(X)]n-1[n(α? +μ) -n(D(X)+μ)][no?+nμ?-α?-nμ?]]=α?注1例2说明32不是的无偏估计。E(S3)= E(n-Is2)= n-1g渐近无偏估计n为θ的无偏估计，但u(①)不一定是u(の)的无偏估计。例如：注26若 D(X)>0,则 E[()]=E(X2)=D(X)+[E(X)}>[E(X)P=μ? （习题7.11)注3无偏估计不唯一，如X和X均为μ=E(X)的无偏估计。二、有效性若E()=E()=0，且D(é)≤D(），则称比有效比如 E(X)=E(X)=，但D(X)=，D()=，故=X比=X,有效。。为θ的最小方差无偏估计量～E()=，且对的一切无偏估计有：D(2.)≤D(0)

例 2 证明样本方差      n i Xi X n S 1 2 2 ( ) 1 1 是总体方差 D(X)=σ 2 的无偏估计。（练 习 17.5） 证： ( )] 1 1 ( ) [ 2 1 2 2 X nX n E S E n i i      注 [ ( ) ( )] 1 1 2 2 nE X nE X n i    [ ( ) ( ( ) )] 1 1 2 2 2         n n D X n 2 2 2 2 2 [ )] 1 1           n n n n 注 1 例 2 说明 ~2 S 不是 2  的无偏估计。  2 2 1 2 2 ) 1 ) ( ~ (        n n n S n n E S E 渐近无偏估计 注 2  ˆ 为  的无偏估计，但 ) ˆ u( 不一定是 u( ) 的无偏估计。例如： 若 D(X)>0，则 2 2 2 2 2 E[( ˆ) ]  E(X )  D(X) [E(X)]  [E(X)]   （习题 7.11） 注 3 无偏估计不唯一，如 X1 和 X 均为μ =E(X)的无偏估计。 二、有效性 若 ) 0 ˆ ) ( ˆ ( E 1  E  2  ，且 ) ˆ ) ( ˆ ( D 1  D  2 ，则称 1 ˆ  比 1 ˆ  有效 比如 E(X1 )  E(X)   ，但 2 1 D(X )   ， 1 2 ( )  n D X  ，故  ˆ  X 比 1 1  ˆ  X 有效。 0 ˆ  为  的最小方差无偏估计量 ~  )  ˆ ( E 0 ，且对  的一切无偏估计  ˆ 有： ) ˆ ) ( ˆ ( D  0  D 

例3（习题7.9)在总体期望μ=E(X)的线性无偏估计类U=3=c=1中>c.Xi=li-求最小方差无偏估计。-AeUE(A)=c,E(X,)= Zcu=μ解：首先1=1i=l(a,b,)ab由Cauchy-Schwarz不等式i=li=1i=lD(i)=2c;D(X)=1(21)(Zc)D(X)≥-(Z1xc)D(X)=- D(X)n=1i=1i=l=而 D(X)=D(X)故。=X是μ的最小方差无偏估计。n三、一致性若V>0，有limP(o.-0<)=1，则称为的一致估计。例4由大数定律limP(-μ<s)=1知样本均值X是总体均值μ的一致估计

例 3（习题 7.9）在总体期望   E(X) 的线性无偏估计类              n i i n i i i U c X c 1 1 ˆ 1 中 求  最小方差无偏估计。 解：首先 E c E X c U n i i n i   i i       (ˆ) ( )   ˆ 1 1 由 Cauchy-Schwarz 不等式        n i i n i i n i ai bi a b 1 2 1 2 2 1 ( ) ( ) 1 ( 1 ) ( ) 1 ( 1 )( ) ( ) 1 ( ˆ) ( ) 1 1 2 1 2 1 2 D X n c D X n c D X n D c D X n i i n i i n i n i   i             而 ( ) 1 ( ) D X n D X  故  ˆ 0  X 是  的最小方差无偏估计。 三、一致性 若   0 ，有 ) 1 ˆ lim (        n n P ，则称  ˆ 为  的一致估计。 例 4 由大数定律 lim (   ) 1  P X   n 知样本均值 X 是总体均值  的一致估计

按矩估计：总体X~B(1,)，m为未知参数，Xi,X2,X为样本观察值，x=(1+1+0)。44，=m=4，m=4x=8αj =E(X)= m3273)3-2 Pm=3(X = 2) = C2(1-4644D(X)= E(X)-[E(X)P(X,-X=x-ni=lni=l

按矩估计： 总体 ) 4 ~ (1, m X B ，m 为未知参数，x1, x2, x3 为样本观察值， (1 1 0) 3 1 x    。 4 ( ) 1 m   E X  ，  m  41， 3 8 m ˆ  4x  64 27 ) 4 3 ) (1 4 3 ( 2) ( 2 2 3 2 3   3    Pm X C 2 2 D(X)  E(X ) [E(X)] 2 1 2 1 2 1 ( ) 1 X X n X X n n i i n i  i      