上饶师范学院：《概率论与数理统计》课程教学资源（电子教案）第六章 点估计 6.2 极大似然估计

§6.2极大似然估计 极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在1912年的文章 中重新提出，并且证明了这个方法 一些性质。极大似然估计龙 名称也是费歇 的。这是 一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极 大似然原理的直观想法是：一个随机试验如有若干个可能的结果A,B,C,。若在一次 试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。我 们来看一个例子。（例题略） 下面我们对连续型与离散型母体两种情形阐述极大似然估计。 设51,52，…，5n为取自具有概率函数{f(x):0∈⊙}的母体5的一个 子样。子样51,52，…，5n的联合概率函数在5：取已知观测值X,1,n时 的值f(x:f(x;)…xn:)是8的函数。我们用L(0)=L(0:X1,…,Xn) 表示，称作这个子样的似然函数。于是 L(0)=L(0:x,…,xn)=fx:0)fx2;0)…fxn0)(68) 如果是离散型母体，L(0:X1,…,Xn)给出观测到(X1,X2，…，Xm 的概率。因此，可以把L(O:X1,…,Xn)看成为了观测到(X,,X2,…,Xn) 时出现什么样日的可能性的一个测度。所以我们只要寻找这样的观测值(X,,X2,·, Xn)的函数日=日(X1,…,Xn),以日代日使 (6.9) 成立。满足(6.9)式的0(X1，…,Xn)就是最可能产生X,…,Xn的参数0的 值。我们称0(X1,…,Xn)为参数0的极大似然估计值，其相应的统计量52…，5) 称作参数O的极大似然估计量。 如果5是连续型，f(x;),日∈中表示密度函数。于是子样(5，…，5n)落入点 X1…,Xm)的邻城内的概率为门f,8)A,同样是的函数。既然(X1…, Xm)在一次抽样中出现，当然可以认为子样(5，…，5)落在(X1,…，X,)的邻 域内的概率达到最大。所以我们只要找出使∏(x,:O)△x,达到最大的0的值0 (X,,…,Xn)。由于△x,是不依赖于日的增量，我们也只须求出使得

§6.2 极大似然估计 极大似然估计法是求估计的另一种方法。它最早由高斯提出。后来为费歇在 1912 年的文章 中重新提出，并且证明了这个方法的一些性质。极大似然估计这一名称也是费歇给的。这是 一种上前仍然得到广泛应用的方法。它是建立在极大似然原理的基础上的一个统计方法，极 大似然原理的直观想法是：一个随机试验如有若干个可能的结果 A，B，C，…。若在一次 试验中，结果 A 出现，则一般认为试验条件对 A 出现有利，也即 A 出现的概率很大。我 们来看一个例子。（例题略） 下面我们对连续型与离散型母体两种情形阐述极大似然估计。 设  1 ，  2 ，…，  n 为取自具有概率函数 f (x;):  的母体  的一个 子样。子样  1 ， 2 ，…，  n 的联合概率函数在  i 取已知观测值 x i ，i=1，…n 时 的值 ( ; ) f x1  ( ; ) f x2  … ( ;) n f x 是  的函数。我们用 L（  ）= L（  ；x 1 ，… ，x n ） 表示，称作这个子样的似然函数。于是 L（  ）= L（  ；x 1 ，… ，x n ）= ( ; ) f x1  ( ; ) f x2  … ( ;) n f x （6.8） 如果是离散型母体，L（  ；x 1 ，… ，x n ）给出观测到（x 1 ，x 2 ，… ，x n ） 的概率。因此，可以把 L（  ；x 1 ，… ，x n ）看成为了观测到（x 1 ，x 2 ，… ，x n ） 时出现什么样  的可能性的一个测度。所以我们只要寻找这样的观测值（x 1 ，x 2 ，… ， x n ）的函数  i  = i  （x 1 ，… ，x n ），以   代  使 L（  ；x 1 ，… ，x n ）=  sup L（  ；x 1 ，… ，x n ） （6.9） 成立。满足（6.9）式的   （x 1 ，… ，x n ）就是最可能产生 x 1 ，… ，x n 的参数  的 值。我们称   （x 1 ，… ，x n ）为参数  的极大似然估计值，其相应的统计量 ( , ) 1， n      称作参数  的极大似然估计量。 如果  是连续型， ( ; ) f x1  ， ∈  表示密度函数。于是子样 ( , )  1，   n 落入点 （x 1 ，… ，x n ）的邻域内的概率为 i n i i  f x x =1 ( ; ) ，同样是  的函数。既然（x 1 ，… ， x n ）在一次抽样中出现，当然可以认为子样 ( , )  1，   n 落在（x 1 ，… ，x n ）的邻 域内的概率达到最大。所以我们只要找出使 i n i i  f x x =1 ( ; ) 达到最大的  的值   （x 1 ，… ，x n ）。由于 i x 是不依赖于  的增量，我们也只须求出使得

L(0:x1…,Xn)=fx,0Ax 达到最大值的，便可得到极大似然估计。综上所述知道，连续型母体的参数的极大似然估计 同样可以用(6.8)与(6.9)两式表示。 由于mx是x的单调增函数，使 L0(X1…,Xn)=BmL(X1,,Xm） (6.10) 成立的日也使(6.9)成立，所以有时我们只要从(6.10)中求石就好了。（例题略） 极大似然估计有一简单而有用的性质。 性质设0为fx:0)中参数0的极大似然估计，并且函数u=u(O)有反函数0 0(u),则i=u(0)是0)的极大似然估计。这里0∈Φ，u为u(0)的值域。（证明略） 极大似然估计量还有一个重要性质一渐近正态性，这对以后在大子样情形求参数的区 间估计和进行假设检验时很有用。杜克首先提出这一性质的证明。下面我们对连续型随机变 量以定理的形式叙述这一性质。对离散型随机变量，只要以求和号代积分号，便可得到类似 的定理。 定理6.1设随机变量5具有密度函数f(x,),未知参数日∈中，中为非退化区 间，假定 ①对于任何一个E中和任一个数x偏号数be,06g和6gI存在 ∂0 081 a81 (2)对于中中每一个0值，不等式 larl fF.(). 'f <F,() a03 (6.19) 成立，其中函数F,(x),F,(x)在整个数轴上(-,0)可积，而函数F,(x)满足不等 式 F(x)f(x;0d<M (6.20) 其中M与0无关： (3)对于中中每一个0， E2g-()}f0达<0 (6.21) 于是若分布参数日的未知真值日。为中的一个内点，则方程 alogL- a0

L（  ；x 1 ，… ，x n ）= i n i i  f x x =1 ( ; ) 达到最大值的，便可得到极大似然估计。综上所述知道，连续型母体的参数的极大似然估计 同样可以用（6.8）与（6.9）两式表示。 由于 lnx 是 x 的单调增函数，使 lnL   （x 1 ，… ，x n ）=  sup lnL（x 1 ，… ，x n ） （6.10） 成立的   也使（6.9）成立，所以有时我们只要从（6.10）中求   就好了。（例题略） 极大似然估计有一简单而有用的性质。 性质 设   为 ( ) f x1；  中参数  的极大似然估计，并且函数 u=u(  )具有反函数  =  （u），则 u  = u (   )是 u(  )的极大似然估计。这里  ∈  ，u 为 u(  )的值域。（证明略） 极大似然估计量还有一个重要性质—渐近正态性，这对以后在大子样情形求参数的区 间估计和进行假设检验时很有用。杜克首先提出这一性质的证明。下面我们对连续型随机变 量以定理的形式叙述这一性质。对离散型随机变量，只要以求和号代积分号，便可得到类似 的定理。 定理 6.1 设随机变量  具有密度函数 f (x, ) ，未知参数  ∈  ， 为非退化区 间，假定 （1）对于任何一个  ∈  和任一个数 x 偏导数   log f ， 2 2 log   f 和 3 3 log   f 存在； （2）对于  中每一个  值，不等式 ( ) 1 F x f     ， ( ) 2 2 2 F x f     ， ( ) 3 3 3 F x f     （6.19） 成立，其中函数 F ( ) 1 x ，F ( ) 2 x 在整个数轴上（−，  ）可积，而函数 F ( ) 3 x 满足不等 式  F x f x； dx  M  − ( ) ( ) 3  （6.20） 其中 M 与  无关； （3）对于  中每一个  ， 0<E[ 2 ) log (   f ]=       − f x； dx f ) ( ) log ( 2   （6.21） 于是若分布参数  的未知真值  0 为  的一个内点，则方程   log L =0

有一个解0存在，当时n→0,9广(5，，5n)”)日。，且8*渐近地服从 正态分布 1 0o, (6.22) aog工y'19= a0 这一定理向我们指出似然方程有一个根日依概率收敛于待估计的参数日。，并且渐近地趋 向正态分布(6.22)，由于以上这些优良性质，极大似然估计法是一种应用很广的估计方法。 但必须知道母体概率函数，而且有时不易救出方程的解

有一个解   存在，当时 n →  ， ( , ) 1 ，   n  ⎯⎯→P  0 ，且   渐近地服从 正态分布 N             =   0 2 0 ) ] log [( 1     f nE ， （6.22） 这一定理向我们指出似然方程有一个根   依概率收敛于待估计的参数  0 ，并且渐近地趋 向正态分布（6.22），由于以上这些优良性质，极大似然估计法是一种应用很广的估计方法。 但必须知道母体概率函数，而且有时不易救出方程的解