《概率论与数理统计》课程教学课件（讲稿）第七章 参数估计 第三节 极大似然估计

数理统计第三节极大似然估计法引言上一讲，我们介绍了的参数点估计的矩估计法矩法的优点是简单易行，并不需要事先知道总体是什么分布：缺点是当总体类型已知时，没有充分利用分布提供的信息·一般场合下，矩估计量不具有唯一性。其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性.今天我们来介绍另一种估计方法极大似然估计

数理统计 引言 上一讲，我们介绍了的参数点估计的矩估计法. 矩法的优点是简单易行,并不需要事先知道总 体是什么分布 . 缺点是当总体类型已知时，没有充分利用分布 提供的信息 . 一般场合下,矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时，选取那些 总体矩用相应样本矩代替带有一定的随意性 .今天 我们来介绍另一种估计方法极大似然估计. 第三节 极大似然估计法

数理统计它是在总体类型已知条件下使用的一种参数估计方法。它首先是由德国数学家高斯在1821年提出的.然而，这个方法常归功于英国统计学家费歇。Tauss在1922年重新发现了这一方法，并首先研究了这种方法的一些性质。Fisher

数理统计 它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家高斯在 1821年提出的 .然而,这个方法常 归功于英国统计学家费歇 . Gauss Fisher 费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质

数理统计引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过。只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的。这个例子所作的推断就体现了极大似然法的基本思想。极大似然估计法基本思想是按照最大可能性准则进行推断.即一次试验中发生的事件的概率最大

数理统计 引例: 某位同学与一位猎人一起外出打猎,一只野兔从前方窜 过．只听一声枪响，野兔应声到下，如果要你推测，这一发 命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎 人命中的概率一般大于这位同学命中的概率，看来这一枪是 猎人射中的．这个例子所作的推断就体现了极大似然法的基 本思想． 极大似然估计法基本思想是按照最大可能性准则进行 推断.即一次试验中发生的事件的概率最大

数理统计问题若随机试验有若干个可能结果：A1.A2，….，Am，在一次试验中事件A1出现了，关于A1的概率你怎样认为？根据小概率事件原理，应认为A1发生的可能性大一，极大似然思想一般地说，事件A与参数0有关，参数取值不同，则事件A的概率也不同。若A发生了，则认为此时参数的值就是参数的估计值．这就是极大似然思想。看以下例子例1：设总体X服从两点分布b(1,p），即P(X=x)=p*(1-p)"-x,x=0,1.其中，p=0.9或p=0.3,但到底是什么，需要我们选择（估计）为此，从总体中抽取一容量为2的样本（X,X,),样本（X,X,)的分布列为：

数理统计 问题 若随机试验有若干个可能结果: A1, A2 , . , Am ，在 一次试验中事件A1出现了，关于A1的概率你怎样认为？根 据小概率事件原理, 应认为A1发生的可能性大. 一、极大似然思想 一般地说，事件 A与参数 有关,参数取值不同, 则事件 A的概率也不同．若A发生了，则认为此时参数的值就是参 数的估计值．这就是极大似然思想．看以下例子：  1 1 2 1 2 ) (1 ) , 0,1. 0.9 0.3, . , ), , ) x x X p X x p p x p p X X X X       例1：设总体 服从两点分布b(1, ），即P( = 其中， 或 但到底是什么，需要我们选择（估计）为此，从 总体中抽取一容量为2的样本（ 样本（ 的分布列为：

数理统计p(x,x2; P) = p(X, = xi, X, = x2)= p++2(1 - p)2-(++2), x,x2 = 0,1.如果样本值为（1，1），则出现该样本值的概率在p=0.9时为0.81，在p=0.3时为0.09，若要基于该样本值对p作出选择的话，则无疑会选择p=0.9,因为p=0.9时出现样本值（1,1）的概率远大于p=0.3时的概率这种选择依据实际上体现了这样一种思想，即参数p的选择应对所出现的观察结果最有利，亦即参数p的选择应使观察结果出现的概率最大，这就是极大似然法的思想或原理

数理统计 1 2 1 2 2 ( ) 1 2 1 1 2 2 1 2 ( , ; ) ( , ) (1 ) , , 0,1. x x x x p x x p p X x X x p p x x          0.9 0.81 0.3 0.09 p p p   如果样本值为（1,1），则出现该样本值的概率在 时 为 ，在 时为 ，若要基于该样本值对 作出选择的话， 0.9, 0.9 1,1 0.3 . p p p    则无疑会选择 因为 时出现样本值（ ）的概率远大于 时的概率 p p 这种选择依据实际上体现了这样一种思想，即参数 的选择应 对所出现的观察结果最有利，亦即参数 的选择应使观察结果出现 的概率最大，这就是极大似然法的思想或原理

数理统计例2：假设在一个罐中放着许多白球和黑球，并假定已经知道两种球的数目之比是1：3，但不知道哪种颜色的球多。如果用返回抽样方法从罐中任取n个球，则其中黑球的个数为x的概率为：p'q,，其中q=1-p,由假设知，p=或P(x,p)=X若取n=3，如何通过x来估计p值：先计算抽样的可能结果x在这两种p值之下的概率：23X011/649/6427/64X27/641/6427/6427/649/64X.1

数理统计 例2：假设在一个罐中放着许多白球和黑球，并假定 已经知道两种球的数目之比是1:3，但不知道哪种颜色的 球多。如果用返回抽样方法从罐中任取n个球，则其中黑 球的个数为x的概率为： 若取n=3，如何通过x来估计p值； 先计算抽样的可能结果x在这两种p值之下的概率：   1 3 ; , 1 , 4 4 x n x n P x p p q q p p x            其中 由假设知， 或 0 1 2 3   3 4 P x, x 1 64 9 64 27 64 27 64   27 64 27 64 9 64 1 64 1 4 P x

数理统计从上表看到：x=0, P(0. )=> P(0. )=4,取p=1更合理；x=1 类似;2P(2.)=<P(2 )=,更合理；取p=x =2, PD4x=3类似；x = 0,1于是有：: p(x)=34x = 2,3极大似然原理：对每个x,取p(x),使P(x,p(x)≥ P(x;p),P'是不同于p(x)的另一值;下面我们来研究极大似然估计法

数理统计           1 4 3 4 1 1 1 27 3 0, 0, 0, , 4 64 4 64 4 1 1 9 3 27 3 2, 2 0, , 2, 4 64 4 64 4 1 ˆ 2 3 3 , x P P p x x P P x p x x x p                   从上表看到： 取 更合理； 类似； ,取 更合理； 类似 ； 于是有： 对每个x p x P x p x P x p P p x , ; ; ' , ' 取  ,使       是不同于ˆ  的另一值； 下面我们来研究极大 极大似然原理： 似然估计法

数理统计似然函数与极大似然估计二、定义1：若总体X的概率密度函数为f(x,）（可以是向量),X,X，…X,为来自X的一个样本，n维随机变量（X，X，X）的联合概率密度函数记为L(xi,x2...,xn;0) = II f(x;;0)i=-1称为参数的似然函数（对于离散型样本，其似然函数为其联合分布律）

数理统计 定义1： 若总体 X 的概率密度函数为f( x, ) ( 可以是向量), X1 , X2 , ···, Xn为来自X的一个样本, n 维随机变量 ( X1 , X2 , ···, Xn ) 的联合概率密度函数记 为      n i n xi L x x x f 1 1 2 ( , ,., ; ) ( ; ) (对于离散型样本,其似然函数为其联合分布律). 称为参数 的似然函数. 二、似然函数与极大似然估计

数理统计极大似然估计法求参数的估计值，使似然函数达到极大值定义2若L(x1,X2....x,;o,2...o)L(x1,X2...xn;0,,02...0,)max二(1,02. , )e2称(,2…,0,)为(,2…,)的极大似然估计值

数理统计 极大似然估计法 求参数的估计值，使似然函数达到极大值 定义2 若 max ( , ,., ; , ,., ) ) ˆ ,., ˆ , ˆ ( , ,., ; 1 2 1 2 ( , ,., ) 1 2 1 2 1 2 n l n l L x x x L x x x l            ( ˆ , ˆ ,., ˆ ) ( , ,., ) 的极大似然估计值. 称 1  2  l 为1  2  l

数理统计相应的估计量 , =,(X,X2, Xn), k =1,2,…,l称为参数的极大似然估计量注：lnx是x的严格单增函数，lnL与L有相同的极大值点，一般只需求lnL的极大值点定义3称a ln L(0,0,:,0,))=0.k =1,2,...,l00k为似然方程组

数理统计 称为参数k的极大似然估计量. X X X k l k k n ( , ,., ), 1,2, , ˆ ˆ 相应的估计量   1 2   注：lnx 是 x 的严格单增函数，lnL 与L有相 同的极大值点，一般只需求lnL 的极大值点. 定义3 称 k l L k l 0, 1,2, , ln ( , , , ) 1 2           为似然方程组