沈阳师范大学：《概率论与数理统计》课程教学资源（教案讲义）第7章 参数估计

概率论与数理统计教案第7章参数估计第7章参数估计内容概览矩估计【点估计极大似然估计参数估计（区间估计（单个正态总体估计问题统计推断两个正态总体非参数估计假设检验一、本章主要知识点：1.参数的点估计法：矩估计法、极大似然估计法，2.评价估计优良性标准：无偏性、有效性、一致性。3．正态总体参数的置信区间二、本章教学重点：1.参数的矩估计法、极大似然估计法．2．单个正态总体参数的区间估计.三、本章教学难点：极大似然估计法、置信水平α、置信区间。四、本章知识体系图：无偏性参数的点估计矩估计评价点估计优良性标准有效性极大似然估计参数估计一致性均值的区间估计单个正态总体参数的区间估计方差的区间估计均值差-的区间估计两个正态总体方差比/的区间估计沈阳师范大学计算机与数学基础教学部杨淑辉- 107 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 107 - 第 7 章 参数估计——内容概览 矩估计 点估计 极大似然估计 参数估计 区间估计 单个正态总体 估计问题 统计推断 两个正态总体 非参数估计 假设检验 一、本章主要知识点： 1．参数的点估计法：矩估计法、极大似然估计法． 2．评价估计优良性标准：无偏性、有效性、一致性．3．正态总体参数的置信区间． 二、本章教学重点： 1．参数的矩估计法、极大似然估计法．2．单个正态总体参数的区间估计． 三、本章教学难点： 极大似然估计法、置信水平  、置信区间． 四、本章知识体系图： 参 数 估 计 矩估计 极大似然估计 一致性 有效性 无偏性 评价点估计 优良性标准 参 数 的 点 估 计 均值差   1 2 − 的区间估计 方差比 2 2   1 2 的区间估计 均值  的区间估计 方差 2  的区间估计 单个正态总体 两个正态总体 参 数 的 区 间 估 计

第7章参数估计概率论与数理统计教案87.1点估计S7.1 点估计第24讲、第25讲授课题目教学目的理解参数的点估计、估计量与估计值的概念；掌握矩估计法和极大似然估计法教学重点掌握矩估计法和极大似然估计法。教学难点掌握矩估计法和极大似然估计法。备注教学过程中复司引入矩【点估计极大似然估计参数估计区间估计「单个正态总体估计问题两个正态总体统计推断非参数估计假设检验辛钦大数定律设X,X,，…,X是一个独立同分布的随机变量序列.若数学期望EX,=μ(i=1,2,..)存在，则对任意>0,有1X:VEXlimPn2->00n台=中知识框茶点估计：总体X的分布函数形式已知，但其中包含一个或多个未知参数，借助于总体X的一个样本来估计总体未知参数的值矩估计：用样本矩估计相极大似然估计：似然函数L()的大小表示该样本值出现的可能应的总体矩，用样本矩的性大小，根据极大似然估计的基本思想，既然事件函数估计相应的总体矩(X,=x,X,=x，…,X,=x,)已经发生，它发生的概率应是最大，的函数.求出使L(①)达到最大的的值=0(x,x，,x）作为参数的极大似然估计，记作MLE，即L(O)=maxI/p(x:0)EO中讲投新课一、点估计的概念设总体X的分布函数形式已知，但其中包含一个或多个未知参数，借助于总体X的一个样本来估计总体未知参数的值的问题称为参数的点估计问题参数空间：设总体X的分布函数F(x,)形式已知，θ为未知参数，称6所有可能的沈阳师范大学计算机与数学基础教学部杨淑辉- 108 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 108 - §7.1 点估计 授课题目 §7.1 点估计 第 24 讲、第 25 讲 教学目的 理解参数的点估计、估计量与估计值的概念;掌握矩估计法和极大似然估计法 教学重点 掌握矩估计法和极大似然估计法。 教学难点 掌握矩估计法和极大似然估计法。 教 学 过 程 备注 *复习引入 辛 钦 大 数 定 律 设 X1 , X2 ,  , Xn ,  是 一 个 独 立 同 分 布 的 随 机 变 量 序 列 . 若 数 学 期 望 EX = (i = 1,2, ) i  存在, 则对任意   0 ,有 1 1 lim 1 n i n i P X n   → =     −  =    . 1 1 1 1 = =   ⎯⎯→ n n P i i i i X EX n n *知识框架 *讲授新课 一、点估计的概念 设总体 X 的分布函数形式已知，但其中包含一个或多个未知参数，借助于总体 X 的一 个样本来估计总体未知参数的值的问题称为参数的点估计问题． 参数空间：设总体 X 的分布函数 F x( ; )  形式已知，  为未知参数，称  所有可能的 点估计：总体 X 的分布函数形式已知，但其中包含一个 或多个未知参数，借助于总体 X 的一个样本来估计总体 未知参数的值 矩估计：用样本矩估计相 应的总体矩，用样本矩的 函数估计相应的总体矩 的函数． 极大似然估计：似然函数 L( )  的大小表示该样本值出现的可能 性 大 小 ． 根 据 极 大 似 然 估 计 的 基 本 思 想 ， 既 然 事 件 1 1 2 2 { , , , } X x X x X x = = = n n 已经发生，它发生的概率应是最大， 求出使 L( )  达到最大的  的值 1 2 ( , , , ) n   x x x   = 作为参数  的极 大似然估计，记作 MLE ．即 1 ( ) max ( ; ) n i i L p x      = = 

第7章参数估计概率论与数理统计教案取值范围为参数空间，记为①，例1设某工厂生产的一批铆钉头部直径X（单位：mm）服从正态分布N（u,0.12）.现要检验铆钉头部直径，从这批产品中随机抽取7只，测得头部直径如下：13.3213.4813.5413.3113.3413.4713.44试估计参数μ.由样本构造统计量X，以该统计量的观测值x作为未知参数μ的一个估计值设总体X的分布函数F(xの)形式已知，为未知参数，θ?，是未知参数θ所有可能的取值范围，这里e可以表示一个参数，也可以表示若于个参数组成的参数向量=(e,2,",），设XX2,,X，是从这个总体中抽取的一个样本，X,x2,,x是相应的样本观测值，点估计就是研究如何由样本X,X2",X，提供的信息对未知参数θ作出估计，即构造一个合适的统计量e(X,X2"",X,），用它的观测值(x,2",x）作为未构造点估计量的方法有知参数的估计值，称e(X,X,",X）为的估计量，称(x,2",x）为的估计值1多种，最典型的是矩估计（在不致混淆的情况下，统称为估计量，记作）法和极大似如果总体X的分布函数F(x,,2,",)中含有k个不同的未知参数，则需由样本然估计法矩估计X,X,",X,构造k个统计量(X,X2,",X）（1≤i≤k）作为相应参数,（1≤i≤k）法是由英国的点估计统计学家K.皮尔逊(K. Pearson)二、矩估计在20世纪初引进的一种1.矩估计的基本思想寻找估计量的简单易算的方法．它的由辛钦大数定律知，当样本容量充分大时，若总体X的数学期望EX存在，则样本均基本思想是：值X依概率收敛于EX：用样本矩估2．矩估计的求法计相应的总体矩，用样本矩的函数估设总体X的分布函数中有k个未知参数,，X,X,..X是取自X的样计相应的总本，假定总体X的k阶原点矩存在，以m记总体的r阶原点矩，即m=EX，r≤k，体矩的函数.1n易知它们是e,，,,的函数，以A记样本的r阶原点矩，即A=-X，由辛钦大n=数定律知，当n充分大时，A,→m,，所以令A,=m,，r=1,2,k，具体做法如下：①求出总体的的前k阶原点矩：m,=g,(0,0,,...,0),r=1,2,...k②从这k个方程中解出"",：,=h,(m,m,*",m), r=1,2,..k.③用A,分别代替上式中的m,，r=1,2,,k，则可以得到总体未知参数,，,的矩估计量①.④2·：：0，矩估计量的观测值称为矩估计值.矩估计量与矩估计值统称为矩估计，记为ME.例2设X，X*"，X为来自总体X的一个样本，不论总体X服从什么分布，若EX=u，DX=，但都未知，求μ与α的矩估计量.例3设总体X服从参数为入的泊松分布，无未知，求元的矩估计注求参数矩估计时，如果能用低阶的矩估计，就不要用高阶的矩估计，例如，若总体X～U(O,①），0未知，则θ可以通过期望或方差表示，沈阳师范大学计算机与数学基础教学部杨淑辉- 109 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 109 - 取值范围为参数空间，记为  ． 例 1 设某工厂生产的一批铆钉头部直径 X （单位：mm）服从正态分布 2 N( ,0.1 )  ．现 要检验铆钉头部直径，从这批产品中随机抽取 7 只，测得头部直径如下： 13.32 13.48 13.54 13.31 13.34 13.47 13.44 试估计参数  ． 由样本构造统计量 X ，以该统计量的观测值 x 作为未知参数  的一个估计值． 设总体 X 的分布函数 F x( ; )  形式已知，  为未知参数，   ， 是未知参数  所 有可能的取值范围，这里  可以表示一个参数，也可以表示若干个参数组成的参数向量 1 2 ( , , , )     = k ．设 1 2 , , , X X X n 是从这个总体中抽取的一个样本， 1 2 , , , n x x x 是相 应的样本观测值，点估计就是研究如何由样本 1 2 , , , X X X n 提供的信息对未知参数  作出 估计，即构造一个合适的统计量 1 2 ( , , , )  X X X n ，用它的观测值 1 2 ( , , , ) n  x x x 作为未 知参数  的估计值，称 1 2 ( , , , )  X X X n 为  的估计量，称 1 2 ( , , , ) n  x x x 为  的估计值 （在不致混淆的情况下，统称为估计量，记作  ）． 如果总体 X 的分布函数 1 2 ( ; , , , ) F x   k 中含有 k 个不同的未知参数，则需由样本 1 2 , , , X X X n 构造 k 个统计量 1 2 i( , , , )  X X X n （ 1 i k ）作为相应参数 i （ 1 i k ） 的点估计． 二、矩估计 1．矩估计的基本思想 由辛钦大数定律知，当样本容量充分大时，若总体 X 的数学期望 EX 存在，则样本均 值 X 依概率收敛于 EX ． 2．矩估计的求法 设总体 X 的分布函数中有 k 个未知参数 1 2 , , ,   k ， 1 2 , , , X X X n 是取自 X 的样 本，假定总体 X 的 k 阶原点矩存在，以 mr 记总体的 r 阶原点矩，即 r m EX r = ， r k  ， 易知它们是 1 2 , , ,   k 的函数，以 A r 记样本的 r 阶原点矩，即 1 1 n r r i i A X n = =  ，由辛钦大 数定律知，当 n 充分大时， p A m r r → ，所以令 A m r r = ， r k =1,2, ．具体做法如下： ① 求出总体的的前 k 阶原点矩： 1 2 ( , , , ) m g r r k =    ， r k =1,2, ． ② 从这 k 个方程中解出 1 2 , , ,   k ： 1 2 ( , , , ) r r k  = h m m m ， r k =1,2, ． ③ 用 A r 分别代替上式中的 mr ，r k =1,2, , ，则可以得到总体未知参数 1 2 , , ,   k 的矩估计量    1 2 , , , k ，矩估计量的观测值称为矩估计值．矩估计量与矩估计值统称为矩 估计，记为 ME ． 例 2 设 1 2 , , , X X X n 为来自总体 X 的一个样本，不论总体 X 服从什么分布，若 EX =  ， 2 DX = ，但都未知，求  与 2  的矩估计量． 例 3 设总体 X 服从参数为  的泊松分布，  未知，求  的矩估计． 注 求参数矩估计时，如果能用低阶的矩估计，就不要用高阶的矩估计． 例如，若总体 X U~ (0, )  ， 未知，则  可以通过期望或方差表示， 构造点估计 量的方法有 多种，最典型 的是矩估计 法和极大似 然估计法 矩估计 法是由英国 统计学家 K. 皮尔逊 (K.Pearson) 在 20 世纪初 引进的一种 寻找估计量 的简单易算 的方法．它的 基本思想是： 用样本矩估 计相应的总 体矩，用样本 矩的函数估 计相应的总 体矩的函数．

第7章参数估计概率论与数理统计教案DX=0?EX=0212根据矩估计思想，可以得到θ的两个矩估计=2X或者是=2V3S，，习惯上采用第一个矩估计，同时说明了参数矩估计是不唯一的，例4一类电子产品的寿命X服从双参数指数分布E(u,)，其概率密度为[Me-(x-)，x≥μf(x)=o,x0,u>0为未知参数，求参数,u的矩估计.性质1若θ为θ的矩估计量，g(①)为θ的连续函数，则g(①)是g(①)的矩估计量.例5设总体X~B(n,p)，n已知，p未知，X,Xz，",X为其样本，求p一的矩估计量，(2)（1）p的矩估计量：1-p三、极大似然估计1.极大似然估计的基本思想在一次试验例6设有外形完全相同的两个箱子，甲箱中有99个白球1个黑球，乙箱中有1个白中，某一事件球99个黑球，今随机地抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪一已经发生，则必然认为取个箱子中取出？使该事件发生的概率达2．极大似然估计的求法到最大的待估参数所取1）离散总体的值作为待估参数的估计值，这就是设X,X,,X，为取自具有概率分布p(xの)的总体的一个样本，其中极大似然估0=(,0,,0)0为未知参数计的基本思想若x,2,",x为样本的一个观测值，则随机事件(X,=X,X,=x2，",X，=x发生的概率为P(X, =x,X, =x2,",X, = x,}=P(X, =x)P(X, =x)...P(X, =x,)p(x;0)上式可视为的函数，我们把它记作L()，并称L(の)=p(x;)为似然函数似然函数L①）的大小表示该样本值出现的可能性大小根据极大似然估计的基本思想，既然事件X,=x,X,=x2",X，=x}已经发生，它发生的概率应是最大，求出使L(O)达到最大的的值θ=0(x,x,,x)作为参数θ的极大似然估计，记作MLE。即L(@) = max Ip(x; 0)eei=l2）连续总体设X,X,,,X,为取自具有概率密度f(x,の)的总体的一个样本，其中沈阳师范大学计算机与数学基础教学部杨淑辉- 110

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 110 - 2 EX  = ， 2 12 DX  = ， 根据矩估计思想，可以得到  的两个矩估计  2X  = 或者是 2 3 n  S  = ,习惯上采用第一个 矩估计，同时说明了参数矩估计是不唯一的． 例 4 一类电子产品的寿命 X 服从双参数指数分布 E( , )   ，其概率密度为 ( ) , ( ) 0 , x e x f x x      − −   =    其中     0, 0 为未知参数，求参数  , 的矩估计． 性质 1 若   为  的矩估计量， g( )  为  的连续函数，则 g( )   是 g( )  的矩估计量． 例 5 设总体 X B n p ~ ( , ) ，n 已知， p 未知， 1 2 , , , X X X n 为其样本，求 （1） p 的矩估计量； （2） 1 p − p 的矩估计量． 三、极大似然估计 1．极大似然估计的基本思想 例 6 设有外形完全相同的两个箱子，甲箱中有 99 个白球 1 个黑球，乙箱中有 1 个白 球 99 个黑球．今随机地抽取一箱，并从中随机抽取一球，结果取得白球，问这球是从哪一 个箱子中取出？ 2．极大似然估计的求法 1）离散总体 设 1 2 , , , X X X n 为 取 自 具 有 概 率 分 布 p x( ; )  的 总 体 的 一 个 样 本 ， 其 中 1 2 ( , , , )     =  k 为未知参数． 若 1 2 , , , n x x x 为样本的一个观测值，则随机事件 1 1 2 2 { , , , } X x X x X x = = = n n 发生 的概率为 1 1 2 2 1 1 2 2 1 { , , , } { } { } { } ( ; ) n n n n n i i P X x X x X x P X x P X x P X x p x  = = = = = = = = = 上式可视为  的函数，我们把它记作 L( )  ，并称 1 ( ) ( ; ) n i i L p x   = = 为似然函数． 似然函数 L( )  的大小表示该样本值出现的可能性大小．根据极大似然估计的基本思 想，既然事件 1 1 2 2 { , , , } X x X x X x = = = n n 已经发生，它发生的概率应是最大，求出使 L( )  达到最大的  的值 1 2 ( , , , ) n   x x x   = 作为参数  的极大似然估计，记作 MLE ．即 1 ( ) max ( ; ) n i i L p x      = =  2）连续总体 设 1 2 , , , X X X n 为取自具有概率密度 f x( ; )  的总体的一个样本，其中 在一次试验 中，某一事件 已经发生，则 必然认为取 使该事件发 生的概率达 到 最 大的待 估参数所取 的值作为待 估参数的估 计值，这就是 极大似然估 计的基本思 想．

概率论与数理统计教案第7章参数估计=(0,,,)0为未知参数.若x,x,为样本的一个观测值，则随机点(X,X2,X)落入点(x,x)的边长分别为Ar,Axz，"",Ax，的n维矩形邻域内的概率近似等于1f(x;0)Ax，同样是0的函数，根据极大似然估计的基本思想，可取使Lf(x;0)Ax,达到最大的9的值=(x,x2…x）作为参数的极大似然估计.由于Ax,(i=1,2,…,n)是不依赖于的增量，因而只需使得f(x;の)达到最大的作为参数的极大似然估计，这里取f(x;）作为连续总体X的似然函数L(0):为了计算上的方便，我们通常对似然函数取对数，因为lnx关于x是单调递增函数，使InL(①)达到最大的也使L(O)达到最大综上所述，如果在已知分布中有k个待估参数,2,，我们有如下方法求它们的极大似极大似然估计.然估计法最第一步写出似然函数初由德国数TP(x.0,0,",0)离散总体学家高斯is(1-3)L(0,0,....,0)-(Gauss）于连续总体f(x,0,02,*,0),11821年提出，i第二步对（1-3）式两端取对数但未得到重[n (x;,),视．费歌尔离散总体isl(R.A.FisherIn L(0....,0)-(1-4)）在1922年再连续总体inf(x,0,02,,),次提出极大:-第三步对（1-4）式关于,求偏导，i=1,2,,k，然后令其为零，得到方程组似然估计的oln L(,2,0) =0想法，并探讨ae,了它的性质，aln L(,0,,) 0使之得到广0e泛的研究和:应用.an L(..) 0a0k解方程组得=(x,x,"x,)0, =0(x,x2,**,x)矩估计法的缺陷：若总体O=0(X,x2,*-,x)原点矩不存在，则矩估计沈阳师范大学计算机与数学基础教学部杨淑辉- 111 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 111 - 1 2 ( , , , )     =  k 为未知参数． 若 1 2 , , , n x x x 为样本的一个观测值，则随机点 ( X X X 1 2 , , , n ) 落入点 ( x x x 1 2 , , , n ) 的边长分别为 1 2 , , , n    x x x 的 n 维矩形邻域内的概率近似等于 1 ( ; ) n i i i f x x  =   ，同样是  的函数． 根 据 极 大 似 然 估 计 的 基 本 思 想 ， 可 取 使 1 ( ; ) n i i i f x x  =   达 到 最 大 的  的 值 1 2 ( , , , ) n   x x x   = 作为参数  的极大似然估计．由于 ( 1,2, , ) i  = x i n 是不依赖于  的增 量，因而只需使得 1 ( ; ) n i i f x  =  达到最大的   作为参数  的极大似然估计，这里取 1 ( ) ( ; ) n i i L f x   = = 作为连续总体 X 的似然函数． 为了计算上的方便，我们通常对似然函数取对数，因为 ln x 关于 x 是单调递增函数， 使 ln ( ) L  达到最大的   也使 L( )  达到最大． 综上所述，如果在已知分布中有 k 个待估参数 1 2 , , ,   k ，我们有如下方法求它们的 极大似然估计． 第一步 写出似然函数 1 2 1 1 2 1 2 1 ( ; , , , ), ( , , , ) ( ; , , , ) n i k i k n i k i P x L f x          = =    =      离散总体 ， 连续总体 （1-3） 第二步 对（1-3）式两端取对数 1 2 1 1 2 1 2 1 ln ( ; , , , ), ln ( , , , ) ln ( ; , , , ) n i k i k n i k i P x L f x          = =    =      离散总体 ， 连续总体 （1-4） 第三步 对（1-4）式关于 i 求偏导， i k =1,2, , ，然后令其为零，得到方程组 1 2 1 1 2 2 1 2 ln ( , , , ) 0 ln ( , , , ) 0 ln ( , , , ) 0 k k k k L L L              =      =      =    解方程组得 1 1 1 2 2 2 1 2 1 2 ( , , , ) ( , , , ) ( , , , ) n n k k n x x x x x x x x x              =    =      = 极大似 然估计法最 初由德国数 学家高斯 (Gauss) 于 1821 年提出， 但未得到重 视．费歇尔 (R.A.Fisher )在 1922 年再 次提出极大 似然估计的 想法，并探讨 了它的性质， 使之得到广 泛的研究和 应用． 矩估计法的 缺陷：若总体 原点矩不存 在，则矩估计

概率论与数理统计教案第7章参数估计无法进行。则e,为e,的极大似然估计，i=1,2,k．其中（1-5）式称作对数似然方程未知参数的矩估计并不例7设总体X服从几何分布PX=x)=p(1-p)-，x=12.，其中p为未知参唯一，这在应数，且00：设X,X,",X为来自总体X的一个样本，x,x",x为样本观测值，求μ与α的极大蛋然求似然估计导函数的方例10设X,X，X是来自均匀总体U(O,)的一个样本，求参数的极大似然估法是求参数计量.极大似然估计的常用方设θ是θ的极大似然估计，g()是的函数，若g(①)具有单性质1.2(不变性原理）法，但是，并不是对所有值反函数，则g(0)的极大似然估计为g(①)，即g(0)=g(0).的情况都适下面给出常见分布参数的矩估计和极大似然估计，见表1-1用，下面举例说明.表1-1常见分布参数点估计常见分布矩估计极大似然估计B-1BY.二项分布B(n,p),n已知nn均匀分布U(a,b)a-X-/3s.,b=X+/3sa=Xa,b=X(m)泊松分布P(2)i=x元-x2-12-1指数分布E(2)A=X,?=S?正态总体N(u,α)A=X,=s?帆固袜司1.设总体X在(a,b)上服从均匀分布，a,b为未知参数，X,Xz，",X，是来自X的样本，则b的矩估计量为（D）A. XC. X-y3s.D. X+3S,B. S,2.设总体X~B(n,p)，X,X,,",X是来自X的样本，则未知参数p的矩估计量为（），XA. XB. X?C.D. nXn,X）是总体X~N(μ,α2）的样本，则μ的矩估计量为（B）.3.设(X.,X,1117C(X, -x)? D. -(X, -X)?AXAR1n-n-n台ni=1isl-4.设（X,X,,X）是总体X~N(u,α2）的样本，则u的极大似然估计量为（B）沈阳师范大学计算机与数学基础教学部杨淑辉- 112

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 112 - 则 i  为 i 的极大似然估计， i k =1,2, , ．其中（1-5）式称作对数似然方程． 例 7 设总体 X 服从几何分布 1 { } (1 )x P X x p p − = = − ，x =1,2, ，其中 p 为未知参 数，且 0 1   p ．设 1 2 , , , X X X n 为 X 的一个样本，求参数 p 的极大似然估计． 注 几何分布的数学期望 1 EX p = ，因此 1 p X  = 也是参数 p 的矩估计量． 例 8 设总体 X 的概率分布为 X 1 2 3 p 2  2 (1 )  − 2 (1 ) − 现在观察容量为 3 的样本，观测值分别为 1，2，1，求  的极大似然估计值． 例 9 设总体 2 X N~ ( , )   ，其中  与 2  均未知， −   +  ， 2   0 ．设 1 2 , , , X X X n 为来自总体 X 的一个样本， 1 2 , , , n x x x 为样本观测值，求  与 2  的极大 似然估计． 例 10 设 1 2 , , , X X X n 是来自均匀总体 U(0, )  的一个样本，求参数  的极大似然估 计量． 性质 1.2(不变性原理) 设   是  的极大似然估计， g( )  是  的函数，若 g( )  具有单 值反函数，则 g( )  的极大似然估计为 g( )   ，即 g g ( ) ( )     = ． 下面给出常见分布参数的矩估计和极大似然估计，见表 1-1． 表 1-1 常见分布参数点估计 常见分布 矩估计 极大似然估计 二项分布 B n p n ( , ), 已知 X p n  = X p n  = 均匀分布 U a b ( , ) 3 , 3 n n a X S b X S   = − = + (1) ( ) , n a X b X   = = 泊松分布 P( )   X  =  X  = 指数分布 E( )  1 X   = 1 X   = 正态总体 2 N( , )   2 2 ,   X Sn   = = 2 2 ,   X Sn   = = 无法进行。 未知参数的 矩估计并不 唯一，这在应 用中是不利 的．而极大似 然估计弥补 了这一缺陷． 虽 然 求 导函数的方 法是求参数 极大似然估 计的常用方 法，但是，并 不是对所有 的情况都适 用，下面举例 说明． *巩固练习 1.设总体 X 在 ( , ) a b 上服从均匀分布， ab, 为未知参数， 1 2 , , , X X X n 是来自 X 的样本，则 b 的矩估计 量为（ D ）. A. X B. n S C. 3 X S − n D. 3 X S + n 2.设总体 X B n p ~ ( , ) ， 1 2 , , , X X X n 是来自 X 的样本，则未知参数 p 的矩估计量为（ C ）. A. X B. 2 X C. X n D. nX 3.设 ( , , , ) X1 X2  Xn 是总体 ~ ( , ) 2 X N   的样本,则  的矩估计量为 ( B ). A. 1 1 1 n i i X n − =  B. 1 1 n i i X n =  C. = − − n i Xi X n 1 2 ( ) 1 1 D. = − n i Xi X n 1 2 ( ) 1 4.设 ( , , , ) X1 X2  Xn 是总体 ~ ( , ) 2 X N   的样本,则  的极大似然估计量为 ( B )

概率论与数理统计教案第7章参数估计1n1n1 1nBXx,E(X -X)2C.D. -Z(X,-x)A.n-12n-1台n=5.设(X,X2",X）是总体X~N(u,α"）的样本，则α的矩估计量为（D）k111nB.(X, - X) (k =12,..)Z(X -X)A..nn=1nc.1EZ(X -X)2E(X -x)?D. n-1台ni=l6.设θ是总体X的未知参数，是θ的估计量，则有（B）.A.是一个数，近似等于0B.0是一个随机变量C.是一个统计量，且EB=0D.随着n的增大，的值可任意接近θ7.设总体X～N(u,α），μ,α均为未知数.若与分别是的矩估计量和极大似然估计量，则(c).A. G?63C. 02=03D. 02±638.对于总体未知参数の，用矩估计法和极大似然估计法所得的估计量（C）A.总是相同B.总是不同C.有时相同，有时不同D.总是有偏的9.设(X,X2，,X,）是总体X～N(u,α）的样本，则α的极大似然估计量为（D）.1n17(X, - X) (k =1,2,...)> (X.uB.-A::nni=l1#1nE(X -x)?E(X - x)D. C?n-1台n=10.设总体X~Ua,bl，由样本X,X....,X求参数a,b的极大似然估计量.1asxO，同时b-α取最小值．为使L(a,b)>0，必须满足a≤x,≤b，i=1,2,,n，即a≤minx,=X)，x(n)=maxx,≤b，为使b-a取最小值必须使b取最小值，a取最大值，由于α≤xa)，x(m)≤b，因此只有当a=x)，b=x时，L(a,b)取到最大值，沈阳师范大学计算机与数学基础教学部杨淑辉- 113 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 113 - A. 1 1 1 n i i X n − =  B. 1 1 n i i X n =  C. = − − n i Xi X n 1 2 ( ) 1 1 D. = − n i Xi X n 1 2 ( ) 1 5.设 ( , , , ) X1 X2  Xn 是总体 ~ ( , ) 2 X N   的样本,则 2  的矩估计量为 ( D ). A. 1 1 ( ) n i i X X n =  − B. ( ) ( 1,2, ) 1 1  − =  = X X k n k n i i C. = − − n i Xi X n 1 2 ( ) 1 1 D. = − n i Xi X n 1 2 ( ) 1 6. 设  是总体 X 的未知参数， ˆ  是  的估计量，则有( B ). A. ˆ  是一个数，近似等于  B. ˆ  是一个随机变量 C. ˆ  是一个统计量，且 E ˆ   = D.随着 n 的增大， ˆ  的值可任意接近  7. 设总体 2 X N~ ( , )   , 2  , 均为未知数.若 2 1  ˆ 与 2 2  ˆ 分别是 2  的矩估计量和极大似然估计量，则 ( C ). A. 2 1  ˆ 2 2  ˆ C. 2 1  ˆ = 2 2  ˆ D. 2 1  ˆ  2 2  ˆ 8. 对于总体未知参数  ，用矩估计法和极大似然估计法所得的估计量( C ) A.总是相同 B.总是不同 C.有时相同，有时不同 D.总是有偏的 9.设 ( , , , ) X1 X2  Xn 是总体 ~ ( , ) 2 X N   的样本,则 2  的极大似然估计量为 ( D ). A. = − n i Xi n 1 2 ( ) 1  B. ( ) ( 1,2, ) 1 1  − =  = X X k n k n i i C. = − − n i Xi X n 1 2 ( ) 1 1 D. = − n i Xi X n 1 2 ( ) 1 10.设总体 X U a b ~ [ , ] ，由样本 1 2 , , , X X X n 求参数 ab, 的极大似然估计量． 解 总体 X 的密度函数为 1 , ( ; , ) 0, a x b f x a b b a     =  −   其他 似然函数 1 2 1 1 , , , ( , ) ( ; , ) ( ) 0, n n n i i a x x x b L a b f x a b b a =     = =  −    其他 当 1 2 , , n a x x x b   时， 对数似然函数 ln ( , ) ln( ) L a b n b a = − − ， 对数似然方程为 ln ( , ) 0 ln ( , ) 0 L a b n a b a L a b n b a b  = =   −   = =   − 显然对数似然方程无解，故通过极大似然原理． 由于似然函数 L a b ( , ) 关于 b a − 是单调递减函数，要使 L a b ( , ) 取到最大值，必须满足使 L a b ( , ) 0  ， 同时 b a − 取最小值．为使 L a b ( , ) 0  ，必须满足 i a x b   ， i n =1,2, , ，即 (1) 1 min i i n a x x    = ， ( ) 1 max n i i n x x b   =  ，为使 b a − 取最小值必须使 b 取最小值， a 取最大值，由于 (1) a x  ， ( ) n x b  ，因此 只有当 (1) a x = ， ( ) n b x = 时， L a b ( , ) 取到最大值

第7章参数估计概率论与数理统计教案故a,b的极大似然估计量分别为X()，X(m)11.设总体X的概率密度为[a'xe-,x>0其中参数>0未知，f(x)=lo,其它X,X..,X是来自总体X的一个样本.（1）求参数入的矩估计量：（2）求参数入的最大似然估计量：解（1）Ax=u1+xe-"dx =u'e-"du=EX"xe-dx =22EX=X_2，故参数入的矩估计量为元X（2）似然函数L=f(x)=a2xe-x,x,>0,i=1,2,",ni=lIn=[2In+Inx,-ax,]-dnL[2x=0daLA2故参数入的最大似然估计量为X12.设总体X的分布为((0+1)x°,0-1是未知参数，X,X,X，为来自总体X的一个样本，分别求参数θ的矩估计量和最大似然估计量0+1+1)dx=解EX0+22X-1由EX=X，得参数θ的矩估计量为1-X似然函数L=(01.2.....ndlnLInL=nln(0+1)+0Inx,Inx,=0de0+1i=1i=l1n参数6的最大似然估计量为-1InX,Zinx,n=i=l13.设总体X有概率分布21X92p(1-0)220(1-6)现在观察容量为3的样本，x=1,x=2,x=1，求0的最大似然估计值，解似然函数沈阳师范大学计算机与数学基础教学部杨淑辉- 114 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 114 - 故 ab, 的极大似然估计量分别为 X(1) ， X( ) n ． 11.设总体 X 的概率密度为 2 , 0 ( ) 0 , x xe x f x   −   =   其它 ，其中参数 >0 未知， 1 2 , , , X X X n 是来自总体 X 的一个样本． （１）求参数  的矩估计量；（２）求参数  的最大似然估计量． 解 （１） 2 2 2 2 0 0 0 1 2 x u x x u EX x xe dx x e dx u e du        = + + + − − − = = =    = 令 2 EX X  = = ，故参数  的矩估计量为 2 X ． （２）似然函数 2 1 1 ( ) , 0, 1,2, , i n n x i i i i i L f x x e x i n   − = = = =  =     1 ln 2ln ln n i i i L x x   = = + −  1 ln 2 0 n i i d L x d  =   = − =      故参数  的最大似然估计量为 2 X ． 12.设总体 X 的分布为 ( 1) ,0 1 ( ) 0, x x p x    +   =   其它 其中   −1 是未知参数， 1 2 , , , X X X n 为来自总体 X 的一个样本，分别求参数  的矩估计量和最大似 然估计量． 解 1 1 0 1 ( 1) 2 EX x dx     + + = + = +  由 EX X = ，得参数  的矩估计量为 2 1 1 X X − − ． 似然函数 1 ( 1) ,0 1, 1,2, , n n i i i L x x i n   =   = +   =      1 ln ln( 1) ln n i i L n x   = = + +  1 ln ln 0 1 n i i d L n x d  = = + = +  参数  的最大似然估计量为 1 1 1 1 1 1 ln ln n n i i i i n X X = = n − − = − −   . 13.设总体 X 有概率分布 现在观察容量为 3 的样本， 1 2 3 x x x = = = 1, 2, 1 ，求  的最大似然估计值． 解 似然函数

第7章参数估计概率论与数理统计教案L=P(X, =1,X, =2,X,=1)=P(X, =I)PX, =2)P(X, =P)=02.20(1-0)·02=205(1-0)InL=n2+5In+ln(1-0)dlnL51=0，得0=501-0de6小结极大似然估计：①写出似然函数()=()i=②对（1.1）式两端取对数nL(...)-n(x;,..)i-1③(1.2）式对0,求偏导，然后令其为零，得到方程组In(e.。．)=0，i=1,2..ka0.解方程组得é,=(x,x2,x,），i=1,2….k，则é,为e,的极大似然估计量.表7.1常见分布参数点估计矩估计极大似然估计常见分布二项分布B(n,p),np=X/np=X/n均匀分布U(a,b)a-X-3s..b=X+V3sa=Xo,b=X(m)泊松分布P(2)i-x元=Xi=1/xi=1/x指数分布E(2)A-X,o-S.u=X,?=S?正态总体N(u,α)净作业习题7.1-P150—1，2，3，4,5,68 7. 2估计量的评选标准第26讲S7.2估计量的评选标准授课题目了解估计量的无偏性、有效性（最小方差性）和一致性（相合性）的概念：会教学目的验证估计量的无偏性教学重点验证估计量的无偏性教学难点验证估计量的无偏性备注教学过程中复司引入同一参数可能具有多种估计量，原则上任何统计量都可以作为未知参数的估计量，判断估计量好坏的标准：有无系统偏差；波动性的大小：伴随样本容量的增大是否是越来越精确，这就是估计的无偏性，有效性和一致性中讲投新课、无偏性注若θ是θ的无偏估计，沈阳师范大学计算机与数学基础教学部杨淑辉- 115 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 115 - 1 2 3 1 2 3 2 2 5 { 1, 2, 1} { 1} { 2} { 1} 2 (1 ) 2 (1 ) L P X X X P X P X P X       = = = = = = = = =  −  = − ln ln 2 5ln ln(1 ) L = + + −   ln 5 1 0 1 d L d   = − = − ，得 5 6  = ． *小结 极大似然估计： ① 写出似然函数 1 2 1 2 1 ( , , ) ( ; , , ) n k i k i L f x       = = ② 对（1.1）式两端取对数 1 2 1 2 1 ln ( , , ) ln ( ; , , ) n k i k i L f x       = = ③（1.2）式对 i 求偏导，然后令其为零，得到方程组 1 2 ln ( , , ) 0 k i L      =  ，i k =1,2, 解方程组得 1 2 ( , , , ) i i n   x x x   = ，i k =1,2, ，则 i  为 i 的极大似然估计量． 表 7.1 常见分布参数点估计 常见分布 矩估计 极大似然估计 二项分布 B n p n ( , ), p X n  = p X n  = 均匀分布 U a b ( , ) 3 , 3 n n a X S b X S   = − = + (1) ( ) , n a X b X   = = 泊松分布 P( )   X  =  X  = 指数分布 E( )   1 X  =  1 X  = 正态总体 2 N( , )   2 2 ,   X Sn   = = 2 2 ,   X Sn   = = *作业 习题 7.1- P150—1，2，3，4,5,6 §7.2 估计量的评选标准 授课题目 §7.2 估计量的评选标准 第 26 讲 教学目的 了解估计量的无偏性、有效性（最小方差性）和一致性（相合性）的概念；会 验证估计量的无偏性 教学重点 验证估计量的无偏性 教学难点 验证估计量的无偏性 教 学 过 程 备注 *复习引入 同一参数可能具有多种估计量，原则上任何统计量都可以作为未知参数的估计量． 判断估计量好坏的标准：有无系统偏差；波动性的大小；伴随样本容量的增大是否是越来越精确， 这就是估计的无偏性，有效性和一致性． *讲授新课 一、无偏性 注 若   是  的无偏估计

概率论与数理统计教案第7章参数估计g()是的定义1设=(X,X,,,X）是未知参数的估计量，若对任意θe①，有函数，则g(0)E(①)=0，则称θ是θ的无偏估计，或称0具有无偏性。否则称是θ的有偏估计.不一定是g(0)的无偏令b，=Eθ-θ，称b,为估计量θ的偏差，而无偏估计是偏差为0的估计。估计。若limE(①)=，则称0是θ的渐近无偏估计例如，X是μ7→的无偏估计，但无偏性的意义：当一个无偏估计量被多次重复使用时，其估计值在未知参数真值附近不是波动，并且这些估计值的理论平均值等于被估计参数：这样，无偏估计保证了没有系统偏的无偏估计.事差，即用估计6，不会系统地偏大或偏小，实上，例1设总体X的期望EX=μ，方差DX=α2，证明：EX=DX+(EX)?=（1）样本均值X是总体均值u的一个无偏估计：（2）样本方差S是总体方差α的无偏估计：，若用来估（3）未修正样本方差S是总体方差α的渐近无偏估计计?就不再例2（1）设X,X,,X，是来自总体N(u,G）的一个样本，证明：是无偏估计了。未知参数A111A1.1.5A131=X+X,+X,=X+X,+号X，-X+号x--Xθ的无偏估计123*33334①往往不止一都是μ的无偏估计（2）设X,X,,X来自总体N(u,)的一个样本，证明：对于任意常数个．与的差很可能虽然"t，若c,=1，则c,X,是μ的无偏估计.C.C.C.差异很大，但该i=li=1差正负相抵，以致平均值为0.方差反映二、 有效性随机变量取值的分散程度.所定义2设,与,都是参数θ的无偏估计，若对任意θe①，都有D,0，都有11A是总体均值lim P0-0>=0,n-→00U的无偏估计，且以为最有则称θ是θ的一个一致估计（或相合估计）效.例4设总体X的k阶原点矩EX*=m存在，X,X,，"",X是X的样本，试证明1样本k阶原点矩A是参数m，的一致估计量，固练司1.设X～N(u,），（X，XX,）是取自总体X的样本，若μ，α均是未知的，则的无偏估沈阳师范大学计算机与数学基础教学部杨淑辉- 116 -

概率论与数理统计教案 第 7 章 参数估计 沈阳师范大学 计算机与数学基础教学部 杨淑辉 - 116 - 定义 1 设 1 2 ( , , , )   X X X n   = 是未知参数  的估计量，若对任意   ，有 ( )  E  = ，则称   是  的无偏估计，或称   具有无偏性．否则称   是  的有偏估计． 令 n b E   = − ，称 n b 为估计量   的偏差，而无偏估计是偏差为 0 的估计． 若 lim ( ) n E    → = ，则称   是  的渐近无偏估计． 无偏性的意义：当一个无偏估计量被多次重复使用时，其估计值在未知参数真值附近 波动，并且这些估计值的理论平均值等于被估计参数．这样，无偏估计保证了没有系统偏 差，即用  估计  ，不会系统地偏大或偏小． 例 1 设总体 X 的期望 EX =  ，方差 2 DX = ，证明： （1）样本均值 X 是总体均值  的一个无偏估计； （2）样本方差 2 S 是总体方差 2  的无偏估计； （3）未修正样本方差 2 n S 是总体方差 2  的渐近无偏估计． 例 2 （1） 设 1 2 3 X X X , , 是来自总体 2 N( , )   的一个样本，证明： 1 1 2 3 1 1 1 3 3 3  X X X  = + + ， 2 1 2 3 1 1 5 3 4 12  X X X  = + + ， 3 1 2 3 1 3 1 3 4 12  X X X  = + − 都是  的无偏估计． （2） 设 1 2 , , , X X X n 来自总体 2 N( , )   的一个样本，证明：对于任意常数 1 2 , , , C C Cn ，若 1 1 n i i C =  = ，则 1 n i i i C X =  是  的无偏估计． 二、有效性 定义 2 设 1  与  2  都是参数  的无偏估计，若对任意   ,都有 D D   1 2    ,则称 1  较  2  有效． 例 3 设 1 2 X X, 是来自总体 2 N( , )   的 样 本 ， 验 证 ： 1 1 2 1 1 2 2  X X  = + ， 2 1 2 1 2 3 3  X X  = + ， 3 1 2 1 3 4 4  X X  = + 都是  的无偏估计，并指出其中哪一个最有效？ 三、一致性 定义 3 设   是未知参数  的估计量，若对任给的   0 ，都有 lim 0 n P     →     −  =   , 则称   是  的一个一致估计（或相合估计）． 例 4 设总体 X 的 k 阶原点矩 k EX m= k 存在， 1 2 , , , X X X n 是 X 的样本，试证明 样本 k 阶原点矩 1 1 n k k i i A X n = =  是参数 mk 的一致估计量． g( )  是  的 函数，则 g( )   不一定是 g( )  的无偏 估计． 例如， X 是  的无偏估计，但 2 X 不 是 2  的无偏估计．事 实上， 2 2 2 2 2 E X DX E X ( ) n  = + = +    ，若用 2 X 来估 计 2  就不再 是无偏估计了． 未知参数  的无偏估计   往往不止一 个．   与  的 差很可能虽然 差异很大，但该 差正负相抵，以 致平均值为 0 ．方差反映 随机变量取值 的分散程度．所 以无偏估计以 方差最小者为 最好、最合理．． 注 样本 1 2 , , , X X X n 的线性组合 1 n i i i a X =  （ 1 1 n i i a =  = ） 是总体均值  的无偏估计，且 以 X 为最有 效． *巩固练习 1. 设 X～ ( ) 2 N ， , ( ) X1，X2，，Xn 是取自总体 X 的样本，若 2  ，  均是未知的，则 2  的无偏估