《系统辨识理论及应用》教学课件（PPT讲稿）极大似然法辨识

第六章极大似然法辨识 矿思路:构造一个以观测值和未知参数为 自变量的似然函数,并通过极大化这个 似然函数来获得模型的参数估值

第六章 极大似然法辨识 思路：构造一个以观测值和未知参数为 自变量的似然函数，并通过极大化这个 似然函数来获得模型的参数估值

611用极大似然法求估计量 设X1,X2,…X是总体的一个样本 19 2,",x,为样本的观测值,则兰体 X的分布律P{X=x}=p(x)或分布密度 p(x)冲中含有未知参数时, 记p(x)=p(x;, 称(O)= (x;O为似然函数,而称使 L()取极大的估计值为e极大似然 估计值

6.1.1 用极大似然法求估计量 设X1 , X2 ,  , Xn 是总体X的一个样本， x1 , x2 ,  , xn 为样本的观测值，则当总 体 X的分布律P{X = x} = p(x)或分布密度 p(x)中含有未知参数时， 记p(x) = p(x; ), 称  为似然函数，而称使 = = n i L p x 1 ( ) ( ; ) L( )取极大的估计值 ˆ L 为的极大似然 估计值

一般步骤: (1)构成似然函数L(0); (2)写出nL(0); (3)以0为自变量求nL(0的导数或偏导数; (4)令nL(0的导数或偏导数等于零解方程;

一般步骤： (1) 构成似然函数L(θ)； (2) 写出lnL(θ)； (3)以θ为自变量求lnL(θ)的导数或偏导数； (4)令lnL(θ)的导数或偏导数等于零解方程；

例1:已知独立同分布的随机过程1x0),在参数 条件下随机变量x的概率密度为p(x|)=2xe-,0>0 求参数O的极大似然估计。 解设x=[x()x(2)…x(N)表示随机变量x的N 个观测值向量,则随机变量x在参数O条件下的似然 函数为 (x10)=∏lx(4)0)=02∏x(k,cx-0>xk =1 k=1 对上式等号两边取对数,可得 hL(x|6)=2Nh+∑hx(k)-0∑x) k=1 k=1 求上式对θ的偏导数,并且令偏导数等于0,可得 an L(0) 2N y ∑x(k)=0 k=1

例1：已知独立同分布的随机过程 ，在参数 条件下随机变量 的概率密度为 求参数 的极大似然估计。 解 设 表示随机变量 的N 个观测值向量，则随机变量 在参数 条件下的似然 函数为 对上式等号两边取对数，可得 求上式对 的偏导数，并且令偏导数等于0，可得 {x(t)}    = = =       = =  − N k N k N k N N L x p x k x k x k 1 1 1 2 ( |) ( ( ) |)  ( ) exp  ( )  x ( | ) , 0 2 =  −    x p x x e  T xN = [x(1) x(2)  x(N)] x x    = = = + − N k N k N L x N x k x k 1 1 ln ( | ) 2 ln  ln ( )  ( )  ( ) 0 ln ( | ) 2 1 = − =   = N k N x k L x N   

因而可得参数θ的极大似然估计 2N ML ∑x() 了又由于 8hn L(x 8 2N <0 ae 2 0M 了故m使似然函数达到了最大值。因此Bm是参 数的极大似然估计

因而可得参数 的极大似然估计 又由于 故 使似然函数达到了最大值。因此 是参 数 的极大似然估计。 = = N k ML x k N 1 ^ ( ) 2   0 ln ( | ) 2 2 ^ 2 2 ^ = −    ML L xN N M L     ML ^  ML ^  

了例2:设是独立分布随机序列,其概率密度为 4x 2 e x> p(x a) 2 0.x0为待估参数,求a的极大似然估计 了解设xN=[x(1)x(2)…x(N)表示随机序列{x(k)} 的N个观测值向量,根据题意可得随机变量x在参 数a条件下的似然函数 4 N L(x|a)=m(x()a)= 3n ∏x(),e-2x k=1 丌 k=1

例2：设 是独立分布随机序列，其概率密度为 式中 为待估参数，求 的极大似然估计 解 设 表示随机序列 的N个观测值向量，根据题意可得随机变量 在参 数 条件下的似然函数                − = 0, 0 exp , 0 4 ( | ) 2 2 3 2 x x a x a x p x a  a  0 a T xN = [x(1) x(2)  x(N)] {x(k)} x a    = = − =        −         = = N k N k N N N k N x k a L x a p x k a a x k 1 1 2 2 3 2 1 ( ) 1 ( ) exp 4 ( | ) ( ( ) | ) 

对上式等号两边取对数,有 hn L(xx (a)=NIn-3NIna+hn[x2(k)-22x(k) k=1 求上式对a的偏导数并令其为0,可得 aIn L(xn a) 3N 2 aa +∑x2(k)=0 k=1 了因而可得a的极大似然估计 2 aml= ∑x2( 3N k1 了考虑到x是独立同分布随机变量,则有 2 2 DaMni 13N ∑E{x2(k)} V3N A ∑Ex2}=12E{x2

对上式等号两边取对数，有 求上式对 的偏导数并令其为0，可得 因而可得 的极大似然估计 考虑到 是独立同分布随机变量，则有   = = = − + − N k N k N x k a L x a N N a x k 1 2 2 1 2 ( ) 1 3 ln ln ( ) 4 ln ( | ) ln  x a a ( ) 0 ln ( | ) 3 2 1 2 3 = − + =   = N k N x k a a N a L x a = = N k ML x k N a 1 2 ^ ( ) 3 2 { } 3 2 { } 3 2 { ( )} 3 2 { } 2 1 2 1 2 ^ E x E x N E x k N E a N k N k ML =  =  = = =

了式中 E(x=lrp(x a)dx-ro 4r? x 3 2 e 了故有 Eam=a 了可见aM是无偏估计,又由于 imaM→>12E{x}=a 了因而aM又是一致性估计

式中 故有 可见 是无偏估计，又由于 因而 又是一致性估计。 E{a ML} = a ^ 2 0 2 2 3 4 0 2 2 2 3 exp( ) 4 { } ( | ) dx a a x a x E x = x p x a dx = − =      a ML ^ a ML E x a N → = → { } 3 2 lim 2 ^ a ML ^

矿以上例子说明,如果随机变量观测值的 概率密度函数已知,可以很容易地求出 参数的极大似然估计。一般,极大似然 估计量都具有良好的渐进性质和无偏性 矿但渐进性质是极大似然估计量的普遍特 性,而无偏性却不是所有极大似然估计 量都具有的性质

以上例子说明，如果随机变量观测值的 概率密度函数已知，可以很容易地求出 参数的极大似然估计。一般，极大似然 估计量都具有良好的渐进性质和无偏性。 但渐进性质是极大似然估计量的普遍特 性，而无偏性却不是所有极大似然估计 量都具有的性质

6.12系统参数的极大似然估计 了设系统的差分方程为 a(z)y(k)=b(二)(k)+(k) 了式中 a(=-)=1+a12-+…+anz b(z-)=b+b2z-+…+bnz 了则可建立向量一矩阵方程 Y=①6+5

6.1.2 系统参数的极大似然估计 设系统的差分方程为 式中 则可建立向量－矩阵方程 ( ) ( ) ( ) ( ) ( ) 1 1 a z y k = b z u k + k − − n n n n b z b b z b z a z a z a z − − − − − − = + + + = + + +   1 0 1 1 1 1 1 ( ) ( ) 1 YN N N =   + 