《随机系统的滤波与控制》研究生课程教学课件（讲稿）经典参数估计与融合估计算法 Estimation Summary

【经典参数估计与融合估计算法Dr.Yuan-Li CaiSpring2023

pink 『经典参数估计与融合估计算法』 Dr. Yuan-Li Cai Spring 2023

0.Outline73最小二乘估计26极大似然估计8极大验后估计11最小方差估计5融合估计/ 15

0. Outline 1 最小二乘估计 / 3 2 极大似然估计 / 6 3 极大验后估计 / 8 4 最小方差估计 / 11 5 融合估计 / 15

经典参数估计与融合估计算法】OUTLINE考虑量测方程(1)z=Ha+u其中,ZERN,CERn,HeRNxn,UERN~N(O,R).此外,RERNxN我们的问题是基于量测z，对未知量进行估计2/32Dr. Yuan-Li CaiXi'an JiaotongUniversity

OUTLINE 『经典参数估计与融合估计算法』 考虑量测方程 z = Hx + v (1) 其中，z ∈ R N , x ∈ R n , H ∈ R N×n , v ∈ R N ∼ N(0, R). 此外，R ∈ R N×N . 我们的问题是基于量测 z，对未知量 x 进行估计. Dr. Yuan-Li Cai 2/32 Xi’an Jiaotong University

经典参数估计与融合估计算法】最小二乘估计11.最小二乘估计取权重矩阵为W=R-1，（加权）最小二乘估计意味着J=llz-HallR-1?(z-Ha)"R-(z- Ha) →min(2)由此可得LMS=(HTR-1H)-1HTR-1z3/32Dr. Yuan-Li CaiXi'an Jiaotong University

1 最小二乘估计 『经典参数估计与融合估计算法』 1. 最小二乘估计 取权重矩阵为 W = R−1，（加权）最小二乘估计意味着 J = 1 2 ||z − Hx||2 R−1 = 1 2 (z − Hx) T R−1 (z − Hx) ⇒ min (2) 由此可得 xˆLMS = (HT R−1H) −1HT R−1z Dr. Yuan-Li Cai 3/32 Xi’an Jiaotong University

经典参数估计与融合估计算法】最小二乘估计估计误差为ELMS=LMS-=(HTR-1H)-1HTR-1(H+)-=(HTR-1H)-1HTR-1u根据量测噪声的性质，易知EELMS=0PaLMs = EaLMsaLMs =(HTR-1H)-14/32Xian JiaotongUniversityDr. Yuan-Li Cai

1 最小二乘估计 『经典参数估计与融合估计算法』 估计误差为 x˜LMS = xˆLMS − x = (HT R−1H) −1HT R−1 (Hx + v) − x = (HT R−1H) −1HT R−1v 根据量测噪声 v 的性质，易知 Ex˜LMS = 0 Px˜LMS = Ex˜LMSx˜ T LMS = (HT R−1H) −1 Dr. Yuan-Li Cai 4/32 Xi’an Jiaotong University

经典参数估计与融合估计算法】最小二乘估计对于确定性未知量&，有E&LMS=PaLMs = E(LMS - a)(aLMs -a)T=(HTR-"H)-1= PaLMs所以，最小二乘估计可以表示为LMS=(HTR-1H)-1HTR-1z(3)PaLMs =(HTR-1H)-15/32Xian Jiaotong UniversityDr. Yuan-Li Cai

1 最小二乘估计 『经典参数估计与融合估计算法』 对于确定性未知量 x，有 ExˆLMS = x PxˆLMS = E(xˆLMS − x)(xˆLMS − x) T = (HT R−1H) −1 = Px˜LMS 所以，最小二乘估计可以表示为    xˆLMS = (HT R−1H) −1HT R−1z Px˜LMS = (HT R−1H) −1 (3) Dr. Yuan-Li Cai 5/32 Xi’an Jiaotong University

经典参数估计与融合估计算法2极大似然估计2.极大似然估计极大似然估计是指(4)fz(z) →mar或(5)Inf()ma对于系统(1)，注意到给定时z~N(H,R)，上述极值问题变为(z-Ha)TR-1(z-Ha)→min(6)J=6/32Dr.Yuan-LiCaiXi'an JiaotongUniversity

2 极大似然估计 『经典参数估计与融合估计算法』 2. 极大似然估计 极大似然估计是指 fz|x(z|x) ⇒ max (4) 或 lnfz|x(z|x) ⇒ max (5) 对于系统 (1)，注意到给定 x 时 z ∼ N(Hx, R)，上述极值问题变为 J = 1 2 (z − Hx) T R−1 (z − Hx) ⇒ min (6) Dr. Yuan-Li Cai 6/32 Xi’an Jiaotong University

【经典参数估计与融合估计算法】2极大似然估计由此可得ML=(HTR-1H)-1HTR-1z(7)PaML=(HTR-"H)-1不难发现，和最小二乘估计是一致的。7/32Dr. Yuan-Li CaiXian JiaotongUniversity

2 极大似然估计 『经典参数估计与融合估计算法』 由此可得    xˆML = (HT R−1H) −1HT R−1z Px˜ML = (HT R−1H) −1 (7) 不难发现，和最小二乘估计是一致的。 Dr. Yuan-Li Cai 7/32 Xi’an Jiaotong University

【经典参数估计与融合估计算法]3极大验后估计3.极大验后估计极大验后估计是指(8)Infa(az) = mar根据贝叶斯公式，有fel(a[2) = e(2a)f(g)f(z)如果&~N(,P），而且与无关，极大似然估计意指J=(z- Ha)"R-1(z- Ha) +(-)"P-(α-) →min(98/32Dr. Yuan-Li CaiXian JiaotongUniversity

3 极大验后估计 『经典参数估计与融合估计算法』 3. 极大验后估计 极大验后估计是指 lnfx|z(x|z) ⇒ max (8) 根据贝叶斯公式，有 fx|z(x|z) = fz|x(z|x)fx(x) fz(z) 如果 x ∼ N(x, P ¯ x)，而且与 v 无关，极大似然估计意指 J = 1 2 (z − Hx) T R−1 (z − Hx) + 1 2 (x − x¯) T P −1 x (x − x¯) ⇒ min (9) Dr. Yuan-Li Cai 8/32 Xi’an Jiaotong University

经典参数估计与融合估计算法】3极大验后估计由器=0可得-HTR-1(z-H)+P-1(-)=0HTR-1Hα+P-1a=P-1a+HTR-1z即(10)MA=(HTR-1H+P-1)-1(P-1a+HTR-1z)同时可以容易验证估计的无偏性，EMA=.此外CMA=CMA-C=(HTR-1H+P-1)-[P-1+HTR-1z-(HTR-1H+P-1)a)=(HTR-1H + P-1)-1[HTR-1 -P-1é]9/32Dr. Yuan-Li CaiXi'an Jiaotong University

3 极大验后估计 『经典参数估计与融合估计算法』 由 ∂J ∂x |xˆ = 0，可得 −HT R−1 (z − Hxˆ) + P −1 x (xˆ − x¯) = 0 HT R−1Hxˆ + P −1 x xˆ = P −1 x x¯ + HT R−1z 即 xˆMA = (HT R−1H + P −1 x ) −1 (P −1 x x¯ + HT R−1z) (10) 同时可以容易验证估计的无偏性，ExˆMA = x¯. 此外 x˜MA = xˆMA − x = (HT R−1H + P −1 x ) −1 [P −1 x x¯ + HT R−1z − (HT R−1H + P −1 x )x] = (HT R−1H + P −1 x ) −1 [HT R−1v − P −1 x ˚x] Dr. Yuan-Li Cai 9/32 Xi’an Jiaotong University