《随机系统的滤波与控制》研究生课程教学课件（讲稿）静态参数估计理论

Prof.Cai Yuan-LiXianJiaotongUniv.3静态参数估计理论蔡远利

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 1 3 静态参数估计理论 蔡远利

Prof.CaiYuan-LiXianJiaotongUniv.静态参数估计是经典估计理论的重要组成部分，包括点估计、区间估计等，内容非常丰富。这里只讨论点估计中主要成果，为后续动态参数（状态）估计奠定基础。经典估计理论可以追溯到高斯(K.F.Gauss)年代的最小二乘估计，但直到上个世纪费希尔（R.A.Fisher）提出极大似然估计方法，才逐渐形成了较完善的理论体系。从理论和实际2

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 2 静态参数估计是经典估计理论的重要组成部分，包括点估 计、区间估计等，内容非常丰富。这里只讨论点估计中主要 成果，为后续动态参数（状态）估计奠定基础。 经典估计理论可以追溯到高斯(K.F. Gauss)年代的最小二 乘估计，但直到上个世纪费希尔（R.A. Fisher）提出极大似然 估计方法，才逐渐形成了较完善的理论体系。从理论和实际

Prof.CaiYuan-LiXianJiaotongUniv.应用上看，极大似然估计方法已经成为最重要的一种估计方法。从数学完整性和严密性来讲，贝叶斯(Beyes)估计具有相当的一般性。本章简要讨论参数估计的不同方法，包括贝叶斯估计、极大似然估计以及最小二乘估计。在工程实践中，人们经常需要进行系统参数辨识，即根据测量到的输入-输出数据来评估已知数学模型中的系数。例如3

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 3 应用上看，极大似然估计方法已经成为最重要的一种估计方 法。从数学完整性和严密性来讲，贝叶斯(Beyes)估计具有相 当的一般性。本章简要讨论参数估计的不同方法，包括贝叶 斯估计、极大似然估计以及最小二乘估计。 在工程实践中，人们经常需要进行系统参数辨识，即根据 测量到的输入-输出数据来评估已知数学模型中的系数。例如

Prof.Cai Yuan-LiXianJiaotongUniv.从飞行测量数据中提取飞行器的气动导数。飞行器气动导数包含在飞行器动态方程系数中。这个问题可以归结为参数估计问题，可以采用估计理论中的不同工具来解决。不同的估计方法，本质上的差异是由于关于先验概率和最优性准则的不同假设

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 4 从飞行测量数据中提取飞行器的气动导数。飞行器气动导数 包含在飞行器动态方程系数中。这个问题可以归结为参数估 计问题，可以采用估计理论中的不同工具来解决。不同的估 计方法，本质上的差异是由于关于先验概率和最优性准则的 不同假设

Prof.Cai Yuan-LiXianJiaotongUniv.3.0问题描述设X为一随机量，Z为另外一个与X统计相关随机矢量已知随机矢量Z的一个样本（实现）z，试推断随机矢量X最可能的取值，或称想办法获得随机矢量X的最优估计值。显然，估计值父应该是z的函数，记为(z）。更一般地，函数(Z)称为由Z构成的统计量。在不至混淆的情况下，以后我们将对5

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 5 3.0 问题描述 设𝑋为一随机矢量，𝑍为另外一个与𝑋统计相关随机矢量， 已知随机矢量𝑍的一个样本（实现）𝑧 ，试推断随机矢量𝑋最 可能的取值 𝑥̂, 或称想办法获得随机矢量𝑋的最优估计值𝑥̂。显 然，估计值𝑥̂应该是𝑧的函数，记为 𝑥̂(𝑧) 。更一般地，函数 𝑥̂(𝑍) 称为由𝑍构成的统计量。在不至混淆的情况下，以后我们将对

Prof.Cai Yuan-LiXianJiaotongUniv.随机量及其样本采用相同的符号符号惯例说明见表3-1

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 6 随机量及其样本采用相同的符号。 符号惯例说明见表 3-1

Prof. Cai Yuan-LiXian Jiaotong Univ.表3-1符号惯例符号含义被估计量x测量（量测）量zX被估计量的估计值是量测量的向量函数x估计误差，x一x

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 7 表 3-1 符号惯例 符号 含义 𝒙 被估计量 𝒛 测量（量测）量 𝒙̂ 被估计量的估计值，是量测量的向量函数 𝒙̃ 估计误差，𝒙 − 𝒙̂

Prof.Cai Yuan-LiXianJiaotongUniv.3.1贝叶斯估计(BayesEstimation)[定义3-1]（代价函数)若标量函数L[x-x(z)]=L(α)满足：1)当x2≥x时,有(2)≥(x);2)当x=0时,L()=03) L(x) = L(-x)则称L(x)为用父(z)对x进行估计时的代价函数(或损失函数)8

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 8 3.1 贝叶斯估计(Bayes Estimation) [定义3-1] (代价函数) 若标量函数𝐿[𝑥 − 𝑥̂(𝑧)] = 𝐿(𝑥̃)满足： 1) 当‖𝑥̃2‖ ≥ ‖𝑥̃1‖时,有𝐿(𝑥̃2) ≥ 𝐿(𝑥̃1); 2) 当𝑥̃ = 0 时, 𝐿(𝑥̃) = 0; 3) 𝐿(𝑥̃) = 𝐿(−𝑥̃). 则称𝐿(𝑥̃)为用𝑥̂(𝑧)对𝑥进行估计时的代价函数(或损失函数)

Xi'anJiaotongUniv.Prof.Cai Yuan-Li[定义3-2](贝叶斯风险）B()=E[L()]称为估计(z)的贝叶斯风险(BayesRisk)。[定义3-3]（贝叶斯估计）若(z)是使B(α）→min的估计，那么称（z）为x的贝叶斯估计。9

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 9 [定义3-2] (贝叶斯风险) 𝐵(𝑥̃) = 𝐸[𝐿(𝑥̃)]称为估计𝑥̂(𝑧)的贝叶 斯风险（Bayes’ Risk）。 [定义3-3] (贝叶斯估计) 若𝑥̂(𝑧)是使𝐵(𝑥̃) ⇒ min的估计，那么 称𝑥̂(𝑧)为𝑥的贝叶斯估计

XianJiaotongUniv.Prof.Cai Yuan-Li3.1.1最小方差估计[定义3-4]（最小方差估计）取L()=[x—(z)]T[x一(z)]的贝叶斯估计，称为最小方差估计，记为xMv（z)[定理3-1]xmv(z) = E[x[2](3.1.1)10

Xi’an Jiaotong Univ. Prof. Cai Yuan-Li 10 3.1.1 最小方差估计 [定义3-4] (最小方差估计) 取𝐿(𝑥̃) = [𝑥 − 𝑥̂(𝑧)] 𝑇 [𝑥 − 𝑥̂(𝑧)]的 贝叶斯估计，称为最小方差估计，记为𝑥̂𝑀𝑉(𝑧). [定理 3-1] 𝑥̂𝑀𝑉(𝑧) = 𝐸[𝑥|𝑧] (3.1.1)