《随机系统的滤波与控制》研究生课程教学课件（讲稿）非线性系统滤波算法——估计问题中常见的评价指标

估计问题中常见的评价指标Dr.Yuan-Li CaiSpring·2022

pink 估计问题中常见的评价指标 Dr. Yuan-Li Cai Spring • 2022

0.Outline1引言/22均方根误差334平均绝对误差平均绝对百分比误差557决定系数169小结1

0. Outline 1 引言 / 2 2 均方根误差 / 3 3 平均绝对误差 / 4 4 平均绝对百分比误差 / 5 5 决定系数 / 7 6 小结 / 9

1引言估计问题中常见的评价指标1.引言在回归、估计、机器学习、神经网络等问题中，经常需要用一定的指标函数或代价函数对算法的好坏进行评价。主要有平均绝对误差（MeanAbsoluteError，MAE)、平均绝对百分比误差（MeanAbsolutePercentageError，MAPE）、均方误差（MeanSquaredError，MSE)、均方根误差（RootMeanSquaredError，RMSE)、均方对数误差（MeanSquaredLogError，MSLE）和决定系数（DeterminationCoefficient）等。采用评价指标数值大小可以进行客观评价，从而避免仅比较数据曲线带来的主观偏差。2/11Dr. Yuan-Li CaiXi'an JiaotongUniversity

1 引言 估计问题中常见的评价指标 1. 引言 在回归、估计、机器学习、神经网络等问题中，经常需要用一定的指 标函数或代价函数对算法的好坏进行评价。 主要有平均绝对误差 (Mean Absolute Error, MAE)、平均绝对百分比 误差 (Mean Absolute Percentage Error, MAPE)、均方误差 (Mean Squared Error, MSE)、均方根误差 (Root Mean Squared Error, RMSE)、均方对数误 差 (Mean Squared Log Error, MSLE) 和决定系数 (Determination Coefficient) 等。采用评价指标数值大小可以进行客观评价，从而避免仅比较数据曲线 带来的主观偏差。 Dr. Yuan-Li Cai 2/11 Xi’an Jiaotong University

估计问题中常见的评价指标2均方根误差2.均方根误差均方根误差（RootMeanSquaredError，RMSE）也称为标准误差，定义如下：2(m-2)(1)RMSE=其中，N是总的数据个数；i是i时刻系统状态的真实值；是系统状态对应时刻的估计值。RMSE在数量级上直接反映出系统状态真实值与估计值之间的误差取值范围为[0十]，取值越小则表明估计误差越小。3/11Dr. Yuan-Li CaiXi'an Jiaotong University

2 均方根误差 估计问题中常见的评价指标 2. 均方根误差 均方根误差 (Root Mean Squared Error, RMSE) 也称为标准误差，定义 如下： RMSE = vuut 1 N X N i=1 (xi − xˆi) 2 (1) 其中，N 是总的数据个数；xi 是 i 时刻系统状态的真实值；xˆi 是系统状态 对应时刻的估计值。 RMSE 在数量级上直接反映出系统状态真实值与估计值之间的误差， 取值范围为 [0, +∞]，取值越小则表明估计误差越小。 Dr. Yuan-Li Cai 3/11 Xi’an Jiaotong University

估计问题中常见的评价指标3平均绝对误差福3.平均绝对误差平均绝对误差（MeanAbsoluteError，MAE）是系统状态每一个时刻的估计值与真实值的偏差的绝对值的平均，定义为N1-MAE=(2)i=1其中，N是总的数据个数；是i时刻系统状态的真实值；，是系统状态对应时刻的估计值。MAE取值范围为[0，+oo]，取值越小则表明估计算法越好。4/11Dr.Yuan-LiCaiXi'an JiaotongUniversity

3 平均绝对误差 估计问题中常见的评价指标 3. 平均绝对误差 平均绝对误差 (Mean Absolute Error, MAE) 是系统状态每一个时刻的估 计值与真实值的偏差的绝对值的平均，定义为 MAE = 1 N X N i=1 |xi − xˆi | (2) 其中，N 是总的数据个数；xi 是 i 时刻系统状态的真实值；xˆi 是系统状态 对应时刻的估计值。 MAE 取值范围为 [0, +∞]，取值越小则表明估计算法越好。 Dr. Yuan-Li Cai 4/11 Xi’an Jiaotong University

估计问题中常见的评价指标平均绝对百分比误差4平均绝对百分比误差平均绝对百分比误差（MeanAbsolutePercentageError，MAPE）是在MAE的基础改进来的，利用状态真实值幅度作为参考值来表示误差的相对大小，定义如下：NSE1(3)MAPE=100%N[r;]其中，N是总的数据个数；是i时刻系统状态的真实值；，是系统状态对应时刻的估计值。5/11Dr. Yuan-Li CaiXi'an JiaotongUniversity

4 平均绝对百分比误差 估计问题中常见的评价指标 4. 平均绝对百分比误差 平均绝对百分比误差 (Mean Absolute Percentage Error, MAPE) 是在 MAE 的基础改进来的，利用状态真实值幅度作为参考值来表示误差的相对 大小，定义如下： MAP E = 100% · 1 N X N i=1 |xi − xˆi | |xi | (3) 其中，N 是总的数据个数；xi 是 i 时刻系统状态的真实值；xˆi 是系统状态 对应时刻的估计值。 Dr. Yuan-Li Cai 5/11 Xi’an Jiaotong University

平均绝对百分比误差估计问题中常见的评价指标4容易发现，MAPE限制了被估计量不能取值为O，这是MAPE的局限性。对于明确知道非零的被估计量，MAPE不失为一种有意义的指标。6/11Dr.Yuan-Li CaiXi'an Jiaotong University

4 平均绝对百分比误差 估计问题中常见的评价指标 容易发现，MAPE 限制了被估计量不能取值为 0，这是 MAPE 的局限 性。对于明确知道非零的被估计量，MAPE 不失为一种有意义的指标。 Dr. Yuan-Li Cai 6/11 Xi’an Jiaotong University

估计问题中常见的评价指标5决定系数5.决定系数决定系数（DeterminationCoefficient）也被称为判定系数或拟合优度，常缩写为R，它反映了被估计量与估计量之间关系密切程度的统计指标，定义如下：N(ai-)21R2 = 1 (4)(-)2其中，N是总的数据个数；i是i时刻系统状态的真实值；，是系统状态对应时刻的估计值；是被估计量的平均值。7/11Dr.Yuan-Li CaiXi'an JiaotongUniversity

5 决定系数 估计问题中常见的评价指标 5. 决定系数 决定系数 (Determination Coefficient) 也被称为判定系数或拟合优度，常 缩写为 R2，它反映了被估计量与估计量之间关系密切程度的统计指标，定 义如下： R2 = 1 − 1 N X N i=1 (xi − xˆi) 2 (xi − x¯) 2 (4) 其中，N 是总的数据个数；xi 是 i 时刻系统状态的真实值；xˆi 是系统状态 对应时刻的估计值；x¯ 是被估计量的平均值。 Dr. Yuan-Li Cai 7/11 Xi’an Jiaotong University

5决定系数估计问题中常见的评价指标R2常用来表示数据的拟合程度，当R2越接近于1时，则认为拟合情况越好，估计值（预测值）越接近真实值。8/11Dr. Yuan-Li CaiXi'an Jiaotong University

5 决定系数 估计问题中常见的评价指标 R2 常用来表示数据的拟合程度，当 R2 越接近于 1 时，则认为拟合情 况越好，估计值（预测值）越接近真实值。 Dr. Yuan-Li Cai 8/11 Xi’an Jiaotong University

6小结估计问题中常见的评价指标6小结在估计算法研究中，经常需要用不同的指标来比较不同算法的优劣。大家可以根据需要，在上面几种指标函数的基础上进行适应性改造。这里只给出了标量比较情况，对于向量情形，可以用向量范数的概念自然扩展。例如，对应标量一的向量形式为x一刘。9/11Dr. Yuan-Li CaiXi'an Jiaotong University

6 小结 估计问题中常见的评价指标 6. 小结 在估计算法研究中，经常需要用不同的指标来比较不同算法的优劣。 大家可以根据需要，在上面几种指标函数的基础上进行适应性改造。 这里只给出了标量比较情况，对于向量情形，可以用向量范数的概念 自然扩展。例如，对应标量 |x − xˆ| 的向量形式为 ∥x − ^x∥。 Dr. Yuan-Li Cai 9/11 Xi’an Jiaotong University