天津大学：《数值计算》课程教学资源（讲稿）第三章 插值法和最小二乘法（3.7）数据拟合（最小二乘法）

计算方法 第三章插值法和最小二乘法 §37数据拟合(最小二乘法)

第三章 插值法和最小二乘法 §3.7 数据拟合(最小二乘法)

§3,7数据拟合(最小二乘法) 实例:考察某种纤维的强度与其拉伸倍数的关系,下表 是实际测定的24个纤维样品的强度与相应的拉伸倍数 是记录: 编号拉伸倍数x;强度ν;编号拉伸倍数x;强度y 13 5.5 1.314 5.2 2345 2.1 15 2.5 16 6.4 2.7 6 2.5187.15.3 19 6.5 2.7 7 4 4 8.9 8.5 104 3.522 8 4.5 4.2 23 8.1 12 4.6 108.1

§3.7 数据拟合(最小二乘法) 实例：考察某种纤维的强度与其拉伸倍数的关系,下表 是实际测定的24个纤维样品的强度与相应的拉伸倍数 是记录: 编 号 拉伸倍数 强 度 编 号 拉伸倍数 强 度 1 1.9 1.4 13 5 5.5 2 2 1.3 14 5.2 5 3 2.1 1.8 15 6 5.5 4 2.5 2.5 16 6.3 6.4 5 2.7 2.8 17 6.5 6 6 2.7 2.5 18 7.1 5.3 7 3.5 3 19 8 6.5 8 3.5 2.7 20 8 7 9 4 4 21 8.9 8.5 10 4 3.5 22 9 8 11 4.5 4.2 23 9.5 8.1 12 4.6 3.5 24 10 8.1 i i x y i i x y

纤维强度随拉伸 倍数增加而增加 并且24个点大致分 布在一条直线附近 因此可以认为强度 y与拉伸倍数x的主 要关系应是线性关 系 y(x)=Bo+B,x 其中β,B为待定参数

1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 10 1 2 3 4 5 6 7 8 9 纤维强度随拉伸 倍数增加而增加 系 要关系应是线性关 与拉伸倍数 的主 因此可以认为强度 y x 并且24个点大致分 布在一条直线附近 y x x 0 1 ( ) = b + b 其中b0 , b1为待定参数 ---------(1)

我们希望y(x)=β+B1x与所有的数据点(样本点)(x,y) 越接近越好 必须找到一种度量标准来衡量什么曲线最接近所有数据点 、最小二乘法的基本概念 令8,=y(x,)-y 在回归分析中称为残差 一般使用 12=∑62=∑(y(x)-y) 作为衡量v(x)与数据点(x,y)偏离程度大小的度量标准 称为平方误差

越接近越好 我们希望 ( ) 与所有的数据点(样本点)( , ) 0 1 i i y x = b + b x x y 必须找到一种度量标准来衡量什么曲线最接近所有数据点 一、最小二乘法的基本概念 i i i 令 d = y(x ) - y 一般使用 å= = m i i 0 2 2 2 d d 在回归分析中称为残差 å= = - m i i i y x y 0 2 ( ( ) ) 作为衡量y(x)与数据点(xi , yi )偏离程度大小的度量标准 称为平方误差

从而确定(1)中的待定系数 12=∑82=∑(y(x)-y) i=0 在回归分析中称为残差平方和 注意(1)式是一条直线 但x,y的关系并不一定是线性关系 因此将问题一般化

在回归分析中称为残差平方和 从而确定(1)中的待定系数 å= = m i i 0 2 2 2 d d å= = - m i i i y x y 0 2 ( ( ) ) 注意(1)式是一条直线 但x, y的关系并不一定是线性关系 因此将问题一般化

设(x,y)(=0,1…,m)为给定的一组数据 设x,y的关系为y=S(x) 其中S(x)来自函数类Φ如(1)中y(x)来自线性函数类 设函数类Φ的基函数为q,(x)(i=0,1,…n)一般要求n≤m 也称Φ是由Q(x)(=0,1,…,m)生成的函数集,即 Φ= span{q0(x)01(x)…qn(x)} S(x)=∑a(x)∈d 仍然定义平方误差 12=∑82=∑(S(x)-y)2

设x, y的关系为 y = S(x) 其中S(x)来自函数类F 如(1)中y(x)来自线性函数类 设(xi , yi )(i = 0,1,L,m)为给定的一组数据 (x)(i 0,1, ,n) 设函数类F的基函数为ji = L 一般要求n £ m 也称F是由ji (x)(i = 0,1,L,n)生成的函数集,即 { ( ), ( ), , ( )} 0 1 span x x x F = j j L jn å= = m i i 0 2 2 2 d d å= = - m i i i S x y 0 2 ( ( ) ) 仍然定义平方误差 å= = n j j j S x a x 0 ( ) j ( ) ÎF

我们选取的度量标准是 在函数类Φ中选取一个函数S*(x) -2 0 1(x)+…+an*pn(x) 18+=∑(S*(x)-y)2 i=0 min S(x)∈Φ 2 min∑(S(x)y)2 -(3) S(x)∈④ 其中S(x)=∑a(x)为中的任意函数 0

我们选取的度量标准是 在函数类F中选取一个函数S *(x) å= = n j j j S x a x 0 * *( ) j ( ) * ( ) * ( ) * ( ) 0 0 1 1 a x a x a x = j + j +L+ n jn 2 2 d * å= = - m i i i S x y 0 2 ( *( ) ) å= ÎF = - m i i i S x S x y 0 2 ( ) min ( ( ) ) 2 2 ( ) min d ÎF = S x 其中 = å 为F中的任意函数 = m j j j S x a x 0 ( ) j ( ) ---------(2) ---------(3)

称满足条件(3)的求函数S*(x)=∑a(x)方法为 0 数据拟合的最小二乘法 S*(x)=∑a9(x)为最小二乘解 j=0 S(x)=∑a9(x)拟合函数a(=0,1…,n)为拟合系数 j=0 8=称为最小二乘解的平方误差 在确定了拟合函数S(x)后如何求拟合系数a(=0,1…,n) 使得S*(x)=∑1(x)满足拟合条件(3)呢? j=0

数据拟合的最小二乘法 称满足条件 的求函数 å 的方法为 = = n j j j S x a x 0 * (3) *( ) j ( ) å 为最小二乘解 = = n j j j S x a x 0 * *( ) j ( ) ( ) ( )为拟合函数, ( 0,1, , )为拟合系数 0 S x a x a j n j n j = å j j = L = j S(x) , a ( j 0,1, ,n) 在确定了拟合函数 后 如何求拟合系数 j = L 使得 *( ) ( )满足拟合条件(3)呢？ 0 * å= = n j j j S x a j x 称为最小二乘解的平方误差 2 2 d *

法方程组 由 S(x)=∑a9(x) 可知12=∑|(xy)2=∑位∑a9(x)y) i=0 为拟合系数a(=0,1…,n)的函数 二次函数 因此可假设 01 )=∑Ca9(x)-y i=0j=0 因此求最小二乘解转化为

å å= = = - m i i n j j j i a x y 0 2 0 å ( j ( ) ) = = - m i i i S x y 0 2 ( ( ) ) 二、法方程组 2 2 d å= = n j j j S x a x 0 由 ( ) j ( ) 为拟合系数a j ( j = 0,1,L,n)的函数 可知 因此可假设 ( , , , ) y a0 a1 L an å å= = = - m i i n j j j i a x y 0 2 0 ( j ( ) ) 因此求最小二乘解转化为 二次函数

求v(ao,a…,an)的最小值(极小值)点a*a1*灬…,an*的问题 由多元函数取极值的必要条件 y(ana1… 0 k=0,1 Oe k 得 业=∑2∑q9(x)-y)(x)=0 0=0 D∑a9(x)(x)-y9(x)=0 i=0j=0 ∑∑q9、(x)(x)=∑y94(x) 0j=0 i=0

求y(a0 ,a1 ,L,an )的最小值(极小值)点a0 *,a1 *,L,an *的问题 由多元函数取极值的必要条件 0 ( , , , ) 0 1 = ¶ ¶ k n a y a a L a k = 0,1,L,n [2( ( ) ) ( )] 0 0 k i m i i n j j j i å åa j x y j x = = = - k ¶a ¶y 得 = 0 即 åå å = = = = m i i k i m i k i n j j j i a x x y x 0 0 0 j ( )j ( ) j ( ) [ ( ) ( ) ( )] 0 0 0 å å - = = = k i m i i n j j j i k i a j x j x yj x