中国科学技术大学：《计算方法》课程教学课件（PPT讲稿）第3章 曲线拟合的最小二乘法

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 第3章曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样 的一种手段。在实际中，数据不可避免的会有误差，插值函 数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以消除误差影响）； ②尽可能表现数据的趋势，靠近这些点

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 第3章 曲线拟合的最小二乘法 给出一组离散点，确定一个函数逼近原函数，插值是这样 的一种手段。在实际中，数据不可避免的会有误差，插值函 数会将这些误差也包括在内。 因此，我们需要一种新的逼近原函数的手段： ①不要求过所有的点（可以消除误差影响）； ②尽可能表现数据的趋势，靠近这些点

中图 科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 有时候，问题本身不要求构造的函数过所有的点。如：5 个风景点，要修一条公路S使得S为直线，且到所有风景点的距 离和最小。 对如上2类问题，有一个共同的数学提法：找函数空间 上的函数g,使得g到f的距离最小。 先讲些预备知识

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 有时候，问题本身不要求构造的函数过所有的点。如：5 个风景点，要修一条公路S使得S为直线，且到所有风景点的距 离和最小。 先讲些预备知识 对如上2类问题，有一个共同的数学提法：找函数空间 上的函数g，使得g到f的距离最小

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 预备知识 定义 向量范数 映射：‖·：R”→R*U0}满足： ①非负性 X≥0，且X=0→X=0 ②齐次性 Va∈RlaX=la-X ③三角不等式X+≤+Y 称该映射为向量的一种范数 我们定义两点的距离为：x-Y

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 向量范数 映射：  : R n → R + {0} 满足： ①非负性 X  0,且 X = 0  X = 0 ②齐次性 aR, aX = a  X ③三角不等式 X +Y  X + Y 称该映射为向量的一种范数 预备知识 我们定义两点的距离为： X −Y 定义

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 常见的范数有： lX=∑xX=,.,x} .=2c,x=x X=maxt2 定理（范数等价性）：设x,和L,为任意两种范数，则 存在与x无关的正常数c,和c2,使得 clxl,≤llp≤clx,x

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 常见的范数有：  n  n i i X (x ) , X x , x , , x 1 2 1 2 2 =  =  = X = max{ xi }, X =x1 , x2 ,  , xn    n  n i i X x , X x , x , , x 1 2 1 1 =  =  = 定理（范数等价性）：设 p q x x 和 为任意两种范数，则 存在与x无关的正常数c1和c2，使得 1 2 , q p q c x x c x x   

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 常用范数的等价关系： Ix2≤xl≤Vmxg Ix≤x2≤Vnx ll≤lxl,≤Vnx 定义：函数f,g的关于离散点列{x片，的离散内积为： (f,8)D=∑，)8(x)

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义：函数f，g的关于离散点列   n i i x =0 的离散内积为： = = n i D i i f g f x g x 0 ( , ) ( ) ( ) 常用范数的等价关系： 2 1 2 x x n x  2 x x n x    1 x x n x    

品剂 中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义：函数f的离散范数为 -2c) 提示：该种内积，范数的定义与向量的2一范数一致 我们还可以定义函数的离散范数为： fD=f()bfx)b.f(x)儿=max(f(xo),f(x),.,f(x,) f。=fx,bfx,f,训=∑

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 定义：函数 f 的离散范数为 = = n i D i i f f x f x 0 ( ) ( ) 提示：该种内积，范数的定义与向量的 2 －范数一致 我们还可以定义函数的离散范数为： ( ) ( ) ( ) 0 1 0 1 0 1 1 0 ( ), ( ), , ( ) max ( ), ( ), , ( ) ( ), ( ), , ( ) ( ) D n n n D n i i f f x f x f x f x f x f x f f x f x f x f x  = = = = =

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 曲线拟合的最小二乘问题 定义 fx为定义在区间/a,bl上的函数，{x”。为区间上+1个 互不相同的点，Φ为给定的某一函数类。求Φ上的函 数gx满足f)和gy的距离最小 如果这种距离取为2一范数的话，称为最小二乘问题

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS f(x)为定义在区间[a,b]上的函数， 为区间上n+1个 互不相同的点， 为给定的某一函数类。求 上的函 数 g(x) 满足 f(x) 和 g(x) 的距离最小   0 n i i x =   如果这种距离取为2－范数的话，称为最小二乘问题 曲线拟合的最小二乘问题 定义

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 下面我们来看看最小二乘问题： 求8e0使得R=2gx)-fx}最小 _0 设 ④=span{p,p1,.9m} g(x)=dopo(x)+.+amem(x) 则 g(x)-f(xo=mip(x)-f(x)川。 即f(x)-(ap(x)+.+ampm(x)儿 关于系数{a,a1,.anm}最小

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 下面我们来看看最小二乘问题： 求 g(x) 使得 ( ) 最小 = = − n i i i R g x f x 0 2 2 ( ) ( ) 设 0 1 { , , }m  = span    0 0 ( ) ( ) ( ) g x a x a x = + +  m m ( ) ( ) ( ) ( 0 0 m m ) D f x a x a x − + +   D D g(x) − f (x) = min (x) − f (x)    最小 则 即 关于系数 0 1 { , , } a a am

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS f(x)-(ap(x)+.+ap(x)儿D =‖flD2-2(f,ap(x)+.+anPm(x)D +lao(x)+.+AmPm(x)‖D =f02-22a(f,)+2aa(,9) k=0 k= =Q(ao,a1,.,am) 由于它关于系数{a,a1,.am}最小，因此有： a2=0,i=0,.,m Da; 即 ∑a(0,p)=(f,0,)i=0,m k=0

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS ( ) ( ) ( ) 2 0 0 2 0 0 2 0 0 2 0 , 0 0 1 ( ) ( ) ( ) 2( , ( ) ( )) ( ) ( ) 2 , , ( , , , ) m m D D m m D m m D m m D k k i k i k k i k m f x a x a x f f a x a x a x a x f a f a a Q a a a          = = − + + = − + + + + + = − + =   由于它关于系数 0 1 { , , } a a am 最小，因此有： 0, 0, , i Q i m a  = =  即 0 ( , ) ( , ), 0, , m k i k i k a f i m    =  = =

中图科亨技术大学数学系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 写成矩阵形式有： 法方程 由{po,p,.pm}的线性无关性，知道该方程存在唯一解

数 学 系 University of Science and Technology of China DEPARTMENT OF MATHEMATICS 写成矩阵形式有： ( ) ( ) ( ) ( ) ( ) ( ) 0 0 0 0 0 0 , , , , , , D D D m m m m m m D D D a f a f                       =                   法方程 由 0 1 { , , }    m 的线性无关性，知道该方程存在唯一解