北京大学：《高等代数》课程（第三版）教学资源（讲义）第九章 欧几里得空间（9.7）向量到子空间的最小距离·最小二乘法

§7向量到子空间的最小距离·最小二乘法 在解析几何中,两个点a和B间的距离等于向量a-B的长度 定义13长度-(称为向量a和B的距离,记为d(a,B) 不难证明距离的三条性质 1)d(a,B)=d(B,a) 2)d(a,B)≥0,并且仅当a=B时等号才成 3)d(a,B)≤d(a,y)+d(y,B)(三角不等式) 在中学所学几何中知道一个点到一个平面(一条直线)上所有点的距离以垂 线最短.下面可以证明一个固定向量和一个子空间中各向量间的距离也是以“垂 线最短” 先设一个子空间W,它是由向量a1,a2…,a4所生成,即W=L(a1,a2…,a) 说一个向量a垂直于子空间W,就是指向量a垂直W于中任何一个向量易证a 垂直于W的充要条件是a垂直于每个a,(=1,2,…k) 现给定β,设y是W中的向量,满足B-y垂直于W要证明B到W中各向 量的距离以垂线最短,就是要证明,对于W中任一向量δ,有 B-rsB-8 我们可以画出下面的示意图 证明B-δ=(B-y)+(y-6)因W是子空间,y∈W,δ∈W,则y-δ∈W故 B-y垂直于y-δ由勾股定理, B-y2+b-62=1B-8 故 B-r< B-8 这就证明了,向量到子空间各向量间的距离以垂线最短 这个几何事实可以用来解决一些实际问题其中的一个应用就是解决最小二 乘法问题

§7 向量到子空间的最小距离·最小二乘法 在解析几何中，两个点  和  间的距离等于向量  −  的长度. 定义 13 长度  −  称为向量  和  的距离，记为 d(,  ) 不难证明距离的三条性质： 1） d(,  ) = d(,) ; 2） d(,  )  0 ，并且仅当  =  时等号才成立； 3） d(,  )  d(, ) + d( ,  ) （三角不等式） 在中学所学几何中知道一个点到一个平面（一条直线）上所有点的距离以垂 线最短.下面可以证明一个固定向量和一个子空间中各向量间的距离也是以“垂 线最短”. 先设一个子空间 W ，它是由向量    k , , , 1 2  所生成，即 ( , , , ) W = L 1  2   k . 说一个向量  垂直于子空间 W ，就是指向量  垂直 W 于中任何一个向量.易证  垂直于 W 的充要条件是  垂直于每个 (i 1,2 , , k) i =  . 现给定  ，设  是 W 中的向量，满足  −  垂直于 W .要证明  到 W 中各向 量的距离以垂线最短，就是要证明，对于 W 中任一向量  ，有  −   − . 我们可以画出下面的示意图： 证明  − = ( − ) + ( − ) 因 W 是子空间，  W , W ,则  − W .故  −  垂直于  −  .由勾股定理， 2 2 2  −  +  −  =  −  故  −   − 这就证明了，向量到子空间各向量间的距离以垂线最短. 这个几何事实可以用来解决一些实际问题.其中的一个应用就是解决最小二 乘法问题

例已知某种材料在生产过程中的废品率y与某种化学成分x有关下列表中 记载了某工厂生产中y与相应的x的几次数值: (%)10009090810600.560.35 x(%)|36 3.7 3.8 3.9 4.0 4.0 4.2 我们想找出y对x的一个近似公式 最小二乘法问题:线性方程组 uXt a12x b,=0 b.=0 可能无解即任何一组数x1,x2,…,x,都可能使 a x +a b)2 不等于零我们设法找x,x2,…,x使(1)最小,这样的x,x2,…,x称为方程组 的最小二乘解这种问题就叫最小二乘法问题 下面利用欧氏空间的概念来表达最小二乘法,并给出最小二乘解所满足的代 数条件令 b a21a22 , B b jX=AX 用距离的概念,(1)就是

例 已知某种材料在生产过程中的废品率 y 与某种化学成分 x 有关.下列表中 记载了某工厂生产中 y 与相应的 x 的几次数值： y (%) 1.00 0.9 0.9 0.81 0.60 0.56 0.35 x (%) 3.6 3.7 3.8 3.9 4.0 4.0 4.2 我们想找出 y 对 x 的一个近似公式. 最小二乘法问题：线性方程组        + + + − = + + + − = + + + − = 0 0 , 0, 1 1 2 2 21 1 22 2 2 2 11 1 12 2 1 1 n n ns s n s s s s a x a x a x b a x a x a x b a x a x a x b     可能无解.即任何一组数 s x , x , , x 1 2  都可能使 = + + + − n i i i is s bi a x a x a x 1 2 1 1 2 2 (  ) (1) 不等于零.我们设法找 0 0 2 0 1 , , , s x x  x 使（1）最小，这样的 0 0 2 0 1 , , , s x x  x 称为方程组 的最小二乘解.这种问题就叫最小二乘法问题. 下面利用欧氏空间的概念来表达最小二乘法，并给出最小二乘解所满足的代 数条件.令 , . , , 1 1 2 1 1 2 1 2 1 1 2 21 22 2 11 12 1 AX a x a x a x Y x x x X b b b B a a a a a a a a a A s j nj j s j j j s j j j s n n ns n s s =                     =               =               =               =    = = =          (2) 用距离的概念，（1）就是 2 Y − B

最小二乘法就是找x,x2,…,x使Y与B的距离最短但从(2),知道向量y就是 把A的各列向量分别记成a1,∝2…a,,由它们生成的子空间为 L=(a1,a2…α,)Y就是L=(a1,a2…a,)中的向量于是最小二乘法问题可叙 述成 找X使(1)最小,就是在L=(a,ax2,…,a,)中找一向量Y,使得B到它的 距离比到子空间L=(x1,a2,…a,)中其它向量的距离都短 应用前面所讲的结论,设 y=AX=x11+x2C2+…+xa, 是所求的向量,则 C=B-Y=B-AX 必须垂直于子空间L=(a1a2…,a,)为此只须而且必须 (C,a1)=(C,a2)=…=(C,a)=0 回忆矩阵乘法规则,上述一串等式可以写成矩阵相乘的式子,即 a1C=0a2C=0,…,aC=0. 而a,a1…,a,按行正好排成矩阵A,上述一串等式合起来就是 A(B-AX=0 或 AAX=AB 这就是最小二乘解所满足的代数方程,它是一个线性方程组,系数矩阵是AA, 常数项是A'B这种线性方程组总是有解的 回到前面的例子,易知

最小二乘法就是找 0 0 2 0 1 , , , s x x  x 使 Y 与 B 的距离最短.但从（2），知道向量 Y 就是 . 2 1 2 22 12 2 1 21 11 1               + +               +               = ns s s s n n a a a x a a a x a a a Y x     把 A 的各列向量分别记成    s , , , 1 2  . 由它们生成的子空间为 ( , , , ) L = 1  2   s .Y 就是 ( , , , ) L = 1  2   s 中的向量.于是最小二乘法问题可叙 述成： 找 X 使（1）最小，就是在 ( , , , ) L = 1  2   s 中找一向量 Y ，使得 B 到它的 距离比到子空间 ( , , , ) L = 1  2   s 中其它向量的距离都短. 应用前面所讲的结论，设 s s Y = AX = x11 + x2 2 ++ x  是所求的向量，则 C = B −Y = B − AX 必须垂直于子空间 ( , , , ) L = 1  2   s .为此只须而且必须 (C,1 ) = (C, 2 ) == (C, s ) = 0 回忆矩阵乘法规则，上述一串等式可以写成矩阵相乘的式子，即 0 , 0 , , 0. 1 2 =  =  =   C  C   s C 而       s , , , 1 2  按行正好排成矩阵 A ，上述一串等式合起来就是 A(B − AX) = 0 或 AAX = AB 这就是最小二乘解所满足的代数方程，它是一个线性方程组，系数矩阵是 AA， 常数项是 AB .这种线性方程组总是有解的. 回到前面的例子，易知

3.7 0.90 3.81 0.90 A=391,B=081 4.01 0.60 0.56 4.21 0.35 最小二乘解ab所满足的方程就是 A AB=0 即为 ∫10675a+273b-19675=0, 273a+7b-5.12=0 解得 a=-1.05,b=481(取三位有效数字)

                      =                       = 0.35 0.56 0.60 0.81 0.90 0.90 1.00 , 4.2 1 4.1 1 4.0 1 3.9 1 3.8 1 3.7 1 3.6 1 A B 最小二乘解 a,b 所满足的方程就是 −  = 0          A B b a A A , 即为    + − = + − = 27.3 7 5.12 0. 106.75 27.3 19.675 0 , a b a b 解得 a = −1.05 ,b = 4.81 （取三位有效数字）