《数据模型与决策》第七章 线性回归

Chapter 7 Linear Regression 线性回归

Linear Regression 线性回归 Chapter 7

7.1概述 函数关系与相关关系 例 销 售额 趋势线 广告费 图7—1相关关系

7.1概述 函数关系与相关关系 销 y 售 额 广告费 趋势线 x 图7－1 相关关系 例：

散点图相关关系的度量: 上图,广告费增加时销售额有增长的趋势 (正相关)。此外还有负相关,不相关: 图7-2a:负相关

散点图 相关关系的度量： 上图，广告费增加时销售额有增长的趋势 （正相关）。此外还有负相关，不相关： x y 图7－2 a ：负相关

图7-2b:不相关

y x 图7－2 b：不相关

如何设法使之能定量说明? 先算出与,平移坐标原点至(,) Y 图7—3新坐标下的散点图

如何设法使之能定量说明？ y x Y－ X－ 图7－3 新坐标下的散点图 先算出 X 与 Y ，平移坐标原点至（ , ） X Y X Y

1象限X-x>0.Y-y>0.∴∑(X-x)(Y-y Ⅱ限X-X0.∴∑(X-x)(Y-y) Ⅲ象限X-X0 ⅣV象限X-x>0,Y-Y0 负相关时,,Ⅳ两象限的点比较多,于是 2(X-(1)=0

• I象限X- >0, Y- >0. ∴∑(X- )(Y- )>0 • II象限X- 0. ∴∑(X- )(Y- )0 • IV象限X- >0, Y- 0 • 负相关时，II,IV两象限的点比较多，于是 • ∑(X- )(Y- )<0 Y Y Y Y Y Y Y Y Y Y X X X X X X X X X X

(-米度量相关性,会因 小的改变(如从百万元改为亿 起数 值的急剧变化,为克服这一缺点,可用的方 法之一是“归一”化(化为无量纲的系数 且该系数在-1至1之间) 记R ∑(X-Xy-y 为相关系数 ∑(x=X)(-1)2 可以证明-1≤R≤1

• 但是，用∑(x- )(y- )来度量相关性，会因量 纲的改变（如从百万元改为亿元）引起数 值的急剧变化，为克服这一缺点,可用的方 法之一是“归一”化（化为无量纲的系数， 且该系数在-1至1之间）： • 记 为相关系数 • 可以证明-1≤R≤1 XX YY XY L L L X X Y Y X X Y Y R • = − − − − =   2 2 ( ) ( ) ( )( ) X Y

趋势线记为(参见图7-1)y=B0+Bx 注意参数B,B虽然可认识到它的存在,但是 是未知的。 可表达为Y=B+BX+E 此处E~N(0,),常称为“噪音

• 趋势线记为（参见图7－1） • 注意参数 , 虽然可认识到它的存在，但是 是未知的。 • 可表达为 • 此处E ~ N (0, ) ，常称为 “噪音” y = B0 + B1x B0 B1 Y = B0 + B1X + E  

7.2关于B0、B1估计的最小二乘法 bo+b 图74e与最小二乘法

7.2 关于B0、B1估计的最小二乘法 图7.4 ei 2与最小二乘法 yi xi y x ei b0+b1xi

高斯“定义”了最好的估计直线即整体 最贴近所有点的直线的标准与方法 mine2,即挑选bb,使∑c最小者为最佳 的b,b1 即minQ(b,b)=∑a2=∑(1=b0=bx)2

• 高斯“定义”了最好的估计直线即整体上 最贴近所有点的直线的标准与方法： • min∑ ，即挑选b0,b1,使∑ 最小者为最佳 的b0,b1 • 即minQ(b0,b1)= ∑ = 2 ei 2 ei 2 ei 2 ( yi − b0 − b1xi)