电子科技大学：《数据分析与数据挖掘 Data Analysis and Data Mining》课程教学资源（课件讲稿）线性模型

数据分析与数据挖掘 第三章：线性模型


 


目录 口线性回归 ● 最小二乘法 ●梯度下降 口二分类任务 ● 对数几率回归-Logistic Regression 线性判别分析-Linear Discriminate Analysis 口多分类任务 一对一 一对其余 多对多 类别不平衡问题

p   l  l 
 p   l   – Logistic Regression l    – Linear Discriminate Analysis p   l !! l ! l  p 

线性模型 分类 回归 △ △ 线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数 f()=w11+w2x2 +...+wdxd+b 向量形式：f(x)=wx+b 简单、基本、可理解性好

    (linear model)$'% ! &") ( 

#

线性模型优点 口形式简单、易于建模 口可解释性 ▣非线性模型的基础 。引入层级结构或高维映射 ▣ 一个例子 综合考虑色泽、根蒂和敲声来判断西瓜好不好 其中根蒂的系数最大，表明根蒂最要紧；而敲声的系数比色泽大，说 明敲声比色泽更重要 “f好瓜(c)=0.2·x色泽十0.5·x根蒂十0.3·x敲声十1


 p .E!( p >@ p B2(,- l 13&C4" p D l 5 6:8*E'9% <+ l '9,/$
; '9$=07,/)8*
? )8*#A=

线性回归((linear regression) f(x)=wc;+b使得 学得一个线性模型以尽可能 准确地预测实值输出标记。 离散属性的处理：若有“序”(order),则连续化； 否则，转化为k维向量 Cost function 令均方误差最小化，有(w,b*)=argmin(f(a,）-)2 (w,b) i=1 m arg min (-w,-b) (w,b) i=1 对Eu,)=入(5-w:-b)2 进行最小二乘参数估计 i=1 (least square method)

-$" (linear regression) ,%$+* 0) !(order)6. 4 k /7 '3 () #  51(C2 least square method
     

线性回归-最小二乘法 线性回归中，最小二乘法就是试图找到一条直线，使所有 样本到直线上的欧式距离(vertical,y方向)之和最小： m Eu,=入(-wt-b)2 i=1 X=(X）∈R X=(X1,2)∈R2 ⊙ T2

 ! %- !& #%  #%" '$
  

线性回归-最小二乘法 m E(w,)=∑(-a,-b)2 i=1 分别对W和b求导（凸函数）： ∂E(w,b ∂w =20∑号-∑-创 i=1 i=1 E(w.b) ∂b 令导数为0，得到闭式(closed-form)解： ∑(c-) i= m m 0= 品 Ti b= (4i-Wc） -品 (


    
 0, (closed-form)

多元(multi--variate)线性回归 f(c)=wPci+b使得f(c)≈y i=(il;i2;...;id) ∈R 把w和b吸收入向量形式心=(w;b),数据集表示为 C11 C12 Xid 1 1 1 X= 21 C22 X2d y=(y1;y2;.;ym） Xm1

(multi-variate)      


多元线性回归 同样采用最小二乘法求解，目标变为： arg min(y-Xu)(y-Xw) d 令Em=(y-X心)(y-X心)，对求导： ∂Em=2XT(Xw-） a 令其为零可得心 然而，麻烦来了：涉及矩阵求逆」 口若XTX满秩或正定，则心*=(XTX)XTy ▣若XX不满秩，则可解出多个) 此时需求助于归纳偏好，或引入正则化(regularization)→第6、11章

6" ';0% +*9
=! /7?.& ,1* 5 # ( (regularization) 46
113

线性回归-梯度下降 初始点 J0o,01)。 最小值 对于线性回归，假设函数表示为： h(c1,x2,.xn)=00+01x1+..+0nxn. 其中6(i=0,1,2.n)为模型参数，x(i=0,1,2..n)为每个样本的n个特征 值。这个表示可以简化，我们增加一个特征x=1,有： ho(c0,t,.xn）=∑0 i=0 损失函数为： m J(o,01.,0n)=∑(ha(xo,c1,.xn）-)2 =0


#. θi (i = 0,1,2... n)$xi (i = 0,1,2... n)%"!'n& 
-+( )& x0 = 1  * ,+(