广东工业大学：《机器学习》课程教学资源（课件讲义）第6讲 线性回归模型及其求解方法 Linear Regression Model and Its Solution

线性回归模型及其求解方法 (Linear Regression Model and Its Solution 1

(Linear Regression Model and Its Solution ) 线性回归模型及其求解方法 1

outline ·4.5回归问题性能度量方法 ·4.6线性回归 ·4.7多项式回归 ·4.8过拟合与损失函数的正则化 2

outline • 4.5回归问题性能度量⽅法 • 4.6线性回归 • 4.7多项式回归 • 4.8过拟合与损失函数的正则化 2

回归问题性能度量方法 ·平均绝对误差MAE MAE=a∑1-9. 其中，几为样本个数；为真实值；：为预测值。 ·均方误差均方误差MSE MSE=1∑1(-：)P. 其中，为样本个数；为真实值；9：为预测值。 3

回归问题性能度量⽅法 • 平均绝对误差MAE • 均⽅误差均⽅误差MSE 3

回归问题性能度量方法 ·R方 ·一般使用R2评价回归模型好坏 R2 -SSR =1SSRES SSTSS SSTSS 其中SSTSS为总偏差平方，SS为回归平方和，SSRs为残差平方和 R2判定系数度量一个线性回归方程的拟合程度，越接近1拟合程度越好。 哈尔滨工业大学计算机学院刘远超 4

回归问题性能度量⽅法 • R⽅ 哈尔滨工业大学计算机学院 刘远超 4 • 一般使用�2评价回归模型好坏 R2 = !!! !!"## = 1 − !!$%# !!"## 其中SSTSS为总偏差平方，SSR为回归平方和，SSRES为残差平方和 R2判定系数度量一个线性回归方程的拟合程度，越接近1拟合程度越好

outline ·4.5回归问题性能度量方法 ·4.6线性回归 ·4.7多项式回归 ·4.8过拟合与损失函数的正则化 哈尔滨工业大学计算机学院刘远超 5

outline • 4.5回归问题性能度量⽅法 • 4.6线性回归 • 4.7多项式回归 • 4.8过拟合与损失函数的正则化 哈尔滨工业大学计算机学院 刘远超 5

什么是回归？ 披萨价格和尺寸的关系 25 ● 给定一组数据 [X11 X12… Xin X= Xmi Xm2… Xmn 研究X和Y之间关系的统计分析方法称 之为回归。X是自变量，Y是因变量。 R时(iel5 2 ● 利用训练数据，使用回归模型（如线性模型）去拟合变量之间的关系 。因此训练任务就是利用数据，来学习模型中的参数parameter（如线 性模型中的斜率和截距)。 ● 在本例中，训练完毕后，输入一个披萨的尺寸，模型就可以预测出其 价格应该为多少。 哈尔滨工业大学计算机学院刘远超

什么是回归？ l 利用训练数据，使用回归模型（如线性模型）去拟合变量之间的关系 。因此训练任务就是利用数据，来学习模型中的参数parameter（如线 性模型中的斜率和截距）。 l 在本例中，训练完毕后，输入一个披萨的尺寸，模型就可以预测出其 价格应该为多少。 l 给定一组数据 X = �!! �!" ⋯ �!# ⋮ ⋱ ⋮ �$! �$" ⋯ �$# , � = �! ⋮ �% 研究X和�之间关系的统计分析方法称 之为回归。 X是自变量，�是因变量。 哈尔滨工业大学计算机学院 刘远超

回归和分类的区别和联系 ●区别： ■分类：使用训练集推断输入x所对应的离散类别（如：+1，-1）。 ■回归：使用训练集推断输入x所对应的输出值，为连续实数。 ●联系： ■利用回归模型进行分类：可将回归模型的输出离散化以进行分类， 即y=sign(f(x). ■利用分类模型进行回归：也可利用分类模型的特点，输出其连续化 的数值。 哈尔滨工业大学计算机学院刘远超

回归和分类的区别和联系 l 区别： n 分类：使用训练集推断输入�所对应的离散类别（如：+1，-1）。 n 回归：使用训练集推断输入�所对应的输出值，为连续实数。 l 联系： n 利用回归模型进行分类：可将回归模型的输出离散化以进行分类， 即� = ����(�(�))。 n 利用分类模型进行回归：也可利用分类模型的特点，输出其连续化 的数值。 哈尔滨工业大学计算机学院 刘远超

线性模型 ●狭义线性(linear)模型： ■通常指自变量与因变量之间按比例、成直线的关系，在数学上可 理解为一阶导数为常数的函数，如y=θTx; ■线性通常表现为一次曲线。 ●广义线性（generalized linear model,.GLM): ■是线性模型的扩展，主要通过联结函数gO(link function),使预测 值落在响应变量的变幅内。例如逻辑回归 ho(x)g(0x) (括号内为线性函数) 哈尔滨工业大学计算机学院刘远超

线性模型 l 狭义线性（linear）模型： n 通常指自变量与因变量之间按比例、成直线的关系，在数学上可 理解为一阶导数为常数的函数，如� = �&� ; n 线性通常表现为一次曲线。 l 广义线性（generalized linear model， GLM ）： n 是线性模型的扩展，主要通过联结函数�()(link function)，使预测 值落在响应变量的变幅内。例如逻辑回归 ℎ% � = � �&� = ' '()!"#$ （括号内为线性函数） 哈尔滨工业大学计算机学院 刘远超

非线性模型 ●非线性non--linear?模型： ■非线性一般指不按比例、不成直线的关系，一阶导数不为常数 ●常见的非线性模型 ■2次以上的多项式y=anxn+an-1xn-1+,+a1x+a0 ■幂函数模型y=BOx1B1X2B2…XkBk ■指数函数模型y=BeB1x ■对数函数模型：y=Bo+B1lnx ■等等 哈尔滨工业大学计算机学院刘远超

非线性模型 l 非线性non-linear模型： n 非线性一般指不按比例、不成直线的关系，一阶导数不为常数 l 常见的非线性模型 n 2次以上的多项式 y = �#�# + �#'!�#'!+…,+�!� + �( n 幂函数模型� = �(�! )"�" )# 666 �* )$ n 指数函数模型� = �(�)"+ n 对数函数模型： � = �( + �!��� n 等等 哈尔滨工业大学计算机学院 刘远超

线性回归 ●线性回归模型中，假设自变量和因变量满足如下形式： y=he(x)=0Tx ●问题：已知一些数据，如何求里面的未知参数，给出一个最优解。 ●因此通常将参数求解问题转化为求最小误差问题。一般采用模型预 测结果与真实结果的差的平方和作为损失函数： J(0)=元∑沿h(x0)-y0)2. 即求8=mn0(e) 哈尔滨工业大学计算机学院刘远超

线性回归 l 线性回归模型中，假设自变量和因变量满足如下形式： � = ℎ9 � = �:� l 问题：已知一些数据，如何求里面的未知参数，给出一个最优解。 l 因此通常将参数求解问题转化为求最小误差问题。 一般采用模型预 测结果与真实结果的差的平方和作为损失函数： � � = ' *+ ∑,-' + (ℎ% � , − �(,) )*. 即求� = min , (� � ) 哈尔滨工业大学计算机学院 刘远超