南京大学：《高级机器学习》课程教学资源（课件讲稿）02 典型方法

高级机器学习( 2021秋季学期) 二、典型方法 主讲教师：詹德川

二、典型方法 主讲教师：詹德川 高级机器学习 (2021秋季学期)

线性模型 分类 回归 线性模型((linear model))试图学得一个通过属性的线性组合来进行预测的函数 f()=w1x1+w2x2+...+wdxd+b 向量形式：f(x)=wTx+b 简单、基本、可理解性好

线性模型 分类 回归 线性模型(linear model)试图学得一个通过属性的线性组合来进行预测的函数 向量形式： 简单、基本、可理解性好

线性模型的变化 对于样例(x,y),y∈R,若希望线性模型的预测值逼近真实标记， 则得到线性回归模型y=wx+b 令预测值逼近y的衍生物？ (3,93)ly=ewTx+b 30 若令ny=wTx+b (x2,2) 20 则得到对数线性回归 (x1,h) =血 (log-linear regression) 10 y=wTx+b 实际是在用ewTx+b逼近y x1, (2,站(3.g) 2

线性模型的变化 对于样例 若希望线性模型的预测值逼近真实标记， 则得到线性回归模型 令预测值逼近 y 的衍生物？ 若令 则得到对数线性回归 (log-linear regression) 实际是在用 逼近 y

广义(generalized)线性模型 一般形式： y=91（(wTc+b) T 单调可微的联系函数((link function) 令g（)=ln(·)则得到对数线性回归 Iny wTx+b

广义(generalized)线性模型 一般形式: 单调可微的 联系函数 (link function) 令 则得到 对数线性回归 … …

二分类任务 线性回归模型产生的实值输出之=wTx+b 找z和y的 期望输出y∈{0,1} 联系函数 理想的“单位阶跃函数” (unit-step function) 2>0: 0,20, -10 -5 10 常用 性质不好， 单调可微、任意阶可导 需找“替代函数” 1 对数几率函数 (surrogate function) y= 1+e-2 (logistic function) 简称“对率函数

二分类任务 线性回归模型产生的实值输出 期望输出 找 z 和 y 的 联系函数 理想的“单位阶跃函数” (unit-step function) 性质不好, 需找“替代函数” (surrogate function) 常用 单调可微、任意阶可导 对数几率函数 (logistic function) 简称“对率函数

对率回归 以对率函数为联系函数： 1 1 y= 1+e-z 变为y= 1+e-(wTz+6) 即： wx+b “对数几率” l率(odds),反映了x作为正例的相对可能性 (log odds,亦称logit) “对数几率回归”(logistic regression) 简称“对率回归” 注意：它是 无需事先假设数据分布 分类学习算法！区 可得到“类别”的近似概率预测 可直接应用现有数值优化算法求取最优解

对率回归 以对率函数为联系函数: 变为 即: 几率(odds), 反映了 x 作为正例的相对可能性 “对数几率” (log odds, 亦称 logit) “对数几率回归”(logistic regression) 简称“对率回归” • 无需事先假设数据分布 • 可得到“类别”的近似概率预测 • 可直接应用现有数值优化算法求取最优解 注意：它是 分类学习算法！

线性模型做“分类” 分类 回归 △ 广义线性模型； 通过“联系函数” 如何“直接”做分类？ 例如，对率回归

线性模型做“分类” 分类 回归 例如，对率回归 广义线性模型； 通过“联系函数” 如何“直接”做分类？

支持向量机

支持向量机

线性分类器 将训练样本分开的超平面可能有很多，哪一个更好呢？ 2C1 "正中间"的：鲁棒性最好，泛化能力最强

线性分类器 将训练样本分开的超平面可能有很多, 哪一个更好呢? 0 ”正中间”的: 鲁棒性最好, 泛化能力最强

间隔与支持向量 超平面方程：wc+b=0 w'x+6=1 2 w 间隔(margin) lwTx +bl wx+6=0 wll w'x+b=-1 支持向皇 (support vector)

间隔与支持向量 超平面方程: 间隔 (margin) 0 支持向量 (support vector)