中国科学技术大学：《机器学习》课程PPT教学课件（讲稿）第二章 模型评估与选择

第二章:模型评估 与选择

第二章：模型评估 与选择

大纲 口经验误差与过拟合 口评估方法 口性能度量 口比较检验 口偏差与方 口阅读材料

大纲  经验误差与过拟合  评估方法  性能度量  比较检验  偏差与方差  阅读材料

经验误差与过拟合 口错误率&误差 ●错误率:错分样本的占比:E=a/m ●误差:样本真实输出与预测输出之间的差异 训练(经验)误差:训练集上 测试误差:测试集 泛化误差:除训练集外所有样本 由于事先并不知道新样本的特征,我们只能努力使经验 误差最小化; 很多时候虽然能在训练集上做到分类错误率为零,但多 数情况下这样的学习器并不好

经验误差与过拟合  错误率&误差： ⚫ 错误率: 错分样本的占比： ⚫ 误差：样本真实输出与预测输出之间的差异 ⚫ 训练(经验)误差：训练集上 ⚫ 测试误差：测试集 ⚫ 泛化误差：除训练集外所有样本 由于事先并不知道新样本的特征，我们只能努力使经验 误差最小化； 很多时候虽然能在训练集上做到分类错误率为零，但多 数情况下这样的学习器并不好

经验误差与过拟合 口过拟合: 学习器把训练样本学习的“太好”,将训练样本本身的特点 当做所有样本的一般性质,导致泛化性能下降 优化目标加正则项 early stop 口欠拟合 对训练样本的一般性质尚未学好 ●决策树:拓展分支 ●神经网络:增加训练轮数

经验误差与过拟合  过拟合: 学习器把训练样本学习的“太好”，将训练样本本身的特点 当做所有样本的一般性质，导致泛化性能下降 ⚫ 优化目标加正则项 ⚫ early stop  欠拟合： 对训练样本的一般性质尚未学好 ⚫ 决策树:拓展分支 ⚫ 神经网络:增加训练轮数

经验误差与过拟合 过拟合模型分类结果: →不是树叶 树叶训练样本 (误以为树叶必须有锯齿) 新样本 欠拟合模型分类结果: →是树叶 (误以为绿色的都是树叶) 过拟合、欠拟合的直观类比 苯都紧自堂习器把训练样本本身特点当做所有潜在样 具有的一般性质 欠拟合:训练样本的一般性质尚未被学习器学好

经验误差与过拟合 过拟合：学习器把训练样本本身特点当做所有潜在样 本都会具有的一般性质. 欠拟合：训练样本的一般性质尚未被学习器学好

大纲 口经验误差与过拟合 口评估方法 口性能度量 口比较检验 口偏差与方 口阅读材料

大纲  经验误差与过拟合  评估方法  性能度量  比较检验  偏差与方差  阅读材料

评估方法 现实任务中往往会对学习器的泛化性能、时间开销、存 储开销、可解释性等方面的因素进行评估并做出选择 我们假设测试集是从样本真实分布中独立采样获得, 将测试集上的“测试误差”作为泛化误差的近似,所 以测试集要和训练集中的样本尽量互斥

评估方法 现实任务中往往会对学习器的泛化性能、时间开销、存 储开销、可解释性等方面的因素进行评估并做出选择 我们假设测试集是从样本真实分布中独立采样获得， 将测试集上的“测试误差”作为泛化误差的近似，所 以测试集要和训练集中的样本尽量互斥

评估方法 通常将包含个m样本的数据集D={(x1,y),(x2,v),…,(xm,m)} 拆分成训练集S和测试集T: 口留出法: ●直接将数据集划分为两个互斥集合 ●训练/测试集划分要尽可能保持数据分布的一致性 ●一般若干次随机划分、重复实验取平均值 ●训练/测试样本比例通常为2:1~4:1

评估方法  留出法： ⚫ 直接将数据集划分为两个互斥集合 ⚫ 训练/测试集划分要尽可能保持数据分布的一致性 ⚫ 一般若干次随机划分、重复实验取平均值 ⚫ 训练/测试样本比例通常为2:1~4:1 通常将包含个 样本的数据集 拆分成训练集 和测试集 ：

评估方法 口交叉验证法: 将数据集分层采样划分为k个大小相似的互斥子集,每次用k-1个子 集的并集作为训练集,余下的子集作为测试集,最终返回k个测试 结果的均值,k最常用的取值是10 L DiDaDa. D D- Ds DoDid 训练集 测试集 D1D2D3DDDD-DD][Da→测试结果1 D,D,D, DA DS Do D,DD[D]一测试结果2平均返回 结果 DaD, D: Ds Da Ds D Did[一测试结果10 10折交叉验证示意图

评估方法  交叉验证法： 将数据集分层采样划分为k个大小相似的互斥子集，每次用k-1个子 集的并集作为训练集，余下的子集作为测试集，最终返回k个测试 结果的均值，k最常用的取值是10

评估方法 与留出法类似,将数据集D划分为k个子集同样存在多种划分方式, 为了減小因样本划分不同而引入的差别,k折交叉验证通常随机使用 值,例如常宽的“10次10折交叉验证”次k折交叉验证结果的均 不同的划分重复p次,最终的评估结果是 假设数据集D包含m个样本,若k=m,则得到留一法: ●不受随机样本划分方式的影响 ●结果往往比较准确 ●当数据集比较大时,计算开销难以忍受

评估方法 与留出法类似，将数据集D划分为k个子集同样存在多种划分方式， 为了减小因样本划分不同而引入的差别，k折交叉验证通常随机使用 不同的划分重复p次，最终的评估结果是这p次k折交叉验证结果的均 值，例如常见的“10次10折交叉验证” 假设数据集D包含m个样本，若令 ，则得到留一法： ⚫ 不受随机样本划分方式的影响 ⚫ 结果往往比较准确 ⚫ 当数据集比较大时，计算开销难以忍受