电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第7讲 其他分类方法 Classifiers for More

电子科技大学研究生《模式识别与机器学习》课程 第7讲其他分类方法 7 Classifiers for More 郝家胜(Jiasheng Hao) Ph.D.,Associate Professor Email:hao@uestc.edu.cn School of Automation Engineering,Center for Robotics University of Electronic Science and Technology of China,Chengdu 611731

电子科技大学研究生《模式识别与机器学习》课程 Email: hao@uestc.edu.cn School of Automation Engineering, Center for Robotics University of Electronic Science and Technology of China, Chengdu 611731 郝家胜 (Jiasheng Hao) Ph.D., Associate Professor 第7讲 其他分类方法 7 Classifiers for More

引言 5 线性判别函数：简单、实用、经济，但线性不可分时错误率可能较大 噪声影响 问题线性不可分 采用非线性分类器 问题本身 新特征 改变特征，使线性可分 非线性变换 本章介绍几种非线性分类器：分段线性，神经网络和支持问量机 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 引言 本章介绍几种非线性分类器：分段线性,神经网络和支持向量机

决策问题 /956 女儿：多大年纪了？ 年龄 30 母亲：26。 女儿：长的帅不帅？ 长相 不见 母亲：挺帅的。 帅或中等 丑 女儿：收入高不？ 收入 不见 母亲：不算很高，中等情况。 高 中等 低 女儿：是公务员不？ 母亲：是，在税务局上班呢。 见 公务 员 不见 女儿：那好，我去见见。 是 不是 见 不见 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 决策问题 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见

非数值特征 956 非数值特征(nonmetric features) ●名义特征(nominal features) ■如性别、民族、职业、字符串中的字符、DNA序列中的核酸类型(A、C、G、T)等 ●序数特征(ordinal features) ■如序号、分级等，是一种数值，有顺序，但不能看作是欧式空间中的数值 ·与研究目标之间呈非线性关系的数值特征 ■比如年龄、考试成绩、温度等 ●区间(interval)数据 ■取值是实数，可以比较大小，但没有一个“自然的”零，如温度 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 非数值特征

决策问题 956 >60? 发烧 彩 是 是 否 普通感冒 白血球高？ 是 病毒感染 细菌感染 决策树模型是一种树形结构，其中每个内部节点表示一个属 性上的测试。每个分支代表一个测试输出，每个叶节点代表 一种类别。 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 决策树模型是一种树形结构，其中每个内部节点表示一个属 性上的测试。每个分支代表一个测试输出，每个叶节点代表 一种类别。 决策问题

决策问题 例 956 顾客编号 年龄 性别 月收入 是否购买 1 21 男 4000 否 汽车销售店客户情况的例子 2 33 女 5000 否 3 30 女 3800 否 4 38 女 2000 否 5 25 男 7000 否 6 32 女 2500 否 7 20 女 2000 否 8 26 女 9000 是 9 32 男 5000 是 10 24 男 7000 否 11 40 女 4800 否 12 28 男 2800 否 13 35 女 4500 否 14 33 男 2800 是 15 37 男 4000 是 16 31 女 2500 否 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 决策问题

经过初步整理后的顾客数据 顾客编号 年龄 性别 月收入 是否购买 1 <30 男 中 否 2 ≥30 女 中 否 3 ≥30 女 中 否 4 ≥30 女 低 否 5 <30 男 高 否 6 ≥30 女 低 否 7 <30 女 低 否 8 <30 女 高 是 9 ≥30 男 中 是 10 <30 男 高 否 11 ≥30 女 中 否 12 <30 男 低 否 13 ≥30 女 中 否 14 ≥30 男 低 是 15 ≥30 男 中 是 16 ≥30 女 低 否

决策方法 年龄 性别 >=30 <30 女 男 3买；7不买 1买；5不买 1买，8不买 3买；4不买 收入 低 中 高 1买；5不买 2买；5不买 1买；2不买 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 决策方法 年龄 3买；7不买 1买；5不买 >= 30 < 30 性别 1买；8不买 3买；4不买 女 男 收入 1买；5不买 2买；5不买 低 高 1买；2不买 中

决策树 ▣概念 按树结构来决策，希望分支结点所包含的样本尽可能 属于同一类别，即结，点的“纯度”越来越高，可以高效地 从根结点到达叶结，点，得到决策结果。 口关键？ ■纯度：属性如何做最优划分 三种度量结点“纯度”的指标： 1.信息增益 2.增益率 3.基尼指数 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 o 概念 o 关键？ n 纯度：属性如何做最优划分 按树结构来决策，希望分支结点所包含的样本尽可能 属于同一类别，即结点的“纯度”越来越高，可以高效地 从根结点到达叶结点，得到决策结果。 三种度量结点“纯度”的指标： 1. 信息增益 2. 增益率 3. 基尼指数 决策树

决策树：D3 信息熵：平均而言发生一个事件我们得到的信息量 大小。所以数学上，信息熵其实是信息量的期望。 口特征X的熵： 熵：表示随机变量的不确定性。变量不 H(X)=->P;logpa 确定性越高，熵越高。 2=1 口条件熵：在一个条件下，阝 随机变量的不确定性。 特征X的信息增益：信息增益=entroy(前)- entroy(后) IG(X=H(c)-H(c X) 电子科技大学研究生《模式识别》

电子科技大学研究生《模式识别》 o 信息熵：平均而言发生一个事件我们得到的信息量 大小。所以数学上，信息熵其实是信息量的期望。 o 特征X的熵： o 条件熵：在一个条件下，随机变量的不确定性。 o 特征X的信息增益 ：信息增益 = entroy(前) - entroy(后) 决策树：ID3 熵：表示随机变量的不确定性。变量不 确定性越高，熵越高