北京大学：《模式识别》课程教学资源（课件讲义）第九章 分类器组合

第九章分类器组合 9.0引言 91分类器组合I 92分类器组合II

第九章 分类器组合 „ 9.0 引言 „ 9.1 分类器组合I „ 9.2 分类器组合II

9.0引言 三个臭皮匠>诸葛亮

9.0 引言 三个臭皮匠 > 诸葛亮

9.0引言 ■给定一个训练样本集S,通过学习可以得 到一个分类器f。他是对真实函数f的一个 估计。 组合分类器一一假设我们有L个分类器 f,…f},如何将它们组合起来得到更好 的分类器。( Ensemble method)

9.0 引言 „ 给定一个训练样本集S，通过学习可以得 到一个分类器fi。他是对真实函数f的一个 估计。 „ 组合分类器——假设我们有L个分类器 {f1,…fL }，如何将它们组合起来得到更好 的分类器。（Ensemble Method）

9.0引言 组合分类器比其中单个分类器更精确的 充分必要条件——单个分类器是“精确 ( accurate)的并且分类器之间是“相异” ( diverse)的。 精确”——比随机猜测好 相异错误是独立的

9.0 引言 „ 组合分类器比其中单个分类器更精确的 充分必要条件——单个分类器是“精确” （accurate）的并且分类器之间是“相异” （diverse）的。 „ “精确”——比随机猜测好 „ “相异”——错误是独立的

9.0引言 ■对特征的处理 用同样的特征或表达 用不同的特征或表达 ■对样本的处理 用同样的样本 用不同的样本

9.0 引言 „ 对特征的处理 „ 用同样的特征或表达 „ 用不同的特征或表达 „ 对样本的处理 „ 用同样的样本 „ 用不同的样本

9.0引言 ■对分类器的处理 用同样的分类器 用不同的分类器 对分类器输出的多层处理

9.0 引言 „ 对分类器的处理 „ 用同样的分类器 „ 用不同的分类器 „ 对分类器输出的多层处理

91分类器组合I

9.1 分类器组合I

91分类器组合I ■对分类器的处理 不同分类器组合 对分类器输出的多层处理— Stacking

9.1 分类器组合I „ 对分类器的处理 „ 不同分类器组合 „ 对分类器输出的多层处理——Stacking

91分类器组合I ■若每个基本分类器的输出是实数(比如 属于每类的概率),则通过对这些输出 结果相加、相乘等方法取算术或几何平 均给出组合结果,也可以取最小、最大 等方法给出组合结果

9.1 分类器组合I „ 若每个基本分类器的输出是实数（比如 属于每类的概率），则通过对这些输出 结果相加、相乘等方法取算术或几何平 均给出组合结果，也可以取最小、最大 等方法给出组合结果

91分类器组合I ■若分类器只输出类别标号,则可以通过 投票的方式,用多数优胜法得到组合结 果

9.1 分类器组合I „ 若分类器只输出类别标号，则可以通过 投票的方式，用多数优胜法得到组合结 果