北京大学：《模式识别》课程教学资源（课件讲义）第十一章 非监督学习方法

第十一章非监督学习方法 ■11.1引言 ■112单峰子集的分离方法 113类别分离的间接方法 ■114分级聚类方法 115其他聚类方法简介 ■11.6聚类中的问题

第十一章 非监督学习方法 „ 11.1 引言 „ 11.2 单峰子集的分离方法 „ 11.3 类别分离的间接方法 „ 11.4 分级聚类方法 „ 11.5 其他聚类方法简介 „ 11.6 聚类中的问题

11.1引言

11.1 引言

11.1引言 ■有监督:样本数据类别已知,训练分类 器以求对新数据进行分类 ■非监督:样本数据类别未知,首先要求 对样本集进行分类(聚类) ■非监督学习方法大致分为两大类: 基于概率密度函数估计的方法 基于样本间相似性度量的方法

11.1 引言 „ 有监督：样本数据类别已知，训练分类 器以求对新数据进行分类 „ 非监督：样本数据类别未知，首先要求 对样本集进行分类(聚类) „ 非监督学习方法大致分为两大类： „ 基于概率密度函数估计的方法 „ 基于样本间相似性度量的方法

11.1引 Hierarchical Top-down Division Clustering 分层聚类 Bottom-up Agglomerative Pdf based methods K-Series Partitional Clustering Graph Theory based methods 分块聚类 PCA/SVD based methods Other methods

11.1 引言 Hierarchical Clustering 分层聚类 Hierarchical Clustering 分层聚类 Partitional Clustering 分块聚类 Partitional Clustering 分块聚类 K-Series K-Series PCA/SVD based methods PCA/SVD based methods PDF based methods PDF based methods Graph Theory based methods Graph Theory based methods Top-down Division Top-down Division Bottom-up Agglomerative Bottom-up Agglomerative Other methods Other methods

11.2单峰子集的分离方法

11.2 单峰子集的分离方法

11.2单峰子集的分离方法 ■思想:把特征空间分为若干个区域,在 每个区域上混合概率密度函数是单峰的, 每个单峰区域对应一个类 如下图简单示例,X=0和y=0这两个超平 面可以把(Xy)平面分成四个单峰区域

11.2 单峰子集的分离方法 „ 思想：把特征空间分为若干个区域，在 每个区域上混合概率密度函数是单峰的， 每个单峰区域对应一个类 „ 如下图简单示例，x=0和y=0这两个超平 面可以把(x,y)平面分成四个单峰区域

Mixture PDF 04 0.3 0.2 0.1 2

11.2 单峰子集的分离方法

11.2单峰子集的分离方法 ■投影方法 多维空间中直接划分成单峰区域比较困难, 而一维空间中则比较简单。 寻找一个坐标系统,在该系统下,数据的混 合概率密度函数可以用边缘概率密度表示。 如果某边缘概率密度函数呈现多峰形式,则 在此坐标轴上(一维)作分割

11.2 单峰子集的分离方法 „ 投影方法 „ 多维空间中直接划分成单峰区域比较困难， 而一维空间中则比较简单。 „ 寻找一个坐标系统，在该系统下，数据的混 合概率密度函数可以用边缘概率密度表示。 „ 如果某边缘概率密度函数呈现多峰形式，则 在此坐标轴上（一维）作分割

11.2单峰子集的分离方法 ■投影方法(续) n维空间中的单峰分离 样本集S在u,轴上的投影为 S1={l1y|y∈S} 对S应用直方图方法估计概率密度函数 找到概率密度函数的峰,以及峰之间的谷底 在谷底处做垂直于u的超平面对数据分割

11.2 单峰子集的分离方法 „ 投影方法（续） „ 一维空间中的单峰分离 S {u y | y S } S u T i i i = ∈ 样本集 在 轴上的投影为 对Si 应用直方图方法估计概率密度函数 找到概率密度函数的峰，以及峰之间的谷底 在谷底处做垂直于ui 的超平面对数据分割

一维空间中的单峰分离 0.7 0.6 0.5 0.4 谷底 0.3 02 0.1 第一类 第二类

11.2 单峰子集的分离方法