北京大学：《模式识别》课程教学资源（课件讲义）导论

Pattern Recognition 内容 1.导论 2. Bayes决策理论 Feng Jufu 4.线性判别函数 fif@cis.pku.edu.cn ·6.统计学习理论 Center for Info 8.正则化网络 National Key Lab of Machine Perception Peking University 10.非监督学习与聚类 11.应用举例 References 主要期刊和会议 IEEE Trans. On PAMl. NN 《模式识别》,边肇祺,张学工等编著,清华大学出版社,2000 Pattern Recognition Pattern Recognition Letter Y大9出:206(计字习理论的本) Machine Learning [4] Vladimir N. Vapnik, Statistical Learning Theory, John Wiley Neural Computation 《模式识别与人工智能》 CVPR、ICPR、|CML、COLT、NPS [6]S Haykin, Neural Networks-a Comprehensive Foundation, 2nd Edition, Tsinghua University Press, Prentice Hall Press, 200 第一章导论 Introduction 模式识别简介 Pattern recognition is the study of how machines can observe the environment. learn 基本概念 to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns 模式识别方法 (Anil K. Jain 模式识别应用

1 1 Pattern Recognition Feng Jufu fjf@cis.pku.edu.cn Center for Information Science National Key Lab of Machine Perception Peking University 2 内容 z 1．导论 z 2．Bayes决策理论 z 3．概率密度估计 z 4．线性判别函数 z 5．神经网络 z 6．统计学习理论 z 7．SVM z 8．正则化网络 z 9．特征空间 z 10.非监督学习与聚类 z 11. 应用举例 3 References z [1] Richard O. Duda, Peter E. Hart, David G. Stork, Pattern Classification, 2nd Edition, John Wiley & Sons, Inc. 2001 z [2] 《模式识别》，边肇祺，张学工等编著，清华大学出版社，2000 年1月第2版 z [3] Vladimir N. Vapnik, The Nature of Statistical Learning, Springer￾Verlag, New York, NY, 1995 (中译本《统计学习理论的本质》，张学 工译，清华大学出版社，2000年9月) z [4] Vladimir N. Vapnik, Statistical Learning Theory, John Wiley & Sons, Inc. 1998 z [5] Nello Cristianini, John Shawe-Taylor, An Introduction to Support Vector Machines and other kernel-based learning methods, Cambridge University Press, 2000 z [6] S. Haykin, Neural Networks — a Comprehensive Foundation, 2nd Edition, Tsinghua University Press, Prentice Hall Press, 2001. 4 主要期刊和会议 z IEEE Trans. On PAMI, NN z Pattern Recognition z Pattern Recognition Letter z Machine Learning z Neural Computation z 《模式识别与人工智能》 z CVPR、ICPR、ICML、COLT、NIPS…… 5 第一章 导论 z 模式识别简介 z 基本概念 z 模式识别方法 z 模式识别应用 6 Introduction z Pattern recognition is the study of how machines can observe the environment, learn to distinguish patterns of interest from their background, and make sound and reasonable decisions about the categories of the patterns. (Anil K. Jain)

What is a Pattern 识别 Watanabe defines a patten"as opposite of 识别是时时刻刻发生的 chaos; it is an entity, vaguely defined, tha ould be given a name. 识别( Recognition)再认知(Re-Cogu a fingerprint image a handwritten cursive word a human face 主要研究相似和分类问题 有监督分类 无监督分类 与其他学科的关系 模式识别系统 统计学 数据获取和预处理 人工智能 数据表达 机器学习 ·决策 基本概念 Generalize 识别( Recognition) 决策( Decision) 使一般化赋予一普遍形式、种类或定律 To render indefinite or unspecific. ·学习( Learning) ·使概括使不确定或不具体 To infer from many particulars. Generalization ·概括出,归纳从许多特殊事物中推论 To draw inferences or a general conclusion from 概括从中得出推论或一普通结论 To make generally or universally applicable 使普遍适用,使全球适用 To popularize

2 7 What is a Pattern ? z Watanabe defines a pattern “as opposite of a chaos; it is an entity, vaguely defined, that could be given a name.” – a fingerprint image – a handwritten cursive word – a human face – a speech signal – …… 8 识别 z 识别是时时刻刻发生的 z 识别（Recognition)—再认知（Re-Cognition) z 主要研究相似和分类问题 – 有监督分类 – 无监督分类 9 与其他学科的关系 z 统计学 z 人工智能 z 机器学习 z 运筹学 10 模式识别系统 z 数据获取和预处理 z 数据表达 z 决策 11 基本概念 z 识别（Recognition） z 决策（Decision） z 学习（Learning） z Generalization 12 Generalize z To reduce to a general form, class, or law. z 使一般化赋予一普遍形式、种类或定律 z To render indefinite or unspecific. z 使概括使不确定或不具体 z To infer from many particulars. z 概括出，归纳从许多特殊事物中推论 z To draw inferences or a general conclusion from. z 概括从…中得出推论或一普遍结论 z To make generally or universally applicable. z 使普遍适用，使全球适用 z To popularize. z 推广

模式识别的方法 模版匹配 模版匹配 首先对每个类别建立一个或多个模版 ·输入样本和数据库中每个类别的模版进行比较 ·统计方法 求相关或距离 根据相关性或距离大小进行决策 句法方法 ·优点:直接、简单 ·缺点:适应性差 ·神经网络 形变模版 统计方法 句法方法 根据训练样本,建立决策边界 许多复杂的模式可以分解为简单的子模式,这些 统计决策理论——根据每一类总体的概率分布决 子模式组成所谓“基元” 决策边界 每个模式都可以由基元根据一定的关系来组成 判别分析方法—给出带参数的决策边界,根据 基元可以认为是语言中的字母,每个模式都可以 某种准则,由训练样本决定“最优”的参数 认为是一个句子,关系可以认为是语法 本课程的重点内容 模式的相似性由句子的相似性来决定 优点:适合结构性强的模式 缺点:抗噪声能力差,计算复杂度高 神经网络 神经网络和统计模式识别的关系 大规模并行计算 统计模式识别 学习、推广、自适应、容错、分布表达和计算 人工神经网络 线性决策函数 ·优点:可以有效的解决一些复杂的非线性问题 自相关网络,PCA网络 缺点:缺少有效的学习理论 后验概率估计 多层感知机 非线性决策分析 多层感知机 Parzen窗密度估计分类器 函数网络 〖K近邻 Kohonen's LvQ

3 13 模式识别的方法 z 模版匹配 z 统计方法 z 句法方法 z 神经网络 14 模版匹配 z 首先对每个类别建立一个或多个模版 z 输入样本和数据库中每个类别的模版进行比较， 求相关或距离 z 根据相关性或距离大小进行决策 z 优点：直接、简单 z 缺点：适应性差 z 形变模版 15 统计方法 z 根据训练样本，建立决策边界 z 统计决策理论——根据每一类总体的概率分布决 定决策边界 z 判别分析方法——给出带参数的决策边界，根据 某种准则，由训练样本决定“最优”的参数 z 本课程的重点内容 16 句法方法 z 许多复杂的模式可以分解为简单的子模式，这些 子模式组成所谓 “基元” z 每个模式都可以由基元根据一定的关系来组成 z 基元可以认为是语言中的字母，每个模式都可以 认为是一个句子，关系可以认为是语法 z 模式的相似性由句子的相似性来决定 z 优点：适合结构性强的模式 z 缺点：抗噪声能力差，计算复杂度高 17 神经网络 z 大规模并行计算 z 学习、推广、自适应、容错、分布表达和计算 z 优点：可以有效的解决一些复杂的非线性问题 z 缺点：缺少有效的学习理论 18 神经网络和统计模式识别的关系 K近邻 Kohonen’s LVQ Parzen窗密度估计分类器 径向基函数网络 非线性决策分析 多层感知机 后验概率估计 多层感知机 PCA 自相关网络，PCA网络 线性决策函数 感知机 统计模式识别 人工神经网络

几种方法比较 模式识别应用 识别函数典型准则 文本图像分析 模版匹配样本,像相关,距离分类错误 工业自动化 数据挖掘 统计方法 央策函数 分类错误 多媒体数据库检索 生物特征识别 句法方法 规则,语法接受错误 生物信息学 神经网络样本,像网络函数均值方差错误 遥感

4 19 几种方法比较 样本，像 网络函数 均值方差错误 元，特征 神经网络 句法方法 基元 规则，语法 接受错误 统计方法 特征 决策函数 分类错误 相关，距离 分类错误 度量 样本，像 元，曲线 模版匹配 方法 表达 识别函数 典型准则 20 模式识别应用 z 文本分类 z 文本图像分析 z 工业自动化 z 数据挖掘 z 多媒体数据库检索 z 生物特征识别 z 语音识别 z 生物信息学 z 遥感 z