北京大学：《模式识别》课程教学资源（课件讲义）第三章 概率密度估计

第三章概率密度估计 30引言 ■3.1参数估计 3.2非参数估计 ■33说明

1 第三章 概率密度估计 „ 3.0 引言 „ 3.1 参数估计 „ 3.2 非参数估计 „ 3.3 说明

3.0引言

2 3.0 引言

3.0引言 ■进行 Bayes决策需要事先知道两种知识: 各类的先验概率 观测向量的类条件概率密度。 知识的获取(估计): 一些训练数据; ■对问题的一般性的认识

3 3.0 引言 „ 进行Bayes决策需要事先知道两种知识： „ 各类的先验概率； „ 观测向量的类条件概率密度。 „ 知识的获取（估计）： „ 一些训练数据； „ 对问题的一般性的认识

3.0引言 ■类的先验概率的估计(较容易): 依靠经验; 用训练数据中各类出现的频率估计 用频率估计概率的优点: 无偏性; 相合性 收敛速度快

4 3.0 引言 „ 类的先验概率的估计（较容易）： „ 依靠经验； „ 用训练数据中各类出现的频率估计。 „ 用频率估计概率的优点： „ 无偏性； „ 相合性； „ 收敛速度快

3.0引言 类条件概率密度的估计(非常难): 概率密度函数包含了一个随机变量的全部信 息; 概率密度函数可以是满足下面条件的任何函 数 p(x)≥0,「p/(x)x=l

5 3.0 引言 „ 类条件概率密度的估计（非常难）： „ 概率密度函数包含了一个随机变量的全部信 息； „ 概率密度函数可以是满足下面条件的任何函 数： ( ) 1. ∫ p(x) ≥ 0, p x dx =

3.0引言 ■概率密度估计的两种主要思路: 参数估计: 根据对问题的一般性的认识,假设随机 变量服从某种分布,分布函数的参数通过训 练数据来估计。 非参数估计: 不用模型,而只利用训练数据本身对概 率密度做估计

6 3.0 引言 „ 概率密度估计的两种主要思路： „ 参数估计： 根据对问题的一般性的认识，假设随机 变量服从某种分布，分布函数的参数通过训 练数据来估计。 „ 非参数估计： 不用模型，而只利用训练数据本身对概 率密度做估计

3.1参数估计

7 3.1 参数估计

3.1参数估计 ■估计随机变量X的概率密度: 给定某类训练数据一样本 1,2,yn5 ∈9 假设已知所服从的分布形式,待佔计的参 数为O。例如,假定X服从正态分布N(42, 待估参数是O=(A∑)

8 3.1 参数估计 „ 估计随机变量 的概率密度： „ 给定某类训练数据 — 样本 „ 假设已知 所服从的分布形式，待估计的参 数为 。例如，假定 服从正态分布 ， 待估参数是 X , , , , 1 2 n x x L x , d i x ∈ℜ X θ X N(µ,∑) θ = (µ,∑)

3.1参数估计 n最大似然估计( Maximum likelihood 把待估计的参数看作“数”,与后面将要讲 到的 Bayes估计中把θ看作随机变量有区别。 为了描述概率密度函数p(x)与参数的依 赖关系,用p(x;6)表示

9 3.1 参数估计 „ 最大似然估计(Maximum Likelihood): „ 把待估计的参数 看作“数”，与后面将要讲 到的Bayes估计中把 看作随机变量有区别。 „ 为了描述概率密度函数 与参数 的依 赖关系，用 表示。 θ θ p(x) θ p(x;θ )

3.1参数估计 似然函数:∏p(x:0) 等价 对数似然函数:∑lnp(x;) 最大似然估计量bn: 0an= argmax∑lnp(x;O)

10 3.1 参数估计 „ 似然函数： „ 对数似然函数： „ 最大似然估计量 ： ∏ = n i i p x 1 ( ;θ ) ∑ = n i i p x 1 ln ( ;θ ) θ ML ˆ ∑ = = n i ML i p x 1 argmax ln ( ; ) ˆ θ θ θ 等价