电子科技大学：《机器学习 Machine Learning》课程教学资源（课件讲稿）第9章 Markov马尔科夫分类

马尔科夫分类 电子科技大学 师君

电子科技大学 师 君

隐马尔科夫分类 分类器训川练 系统识列

隐马尔科夫分类 分类器训练 系统识别

隐马尔科夫分类 ,序列识别问题 。从某序列（信号/语音/文字）的观测序列，恢复原序列。 Markov → Markov X=[X1,X2,,XK] 2=[01,02,,0k] 0∈{a,b,C,,x,y,z}

 序列识别问题 ◦ 从某序列(信号/语音/文字)的观测序列，恢复原序列。 1 2 [ , ,..., ] K X  x x x Markov 1 2 [ , ,..., ] { , , ,..., , , } K k a b c x y z       Ω

隐马尔科夫分类 ,序列识别的统计模型 。观测的独立同分布假设 ·由于噪声而产生随机性，给定状态条件下，观测量服从独 立同分布。 p(XI,)=p(xx10x) 。状态的马尔可夫假设 ·序列中某个状态出现概率与且只与其前一个状态有关。 P(0K/0K-1,,02,0）=P(0K10k-1)

 序列识别的统计模型 ◦ 观测的独立同分布假设  由于噪声而产生随机性，给定状态条件下，观测量服从独 立同分布。 ◦ 状态的马尔可夫假设  序列中某个状态出现概率与且只与其前一个状态有关。 ( / ) ( / ) i k k k p p x X Ω   1 2 1 1 ( / ,..., , ) ( / ) P P       K K K K   

隐马尔科夫分类 P(2i)=P(0k0k-1,,02,0) ,最优化模型 =P(0,)P(0k/ok-1) 。最大后验概率准则 2*=arg max(P(/X)) -agmaxP(o)P(x!P(o.)pi) k=2

 最优化模型 ◦ 最大后验概率准则 1 2 1 1 1 ( ) ( ,..., , ) ( ) ( / ) i K K k k k P P P P             Ω   1 1 1 1 2 * arg max ( / ) arg max ( ) ( / ) ( / ) ( / ) i k k k k k P P P x P p x                 Ω Ω Ω Ω X

隐马尔科夫分类 26^6=308915776 ，图模型 a b 。利用马尔可夫模型，可 k 得已知观测样本时不同 序列的概率。 。通过动态规划方法通过 M 寻找最优路径获得最大 r 后验概率及与之对应的 V 序列。 Z

 图模型 ◦ 利用马尔可夫模型，可 得已知观测样本时不同 序列的概率。 ◦ 通过动态规划方法通过 寻找最优路径获得最大 后验概率及与之对应的 序列。 a b c m z r ... ... ... M a r k o v 26^6=308915776

隐马尔科夫分类 ,动态规划模型 。动态规划图包含K各阶段，每各阶段由不同状态组成， 当前阶段状态可以转移到下一个阶段的任意状态。 。路径 ·不同阶段状态组成一条路径 r={S四→s2,,s}

 动态规划模型 ◦ 动态规划图包含K各阶段，每各阶段由不同状态组成， 当前阶段状态可以转移到下一个阶段的任意状态。 ◦ 路径  不同阶段状态组成一条路径   [1] [2] [ ] ,..., K i i i r s s s  

隐马尔科夫分类 阶段 1 2 K 漆 ,动态规划模型 % SIKI 。最优路径 W 的 ·代价函数最小/ 状态 Sm 4 大的路径为最优 S 路径。 s

 动态规划模型 ◦ 最优路径  代价函数最小/ 大的路径为最优 路径。 [1] i S [1] 1 S [1] 3 S [2] 2 S [2] 1 S [2] 4 S [ ] k i S [ ] k j S [ ] 2 K S [ ] 1 K S [ ] K J S [2] 3 S 阶段 1 2 … K 状 态 决 策 w

隐马尔科夫分类 ,最优化原理(bellman原理) 。A经过B到达C的最优路径等于A到B的最优路径串联B到C 的最优路径。 。B未知，则遍历其阶段所有状态，选择最优解。 =4y3c=gm+c刃

 最优化原理(bellman原理) ◦ A经过B到达C的最优路径等于A到B的最优路径串联B到C 的最优路径。 ◦ B未知，则遍历其阶段所有状态，选择最优解。   [ 1] [ 1] [ 1 * [ 1] ] argmax k opt opt opt o k s pt opt k k A C A C s f f A s s C                              

隐马尔科夫分类 opt opt ,迭代过程 A→5 opt 。把多阶段过程转化为一系列单阶段问题 A→S 。迭代计算A到各阶段、不同状态的最优路径 opt 43s=A{s-"y→s =ga(e】 动态规划可以得到A到各阶段不同状 态的最优路径

 迭代过程 ◦ 把多阶段过程转化为一系列单阶段问题 ◦ 迭代计算A到各阶段、不同状态的最优路径       [ 1] * [ 1] [ ] [ 1] [ ] * [ 1] [ 1] [ ] arg max , k opt opt k k k i k k k s opt k A s A s s s f d A s s s                         [2] opt A s  i [3] opt A s  i [4] opt A s  i ... ... [ ] opt K A s  i 动态规划可以得到A到各阶段不同状 态的最优路径