隐马尔科夫模型和词性标注（PPT课件讲稿）

隐马尔科夫模型和词性标注

隐马尔科夫模型和词性标注

大纲 隐马尔科夫模型 隐马尔科夫模型概述 任务1:计算观察序列的概率 任务2:计算能够解释观察序列的最大可能 的状态序列 任务3:根据观察序列寻找最佳参数模型 词性标注

大纲 • 隐马尔科夫模型 – 隐马尔科夫模型概述 – 任务1：计算观察序列的概率 – 任务2：计算能够解释观察序列的最大可能 的状态序列 – 任务3：根据观察序列寻找最佳参数模型 • 词性标注

隐马尔科夫模型概述

隐马尔科夫模型概述

马尔科夫链 二。状态序列X12X2X 常常是“时序”的 从X:1到X的转换只依赖于X1 1 X2 3 X4

马尔科夫链 • 状态序列: X1 , X2 , X3 , … – 常常是“时序”的 • 从Xt-1到Xt的转换只依赖于Xt-1 X1 X2 X3 X4

转移概率 Transition probabilities 假设一个状态X有N个可能的值 X=S1,X=S2…,Xt 转移概率的数量为:N2 -P(X=S|x1=s),1≤i,jN s转移概率可以表示为N×N的矩阵或者有 向图

转移概率 Transition Probabilities • 假设一个状态Xt有N个可能的值 – Xt=s1 , Xt=s2 ,….., Xt=sN. • 转移概率的数量为：N2 – P(Xt=si |Xt-1=sj ), 1≤ i, j ≤N • 转移概率可以表示为N×N的矩阵或者有 向图

MM · Bigram MM(阶MM B lgram case e 012 sum of out oing probs =1 0.30.4 88 0.4 oa)=01° p(toe)=.6×88×1=528 02

MM • Bigram MM(一阶MM)

MM Trigram MM二阶MM) e n e 0.6 0.12> 20,c 如ox(n,e 88 0.4 0.0 093 on p(toe)=6×88×07=.037 plone)-=

MM • Trigram MM(二阶MM)

有限状态自动机 状态:输入输出字母表中的符号 弧:状态的转移 仍然是WMM( Visible mm)

有限状态自动机 • 状态：输入输出字母表中的符号 • 弧：状态的转移 • 仍然是VMM (Visible MM)

HMM ·HMM,从状态产生输出 e 2 0.6 012 Q304Q88 0.4 3p43)=014 0.2 ptoe)=.6×88×1=.528

HMM • HMM，从状态产生输出

HMM ·HMM,不同状态可能产生相同输出 0.6 0.12 9.304 0.4 34)=0341p(o0)=.6×88×1+ 0.2 4×.1×1=.568

HMM • HMM，不同状态可能产生相同输出