国防科技大学：《系统工程原理》课程教学课件（讲稿）第7章 系统预测（5/5）7.6 马尔可夫预测（Markov）

7.6马尔可夫预测

7.6 马尔可夫预测

S5.NUDTMarkov预测原理1、Markov过程■状态与状态转换若对研究对象考虑一系列随机试验，其中每次试验的结果如果出现在有限个两两互斥的事件集E={E1,E2.,En]中，且仅出现其中一个，则称事件E,EE为系统的状态。若事件E出现，则称系统处在状态Ei。状态是研究对象随机试验样本空间的一个划分，系统可能在不同状态之间相互转换。国防科技大学信息系统与管理学院?

2 国防科技大学信息系统与管理学院 S5.NUDT 1、Markov过程  状态与状态转换 若对研究对象考虑一系列随机试验，其中每 次试验的结果如果出现在有限个两两互斥的事 件集 E={E1 ,E2 ,.,En} 中，且仅出现其中一个，则称事件Ei∈E为系统 的状态。若事件Ei出现，则称系统处在状态Ei。 状态是研究对象随机试验样本空间的一个划 分，系统可能在不同状态之间相互转换。 一、Markov预测原理

S5.NUDTMarkov预测原理-Markov过程现实中有这样一类随机过程，在系统状态转移过程中，系统将来的状态只与现在的状态有关，而与过去的状态无关。这种性质叫做无后效性，符合这种性质的状态转移过程，叫作马尔可夫过程。时间和状态都离散的一系列马尔可夫过程的整体又称为马尔可夫链国防科技大学信息系统与管理学院3

3 国防科技大学信息系统与管理学院 S5.NUDT 一、Markov预测原理 Markov过程 现实中有这样一类随机过程，在系统状态转移 过程中，系统将来的状态只与现在的状态有关，而 与过去的状态无关。这种性质叫做无后效性，符合 这种性质的状态转移过程，叫作马尔可夫过程。 时间和状态都离散的一系列马尔可夫过程的整 体又称为马尔可夫链

S5.NUDT、Markov预测原理2、状态转移概率矩阵设系统共有N个状态，记作S1，S2，..，SN，则用状态向量[S1，S2，..,Sn］T表示。设在tn-1时刻系统处在S;状态之下，t,时刻系统状态变为Si，则称在第n次状态转移中，系统由状态S;转移到Si，且这种状态转移的概率记为p[Xn=S;|Xn-1=SPii (i,j=1,...,N; n=1,2,...)这里p与n无关，只与i,j有关，即只与转移前后的状态有关，称为马尔可夫链的一步转移概率国防科技大学信息系统与管理学院4

4 国防科技大学信息系统与管理学院 S5.NUDT 2、状态转移概率矩阵 设系统共有N个状态，记作S1，S2，.，SN，则 用状态向量［S1，S2，.,SN］T表示。设在tn-1时刻 系统处在Si状态之下，tn时刻系统状态变为Sj，则称 在第n次状态转移中，系统由状态Si转移到Sj，且这 种状态转移的概率记为 p{xn=Sj|xn-1=Si} pij (i,j=1,.,N；n=1,2,.) 这里pij与n无关，只与i,j有关，即只与转移前后的状 态有关，称为马尔可夫链的一步转移概率。  一、Markov预测原理

S5.NUDT、Markov预测原理例1：出租公司车站租、还车一步转移概率。还车机场风景区宾馆00.80.2机场租00.20.8风景区车0.20.60.2宾馆00.80.2Pl1P13P1200.8P=0.2P21P22P230.20.20.6LP31P32P33 .国防科技大学信息系统与管理学院5

5 国防科技大学信息系统与管理学院 S5.NUDT 例1：出租公司车站租、还车一步转移概率。 0 0.8 0.6 0.2 0 0.2 0.8 0.2 0.2 机场 风景区 宾馆 租 车 机场 风景区 宾馆 还车 11 12 13 21 22 23 31 32 33 0.8 0.2 0 0.2 0 0.8 0.2 0.2 0.6 p p p P p p p p p p               一、Markov预测原理

S5.NUDTMarkov预测原理■一步转移概率矩阵如果系统有N个状态，则一步转移概率矩阵如下:P11P12PiNP22P21P2NP=·..-Pn2_Pn1PNN国防科技大学信息系统与管理学院6

6 国防科技大学信息系统与管理学院 S5.NUDT  一步转移概率矩阵 如果系统有N个状态，则一步转移概率矩阵如 下： 11 12 1 21 22 2 1 2 N N N N NN p p p p p p P p p p              一、Markov预测原理

S5.NUDT、Markov预测原理概率矩阵的特点NP, ≥0, Zp,=1ie(1,2,...,N)j=l正规概率矩阵若概率矩阵P的m次幂Pm的所有元素皆为正，则该概率矩阵P称为正规概率矩阵。固定向量当任一非零向量u=(ui uh ..un)左乘某nXn方阵A，其结果仍为U，即uA=U时，u为A的固定向量。国防科技大学信息系统与管理学院

7 国防科技大学信息系统与管理学院 S5.NUDT  概率矩阵的特点   正规概率矩阵 若概率矩阵P的m次幂Pm的所有元素皆为正， 则该概率矩阵P称为正规概率矩阵。  固定向量 当任一非零向量u=(u1 u2 . un)左乘某n×n方 阵A，其结果仍为u，即uA=u时，u为A的固定向量。 1 0, 1 {1,2, , } N ij ij j p p i N       一、Markov预测原理

S5.NUDTMarkov预测原理正规概率矩阵的性质正规概率矩阵P有一个固定概率向量u，且u的元素皆为正，此向量叫做特征向量。■正规概率矩阵P的各次幂序列P，P2，P3，...将趋向于方阵U，且U的每一行均为其固定概率向量u若F为任一概率向量，则向量序列FP，FP2，FP3，...将趋近于P的固定概率向量u。国防科技大学信息系统与管理学院8

8 国防科技大学信息系统与管理学院 S5.NUDT  正规概率矩阵的性质  正规概率矩阵P有一个固定概率向量u，且u的元素 皆为正，此向量叫做特征向量。  正规概率矩阵P的各次幂序列P，P2 ，P3 ，.将趋 向于方阵U，且U的每一行均为其固定概率向量u。  若F为任一概率向量，则向量序列FP，FP2 ， FP3 ，.将趋近于P的固定概率向量u。 一、Markov预测原理

S5.NUDT、Markov预测原理正规马尔可夫链及其稳定状态若某事物状态转移概率可以表达为正规概率矩阵，则该马尔可夫链就是正规的，通过若干步转移，最终会达到某种稳定状态，即其后再转移一次、二次、..，结果不再变化，这时稳定状态可用行向量X表示X =(xi,X2,..xn)YZx =1i-1可见该行向量X就是此正规概率转移矩阵的固定概率向量国防科技大学信息系统与管理学院9

9 国防科技大学信息系统与管理学院 S5.NUDT  正规马尔可夫链及其稳定状态 若某事物状态转移概率可以表达为正规概 率矩阵，则该马尔可夫链就是正规的，通过若干 步转移，最终会达到某种稳定状态，即其后再转 移一次、二次、.，结果不再变化，这时稳定状 态可用行向量X表示， 1 2 1 ( , , ) 1 n n i i X x x x x      可见该行向量X就是此正规概率转移矩阵的固定概率向量。 一、Markov预测原理

S5.NUDTMarkov预测原理固定概率向量的求解示例例2：设某事物从状态S、S2、S,转移到状态Si、S2S.的转移概率矩阵为正规概率矩阵PStSS0.25S.0.50.2500.50.5p= S2S30.250.250.5国防科技大学信息系统与管理学院10

10 国防科技大学信息系统与管理学院 S5.NUDT  固定概率向量的求解示例 例2：设某事物从状态S1、S2、S3转移到状态S1、S2、 S3的转移概率矩阵为正规概率矩阵P， 1 2 3 1 2 3 0.5 0.25 0.25 0.5 0 0.5 0.25 0.25 0.5 S S S S p S S        一、Markov预测原理