东南大学：《随机过程》课程教学资源（PPT课件讲稿）第17讲 连续时间 Markov链

《随机过程》教程 第17拼连续的间 Markov链 东南大学移动通信国家重点实验室 陈明制作 chenming u. edu. cn ftp. seu.edu. cn/ Incoming/ document/随机过程 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 1 《随机过程》教程 第17讲 连续时间Markov链 东南大学移动通信国家重点实验室 陈 明 制作 chenming@seu.edu.cn ftp.seu.edu.cn/incoming/document/随机过程

内容提要 ■状态停留时间 状态微分方程 ■生灭过程 暂态解 ■稳态解 状态转移图 有限状态的生灭过程 嵌入 Markov链 2021/2/22 东南大学无线电工程系 2

2021/2/22 东南大学无线电工程系 2 内容提要 ◼ 状态停留时间 ◼ 状态微分方程 ◼ 生灭过程 ◼ 暂态解 ◼ 稳态解 ◼ 状态转移图 ◼ 有限状态的生灭过程 ◼ 嵌入Markov链

基本概念 状态概率 状态概率矢量 状态转移概率 ■状态转移矩阵 2021/2/22 东南大学无线电工程系 3

2021/2/22 东南大学无线电工程系 3 基本概念 ◼ 状态概率 ◼ 状态概率矢量 ◼ 状态转移概率 ◼ 状态转移矩阵

伏态停留时间 定理6.11设Ⅺ(t)是连续时间的 Markov链,则Ⅹ(t)停留于 某一给定状态的时间是一个指数型随机变量。 2021/2/22 东南大学无线电工程系 4

2021/2/22 东南大学无线电工程系 4 状态停留时间

伏态微分方程 =m"(6) 丌;(hb) m h->0b h-}0 n(t)=∑mn2(t) i∈S 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 5 状态微分方程

生灭过程的定义 定义67设连续时间 Markov过程X(t)的状态集为S={0,1 2,…},其状态转移概率π;(t)=P{X(t+n)=jX(u)=i}和 无关,即 Markov链X(t)是齐次的。若x;j(t)满足以下条件,则称 X(t)为生灭过程: 1)丌;,计+1(h)=入h+o(h),元≥0; 2)丌i,-1 (h)=p1hb+o(h),i≥1 3)丌i(h)=1-(与;+p)h+o(h); 4)7n(0)=1;丌;(0)=0,≠j 5)40=0;对a≥1有1>0;对i≥0有A>0。 2021/2/22 东南大学无线电工程系 6

2021/2/22 东南大学无线电工程系 6 生灭过程的定义

生灭过程的状态方程 定理612生灭过程X(t)的状态概率p(t)满足下列微分方 程 p(t)=A-1p-1(t)-(A+p1)p(t)+p2+1p2+1(),i≥ Q0)=-M0()+1p(O (6.31) 2021/2/22 东南大学无线电工程系 7

2021/2/22 东南大学无线电工程系 7 生灭过程的状态方程

稳态解 通过暂态解得到 通过稳态方程得到 ■稳态解存在的条件 ∑ oA1入2……Az-1 11/213… 2021/2/22 东南大学无线电工程系 8

2021/2/22 东南大学无线电工程系 8 稳态解 ◼ 通过暂态解得到 ◼ 通过稳态方程得到 ◼ 稳态解存在的条件

稳态解的状态转移图 入 入2 3 图67生灭过程的状态转移率图 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 9 稳态解的状态转移图

有限状态的生灭过程 po(t) 入omo(t)+p1P1() p2(1)=入z-1p2-1()-(入+z)p2()+12+1p+1(1)1≤i≤K K-1(t)+kpk(t) (6.51) 令Q为下列矩阵 0 1 )入 0 (6.52) K-1+K F-1 所以 d dt (6.53) 2021/2/22 东南大学无线电工程系 10

2021/2/22 东南大学无线电工程系 10 有限状态的生灭过程