东南大学：《随机过程》课程教学资源（PPT课件讲稿）第16讲 离散时间 Markov链

《随机过程》教程 第16讲离散时间 Markov能 东南大学移动通信国家重点实验室 陈明制作 chenming u. edu. cn ftp. seu.edu. cn/ Incoming/ document/随机过程 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 1 《随机过程》教程 第16讲 离散时间Markov链 东南大学移动通信国家重点实验室 陈 明 制作 chenming@seu.edu.cn ftp.seu.edu.cn/incoming/document/随机过程

内容提要 离散时间 Markov链的定义 ■离散时间 Markov链的状态分类 2021/2/22 东南大学无线电工程系 2

2021/2/22 东南大学无线电工程系 2 内容提要 ◼ 离散时间Markov链的定义 ◼ 离散时间Markov链的状态分类

Markov链的定义 ■ Markov链:状态值可数离散的 Markov过程 离散时间 Markov链 连续时间 Markov链 2021/2/22 东南大学无线电工程系 3

2021/2/22 东南大学无线电工程系 3 Markov链的定义 ◼ Markov链：状态值可数离散的Markov过程 ◼ 离散时间Markov链 ◼ 连续时间Markov链

离散时间 Markov链 ■状态概率 状态概率矢量 转移概率 ■转移概率矩阵 2021/2/22 东南大学无线电工程系 4

2021/2/22 东南大学无线电工程系 4 离散时间Markov链 ◼ 状态概率 ◼ 状态概率矢量 ◼ 转移概率 ◼ 转移概率矩阵

C-K方程mm,m)=n(m,)n(G,m) 第m步状态第r步状态 第n步状态 T T iM 丌NJ 丌i;(m,m)=∑丌k(m,T)丌k;(r,n) 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 5 C-K方程

平稳状态概率的求解 P=P∏ N p;=1 元=1 2021/2/22 东南大学无线电工程系 6

2021/2/22 东南大学无线电工程系 6 平稳状态概率的求解

状态的互达 定义 等价类 可约 2021/2/22 东南大学无线电工程系 7

2021/2/22 东南大学无线电工程系 7 状态的互达 ◼ 定义 ◼ 等价类 ◼ 可约

常返和瞬过 首达概率的定义 迟早到达概率 ■常返和瞬过 2021/2/22 东南大学无线电工程系 8

2021/2/22 东南大学无线电工程系 8 常返和瞬过 ◼ 首达概率的定义 ◼ 迟早到达概率 ◼ 常返和瞬过

伏态空间的分解 定义6.4设C是 Markov链的状态空间S的一个子集,即 CcS,如果对任意的状态i∈C,状态jC,均有;(1)=0, 则称状态集合C为闭集 定理66所有常返状态构成闭集。 2021/2/22 东南大学无线电工程系

2021/2/22 东南大学无线电工程系 9 状态空间的分解

状态空间分解定理 定理67(状态空间分解定理)状态空间S必可分解为 S=NUC1UC2U…UCkU 其中N是瞬过状态的集合,C1,C2,…,Ck,…是两两互不相交的 由常返状态组成的闭集,且满足 对每一k,Ck内任意两个状态是互达的; 2)对任意k≠1,和任意i∈Ck和j∈G,i和j互不可达 2021/2/22 东南大学无线电工程系 10

2021/2/22 东南大学无线电工程系 10 状态空间分解定理