《应用随机过程》课程教学课件（PPT讲稿）第5章 Markov链 5.3 极限定理及平稳分布

5.3极限定理及平稳分布 一.极限定理 二.平稳分布与极限分布

5.3 极限定理及平稳分布 一.极限定理 二.平稳分布与极限分布 1

在Markov链的实际应用中，人们常常关心两个问题： (I)当n→oo时，P{Xn=}=p,(n)的极限是否存在？ 注意到，n=∑P,(O)p,”故对()的研究可转化为对p” 的渐近性质的研究.即limp”是否存在？若存在，其极限是否 与状态i有关？Markov链理论中，有关这一问题的定理统称 为遍历定理。 (2)当什么条件下，一个Markov链是一个平稳序列？ 问题(2)的实际上是讨论马尔可夫链平稳分布是否存在 的问题这两个问题之间有密切联系

在Markov链的实际应用中，人们常常关心两个问题： (1)当 n →  时, P X j p n  n j = = ( ) 的极限是否存在？ (2)当什么条件下,一个Markov链是一个平稳序列？ 2 注意到 ，故对(1)的研究可转化为对 的渐近性质的研究.即 是否存在?若存在,其极限是否 与状态 i 有关？Markov链理论中,有关这一问题的定理统称 为遍历定理. ( ( ) (0) n j i ij i S p n p p  = ） n ij p （ ） lim n ij n p → （ ） 问题(2) 的实际上是讨论马尔可夫链平稳分布是否存在 的问题.这两个问题之间有密切联系

一.极限定理 例1设马尔可夫链的状态空间为S={1,2},转移概 率矩阵为 计算 lim p() B a+B Q+B 令0= a+B a+B 则P=QDQ on-or-

例1 设马尔可夫链的状态空间为 转移概 率矩阵为 1 ,0 , 1 1 P         − =       − 计算 ( ) lim . n n P → 令 1 1 0 , 1 0 1 Q D         − = =         − − 一.极限定理 3 则 1 , 1 1 Q           −     + + =     −    + + 1 1 1 1 0 ( ) 0 (1 ) n n n n P QDQ QD Q Q Q   − − −   = = =     − − 1 P QDQ , − = S ={1,2}

r-Qugr-ewg-e0a-2rje B+a(1-a-B)”a&-a(1-ax-B)" a+B a+B B-B(1-a-β)”x+B(1-a-B)” a+B a+B 由于1-a-B<1所以 lim pim 1-0 a+B a+B n→co n-→0 n-→0 B a+B a+B 容易证明， 所有状态是正常返的

由于 所以 ( ) 1 lim lim lim . 1 n n n n n n P P                 → → →       − + + = = =     −         + + 4 |1 |<1, − −   容易证明, 1 1 1 1 0 ( ) 0 (1 ) (1 ) (1 ) (1 ) (1 ) n n n n n n n n P QDQ QD Q Q Q                           − − −   = = =     − −   + − − − − −   + +   =   − − − + − −     + + 所有状态是正常返的

例2 考虑直线上无限制的随机游动，状态空间为 S={0,±1，+2，}转移概率为柳1=P,P-1=1-p. 分析：对于状态0，有P2m=0, "(1-p)"=2n)! p(1-p)]” [4p1-p)r n!n! nVnπ 1 .11 令卫= 则 lim=lim 4××习 -=0. n-→ →00 Nnπ 令 1 p 则 1 2 4×。× limP8w）=lim 22 =0 1 n→0 n-→0 Nnπ 当p= 2 时，状态0是零常返的； 当p≠ 2 时，状态0是非常返的

考虑直线上无限制的随机游动，状态空间为 S =   {0, 1, 2, } 转移概率为 . , 1 , 1 , 1 i i i i p p p p + − = = − 分析：对于状态0，有 (2 1) 00 0, n P + = [4 (1 )]n p p n − 例2 5 (2 ) 00 2 (2 )! (1 ) [ (1 )] ! ! n n n n n n n P C p p p p n n = − = − 令 ，则 1 3 p = (2 ) 00 1 1 4 3 3 lim lim 0. n n n n P → → n         = = 令 ，则 (2 ) 00 1 1 4 2 2 lim lim 0. n n n n P → → n         = = 1 2 p = 当 时， 1 2 p  状态0是零常返的； 当 时， 1 2 p = 状态0是非常返的

基本极限定理 定理1：若状态i是周期为d的常返状态，则 lim p) d n→oo 4 当4=时，=0. 注1：当k非d的倍数时1imp=0; 注2：当是非常返状态时∑pm<o,limp=0. n= 推论：若是零常返状态或非常返状态，则lim p=0

基本极限定理 定理1：若状态 i 是周期为 d 的常返状态，则 ( ) lim nd ii n i d p →  = 当 时， . i =  0 i d  = 注1：当 k 非 d 的倍数时 ； ( ) lim 0 k ii k p → = ( ) ( ) 1 ,lim 0. n n ii ii n n p p  → =    = 6 注2：当 i是非常返状态时 推论：若 i是零常返状态或非常返状态,则 ( ) lim 0. n ii n p → =

推论 若i为常返状态，则 i为零常返状态→lim p=0. 证明 若i为零常返状态，则4=∞， 从而limp)=0.而当m不是d 的整数倍时，pm=0,故limp=0. 反之，若limp”=0.设i为正常返状 态，则0,矛盾

推论 若 i 为常返状态，则 ( ) lim 0. n ii n p → i 为零常返状态  = 7

p的极限性质定理(1) 若j是非常返状态或零常返状态，则对任意的i有 lim p=0. n→0 证明：因为 p=∑fp 对N<n,有 fp0≤2pg+∑， 1=1 l=N+1 先固定N,令n→0，由于p→0，所以立p→0 再令N→9上式右端第二项因∑f≤1而趋于0 1=1 故 limp=0. n→o

若 j 是非常返状态或零常返状态，则对任意的i 有 ( ) lim 0. n ij n p → = 证明：因为 ( ) ( ) ( ) 1 n n l n l ij ij jj l p f p − = =  对N<n,有 ( ) ( ) ( ) ( ) ( ) 1 1 1 , n N n l n l l n l l ij jj ij jj ij l l l N f p f p f − − = = = +     + 的极限性质定理（1） ( ) n ij p 先固定N,令 ，由于 ，所以 N → n →  ( ) 0 n jj p → ( ) 1 1 l ij l f  =   ( ) lim 0. n ij n p → = 8 ( ) ( ) 1 0 N l n l ij jj l f p − =  → 再令 ，上式右端第二项因 而趋于0 故

p的极限性质定理 （2) 若j是正常返态，周期为d,则对任意的i→j,i lim)=d n→c0 4 1≠md时，pd-0=0 因为1之 nd 证明： m=0 对1≤N<n,有 2pp之 m=0 先固定N,令n→o,由于pa→4，所以氵 再令W→o,上式右端第二项因 ￡(md) fm=f而趋于0 m=0 故 f(md)d d 1 4 m=0 m=0 4 9

的极限性质定理（2） ( ) lim . nd ij n j d p →  = 若 j 是正常返态，周期为 d , 则对任意的 i j i S  , 有 ( ) n ij p 9 证明：因为 ( ) ( ) ( ) 1 nd nd l nd l ij ij jj l p f p − = =  对1≤N<n,有 ( ) ( ) ( ) ( ) ( ) ( ) 0 0 1 , N N n md n m d nd md n m d md ij jj ij ij jj ij m m m N f p p f p f − − = = = +      + N → n →  ( ) n m d jj j d p  − → ( ) ( ) 0 0 md n ij ij ij m n f f f   = =  = = ( ) ( ) ( ) 0 0 N N md n m d md ij jj ij m m j d f p f  − = =  → 故 ( ) ( ) 0 n md n m d ij jj m l md f p − = 令 =  ( ) , 0 nd l jj l md p −  = 时 先固定N,令 ，由于 ,所以 再令 ，上式右端第二项因 而趋于0 ( ) ( ) ( ) 0 0 md nd md ij ij ij m m j j d d f p f     = =     = j d  = j d  || 1

p 的极限性质定理(2) 若j是正常返态，周期为d,则对任意的 i←→j,ieS,有 lim Pi (nd) n→0 特别地，当d=1时， 若j是正常返，非周期，则对任意的i←→j,i∈S,有 limp= 1n→c0 10

的极限性质定理（2） ( ) n ij p ( ) lim . nd ij n j d p →  = 若 j 是正常返态，周期为 d , 则对任意的 i j i S  , ，有 ( ) n ij p 的极限性质定理（2） ( ) n ij p 10 特别地, 当 d=1时， ( ) 1 lim . n ij n j p →  = 若 j 是正常返，非周期 , 则对任意的 i j i S  , ，有