电子科技大学：《随机过程及应用 Stochastic Processes and Applications》课程教学资源（课件讲稿）第6章 马尔科夫过程 第2节 离散参数马尔科夫链与遍历性（马氏链序列）

§6.2马氏链序列（一） 设{X(t),t∈T为马氏过程，称“X(t)=x"”为 过程在t时刻处于状态x”, 记E={xX(t)=x,t∈T称为过程的状态空间. 若E是可数集，称{X(t),t∈T是马氏链， 若指标集T是可数集，称{X(t),t∈T是马氏 序列. 电子科技大学

电子科技大学 §6.2 马氏链序列(一) 记 E={x X(t)=x, t∈T} 称为过程的状态空间. 若E 是可数集, 称{X(t),t∈T}是马氏链. 若指标集T 是可数集, 称{X(t),t∈T}是马氏 序列

本节讨论状态空间E和参数集T都是可列 集的马尔科夫链。 马尔科夫链的理论系统而深入，在自然科 学、工程技术及经济管理各领域有广泛的应 用。 、 定义及例 定义6.2.1设{X(m),≥0}为随机变量序 列，状态空间E={0,1,2,…},如果对于任意非 负整数k及n1<n2<..n,<m,以及 inn,,in,m3tk∈E, 技大学

电子科技大学 本节讨论状态空间E和参数集T都是可列 集的马尔科夫链. 马尔科夫链的理论系统而深入，在自然科 学、工程技术及经济管理各领域有广泛的应 用. 定义6.2.1 设{X(n), n≥0} 为随机变量序 列, 状态空间E={0,1,2,…},如果对于任意非 负整数 k 及n1< n2<… nr <m，以及 一、定义及例 , , , , , , 1 2 in in in im im k E r   

P(X(m+k)=imtk X(n)=i1,...,X(n,)=in,X(m)=im) =P(X(m+k)=ink X(m)=im 成立，称{X(n),n≥0}为离散参数马氏链. 定理6.2.1（等价定义）随机变量序列{X(), 20}的状态空间E={0,1,2,…},如果对于任意 非负整数m,以及o,i1,…,im,im+1∈E, P{X(m+1)=im+i X(m)=im,X(m-1)=im-1...,X(0)=io P(X(m+1)=im X(m)=im 电子科技大学

电子科技大学 P{X(m+k)=im+k | X(n1)=i1 , …,X(nr)=inr , X(m)=im} = P{X(m+k)= im+k | X(m)=im} 成立,称{X(n), n≥0} 为离散参数马氏链. 定理6.2.1 (等价定义) 随机变量序列{X(n), n≥0} 的状态空间E={0,1,2,…},如果对于任意 非负整数m，以及 , , , , , i0 i1  im im1  E P{X(m+1)= im+1 | X(m)= im ,X(m－1)=im－1 , …,X(0)=i0} = P{X(m+1)=im+1 | X(m)=im}

成立，是{X(n),n≥0}为离散参数马氏链的充分 必要条件. 注必要性显然，充分性自证. 定义6.2.2设{X(n):n≥0}为马氏链，状 态空间为E={0,1,2,…},称条件概率 p(m)=P(X(m+k)=jX(m)=i 为马氏链在m时刻的k步转移概率。 特别p(m)=P{X(+1)=jX(m)=i} 称为一步转移概率。 电子科技大学

电子科技大学 注 必要性显然，充分性自证. 成立,是{X(n), n≥0} 为离散参数马氏链的充分 必要条件. 定义6.2.2 设{X(n):n≥0} 为马氏链，状 态空间为E={0,1,2,…},称条件概率 为马氏链在m 时刻的k 步转移概率. ( ) { ( ) ( ) } ( ) p m P X m k j X m i k ij     特别 称为一步转移概率. ( ) { ( 1) ( ) } (1) p m P X m j X m i ij    

表示在时刻m时X(m取i值的条件下， 在下一时刻叶1时，X(+1)取j值的概率. 注定理6.2.1说明可由一步转移概率验证 时间序列的马氏性。 EX.1在股票交易过程中令状态空间为 E={-1,0,1}。各状态分别代表“下跌”、 持平”、 “上升” 时间集T={0,1,2,…}(单位周)，将股票交易过程 转化马氏链{X(n),n≥0}.因对任意时刻m有 电子科技大学

电子科技大学 表示在时刻m 时X(m)取 i 值的条件下， 在下一时刻m+1时 , X(m+1)取j 值的概率. 注 定理6.2.1说明可由一步转移概率验证 时间序列的马氏性. 时间集T={0,1,2,…}(单位周),将股票交易过程 转化马氏链{X(n), n≥0}. 因对任意时刻m有

P(X(m+1)=im X(m)=imX(m-1)=im-12...X(0)=io) =P{X(m+1)-inl X(m)-i=p(m) 注例中有 1)p(m)≥0；（付m≥0，及i,j∈E)为 2)∑p(m)=1,(i∈E,m≥0. 电子科技大学

电子科技大学 P{X(m+1)=im+1 | X(m)=im ,X(m－1)=im－1 , …,X(0)=i0} 1) ( ) 0; ( 0, , ); (1) pij m  m  及i j  E       j E 2) pij (m) 1, (i E, m 0). (1) 注 例中有

EX.2迷宫问题定时观 察老鼠位于哪一个房间？ 状态空间E={1,2,3}, X(n)为第n次观察时 老鼠所处位置， 在时刻n,老鼠处于各状态的概率只与第n一 1次时所处状态与转移概率有关，而与第一 1次前的状态无关 老鼠的随机转移状态运动过程是一个马氏链， 电子科技大学

电子科技大学 1 2 3 状态空间 E={1, 2, 3 } , X(n)为第n 次观察时 老鼠所处位置, EX.2 迷宫问题 定时观 察老鼠位于哪一个房间？ 老鼠的随机转移状态运动过程是一个马氏链

EX.3设X(n),n=1,2,..是相互独立随机变 量，令 P219 Y(m)=[X(I)+X(2)+…+X(m2n=1,2, 习题2 证明：{Y(n),n=1,2,}是马尔科夫链. 证记Sn=X()+X(2)+…+X(m,n=1,2,… 则Y(m)=S2={X(1)+X(2)+…+X(n-1)]+X(m}2 =[Sn-1+X(n)=S7-1+2Sn-1X(m)+[X(n 且X(n)与Y(1)=S,Y(2)=S2,,Y(n-1)=S 分别相互独立 电子科技大学

电子科技大学 EX.3 设X(n), n=1,2, …是相互独立随机变 量, 令 Y(n)  [X(1)  X(2)  X(n)]2 n  1,2, 证明：{Y(n),n  1,2,}是马尔科夫链. P219 习题2 证 记 Sn  X(1)  X(2)  X(n), n  1,2, 2 2 Y(n) S {[X(1) X(2) X(n 1)] X(n)} 则  n      2 1 2 1 2 1 [S X(n)] S 2S X(n) [X(n)]  n   n  n  2 2 2 1 2 1 ( ) (1) , (2) , , ( 1) X n Y S Y S Y n Sn 且 与      分别相互独立

P{Y(m)=ynY()=1,Y(2)=y'2,…Y(n-1)=ym-1} =PS2+2SaXm）+X(2=jyS=,…S21=y.} =P{y1+2Vyn-1Xm)+X(n=ynS=乃1，…，S2=y-} 因X()与S,S2,…,S2均相互独立故 P{Y(m)=ynY()=J1,Y(2)=Jy2,…Y(n-1)=ym-i} =P{y-+2VyX(+[X()=nS=Jy,…,S21=y} P(y+2yX(n)+[X(n)=y.3 (1) 电子科技大学

电子科技大学 { ( ) (1) , (2) , ( 1) } 1 2 1      n n P Y n y Y y Y y Y n y { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 21          n n n n n P S S X n X n y S y  S y { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 1         n n n n n P y y X n X n y S y  S y 因X(n)与S1 2 , S2 2 ,, Sn 21均相互独立,故 { 2 ( ) [ ( )] , , }1 2 1 1 2 1 2 1 1         n n n n n P y y X n X n y S y  S y { ( ) (1) , (2) , ( 1) } 1 2 1      n n P Y n y Y y Y y Y n y { 2 ( ) [ ( )] } (1) 2 n 1 n 1 n  P y  y X n  X n  y  

另一方面 P(Y(n)=yY(n-1)=yn-} P(Vn-1+2n-1X(n)+[X(n)P=yn S21=ya-1) =P{yn-1+2Vym-1X(n)+[X(m)2=yn}(2) 比较(1)和(2)得 PY(m)=ynY(I)=1,Y(2)=2,…,Y(n-1)=ym1} =P(Y(n)=ynY(n-1)=yn-1} 即{Y(n),n=1,2,}是马尔科夫链. 电子科技大学

电子科技大学 另一方面 { ( ) ( 1) } 1    n n P Y n y Y n y { 2 ( ) [ ( )] }1 2 1 2 1 1        n n n n n P y y X n X n y S y { 2 ( ) [ ( )] } (2) 2 n 1 n 1 n  P y  y X n  X n  y   比较(1)和(2)得 1 2 1 { ( ) (1) , (2) , , ( 1) } P Y n n n y Y y Y y Y n y        { ( ) ( 1) }   n   n1 P Y n y Y n y 即{Y(n),n  1,2,}是马尔科夫链