清华大学：《应用随机过程》课程教学资源（讲义）第六讲 连续时间马氏链

苯大学 singhua University 第六讲 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 1 第六讲

苯大学 singhua University 作业题 2,3,10,16,19,20(1) 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 2 • 作业题 2，3，10，16，19，20(1)

苯大学 Tsinghua University 连续时间马氏链 仍记状态空间为S={0,1,2,…} 定义设随机过程X={X(+)t≥0对于任意00就有 PX(n+1)=in+1X(to)=io, X()=i1,.,X(tn)=in PIX(tn+1=in1 X(tn)=in 1 则称{x(t,t≥0}为连续参数马尔可夫链简称连续参数马氏链 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 3 连续时间马氏链

苯大学 Tsinghua University 若对于任意8,t≥0.,∈S,有 P{X(8+t)=1X(s)=i}=P{X(+)=jX(0)=i≡P;(t 称X为齐次马氏链,本章仅讨论齐次马氏链 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 4

苯大学 singhua University 称P()=(P3(t)(∈S)为转移概率矩阵.易知,它满足 (P.1)P;(t)≥0.i,,∈S (P2)∑P1(t)= ,t∈S ∈S (P.3)P3;(8+t)=∑Pk(s)B31(t),s,t≥0.i,i∈S k∈S (P3)式通常称为 Chapman-Kolmogorov方程 (P4)P(0)=61,6;=1,6;=0(≠i) 本章还附加所谓标准性条件 (P.5)imP(t)=6j(即P(t)在原点连续) t→0 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 5

苯大学 singhua University 令丌(t)=P(X(t)=,m(t)=(m(t),i∈S) 称π(0)=(x;(0,i∈S)为初始分布向量 丌(t)=(0)P(t) 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 6 ( ) (0) ( ) (0) ( (0) ) . ( ) ( ( ) ), ( ) ( ( ) ) t P t i S t P X t i t t i S i i i π π π π = = ∈ = = = ∈ 称 ， 为初始分布向量 令 ， π π π

苯大学 Tsinghua University 命题若P(t)=(P;(t)为标准性转移概率矩阵,则对任意给定i∈S.P(在 (.,×)上一致连续,且对j亦一致成立 证由CK方程,对Vt,h>0 P(t+b)-P2(t)=∑P2(h3(t)-P(1-P;(小 k≠i 由此得P3(t+b)-P3(t)≤∑Pb)B1()≤∑P(b)=1-P2(b) k 以及P1(t+h)-P1(t)≥-P;(+)(1-P(b)≥-(1-P;(h) 从而有 P1(t+h)-P1(+)|≤1-P;(b) 类似地,当h<0时,有Pt)-P1(t+b)≤1-P(h) 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 7

苯大学 singhua University 转移率矩阵Q矩阵 定理61.1对i∈S极限 1-P:(t) ===1一存在,但可能是无限 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 8

苯大学 singhua University 证首先,由标准性条件(imPa(t)=1)可知,对任意面定t>0.,当n充分大时, t 有P(t/n)>0.再由CK方程(P(8+t)=∑k∈sPk(s)P(t)2P(sP(t).可得: P(t)≥(Pt/n)>0.即Pa(t)>0.t≥0.故可以定义dt)=-hnPa(t)它非负有 限,且由于Ps+1)2P(8P(),有+1≤)+小,令9=1p>091,下面要 证极限存在,且即为其上确界.显然 0≤q≤x, limsup<q 所以以下只须证下极限 liminf yi≥g t→0 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 9

苯大学 singhua University 任给0<h<t,取n=[=t-h[]=t-mh,则0<E<h φ(t)nhd(h),d(E) + 注意到,当h→0+时,→0,"→1.d)=-hmP(E)→0 故"1≤ lim inf,得≤ K liminf,从而=1i 由d(t)定义得 1-e-oit (t q t→0 2005-1-13 应用随机过程讲义第六讲

2005-1-13 应用随机过程讲义 第六讲 10 [ ], [ ] t nh, 0 h, ht t h ht n = ε = − ⋅ = − 则 < ε <