清华大学：《应用随机过程》课程教学资源（讲义）第三讲 离散时间的Markov链

i大 Tsinghua University 第三讲 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 1 第三讲

i大 Tsinghua University 作业题 1,4,7,8,18,20(1,3)22 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 2 • 作业题 1, 4, 7, 8, 18, 20(1, 3), 22

i大 Tsinghua University 离散时间的 Markov链 预备知识:条件独立性 定义设AB.C为三个随机事件,称事件AC关于事件B条件独立,若满足 P(ACB)=P(A B)P(CB) 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 3 离散时间的Markov链 预备知识：条件独立性

i大 Tsinghua University 设事件A,B,C∈口,若 P(A BC)=P(A BC)=P(AB) P(AC B=P(ABP(C B) P(C)=P(C BA)=P(C B) 称AC关于B条件独立 兮A,C关于B条件独立 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 4 , . ( | ) ( | ) ( | ) , , , 称 关于 条件独立 设事件 若 A C B P AC B P A B P C B A B C = ∈ ￾  = = = = ⇔ ( | ) ( | ) ( | ) ( | ) ( | ) ( | ) P C BA P C BA P C B P A BC P A BC P A B ⇔ A,C关于B条件独立

i大 Tsinghua University 定义,背景与例 X(∈N)可能取值的全体之集称为状态空间记作S.S中的元素称为状态 指标集离散 定义随机序列{xn,n≥0}称为马尔可夫链如果对任意i.i1…,in,i+1∈Sn∈ 及P{X0=i,X1=i,…,Xn=in}>0.有: P(Xn+1=in+1 X0=io X1=i1,.Xn=in)=P(Xn+1=in+1 Xn=in) 刻画了马氏链的特性,称为马尔可夫性(或无后效性,简称马氏性 条件独立 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 5 定义，背景与例 指标集离散 条件独立

i大 Tsinghua University 已知现在,将来关于过去条件独立 可推广到 P(Xnk=in+kIX=i,,,Xn=in) P(X n+kn+k LX=in) 状态子集 设BcS,0≤k≤n-1,k=n+1 P(Xn+1∈BnH1Xo∈B2…,Xxn=1∈Bn12Xn=in) =P(X, ∈B n+1 n+1 LXn=in) 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 6 已知现在，将来关于过去条件独立. 可推广到 ( | ) ( | , , , ) ,0 1, 1 ( | ) ( | , , ) 1 1 1 1 0 0 1 1 1 1 n n n n n n n n n n k n k n k n n n k n k n n P X B X i P X B X B X B X i B S k n k n P X i X i P X i X i X i = ∈ = ∈ ∈ ∈ = ⊂ ≤ ≤ − = + = = = = = = + + + + − − + + + + K K 设 状态子集

i大 Tsinghua University “过去”和”将来”都可以是状态子集;但”现在” 必须是特定状态 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 7 • “过去”和”将来”都可以是状态子集;但”现在” 必须是特定状态

i大 Tsinghua University 定义Vj∈S称P{Xn+1=1X=i≡p1(m)为n时刻的一步转移概率若对 ∈S.(m)三p),与m无关,则称{xn,m≥0}为齐次马氏链记P=(D)称P为 xn,n≥0}的一步转移概率矩阵,简称为转移矩阵(T: ansition matrix) 在已知“现在”的条件下,“将来”与“过去”是独立的 D1(m)表示质点在时刻n由状态i出发,于时刻n+1 转移到状态j的条件概率,而齐次性:p(m)=p; 表示此转移概率与时刻υ无关 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 8

i大 Tsinghua University 设{Xn,n≥0为马氏链,P=(p),其中p;=P(Xn+1=jxn=是一步转移 概率.显然 20.i∈:∑=1,i∈ J∈S 定义称矩阵A=(ω;)s×s为随机矩阵 若a≥0.∈S.且对vi∈S.有∑/saj=1 显然,P=(1;)是一随机矩阵 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 9

i大 Tsinghua University 记丌(n)=P(Xn=i,7()=(r1(1),2(n),…,7;(n)…) 丌(n)表示n时刻xn的概率分布向量.称{r;(0.i∈S}为马氏链的初始分布 由概率的乘法公式及马氏性可知: 即n时刻的分布律 P(X=i0.X1= n P(o=io) P(X1=i1 Xo=io) P(X2=i2 X0=i X1=i1 x0=i0…,xn-1=in-1) P(o=io)P(X1=i Xo=io)P(X2=i2 X1=i1).P(Xn =in Xn n-1=n-1 =T;0(0)3n1P 2004-12-27 应用随机过程讲义第三讲

2004-12-27 应用随机过程讲义 第三讲 10 即n时刻的分布律