《信息理论与编码》课程教学课件（讲稿）第2章 信息的度量 2.8 离散有记忆信源的熵 2.9 马尔可夫信源的信息熵

2.8离散有记忆信源的熵一、N阶平稳信源的熵为联合熵H(XN)= H(X,X, ·..X)bit / N长符号串1H(XN)或 H(X)N一H(X,X-..XN)bi /符号A

2.8 离散有记忆信源的熵 一、N阶平稳信源的熵为联合熵 1 1 ( ) ( ) / N N H X H X X X bit  N 长符号串 N 1 1 1 ( ) ( ) 1 ( ) / N N H X H X N H X X X bit N   或 符号

二、对于离散有记忆信源，一般考虑其极限熵H.(X)= lim Hn(X)N81= limH(X,X,·..X)bit /符号N8N

二、对于离散有记忆信源，一般考虑其 极限熵 1 2 ( ) lim ( ) 1 lim ( ) / N N N N H X H X H X X X bit N      符号

三、熵的性质1、H(X)是非增的，有界的0≤H(X)≤Hn-I(X)≤...≤H(X)≤Ho(X)<80（证明见姜丹，信息论于编码第二版，中国科技大学出版社）

三、熵的性质 1、HN (X)是非增的，有界的 1 1 0 0 H ( ) H ( ) H ( ) H ( ) N N X X X X         (证明见姜丹，信息论于编码第二版，中国科技 大学出版社)

其中，H,(X)=H(X)，是X为DMS时的熵；Ho(X)=Hmax(X)，是X为等概分布时max的熵，即最大熵

其中， H1 (X)=H(X)，是X为DMS时的熵； H0 (X)=Hmax(X)，是X为等概分布时 的熵，即最大熵

推论1：信源内部有关联（也称有记忆），会使熵降低，当然实在信息也会降低。推论2：H(X)存在；若X是无记忆的，有H(XN)= lim7NH(X)=H(X)H.(X)= limN入因为信源的实在信息在数值上等于其平均不确定性，因此，一般有I(X)=H。(X)

推论1：信源内部有关联（也称有记忆），会使熵 降低，当然实在信息也会降低。 推论2：H∞ (X)存在； 1 1 ( ) lim ( ) lim ( ) ( ) ( ) ( ) N N N X H X H X NH X H X N N I X H X         若 是无记忆的，有 因为信源的实在信息在数值上等于其平均不确定 性，因此， 一般有 ；

2.9马尔可夫信源的信息熔2.9.1马尔可夫链一、概念设随机序列(Xn,nET)为一马尔可夫过程，T={0,1,2,为离散的时间参数集合,X,E状态空间集S={St,S2,,S}

2.9 马尔可夫信源的信息熵 2.9.1 马尔可夫链 一、概念    1 2  { , } 0,1,2, , , , , n n J XnT T X S S S S    设随机序列 为一马尔可夫过程， 为离散的时间参数集合， 状态空间集 ＝

若对所有正整数nET如果条件概率均满足P(X, = S, I Xn-1 = Si-, Xn= S..,.-",X, = S,3n-21= P(X, = S, I Xn- = Si.- n-1则称随机过程(Xn,nE T)为一个马尔可夫链

1 2 1 1 1 2 1 1 { | , , , } { | } { , } n n n n n n i n i n i i n i n i n n T P X S X S X S X S P X S X S X n T                若对所有正整数 ， 如果条件概率均满足 则称随机过程 为一个马尔可夫链

直观含义：如果系统在n-1时刻处于状态S1,则在将来时刻n的状态S,与过去时刻n-2,….1的状态Sn-2,Sn-1..S,无关，仅与现在时刻n-1的状态S,-有关。即已知系统的现在，系统的将来与过去无关

直观含义：如果系统在n-1时刻处于状态Sn- 1 ,则在将来时刻n的状态Sn与过去时刻n- 2,.,1的状态Sn-2 ,Sn-1 ,.,S1无关，仅与现在 时刻n-1的状态Sn-1有关。 即 已知系统的现在，系统的将来与过去无关

1、马尔可夫链的初始分布：在马尔可夫链中，记(Pi,ieS),P,=p[X。=i)≥0,ieS且满足P;=1,ies为马尔可夫链的初始分布

1、马尔可夫链的初始分布：  , , 0,   0  1, i i i i S p i S p p X i i S p         在马尔可夫链中， 记 且满足 为马尔可夫链的初始分布

2、马尔可夫链的k步转移概率：p((m)= P[Xm+k = jl Xm=i)i,jes当k-1时称为一步转移概率：p(' (m) = p,(m)

2、马尔可夫链的k步转移概率：   ( ) ( ) | , k ij m k m p m P X j X i i j S      当k=1时称为一步转移概率： (1) ( ) ( ) ij ij p m p m 