《信息理论与编码》课程教学资源（复习小结）第二章 信息的度量

第2章主要概念1.各种自信息量（1）自信息量：I(x）=-logP(x）（2）联合自信息量：I(x，y,）=-logP(xx，y）（3）条件自信息量：I(xly）=-logP(xly,）(4）相互关系：I(x,y,)=I(x)+[(xly,)=I(y,)+I(y,|x)各种自信息量都是非负的2.互信息量P(x,y)=log-P(xly,)（1）互信息量：I(xy)=log-P(x)P(y)P(x)p(x /y,=))（2）条件互信息量：1(x;y,l=）=logp(x 1z)（3）互信息量与自信息量之间的关系：I(x,y,)=I(x)-I(x ly,)=I(,)-I(y, /x)(xsy, /=)=I(x/2,)-I(x 1yj=,)=I(y,/2)-I(y, /x))注意：互信息量不具备非负性质。3.各类KP(x)log P(x)(1) 摘： H(X)=台ZZP(x,y,)log P(x,y)（2）联合焰：H(XY)=k=l j=l（3）条件摘：ZP( ly,)log P(x y)H(XIY =y)=k=lK-EP(x,y,)log P(x ly))H(XIY)=Z P(y,)H(XIY =y,)= -j=l（4）焰、条件摘、联合焰的三者之间的具体关系：H(XY)=H(X)+H(Y IX)=H(Y)+H(X IY)H(XY)≤H(X)+H(Y)H(XIY)≤H(X)H(Y|X)≤H(Y)当且仅当X与Y统计独立时，不等式中的等号成立。（5）炳的链公式H(XX,...X)=H(X)+H(X,IX)+H(X,IX,X,)+...+H(XIX,X,... XN-I)4.平均互信息量（1）平均互信息量：P(x,y,)P(x ly,) (0)0712P(xy)logI(X,Y)=P(x)P(x)P(y)二k=l j=l（2）与之间的关系：

第 2 章主要概念 1. 各种自信息量 （1）自信息量： ( ) log ( ) k k Ix Px = − （2）联合自信息量： ( , ) log ( , ) k j k j Ix y Px y = − （3）条件自信息量： ( | ) log ( | ) k j k j Ix y Px y = − （4）相互关系： (, ) () ( | ) () ( | ) kj k k j j jk Ix y Ix Ix y Iy Iy x =+ =+ 各种自信息量都是非负的. 2. 互信息量 （1）互信息量： (, ) ( | ) ( ; ) log log ( )( ) ( ) k j k j k j k j k Px y Px y Ix y Px Py Px = = （2）条件互信息量： (| ) ( ; | ) log ( |) k ji kji k i px yz Ix y z px z = （3）互信息量与自信息量之间的关系： (; ) () ( | ) () ( | ) (; |) ( |) ( | ) ( |) ( | ) kj k k j j jk k j i k i k ji j i j ki Ix y Ix Ix y Iy Iy x I x y z I x z I x yz I y z I y xz =− =− =− =− 注意：互信息量不具备非负性质。 3. 各类熵 （1）熵： 1 ( ) ( )log ( ) K k k k H X Px Px = = −∑ （2）联合熵： 1 1 ( ) ( , )log ( , ) K J kj kj k j H XY P x y P x y = = = −∑∑ （3）条件熵： 1 1 1 1 ( | ) ( | )log ( | ) ( | ) ( ) ( | ) ( , )log ( | ) K j kj kj k J K J j j kj k j j k j H X Y y Px y Px y H X Y Py H X Y y Px y Px y = = = = = = − = = = − ∑ ∑ ∑∑ （4）熵、条件熵、联合熵的三者之间的具体关系： ( ) ( ) ( | ) () ( | ) ( ) ( ) () ( |) () ( | ) () H XY H X H Y X H Y H X Y H XY H X H Y HXY HX HY X HY = + =+ ≤ + ≤ ≤ 当且仅当 X 与Y 统计独立时，不等式中的等号成立。 （5）熵的链公式 1 2 1 2 1 3 12 12 1 ( ) () ( | ) ( | ) ( | ) N N N H XX X = + + ++ H X H X X H X XX H X XX X −    4. 平均互信息量 （1）平均互信息量： 1 1 1 1 (, ) ( | ) ( ; ) ( , )log ( , )log ( )( ) ( ) K J K J k j k j k j k j k j k j k j k Px y Px y IXY Px y Px y = = Px Py = = P x = ∑∑ = ∑∑ （2）与熵之间的关系：

I(X;Y)= H(X)-H(X IY)=H(Y)-H(YIX)5.DMS扩展信源的：H(XN）=NH(X)6.极限摘：H(X)=limH(X)=limH(X/X,X,Xn-)7.离散信源的信息含量效率和余度H.（1）信息含量效率：n：H.H.(2）余度：=1-n=1-H.8.马尔可夫信源的信息摘（1）马尔可夫链P(X, = S, I Xn-- = St-,X,-2 = St-,".X, = S,)= P(X, = S, IX,-I = S.-（2）马尔可夫信源的信息：H. = H.(X)= lim H(X/X),X2,",Xn-)=H(X.+/X,X,,.,X.)=H.+H + =Z p(S,)H(XIS,)=-ZZ p(S,)p(a... IS,).log p(a... IS)kmul S,S,9.连续随机变量的微分摘和平均互信息量(1)微分：h(X)=-[x(x)logfx(x)dx(2)联合微分摘：h(XY)=-fx(x,y)logfx(x,y)dxdy（3）条件微分：h(X|Y)=-[Jxr (x, y)log xiy (x/y)dxdy（4）各类微分摘之间的关系：h(XY)=h(X)+h(Y /X)=h(Y)+h(X |Y)h(X Y)≤h(X)h(XY)≤ h(X)+h(Y)其中，不等式中等号成立的充要条件是X与Y统计独立。（5）平均互信息量：, Tn(a,)log n() ddyI(X;Y)= Lfx(x)f,(y)Jxr(xy)-dxdy[[fxr(x,y)log-fx(x)I(X;Y)= h(X)-h(X IY)= h(Y)- h(Y IX)= I(Y; X)10.最大微分摘（1）幅值受限条件下，随机变量服从均匀分布时，微分摘最大，最大微分摘为h(X)=log(b-a)（2）方差受限条件下，随机变量服从高斯分布时，微分摘最大，最大微分焰为I11.摘功率：P=-e2h(x)2元e

IXY H X H X Y HY HY X ( ;) ( ) ( | ) () ( | ) = − =− 5. DMS 扩展信源的熵： H(X ) NH(X ) N = 6. 极限熵： 12 1 ( ) lim ( ) lim ( | ) N NN N N H X H X H X XX X ∞ − →∞ →∞ = =  7. 离散信源的信息含量效率和冗余度 （1）信息含量效率： 0 H H η ∞ = （2）冗余度： 0 1 1 H H γ η ∞ =− =− 8. 马尔可夫信源的信息熵 （1）马尔可夫链 { | } { | , , } 1 1 2 1 1 1 2 1 − − − = = = = = = = − − − n n n n n n i n i n i n i n i i P X S X S P X S X S X S X S （2）马尔可夫信源的信息熵： 1 1 2 m 1 1 2 N-1 ( | , , , ) ( ) lim ( | , , , ) + + →∞ ∞ ∞ = = = = m m N N H X X X X H H H X H X X X X   ( ) ( | ) ( ) ( | ) log ( | ) 1 1 1 1 j k j k j k S j j S m H p S H X S p S p a S p a S m m j m j + + + = ∑ = −∑∑ • + 9. 连续随机变量的微分熵和平均互信息量 （1）微分熵： ( ) ( )log ( ) X X h X f x f x dx ∞ −∞ = −∫ （2）联合微分熵： ( ) ( , )log ( , ) XY XY h XY f x y f x y dxdy ∞ ∞ −∞ −∞ = −∫ ∫ （3）条件微分熵： | ( | ) ( , )log ( | ) XY X Y h X Y f x y f x y dxdy ∞ ∞ −∞ −∞ = −∫ ∫ （4）各类微分熵之间的关系： h XY h X h Y X h Y h X Y ( ) ( ) ( | ) () ( | ) = + =+ ( |) () ( ) ( ) () hX Y hX h XY h X h Y ≤ ≤ + 其中，不等式中等号成立的充要条件是 X 与Y 统计独立。 （5）平均互信息量： | (, ) ( ; ) ( , )log () () (|) ( , )log ( ) XY XY X Y X Y XY X f xy I X Y f x y dxdy f xf y f xy f x y dxdy f x ∞ ∞ −∞ −∞ ∞ ∞ −∞ −∞ = = ∫ ∫ ∫ ∫ I X Y h X h X Y hY hY X IY X ( ;) ( ) ( | ) () ( | ) (; ) = − =− = 10. 最大微分熵 （1）幅值受限条件下，随机变量服从均匀分布时，微分熵最大，最大微分熵为 hX b a ( ) log( ) = − （2）方差受限条件下，随机变量服从高斯分布时，微分熵最大，最大微分熵为 11. 熵功率： 1 2( ) 2 h X P e πe =