中山大学：《信息与编码》课程教学课件（PPT讲稿）习题讲解

习题讲解

习题讲解

第二章习题 2.4解:X女孩是大学生 女孩身高16m以上 P(X)=0.25P(y)=0.5P(y×)=0.75 p(x/y=P(xy)=p(x)p(/x) 0.25.0.75 p(y) ply 05=0.375 I(x/y)=-log2 p(x/y)=-log2 11415(bit) 0.375 获得的信息量是1.415bit

2.4 解： x：女孩是大学生 y：女孩身高1.6m以上 P(x)=0.25 P(y)=0.5 P(y/x)=0.75 第二章习题 2 2 ( ) ( ) ( / ) 0.25 0.75 ( / ) 0.375 ( ) ( ) 0.5 1 ( / ) log ( / ) log 1.415( ) 0.375 1.415 p xy p x p y x p x y p y p y I x y p x y bit bit  = = = = = − = − = 获得的信息量是

第二章习题 2.6 (a)=2VO.375=1.396 8 /(a2)=-log=2 /(a3)=-log=2 4 (a2)=-log=3 8 (1)(消息)=14/(a)+13(a)+12/(a3)+6/(a1)=87544 (2)87544 1945 45

第二章习题 2.6 1 3 ( ) log log 0.375 1.396 8 I a = − = − = 2 1 ( ) log 2 4 I a = − = 3 1 ( ) log 2 4 I a = − = 2 1 ( ) log 3 8 I a = − = (1) ( ) 1 2 3 4 I I a I a I a I a bit 消息 = + + + = 14 ( ) 13 ( ) 12 ( ) 6 ( ) 87.544 (2) 87.544 1.945 45 =

第二章习题 X 2.9设信源 P(X)0.20.190.180.170.160.17 求这信 源的熵,并解释为什么H(X)>log26不满足信源熵的极值性。 解:H(X)=∑p(x)log2p(x,) [0.2log20.2+0.19log20.19+0.18log20.18 +2(0.17log20.17)+0.16log20.16 2.66(bit/symbol) log26=2.58 ∑p(x,)=0.2+0.19+0.18+0.17+0.16+0.17=17>1 概率空间不满足归一化 不满足最大离散熵定理

第二章习题 1 2 3 4 5 6 2 6 2 1 2 2 2 2 2 , ( ) 0.2 0.19 0.18 0.17 0.16 0.17 ( ) log 6 ( ) ( )log ( ) [ 0.2log 0.2 0.19log 0.19 0.18log 0.18 2(0.17log 0.17) 0.16log 0.16 2.66( / i i i X x x x x x x P X H X H X p x p x bit symb =       =        = − = − + + + + =  设信源 求这信 源的熵，并解释为什么 不满足信源熵的极值性。 解： 2 6 1 ) log 6 2.58 ( ) 0.2 0.19 0.18 0.17 0.16 0.17 1.07 1 i i ol p x = =  = + + + + + =    概率空间不满足归一化 不满足最大离散熵定理 2.9

第二章习题 213(1)每个象素亮度所含的信息量为 H(X)=log10=3.32 每帧图像所含的信息量为: H(X)=NH(X)=5*1031og10=1.66*10° 每秒钟的信息率为: R1=30H(X)=498*10

第二章习题 2.13 (1)每个象素亮度所含的信息量为： H X( ) log10 3.32 = = 每帧图像所含的信息量为： 5 6 ( ) ( ) 5*10 log10 1.66*10 N H X NH X = = = 每秒钟的信息率为： 7 1 30 ( ) 4.98*10 N R H X = =

第二章习题 213(2)每个象素色度所含的信息量为 H(Y)=log30=4.91 亮度和色度彼此独立 H(XY=H(X+H(Y=log 10+log 30=8.23 H(Xr) log=2.5 H(X log 10

第二章习题 2.13 (2)每个象素色度所含的信息量为： H Y( ) log 30 4.91 = = 亮度和色度彼此独立 ( ) ( ) ( ) log10 log 30 8.23 ( ) log 300 2.5 ( ) log10 H XY H X H Y H XY H X = + = + = = =

第二章习题 2.18(1)是平稳的 (2)H(x)=H(04)=-04l0g04+060g06)=097 H(X2)=2H(X)=2×0.97=1.94 H(X3X1X2)=H(X3)=H(X)=097 lim H,(X=H(X)=0.97 N→∞ (3)H(X2)=2H(X)=4×097=388 0000,0001,0010,0011,0100,0101,0110,0111 1000,1001,1010,1011,1100,1101,1110,1111

第二章习题 2.18 (1)是平稳的 (2) 2 H X H X ( ) 2 ( ) 2 0.97 1.94 = =  = H X H ( ) (0.4) (0.4log 0.4 0.6log 0.6) 0.97 = = − + = 3 1 2 3 H X X X H X H X ( / ) ( ) ( ) 0.97 = = = lim ( ) ( ) 0.97 N N H X H X → = = (3) 2 H X H X ( ) 2 ( ) 4 0.97 3.88 = =  = 0000,0001,0010,0011,0100,0101,0110,0111 1000,1001,1010,1011,1100,1101,1110,1111

第二章习题 2.22(1)Q(E)=P P(0)=pP(0)+P(1)+P(2) P(1)=pP(1)+P(0 )+P(2) P(2)=pP(2)+P(1)+P(0) 解得 (0)=P(1)=P(2)

第二章习题 2.22 (1) (0) (0) (1) (2) 2 2 (1) (1) (0) (2) 2 2 (2) (2) (1) (0) 2 2 p p P pP P P p p P pP P P p p P pP P P  = + +     = + +   = + +   ( ) ( ) Q E P a i i = 1 (0) (1) (2) 3 P P P = = = 解得：

第二章习题 222(2) H2=H2=∑QE,)H(X/E) =P(OH(X/0)+P(1)H(X/1)+P(2)H(X/2) 3*H(p =(plog万-2*P1nP 322 -plog p-pIog (3):H(X)=log3=1.585

第二章习题 2.22 (2) 3 2 1 ( ) ( / ) (0) ( / 0) (1) ( /1) (2) ( / 2) 1 3* ( , , ) ( log 2* log ) 3 2 2 2 2 log log 2 i i i H H Q E H X E P H X P H X P H X p p p p H p p p p p p p  = = = = + + = = − − = − −  （3）： H X( ) log 3 1.585 = =

第二章习题 2.22(4) Ho=-plog p-plog =(1- p)log(1-p)-plogp+p 2 求导数得: OH op(1-p)log(p)plogp+p log(1-p)+ In 2 logp In +1 2 2(1 og lo。21-P)02(1-p)=1P=3 P

第二章习题 2.22 (4) log log (1 )log(1 ) log 2 p H p p p p p p p p  = − − = − − − + 求导数得： (1 )log(1 ) log 1 1 log(1 ) log 1 ln 2 ln 2 2(1 ) log H p p p p p p p p p p   = − − − − +  = − + − − + − = 2(1 ) 2(1 ) 2 log 0 1 3 p p p p p − − = = =