《信息论与编码》课程教学课件（PPT讲稿）第二章 信息量和熵

第二章信息量和熵 ●●●●● ●●●● ●●。●●

第二章 信息量和熵

●●●●● ●●●● 信息量和熵 ●●0 ●●● ●●●● ●2.1离散变量的非平均信息量 ●2.2离散集的平均自信息量一熵 ●2.3离散集的平均互信息量 ●24连续随机变量的互信息和熵 ●2.5凸函数和互信息的凸性

信息量和熵 ⚫ 2.1 离散变量的非平均信息量 ⚫ 2.2 离散集的平均自信息量－熵 ⚫ 2.3 离散集的平均互信息量 ⚫ 2.4 连续随机变量的互信息和熵 ⚫ 2.5 凸函数和互信息的凸性

21离散变量的非平均信 息量 ●●●●● ●●●● ●●。●●

2.1 离散变量的非平均信 息量

●●●●● ●●●● 输入,输出空间定义 ●●0 ●●● ●●●● 输入空间X={xk=1,2,,/,概率记为q(x) ·输出空间Y==12…,小概率记为a0y 联合空间XY=仪xM:k=1,2,…=12…,小,概 率为p(Xy) p(xy)=p(×kY)0y)=py×)q(x)

输入，输出空间定义 ⚫ 输入空间X={xk ,k=1,2,…,K},概率记为q(xk ) ⚫ 输出空间Y={yj ,j=1,2,…,J},概率记为ω(yj ) ⚫ 联合空间XY={xkyj ;k=1,2,…,K;j=1,2,…,J}, 概 率为p(xkyj ) p(xkyj )= p(xk |yj )ω(yj )= p(yj |xk )q(xk )

●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● ●例2.1.1 输入消息码字p(x) 收到0 收到01 收到011 X1 000 1/8 14 X2 001 1/8 14 0 X3 010 1/8 14 1/2 X4 011 1/8 14 1/2 X5 100 1/8 X6 101 1/8 110 1/8 0000 0000 00010000 6 1/8

非平均互信息量 ⚫ 例2.1.1 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0

●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● 输入消息码字p(x) 收到0 收到01收到011 X1 000 1/8 1/6 〈2 001 14 1/3 0 X3 010 1/8 1/6 1/3 4 011 14 1/3 2/3 X5 100 1/16 6 101 1/16 X7 110 1/16 0000 0 00010000 X8 111 1/16 0

非平均互信息量 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3 0 0 0 0 0 0 1/3 2/3 0 0 0 0 0 0 0 1 0 0 0 0

●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● ●例2.1.2 输入消息|码字p(x)收到0收到01收到011 X1 000 1/2 1-p 1/2 1-p X2 111 1/2 p 1/2 p -p 0 1-p

非平均互信息量 ⚫ 例2.1.2 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 000 111 1/2 1/2 1-p p 1/2 1/2 1-p p 1-p 1-p 0 0 1 1 p p

●●●●● ●●●● 非平均互信息量 ●●0 ●●● ●●●● I(xk; yi)=f(q(xk),p(xk l yi)) I(k,yi)=1(xk; yi)+1(;yi2 lyD) +1(x;y3|yny2) pOr y) (xk, yi)=log p(y; lxk 10g I(i,xk)

非平均互信息量 ( ; ) ( ( ), ( | )) k j k k j I x y = f q x p x y ( ; | ) ( ; ) ( ; ) ( ; | ) 3 1 2 1 2 1 k j j j k j k j k j j I x y y y I x y I x y I x y y + = + ( ; ) ( ) ( | ) log ( ) ( | ) ( ; ) log j k j j k a k k j k j a I y x y p y x q x p x y I x y = = = 

●●●●● ●●●● 条件互信息和联合事件互信息 ●●0 ●●● ●●●● 个事件集的条件互信息定义为 (;22)=bgp(l4|22) (123) p(41|l3) p(41|2)pD(l23) 可以推广到任意有限多个空间情况

条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =

●●●●● ●●●● 互信息的可加性 ●●0 ●●● ●●●● 2 系统 系统 3 (1;1222=/(1;2)+(l1;1242) =/(1;l3)+(1;l23)

互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +