《信息论》课程PPT教学课件：第二章 信息量和熵

第二章信息量和熵 ●●●●●

第二章 信息量和熵

●●● ●●●● ●●●●● ●●●● 信息量和熵 ●●●●● ●●●● ●21离散变量的非平均信息量 2.2离散集的平均自信息量一熵 ●23离散集的平均互信息量 ●24连续随机变量的互信息和熵 ●25凸函数和互信息的凸性

信息量和熵 ⚫ 2.1 离散变量的非平均信息量 ⚫ 2.2 离散集的平均自信息量－熵 ⚫ 2.3 离散集的平均互信息量 ⚫ 2.4 连续随机变量的互信息和熵 ⚫ 2.5 凸函数和互信息的凸性

21离散变量的非平均信 息量 ●●●●●

2.1 离散变量的非平均信 息量

●●● ●●●● ●●●●● ●●●● 输入,输出空间定义 ●●●●● ●●●● 输入空间X={xbk=12,…,},概率记为q(xk) 输出空间y=y=1,2,…丹,概率记为o(y 联合空间XY={xy:k=1,2,…K=1,2,…,/},概率 为p(xy) p(xwy=p(xxlyoly=p(yjlxxqxR

输入，输出空间定义 ⚫ 输入空间X={xk ,k=1,2,…,K},概率记为q(xk ) ⚫ 输出空间Y={yj ,j=1,2,…,J},概率记为ω(yj ) ⚫ 联合空间XY={xk yj ;k=1,2,…,K;j=1,2,…,J}, 概率 为p(xk yj ) p(xk yj )= p(xk |yj )ω(yj )= p(yj |xk )q(xk )

●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● ●例2.1.1 输入消息码字p(x)收到0收到01收到01 X1 000 1/8 1/4 0 X2 001 1/8 1/4 X3 010 1/8 1/4 12 X4 011 1/8 1/4 12 X5 100 1/8 X6 101 18 000 1/8 0000 00010000 110 X8 1111/8

非平均互信息量 ⚫ 例2.1.1 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/4 1/4 1/4 1/4 0 0 0 0 0 0 1/2 1/2 0 0 0 0 0 0 0 1 0 0 0 0

●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● 输入消息码字p(x) 收到0 收到01收到011 X1 000 1/8 1/6 0 X2 001 1/4 1/3 0 0 X3 010 1/8 1/6 1/3 X4 011 1/4 1/3 2/3 100 1/16 X6 101 1/16 X7 110 1/16 0000 0000 X8 111 1/16

非平均互信息量 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 X3 X4 X5 X6 X7 x8 000 001 010 011 100 101 110 111 1/8 1/4 1/8 1/4 1/16 1/16 1/16 1/16 1/6 1/3 1/6 1/3 0 0 0 0 0 0 1/3 2/3 0 0 0 0 0 0 0 1 0 0 0 0

●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● ●例2.1.2 输入消息码字|p4)收到0收到01收到01 X1 0001/2 p 1/2 1-p X2 1111/2 1/2 1-p 0 0 p

非平均互信息量 ⚫ 例2.1.2 输入消息 码字 p(xk ) 收到0 收到01 收到011 X1 X2 000 111 1/2 1/2 1-p p 1/2 1/2 1-p p 1-p 1-p 0 0 1 1 p p

●●● ●●●● ●●●●● ●●●● 非平均互信息量 ●●●●● ●●●● I(: yi)=f(q(k),P(xklyi)) I(xk: y=l(xk;yi1+I(xk; yi2 +I( k2vj3 Vivir) kiVi)=lg p(r k a qxp) PO lxk Lloga a(,)

非平均互信息量 ( ; ) ( ( ), ( | )) k j k k j I x y = f q x p x y ( ; | ) ( ; ) ( ; ) ( ; | ) 3 1 2 1 2 1 k j j j k j k j k j j I x y y y I x y I x y I x y y + = + ( ; ) ( ) ( | ) log ( ) ( | ) ( ; ) log j k j j k a k k j k j a I y x y p y x q x p x y I x y = = = 

●●● ●●●● ●●●●● ●●●● 条件互信息和联合事件互信息 ●●●●● ●●● 个事件集的条件互信息定义为 /(41;l213)=log p(,u3 pD(l423) p(l4|3) (4|2)D(243) 可以推广到任意有限多个空间情况

条件互信息和联合事件互信息 ⚫ 三个事件集的条件互信息定义为 ⚫ 可以推广到任意有限多个空间情况 ( | ) ( | ) ( | ) log ( | ) ( | ) ( ; | ) log 1 3 2 3 1 2 3 1 3 1 2 3 1 2 3 p u u p u u p u u u p u u p u u u I u u u = =

●●● ●●●● ●●●●● ●●●● 互信息的可加性 ●●●●● ●●●● 系统 系统 (1:12)=/(1:2)+(1;12412) =f(l1:13)+(l1;212

互信息的可加性 系统 u1 u2 u3 系统 u1 u2 u3 ( ; ) ( ; | ) ( ; ) ( ; ) ( ; | ) 1 3 1 2 3 1 2 3 1 2 1 3 2 I u u I u u u I u u u I u u I u u u = + = +