西北大学信息科学与技术学院：《信息与编码》课程教学课件（PPT讲稿）第二章 离散信源及其信息测度

第二章离散信源及其信息测度 第一节信源的数学模型及分类 第二节离散信源的信息熵 第三节信息熵的基本性质 第四节离散无记忆的扩展信源 第五节离散平稳信源 第六节马尔可夫信源 第七节信源剩余度与自然语言的熵

第二章 离散信源及其信息测度 第一节 信源的数学模型及分类 第二节 离散信源的信息熵 第三节 信息熵的基本性质 第四节 离散无记忆的扩展信源 第五节 离散平稳信源 第六节 马尔可夫信源 第七节 信源剩余度与自然语言的熵

第一节信源的数学模型及分类 在通信系统中,收信者在未收到信息以前, 对信源发出什么样的消息是不确定的,是随机的, 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息,或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类

第一节 信源的数学模型及分类 在通信系统中，收信者在未收到信息以前， 对信源发出什么样的消息是不确定的，是随机的， 所以可以用随机变量、随机矢量或随机过程来描 述信源输出的消息，或者说用一个样本空间及其 概率测度来描述信源。 不同的信源根据其输出消息的不同的随机性 质进行分类

第一节信源的数学模型及分类 1、离散信源 数学模型如下: X q P P ∑ B1=1 i=1 集合Ⅹ中,包含该信源包含的所有可能输出 的消息,集合P中包含对应消息的概率密度,各 个消息的输出概率总和应该为1。 例:天气预报

第一节 信源的数学模型及分类 1、离散信源 数学模型如下： 1 2 1 2 ... ... q n X a a x P p p p       =       1 1 q i i p =  = 集合X中，包含该信源包含的所有可能输出 的消息，集合P中包含对应消息的概率密度，各 个消息的输出概率总和应该为1。 例：天气预报

第一节信源的数学模型及分类 2、连续信源 数学,模型如下: X (a,b) b p(x) p(x) p(x)dx=1 每次只输出一个消息,但消息的可能数目是无穷 多个 例:电压、温度等

第一节 信源的数学模型及分类 2、连续信源 数学，模型如下： ( , ) ( ) ( ) X a b p x p x     =         ( ) 1 b a p x dx =  每次只输出一个消息，但消息的可能数目是无穷 多个。 例：电压、温度等

第二节离散信源的信息熵 1、自信息 我们认为,一个字符它所携带的信息量是和该字符 出现的概率有关,概率可以表征自信息量的大小 /(a1)=f[P(a1) 根据客观事实和人们的习惯概念,应满足 以下条件:

第二节 离散信源的信息熵 1、自信息 我们认为，一个字符它所携带的信息量是和该字符 出现的概率有关，概率可以表征自信息量的大小 ( ) [ ( )] i i I a f P a = 根据客观事实和人们的习惯概念，应满足 以下条件:

第二节离散信源的信息熵 (1)f(P)应是先验概率的单调递减函数, 当a)>P{(a2)时 f(B)<f(P2) (2)当P(a)=1时f(P)=0 (3)当P(a)=0时f()= (4)两个独立事件的联合信息量应等于它们分别的信息量 之和

第二节 离散信源的信息熵 （2）当 ( ) 1 P ai = 时 ( ) 0 i f P = ( )i （3）当 ( ) 0 时 f P =  P ai = （4）两个独立事件的联合信息量应等于它们分别的信息量 之和。 (1) 应是先验概率的单调递减函数， 即当 时 ( )i f p1 1 2 2 P a P a ( ) ( )  1 2 f P f P ( ) ( ) 

第二节离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数,即: /(1)=log P(a,) (a)有两个含义: 1、当事件发生前,表示该事件发生的不确定性; 2、当事件发生后,标是该事件所提供的信息量 自信息量的单位取决于对数所取的底,若以2 为底,单位为比特,以e为底,单位为奈特,以 0为底,单位为哈特,通常取比特为单位

第二节 离散信源的信息熵 根据上述条件可以从数学上证明这种函数形式是 对数函数，即： 1 ( ) log ( ) i i I a P a = ( )i I a 有两个含义： 1、当事件发生前，表示该事件发生的不确定性； 2、当事件发生后，标是该事件所提供的信息量． 自信息量的单位取决于对数所取的底，若以2 为底，单位为比特，以e为底，单位为奈特，以 10为底，单位为哈特,通常取比特为单位

第二节离散信源的信息熵 例:设天气预报有两种消息,晴天和雨天,出现的概率 分别为14和34,我们分别用a1来表示晴天,以2来表 示雨天,则我们的信源模型如下 p(x)」|1/4,3/4 /(a4)=log4=2 /(a2)=log=0.415

第二节 离散信源的信息熵 例：设天气预报有两种消息，晴天和雨天，出现的概率 分别为1/4和3/4，我们分别用 来表示晴天，以 来表 示雨天，则我们的信源模型如下： 1 a 2 a 1, 2 ( ) 1/ 4, 3/ 4 X a a p x       =       1 I a( ) log 4 2 = = 2 4 ( ) log 0.415 3 I a = =

第二节离散信源的信息熵 2、信息熵 我们定义自信息的数学期望为信源的平均信息量 H(X)=Eg-=∑P(a)gPa) 信息熵具有以下两种物理含义: 1、表示信源输出前信源的平均不确定性 2、表示信源输出后,每个符号所携带的 平均信息量

第二节 离散信源的信息熵 我们定义自信息的数学期望为信源的平均信息量 1 1 ( ) [log ] ( )log ( ) ( ) q i i i i H X E P a P a p a = = = − 信息熵具有以下两种物理含义： 1、表示信源输出前信源的平均不确定性 2、表示信源输出后，每个符号所携带的 平均信息量 2、信息熵

第二节离散信源的信息熵 例:天气预报,有两个信源 X p(x)」1/4,3/4Lp(x)」1/2,1/2 H(x1)=log4+-log=0.809 H(X,=log 2+log2=1 2 说明第二个信源的平均不确定性更大一些

例：天气预报，有两个信源 1 1, 2 ( ) 1/ 4, 3/ 4 X a a p x       =       2 1, 2 ( ) 1/ 2, 1/ 2 X a a p x       =       1 1 3 4 ( ) log 4 log 0.809 4 4 3 H X = + = 2 1 1 ( ) log 2 log 2 1 2 2 H X = + = 则： 说明第二个信源的平均不确定性更大一些 第二节 离散信源的信息熵