《信息论与编码技术》课程教学课件（讲稿）第二章 离散信源及其信息测度

信息论与编码技术第2章离散信源及其信息测度2024

2024

本章内容2.1信源的数学模型及分类2.2离散信源的信息熵2.3信息的基本性质和定理2.4离散无记忆的扩展信源2.5离散平稳信源2.6马尔可夫信源2.7信源剩余度与自然语言的熵2/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 2/159  2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

2.1信源的数学模型及分类信源一一消息或消息序列一包含信息，关注信源的各种可能的输出以及输出各消息的不确定性信源描述：概率空间（样本空间+概率测度）随机变量描述消息随机矢量描述消息随机过程描述消息3/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 3/159  信源 消息或消息序列 包含信息  关注信源的各种可能的输出以及输出各消息的不确 定性  信源描述：概率空间（样本空间+概率测度） ◦ 随机变量描述消息 ◦ 随机矢量描述消息 ◦ 随机过程描述消息

2.1.1随机变量描述信源消息1）一维离散信源，适用场景：信源可能输出的消息数是有限或可数的，且每次只输出一个消息。，例子：扔一颗质地均匀的殷子，研究下落后朝上一面的点数。。特点：1.每次实验只出现一个点数（消息）：2.每个点数的出现是随机的；3.点数必定为1,2,3,4,5,6中的某一个：。表示：，符号集A={a1,a2，a3，a4，as，a6}表示基本消息集合；离散型随机变量x描述信源输出的消息，其样本空间为A：的概率分布即为各消息出现的先验概率：P(X= a1)=P(X= a2)=...P(X= a)=1/64/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 4/159 1）一维离散信源  适用场景：信源可能输出的消息数是有限或可数的，且每次 只输出一个消息。  例子：扔一颗质地均匀的骰子，研究下落后朝上一面的点数。 ◦ 特点：  1.每次实验只出现一个点数（消息）；  2.每个点数的出现是随机的；  3.点数必定为1,2,3,4,5,6中的某一个； ◦ 表示：  符号集A= {a1 , a2 , a3 , a4 , a5 , a6 } 表示基本消息集合；离散型随机变量X描 述信源输出的消息，其样本空间为A; X的概率分布即为各消息出现的先 验概率: P(X= a1 )=P(X= a2 )=.P(X= a6 )=1/6

2.1.1随机变量描述信源消息、因此，该信源的数学模型为：a21aata,as-ag，，6P(a,) =10≤P(a)≤1,i=1,2,..6-15/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 5/159  因此，该信源的数学模型为：

2.1.1随机变量描述信源消息、该类信源特点：。输出都是单个符号的消息，符号集取值有限或可数。一维离散型随机变量X描述，即离散信源。，数学模型：单符号离散型概率空间XI了xx，xP(X)/-(p(x),p(x2)..,p(x,)Zp(x,)=10 ≤ p(x)≤1,i=lX一随机变量，指的是信源整体x；一随机事件的某一结果或信源的某个元素（消息）p(x)=P(X=x)一随机事件X发生某一结果x;的概率。n是有限正整数或可数无限大6/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 6/159  该类信源特点： ◦ 输出都是单个符号的消息，符号集取值有限或可数 ◦ 一维离散型随机变量X描述，即离散信源。  数学模型：单符号离散型概率空间 X — 随机变量，指的是信源整体 xi — 随机事件的某一结果或信源的某个元素（消息） p(xi )=P(X=xi ) — 随机事件 X 发生某一结果xi 的概率。 n 是有限正整数或可数无限大 0 ( ) 1 ( ) 1 1    = = n i i i p x ， p x       =      ( ), ( ) , ( ) , ( ) 1 2 1 2 n n p x p x p x x x x P X X  

2.1.1随机变量描述信源消息2）一维连续信源、连续信源：如语音信号某时间的连续取值数据一维连续型随机变量X描述X(a.b)TR、数学模或p(a)pr)8满足p()dx=1或p(r)drR为实数集,p(x)为连续型随机变量的X的密度函数，概率空间满足完备性。7/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 7/159 2）一维连续信源  连续信源：如语音信号某时间的连续取值数据  一维连续型随机变量X描述  数学模型为连续型概率空间 满足 R为实数集,p(x)为连续型随机变量的X的密度函数，概率空间满足完备性

2.1.2随机矢量描述信源消息、适用场景：。信源输出的消息由一系列符号序列组成，其中每个符号的出现是不确定的、随机的。、例子：中文自然语言作为信源：中文信源的样本空间A为所有汉字和标点符号的集合。汉字和标点符号构成的序列即为中文句子和文章（即消息）。注意：每个汉字和标点符号的出现时随机、不确定的。√特点：。信源输出的消息为按一定概率选取的符号序列，时间或空间上离散的一系列随机变量（随机矢量）8/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 8/159  适用场景： ◦ 信源输出的消息由一系列符号序列组成，其中每个符号的 出现是不确定的、随机的。  例子： ◦ 中文自然语言作为信源: 中文信源的样本空间A为所有汉字 和标点符号的集合。汉字和标点符号构成的序列即为中文 句子和文章（即消息）。注意：每个汉字和标点符号的出 现时随机、不确定的。  特点： ◦ 信源输出的消息为按一定概率选取的符号序列，时间或空 间上离散的一系列随机变量（随机矢量）

2.1.2随机失量描述信源消息>消息的描述：N维随机矢量X=(X,X...X~),N为有限正整数或可数的无限值，X为离散随机变量、离散平稳信源：。信源输出随机矢量=(X,XX~),其中的每个离散型随机变量x在任意两个不同的时刻分布相同。即的各维概率分布都与时间起点无关--任意两个不同的时刻随机矢量的各维概率分布相同。、连续平稳信源。信源输出消息可用N维随机矢量=(X,X..X~),描述，每个随机分量取值为连续的连续型随机变量，且的各维概率密度函数与时间起点无关9/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 9/159  消息的描述：N维随机矢量X =(X1X2.XN ), N为有限正 整数或可数的无限值, Xi为离散随机变量。  离散平稳信源： ◦ 信源输出随机矢量X =(X1X2.XN ), 其中的每个离散型随机变 量Xi在任意两个不同的时刻分布相同。即X的各维概率分布 都与时间起点无关-任意两个不同的时刻随机矢量X的各维 概率分布相同。  连续平稳信源 ◦ 信源输出消息可用N维随机矢量X =(X1X2.XN ),描述，每个随 机分量取值为连续的连续型随机变量，且X的各维概率密 度函数与时间起点无关

2.1.2随机失量描述信源消息>平稳信源：。无记忆信源，有记忆信源、离散无记忆信源信源输出的随机失量x=(X,X2..X)中，各个离散型随机变量X之间是无依赖、统计独立的。即: P(2)=P(X1X2...Xn) =P1(X1) P2(X2)...P(X)=IIN=1 P(X,)(因为是平稳信源，即P(X1)=P2(X2)=. =Pα(Xn)。)。如果各个离散随机变量x,取值于同一符号集A={ai,α2...a})2P(x = β) = P(aitai..ain)=P(aik)k=i。β;=(aiaiz..ain)为N维随机矢量一个取值，P(ai)为符号集A的一维概率分布10/159信息论与编码技术一离散信源及其信息测度

信息论与编码技术-离散信源及其信息测度 10/159  平稳信源： ◦ 无记忆信源，有记忆信源  离散无记忆信源 ◦ 信源输出的随机矢量 X=(X1X2.XN) 中，各个离散型随机变量Xi之 间是无依赖、统计独立的。即  P(X)=P(X1X2.XN) =P1 (X1 ) P2 (X2 ). PN(XN)=ς𝒊=𝟏 𝑵 𝑷 𝑿𝒊 （因为是平稳信源，即 P1 (X1 )= P2 (X2 )=. =PN(XN)。） ◦ 如果各个离散随机变量Xi取值于同一符号集𝐴 = {𝑎1 , 𝑎2 , . 𝑎𝑞} ◦ 𝜷𝒊 = (𝒂𝒊𝟏 𝒂𝒊𝟐 . 𝒂𝒊𝑵 )为N维随机矢量一个取值， ◦ 𝑷(𝒂𝒊𝒌 )为符号集A的一维概率分布 𝑷(𝒙 = 𝜷𝒊) = 𝑷(𝒂𝒊𝟏 𝒂𝒊𝟐 . . .𝒂𝒊𝑵 ) = ෑ 𝒌=𝟏 𝑵 𝑷(𝒂𝒊𝒌 )