中国科学技术大学：《信息论与编码技术》课程教学资源（PPT课件讲稿）第2章 离散信源及其信息测度

大 1模 信息论与编码技术 第2章离散信源及其信息测度 苗付友 mfy@ustc.edu.cn 2019年9月

苗付友 mfy@ustc.edu.cn 2019年9月

本章内容 2.1信源的数学模型及分类 2.2离散信源的信息熵 2.3信息熵的基本性质和定理 2.4离散无记忆的扩展信源 2.5离散平稳信源 2.6马尔可夫信源 2.7信源剩余度与自然语言的熵 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 2/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 2/159  2.1 信源的数学模型及分类  2.2 离散信源的信息熵  2.3 信息熵的基本性质和定理  2.4 离散无记忆的扩展信源  2.5 离散平稳信源  2.6 马尔可夫信源  2.7 信源剩余度与自然语言的熵

2.1信源的数学模型及分类 信源消息或消息序列包含信息 关注信源的各种可能的输出以及输出各消息的不确 定性 信源描述:概率空间(样本空间+概率测度) 随机变量描述消息 随机矢量描述消息 随机过程描述消息 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 3/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 3/159  信源 消息或消息序列 包含信息  关注信源的各种可能的输出以及输出各消息的不确 定性  信源描述：概率空间（样本空间+概率测度） ◦ 随机变量描述消息 ◦ 随机矢量描述消息 ◦ 随机过程描述消息

2.1.1随机变量描述信源消息 1)一维离散信源 适用场景:信源可能输出的消息数是有限或可数的,且 每次只输出一个消息 例子:扔一颗质地均匀的骰子,研究下落后朝上一面的 点数。 特点: 1每次实验只出现一个点数(消息) 2每个点数的出现是随机的; 3点数必定为1,2,3,4,5,6中的某一个; 0因此:符号集A:{a1a2,a3,a4,a5,a6}表示基本消息集合;离 散型随机变量X描述信源输出的消息,其样本空间为A;X的概 率分布即为各消息出现的先验概率:P(X=a1)=P(X= a2)2…PX=a6)=16.7a0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 4/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 4/159  1）一维离散信源  适用场景：信源可能输出的消息数是有限或可数的，且 每次只输出一个消息。  例子：扔一颗质地均匀的骰子，研究下落后朝上一面的 点数。  特点： ◦ 1.每次实验只出现一个点数（消息）； ◦ 2.每个点数的出现是随机的； ◦ 3.点数必定为1,2,3,4,5,6中的某一个； ◦ 因此：符号集A：{a1 , a2 , a3 , a4 , a5 , a6 } 表示基本消息集合；离 散型随机变量X描述信源输出的消息，其样本空间为A; X的概 率分布即为各消息出现的先验概率: P(X= a1 )=P(X= a2 )=…P(X= a6 )=1/6

2.1.1随机变量描述信源消息 因此,该信源的数学模型为: 孑 4 P(x) 6 66 ∑P(a)=10≤P(a)≤1i=1,2.6 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 5/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 5/159  因此，该信源的数学模型为：

2.1.1随机变量描述信源消息 该类信源特点: 输出都是单个符号的消息,符号集取值有限或可数 维离散型随机变量X描述,即离散信源。 数学模型:单符号离散型概率空间 X P(X」(p(x1),p(x)…,p(x) 0≤(x)≤1,∑px)=1 一随机变量,指的是信源整体 x1一随机事件的某一结果或信源的某个元素(消息) p(x)=PX=x)=随机事件X发生某一结果x的概率 是有限正整数或可数无限大 mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 6/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 6/159  该类信源特点： ◦ 输出都是单个符号的消息，符号集取值有限或可数 ◦ 一维离散型随机变量X描述，即离散信源。  数学模型：单符号离散型概率空间 X — 随机变量，指的是信源整体 xi — 随机事件的某一结果或信源的某个元素（消息） p(xi )=P(X=xi ) — 随机事件X 发生某一结果xi 的概率。 n 是有限正整数或可数无限大 0 ( ) 1 ( ) 1 1    = = n i i i p x ， p x       =      ( ), ( ) , ( ) , ( ) 1 2 1 2 n n p x p x p x x x x P X X  

2.1.1随机变量描述信源消息 2)一维连续信源 丶连续信源:如语音信号某时间的连续取值数据 一维连续型随机变量X描述 数学模「X1=「(a,b) R 或 P(r) b(r> p(r) 满足」p(xdx=1或|(x)dx=1 R R为实数集,p(×)为连续型随机变量的X的密度函数,概率空间满足完备性。 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 7/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 7/159 2）一维连续信源  连续信源：如语音信号某时间的连续取值数据  一维连续型随机变量X描述  数学模型为连续型概率空间 满足 R为实数集,p(x)为连续型随机变量的X的密度函数，概率空间满足完备性

2.1.2随机矢量描述信源消息 适用场景: 0信源输出的消息由一系列符号序列组成,其中每个符号的 出现是不确定的、随机的。 例子: 中文自然语言作为信源:中文信源的样本空间A为所有汉 字和标点符号的集合。汉字和标点符号构成的序列即为中 文句子和文章(即消息)。注意:每个汉字和标点符号的 出现时随机、不确定的。 特点: 信源输出的消息为按一定概率选取的符号序列,时间或空 间上离散的一系列随机变量(随机矢量) ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 8/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 8/159  适用场景： ◦ 信源输出的消息由一系列符号序列组成，其中每个符号的 出现是不确定的、随机的。  例子： ◦ 中文自然语言作为信源: 中文信源的样本空间A为所有汉 字和标点符号的集合。汉字和标点符号构成的序列即为中 文句子和文章（即消息）。注意：每个汉字和标点符号的 出现时随机、不确定的。  特点： ◦ 信源输出的消息为按一定概率选取的符号序列，时间或空 间上离散的一系列随机变量（随机矢量）

2.1.2随机矢量描述信源消息 消息的描述:N维随机矢量x=(X1X2X,N为有限 正整数或可数的无限值,X为离散随机变量。 离散平稳信源: 信源输出随机矢量=(X1X2X,其中的每个离散型随机 变量X在任意两个不同的时刻分布相同。即X的各维概率 分布都与时间起点无关-任意两个不同的时刻随机矢量X 的各维概率分布相同 连续平稳信源 信源输出消息可用N维随机矢量化=(X1X2…X描述,每 个随机分量取值为连续的连续型随机变量,且化的各维概 率密度函数与时间起点无关。 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 9/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 9/159  消息的描述：N维随机矢量X =(X1X2…XN), N为有限 正整数或可数的无限值, Xi为离散随机变量。  离散平稳信源： ◦ 信源输出随机矢量X =(X1X2…XN), 其中的每个离散型随机 变量Xi在任意两个不同的时刻分布相同。即X的各维概率 分布都与时间起点无关--任意两个不同的时刻随机矢量X 的各维概率分布相同。  连续平稳信源 ◦ 信源输出消息可用N维随机矢量X =(X1X2…XN),描述，每 个随机分量取值为连续的连续型随机变量，且X的各维概 率密度函数与时间起点无关

2.1.2随机矢量描述信源消息 平稳信源: 0无记忆信源,有记忆信源 离散无记忆信源 信源输出的随机矢量(X1X2…X)中,各个离散型随机 变量X之间的无依赖、统计独立的。即 P(x=P(X,X2.XN)=P(XDP2(X2). PN(XN=I,P(X) (因为是平稳信源,即P1(X1=P2(X2)=…=PNX)) 。如果各个离散随机变量X取值于同一符号集A:{a12,a Px=a)=P(a1a2a、)=∏=P(an) G=(a2an2.a1)为N维随机矢量一个取值,P(an)为符号集A的 维概率分布 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信源及其信息测度 10/159

mfy@ustc.edu.cn 信息论与编码技术-离散信源及其信息测度 10/159  平稳信源： ◦ 无记忆信源，有记忆信源  离散无记忆信源 ◦ 信源输出的随机矢量X=(X1X2…XN) 中，各个离散型随机 变量Xi之间的无依赖、统计独立的。即  P(X)=P(X1X2…XN) =P1 (X1 ) P2 (X2 )… PN(XN)= （因为是平稳信源，即P1 (X1 )= P2 (X2 )=… =PN(XN)。） ◦ 如果各个离散随机变量Xi取值于同一符号集A：{a1 ,a2 ,…aq} ◦ 为N维随机矢量一个取值， 为符号集A的 一维概率分布 = N i Xi 1 P( ) = = =  = N i i i i k i N k P(x ) P(a a ...a ) 1 P(a )  1 2 i = (ai1 ai2 ...aiN ) P(aik )