中国科学技术大学：《信息论与编码技术》课程教学资源（PPT课件讲稿）第3章 离散信道及其信道容量（主讲：苗付友）

大 195 信息论与编码技术 第3章离散信道及其信道容量 苗付友 mfy@ustc.edu.cn 2019年9月

苗付友 mfy@ustc.edu.cn 2019年9月

本章内容 3.1信道的数学模型及分类 32平均互信息及平均条件互信息 3.3平均互信息的特性 34信道容量及其一般计算方法 3.5离散无记忆扩展信道及其信道容量 3.6独立并联信道及其信道容量 3.7串联信道的互信息和数据处理定理 38信源与信道的匹配 0(0 ash mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 2/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 2/171  3.1 信道的数学模型及分类  3.2 平均互信息及平均条件互信息  3.3 平均互信息的特性  3.4 信道容量及其一般计算方法  3.5 离散无记忆扩展信道及其信道容量  3.6 独立并联信道及其信道容量  3.7 串联信道的互信息和数据处理定理  3.8 信源与信道的匹配

3.1信道的数学模型及分类 )一般信道的数学模型 (2)信道的分类 (3)实际的信道 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 3/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 3/171 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道

3.1信道的数学模型及分类 (1)一般信道的数学模型 ①信道的广义性 ②一般信道的数学模型 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 4/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 4/171 (1) 一般信道的数学模型 ① 信道的广义性 ② 一般信道的数学模型

3.1信道的数学模型及分类 1)一般信道的数学模型 ①信道的广义性 信息论把任何一个有输入、输出的系统都可以看成是一个 信道(物理信道多种多样:简单:滤波器;复杂:国际通 旨线路)。 数学抽象:输入集合与输出集合间的映射关系 信号在信道中传输会引入噪声或干扰,它使信号通过信道 后产生错误和尖。 信道的输入和输出之间一般不是确定的函数关系,而是统 计依赖关系。 知道了信道的输入信景输出信号以及它们之间的依赖关 9 确定了 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 5/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 5/171 (1) 一般信道的数学模型 ① 信道的广义性  信息论把任何一个有输入、输出的系统都可以看成是一个 信道（物理信道多种多样：简单：滤波器；复杂：国际通 信线路）。  数学抽象：输入集合与输出集合间的映射关系  信号在信道中传输会引入噪声或干扰，它使信号通过信道 后产生错误和失真。  信道的输入和输出之间一般不是确定的函数关系，而是统 计依赖关系。  知道了信道的输入信号、输出信号以及它们之间的依赖关 系，信道的全部特性就确定了

3.1信道的数学模型及分类 )一般信道的数学模型 ②一般信道的数学模型 〉信息论对信道的研究:对具体物理信道抽象,建立与各种 信息系统相适应的信道模型,研究信息在这些模型信道上 传输的普遍规律,指导信息系统的设计。 信道模型:不研究信号在信道中传输的物理过程,把信道 模型看作黑匣子。 输入量 输出量 信道 (随机过程) (随机过程) 图3.1.0信道的最一般模型 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 6/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 6/171 (1) 一般信道的数学模型 ② 一般信道的数学模型  信息论对信道的研究：对具体物理信道抽象，建立与各种 信息系统相适应的信道模型，研究信息在这些模型信道上 传输的普遍规律，指导信息系统的设计。  信道模型：不研究信号在信道中传输的物理过程，把信道 模型看作黑匣子。 信道 输入量 X （随机过程） 输出量 Y （随机过程） 图3.1.0 信道的最一般模型

3.1信道的数学模型及分类 (1)一般信道的数学模型 ②一般信道的数学模型 一般,输入和输出信号都是广义的时间连续的随 机信号,可用随机过程来描述。 数学模型的数学符号表示:{XP(YX)Y} P(YX Y 图311一般信道的数学模型 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 7/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 7/171 (1) 一般信道的数学模型 ② 一般信道的数学模型  一般，输入和输出信号都是广义的时间连续的随 机信号，可用随机过程来描述。  数学模型的数学符号表示： {X P(Y/X) Y } X P(Y/X) Y 图3.1.1 一般信道的数学模型

3.1信道的数学模型及分类 (2)信道的分类 ①根据输入输出随机信号的特点分类 根据输入输出随机变量个数的多少分类 ③根据输入输出个数分类 ④根据信道上有无干扰分类 ⑤根据信道有无记忆特性分类 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 8/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 8/171 (2) 信道的分类 ① 根据输入输出随机信号的特点分类 ② 根据输入输出随机变量个数的多少分类 ③ 根据输入输出个数分类 ④ 根据信道上有无干扰分类 ⑤ 根据信道有无记忆特性分类

3.1信道的数学模型及分类 (2)信道的分类 ①根据输入输出随机信号的特点分类 离散信道:输入和输出的随机序列的取值都是离散的信道。 连续信道:输入和输出的随机序列的取值都是连续的信道。 半离散/半连续信道:输入变量取离散值而输出变量取连 续值,或反之 波形信道:信道的输入和输出都是一些时间上连续的随机 信号{x(O和{v(},即信号输入和输出的随机变量是连续 的,并且还随时间连续变化。一般可用随机过程来描述其 输入和输出。波形信道可分解成离散信道、连续信道或半 离散信道来研究。 0(0 ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 9/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 9/171 (2) 信道的分类 ① 根据输入输出随机信号的特点分类  离散信道：输入和输出的随机序列的取值都是离散的信道。  连续信道：输入和输出的随机序列的取值都是连续的信道。  半离散／半连续信道：输入变量取离散值而输出变量取连 续值，或反之.  波形信道：信道的输入和输出都是一些时间上连续的随机 信号 {x(t)} 和{y(t)}，即信号输入和输出的随机变量是连续 的，并且还随时间连续变化。一般可用随机过程来描述其 输入和输出。波形信道可分解成离散信道、连续信道或半 离散信道来研究

3.1信道的数学模型及分类 (2)信道的分类 ②根据输入输出随机变量个数的多少分类 单符号信道:输入和输出端都只用一个随机变量来表 小。 离散无记忆扩展信道(多符号信道):输入和输出端 用随机变量序列(随机矢量)来表示。 ③根据输入翰出个数分类 单用户信道:只有一个输入和一个输出的信道。 多用户信道:有多个输入和多个输出的信道。 单符号与单用户的区别,不要搞混! ash 数题 mfy@ustc.edu.cn 息论与编码技术离散信道及其信道容量 10/171

mfy@ustc.edu.cn 信息论与编码技术-离散信道及其信道容量 10/171 (2) 信道的分类 ② 根据输入输出随机变量个数的多少分类  单符号信道：输入和输出端都只用一个随机变量来表 示。  离散无记忆扩展信道（多符号信道）：输入和输出端 用随机变量序列（随机矢量）来表示。 ③ 根据输入输出个数分类  单用户信道：只有一个输入和一个输出的信道。  多用户信道：有多个输入和多个输出的信道。 单符号与单用户的区别，不要搞混!