《信息论与编码技术》课程教学课件（讲稿）第三章 离散信道及其信道容量

信息论与编码技术第3章离散信道及其信道容量2024

2024

本章内容信道的数学模型及分类3.1平均互信息及平均条件互信息3.2平均互信息的特性3.3信道容量及其一般计算方法3.43.5离散无记忆扩展信道及其信道容量3.6独立并联信道及其信道容量￥3.7串联信道的互信息和数据处理定理￥3.8信源与信道的匹配2/171信息论与编码技术-离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 2/171  3.1 信道的数学模型及分类  3.2 平均互信息及平均条件互信息  3.3 平均互信息的特性  3.4 信道容量及其一般计算方法  3.5 离散无记忆扩展信道及其信道容量  3.6 独立并联信道及其信道容量  3.7 串联信道的互信息和数据处理定理  3.8 信源与信道的匹配

3.1信道的数学模型及分类(1)一般信道的数学模型(2)信道的分类(3)实际的信道3/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 3/171 (1) 一般信道的数学模型 (2) 信道的分类 (3) 实际的信道

3.1信道的数学模型及分类(1)一般信道的数学模型信道的广义性一般信道的数学模型4/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 4/171 (1) 一般信道的数学模型 ① 信道的广义性 ② 一般信道的数学模型

3.1信道的数学模型及分类(1)一般信道的数学模型①信道的广义性信息论把任何一个有输入、输出的系统都可以看成是一个信道（物理信道多种多样：简单：滤波器：复杂：国际通信线路）。数学抽象：输入集合与输出集合间的映射关系信号在信道中传输会引入噪声或干扰，它使信号通过信道后产生错误和失真信道的输入和输出之间一般不是确定的函数关系，而是统计依赖关系。知道了信道的输入信号、输出信号以及它们之间的依赖关系，信道的全部特性就确定了5/171信息论与编码技术-离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 5/171 (1) 一般信道的数学模型 ① 信道的广义性  信息论把任何一个有输入、输出的系统都可以看成是一个 信道（物理信道多种多样：简单：滤波器；复杂：国际通 信线路）。  数学抽象：输入集合与输出集合间的映射关系  信号在信道中传输会引入噪声或干扰，它使信号通过信道 后产生错误和失真。  信道的输入和输出之间一般不是确定的函数关系，而是统 计依赖关系。  知道了信道的输入信号、输出信号以及它们之间的依赖关 系，信道的全部特性就确定了

3.1信道的数学模型及分类(1)一般信道的数学模型②一般信道的数学模型信息论对信道的研究：对具体物理信道抽象，建立与各种信息系统相适应的信道模型，研究信息在这些模型信道上传输的普遍规律，指导信息系统的设计把信道信道模型：不研究信号在信道中传输的物理过程模型看作黑匣子。输入量输出量信道XY（随机过程）（随机过程）图3.1.0信道的最一般模型6/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 6/171 (1) 一般信道的数学模型 ② 一般信道的数学模型  信息论对信道的研究：对具体物理信道抽象，建立与各种 信息系统相适应的信道模型，研究信息在这些模型信道上 传输的普遍规律，指导信息系统的设计。  信道模型：不研究信号在信道中传输的物理过程，把信道 模型看作黑匣子。 信道 输入量 X （随机过程） 输出量 Y （随机过程） 图3.1.0 信道的最一般模型

3.1信道的数学模型及分类(1)一般信道的数学模型②一般信道的数学模型(X P(Y/IX) Y)XP(Y/X)图3.1.1一般信道的数学模型7/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 7/171 (1) 一般信道的数学模型 ② 一般信道的数学模型  {X P(Y/X) Y } X P(Y/X) Y 图3.1.1 一般信道的数学模型

3.1信道的数学模型及分类(2)信道的分类1根据输入输出随机信号的特点分类?根据输入输出随机变量个数的多少分类根据输入输出个数分类根据信道上有无干扰分类5根据信道有无记忆特性分类8/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 8/171 (2) 信道的分类 ① 根据输入输出随机信号的特点分类 ② 根据输入输出随机变量个数的多少分类 ③ 根据输入输出个数分类 ④ 根据信道上有无干扰分类 ⑤ 根据信道有无记忆特性分类

3.1信道的数学模型及分类(2)信道的分类①根据输入输出随机信号的特点分类离散信道：输入和输出的随机序列的取值都是离散的信道连续信道：输入和输出的随机序列的取值都是连续的信道。半离散／半连续信道：输入变量取离散值而输出变量取连续值，或反之波形信道：信道的输入和输出都是一些时间上连续的随机信号({x(t)和(y(t)}，即信号输入和输出的随机变量是连续的，并且还随时间连续变化。一般可用随机过程来描述其输入和输出。波形信道可分解成离散信道、连续信道或半离散信道来研究9/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 9/171 (2) 信道的分类 ① 根据输入输出随机信号的特点分类  离散信道：输入和输出的随机序列的取值都是离散的信道。  连续信道：输入和输出的随机序列的取值都是连续的信道。  半离散／半连续信道：输入变量取离散值而输出变量取连 续值，或反之.  波形信道：信道的输入和输出都是一些时间上连续的随机 信号 {x(t)} 和{y(t)}，即信号输入和输出的随机变量是连续 的，并且还随时间连续变化。一般可用随机过程来描述其 输入和输出。波形信道可分解成离散信道、连续信道或半 离散信道来研究

3.1信道的数学模型及分类(2)信道的分类②根据输入输出随机变量个数的多少分类单符号信道：输入和输出端都只用一个随机变量来表示。离散无记忆扩展信道（多符号信道）：输入和输出端用随机变量序列（随机矢量）来表示。③根据输入输出个数分类单用户信道：只有一个输入和一个输出的信道。多用户信道：有多个输入和多个输出的信道。单符号与单用户的区别，不要搞混！10/171信息论与编码技术一离散信道及其信道容量

信息论与编码技术-离散信道及其信道容量 10/171 (2) 信道的分类 ② 根据输入输出随机变量个数的多少分类  单符号信道：输入和输出端都只用一个随机变量来表 示。  离散无记忆扩展信道（多符号信道）：输入和输出端 用随机变量序列（随机矢量）来表示。 ③ 根据输入输出个数分类  单用户信道：只有一个输入和一个输出的信道。  多用户信道：有多个输入和多个输出的信道。 单符号与单用户的区别，不要搞混!