苏州大学：电子信息学院《信息论与编码技术》课程教学大纲

《信息论与编码技术》课程教学大纲 课程代码：TELE3018 课程类别：专业教学课程 授课对象：信息工程、电子信息工程、通信工程等专业 开课学期：第7学期 学分：3学分 主讲教师：王加俊、石霏、侯嘉等 指定教材：傅祖芸编著，信息论（第四版）电子工业出版社，2015年2月 一、教学目的： 《信息论与编码技术》是信息类专业一门重要的理论性专业课。通过对本课程的学习， 要求学生掌握有关香农信息论的基本理论、编码的理论和实现原理：理解信源的熵、熵的性 质、无失真和限失真信源编码理论。掌握各种常用的信源编码和信道编码方法，为以后深入 学习信息与通信类课程和从事信息处理方面的实际工作打下坚实的基础。 二、课程内容 第一章绪论 1、教学内容 1.1基本概念 1.2数字通信系统模型 1.3信息论与编码理论研究的主要内容和意义 2、教学要点 信息的概念和特征：信息、信号、消息三者的联系与区别：信息论和编码技术发展简史 及现况：通信系统模型及各模块功能：香农信息论对编码技术的指导意义。 第二章信源及其熵 1、教学内容 2.1信源的数学模型和分类 2.2离散信源的信息熵及其性质 2.3离散无记忆信源的扩展信源 2.4离散平稳信源 2.5连续信源的信息熵 2.6信源的冗余度

《信息论与编码技术》课程教学大纲 课程代码：TELE3018 课程类别：专业教学课程 授课对象：信息工程、电子信息工程、通信工程等专业 开课学期：第7学期 学 分：3学分 主讲教师：王加俊、石霏、侯嘉等 指定教材：傅祖芸编著，信息论（第四版）电子工业出版社，2015年2月 一、教学目的： 《信息论与编码技术》是信息类专业一门重要的理论性专业课。通过对本课程的学习， 要求学生掌握有关香农信息论的基本理论、编码的理论和实现原理；理解信源的熵、熵的性 质、无失真和限失真信源编码理论。掌握各种常用的信源编码和信道编码方法，为以后深入 学习信息与通信类课程和从事信息处理方面的实际工作打下坚实的基础。 二、课程内容 第一章 绪论 1、教学内容 1.1 基本概念 1.2 数字通信系统模型 1.3 信息论与编码理论研究的主要内容和意义 2、教学要点 信息的概念和特征；信息、信号、消息三者的联系与区别；信息论和编码技术发展简史 及现况；通信系统模型及各模块功能；香农信息论对编码技术的指导意义。 第二章 信源及其熵 1、教学内容 2.1 信源的数学模型和分类 2.2 离散信源的信息熵及其性质 2.3 离散无记忆信源的扩展信源 2.4 离散平稳信源 2.5 连续信源的信息熵 2.6 信源的冗余度

2.7离散无失真信源编码定理 2、教学要点 信源的概念和分类：用概率空间描述信源特性：自信息量计算、熵的计算和物理意义、 熵的基本性质：离我无记忆信源的扩展信源熵的计算：平稳信源的定义、性质：联合熵，平 均符号熵，条件熵计算及其相互关系：极限熵定义：单符号连续信源熵、最大熵定理：冗余 度的概念及产生原因：无失真信源编码基本原理：编码效率计算：香农第一定理。 第三章信道及其容量 1、教学内容 3.1信道的数学模型与分类 3.2信道疑义度与平均互信息 3.3离散无记忆的扩展信道 3.4离散信道的信道容量 3.5连续信道的信道容量 3.6信源与信道的匹配 3.7信道编码定理 2、教学要点 信道的分类：单符号离散信道模型：信道疑义度计算：平均互信息量计算及其物理意义、 与各类熵之间的关系：平均互信息量的性质：离散无记忆的扩展信道的数学模型及其互信息 量计算：信道容量的定义：三种简单离散信道的信道容量计算：对称离散信道定义及其信道 容量计算：扩展信道的信道容量计算：连续单符号加性高斯噪声信道的信道容量计算；多维 无记忆加性连续信道的信道容量计算、基于“注水法”的信号功率分配方案：高斯白噪声信 道的信道容量计算、香农公式：香农第二定理。 第四章信息率失真函数 1、教学内容 4.1失真测度 4.2信息率失真函数及其性质 4.3离散无记忆信源的信息率失真函数 4.4连续无记忆信源的信息率失真函数 4.5保真度准则下的信源编码定理 2、教学要点 失真度、失真矩阵、平均失真度的计算：信息率失真函数的定义及其性质：等概率、对 称失真信源的信息率失真函数计算：高斯信源的信息率失真函数计算：香农第三定理

2.7 离散无失真信源编码定理 2、教学要点 信源的概念和分类；用概率空间描述信源特性；自信息量计算、熵的计算和物理意义、 熵的基本性质；离我无记忆信源的扩展信源熵的计算；平稳信源的定义、性质；联合熵，平 均符号熵，条件熵计算及其相互关系；极限熵定义；单符号连续信源熵、最大熵定理；冗余 度的概念及产生原因；无失真信源编码基本原理；编码效率计算；香农第一定理。 第三章 信道及其容量 1、教学内容 3.1 信道的数学模型与分类 3.2 信道疑义度与平均互信息 3.3 离散无记忆的扩展信道 3.4 离散信道的信道容量 3.5 连续信道的信道容量 3.6 信源与信道的匹配 3.7 信道编码定理 2、教学要点 信道的分类；单符号离散信道模型；信道疑义度计算；平均互信息量计算及其物理意义、 与各类熵之间的关系；平均互信息量的性质；离散无记忆的扩展信道的数学模型及其互信息 量计算；信道容量的定义；三种简单离散信道的信道容量计算；对称离散信道定义及其信道 容量计算；扩展信道的信道容量计算；连续单符号加性高斯噪声信道的信道容量计算；多维 无记忆加性连续信道的信道容量计算、基于“注水法”的信号功率分配方案；高斯白噪声信 道的信道容量计算、香农公式；香农第二定理。 第四章 信息率失真函数 1、教学内容 4.1 失真测度 4.2 信息率失真函数及其性质 4.3 离散无记忆信源的信息率失真函数 4.4 连续无记忆信源的信息率失真函数 4.5 保真度准则下的信源编码定理 2、教学要点 失真度、失真矩阵、平均失真度的计算；信息率失真函数的定义及其性质；等概率、对 称失真信源的信息率失真函数计算；高斯信源的信息率失真函数计算；香农第三定理

第五章信源编码 1、教学内容 5.1编码器和相关概念 5.2变长编码 5.3限失真信源编码 5.4实用信源编码方法 2、教学要点 信源编码的基本途径；信源编码的分类、各类码的定义和判别：码树、Kraft不等式： 变长码编码效率的计算：获得最佳码的三种编码方法：香农编码、费诺编码：哈夫曼编码： 游程编码算法：算术编码算法：变换和预测编码基本原理。 第六章信道编码 1、教学内容 6.1信道编码的概念 6.2线性分组码 6.3循环码 6.4卷积码 2、教学要点 信道编码的分类、基本概念：重复码和奇偶校验码：检错与纠错原理、方式、检错与纠 错能力指标：线性分组码的基本概念、编码和译码过程、纠错能力分析：循环码的基本概念、 编码和译码过程、常用循环码介绍：卷积码的编码和译码过程。 三、各章课时分配表 章序号 章内容 学时数 1 绪论 3 2 信源及其熵 12 信道及其容量 12 4 信息率失真函数 5 信源编码 9 6 信道编码 9 总 计 54 参考书目 1、 《信息论与编码》，曹雪虹，张宗橙编，北京邮电大学出版社。 2、 《信息论与编码》，仇佩亮编，高等教育出版社。 3、 《信息理论基础》，周荫清主编，北京航空航天大学出版社

第五章 信源编码 1、教学内容 5.1 编码器和相关概念 5.2 变长编码 5.3 限失真信源编码 5.4 实用信源编码方法 2、教学要点 信源编码的基本途径；信源编码的分类、各类码的定义和判别；码树、Kraft不等式； 变长码编码效率的计算；获得最佳码的三种编码方法：香农编码、费诺编码；哈夫曼编码； 游程编码算法；算术编码算法；变换和预测编码基本原理。 第六章 信道编码 1、教学内容 6.1 信道编码的概念 6.2 线性分组码 6.3 循环码 6.4 卷积码 2、教学要点 信道编码的分类、基本概念；重复码和奇偶校验码；检错与纠错原理、方式、检错与纠 错能力指标；线性分组码的基本概念、编码和译码过程、纠错能力分析；循环码的基本概念、 编码和译码过程、常用循环码介绍；卷积码的编码和译码过程。 三、各章课时分配表 章序号 章内容 学时数 1 绪论 3 2 信源及其熵 12 3 信道及其容量 12 4 信息率失真函数 9 5 信源编码 9 6 信道编码 9 总 计 54 参考书目 1、 《信息论与编码》，曹雪虹，张宗橙编，北京邮电大学出版社。 2、 《信息论与编码》，仇佩亮编， 高等教育出版社。 3、 《信息理论基础》，周荫清主编，北京航空航天大学出版社

4、《信息论与编码》，姜丹编著，中国科学技术大学出版社。 5、《信源编码原理》，张宏基编，北京邮电大学出版社。 6、《The Theory of Information and Coding.》,Robert J.McEliece,.电子工业出版社。 执笔人：王加俊 2021年3月5日

4、 《信息论与编码》，姜丹编著，中国科学技术大学出版社。 5、 《信源编码原理》，张宏基编，北京邮电大学出版社。 6、 《The Theory of Information and Coding》，Robert J. McEliece, 电子工业出版社。 执笔人：王加俊 2021年3月5日