曲阜师范大学：电子信息工程专业《信息论编码》课程教学大纲

“信息论编码”课程教学大纲教研室主任：周子力执笔人：吴冬梅一、课程基本信息开课单位：物理工程学院课程名称：信息论与编码课程编号：073302英文名称：InformationtheoryandCoding课程类型：专业限选课总学时：54理论学时：54实验学时：0学分：3开设专业：通信工程、电子信息工程先修课程：概率论、随机过程、通信原理二、课程任务目标（一）课程任务信息论与编码是电子和通信工程专业的专业基础课程，涉及到电子和通信中所用到的有关信息处理，信息编码、信息传输以及加密等多个方面的内容。是信息技术类课程的基础课程。本课程的教学目标使学生理解和掌握信息论中的基本概念，学习信息源编码和信道编码的基本原理及编码方法以及培养学生如何将课程中的理论应用到实际信息技术应用当中。为学生以后从事信息技术领域的各种研究及开发工作打下一个坚实的专业理论基础。（二）课程目标在学完本课程之后，学生能够：1：对信息的概念、信息传输的本质以及通信的有效性与可靠性有一个深刻地认识：2.掌握香农狭义信息论的基本概念、性质和定理；3.掌握数据压缩编码和纠错编码的基本原理及典型方法；4.能运用信息理论解释通信工程的规律：5.结合创新能力培养方式加强学生对知识的理解，并提高实际问题的分析和解决能力，三、教学内容和要求（一）理论教学的内容及要求第 1 章 绪论第一节信息的概念理解信息概念，掌握香农信息的定义第二节信息论的研究对象、目的及内容了解信息论的研究对象、目的及内容。教学重点：信息的概念、信息论的研究对象、目的及内容

“信息论编码”课程教学大纲 教研室主任：周子力 执笔人：吴冬梅 一、课程基本信息 开课单位：物理工程学院 课程名称：信息论与编码 课程编号：073302 英文名称：Information theory and Coding 课程类型：专业限选课 总 学 时：54 理论学时：54 实验学时：0 学 分：3 开设专业：通信工程、电子信息工程 先修课程：概率论、随机过程、通信原理 二、课程任务目标 （一）课程任务 信息论与编码是电子和通信工程专业的专业基础课程，涉及到电子和通信中所用到的有 关信息处理，信息编码、信息传输以及加密等多个方面的内容。是信息技术类课程的基础课 程。本课程的教学目标使学生理解和掌握信息论中的基本概念，学习信息源编码和信道编码 的基本原理及编码方法以及培养学生如何将课程中的理论应用到实际信息技术应用当中。为 学生以后从事信息技术领域的各种研究及开发工作打下一个坚实的专业理论基础。 （二）课程目标 在学完本课程之后，学生能够： 1．对信息的概念、信息传输的本质以及通信的有效性与可靠性有一个深刻地认识； 2．掌握香农狭义信息论的基本概念、性质和定理； 3.掌握数据压缩编码和纠错编码的基本原理及典型方法； 4.能运用信息理论解释通信工程的规律； 5．结合创新能力培养方式加强学生对知识的理解，并提高实际问题的分析和解决能力. 三、教学内容和要求 （一）理论教学的内容及要求 第 1 章 绪论 第一节 信息的概念 理解信息概念，掌握香农信息的定义 第二节 信息论的研究对象、目的及内容 了解信息论的研究对象、目的及内容。 教学重点：信息的概念、信息论的研究对象、目的及内容

教学难点：信息的概念。第2章信息的度量第一节自信息和互信息掌握信息度量的概念：自信息、互信息第二节平均自信息掌握的概念和物理意义：理解摘的性质：掌握最大离散摘定理第三节平均互信息掌握的平均互信息概念和物理意义：理解数据处理定理及应用。教学重点：自信息、互信息、平均自信息与平均互信息的定义和性质教学难点：平均自信息的物理意义和应用。第3章信源及信源第一节信源的分类及数学模型了解信源的分类：掌握信源的数学模型第二节离散单符号信源掌握离散单符号信源信息摘的计算第三节离散多符号信源掌握离散无记忆扩展信源的数学模型及信息炳/离散平稳信源的数学模型及信息摘、马尔可夫信源的数学模型及信息摘；掌握信源剩余度的定义及计算第四节连续信源掌握连续信源滴的定义及计算教学重点：信源的数学模型、信源的计算和剩余度教学难点：几种基本离散信源的信源摘的计算方法、剩余度。第4章信道及信道容量第一节信道的分类了解信道的概念和分类，掌握信道的数学模型。第二节离散单符号信道及其信道容量掌握信道容量的概念：掌握特殊离散信道和一般离散信道的信道容量计算方法。第三节离散多符号信道及其信道容量理解离散多符号信道的定义及其信道容量的计算方法第四节组合信道及其信道容量掌握组合信道的信道容量计算方法。第五节连续及其信道容量理解连续信道和波形信道的信道容量的计算方法，理解香农公式的应用。教学重点：信道的数学模型、信道容量的概念、信道容量求解方法教学难点：离散信道的数学模型、信道容量的定义及信道容量的求解方法第5章无失真信源编码第一节信源编码的相关概念理解编码器的概念和码的分类

教学难点：信息的概念。 第 2 章 信息的度量 第一节 自信息和互信息 掌握信息度量的概念：自信息、互信息 第二节 平均自信息 掌握熵的概念和物理意义；理解熵的性质；掌握最大离散熵定理 第三节 平均互信息 掌握的平均互信息概念和物理意义；理解数据处理定理及应用。 教学重点：自信息、互信息、平均自信息与平均互信息的定义和性质 教学难点：平均自信息的物理意义和应用。 第 3 章 信源及信源熵 第一节 信源的分类及数学模型 了解信源的分类；掌握信源的数学模型 第二节 离散单符号信源 掌握离散单符号信源信息熵的计算 第三节 离散多符号信源 掌握离散无记忆扩展信源的数学模型及信息熵/离散平稳信源的数学模型及信息熵、马尔 可夫信源的数学模型及信息熵；掌握信源剩余度的定义及计算 第四节 连续信源 掌握连续信源熵的定义及计算 教学重点：信源的数学模型、信源熵的计算和剩余度 教学难点：几种基本离散信源的信源熵的计算方法、剩余度。 第 4 章 信道及信道容量 第一节信道的分类 了解信道的概念和分类，掌握信道的数学模型。 第二节 离散单符号信道及其信道容量 掌握信道容量的概念；掌握特殊离散信道和一般离散信道的信道容量计算方法。 第三节 离散多符号信道及其信道容量 理解离散多符号信道的定义及其信道容量的计算方法 第四节 组合信道及其信道容量 掌握组合信道的信道容量计算方法。 第五节 连续及其信道容量 理解连续信道和波形信道的信道容量的计算方法，理解香农公式的应用。 教学重点：信道的数学模型、信道容量的概念、信道容量求解方法 教学难点：离散信道的数学模型、信道容量的定义及信道容量的求解方法 第 5 章 无失真信源编码 第一节 信源编码的相关概念 理解编码器的概念和码的分类

第二节定长码及定长信源编码定理理解等长信源编码定理第三节变长码及变长信源编码定理掌握Kraft不等式：理解唯一可译码的判别准则；掌握变长信源编码定理（香农第一定理）的意义及应用第四节变长码的编码方法掌握香农编码、费诺编码、哈夫曼编码的编码方法第四节实用的无失真信源编码方法了解游程编码、LZW编码教学重点：变长信源编码定理的理解及灵活应用、变长码的编码方法教学难点：等长信源编码定理、变长信源编码定理第6章有噪信道编码第一节信道编码的相关概念了解有噪信道通信中影响错误概率的因素第二节有噪信道编码定理掌握有噪编码定理及逆定理第三节错误概率的上届了解通信系统中降低错误概率的方法第四节纠错编码理解纠错码的基本思想及线性分组码教学重点：有噪编码定理教学难点：错误概率与编码方法、对有噪编码定理的理解及掌握，纠错码的基本思想第7章限失真信源编码第一节失真测度掌握失真度和平均失真度第二节信息率失真函数掌握保真度准则、信息率失真函数的概念和性质第三节限失真信源编码定理掌握限失真信源编码定理及应用教学重点：信息率失真函数的概念，限失真信源编码定理教学难点：信息率失真函数的概念四、学时分配各教学环节学时分配章次小讲实上讨课习备注外计授验机题论第一章绪论33

第二节 定长码及定长信源编码定理 理解等长信源编码定理 第三节 变长码及变长信源编码定理 掌握 Kraft 不等式；理解唯一可译码的判别准则；掌握变长信源编码定理（香农第一定理） 的意义及应用 第四节 变长码的编码方法 掌握香农编码、费诺编码、哈夫曼编码的编码方法 第四节 实用的无失真信源编码方法 了解游程编码、LZW 编码 教学重点：变长信源编码定理的理解及灵活应用、变长码的编码方法 教学难点：等长信源编码定理、变长信源编码定理 第 6 章 有噪信道编码 第一节 信道编码的相关概念 了解有噪信道通信中影响错误概率的因素 第二节 有噪信道编码定理 掌握有噪编码定理及逆定理 第三节 错误概率的上届 了解通信系统中降低错误概率的方法 第四节 纠错编码 理解纠错码的基本思想及线性分组码 教学重点：有噪编码定理 教学难点：错误概率与编码方法、对有噪编码定理的理解及掌握，纠错码的基本思想 第 7 章 限失真信源编码 第一节 失真测度 掌握失真度和平均失真度 第二节 信息率失真函数 掌握保真度准则、信息率失真函数的概念和性质 第三节 限失真信源编码定理 掌握限失真信源编码定理及应用 教学重点：信息率失真函数的概念，限失真信源编码定理 教学难点：信息率失真函数的概念 四、学时分配 章次 各教学环节学时分配 小 计 讲 授 实 验 上 机 习 题 讨 论 课 外 备注 第一章绪论 3 3

1010第二章信息的度量第三章信源及信源炳6688第四章信道及信道容量13112第五章无失真信源编码第六章有噪信道编码88第七章限失真信源编码6245450合计A五、考核说明课程考核包括两大部分，平时成绩（40%）和期末考试（60%）。平时成绩包括作业、课堂出勤、期中考试三个部分。期末考试采用闭卷考试形式。六、主要教材及教学参考书目（一）主要教材1．李梅李亦农编著．信息论基础教程（第2版），北京：北京邮电大学出版社2．傅祖芸林建中编著．信息论与编码，北京：电子工业出版社（二）主要参考书目1.ROBERTJ.McELIECETHETHEORYOFINFORMATION，北京：电子工业出版社2．傅祖芸编著：信息论一基础理论与应用北京电子工业出版社3.陈运周新陈亮著．信息论与编码，北京：电子工业出版社4.曹雪虹张宗橙编．信息论与编码，北京：清华大学出版社5.姜丹编著：信息论与编码，合肥：中国科技大学出版社6.王育民，梁传甲．“信息与编码理论”，西安：西安电讯工程学院出版社

第二章信息的度量 10 10 第三章信源及信源熵 6 6 第四章信道及信道容量 8 8 第五章无失真信源编码 13 11 2 第六章有噪信道编码 8 8 第七章限失真信源编码 6 4 2 合 计 54 50 4 五、考核说明 课程考核包括两大部分，平时成绩（40%）和期末考试（60%）。平时成绩包括作业、 课堂出勤、期中考试三个部分。期末考试采用闭卷考试形式。 六、主要教材及教学参考书目 （一）主要教材 1．李梅李亦农编著．信息论基础教程（第 2 版），北京：北京邮电大学出版社 2．傅祖芸林建中编著．信息论与编码，北京:电子工业出版社 （二）主要参考书目 1．ROBERT J.McELIECE THE THEORY OF INFORMATION，北京：电子工业出版社 2．傅祖芸编著．信息论—基础理论与应用北京电子工业出版社 3．陈运周新陈亮著．信息论与编码，北京：电子工业出版社 4．曹雪虹张宗橙编．信息论与编码，北京：清华大学出版社 5．姜丹编著．信息论与编码，合肥：中国科技大学出版社 6．王育民，梁传甲．“信息与编码理论”，西安：西安电讯工程学院出版社