《信息论基础》课程教学大纲
一、课程信息及课程简介
（一）课程信息
课程英文 名称 | Introduction to Information Theory | 学分 | 3 | 总学时 | 32 |
课程 编码 | 0701420005 | 理论 学时数 | 32 | 实践 学时数 | 0 |
适用 专业 | 信息与计算科学 | 先修课程 | 数学分析、高等代数、概率论与数理统计 |
开设课程学院 | 理学院 |
课程 类别 | □通识课程 □专业基础 R专业（□必修 R限选 □任选） □实践环节 |
（二）课程简介
信息理论是20世纪40年代后期总结出来的应用数学、电子工程和涉及信息量化的计算机科学的一个分支，是专门研究信息的有效处理和可靠传输的一般规律的学科。自诞生以来，其应用范围逐渐扩大到许多其他领域，如统计推断，自然语言处理，密码学，神经生物学，生态模式选择，热物理及各种形式的数据分析应用等。当前信息产业发展很快，需要大量从事信息、通信、电子工程类专业的人才，本课程正是这类专业的基础课程。《信息论基础》是信息与计算科学专业的专业课程。通过本课程的学习，学习者将对信息论的基本概念、理论、方法及应用有一个初步了解。
二、课程目标
（一）具体目标
通过学习本课程，学习者应：
课程目标1：理解信息论的基本概念，掌握信息论的基本理论和基本方法。
课程目标2：具有建立数学模型的能力以及综合运用数学知识去分析和解决问题的能力。
课程目标3：掌握Matlab、Python等专业软件对复杂问题进行仿真、模拟，利用模型进行预测。
课程目标4：形成良好的学习习惯，树立善于思考、敢于质疑、严谨求实的科学精神。
课程目标5：进一步认识到信息论的发展历史和在各领域中的重要作用，认识到数学在现代科技中的作用。
（二）课程目标与毕业要求的关系
课程目标 | 支撑的毕业要求 | 支撑的毕业要求指标点 |
课程目标1 | 2.问题分析：能够将数学和计算机语言的基础知识和基本方法应用到各个相关领域，特别是复杂数据工程的分析、建模和算法设计。 | 理解信息论的基本概念，掌握信息论的基本理论和基本方法。 |
课程目标2 | 3.设计/开发解决方案：能够运用所学的数学方法和计算机技术解决大数据领域内的建模、数值计算、数据分析、数据处理等方面的实际问题，能够在数据处理中运用新型计算理论，并考虑社会、法律、安全、文化以及环境等因素。 | 具有建立数学模型的能力以及综合运用数学知识去分析和解决问题的能力。 |
课程目标3 | 5.现代工具：能够针对实际问题，选择与使用恰当的技术、资源及数学专业软件、数据统计分析软件等现代计算和求解工具，设计和开发新技术或新方案，并将新技术用于预测和模拟。 | 掌握Matlab、Python等专业软件对复杂问题进行仿真、模拟，利用模型进行预测。 |
课程目标4 | 6.工程与社会：能够基于信息与计算科学相关背景知识进行合理分析，评价数据处理和数学模型建立方案对社会、健康、安全、法律以及文化的影响，并理解应承担的责任。 | 形成良好的学习习惯，树立善于思考、敢于质疑、严谨求实的科学精神。 |
课程目标5 | 7.环境和可持续发展：掌握数据处理和建模过程中所涉及的环境和可持续发展等方面的方针、政策和法律、法规，能够理解和评价大数据处理过程中对环境、社会可持续发展的影响。 | 进一步认识到信息论的发展历史和在各领域中的重要作用，认识到数学在现代科技中的作用。 |
三、课程教学内容对课程目标的支撑
章节或知识模块 | 教学内容 | 支撑课程目标 及基本要求 | 学时 分配 | 教学方法与 学生任务 |
第一部分 离散信源及其信息度量 | 1.1 离散信源的分类及其统计特性 1.2 离散随机变量的信息度量 1.3 离散信源的N次扩展信源 1.4 离散平稳信源 1.5 马尔可夫信源 1.6 离散信源的相关性和剩余度 | 支撑课程目标1、2、3、4、5
基本要求： 1. 准确理解并掌握信息、熵、联合熵、条件熵等有关信息量的定义及计算式。 2. 掌握熵的概念和性质，熟练计算熵、联合熵、条件熵，并会用熵求解一些实际问题。 3. 准确掌握信源和随机过程的概念。 4. 掌握无记忆信源、马氏信源、平稳性、遍历性。 5. 掌握常见信源熵率的概念及其求法。 | 6 | 教学方法：讲授法、讨论法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：掌握熵、联合熵、条件熵的计算，掌握计算极限熵的处理方法； 3. 自学要求：总结熵、联合熵、条件熵等有关信息量的定义及计算式; 4. 讨论：信息论的形成和发展。
|
第二部分 离散信道及其信道容量 | 2.1 离散信道的分类和数学模型 2.2 离散随机变量的互信息和平均互信息 2.3 信道容量的定义 2.4 单符号离散信道及其信道容量 2.5 多符号离散信道及其信道容量 2.6 信源与信道的匹配 | 支撑课程目标1、2、3、4、5
基本要求：
1. 准确理解并掌握互信息与平均互信息的计算及其重要性质 2. 掌握几种典型的单符号以及多符号离散信道的信道容量的计算 3. 掌握信源和信道的匹配问题 | 6 | 教学方法：讲授法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：理解互信息、平均互信息的计算，掌握信道容量的计算方法 3. 自学要求：研究在什么条件下信道能够传输最大的信息量
|
第三部分 连续信源和连续信道 | 3.1 连续信源的分类和统计特性 3.2 连续信源的信息度量 3.3 连续信道的信道容量 3.4 AWGN信道 | 支撑课程目标1、2、4、5
基本要求： 1. 了解连续信源的分类及其统计特性 2．理解和掌握一维连续信源、多为连续信源以及波形信源的信息度量、以及最大熵的计算 3. 理解和掌握多种连续信道的信道容量的计算 4. 了解限带AWGN信道的信道容量及香农公式的讨论 | 4 | 教学方法：讲授法、案例教学法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：掌握连续信源的统计特性及信息度量，掌握连续信道的信道容量问题 3. 自学要求：比较连续信源、信道与离散信源、信道的区别 |
第四部分 无失真信源编码（香农第一定理） | 4.1 信源编码的基本概念 4.2 无失真信源编码定理 4.3 香农码，霍夫曼码，费诺码等 | 支撑课程目标1、2、3、4、5
基本要求：
1. 掌握信源编码的数学模型及编码效率 2. 理解信源序列的渐进分割性及典型序列，掌握无失真信源编码定理 3. 掌握几种常见的无失真信源编码方法 | 5 | 教学方法：讲授法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：掌握信源平均码长的计算方法，掌握几种常见的无失真信源编码方法，学会计算编码后的信息传输率与编码效率 3. 自学要求：理解平均码长的理论极限就是信源熵
|
第五部分 有噪信道编码（香农第二定理） | 5.1 信道编码的基本概念 5.2 有噪信道编码定理 5.3 线性分组码，循环码，卷积码等 | 支撑课程目标1、2、3、4、5
基本要求：
1. 理解有噪信道编码定理以及信道编码的基本概念 2. 掌握几种常见的信道编码方法，学会构造生成矩阵与监督矩阵并分析检错纠错能力 3. 掌握对应的译码方法，理解错误图样的概念并掌握伴随式的计算方法 | 6 | 教学方法：讲授法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：掌握译码错误概率、信道编码效率的计算，掌握监督矩阵、生成矩阵的构造方法，掌握伴随式的计算并进行译码 3. 自学要求：研究无差错传输可达的最大信息传输速率是多少
|
第六部分 限失真信源编码（香农第三定理） | 6.1 失真测度 6.2 信息失真率函数 6.3 常见信源的R（D）函数 6.4 限失真信源编码定理 |
支撑课程目标1、2、3、4、5
基本要求： 1. 掌握失真矩阵及平均失真的计算 2. 掌握最小平均失真与最大平均失真及对应信息率失真函数的计算 3. 常见信源R（D）的计算 | 5 | 教学方法：讲授法、练习法
学生任务： 1. 学习相关知识理论； 2. 作业：会计算简单失真矩阵及平均失真，会求率失真函数 3. 自学要求：学会计算一定程度失真下所需的最小信息率 |
四、考核方式及成绩评定
（一）考核方式
课程考核方式分为过程考核和期末考核。过程考核方式包括平时作业、阶段性测试、课内外学习表现等；期末考核采用闭卷考试方式。
（二）成绩评定
1.总成绩评定
总成绩 = 过程考核成绩*30% + 期末考核成绩*70%
2.过程考核成绩评定
过程考核成绩（100%） = 考核方式A（50%） + 考核方式B（30%）+ 考核方式C（20%）
成绩评定方式：
（1）考核方式A：课程作业：围绕课程目标进行作业的设计，考核学生对于概念的理解情况，以及学生对于知识点的掌握、应用情况；
（2）考核方式B：阶段性测验：围绕课程目标对学生进行阶段性测试，考核学生对于理论与方法的掌握应用情况；
（3）考核方式C：课内外学习表现：围绕课程目标对学生的出勤情况、线上线下学习任务的完成情况进行考核，综合评价学生科学素养的提升、责任感的树立情况。
3.期末考核成绩评定
（1）期末考核范围：涉及本大纲三、（一）中所列教学内容，主要考察学生对信息论基础的基本概念、理论和方法的理解及初步运用所学内容解决相关问题等；
（2）期末考核方式：闭卷考试；
（3）期末考试题型：
（三）课程目标达成的考核评价方式
课程目标 | 考核评价方式 |
过程考核 | 期末考核 |
课堂表现 | 平时作业 | 阶段性测验 |
课程目标1 | √ | √ | √ | √ |
课程目标2 |
| √ | √ | √ |
课程目标3 |
| √ |
| √ |
课程目标4 | √ | √ |
|
|
课程目标5 | √ |
|
|
|
（四）课程目标达成的考核评价标准
课程目标 | 考核评价标准 |
高于预期 | 达到预期 | 低于预期 |
优秀 | 良好 | 合格 | 不合格 |
课程目标1 | 平时作业和期末考试中，学生清晰理解信息论的基本概念，掌握信息论的基本理论和基本方法。 | 平时作业和期末考试中，学生对信息论的基本概念了解清楚，基本掌握信息论的基本理论和基本方法。 | 平时作业中，学生对信息论的基本概念、基本理论和基本方法有初略的了解，部分理解有错；期末考试成绩合格。 | 平时作业中，学生对信息论的基本概念、基本理论和基本方法，未能很好掌握；期末考试成绩不合格。 |
课程目标2 | 平时作业和期末考试中，学生能比较好的了解信息论的应用，能清晰的解答一些实际问题。
| 平时作业和期末考试中，学生对信息论的应用有基本的了解，解答实际问题包含有一些小的错误。 | 平时作业中，学生对信息论的应用有基本的了解，但是掌握不牢固；期末考试时部分题目未能解答正确。 | 学生对信息论的应用理解不清晰，平时作业及期末考试都未能很好地完成。 |
课程目标3 | 平时作业和期末考试中学生通过信息论的学习，能对一些数据进行建模分析。 | 平时作业和期末考试中学生通过信息论的学习，能初步对一些简单数据进行建模分析。 | 平时作业和期末考试中学生通过信息论的学习，对一些简单数据进行建模分析时有基本的思路，但是未能完全解决。 | 平时作业和期末考试中学生通过信息论的，对一些简单数据进行建模分析时未能有整体的思路。 |
课程目标4 | 课堂表现反映出学生良好的学习习惯，具有善于思考、敢于质疑、严谨求实的科学精神。 | 课堂表现反映出学生有良好的学习习惯，具有善于思考的科学精神。 | 课堂表现反映出学生能基本完成课程任务的学习。 | 课堂表现反映出学生未能很好的完成课程任务的学习，没有良好的学习习惯。 |
课程目标5 | 课堂表现中反映出学生非常了解信息论在社会生活中的应用领域和发展趋势。 | 课堂表现中反映出学生对信息论在社会生活中的应用领域和发展趋势有基本的了解。 | 课堂表现中反映出学生对信息论在社会生活中的应用领域和发展趋势有部分的了解。 | 课堂表现中反映出学生对信息论在社会生活中的应用领域和发展趋势基本不了解。 |
五、课程反馈
学生可在学习过程以及学习结束后，根据课程的学习情况及时从任课教师处获得学习反馈，以便改进学习。任课教师主动进行过程反馈，在过程中根据学生学习情况，调整优化教学内容和方法，使学生达成课程目标。
六、课程评价与改进
课程考核结束后，任课教师应遵循学院教学工作委员会通过的课程达成评价机制和评价方法，对本课程的课程目标达成进行评价，出具课程达成评价报告，并报学院教学督导委员会审核。教师根据评价结果，撰写授课总结和改进计划，完善课程目标及考核方式，改进教学方法，优化教学内容，以便更好地支撑毕业要求的达成。
七、教材及主要参考书目
[1] 于秀兰.信息论基础.北京:电子工业出版社,2017.
[2] 沈世镒,陈鲁生.信息论与编码理论(第二版).北京:科学出版社，2010.
[3] 沈世镒,吴忠华.信息论基础与应用.北京：高等教育出版社，2004.
[4] Cover T.M. ,Thomas J.A. Elements of information theory. John Wiley & Sons,2012.
[5] https://www.icourses.cn/sCourse/course_3257.html 国防科技大学 信息论与编码基础国家精品课程.
[6] https://www.icourses.cn/sCourse/course_4235.html 西安电子科大学 信息论与编码理论国家精品课程.
制订人： 诸昊罡 （修订日期： 2023 年 9月）
审订人： 林洪伟、李德浩 （审订日期： 2022 年 3 月）
