信息论基础学习笔记——绪论

摘要本文是《信息论基础》课程第一章的学习总结基于教材绪论部分内容梳理信息论的诞生历史、信息的基本定义、通信系统经典模型辨析信息、消息、信号三者的关系并且简要介绍信息论的研究范围与现实意义。本文参考教材《信息论基础》课程指定教材第1章绪论部分内容。1948年克劳德·艾尔伍德·香农Claude Elwood Shannon在Bell System Technical Journal上发表了《通信的数学理论》这篇论文的发表标志着信息论这一门全新学科正式诞生次年香农又发表了《噪声下的通信》进一步补充完善通信的基础问题。这两篇论文被后人看作信息论的奠基性著作。在论文中香农阐明了通信的基本问题给出通信系统的模型提出信息量的数学表达式并且系统地解决了信道容量、信源统计特性、信源编码、信道编码等一系列基础性问题从此人们可以用概率论、数理统计的方法对信息进行定量的描述与研究信息不再是一个只能凭直觉感知的抽象概念。在香农之前其实已经有很多学者开始对信息相关问题进行探索。早在1924年奈奎斯特就开始研究电报信号传输中脉冲速率与信道带宽之间的关系1928年哈特莱建立了限带信号的采样定理并且第一次明确提出消息只是符号并不是信息本身消息与信息是可以区分的。哈特莱提出利用对数函数来度量信息量的大小消息的信息量与取值个数相关。哈特莱的思想给后来的香农带来很大启发但是哈特莱没有引入概率的思想直到1948年香农在哈特莱、奈奎斯特等人的研究基础上正式将概率论引入信息度量提出信息熵的概念建立起经典信息论的理论框架。那么到底什么是信息教材上给出的解释是信息论是通信的数学理论利用近代数理统计的方法研究信息的传输、存储与处理。从香农的角度来说信息的本质是用来消除或者部分消除接收者对事物的不确定性。也就是说如果一件事情是完全确定的那么这件事情就不会带来任何信息反之如果一件事情有多种可能性我们在收到消息之后减少了不确定性就代表我们收到了信息。举一个简单例子抛掷一枚均匀硬币在硬币落地之前结果可能是正面或者反面此时这件事存在不确定性当我们得知硬币是正面落地之后不确定性消除就获得了1bit的信息量。如果硬币正面落地的概率高达90%那么反面发生的不确定性更大一旦反面发生带来的信息量也就更大。由此可以得出一个重要结论事件发生的概率越小一旦该事件发生对应的信息量就越大。这里很容易混淆三个概念信息、消息、信号也是课后习题的重点。消息是信息的载体是信息具体的表现形式比如文字、图片、语音、视频都属于消息消息是具体的是可以被我们直接感知的。而信息是消息里面包含的抽象的内容同样的一条信息可以用不同的消息来承载比如同样一条通知既可以用文字短信发送也可以用语音播报。信号则是为了远距离传输把消息进一步转换之后在信道上传输的物理波形比如电信号、电磁波信号。简单来说信息是内涵消息是信息的表现形式信号是消息用于传输的物理载体消息里面包含信息而信号承载消息。三者紧密关联但是不能等同。在香农提出的经典通信系统模型中整个通信流程被抽象成七个部分信源、编码器、调制器、信道、解调器、译码器、信宿。信源就是信息的来源可以是人、机器或者其他事物。但是信源本身并不直接输出信息信源输出的是消息也就是信息的载体消息本身具有一定的随机性所以在数学上可以用随机变量或者随机矢量来描述信源。编码器接收消息之后把消息转变为符号或者符号序列编码的目的主要是提升传输的有效性也就是用尽可能少的符号来传递同样的信息信源编码就属于编码器的一部分。调制器负责将编码器输出的符号转变为适合信道传输的物理信号目的是提高传输效率让远距离传输成为可能比如把二进制的0、1变换成不同的电平信号或者进一步调制到高频载波上发送。信道是信号传输的物理通道包括明线、电缆、光纤、无线信道等物理设施在分析的时候一般会把系统各处产生的噪声、干扰全部等效为信道噪声统一放在信道部分进行分析这是工程上常用的等效简化手段。解调器位于接收端是调制器的逆变换负责把信道传来的信号重新恢复成符号序列译码器是编码器的逆变换把符号序列恢复成消息最后由信宿接收消息也就是通信的接收方。整个通信系统的目标有两个核心要求有效性和可靠性。有效性是指尽可能提高传输的效率用更少的比特来传输信息减少资源的浪费对应的就是信源编码可靠性就是即使在信道存在噪声干扰的情况下接收端依然能够尽可能正确还原消息对应的就是信道编码。除此之外在实际工程中还会增加加密编码用来保证通信的保密性。香农的信息论正是从理论上给出了有效性和可靠性的理论极限告诉我们理论上最好的编码方案可以做到什么程度为后来的编码研究指明方向。虽然信息论最初是为了解决通信中的问题而诞生但是发展到今天它的应用范围已经远远超出传统通信的领域。除了电话、电报、雷达这类狭义的通信系统之外模式识别、自然语言翻译、心理学、遗传学、神经生理学甚至部分社会学的研究都开始引入信息论的思想衍生出信息科学这一更大的学科门类。很多原本不属于传统通信的系统比如生物体内的遗传信息传递、大脑神经的信号传递都可以抽象成类似的通信模型来研究。当然第一章仅仅是信息论的绪论只是搭建起整个学科的基本框架。后面的课程才会进一步学习自信息量、信息熵、条件熵、互信息、信道容量、信源编码定理等核心内容。通过第一章的学习可以发现香农最大的贡献并不仅仅是提出了几个公式而是第一次告诉我们信息这件看似很主观的东西是可以被精确度量的通信的本质就是在噪声环境下尽可能高效并且可靠地传递信息。正是因为香农建立的这套体系现代通信、数据压缩、加密传输等技术才有了坚实的理论根基。对于计算机、通信相关专业的学生来说信息论是一门比较抽象但是非常重要的基础课程也是进一步学习编码、压缩、信息安全等课程的前置基础。本文仅为课程学习笔记所有概念、史实、定义均整理自翟明岳《信息论基础》教材仅用于个人学习交流不用于商业用途。教材著作权归原作者及出版社所有。参考文献说明[1] 信息论基础编写组. 信息论基础第1版[M]. 课程指定教材, 第1章绪论[2] Shannon C E. A Mathematical Theory of Communication[J]. Bell System Technical Journal, 1948, 27(3):379–423.香农原始奠基论文