秋分对应的物候（秋分信息论之父）

在正式的文章之前，先分享一个和今天内容相关的趣味题目：

有1000份样本，其中恰有一份不合格。已知一台检测仪器可同时混合检测任意多份样本（即给出是否存在一份不合格），并且在15分钟内给出准确结果（检测不破坏样本，且样本可以同时用于多台仪器）。如果要求在1小时内找到这份不合格样本，至少需要使用多少台检测仪器？

Claude Elwood Shannon，1916-2001

图源：网络

克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916-2001），美国数学家、信息论的创始人。为纪念他而设置的香农奖是通信理论领域最高奖，也被称为“信息领域的诺贝尔奖”。

1916年，香农出生于密歇根州的一个小镇，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械。在祖父的影响下，经常在家里制作模型飞机、遥控船还有无线电台。香农自幼崇拜托马斯·爱迪生，有趣的是，原来爱迪生竟然是他的远房亲戚。

1932年香农进入密歇根大学，开始接触乔治·布尔（George Boole，英国数学家）的理论。大学毕业时，他获得了电子工程和数学两个学士学位，并进入麻省理工学院深造。1938年香农在麻省理工学院获得电气工程硕士学位，硕士论文题目是 A Symbolic Analysis of Relay and Switching Circuits [1]，开创性地提出把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并利用布尔代数分析优化开关电路，奠定了数字电路的理论基础。哈佛大学的 Howard Gardner 教授曾表示，“这可能是本世纪最重要、最著名的一篇硕士论文。”1940年，香农因这一成果获得了美国工程师学会颁发的 Alfred Noble 奖。不过，即使是这样的成就，还远不能称为香农最高光的时刻。

1940年，香农在麻省理工学院获得数学博士学位后进入普林斯顿高等研究院工作，期间开始思考信息论与有效通信系统的问题。经过8年的努力，香农在贝尔实验室工作期间，连载发表了影响深远的论文 A Mathematical Theory of Communication [2]。香农清晰地阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式——信息熵，成了信息论正式诞生的里程碑。信息熵是度量信息量，也就是信息不确定度的工具，数学表示为：

简单地说，信息的不确定度越大，计算得到的信息熵也就越大。如果计算中以b=2为底的，那么计算出来的信息熵就以比特（bit）为单位， “比特”的出现标志着人类知道了如何计量信息量。（思考下，如何用信息熵解决上面的趣味题目）。1949年，香农发表了另一著名论文 Communication in the Presence of Noise [3]，解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。值得一提的是，当我们愉快地用手机刷着本文的时候，我们也得感谢一下香农在该论文中的成果——香农第二定理（有噪信道编码定理）。该定理清晰地定义了无线通信领域理论上的传输速率由哪些因素决定以及他们之间的量化关系。对无线通信原理和技术的发展起到了巨大的推动作用，为人们如何利用有限频谱资源更快更好的传递信息指明了方向。同时从这一公式还可以推导出即便应用无限大的频谱带宽，传递信息的速率也是有极限的，这就是著名的香农极限。这一成就后来成功应用于电话、光纤和无线通信上，例如当下 5G 的频谱效率已经在很大程度上的接近甚至达到了香农极限。

香农是一个典型的兴趣驱动型的科学家，他并不考虑自己的研究成果有无商业价值，甚至不关心最后成果是否有用。他曾说：“我在完全无用的事情上花了大量的时间”。除了数学、通信领域的丰富成果，香农还涉足了密码学 [4]、人工智能 [5] 等领域，皆取得了重要成果。例如，1949年，他发表的论文 Programming a Computer for Playing Chess [5]，是人工智能领域的开创性工作之一。

参考资料：

[1] Shannon C E. A Symbolic Analysis of Relay and Switching Circuits. Electrical Engineering, 1938, 57(12): 713-723.

[2] Shannon C E. A Mathematical Theory of Communication. The Bell system technical journal, 1948, 27(3): 379-423.

[3] Shannon C E. Communication in the Presence of Noise. Proceedings of the IRE, 1949, 37(1): 10-21.

[4] Shannon C E. Communication Theory of Secrecy Systems. The Bell system technical journal, 1949, 28(4): 656-715.

[5] CE S. Programming a Computer for Playing Chess. IEEE Press, 1993: 637-656.

文字 | 丁齐鸣

封面图 | 朱成轩