香农诞辰百年纪念特辑|为什么说纪念香农如同纪念牛顿？-正版南方双彩网

克劳德·艾尔伍德·香农（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。香农是美国数学家、信息论的创始人。1948年，香农公开发表了《通信的数学理论》文章，明确提出了信息熵的概念，并创立了信息论。这篇文章奠下了香农“信息论之父”的地位。

后来，香农在1949年之后公开发表了《噪声下的通信》。几十年来，人类科技在数字化、智能化、网络化等的推展下经历了一波又一波通信、信息革命。数十年之后，在信息流、物质东流的社会中，香农的论著仍然闪烁着智慧之光，并将照亮人类社会今后的数个世纪。回应，咨询了涉及专业人士。

“香农的现代信息论誓言过时”否有人曾批评过，随着科技的大大发展，香农的信息论有可能无法符合现实的拒绝？答案是驳斥的。根源上谈，信息流、物质流构成了世界。

只要世界的根源还是信息与物质，香农说明了的依旧是一个公理。即便发展到人工智能的今天，信息仍然是一切的基础。

业界来说，《通信的数学理论》是一篇20世纪鲜有的、对人类发展产生深远影响的科学论著，可与牛顿力学相媲美。即便百年之后，我们依旧品尝着这个理论来探寻不得而知的世界。基于香农信息论延绵至今的技术成果奠下现代加密的理论基础20世纪60年代末开始了通信与计算机结合，通信网很快发展，人类开始向信息化社会迈向。

这就拒绝信息作业的标准化，加密算法当然也无法值得注意。标准化对于技术发展、降低成本、推展用于有最重要意义。我们都告诉，美国FBI明确提出的数据加密标准DES，以及近期图灵奖获得者斯坦福大学密码学和网络安全技术专家惠特菲尔德·迪菲（Whitfield Diffie）和马丁·赫尔曼（Martin Hellman）明确提出的公钥加密系统是现代密码学的标志，是现代通信的基础加密技术。

不过，你或许不告诉，这两种标准或体制都以香农的信息论为基本指导思想。1949年，香农公开发表《保密系统的通信理论》一文，修筑了用信息论来研究密码学的新思路。这篇文章基于的理论是香农在1945年为贝尔实验室所已完成的一篇报告《A Mathematical Theory of Cryptography》。论文公开发表后，香农被美国政府受聘政府密码事务顾问。

DESDES全称作Data Encryption Standard，即数据加密标准，是一种用于密钥加密的算法。DES设计中用于的两个分组密码设计原则：误解（confusion）和蔓延(diffusion)，其目的是抗击敌手对密码系统的统计分析。这就很好地提现了香农1949年的论文中所明确提出的设计强劲密码思想：人组（Combine）概念：由非常简单更容易构建的密码系统展开人组，结构较简单的、密钥量较小的密码系统。

Shannon曾得出两种人组方式，即权重和法和乘积法。蔓延（Diffusion）概念：将每一位明文及密钥尽量很快地散播到较多位密文数字中去，以便隐密明文的统计资料特性。误解（Confusion）概念：使明文和密文、密钥和密文之间的统计资料相关性大于化，使统计分析更加艰难。

信息论是研究和评估保密和证书系统的安全性的最重要工具，同时熵和信息量也是研究和评估藏匿系统最重要工具。Shannon曾以烫面团来形象地比喻“蔓延”和“误解”的起到，密码算法设计中要精妙地运用这两个概念。与烫面团有所不同的是，首先密码转换必需是共轭的，但并非任何“误解”都是共轭的；二是密码转换和时域应该非常简单更容易构建。分组密码的多次递归就是一种前述的“乘积”人组，它有助较慢构建“蔓延”和“误解”。

可以说道，分组密码设计中将输出分段处置、非线性转换，再加左、右互相交换和在密钥掌控下的多次递归，都在香农结构密码的思想下指导展开。公钥加密系统香农在1949年认为：“好密码的设计问题，本质上是谋求一个艰难问题的解法，相对于某种其它条件，我们可以结构密码，使其在过程中的某点上等价于解法某个未知数学难题。”在此影响下，迪菲和赫尔曼明确提出了公钥加密系统。

迪菲和赫尔曼明确提出的公钥加密系统，其中的RSA、Rabin、背包、ElGamal、ECC、NTRU、多变量公钥等所有公钥算法都是基于某个数学问题解法的困难性。迪菲和赫尔曼的可证明安全性理论就是在于证明否可以将所设计的密码算法给定为解法某个未知数学难题。

破解密码的困难性，所需的工作量，即时间复杂性和空间复杂性，与数学问题解法的困难性密切相关。计算机科学的一个新的分支——计算出来复杂性理论与密码须要的研究紧密关联一起了。

扩频通信与调制调制网络化社会的今天，我们必然必不可少电子计算机和通信。下面我们用通俗易懂的方式来讲一下，我们今天孜孜以求的比特率、WiFi、蓝牙、GPS等与香农的关系吧：根据香农（C.E.Shannon）在信息论研究中总结出有的信道容量公式，即香农公式：C=W×Log2（1+S/N）式中：C——信息的传输速率，S——简单信号功率，W——频带宽度，N——噪声功率，也就是说：为了提升信息的传输速率C，可以从两种途径构建，既增大比特率W或提升信噪比S/N。换句话说，当信号的传输速率C一定时，信号比特率W和信噪比S/N是可以交换的，即减少信号比特率可以减少对信噪比的拒绝，当比特率减少到一定程度，容许信噪比更进一步减少，简单信号功率相似噪声功率甚至水淹在噪声之下也是有可能的。扩频通信就是用宽带传输技术来交换条件信噪比上的益处。

扩频的出发点是加密，后来主要是用来降低阻碍，某种程度是香农公式里面提及的另一个因子信噪比，也可以获得高带宽。非常简单来说，所谓减震就是，比特率就越长，抗干扰能力就越强劲。但是，比特率拓展上去了，信号功率就减少了，不合乎市场经济。

所以现代通信不是要无限不断扩大比特率，而是要去找平衡点。基于这个思想，我们还在找寻这个平衡点。信息论与机器学习如果前面说道的还是过去和当下的影响，那么接下来就被迫敬佩香农的未来伴随能力了。香农是最先明确提出信息智能化的学者之一。

信息论与人工智能之机器学习同为牵涉到计算机科学和应用于数学等学科的分支领域，这两门交叉学科在起源和应用于上有很多相似之处。不过，看上去神乎其神的机器学习，主要还是借出信息论的方法以此扩展理论研究和应用于场景，比如关于分类计算出来上，糅合于信息理论来建构和改良自学算法。信息论中的一些度量也可以作为自学算法的度量。

“自学就是一个熵减半的过程”，自学的过程也就是使信息的阻碍度上升的过程。相比传统的经验公式为基础的机器学习，以信息理论为基础的机器学习也享有无可比拟的优势。好吧来个明确一点的例子。

上个月人机大战中的AlphaGo，其决策树算法是战胜人类的最重要武器。那么，据来自于NSF博士论文《Information Theory and its Relation to Machine Learning》所阐释，以互信息作为自学准则，例如以应用于信息增益（归一化的互信息）结构最珍结构决策树就是其中一种应用于。

这种基于信息理论为自学准则的原理就是将无序数据改变为有序数据，以信息熵差值作为测量尺度来评价切换效果。如今也有不少研究者庞加莱，在机器学习中，所有自学目标的计算出来密切相关都是可以用熵函数的优化来叙述或者说明的。这个庞加莱给了机器学习界一个很好的研究着力方向。后记我们纪念过那么多最出色的人物，不只在于祭拜。

纪念不是扫墓，我们必须的是共创，或者说利用前人的成果，探寻更好的不得而知世界。香农给了我们测量信息的方式，未替换我们如何解读信息。把地球比作一只兔子，信息比作兔毛，我们还要希望爬到到兔毛的顶端。

(公众号：)原创文章，予以许可禁令刊登。下文闻刊登须知。

本文来源：南方双彩-www.jiawanghui.com