帥氣的香農(nong) （圖片來源：Konrad Jacobs，Erlangen）

1948年，當香農(nong) 終於(yu) 整理好所有文字，發布他那驚天論文——A Mathematical Theory of Communication（一種通訊的數學理論）——的時候，不知道他是否會(hui) 知道，自己會(hui) 在一年後，會(hui) 和瓦倫(lun) ·韋弗（Warren Weaver）一道，將A改成The，完成用一篇論文建立一個(ge) 學科的壯舉(ju) 。

我們(men) 身處信息時代，但在享受海量數據帶來的便利時，克勞德·香農(nong) （Claude Shannon，1916-2001）——信息論的創始人，卻鮮為(wei) 人知。香農(nong) 是近代最偉(wei) 大的數學家之一，他毫無疑問是個(ge) 天才，並且擁有符合所有人刻板印象的，隻有天才才能擁有的離譜人生。畢竟隻用一篇論文就能建立一個(ge) 學科的，除了愛因斯坦，還有香農(nong) 。

小說中才會(hui) 有的天才

香農(nong) 1916年出生於(yu) 密歇根州的一個(ge) 小鎮，自幼崇拜托馬斯·愛迪生，經常在家裏製作模型飛機、遙控船還有無線電台。後來他才知道，原來愛迪生竟然是自己的遠房親(qin) 戚。

1932年香農(nong) 進入密歇根大學，就是在那裏，他接觸到了喬(qiao) 治·布爾（George Boole，英國數學家，布爾型、布爾代數均得名於(yu) 他）的理論。大學畢業(ye) 時，他獲得了電子工程和數學兩(liang) 個(ge) 學士學位，並進入麻省理工學院深造。在那裏，他參與(yu) 了萬(wan) 尼瓦爾·布什（Vannevar Bush）的微分分析機的相關(guan) 工作。微分分析機是一種由軸承和齒輪構成的機械計算機，正是在那時，他發現布爾代數與(yu) 這種機械、電路設計，有驚人的聯係。於(yu) 是他發表了自己的碩士論文，《繼電器和開關(guan) 電路的符號分析》（A Symbolic Analysis of Relay and Switching Circuits）。從(cong) 此，電路設計從(cong) 依靠靈光一閃的藝術，變成了可以依靠嚴(yan) 謹邏輯一步步推導下來的工程。

“這可能是本世紀最重要、最著名的碩士學位論文。”哈佛大學的霍華德·加德納（Howard Gardner）在後來這樣評論這篇論文。不過，即使是這樣的成就還遠不能稱為(wei) 香農(nong) 最高光的時刻。

香農(nong) 在萬(wan) 尼瓦爾·布什的建議下，將他的理論應用於(yu) 遺傳(chuan) 學。當時沃森和克裏克還沒有弄清楚DNA的結構，但是既然遺傳(chuan) 物質必然包含信息，概率一類的東(dong) 西，為(wei) 什麽(me) 不嚐試一下呢？在讀了所有他能找到的有關(guan) 遺傳(chuan) 學的書(shu) 後，香農(nong) 撰寫(xie) 了《理論遺傳(chuan) 學的代數》（An Algebra for Theoretical Genetics），用線性代數描述不同遺傳(chuan) 性狀在遺傳(chuan) 中的可能性。因此，就能用線性代數來預測性狀是如何代代相傳(chuan) 的。不過，這種理論並沒有被生物學家大規模使用。但至少，1940年香農(nong) 以此得到了麻省理工學院的博士學位，和在普林斯頓高等研究院的工作。而在那裏，他可以接觸到那個(ge) 時代最閃耀的一批人——阿爾伯特·愛因斯坦、庫爾特·哥德爾、馮(feng) ·諾依曼……

物理學聖地，普林斯頓高等研究院（圖片來源：Hanno Rein，Wikipedia）

在這批人的光芒的掩蓋之下，即使是當時的香農(nong) ，也不過是一個(ge) 初出茅廬的毛頭小子。按照香農(nong) 的說法：“我見過這些人，可是他們(men) 沒有見過我。”那時信息論已經在他頭腦中醞釀。但他失望地發現，在普林斯頓高等研究院中，所有人關(guan) 心的都是一些量子力學、廣義(yi) 相對論的本質之類的問題，他那些更實用一些的數學問題並沒有人關(guan) 心。

無人關(guan) 心，再加上二戰的爆發，他隻在高等研究院待了兩(liang) 個(ge) 月，就加入了貝爾實驗室，在軍(jun) 方的直接領導下研究火控係統和密碼學。根據《香農(nong) 傳(chuan) 》（The Bit Player）中，對香農(nong) 前妻、前女友和妻子三人的采訪，可以知道香農(nong) 是一個(ge) 帥氣且有情調的人。而正是在軍(jun) 方領導的貝爾實驗室工作時，他甚至無法維持和第一任妻子的婚姻，可見這段經曆讓他有多消沉。

不過在貝爾實驗室的工作也不是全是壞事，至少他接觸到了艾倫(lun) ·圖靈（Alan Turing），並得知了他的“圖靈機”。他對此很感興(xing) 趣，並經常約在下午茶時間見麵，香農(nong) 還為(wei) 圖靈機補充了一些自己的見解。

按照香農(nong) 的說法，在貝爾實驗室密碼學方向的工作，隻是為(wei) 自己提供一個(ge) 職位，讓自己能研究自己真正關(guan) 心的，有關(guan) 信息的數學。其實，1945年二戰末期，他在貝爾實驗室內(nei) 部密碼學相關(guan) 的備忘錄中，就已經有了信息論的雛形。至於(yu) 為(wei) 何要等到1948年才整理出完整的論文，他的回答隻有一個(ge) 字：“懶。”

一篇論文建立一個(ge) 學科

1905年，26歲的愛因斯坦發了四篇論文，建立了三個(ge) 學科——量子論、統計力學和狹義(yi) 相對論。43年後的1948年，當年麵對愛因斯坦插不上話的香農(nong) ，在32歲時終於(yu) 也完成了一篇論文建立一個(ge) 學科的壯舉(ju) ——A Mathematical Theory of Communication（一種通訊的數學理論）橫空出世，其完整性甚至到今天還能作信息論教材使用。一年後，用這篇論文再加上瓦倫(lun) ·韋弗（Warren Weaver）的科普文章，把A改成The，兩(liang) 人出版了The Mathematical Theory of Communication（通訊的數學理論）。信息論就此誕生。

信息的數量與(yu) 其內(nei) 容好壞無關(guan) ，畢竟所有信息編碼轉換成信號後，發送時的數量隻與(yu) 其長度有關(guan) ，而這個(ge) 長度可以用對數很方便地表示。受約翰·圖基（John Tukey，快速傅裏葉變化發明者）的啟發，香農(nong) 用信息轉換成二進製數字後的二進製數位（binary digit）作為(wei) 信息的單位，或者將其簡稱為(wei) 比特（bit）。這是比特這一詞首次公開出現，這個(ge) 詞在接下來大半個(ge) 世紀的時間裏，深刻地改變了整個(ge) 世界。（以下出現的對數log均以2為(wei) 底）

但僅(jin) 僅(jin) 找到信息的單位還遠遠不能讓香農(nong) 滿足，他想要更深刻的解釋。

用一種不太嚴(yan) 謹的說法，在他看來，能從(cong) 隨機過程結果的不確定性結果中，讓人確定唯一結果的東(dong) 西才是信息。

比如說，拋出一枚硬幣，落地時數字麵和花麵朝上概率相等。那麽(me) 在不知道結果前，都不能十足地把握說硬幣哪麵朝上。但如果知道了硬幣數字麵朝上的信息，那麽(me) 就可以確定拋硬幣的結果是數字麵朝上。如果拋出一枚兩(liang) 邊都是數字麵的硬幣，那麽(me) 就算不知道結果的信息，也可以確定硬幣的數字麵朝上。兩(liang) 種拋硬幣的問題，前者在確定答案需要信息，而後者不需要。

再加上一些數學概率上的考慮，香農(nong) 發現玻爾茲(zi) 曼曾經研究過的物理學概念——熵，很適合用來描述這些。

其中pi是可能發生某種結果的概率，H就是信息學中的熵，或稱香農(nong) 熵（Shannon entropy），單位為(wei) 比特。它和玻爾茲(zi) 曼總結的熱力學中物理上的熵隻差了一個(ge) 常係數kB·ln2，kB是玻爾茲(zi) 曼常數，ln2而是因為(wei) 信息論和物理學中對對數底數選擇的不同導致的。

信息熵就是信息數量的度量，我們(men) 由此可以計算一個(ge) 符號中包含的信息量了。

對於(yu) 拋一枚硬幣的問題，兩(liang) 麵概率都是1/2，則其信息熵為(wei) H=-（0.5×log（0.5）+0.5×log（0.5））bit=1 bit。對於(yu) 兩(liang) 麵相同的硬幣，則是H=-1×log（1） bit=0 bit。如果不考慮大小寫(xie) 區別，那麽(me) 如果26個(ge) 英文字母再加上空格，27個(ge) 符號，發送信息時，如果每個(ge) 符號出現的概率相等，並且相互獨立，那麽(me) 每個(ge) 符號包含的信息將會(hui) 是H=-log（1/27）bit≈4.75bit。

在這種情況下，再加上大寫(xie) 、標點、其他語言的符號，零零散散的其他符號湊到一起，可以將8比特定義(yi) 為(wei) 1個(ge) 字節（Byte），不過那已經是後話了。

實際情況中，這27個(ge) 符號出現的概率並不相等，並且符號之間也存在關(guan) 係，即使不考慮大範圍（8個(ge) 英語符號以上）上字母、單詞之間的聯係，單個(ge) 英文符號中的信息熵其實也不過是4.75bit的一半。剩下的50%，就是英文的冗餘(yu) 度。換句話說，在大多數情況下，即使英文中去掉了50%的字母，其實並不影響英語的理解。就像在速記時，經常省略元音字母，卻不影響對英語的理解。

解釋完信息，香農(nong) 可以開始認真講述他關(guan) 於(yu) 信息的傳(chuan) 遞，也就是通信的看法。

圖片來源：C. E. SHANNON，A Mathematical Theory of Communication

香農(nong) 論文中第一幅圖就將所有通訊係統模型化，可以用抽象的數學去描述所有通信係統。通訊的過程，就是將信源處的消息（文字、圖片、聲音等）經過發送器的處理（模擬調製、數字編碼等）形成信號，信號在傳(chuan) 輸過程中受到噪聲源的幹擾後，變成接收器處接收到的信號，經過接收器的處理（解調、解碼等），消息終於(yu) 到達目的地信宿（人、手機、電腦等）。

香農(nong) 提出的觀點，就好像當年愛因斯坦給物體(ti) 運動速度劃定了光速的上限，他指出，信息傳(chuan) 遞的速率也是存在極限的，對於(yu) 特定的信道，被稱為(wei) 信道容量C。如果信息源單位時間產(chan) 生的熵H≤C，那麽(me) 存在一個(ge) 編碼係統，使信息能完整傳(chuan) 遞；如果H＞C，那就不能保證傳(chuan) 輸結果的完整性。這個(ge) 定理被稱為(wei) 有噪信道編碼定理，或香農(nong) 定理。

對於(yu) 大多數情況下能用到的信道中，可以用一個(ge) 公式計算信道的容量C。

W為(wei) 帶寬，S/N為(wei) 信噪比。如果用常見的對話來類比，W就好比說話的速度，而S/N就是說話聲音和環境噪音的比值。就像在嘈雜環境中小聲對話效率很低，而在安靜環境中大聲說話能讓對方辨別你聲帶的每一絲(si) 震動。最終對話的效率C就由這兩(liang) 者決(jue) 定。

大航海時代

漢明碼（hamming code）是一種具有自我糾錯能力的編碼方式，在這篇論文之前就已經被發明了。香農(nong) 在論文“高效編碼舉(ju) 例”這一部分列舉(ju) 了這種編碼方式，並用信息論簡潔明快卻深刻的解釋了它的原理。不過，顯然這並不是最高效的編碼方式。

橫空出世的論文吸引了所有人的目光，而香農(nong) 定理中H≤C那個(ge) 小於(yu) 等於(yu) 號實在是令人想入非非，香農(nong) 隻是說明存在這樣的編碼方式，卻沒有說如何實現它。就好像《海賊王》中羅傑的最後一句話：“想要我的財寶嗎，我把它都放在那了，想要就去那吧！”香農(nong) 定理中那個(ge) 可能存在的等號，給足了人們(men) 信心。而這篇論文中開創性的分析方法就像他10年前的那篇論文，將給編碼方式的尋找提供了一些數學依據。自此，信息學尋找高效編碼方式的“大航海時代”開始了。

而正是在這個(ge) 過程中，從(cong) 繼電器到真空管，從(cong) 晶體(ti) 管到集成電路，計算機製造水平的飛速發展，讓數學這個(ge) 本來看上去離生活最遙遠的學科，最深刻地改變了我們(men) 的現代生活。

今天我們(men) 使用的二維碼，就算有部分損壞也不影響內(nei) 容讀取，這就是因為(wei) 其編碼方式具有冗餘(yu) ，可以讓信息不易丟(diu) 失。而其中編碼方式，就是在 “大航海時代”中發明的裏德-所羅門碼（RS碼）。這種1960年發明的編碼方式，除了二維碼，還應用在光盤、磁盤陣列RAID 6等場景下。

由於(yu) RS碼的容錯機製，二維碼具有一定容錯能力

雖然有不少具有糾錯功能的編碼方式被發現，我們(men) 也能根據信息論用編碼效率給它們(men) 論資排輩，但當初香農(nong) 向大眾(zhong) 許諾的“財寶”——接近，甚至達到香農(nong) 極限的編碼方式——始終沒有出現。直到1991年法國教授克勞德·貝魯（Claude Berrou）提出了turbo碼。Turbo碼是第一個(ge) 接近香農(nong) 極限的編碼方案，並且作為(wei) 數學理論，在信息時代的加成下，以前所未有的速度轉進了實踐應用。在僅(jin) 僅(jin) 十餘(yu) 年後的3G，4G中，turbo碼就已經飛入了尋常百姓家。

2008年，極化碼橫空出世，這是首個(ge) 能達到香農(nong) 極限的編碼方式。工程師埃爾達爾·阿裏坎（Erdal Arikan）教授提出的極化碼理論，幾乎立即被工業(ye) 界接受。2016年，在激烈辯論後，以華為(wei) 為(wei) 首的極化碼陣營將極化碼編碼標準確定為(wei) 5G信令信道編碼方案。到今天，如果你的手機夠新，那麽(me) 已經能享受到5G帶來的高速體(ti) 驗了。

從(cong) 提出理論到進入實用，進入尋常百姓家，不過十年，科學成果到工業(ye) 成果的轉化從(cong) 沒有如此之快。不論是太陽係外探測器向我們(men) 傳(chuan) 遞信息時，還是深埋地下的實驗裝置探索基本粒子時，甚至隻是我們(men) 隨手翻翻手機時，都離不開信息論的支持。信息論的“大航海時代”快速且深刻地改變了我們(men) 生活的方方麵麵。如此看來，當年在普林斯頓高等研究所時，香農(nong) 研究的純數學問題，的確是要比愛因斯坦研究的物理問題要更實用一些。

不老頑童

不過香農(nong) 本人並沒有很多參與(yu) 這個(ge) “大航海時代”。在提出信息論前後，他在密碼學上還證明了一次性密鑰是無法破譯的，（這也是近期潘建偉(wei) 團隊量子密鑰分發加密通信網絡的數學理論基礎）但是信息論的成就還是太過耀眼。MIT邀請他去做教授，期待他能帶領MIT在信息論中實現更大突破。他的確在信息論上做了一些基礎性工作。但給人印象更多的，是他終於(yu) 回歸到自己真正的樣子——愛玩的老男孩。

想象一下，在教學樓裏撞到某個(ge) 教授踩著獨輪車雜耍的場景，你就知道香農(nong) 有多愛玩了。這個(ge) 老男孩也曾像小時候一樣，敲敲打打做了很多有趣的小玩意兒(er) 。直到老年時，他的工作室裏還擺滿了各種各樣小玩具，有能噴火的小號，能在將其打開時自動關(guan) 上的箱子，能雜耍的機器玩偶……他還有一個(ge) 兩(liang) 麵一樣的硬幣，這樣，他拋硬幣時總能猜對結果了。畢竟，這個(ge) 問題對於(yu) 他來說信息熵為(wei) 0。

紀錄片《香農(nong) 傳(chuan) 》中還原的香農(nong) 的“終極機器”，是一個(ge) 帶按鈕的木盒子，撥動搖杆打開盒子後會(hui) 有一個(ge) 小手伸出來將搖杆撥下去，關(guan) 上盒子（圖片來源：《香農(nong) 傳(chuan) 》）

“有用是最不重要的事情。”香農(nong) 這樣評論他工作室中的各種小玩意兒(er) 。

他是騙人的，他的確嚐試了一些非常“有用”的東(dong) 西。他發現俄羅斯輪盤放置時不可避免有一定傾(qing) 斜，導致其偏向某個(ge) 方向的概率更大，但為(wei) 了分析這個(ge) 概率需要一定量的計算。為(wei) 此，他還和愛德華·索普（Edward Thorp）一起設計了曆史上第一台可穿戴計算機，並一起到拉斯維加斯賭場檢驗他們(men) 的理論。他們(men) 將計算機隱藏在衣物之下，但由於(yu) 計算機設計有些簡陋，他們(men) 還不得不時刻忍受輕微的電擊。當附帶的耳機從(cong) 耳朵裏掉落出來時，旁邊的賭客還都被他嚇了一跳。不過至於(yu) 他們(men) 有沒有以此賺到錢，筆者並沒有查證。

他還做過一個(ge) 能自動尋路的機械小鼠，名為(wei) 特修斯（Theseus）。小鼠位於(yu) 一個(ge) 定製平台的迷宮裏，通過平台下方的繼電器電路可以控製小鼠的移動，其目標是在迷宮中找到一個(ge) “奶酪”目標。小鼠會(hui) 探索迷宮，並在找到目標之後，記住目標的位置，之後可以更快地找到目標。或者在迷宮形態、目標位置改變後重新學習(xi) ，規劃新的路線。這個(ge) 小玩具可能是第一個(ge) 此類人工智能設備。

香農(nong) 和特修斯平台（圖片來源：麻省理工學院博物館）

他為(wei) 了玩遊戲甚至發過論文。他在1950年發表的一篇論文裏描述了如何讓計算機下國際象棋。他給出了國際象棋的複雜度，大約是10¹²⁰量級，這樣的量級不可能暴力破解，不過通過他在論文中給出的較為(wei) 明智的算法，可以大幅簡化計算——1997年，由這篇論文演化出來的算法，在“深藍”中運行，成功擊敗了卡斯帕羅夫（Каспаров）。

被問及有沒有想過要把他這些“小玩意兒(er) ”商業(ye) 化時，香農(nong) 直截了當的回答沒有。按他自己的說法，自己是一個(ge) 沒什麽(me) 好勝心的人，要去商業(ye) 化的話，一定會(hui) 虧(kui) 錢。

信息時代的功勞肯定不能全歸功於(yu) 香農(nong) 一人，但他在其中肯定占有舉(ju) 足輕重的位置。在被繁雜信息浪花包圍的我們(men) 中，這名天才的知名度並不高。不過，帶入他的性格，可能他也並不在意。畢竟作為(wei) 一個(ge) 老頑童，在自己各種小玩意兒(er) 的包圍下，親(qin) 眼見證了建立在自己理論上的信息時代如何改變人們(men) 的生活，對於(yu) 一個(ge) 數學家、工程師來說，這可能是能想象到的最幸福的事了。

（撰文：王昱 審校：吳非）



關(guan) 注【深圳科普】微信公眾(zhong) 號，在對話框：
回複【最新活動】，了解近期科普活動
回複【科普行】，了解最新深圳科普行活動
回複【研學營】，了解最新科普研學營
回複【科普課堂】，了解最新科普課堂
回複【科普書(shu) 籍】，了解最新科普書(shu) 籍
回複【團體(ti) 定製】，了解最新團體(ti) 定製活動
回複【科普基地】，了解深圳科普基地詳情
回複【觀鳥星空体育官网入口网站】，學習(xi) 觀鳥相關(guan) 科普星空体育官网入口网站