国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

信息論之父克勞德·香農(nóng):刷新你對信息的想象

2018-03-01 09:04:16編譯費文緒
世界科學(xué) 2018年2期
關(guān)鍵詞:香農(nóng)信息熵傳記

編譯 費文緒

一部新傳記向讀者介紹了克勞德·香農(nóng):樂此不疲的創(chuàng)新者,古靈精怪的雜耍家和獨輪車愛好者,被譽為信息論奠基者的數(shù)學(xué)家。

《游戲之心:克勞德·香農(nóng)如何開創(chuàng)信息時代》(A Mind at Play: How Claude Shannon Invented the Information Age)是吉米·索尼(Jimmy Soni)和羅布·古德曼(Rob Goodman)所著的克勞德·香農(nóng)的新傳記,這位數(shù)學(xué)家被奉為“信息論之父”。

該傳記以一則趣聞軼事向我們介紹了主人公香農(nóng):香農(nóng)在20世紀(jì)60年代淡出公眾的視線后,在1985年出人意料地在英國布賴頓的國際信息理論研討會上露面。這位白發(fā)蒼蒼的羞澀名人最終被人認出來,尋求簽名的粉絲們很快就把他團團圍住。在研討會主席的盛情邀請下,香農(nóng)不情愿地在晚宴上登臺,忍受著自己被隆重介紹為“我們這個時代最偉大的科學(xué)巨匠之一”。當(dāng)與會者的歡呼和掌聲最終平息,香農(nóng)只能說,“這真是——太可笑了!”他把手伸到衣服口袋里,變戲法一樣掏出3個球,竟然當(dāng)場玩起了雜耍。

香農(nóng)是一個狂熱的獨輪車愛好者,他喜歡設(shè)計和制造各種稀奇古怪的獨輪車。比如,他設(shè)計了一種輪轂偏離中心的獨輪車,會導(dǎo)致騎行者在踩踏板時上下彈跳。不管香農(nóng)是否重新設(shè)計了數(shù)據(jù)傳輸或獨輪車,該傳記的作者都指出,香農(nóng)的工作表現(xiàn)出了“對建模的精通:他善于從大問題中提煉出核心實質(zhì)”。

研討會主席后來這樣描述這個不同尋常的場景:“香農(nóng)出現(xiàn)在信息理論研討會上,那情形簡直就像是牛頓出現(xiàn)在物理學(xué)學(xué)術(shù)會議上,太轟動了!”盡管這樣類比有夸大其辭之嫌(據(jù)我們所知,牛頓并不會變戲法),研討會主席的這句總結(jié)表達出人們對香農(nóng)的景仰,而且這種景仰隨著歲月流逝只會與日俱增,在2016年香農(nóng)百年誕辰之際更是達到了前所未有的巔峰。全世界各地都在舉辦紀(jì)念大會。谷歌涂鴉紀(jì)念了香農(nóng)的生日——1916年4月30日,這一天,克勞德·香農(nóng)出生于美國密歇根州佩托斯基。不知道生前低調(diào)的香農(nóng)對身后所有這些大張旗鼓的紀(jì)念活動會怎么想。

不過,世人對香農(nóng)的景仰也是情有可原的:香農(nóng)那些具有里程碑意義的創(chuàng)新——尤其是通過確定數(shù)字電路可以如何設(shè)計——奠定了信息傳輸編碼的理論基礎(chǔ),使他與當(dāng)今的信息時代結(jié)下了不解之緣。在香農(nóng)的百年誕辰之后,新聞記者索尼和作家、政治學(xué)家古德曼為好奇的讀者獻上了關(guān)于這位最謙遜的數(shù)學(xué)家香農(nóng)的更多故事。

香農(nóng)最多產(chǎn)的時期是1940至1955年前后,期間他在曼哈頓的貝爾實驗室(后來搬到了新澤西的默里山)。第二次世界大戰(zhàn)期間,他開展各種涉及電子學(xué)和密碼學(xué)的研究項目。不過,香農(nóng)經(jīng)久不衰的聲譽主要是建立在他那篇劃時代的論文《通信的數(shù)學(xué)理論》(A Mathematical Theory of Communication),1948年發(fā)表于《貝爾系統(tǒng)技術(shù)雜志》(Bell System Technical Journal),1963年由伊利諾伊大學(xué)出版社再版。

在這篇短小精悍的論文中,香農(nóng)思考了沿著有噪聲的信道傳輸數(shù)字數(shù)據(jù)(也就是0和1組成的數(shù)列)的問題。那時,很多人都認為要增加信息傳輸速率,只需增加信源的功率。在貝爾實驗室兩位同事哈里·奈奎斯特(Harry Nyquist)和拉爾夫·哈特利(Ralph Hartley)前期工作的基礎(chǔ)上,香農(nóng)表明,實際上任何信道的信息傳輸速率都存在一個最大值。假設(shè)信道干擾是由白噪聲造成的,香農(nóng)給出了一個由帶寬和信噪比計算出最大信息傳輸速率的簡便公式。用這個公式計算出來的信息傳輸速率是一個銳利的極值,意味著我們可以無限逼近這個極值,卻永遠無法超越這個極值。

任何數(shù)據(jù)傳輸都難免出錯——隨機地把0接收成了1,或是反之。香農(nóng)表明,如果信息傳輸速率小于最大值,那么就存在發(fā)送數(shù)據(jù)(通過對傳輸進行編碼)的方法,能讓出錯的概率任意小。不過,找到這種代碼的工作則留給那些接過這一挑戰(zhàn)的人。如今,從錄制音樂到探測器向地球傳回火星照片,很多數(shù)字任務(wù)都使用了建立在香農(nóng)定理基礎(chǔ)上的數(shù)據(jù)壓縮算法。

雖然“信息”一詞語義學(xué)上的詞義時過境遷,但是對“信息”的抽象闡釋才是香農(nóng)信息論的核心。滿足某個特定規(guī)則(比如,0不能緊跟在0后面)的任何0和1組成的字符串都是可以接受的。于是,英語單詞可以通過這種方式進行通信——把不同的0和1組成的字符串分配給每個字母(包括把空格作為一個額外的字母)。

誠如香農(nóng)觀察到的,我們的語言中存在一定量的冗余。比如,你可以讀懂這個句子,但是,正如索尼和古德曼在傳記中所傳達的,香農(nóng)也觀察到大多數(shù)人讀懂這個簡寫的句子“MST PPL HV LTTL DFFCLTY N RDNG THS SNTNC”幾乎都沒有困難——這是任何人發(fā)送文本信息時都熟悉的情況。香農(nóng)給出了一則信息中所傳輸?shù)男畔⒘康亩x。然后,他定義了信息中排除冗余后的平均信息量,他稱之為“信息熵”。比如,如果我們限定自己所知的均是由0和1組成的信息,那么,一個信源如果只能產(chǎn)生1,則信息熵為0;如果一個信源以擲硬幣的方式產(chǎn)生0和1(即0和1出現(xiàn)的概率分別是0.5),則具有可能的最大信息熵。

索尼和古德曼講述了關(guān)于香農(nóng)選擇“信息熵”一詞的著名故事。數(shù)學(xué)家馮·諾依曼指出,香農(nóng)的“熵”概念與數(shù)十年來熱力學(xué)中一直使用的“熵”概念有著不可思議的相似性。“你應(yīng)該把你的概念稱為‘熵’,有兩個原因,”馮·諾依曼向香農(nóng)建議,“首先,你的不確定性函數(shù)已經(jīng)以那個名字用在了統(tǒng)計力學(xué)中,所以它已經(jīng)有一個名字了。其次,而且更為重要的是,沒有人知道‘信息熵’究竟是什么,所以,你將總是在爭論中占上風(fēng)?!?/p>

“幾乎可以肯定,這樣的對話以前從未發(fā)生過。”兩位傳記作者堅稱,盡管有質(zhì)疑的聲音在別處回響。不過,在1971年與工程師邁倫·特里布斯(Myron Tribus)的會談中,香農(nóng)本人對這個故事的敘述與傳記作者如出一轍。姑且不論這個故事真實與否,香農(nóng)對熱力學(xué)術(shù)語“熵”的借用,激起了學(xué)術(shù)界關(guān)于信息論和熱力學(xué)之間深層關(guān)聯(lián)的富有成效的討論。從事概率論和動力系統(tǒng)領(lǐng)域研究的數(shù)學(xué)家后來聽說了香農(nóng)對“信息熵”的定義,發(fā)現(xiàn)他們可以對“熵”這個概念進行拓展,然后有效地運用到自己的研究工作中。不難想象,馮·諾依曼這位20世紀(jì)最偉大的數(shù)學(xué)大師之一,在向香農(nóng)提建議時,早已預(yù)見到了“信息熵”這一概念后來的一些發(fā)展了。

人們總是難以抗拒誘惑,去回顧天才的早年生活,從中搜尋那些預(yù)示著天才將來之偉大的吉光片羽。不過,在香農(nóng)的例子中,我們鮮有發(fā)現(xiàn)天才的早年指征。我們在傳記中讀到,香農(nóng)贏得了3年級感恩節(jié)故事寫作比賽并且在學(xué)校的音樂劇中吹奏中音號。他喜歡造東西、修東西,像很多20世紀(jì)20年代的少年一樣,尤其喜歡搗鼓收音機。他覺得數(shù)學(xué)很容易,喜歡數(shù)學(xué)具有競爭性的方面,但是沒有證據(jù)表明香農(nóng)具有超常的數(shù)學(xué)能力。

同樣,香農(nóng)的大學(xué)經(jīng)歷也鮮有跡象預(yù)示他的卓越才能。他就讀于密歇根大學(xué),獲得了數(shù)學(xué)和電氣工程雙學(xué)士學(xué)位,當(dāng)選榮譽組織Phi Kappa Phi和Sigma Xi的會員。對于《美國數(shù)學(xué)月刊》(American Mathematical Monthly)上刊登的數(shù)學(xué)問題,他發(fā)表了兩個解法,該期刊是同時面向?qū)W生和教師的闡述性期刊。香農(nóng)的這些才能值得稱贊,可無疑并非罕見的才能??上?,我們不知道香農(nóng)的老師是誰,也不知道他在密歇根大學(xué)上過哪些數(shù)學(xué)和科學(xué)課程。這些信息本來可以幫助我們預(yù)測香農(nóng)之天才的第一道閃光——他于1937年完成的碩士學(xué)位論文。

運氣可以說是名人履歷中的一個標(biāo)準(zhǔn)要素,對于香農(nóng)來說,運氣的降臨是在他讀碩士研究生期間。1936年春天,他注意到公告板上粘貼的一張打印的廣告——麻省理工學(xué)院(MIT)招募一個研究生助教,職責(zé)是運行一臺微分分析器,這種機械計算機是用來解微積分方程的。1876年,這種模擬計算機就已經(jīng)誕生了,不過MIT的這臺微分分析器同時還有一些數(shù)字部件,是第一臺能用于一般應(yīng)用的模擬計算機。最終,它能解有18個獨立變量的微分方程。它的發(fā)明者是哈羅德·黑曾(Harold Hazen)和萬尼瓦爾·布什(Vannevar Bush)。“我很努力地爭取這份工作,最終得到了它,”香農(nóng)回憶,“那是我一生中遇到的最幸運的事情之一?!?/p>

萬尼瓦爾·布什是美國科學(xué)史上的一位偉人。他于1919年加盟MIT的電氣工程系,3年后創(chuàng)立了一家軍用物資供應(yīng)企業(yè),現(xiàn)名為雷神公司。1941年,布什幫助說服羅斯??偨y(tǒng)開始制造原子彈,并在原子彈研制中發(fā)揮領(lǐng)導(dǎo)作用。在MIT,布什賞識香農(nóng)的才華,認真為香農(nóng)的職業(yè)生涯考慮,指導(dǎo)香農(nóng)直到研究生畢業(yè),而后進入貝爾實驗室工作。

香農(nóng)的碩士學(xué)位論文《繼電器與開關(guān)電路的符號分析》(A Symbolic Analysis of Relay and Switching Circuits)被認為是有史以來最重要的碩士論文。這篇論文完成于1937年,運用英國邏輯學(xué)家喬治·布爾(George Boole)100年前提出的概念來簡化構(gòu)成電路網(wǎng)絡(luò)的繼電器排列。香農(nóng)的符號系統(tǒng)優(yōu)美又實用,為現(xiàn)代數(shù)字電路設(shè)計奠定了基礎(chǔ)。大多數(shù)數(shù)學(xué)家在離散數(shù)學(xué)課上教授布爾代數(shù)在電路中的應(yīng)用時,并沒有意識到他們傳授的其實是香農(nóng)論文中的思想。50多年后,香農(nóng)淡化了他的發(fā)現(xiàn)的意義?!爸徊贿^是碰巧當(dāng)時沒有其他人同時熟悉這兩個領(lǐng)域,”他告訴一位采訪者,并補充說,“而我一直很喜歡‘布爾’這個詞?!?/p>

布什不但善于判斷人的才智,而且對人的性情有著精明的觀察。他本來可能為自己的新門生擔(dān)心,因為香農(nóng)在大學(xué)2年級時失去了父親,而且之后不久由于某種原因與母親不再講話。于是,布什鼓勵香農(nóng)在冷泉港實驗室研習(xí),把布爾代數(shù)應(yīng)用到孟德爾遺傳學(xué)中。在那里,香農(nóng)由富有同情心的心理學(xué)家芭芭拉·伯克斯(Barbara Stoddard Burks)監(jiān)管,伯克斯對天才的遺傳學(xué)感興趣,尤其熱衷研究遺傳和環(huán)境的問題。冷泉港實驗室的遺傳學(xué)記錄辦公室有超過25年的數(shù)據(jù)供香農(nóng)深思細想。不到一年時間,香農(nóng)就已經(jīng)學(xué)會了足夠多的遺傳學(xué)知識,來完成他的博士學(xué)位論文《理論遺傳學(xué)的代數(shù)學(xué)》(An Algebra for Theoretical Genetics),這是一篇精妙的卻過于理論化的論文,對遺傳學(xué)家來說借鑒意義不大。香農(nóng)的這段經(jīng)歷證實了布什和伯克斯的一致看法:香農(nóng)是一個天才,他能快速掌握一個新學(xué)科的知識,并從中創(chuàng)造出有意義的數(shù)學(xué)。不過,香農(nóng)對自己的這項研究工作卻不太看重。他逃離了遺傳學(xué)這個領(lǐng)域,并且從未想過要出版自己的這篇博士學(xué)位論文。若干年后,他自黑地評論道,“有幾年,我曾愉快地充當(dāng)一位遺傳學(xué)家?!?/p>

獲得博士學(xué)位后,香農(nóng)在貝爾實驗室度過了一個暑假,在普林斯頓高等研究院工作了一年,最終回到貝爾實驗室找到了全職工作。

香農(nóng)很幸運地正值美國大力資助研發(fā)事業(yè)的時期在貝爾實驗室工作。他的才華使他有資格享受今天看起來似乎不可能的科研自由,現(xiàn)在國際競爭激烈,股東要求快速盈利,科研人員很難享有完全的科研自由。以他特有的謙虛,香農(nóng)有一次向貝爾實驗室的一位管理者承認,“我總感覺,我在實驗室享有的自由似乎是實驗室對我的一種特別的厚愛?!?/p>

受到變換工作環(huán)境和學(xué)術(shù)生涯相對安穩(wěn)的誘惑,香農(nóng)于1958年接受MIT提供的職位,于1978年退休。伴隨香農(nóng)這么久的好運氣終于在20世紀(jì)80年代離他而去,那時香農(nóng)開始表現(xiàn)出患上阿爾茨海默氏癥的跡象。2001年,香農(nóng)因病去世。

《游戲之心》是一本由香農(nóng)的兩位崇拜者娓娓道來的有愛的傳記,尤其擅長講述為其主人公增添魅力的很多故事。香農(nóng)是一位富有創(chuàng)造力的“修理匠”,具有獨一無二的幽默感,他發(fā)明了很多稀奇古怪而且有趣的設(shè)備,在傳記中都得到了描述,包括電動彈簧單高蹺、火箭動力飛盤、雜耍機、用羅馬數(shù)字運算的計算機,以及繼電器控制的機器鼠,它會闖迷宮并記住自己走過的路線。香農(nóng)發(fā)明的所謂“終極機器”吸引了到訪貝爾實驗室的科幻作家阿瑟·C·克拉克。在其1958年的作品《越洋之聲》(Voice across the Sea)中,克拉克有一段關(guān)于該機器操作的描述:當(dāng)你打開開關(guān),會聽到憤怒的意味深長的蜂鳴聲,蓋子緩緩打開,從里面伸出一只手,向下摸索關(guān)掉開關(guān),然后退回到盒子中。盒子最終合上后,蓋子砰地關(guān)上,蜂鳴聲停止,一切重歸寂靜。

當(dāng)提到數(shù)學(xué)時,《游戲之心》有點不太成功。例如,關(guān)于香農(nóng)的“色彩編碼定理”和哈特利的信息公式的結(jié)論都敘述有誤。作者用拋硬幣的比方來描述香農(nóng)的信息熵,令人欽佩,但是他們就此打住,并沒有進一步解釋更普遍的信息源的信息熵問題。讀者倘若希望了解香農(nóng)的研究工作的細節(jié),最好去讀香農(nóng)的論文,這些論文寫得很好,而且在網(wǎng)上可以免費獲取。

比技術(shù)方面的小失誤更令人苦惱的是作者關(guān)于《通信的數(shù)學(xué)理論》一文發(fā)表后所受非難的討論。在引用概率學(xué)家約瑟夫·杜布(Joseph Doob)在一次采訪中的尖銳評論后,作者想象了純數(shù)學(xué)家結(jié)成陰謀來責(zé)備香農(nóng)的應(yīng)用研究。當(dāng)然,香農(nóng)給出的定義和證明并非總是完整的、正確的。例如,前文談到的,香農(nóng)關(guān)于通過編碼最優(yōu)化利用有噪聲信道的定理,最終被埃米爾·范斯坦(Amiel Feinstein)于1954年證明,所以如今被稱為香農(nóng)-范斯坦定理。從過去到現(xiàn)在,數(shù)學(xué)界仍然持續(xù)運用和推崇香農(nóng)的研究成果。發(fā)表了杜布對香農(nóng)可笑評論的《數(shù)學(xué)評論》(Mathematical Reviews)就收錄了2 000多篇提到香農(nóng)的信息熵的評論文章。

香農(nóng)所做的不僅僅是開辟了信息論的嶄新領(lǐng)域,還示范了把充滿熱情的探究和對玩世不恭的喜愛結(jié)合起來會取得何種成就?!队螒蛑摹肥且槐玖钊擞淇斓膫饔洠盐覀兒涂藙诘隆は戕r(nóng)獨一無二的心靈聯(lián)結(jié)在一起。

猜你喜歡
香農(nóng)信息熵傳記
基于信息熵可信度的測試點選擇方法研究
大衛(wèi),不可以
從后現(xiàn)代主義傳記戲劇到元傳記:重讀《戲謔》與《歇斯底里》中的荒誕性
傳記必須回歸史學(xué)
傳記書坊
基于信息熵的實驗教學(xué)量化研究
電子測試(2017年12期)2017-12-18 06:35:48
校園恩仇錄:小混混和易拉罐女王的故事
An analysis on the translation of the name of a Missionaries’newspaper
一種基于信息熵的雷達動態(tài)自適應(yīng)選擇跟蹤方法
艾米麗的呼嚕
沂水县| 湖州市| 夹江县| 广灵县| 南皮县| 玛多县| 丰原市| 比如县| 昌邑市| 辽源市| 庆元县| 芒康县| 奉新县| 伽师县| 化德县| 微山县| 达州市| 文安县| 法库县| 虹口区| 东丰县| 屯留县| 徐汇区| 萝北县| 丹东市| 兰坪| 江达县| 昭觉县| 寿光市| 阳城县| 深圳市| 永嘉县| 自治县| 定远县| 凤庆县| 阿坝| 黎川县| 洪雅县| 丁青县| 阳山县| 奉节县|