編譯 費文緒

一群研究人員正在研究科學可能會如何毀滅世界，以及如何阻止這種災難發(fā)生。

1958年，一顆原子彈在美國的太平洋試驗場爆炸。據(jù)我們所知，全球核戰(zhàn)爭是可能結(jié)束人類文明的“生存風險”（existential risks）之一。

哲學家尼克·博斯特羅姆（Nick Bostrom）相信，人工智能（AI）完全有可能導致人類滅絕。在2014年的暢銷書《超級智能：路線、危險與策略》（Superintelligence: Paths, Dangers,Strategies）中，博斯特羅姆描繪了一幅黑暗的圖景——科研人員創(chuàng)造了一臺能夠穩(wěn)定提升自我的機器。在某個時候，它學會了從網(wǎng)上交易中賺錢，并且開始在現(xiàn)實世界中購買商品和服務。利用郵件定制的DNA，它構(gòu)建了簡單的納米系統(tǒng)，這個納米系統(tǒng)反過來又創(chuàng)造了更多復雜系統(tǒng)，賦予它愈來愈強的能力來塑造世界。

現(xiàn)在，假設(shè)這個人工智能懷疑人類會干涉它的計劃，在英國牛津大學工作的博斯特羅姆寫道。它可能會決定制造小型武器，然后偷偷散布到世界各地?！霸谝粋€預先設(shè)定的時間，納米工廠生產(chǎn)的神經(jīng)毒氣或者具有目標搜索能力的蚊子般的機器人可能會從地球的每寸土地上同時急速生長?！?/p>

對于博斯特羅姆和其他很多科學家和哲學家而言，這樣的情景不僅僅是科幻小說。他們正在研究哪些技術(shù)進步導致了“生存風險”。據(jù)我們所知：這些風險可能會消滅人類或是至少終結(jié)人類文明，為了阻止這種災難發(fā)生，我們能夠做什么?！跋胂胛覀冋谂ψ鍪裁?，為那些可能威脅人類物種的東西提供科學紅隊?！闭軐W家休·普賴斯（Huw Price）指出，他是英國劍橋大學生存風險研究中心（CSER）的主任。

生存風險與《弗蘭肯斯坦》的淵源

科學會滅絕人類種族的想法可以一直追溯到《弗蘭肯斯坦》。在瑪麗·雪萊（Mary Shelley）的小說中，怪物因為他的創(chuàng)造者維克多·弗蘭肯斯坦（Victor Frankenstein）趕走自己而發(fā)怒，殺死了弗蘭肯斯坦的幼弟威廉，隨后向弗蘭肯斯坦博士提出做一筆交易：只要你為我找一位女伴，我會讓你安寧，我們會到南美洲度過余生。弗蘭肯斯坦開始研究為怪物制造新娘，但是意識到這一對怪物可能會繁衍后代而勝過人類：“魔鬼的族群將會在地球上繁殖，可能會導致人類物種的生存處于危險而恐怖的境地?！彼輾ё隽艘话氲呐治?，重新點燃了那個怪物的憤怒，最終導致他自己的滅亡。

“我認為《弗蘭肯斯坦》漂亮地描繪了這一點，”美國麻省理工學院（MIT）物理學家馬克斯·泰格馬克（Max Tegmark）說，他是CSER董事會成員，同時是MIT附近一個類似智庫“生命未來研究所”（FLI）的共同創(chuàng)立者，“我們?nèi)祟愔饾u研發(fā)出越來越強大的技術(shù)，而且技術(shù)越強大，我們就必須越小心，這樣我們才不會毀在技術(shù)上?！?/p>

對生存風險的研究還只是一個很小的領(lǐng)域，在三個研究中心至多只有十幾個人在研究。并非人人都相信這是一個嚴肅的學術(shù)意義上的學科。大多數(shù)終結(jié)文明的情景——包括人造病原體、納米機器人軍隊、或者甚至以為我們的世界是一個可能被關(guān)閉的模擬環(huán)境，這些瘋狂的想法都是不可能的，在愛丁堡因諾根研究所研究生命科學監(jiān)管問題的喬伊斯·泰特（Joyce Tait）指出。唯一真正的存在威脅，她說，是我們熟悉的全球核戰(zhàn)爭。除此之外，“我們看不到其他即將來臨的威脅。”

哈佛大學心理學家史蒂芬·平克（Steven Pinker）將生存風險稱為一種“無用的目錄”，并且提醒，“弗蘭肯斯坦式幻想”可能會使公眾的注意力偏離可解決的現(xiàn)實威脅，比如氣候變化和核戰(zhàn)爭?！吧⒉傧霝碾y的恐懼，而遠非守衛(wèi)人類的未來，可能會危及人類的未來?！彼诩磳⒊霭娴男聲冬F(xiàn)在的啟蒙：理性、科學、人道主義和進步的情況》（Enlightenment Now: The Case for Reason, Science, Humanism, and Progress）中寫道。

但是，生存風險研究的擁護者預測，只有當科學技術(shù)加速進步，這個領(lǐng)域才會變得更重要。正如博斯特羅姆在一篇論文中指出，至今關(guān)于屎殼郎或《星際迷航》的研究，要比對人類滅絕風險的研究多得多。“我們有很好的理由說，科學已經(jīng)基本上忽視了人類滅絕的風險問題?！逼召囁拐f。

人類總是面臨過早終結(jié)的可能性。與終結(jié)恐龍時代的小行星同樣大小的另一顆小行星可能會撞擊地球；一次火山災難可能遮天蔽日數(shù)年，讓我們大家都挨餓。

但是，源自科學進步的生存風險確實是虛構(gòu)，直到1945年7月16日，世界上第一顆原子彈爆炸。基于一些粗略的計算，物理學家愛德華·泰勒（Edward Teller）推斷，這次爆炸可能會引發(fā)全球的連鎖反應?！氨M管我們現(xiàn)在知道這樣的后果在物理上是不可能的，它有資格成為當時的生存風險?！辈┧固亓_姆寫道。20年后，一種真正的生存風險出現(xiàn)了，來自日益增加的核武器儲備。物理學家最終組裝出“弗蘭肯斯坦的新娘”。

一種危險的病原體的釋放，可能導致全人類面臨“生死存亡的緊要關(guān)頭”

生存風險研究中心的誕生

其他科學學科可能很快提出類似的威脅?！?1世紀，我們將引入全新的現(xiàn)象，使我們用新的力量來重塑世界?！辈┧固亓_姆說。生物技術(shù)變得比核技術(shù)更便宜、更容易操控，納米技術(shù)正在快速發(fā)展。在2011年哥本哈根的一次會議上，愛沙尼亞的計算機程序員和網(wǎng)絡即時通訊軟件Skype的共同開發(fā)者揚·塔林（Jaan Tallinn）在和普賴斯共乘的士時，告訴普賴斯自己關(guān)于人工智能的深度恐懼?！拔覐奈从龅竭^像揚·塔林那么嚴肅思考人工智能威脅的人。”當時即將開始在劍橋大學工作的普賴斯說。

普賴斯把揚·塔林介紹給天文學家、皇家學會前會長馬丁·里斯（Martin Rees），里斯早就警告大家，隨著科學進步，毀滅人類文明的力量將越來越置于個人手中。這三人一拍即合，決定成立CSER，這是繼博斯特羅姆于2005年在牛津創(chuàng)建的智庫“人類未來研究所”之后，第二個此類研究中心。CSER這個名字是“有意把生存風險的概念更加推向主流的努力，”普賴斯說，“我們當時意識到人們覺得這些問題有點古怪?！?/p>

CSER延攬了一些名氣很大的支持者：其科學顧問委員會成員包括物理學家史蒂芬·霍金（Stephen Hawking）、哈佛大學生物學家喬治·丘奇（George Church）、全球健康領(lǐng)導者彼得·皮奧特（Peter Piot）、高科技企業(yè)家埃隆·馬斯克（Elon Musk）。塔林還在2014年共同創(chuàng)立了FLI，丘奇、馬斯克、霍金、博斯特羅姆和里斯都在FLI科學顧問委員會工作（扮演過上帝的演員摩根·弗里曼也是FLI的顧問）。

CSER的大部分經(jīng)費來自基金會和個人，塔林在2017年為生存風險的研究人員捐助了大約800萬美元。塔林承認，目前為止CSER的學術(shù)產(chǎn)出是“曇花一現(xiàn)”。但是這個中心建立的初衷是“作為生存風險研究的一種訓練場?！彼f，其他地方的學者來訪，然后用思想“感染”他們自己的研究機構(gòu)。

CSER就在劍橋大學職業(yè)健康服務中心旁邊的一棟偏僻的大樓中，面積比一個大房間大不了多少，在CSER工作的十幾個研究人員組織談論、召集科學家們討論未來發(fā)展、出版從合成生物學的調(diào)控到生態(tài)臨界點等話題的著作。他們的很多時間都花費在沉思世界末日的圖景和可能的保護措施。

末日圖景：生物恐怖還是生物失誤？

丘奇用了“生死存亡的緊要關(guān)頭”這個詞，指的是全世界的大部分人口死亡，比全人類完全滅絕更有可能發(fā)生?！澳悴槐匕颜麄€地球變得粉碎?！彼f。大規(guī)模破壞電網(wǎng)和其他服務或是釋放一種致命的病原體都可能制造混亂，顛覆政府，使人類文明螺旋式衰退。“結(jié)果衰退到中世紀的文化水平，”丘奇說，“對我而言，這就是人類的終結(jié)。”

源自生命科學的生存風險也許最容易想象。病原體已經(jīng)證明能夠殺死整個物種，比如受到兩棲類真菌蛙壺菌感染的青蛙族群滅絕。在過去100年中，有四次流感大流行席卷了世界，其中一次流感疫情在1918年和1919年導致多達5 000萬人死亡?？蒲腥藛T已經(jīng)通過基因工程技術(shù)培育出在理論上甚至更危險的病原體。公眾擔心，相關(guān)研究使H5N1型禽流感毒株變得更容易在哺乳動物之間傳染，導致美國叫停了此類研究。恐怖分子或無賴國家可能使用實驗室制造的病媒作為武器，或者經(jīng)過基因工程改造的瘟疫可能會意外釋放。

里斯已經(jīng)公開打賭，到2020年，“生物恐怖或生物失誤將會導致100萬人在單個事件中傷亡?！惫鸫髮W微生物學家馬克·利普希奇（Marc Lipsitch）已經(jīng)計算出，每年在一個實驗室的研究中，出現(xiàn)實驗室制造的流感病毒導致意外流感疫情爆發(fā)的可能性在千分之一到萬分之一之間。荷蘭鹿特丹伊拉斯姆斯大學醫(yī)學院（Erasmus MC）的羅恩·富希耶（Ron Fouchier）不同意這一估計，他是H5N1型禽流感的研究者之一。他說，真正的風險更可能是，每年每個實驗室因?qū)嶒炇抑圃斓牧鞲胁《緦е乱馔饬鞲幸咔楸l(fā)的可能性是330億分之一。

應對“生物失誤”的一種措施也許是讓從事具有風險實驗的科研人員買保險，這將需要對風險進行獨立評估，從而迫使科研人員直面實驗中可能存在的風險，利普希奇說。不過，最重要的應對措施是提高世界盡早遏制疫情爆發(fā)的能力，他補充道，比如，接種疫苗?！皩τ谏飳W上的風險，缺乏全世界真正的大規(guī)模協(xié)同并行的攻擊，我們陷入真正災難性的情境的唯一途徑是沒能控制一個更小的情境?！彼f。

吃一塹，長一智

病毒不可能殺死僅存的最后一個人類，博斯特羅姆說；對他和其他人而言，人工智能才是提出了真正的存在威脅。大多數(shù)情境都集中在機器的智能超過人類，稱之為“超級智能”。如果機器獲得了這樣的超級人工智能，而且具有它自己的意志，那么，它可能變得惡毒，主動尋求毀滅人類，就像斯坦利·庫布里克（Stanley Kubrick）的電影《2001漫游太空》中的計算機哈爾（HAL）一樣，它在飛船上變成了歹徒。

大多數(shù)人工智能專家不太擔心機器人一起推翻它們的創(chuàng)造者，更擔心機器人犯下致命的錯誤。在塔林看來，人工智能可能終結(jié)人類的最合理的方式似乎是：如果它就是去追求自己的目標，在此過程中，不小心創(chuàng)造出對人類致命的環(huán)境。“想象一下，氣溫升高或下降了100°C的情形，我們?nèi)祟悳缤霾贿^就是幾分鐘的事情?！彼终f。泰格馬克對此表示贊同：“人工智能的真正問題不是惡意，而是能力不夠，”他說。

當今的一個類似情況是2015年的悲劇。一個企圖自殺的德國之翼航空公司飛行員在駕駛飛機飛到法國境內(nèi)的阿爾卑斯山上空時，向飛機上的計算機下達指令下降到海拔100米的高度。計算機即使有GPS和地形圖，依然遵從了飛行員自殺指令，導致機上150名乘客和機組人員全部遇難?！凹幢闶菍ψ詈唵蔚娜祟惸繕?，機器也毫無頭緒?！碧└耨R克說。為了避免此類災難，科學家們正在努力研究如何教會人工智能理解人類的價值觀，并且確保它們遵從，這個問題叫做“價值對齊”（value alignment）?！叭殢氖氯斯ぶ悄芗夹g(shù)安全研究的科學家可能不到20人，”博斯特羅姆說，“倘若再多一些杰出人才從事這方面的研究，就可能大幅提高進步的速度?！?/p>

評論家認為，這些努力不可能有用，因為未來的威脅本質(zhì)上是不可預測的。在泰特參與的每個“遠見訓練”中，預測都是一個問題，她說?！拔覀?nèi)祟惥褪遣簧瞄L預測?！奔词鼓泐A測到了風險，經(jīng)濟、政治和社會的環(huán)境都將會影響風險如何發(fā)揮作用。“除非你不僅知道未來將發(fā)生什么，而且知道如何發(fā)生，否則從應對措施上來看，你所掌握的信息用處不大。”泰特說。

平克認為，世界末日的情景更多揭示的是人類對風險的執(zhí)念，而非實際風險?！澳切┓浅２豢赡馨l(fā)生卻會對我們的合理生活產(chǎn)生巨大影響的情景吸引著我們，比如不正當性關(guān)系、暴力死亡、白日夢想家沃爾特·米蒂般的輝煌壯舉，”他寫道，“世界末日的故事情節(jié)毫無疑問扣人心弦——它們是對我們病態(tài)執(zhí)念的超常刺激?！碑斎唬f，你可以想象一個惡意的強大人工智能，人類再也無法控制?！皯獙@一威脅的方法很直截了當：那就是壓根不要創(chuàng)造出這樣強大的人工智能?！?/p>

塔林認為，確保安全總比遺憾好。2017年的一項調(diào)查顯示，34%的人工智能專家相信，與他們的研究工作相關(guān)的風險是重要的問題；5%的專家說它們是“最重要的問題之一”。“想象一下，你坐在飛機上，40%的專家認為飛機上有炸彈，” 塔林說，“你不會等到剩下的專家被說服才采取逃生措施了?！?/p>

普賴斯說，那些指責他和他的同事們沉迷于科幻小說的評論家并沒有全錯：制造世界末日的情景與瑪麗·雪萊創(chuàng)作《弗蘭肯斯坦》并沒有太大的不同。“第一步是想象那種可能性的范圍，在這一點上，科幻小說與其他形式的文學作品和電影中用到的想象力很可能是極端重要的?！彼f。

科學家們有義務參與其中，泰格馬克說，因為生存風險不像世界以前面臨的其他任何風險。他指出，過去每次新技術(shù)出現(xiàn)，人類一直等到新技術(shù)的風險顯而易見，才學會縮小風險。因為火災吞噬了生命、毀滅了城市，所以人類才發(fā)明了滅火器和阻燃劑。交通死亡伴隨汽車而來，然后人類才發(fā)明了安全帶和安全氣囊?！叭祟惖牟呗允浅砸粔q，長一智，”泰格馬克說，“當世界危在旦夕，末日即將來臨，再想從這樣的錯誤中學習已經(jīng)是一個可怕的策略?！?/p>