編譯 高地雪

1945年，就在美國于新墨西哥州沙漠進(jìn)行第一次核彈試驗(yàn)之前，參與制造核彈的物理學(xué)家之一恩里科 ? 費(fèi)米（Enrico Fermi）和他的科學(xué)家同事們打了個賭：爆炸的熱量是否會在大氣中引發(fā)核大火？若果真如此，這場大火會只摧毀新墨西哥州嗎？還是說整個世界都會被它吞噬？（這次核試驗(yàn)并不像費(fèi)米惡作劇式的賭注所暗示的那么輕率：另一位物理學(xué)家漢斯 ? 貝特計算過，幾乎絕不可能產(chǎn)生這樣的火海煉獄。）

如今，對“存在性風(fēng)險”的擔(dān)憂并不僅僅存在于軍事科學(xué)家內(nèi)部——存在性風(fēng)險指那些對整個人類物種而非人類個體構(gòu)成威脅的風(fēng)險。核戰(zhàn)爭、核冬天、瘟疫（無論是新冠病毒這樣的自然瘟疫還是人為因素導(dǎo)致的瘟疫）、小行星撞擊等都有可能消滅大部分乃至全體人類。最新的末日威脅則是人工智能。2023年5月，該領(lǐng)域的一群杰出人士簽署了一封只有一句話的公開信，信中寫道：“減輕人工智能帶來的人類滅絕風(fēng)險，應(yīng)該與大流行病和核戰(zhàn)爭等其他影響社會的大規(guī)模風(fēng)險一同成為全球性的優(yōu)先事項(xiàng)?！?/p>

但什么程度的擔(dān)憂才算得上理性呢？7月10日，包括芝加哥聯(lián)邦儲備銀行的經(jīng)濟(jì)學(xué)家埃茲拉 ? 卡格爾（Ez r a K a rge r）和賓夕法尼亞大學(xué)的政治學(xué)家菲利普 ? 泰特洛克（Philip Tetlock）在內(nèi)的一個研究團(tuán)隊發(fā)表了一篇研究手稿，試圖通過系統(tǒng)地調(diào)查兩類不同的專家來闡明這個問題。調(diào)查的第一類是主題專家，或者說“領(lǐng)域?qū)＜摇?，也就是核?zhàn)爭、生物武器、人工智能和人類滅絕本方面的專家。另一組接受調(diào)查的則是“超級預(yù)測者”，這是一群在各種話題上（從選舉結(jié)果到戰(zhàn)爭爆發(fā)）都有準(zhǔn)確預(yù)測記錄的通用預(yù)測家。

研究人員招募了89名超級預(yù)測者、65名領(lǐng)域?qū)＜液?5名更廣泛地研究“滅絕風(fēng)險”的專家。被召集的“先知”們要考慮兩種不同類型的災(zāi)難，其中對“災(zāi)難”的定義是僅殺死世界上10%的人口，也即大約8億人的事件。（作為對比，第二次世界大戰(zhàn)估計導(dǎo)致了當(dāng)時全球20億人口中約3%的人喪生。）對“滅絕”的定義則是消滅了所有人、最多只留下5 000個幸運(yùn)（可能也是一種不幸）的生還者的事件。

我們要走一起走

研究人員要求這兩組人員估計各種事件發(fā)生的可能性，從人工智能導(dǎo)致滅絕或核戰(zhàn)爭這樣的末日事件，到諸如人工智能的能力是否會產(chǎn)生令人擔(dān)憂的進(jìn)步這樣較小的問題——這類進(jìn)步也許會成為通往未來災(zāi)難道路上的路標(biāo)。

這項(xiàng)研究得出的最引人注目的結(jié)論是，對于未來，那些在有關(guān)存在性風(fēng)險的公共對話中傾向于起主導(dǎo)作用的領(lǐng)域?qū)＜宜坪醣瘸夘A(yù)測者更為悲觀。專家們估計，到2100年，發(fā)生災(zāi)難的可能性約為20%，滅絕的可能性約為6%，而超級預(yù)測者給出的概率分別是9%和1%。

這個巨大的分歧掩蓋了一些有趣的細(xì)節(jié)。在考慮人工智能帶來的風(fēng)險時，兩組之間的差異是最大的。超級預(yù)測者估計，到21世紀(jì)末，人工智能導(dǎo)致災(zāi)難的可能性中位數(shù)為2.1%，人工智能導(dǎo)致滅絕的可能性中位數(shù)為0.38%。相比之下，人工智能專家認(rèn)為這兩種事件發(fā)生的概率分別為12%和3%。在談到大流行病時，對于自然發(fā)生的疾病帶來的風(fēng)險，超級預(yù)測者比領(lǐng)域?qū)＜腋鼮楸^。

其中最有趣的結(jié)果或許在于，盡管兩組人在風(fēng)險的確切大小上存在分歧，但無論是在考慮災(zāi)難或滅絕時，他們都認(rèn)為人工智能是最大的擔(dān)憂。參與這項(xiàng)研究的超級預(yù)測者丹 ? 梅蘭德（Dan Mayland）說，人工智能的風(fēng)險被如此強(qiáng)調(diào)的原因之一在于，它在核武器等其他風(fēng)險上起到了“力量倍增器”的作用。就像核戰(zhàn)爭或小行星撞擊一樣，人工智能（比如說，以武裝機(jī)器人的形式出現(xiàn)）可以直接殺死人類。但它也可以用來磨利另一位劊子手的斧頭。例如，如果人們使用人工智能來輔助設(shè)計更強(qiáng)大的生物武器，那對隨后發(fā)生的任何災(zāi)難而言，它就是間接但根本的原因。

然而，盡管超級預(yù)測者對人工智能持悲觀態(tài)度，但他們的態(tài)度相對而言也不是那么確定。世界已經(jīng)與核武器共存了近80年。核戰(zhàn)爭尚未發(fā)生，這為預(yù)測它未來是否可能發(fā)生提供了寶貴的數(shù)據(jù)。至少從“人工智能”這個詞當(dāng)前的意義來說，它比核武器新得多?，F(xiàn)代、強(qiáng)大的機(jī)器學(xué)習(xí)模型的出現(xiàn)可以追溯到21世紀(jì)10年代初期，而且該領(lǐng)域仍在快速發(fā)展。這樣一來，作為預(yù)測基礎(chǔ)的歷史數(shù)據(jù)就要少得多了。

泰特洛克博士在預(yù)測未來的問題上做了大量工作。正是他首先發(fā)現(xiàn)并命名了“超級預(yù)測者”，這是一群似乎在各個領(lǐng)域都非常擅長預(yù)測未來發(fā)展的人。這些人有一些共同的特點(diǎn)，比如謹(jǐn)慎、數(shù)字化的思維，以及對可能使他們誤入歧途的認(rèn)知偏差的意識。盡管超級預(yù)測者缺乏特定的專業(yè)知識，但有扎實(shí)可靠的記錄表明，他們在從金融到地緣政治的技術(shù)領(lǐng)域都有過優(yōu)于專家的出色表現(xiàn)。

兩組人員之間的差異，在一定程度上反映出了他們心中世界運(yùn)作模式的不同。災(zāi)難性風(fēng)險不僅取決于一項(xiàng)技術(shù)的復(fù)雜或強(qiáng)大程度，還取決于人類對它的反應(yīng)。例如，在冷戰(zhàn)初期的恐慌過后，美國和蘇聯(lián)這兩個世界上最大的核大國開始了合作。像“莫斯科-華盛頓熱線”、彼此檢查武器的協(xié)議以及旨在限制核武庫規(guī)模的條約等舉措都有助于降低核戰(zhàn)爭的風(fēng)險。

但是對于社會將如何應(yīng)對人工智能造成的小規(guī)模損害，超級預(yù)測者和人工智能專家的觀點(diǎn)非常不同。超級預(yù)測者傾向于認(rèn)為，這種損害將促使更嚴(yán)格的審查和監(jiān)管出臺，以避免過后出現(xiàn)更大的問題。相較之下，領(lǐng)域?qū)＜覄t傾向于認(rèn)為，哪怕已經(jīng)了造成真正的危害，商業(yè)和地緣政治動機(jī)仍可能會壓倒對安全問題的擔(dān)憂。

超級預(yù)測者和專家們對于智能本身的極限也持有不同看法。參與這項(xiàng)研究的另一位超級預(yù)測者克里斯特 ? 莫雷爾（Kjirste Morrell）簡單地說：“要?dú)⒐馑腥丝刹皇羌菀椎氖隆！彼赋觯@樣做可能需要一定程度的與物理世界互動的能力……要想達(dá)到這一點(diǎn)，多半需要在機(jī)器人技術(shù)方面取得很大的進(jìn)步。

當(dāng)然，這種預(yù)測的根本問題在于，與反復(fù)發(fā)生的低風(fēng)險事件（如預(yù)測股價走勢或選舉結(jié)果）不同，我們永遠(yuǎn)沒有辦法知道哪一方更接近真正的風(fēng)險水平。但是，如果超級預(yù)測者們?nèi)绱松瞄L預(yù)測，而專家們又有如此豐富的專業(yè)知識，那么你至少可以期待這兩個群體會相互影響彼此的信念。

解讀符文

這項(xiàng)研究試圖通過小組討論、對優(yōu)質(zhì)論點(diǎn)提供金錢獎勵等方式鼓勵這種相互勸說。然而——這也許令人驚訝——雙方都堅決地堅持自己的立場。（一位人工智能專家認(rèn)為“審議疲勞”是問題所在，換句話說，雙方都已因?yàn)榇饲氨灰笞龀龅乃蓄A(yù)測而筋疲力盡了。）

如果有了新的證據(jù)，改變想法或是預(yù)測者們所謂的“更新先例”可能會變得更容易一些。因此，卡格爾博士和泰特洛克博士希望能收集些新證據(jù)。他們要求目前這項(xiàng)研究的參與者回答另一組關(guān)于一系列“早期預(yù)警指標(biāo)”的問題，這些指標(biāo)將表明世界是否正在走向一種或另一種災(zāi)難性情景。例如，大型人工智能訓(xùn)練中使用的計算機(jī)能量也許可以被用來跟蹤該領(lǐng)域的總體進(jìn)展。決定核武器控制條約最終命運(yùn)的可能會是另一個因素。這些較短期的問題中有一部分將在2024年和2030年之前得到解決，希望它們能夠讓我們大致明白應(yīng)該更認(rèn)真地對待哪一方的預(yù)測，從而搞清楚我們應(yīng)該擔(dān)憂到什么程度。