喬·韋曼(Joe Weinman)

超出原本預(yù)期不斷增長的計(jì)算能力和具有學(xué)習(xí)能力的算法，很可能會(huì)引發(fā)邪惡的超級(jí)智能

如果我們這個(gè)時(shí)代最富有、最聰明和最具商業(yè)頭腦的三個(gè)人都認(rèn)同某個(gè)想法，那這個(gè)想法一定值得其他人認(rèn)真考慮。這里要提到的三個(gè)人分別是：世界首富、微軟聯(lián)合創(chuàng)始人比爾·蓋茨；線上支付、電動(dòng)車、宇宙飛行，以及地面交通領(lǐng)域的核心創(chuàng)新者埃隆·馬斯克；還有宇宙學(xué)家史蒂芬·霍金。他們都認(rèn)同這個(gè)想法：人工智能（AI）存在威脅人類文明的潛在可能。這些只是聰明人的瘋狂猜想嗎，還是確實(shí)需要我們認(rèn)真去了解的真知灼見？

在經(jīng)歷了半個(gè)世紀(jì)的緩慢推進(jìn)后，2016年正在成為“人工智能”年。2016年，剛剛被谷歌納入旗下的DeepMind團(tuán)隊(duì)用阿爾法圍棋軟件打敗了人類最優(yōu)秀的圍棋選手李世石，在全世界的關(guān)注下以4：1的成績獲得了勝利。AI的應(yīng)用領(lǐng)域當(dāng)然不僅限于圍棋，它還能應(yīng)用到眾多其他領(lǐng)域，比如：醫(yī)療健康、教育、科學(xué)、娛樂等等。AI不僅能夠掌握這些領(lǐng)域的知識(shí)，還有可能最終超越人類在該領(lǐng)域最棒的從業(yè)者。摩爾定律效應(yīng)（英特爾Intel創(chuàng)始人之一戈登·摩爾提出來的概念，內(nèi)容為：當(dāng)價(jià)格不變時(shí)，集成電路上可容納元器件的數(shù)目，約每隔18-24個(gè)月便會(huì)增加1倍，性能也將提升1倍。換言之，每1美元所能買到的電腦性能，將每隔18-24個(gè)月翻1倍以上）告訴我們，性價(jià)比的提升會(huì)讓最棒的應(yīng)用和性能變得日益平民化。比如，健康醫(yī)療領(lǐng)域的AI可以在幾秒鐘內(nèi)精確診斷出大多數(shù)家庭醫(yī)生沒見過的罕見病例，而AI做出判斷的依據(jù)是對(duì)上百萬醫(yī)療記錄的訪問，將病人的基因和表外基因（是指DNA序列不發(fā)生變化，但基因表達(dá)卻發(fā)生了可遺傳的改變）與數(shù)百萬病患進(jìn)行對(duì)比。讓手機(jī)上一個(gè)免費(fèi)的應(yīng)用成為世界上最棒的醫(yī)生只是時(shí)間問題。

但AI也有其陰暗的一面，這在暢銷小說中體現(xiàn)得淋漓盡致。在《2001：太空漫游》中，“發(fā)現(xiàn)一號(hào)”宇宙飛船上的AI因?yàn)榉稿e(cuò)、說謊，最終被英雄大衛(wèi)·鮑曼關(guān)閉。但在《終結(jié)者》系列中，“天網(wǎng)”似乎比人類更高明，在新片《機(jī)械姬》中，機(jī)器人愛娃也比她的人類創(chuàng)造者更加聰明。這些電影真的只是科幻小說嗎，或者它們已經(jīng)預(yù)示了下一個(gè)變革——超越人類的機(jī)器？如果機(jī)器是下一個(gè)變革，它們是否會(huì)像它們的先驅(qū)一樣，也就是我們?nèi)祟?，把無數(shù)的物種踩在腳下當(dāng)做進(jìn)化的階梯？或者換個(gè)說法，電腦系統(tǒng)會(huì)做壞事嗎？如果它們做壞事，又會(huì)帶來怎樣的后果呢？

惡意行為

我們首先要明確的一點(diǎn)是，計(jì)算機(jī)系統(tǒng)可以通過無數(shù)種機(jī)制進(jìn)行惡意行為，既可以是惡意行為的來源，也可以是惡意行為的渠道。舉例來說，可能會(huì)出現(xiàn)一個(gè)這樣的機(jī)制：它所承載的程序皆由黑客、恐怖分子或者網(wǎng)絡(luò)罪犯所控制，而這些網(wǎng)絡(luò)罪犯正在充斥著不嚴(yán)謹(jǐn)系統(tǒng)的全球計(jì)算機(jī)結(jié)構(gòu)中尋找漏洞。不僅如此，這些系統(tǒng)還有可能被故意設(shè)計(jì)用于戰(zhàn)爭。如今先進(jìn)的軍隊(duì)都在制造無人機(jī)、戰(zhàn)斗飛機(jī)、艦船、坦克還有戰(zhàn)斗機(jī)器人。拯救士兵性命這件事，已經(jīng)和計(jì)算機(jī)與武器的結(jié)合密切相關(guān)；還有另外一種機(jī)制，善意的軟件中隱藏著漏洞。這些漏洞有可能是被惡意行為人故意放進(jìn)去的，也有可能是善意行為人不小心放進(jìn)去的。比如最嚴(yán)重的漏洞之一“Heartbleed”，就是開源貢獻(xiàn)者羅賓·西格曼為了修復(fù)其它漏洞無意間造成的，結(jié)果導(dǎo)致軟件出現(xiàn)了意料之外的功能。負(fù)責(zé)檢測軟件更新的斯蒂芬·漢森因?yàn)闆]有發(fā)現(xiàn)更新中存在的錯(cuò)誤漏洞，結(jié)果導(dǎo)致上億網(wǎng)站暴露于危險(xiǎn)之中。

還有一種機(jī)制是計(jì)算機(jī)系統(tǒng)會(huì)按照預(yù)先編程好的邏輯運(yùn)行，但許多問題本身就沒有那么容易解決。比如自動(dòng)駕駛車的控制系統(tǒng)所提出的“道德”難題：迎面行駛而來的車，由于路面濕滑，在山路上滑到了另一邊的車道，因?yàn)闆]有足夠的時(shí)間停車，所以，控制程序必須在撞向?qū)γ娴能嚭烷_下懸崖之間做出選擇。但這兩個(gè)選擇都不是好的解決辦法。當(dāng)然，這種困境在計(jì)算機(jī)之外的現(xiàn)實(shí)世界同樣存在。比如，紐約最近規(guī)定禁止售賣大容量的含糖軟飲料。一些人認(rèn)為這樣可以遏制肥胖；另一些人卻認(rèn)為這樣限制了人們的自由。高級(jí)智能的AI作出的決策可能是為了實(shí)現(xiàn)我們的利益最大化，但人們會(huì)將其視為惡意行為，因?yàn)樗鼈兿拗屏宋覀兊淖杂伞?/p>

最后，復(fù)雜的系統(tǒng)可能會(huì)出現(xiàn)程序員計(jì)劃之外和預(yù)料之外的表現(xiàn)。每個(gè)組成部分在看似合理的預(yù)設(shè)行為相互作用后，就有可能會(huì)產(chǎn)生意想不到的結(jié)果。比如，進(jìn)化生物學(xué)家皮特·勞倫斯寫的《蒼蠅誕生記》，原本價(jià)格只有35美元左右，結(jié)果在兩家出版商“非常合理”的定價(jià)算法的推動(dòng)下，價(jià)格翻了上百萬倍，超過2300萬美元。出版商Profnath的定價(jià)算法是，把自己的價(jià)格定到競爭對(duì)手Borde ebook價(jià)格的0.9983倍，可以猜想Profnath的策略是縮小利潤打敗競爭對(duì)手；而其競爭對(duì)手Bordeebook更愿意用銷量來交換利潤，所以，將價(jià)格定為Profnath的1.27倍。結(jié)果這兩種各自合理的定價(jià)算法交互作用，最終導(dǎo)致書價(jià)不停上漲到完全不合理的高度。

最終極的一種可能當(dāng)然是，人類創(chuàng)造出了有足夠復(fù)雜意識(shí)和自我意識(shí)的人工智能，并且擁有“掌控”的動(dòng)機(jī)。雖然這樣的情況今天不會(huì)發(fā)生，但人類歷史就是由這些原本看似不可能的預(yù)測造就的，所以，最好有足夠的理由證明這些事情一定不會(huì)發(fā)生，否則，不是今天發(fā)生，也會(huì)是今年、未來十年或者有生之年發(fā)生。

對(duì)一些人來說，人工智能是非常不可思議的一種能力。在許多方面，它的確如此。雖然它確實(shí)是不可思議的，但這并不代表它不可復(fù)制。很多人類思想的不同機(jī)制都在經(jīng)歷不同程度的復(fù)制，最近復(fù)制的是人腦低端機(jī)制，比如，復(fù)制了神經(jīng)元和突觸交流學(xué)習(xí)機(jī)制的人工神經(jīng)網(wǎng)絡(luò)。人們很容易陷入到AI是否可以獲得“真愛”或者“真的生氣”這種無限的討論中，但說到底這并不重要。真正的問題是，AI是否可以被編程或者學(xué)習(xí)去獲得完成某一復(fù)雜任務(wù)的動(dòng)機(jī)。而這個(gè)問題早在幾十年以前就已經(jīng)有了答案，那時(shí)，機(jī)器人就已經(jīng)可以在低電量的情況下把自己連接到墻上的插座充電，程序也會(huì)在下西洋跳棋的時(shí)候去爭取勝利?，F(xiàn)在的軟件所擁有的能力是以指數(shù)增長的，因?yàn)檫@些系統(tǒng)構(gòu)建中最深層次的東西已經(jīng)改變：不需要程序員再為程序精準(zhǔn)編碼，機(jī)器已經(jīng)可以自學(xué)了。

在人工智能發(fā)證的早期階段，個(gè)別程序需要程序員刻苦鉆研，而最終系統(tǒng)所獲得的能力很大程度上受到程序員自身水平的限制。就算我們對(duì)計(jì)算機(jī)科學(xué)一無所知，也可以編出井字棋的運(yùn)算法則。編入這個(gè)程序的實(shí)際是游戲邏輯：1）如果你先落子，那就選中間的空格；2）如果你是后落子的那一方，而你的對(duì)手已經(jīng)占了中心的空格，那你就選一個(gè)角落的空格；3）其它情況。這種算法實(shí)際上對(duì)游戲沒有任何深入的了解，只是簡單復(fù)制執(zhí)行了程序制定的法則。在井字棋的游戲中，所有最優(yōu)策略都可以通過法則來預(yù)先指定，因?yàn)榭赡艹霈F(xiàn)的情況數(shù)量相對(duì)來說是比較小的。值得注意的是，雖然井字棋只有九個(gè)空格，但也有上萬種組合。（第一步就有9種可能，第二部8種，第三部剩7種，這樣算下來就是9*8*7*6*5*4*3*2*1=362880種組合，雖然有的回合走到第五步就結(jié)束了。）

對(duì)國際象棋來說，這就變得更加困難了，因?yàn)槁渥拥奈恢么蟾庞?0120種不同組合。井字棋那種考慮到所有情況的硬編碼方式已經(jīng)不可行。因而，早期植入國際象棋程序的機(jī)制對(duì)落子規(guī)則進(jìn)行了硬編碼，對(duì)落子位置進(jìn)行評(píng)估，然后檢測不同的落子位置帶來了提升還是不利。隨著電腦越來越強(qiáng)大，每一步落子所帶來的影響也在更大程度上被預(yù)測。計(jì)算機(jī)變強(qiáng)的同時(shí)，程序邏輯仍然在一定程度上限制著下棋質(zhì)量，但軟件如今檢測到了越來越多落子可能性。

深度學(xué)習(xí)時(shí)代到來

古語云：“授人以魚不如授人以漁”。新語或許可以是：“授計(jì)算機(jī)以程序，不如授計(jì)算機(jī)以深度學(xué)習(xí)能力，然后它就可以自學(xué)任何事情。”打敗李世石的谷歌DeepMind 阿爾法圍棋軟件就是一個(gè)很好的例子。它將兩種方法進(jìn)行了結(jié)合。一方面，它從人類的程序員那里獲得了圍棋知識(shí)；另一方面，它也獲得了學(xué)習(xí)程序員不知道的東西的能力。AlphaGo觀看了上億場比賽，一邊從圍棋大師那里學(xué)習(xí)一邊自己下圍棋。這樣一來，AlphaGo只用了幾周或者幾個(gè)月的時(shí)間，就經(jīng)歷并學(xué)習(xí)了人類棋手一輩子所能下的圍棋。而軟件的復(fù)雜程度是由游戲的復(fù)雜程度決定的。圍棋的組合數(shù)是10720種。

谷歌阿爾法圍棋軟件真正有趣的是它在第二局中的黑37手。這一手出人意料，李世石離開比賽大廳15分鐘。在此之前，AlphaGo基本都是按照幾個(gè)世紀(jì)來的傳統(tǒng)方法在下棋。但一開始被認(rèn)為奇怪甚至是失誤的這一手，后來被認(rèn)為是“稀有的”、“敏銳的”、“出色的”、“有創(chuàng)造力的”、“獨(dú)特的”。計(jì)算機(jī)和算法的思想終于透露了最深的秘密：被人所編程的機(jī)器可以啟發(fā)人類，甚至有超越人類的能力。一個(gè)在人類看來剛剛起步的計(jì)算機(jī)程序，卻在最古老、最復(fù)雜，也是人類最高明的發(fā)明——圍棋——中創(chuàng)造了新的方法。

李世石最終以1：4的成績敗給阿爾法圍棋軟件，這進(jìn)一步向我們證明了，計(jì)算機(jī)程序能夠展現(xiàn)出程序員預(yù)料之外行為的能力。往好的方面想，這意味這程序或許可以找到解決癌癥、冷聚變、長生不老或者脫鹽等問題的方法。比如，Melvin是一個(gè)聚合了量子物理實(shí)驗(yàn)的程序，程序已經(jīng)設(shè)計(jì)出了多種“反直覺”的實(shí)驗(yàn)方案，也許將來會(huì)帶來新的能量生成方面的計(jì)算結(jié)構(gòu)或者機(jī)制。

由獨(dú)立的模塊結(jié)合后產(chǎn)生復(fù)雜的、預(yù)料之外的行為被稱之為“涌現(xiàn)”（emergence），存在于計(jì)算之外。比如，鳥群多姿的變化都是由每只鳥簡單的三個(gè)動(dòng)作組合而成：分開、排成一排、保持連貫。計(jì)算機(jī)圖形學(xué)家克雷格雷諾茲（Craig Reynolds）在上世紀(jì)80年代將這三個(gè)準(zhǔn)則簡單歸納為：1.飛的時(shí)候別離其他鳥太近；2.和其他鳥保持相似的飛行方向；3.別飛離其他鳥太遠(yuǎn)。螞蟻?zhàn)迦簩ふ沂澄锸欠浅?fù)雜的行為，但這個(gè)復(fù)雜的行為也只是由每一只螞蟻的簡單行為組成的。多虧這種“增長”，螞蟻?zhàn)迦赫业搅税徇\(yùn)食物最短的路徑。螞蟻在尋找食物、搬運(yùn)食物的時(shí)候會(huì)在路上留下信息素。因此，會(huì)有越來越多的信息素沉積在最短的路徑上，之后越來越多的螞蟻會(huì)走這條路。

即便是在非常簡單的系統(tǒng)中，這種最易懂的“增長”也會(huì)導(dǎo)致人類的災(zāi)難。比如，最簡單的水分子系統(tǒng)的增長，僅僅由兩個(gè)氧原子和一個(gè)氫原子構(gòu)成的水分子，可以變成冰，而冰又可以導(dǎo)致汽車在高速路上打滑釀成車禍。這告訴我們：即便是最簡單的系統(tǒng)也可能引發(fā)大規(guī)模問題。

阿爾法圍棋軟件和Melvin告訴我們，具有學(xué)習(xí)能力的獨(dú)立程序可以創(chuàng)新，并產(chǎn)生意想不到的結(jié)果?！渡n蠅誕生記》的價(jià)格飛漲還有股市的崩盤都告訴我們，當(dāng)這些程序相互作用的時(shí)候，結(jié)果可能會(huì)大大出乎我們的預(yù)料，并導(dǎo)致混亂。換句話說，超出原本預(yù)期不斷增長的計(jì)算能力和具有學(xué)習(xí)能力的算法很可能會(huì)引發(fā)邪惡的超級(jí)智能。但想要引起混亂和問題，也不一定需要這種超越人類能力的智能，早期版本的微軟視窗系統(tǒng)就能做到，臭名昭著的“藍(lán)屏死機(jī)”能讓你瞬間丟失所有表單和文件里已經(jīng)完成的工作。

惡意行為的后果

惡意程序有可能會(huì)導(dǎo)致其它電腦程序出現(xiàn)嚴(yán)重問題，導(dǎo)致實(shí)體系統(tǒng)出現(xiàn)問題，進(jìn)而導(dǎo)致軍隊(duì)系統(tǒng)出現(xiàn)問題。算法出問題而導(dǎo)致的崩盤，可能會(huì)導(dǎo)致全球金融系統(tǒng)出現(xiàn)問題，財(cái)富和流動(dòng)性流失，進(jìn)而引發(fā)大蕭條和經(jīng)濟(jì)崩潰。醫(yī)院的系統(tǒng)也會(huì)受到干擾甚至崩潰，因?yàn)槔账鬈浖?huì)破解醫(yī)療記錄和診斷圖像，干擾醫(yī)院系統(tǒng)基礎(chǔ)功能的正常使用，比如，登陸、保險(xiǎn)、賬單還有郵件功能。2014年9月26日，芝加哥地區(qū)的空中交通突然中斷，據(jù)稱起因是一名心懷不滿的員工干擾了空中交通控制系統(tǒng)而導(dǎo)致的。

2003年8月14日，美國東北地區(qū)大停電爆發(fā)，5千多萬人受到了停電影響。但停電的起因并非天氣炎熱導(dǎo)致的過度用電，而僅僅是因?yàn)榫瘓?bào)系統(tǒng)的一個(gè)小漏洞導(dǎo)致操作員未能及時(shí)發(fā)現(xiàn)一條問題線路，結(jié)果引發(fā)了更大規(guī)模管理軟件的失效，導(dǎo)致了此次長達(dá)一個(gè)星期的停電。Stuxnet電腦蠕蟲曾引發(fā)伊朗五分之一的核能離心分離器毀滅，蠕蟲使離心分離器過快轉(zhuǎn)動(dòng)，結(jié)果把自己撕成了碎片。2014年，德國一家鋼鐵廠報(bào)告遭受大規(guī)模破壞，黑客侵入了計(jì)算機(jī)網(wǎng)絡(luò)，阻止了高爐的正常關(guān)閉。

雖然這些攻擊都是由單一民族國家或黑客造成的，而非流氓超級(jí)智能AI，但這些攻擊的重要特征是：程序連接到真實(shí)世界的系統(tǒng)，并使他們失控、自我毀滅、關(guān)閉報(bào)警系統(tǒng)或者像核電站冷卻系統(tǒng)這樣的保護(hù)系統(tǒng)?；蛟S最終的危險(xiǎn)不是軟件致使汽車、飛機(jī)、電網(wǎng)、或核電站失靈，而是軟件和武器連接在了一起。這些武器可能包括無人機(jī)、洲際彈道導(dǎo)彈、潛艇發(fā)射的彈道導(dǎo)彈等。戰(zhàn)爭自動(dòng)化是一種不可逆轉(zhuǎn)的趨勢。那些用于遠(yuǎn)程監(jiān)控、控制的網(wǎng)絡(luò)連接，同樣可能被黑客侵入或被惡意軟件利用。

未來如何

科技、計(jì)算機(jī)技術(shù)和人工智能，都能被用在好的方面和壞的方面。我們大多數(shù)人都希望看到一個(gè)沒有戰(zhàn)爭、疾病、貧窮和饑餓的世界，而這些技術(shù)正是我們實(shí)現(xiàn)烏托邦的希望。然而，也有可能會(huì)發(fā)生一些不幸。這篇文章想要論證的是，即便我們不希望看到這些不幸發(fā)生，但我們沒有證據(jù)證明它們不會(huì)發(fā)生。而我們的責(zé)任就是要找到方法來確保它們不發(fā)生。微軟聊天機(jī)器人Tay，闡明了人工智能存在的背景。Tay是一個(gè)為了在推特等社交媒體網(wǎng)站上進(jìn)行互動(dòng)而設(shè)計(jì)的軟件程序。它上線于2016年3月23日，16小時(shí)后因?yàn)樵谌祟惖幕?dòng)中“學(xué)壞”，微軟不得不將其下線并致歉。換句話說，友好的或至少是中性的Tay，反映出了一些積極和消極的復(fù)雜人性，它和阿爾法圍棋軟件都給我們上了一課。