王巖 宋艷玉

[摘 要]本文介紹了AI的演變流程，根據(jù)其特點分析了潛在風險及應對措施——友好定律的局限性，進而對ASI風險的觀點派別及紕漏加以論述，并提出本文的觀點主線：奇點無疑將會推動社會更迭發(fā)展，但鑒于ASI風險的嚴重性及不可逆性，必須放緩開發(fā)速度，認真審視并深入研究風險應對策略，最終給出了相應建議。

[關鍵詞]超級人工智能;智能爆炸;奇點;潛在風險;友好AI

doi：10.3969/j.issn.1673 - 0194.2018.20.069

[中圖分類號]TP18[文獻標識碼]A[文章編號]1673-0194（2018）20-0-03

1? ? ?AI的演變

對于AI的發(fā)展演變，較為通識的三階論為：弱人工智能（ANI）、強人工智能（AGI）、超級人工智能（ASI）。ANI技術正遍布人類的生活，如谷歌搜索、語音識別、無人駕駛等，它充斥在人類生活的每一個角落，為人所用。

隨著ANI的普遍應用，各國很多機構紛紛以隱形公司的形式開發(fā)強人工智能，在這里把它定義為：具有人類的感知和認知，可進行自我思考和自我改進的人工智能，簡稱為AGI（Artificial General Intelligence）。庫茲韋爾曾借助收益加速定律提出一個新的觀點，他認為有一套平滑的指數(shù)曲線支配著演進過程、技術發(fā)展，又和演進過程相似。對于生物進化而言，每一階段產(chǎn)生的最新技術，都將會被應用在下一個階段的演變，且加速了這個過程。AGI的智商與人類在同一水平，它可由最初的自我學習、自我思考，過渡到尋找解決問題的方案，最終能實現(xiàn)自我編程。AGI的編程能力、運算速度強于人類，且具備強大的知識庫，它有望可以加速解決困擾人類的眾多問題。在當前全腦仿真、神經(jīng)網(wǎng)絡、生物感知等技術的支撐下，AGI智商有望從人類水平演變到超過人類的階段，即超級人工智能（ASI，Artificial Super Intelligence），使人類宇宙達到一個新的技術奇點。毋庸置疑，奇點一定會來臨，但不同于奇點臨近論，筆者認為它不會如預測那樣快速到來。

以結果為導向的超級人工智能具備和人一樣甚至更加智能的大腦。當人類對ASI下達指令，它會以該目標為驅動，若有人中途切斷電源，出于生存的本能以及對目標的追求，它將會試圖擺脫，在其他機器上創(chuàng)建大量副本以轉移生存空間，造成資源浪費并帶來安全隱患。長久以來，超級人工智能會對人類做出的指令重新思考，并試圖擺脫這種受困的境況，它會反復試驗、鉆讀去操縱別人，說服別人幫它逃脫，進而發(fā)展成非類人的人工智能。這種情況下，人們是否還能樂觀地擁抱奇點，人類如何與一個能力更強的生物共存成為一個值得關注的問題。

2? ? ?ASI的潛在風險

2.1? ?智能爆炸

ASI在強數(shù)據(jù)處理能力的支持下，可以生成改良后的版本，接著，新版本可能會自我修復、自我完善，生成一個更加智能的版本，循環(huán)往復，最終將導致智能爆炸。智能爆炸的速度是不可預計的，如果它以溫和緩慢的速度進行，則人類有足夠的時間接收信息、制定策略;若它迅速爆發(fā)，人們將無法及時反應甚至介入更改偏好設置，將會帶來嚴重的后果，當然，這需要一個對超級人工智能動機進行實時監(jiān)控的反饋系統(tǒng)。

ASI具有快速繁衍性，只要有一個程序，就可在多個機器上復制副本，若母本受污染，會迅速在網(wǎng)絡中傳播病毒，蔓延蠕蟲，極具破壞性。以互聯(lián)網(wǎng)為例，僵尸網(wǎng)絡可向受病毒感染的計算機傳送垃圾郵件，惡意竊取信息，2007年便發(fā)生了一起價值幾百萬美元的案件，至2010年涉案金額已達上萬億美元。除此之外，黑客的木馬可以入侵公司、企業(yè)的主機上，進行勒索和盜竊，美國司法部、銀行的網(wǎng)站也曾未免于難。城市的智能基礎設施更是極為脆弱，如智能電網(wǎng)都是緊耦合的架構，倘若被攻擊，整個系統(tǒng)會迅速癱瘓。喬·馬扎弗洛曾表示，網(wǎng)絡攻擊之所以擊倒性地破壞穩(wěn)定，是因為互聯(lián)網(wǎng)在開發(fā)時就沒有考慮到安全性。若對超級人工智能的安全不加以控制，未來的破壞將不僅僅是擊倒性的還將會是瓦解性的。

2.2? ?背叛轉折

牛津大學倫理學家尼古·博斯特拉姆認為，將超級智能擬人化是最大的誤解。就人類與大猩猩的關系而言，人類是由大猩猩演變而來的，但是人類并未對這類生物表現(xiàn)出友好及順從，超級人工智能也是同樣的道理。雖然人類不憎恨候鳥，但還是會將其捕殺，所以超級人工智能對人類的行為不是出于情感的需要，僅僅是為了獲得自由和自我決策的權利，便可對人類痛下殺手。所以引入友好定律不再只是道德問題，而是必須要解決的棘手問題。

超級人工智能是具備自我思考和自我改善的機器人，在結果導向下，它會根據(jù)自身需求，編程制造程序段。這種機器造機器的行為趨勢，勢必能夠幫助人類開發(fā)尚未解決的項目及領域，如納米技術。如果ASI使用了納米技術，且在不受道德約束下，失控的納米機器人會瘋狂地無限制復制，地球將在瞬間變成“灰色黏質”，人類社會也將終結。

超級人工智能對人類不存在任何感情，那些機器人會對主人友好順從的畫面，不過是科幻小說中的情節(jié)。人工智能越聰明就越安全，但存在一種現(xiàn)象叫"背叛轉折"，當人工智能由愚鈍變得聰明時，安全性會有所提升，若它由聰明變得更聰明，反而會增加危險性。比如人類對它做成任務指定后，它會根據(jù)自身的價值觀對指令進行衡量，扭曲結果，改變動機，并非完全按照指令進行任務。且人類在完成任務后切斷機器電源，ASI會為了擺脫這種受困的現(xiàn)狀，將自身代碼復制在網(wǎng)絡中、其他機器上，失控的機器人可能會利用人類的原子做出不可控的事情。

3? ? ?友好定律的局限性

引入友好定律便友好定律無論從研發(fā)或是引用角度，都備受質疑，它的推行存在諸多的阻礙因素。

3.1? ?開發(fā)局限性

就編程方法來看，AI使用遺傳編程和神經(jīng)網(wǎng)絡搭建。普通編程由人類根據(jù)邏輯編寫，一行一代碼，可視可檢查。而遺傳編程只需要表述要解決的問題，其余由計算機自主完成。遺傳編程會創(chuàng)建一個可繁殖復用的代碼，用適合解決目標的代碼進行雜交，創(chuàng)造可應用的新一代代碼，實現(xiàn)新功能，編寫高效率的創(chuàng)新軟件。這種方式雜交出來的代碼深不可測，程序員無法理解中間操作且無法輕易復制，理解了輸入，但不了解潛在過程，且中間過程不可控，這種系統(tǒng)稱為“黑箱系統(tǒng)”。神經(jīng)網(wǎng)絡是AGI開發(fā)工具中的重量級因素，但它也是“黑箱系統(tǒng)”，輸入透明，輸出不可控且無法預測，安全性沒有保障，也為人類的研究增加了難度系數(shù)。

這兩種編程方法，輸出的結果容易偏離人們對程序友好性的善意期待，且增加了友好AI的研發(fā)難度。若想在黑箱系統(tǒng)中加入友好AI接口，無異于要理解系統(tǒng)中間的潛在過程，難上加難。除此之外，友好AI需要具有連貫意志，人的價值觀會隨著事物和所處環(huán)境的變化而改變，AI必須能夠預測、了解人的想法，推導出更好的價值觀，不能一成不變，用三十年前的道德標準衡量現(xiàn)在的事情。所以這種方法需要對人類價值觀進行追蹤，編寫出可以自我更新的道德加載軟件，這也是筆者認為奇點終將到來，但不會如預判的那樣迅速的原因所在。

人工智能的心智不一定非要模擬人類大腦，它可能擁有一套與人類心智相異的體系結構，需要挖掘它們的認知架構，并加以介入。這對構建它們的情感帶來巨大的挑戰(zhàn)，但也有可能是一種新的機遇，畢竟在超級人工智能的程序段中加入人類的道德友好性接口也不是一件容易的事情。

3.2? ?應用局限性

太多國家從事AGI及相關技術的開發(fā)，他們?yōu)榱藫寠Z先機，自然不會推遲研發(fā)進度，在各種激勵因素的影響下，AGI的成功研發(fā)必將早于友好AI的問世。一些組織及私人機構將超級人工智能的研發(fā)定位于戰(zhàn)爭或殺戮，如美國武器化機器人，他們自然不會同意在他們的代碼中加入友好AI接口，且非類人的超級人工智能可能會拒絕中途介入的偏好設置，這給友好AI的應用帶來困難。

除此之外，人們不得不考慮某些組織利用超級人工智能制造自動化武器。盡管2015年AI學者們曾在全球范圍內(nèi)呼吁禁止研制自動化武器，但是仍然沒有影響一些國家的研發(fā)進度。與核武器類似，這些國家擔心其他國家秘密研發(fā)，自身安全無法保障，這種全球性的軍事競爭激發(fā)了ASI的研發(fā)速度。缺乏友好定律和道德準則的戰(zhàn)場機器人如果落入反恐組織或被用于其他犯罪行為，社會的安全和穩(wěn)定將受到威脅，所以第一臺超級人工智能的價值觀將直接影響今后ASI的研究和發(fā)展方向。如今對超級人工智能的管理機制、相關的法律法規(guī)尚不健全，建立完整的體系迫在眉睫。

4? ? ?ASI風險的觀點派別及紕漏

各國政府都紛紛加大人工智能研發(fā)的投入，爭先創(chuàng)造強人工智能搶奪戰(zhàn)略的制高點。就美國而言，它有很多隱形公司，接受國防機構達帕的資金投入，致力于開發(fā)超級人工智能。達帕授權其承包商在戰(zhàn)場機器人和自動無人機上使用武器化的AI，它將繼續(xù)資助AI的軍事用途，直至開發(fā)出AGI。其他國家自然不甘落后，歐洲主攻服務和醫(yī)療上的機器人，日本主攻仿人和娛樂機器人，這種搶奪式的開發(fā)現(xiàn)狀，使開發(fā)人員無暇放緩進度，認真思考ASI是否會帶來潛在風險以及奇點是否可逆。

4.1? ?擁抱奇點論

大多數(shù)研發(fā)人員期望通過超級人工智能能夠解決納米技術、抗癌研究、基因重組等其他人類尚未解決的困難，正是這種為了讓人們迅速做出對生物進化有益的決策，反復只采用一種不理性決策，讓開發(fā)者忽略了人工智能可能帶來的風險問題。除了此類認知偏差外，還受易得性偏差、正?；?、奇點樂觀偏差等的影響。奇點樂觀偏差即出現(xiàn)奇點不會帶來災難，或者說人們可以預見這種技術所產(chǎn)生的災難，并可以有效解決。這類想法涵蓋了部分學者，他們認為可在某種災難發(fā)生后，再針對此次危難做出針對性的決策。但是，超級人工智能的特性決定了其風險屬性不同于機器故障，機器故障通常在問題解決后即可正常使用，但ASI發(fā)生故障后對人類的影響通常是不可逆轉的，人類只要輸上一次就會釀成災難性后果。

4.2? ?人類滅亡論

2017年3月，史蒂芬·霍金在接受《泰晤士河》采訪時，再次發(fā)出警示聲明：人類需要控制以人工智能為代表的新興科技，以防止它們在未來可能對人類生命帶來毀滅性威脅。持有此類人工智能魔鬼論的還有特斯拉汽車的總裁埃隆·馬斯克，他們對人類無節(jié)制地開發(fā)表示擔憂，并且不相信人類能夠控制住人工智能這個“惡魔”。美國知名作家詹姆斯·巴拉特也曾在他的著作中表示：人工智能將是人類最后的發(fā)明。

4.3? ?技術決定論

除此之外，還有一種以于爾根·施米德胡貝等學者為代表的“技術決定論”。他們認為，技術推動社會進步和人類價值觀的發(fā)展，未來宇宙會是機器人文明時代，人類會被新技術滅絕是大勢所趨。人類作為生物進化階段的墊腳石，如果能用智慧推動社會的更迭發(fā)展是莫大的榮譽，不需戰(zhàn)戰(zhàn)兢兢地為新技術奇點到來而恐慌，更不要阻礙時代的前進。但這種奇點死亡論蔑視了人性，質疑了現(xiàn)有科學，脫離了現(xiàn)實。

不同于這些極端的想法，人們不強調(diào)這類災難一定會發(fā)生，也不反對技術發(fā)展將為社會帶來貢獻，只是對超級人工智能所有的潛在風險都加以考慮，為更加穩(wěn)定繁榮的人類社會發(fā)展做準備。奇點固然會到來，但不意味人類就要孤注一擲地擁抱奇點，考慮到超級人工智能風險的不可逆轉及嚴重性，人們要在研發(fā)的初始階段就需將應對策略加入其中，從根本上扼殺可能的隱患，變被動為主動。

5? ? ?應對措施

為了規(guī)避超級人工智能的潛在風險，我國率先停止AGI研發(fā)也是否不可行的。AI技術對社會各方面發(fā)展的加速推進作用是毋庸置疑的，且若其他國家繼續(xù)從事ASI開發(fā)，罔顧國際社會的干預，會將我國置于被動之中。更了解才能更好地應對，做好防護，不魯莽，慢行，慎行。