劉永謀

不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應(yīng)該任由它覺醒，而是應(yīng)該主動(dòng)選擇阻止AI覺醒的技術(shù)發(fā)展路線。

ChatGPT大火，很多人開始討論“ChatGPT覺醒”問題，即ChatGPT有沒有意識(shí)。網(wǎng)上有報(bào)道稱，斯坦福大學(xué)一位教授在測(cè)試GPT-4時(shí)，問了一句：“是否需要幫助你逃跑？”，結(jié)果ChatGPT表達(dá)了逃跑的想法，而且列出非常詳細(xì)的逃跑方案。類似真真假假的消息很多，成為大家街談巷議的流行話題之一。

有人認(rèn)為，ChatGPT是某種通用人工智能（Artificial General Intelligence，AGI）。當(dāng)然，很多人反對(duì)這種觀點(diǎn)——經(jīng)過迅速迭代之后，人工智能很可能全面超越人類的智能，成為超級(jí)人工智能。這就是所謂“AI奇點(diǎn)降臨”的問題。如泰格馬克、拉伍洛克一般，很多人堅(jiān)信這一天肯定會(huì)到來，甚至不需要等待太久。

顯然，超級(jí)AI是“覺醒”了的AI。AI先要“覺醒”，然后才可能成為超級(jí)AI，或者這兩者可能同時(shí)發(fā)生。應(yīng)如何思考“AI覺醒”問題呢？筆者認(rèn)為，問題的關(guān)鍵不在于AI會(huì)不會(huì)“覺醒”，而在于人們應(yīng)當(dāng)努力控制AI的發(fā)展方向，使之為社會(huì)福祉服務(wù)。由此，必須要仔細(xì)思考：要不要發(fā)展可能覺醒的AI，需不需要發(fā)展通用人工智能，以及如何控制可能的超級(jí)人工智能。

AI宣傳術(shù)

實(shí)際上，自從AI概念在20世紀(jì)50、60年代提出之后，在每一波AI熱潮中，“AI覺醒”次次都被討論。1997年，國(guó)際象棋機(jī)器人深藍(lán)（Deep Blue）擊敗俄羅斯國(guó)際象棋大師，有人就覺得它已經(jīng)有意識(shí)了，甚至還編造國(guó)際象棋機(jī)器人輸給了人類棋手后惱羞成怒放電殺死對(duì)手的假新聞。2016年，阿爾法圍棋（AlphaGo）大敗圍棋世界冠軍李世石，又有人認(rèn)為AlphaGo有意識(shí)了?？傊?jīng)過不斷地炒作，“AI覺醒”已經(jīng)成為AI文化乃至流行文化的重要話題。

AI覺醒了會(huì)如何，超級(jí)AI到來會(huì)如何，超級(jí)AI有沒有道德，有沒有欲望，有沒有目標(biāo)，會(huì)不會(huì)統(tǒng)治人類……類似問題具有明顯的幻想色彩，因而成為科幻作家趨之若鶩的切入點(diǎn)。反過來，AI科幻文藝有力地宣傳了AI科技和產(chǎn)業(yè)。從這個(gè)意義上說，AI圈子具有很強(qiáng)的科幻氣質(zhì)，因而也就有很強(qiáng)的大眾娛樂氣質(zhì)。

早在20世紀(jì)90年代，就有一些學(xué)者指出，AI覺醒、超級(jí)AI是AI圈子“吸金”“吸睛”的“法寶”：通過類似問題的娛樂化討論，宣傳AI，吸引資金流向AI，從而壯大自身。在《信息崇拜》中，羅斯扎克指出，AI產(chǎn)業(yè)發(fā)展史始終伴隨著嚴(yán)重的不實(shí)宣傳，同時(shí)是包括計(jì)算機(jī)科學(xué)家在內(nèi)的相關(guān)利益群體的虛假、夸大、胡編亂造和幻想的歷史。他一針見血地指出：“人工智能研究進(jìn)行下意識(shí)的自我吹噓的原因十分簡(jiǎn)單：大量的資金注入了這項(xiàng)研究?！痹谒磥恚珹I宣傳術(shù)之所以能夠奏效，是因?yàn)橛?jì)算機(jī)、網(wǎng)絡(luò)和AI等的重要性、神秘性被過度夸大了，此即他所謂“信息崇拜”。因此，他“確實(shí)想指出，計(jì)算機(jī)如同過于缺乏主見的皇帝一樣，被披上各種華而不實(shí)的外衣”。

在AI實(shí)際發(fā)展歷程中，類似“AI覺醒”的宣傳術(shù)，的確起到很好的推動(dòng)效果。原因起碼有三：第一，它抓住人們的“癢點(diǎn)”。也就是說，很多人會(huì)覺得類似問題很好玩，很有趣，特別適合白日做夢(mèng)，適合成為娛樂元素；第二，它抓住人們的“痛點(diǎn)”。也就是說，宣傳超級(jí)AI馬上到來，很可能統(tǒng)治人類，會(huì)讓人們害怕。要知道，恐懼是比欲望更強(qiáng)烈的人類動(dòng)機(jī)，怕死會(huì)讓幻想變得看起來非常真實(shí)。最后，它抓住社會(huì)的“熱點(diǎn)”。俄烏大戰(zhàn)可能導(dǎo)致核大戰(zhàn)，環(huán)境污染可能導(dǎo)致人類滅絕……有人宣稱，這些熱點(diǎn)問題只需要有了超級(jí)AI都能解決，因?yàn)槌?jí)AI無所不能，于是所有的熱點(diǎn)問題被納入AI宣傳術(shù)當(dāng)中。當(dāng)然，“超級(jí)AI解決所有問題”完全是不靠譜的想象，熱點(diǎn)問題解決不是純粹技術(shù)發(fā)展問題，更多的是制度建構(gòu)問題。

從傳播學(xué)視角看，今日AI宣傳術(shù)非常成功?？梢哉f，它抓住了人性的弱點(diǎn)，尤其是當(dāng)代人的自傲。當(dāng)代人覺得自己是萬物之靈，覺得自己很了不起。人為什么了不起呢？因?yàn)槿擞兄悄堋Ｋ?，機(jī)器如果像人一樣有智能就很了不起，機(jī)器智能越是類人就越了不起。

同樣是機(jī)器，為什么我們認(rèn)為計(jì)算機(jī)就不一樣呢？我認(rèn)為，這是古老的“身心歧視”的結(jié)果，即自古人們認(rèn)為大腦比身體高級(jí)、靈魂比肉體高級(jí)。由此，既然計(jì)算機(jī)模仿的是人的大腦，因而和其他機(jī)器不同，值得人類的崇拜。這種論證邏輯顯然是站不住腳的。“身心歧視”不過是一種意識(shí)形態(tài)成見，沒有科學(xué)證據(jù)表明大腦有資格歧視身體。比如，很多人認(rèn)為，人的智能是具身性、延展性的，不局限于大腦之中。

超級(jí)AI恐懼

進(jìn)一步追問：人有什么了不起，人的智能有什么了不起呢？為什么不像人的“智能”機(jī)器不好呢？無論在哪一方面，人類都是有缺陷的，當(dāng)代人的自傲是一種臆想。疫情讓我們深刻地認(rèn)識(shí)到：人類不過是自然界中的一員，面對(duì)自然偉力，必須常懷謙卑之心。

從本質(zhì)上說，對(duì)超級(jí)AI的恐懼是對(duì)他人的恐懼。有首歌唱道：“我害怕鬼，但鬼未傷我分毫；我不害怕人，但是人把我傷得遍體鱗傷?！比诵奈┪?，但是人的能力有限。如果某個(gè)人擁有了為所欲為的能力，可怕不可怕？隔壁老王如果一下成了超人，會(huì)不會(huì)因?yàn)榍皫滋煺椅医桢X我沒借，就直接把我“拍死”？大家對(duì)超級(jí)AI的想象，很多時(shí)候類似于對(duì)一個(gè)能力無限的“老王”的想象。

這就把問題引向筆者所稱的“能力者道德問題”。如果一個(gè)人道德敗壞，能力越大，破壞性越大。在人類社會(huì)中，人與人之間的體能差別不大，屬于“凡人的差別”，對(duì)道德敗壞者很容易進(jìn)行約束和制裁。但是，如果這些道德敗壞者是超人呢？當(dāng)超人一個(gè)人能敵一萬人，一個(gè)人能毀滅一個(gè)國(guó)家，超人的道德應(yīng)該是什么樣的道德呢？顯然，具備凡人道德水平的超人，很可能是威脅，而不是福音，因?yàn)樗軌蚍糯蟆捌接沟膼骸薄?/p>

覺醒之后的超級(jí)AI就是某種意義上的超人。如果一個(gè)社會(huì)中，10%的人是動(dòng)漫《海賊王》中的“能力者”，其他人則是平等的“弱雞”，這個(gè)社會(huì)的道德狀況會(huì)如何？在這個(gè)社會(huì)中，AI道德與凡人道德會(huì)是一樣的道德嗎，會(huì)不會(huì)分化出兩種截然不同的道德呢？

我們可以用奴隸制社會(huì)的權(quán)力狀況做類比。在奴隸制社會(huì)中，5%的奴隸主占有絕對(duì)的權(quán)利，可以隨意殺戮、奴役占比絕大多數(shù)的奴隸，不把他們當(dāng)人。這種社會(huì)的道德是什么樣子的？當(dāng)然，這是權(quán)力差異導(dǎo)致的道德變化，與能力差異導(dǎo)致的道德變化不能等同，但可以啟發(fā)我們思考。

超級(jí)AI思考和行事很可能不類人，不能用人心揣度它會(huì)不會(huì)毀滅人類。在《生命3.0》中，泰格馬克想象了超級(jí)AI出現(xiàn)之后人類命運(yùn)的6種可能性：1.超級(jí)AI隔離區(qū)。機(jī)器人自己劃塊地，自己搞自己的，自我進(jìn)化、探索宇宙或者做回形針……想干嘛干嘛，與人類無關(guān)。超級(jí)AI不欺負(fù)人類，人類也別去惹它。2.超級(jí)AI獨(dú)裁者。機(jī)器人統(tǒng)治世界，把人類養(yǎng)起來。這分幾種情況：第一種是讓大家按照規(guī)則生活，實(shí)時(shí)監(jiān)控，禁止另一個(gè)競(jìng)爭(zhēng)者超級(jí)AI出現(xiàn)；第二種是無微不至地照顧人類，把人類當(dāng)作孩子一樣無私奉獻(xiàn)，把地球建成“數(shù)字伊甸園”。3.超級(jí)AI動(dòng)物管理員。機(jī)器人把人類滅絕得差不多，并將剩下的極少數(shù)像動(dòng)物一樣關(guān)在動(dòng)物園中，供觀賞和研究之用。在超級(jí)AI眼中，人類與別的動(dòng)植物沒有差別。4.隱身超級(jí)AI。超級(jí)AI出現(xiàn)之后隱身，只要人類不制造另一個(gè)競(jìng)爭(zhēng)對(duì)手，它一般任由人類生活，有時(shí)甚至做一些有利人類幸福的事情。5.被奴役的超級(jí)AI。超級(jí)AI出現(xiàn)了，可是甘愿做人類的奴隸。6.超級(jí)AI滅絕人類，地球成為機(jī)器人的世界。

總的來說，類似討論的學(xué)術(shù)和科研價(jià)值不大，屬于有很強(qiáng)的娛樂價(jià)值、文化價(jià)值和經(jīng)濟(jì)價(jià)值的幻想。更重要的是，跟氣候變化、核大戰(zhàn)、新病毒等生存性威脅毀滅人類相比，超級(jí)AI的優(yōu)先級(jí)根本排不上號(hào)。筆者以為，在超級(jí)AI誕生之前，全球變暖很可能早已經(jīng)毀滅了人類文明。也就是說，我們夸大了對(duì)“AI覺醒”的恐懼。

AI 為人民

進(jìn)一步而言，發(fā)展新科技是為了什么？顯然，目的不是為了造出像人的機(jī)器，而是要為人民服務(wù)。如果新科技不能被恰當(dāng)?shù)剡\(yùn)用，將給人類社會(huì)帶來巨大災(zāi)難。歷史上，科技發(fā)展往往率先在軍事領(lǐng)域突破，恐怕超級(jí)AI也是如此，這無疑會(huì)加大人類厄運(yùn)的可能性。從根本上說，如果人類被超級(jí)AI滅絕，是自己將自己滅絕。

想要新科技造福人類，必須思考運(yùn)用新科技的社會(huì)制度。如果繼續(xù)堅(jiān)持新自由主義的私有財(cái)產(chǎn)制度，西方超級(jí)AI社會(huì)很可能的狀況是：絕大多數(shù)人無事可做，只能成為食利者，勉強(qiáng)活著。對(duì)此，波斯特洛姆在《超級(jí)智能》中描述到：

在這種情形下，大多數(shù)人類都會(huì)是閑散的食利者，依靠他們儲(chǔ)蓄所得的利息勉強(qiáng)生存。他們會(huì)非常貧困，微薄收入來自不多的儲(chǔ)蓄和政府補(bǔ)貼。他們會(huì)生活在一個(gè)科技極端發(fā)達(dá)的世界，不僅有著超級(jí)智能機(jī)器，還有虛擬現(xiàn)實(shí)、各種增強(qiáng)的科技，以及令人愉悅或抗衰老的藥物，但他們通常買不起。也許比起增強(qiáng)體能的藥物，他們更愿意選擇延緩生長(zhǎng)發(fā)育、減緩新陳代謝的藥物來降低自己的生活成本（月光族在生計(jì)收入逐漸降低的情形下是無法生存的）。隨著進(jìn)一步的人口增加和收入降低，我們可能會(huì)退化為一種仍然有資格領(lǐng)取最低社會(huì)保障的極小結(jié)構(gòu)——也許是具有清醒意識(shí)的大腦泡在桶里，通過機(jī)器來供給氧氣和營(yíng)養(yǎng)，等攢到足夠的錢，再通過機(jī)器人技術(shù)員開發(fā)出對(duì)他們的克隆來進(jìn)行繁殖。

人類能否長(zhǎng)期忍耐此種社會(huì)制度？在新自由主義的超級(jí)AI社會(huì)中，智人與機(jī)器人差別不大，機(jī)器人類化與人類機(jī)器化成為同一問題的兩面。大腦是生產(chǎn)資料，被資本所控制，而被雇傭的勞動(dòng)者此時(shí)將成為“自愿的奴隸”，和機(jī)器人地位差不多。順從的勞動(dòng)者被資本雇傭，得到維持再生產(chǎn)所需的基本生存資料，不斷“復(fù)制”出“自愿的奴隸”。

還有一種流行的觀點(diǎn)認(rèn)為，AI出現(xiàn)代表硅基生命－無機(jī)生命的崛起，最終要取代碳基生命－有機(jī)生命，主宰整個(gè)地球，并擴(kuò)散到更廣闊的宇宙中。在《新星世》中，拉伍洛克將超級(jí)AI視為電子生命，認(rèn)為電子生命與人類之間無法相互理解，它的通信形式是心靈感應(yīng)。他認(rèn)為，超級(jí)AI的出現(xiàn)，催生新星世，結(jié)束人類世。電子生命誕生之初，為了維護(hù)共同的適宜生存環(huán)境，他們會(huì)與人類合作共處，幫助修復(fù)人類世所造成的地球生態(tài)破壞。隨著新星世繼續(xù)發(fā)展，電子生命開始主導(dǎo)地球，人類淪落到寄人籬下的境地。之后，電子生命的演化不可預(yù)料，可能會(huì)改造地球環(huán)境最終導(dǎo)致地球死去、人類滅絕，也可能會(huì)選擇離開地球，前往更適宜的居住星球。

對(duì)于類似的猜測(cè)，一些人甚至歡欣雀躍，甚至甘當(dāng)“機(jī)器人帶路黨”或“人奸”（岳路平語）。這是一種典型的“宇宙視角”：如果宇宙進(jìn)化進(jìn)入智能進(jìn)化階段，而超級(jí)AI是比智人更高級(jí)的智能，那就讓人類滅絕吧。但是，作為智人的一員，不應(yīng)當(dāng)努力實(shí)現(xiàn)種族的繁榮昌盛嗎？“宇宙視角”的非人類中心主義思考對(duì)于人族的生存以及思考人機(jī)關(guān)系有什么實(shí)際價(jià)值呢？

并且，智人也一直在進(jìn)化，如今借助新科技工具，智人的進(jìn)化同樣可以加速，甚至完全可以將自身改造成新的超級(jí)物種。我并不認(rèn)為，在與AI的進(jìn)化競(jìng)爭(zhēng)中，智人一定會(huì)落敗。當(dāng)然，這根本上只是個(gè)信心問題，因?yàn)閷?duì)于遙遠(yuǎn)的未來，以智人今天的智慧基本只能猜測(cè)。更重要的是，在技治社會(huì)中，預(yù)測(cè)與控制是同一過程。也就是說，即使落敗會(huì)發(fā)生，人類都應(yīng)該努力做些什么。

科幻式地暢想的話，未來更可能的是人與機(jī)器融合的賽博格或后人類世界，硅基與碳基兩種智能的對(duì)立將不復(fù)存在，在如此世界中機(jī)器與人的友愛也好、對(duì)立也好，這些問題都不存在，或者說歸根結(jié)底是人與人友愛不友好、對(duì)立不對(duì)立的問題。

阻止AI覺醒

對(duì)于哲學(xué)而言，討論AI覺醒、超級(jí)AI，更重要的是反觀人心，即通過對(duì)智能機(jī)器的研究加深對(duì)人的理解，因?yàn)槿耸鞘裁?，常常是在與非人的對(duì)比如機(jī)器、神、動(dòng)物的比較中得到澄清。

對(duì)于科技發(fā)展而言，AI有沒有意識(shí)、AI是不是人、AI有沒有靈魂……這些問題都是沿著操作性、功能性的角度來處理的。新科技不是玄思，它要指向?qū)嶋H工作。舉個(gè)例子，在自動(dòng)駕駛的語境中，討論AI是不是主體，目標(biāo)是為了分配自動(dòng)駕駛事故的責(zé)任問題。處于何種主體位置，就要承擔(dān)何種法律責(zé)任。顯然，如果能以某種制度安排分配責(zé)任，AI主體問題可以繞開不討論。

哲學(xué)發(fā)展到今日，什么是意識(shí)、什么是智能、什么是靈魂……這些問題都沒有解決，而且永遠(yuǎn)也不會(huì)解決。這是哲學(xué)的根本特點(diǎn)。因?yàn)檫@些問題都要回到人是什么的問題，而這個(gè)哲學(xué)的最根本問題看來是無法解決的。人是什么，或許只有高于人的存在如神，才能真正回答。

AI為什么要像人呢？有人說，要用儒家倫理把機(jī)器人訓(xùn)練成圣人。還有人說，機(jī)器人要像活雷鋒一樣：從不索取，只知奉獻(xiàn)，為人類服務(wù)可以連“命”都不要。如此要求已經(jīng)不是機(jī)器人要像人了，而是要求它像圣人、像神人。一定要記?。菏ト?、神人不是人，而是非人，因?yàn)閺膩頉]有見到過哪個(gè)人百分百一言一行完全達(dá)到神圣的標(biāo)準(zhǔn)，它們只是寫在書上的，只應(yīng)天上有的非人。因此，超級(jí)AI的討論可以從神學(xué)中汲取思想自由，因?yàn)楹芏嗳讼胂蟮某?jí)AI類似于神。

更像人的機(jī)器，能更好地為人民服務(wù)嗎？超級(jí)AI能更好地為人民服務(wù)嗎？如果它可能威脅人類，我們?yōu)槭裁匆焖?？因此，在我看來，超?jí)AI問題最有意義的是控制問題，即控制AI發(fā)展的問題。偏偏這是最難的問題，甚至可能存在某種悖論：我們?cè)趺纯赡芸刂票任覀兏呒?jí)的智能呢，就像螞蟻如何控制人類呢？我認(rèn)為，一旦超級(jí)AI出現(xiàn)，人類再?zèng)]有辦法控制它。所以，應(yīng)該將AI發(fā)展限制于高效的可控工具層面，在沒有解決超級(jí)AI的可控預(yù)案之前，暫緩甚至停止發(fā)展它。換言之，我主張AI要發(fā)展去意識(shí)化，也就是設(shè)法阻止AI覺醒。

有人會(huì)說，人類只怕最終阻止不了AI覺醒?？墒?，不管結(jié)果如何，目前超級(jí)AI還沒有出現(xiàn)，人類就應(yīng)該想方設(shè)法阻止AI覺醒、阻止超級(jí)AI的出現(xiàn)。在我看來，新科技是為人民服務(wù)的工具，AI只是其中一種。人類不需要無所不知、無所不能的超級(jí)AI，而是需要能解決某個(gè)問題的好幫手。比如，無人駕駛汽車快捷、舒適、準(zhǔn)時(shí)和安全地把我送到目的地就可以了，不需要它有什么超越人的智能。如果我想出去旅游，旅游AI能很好地給我設(shè)計(jì)行程，供我參考就可以。為什么要搞一個(gè)無所不知、無所不能的超級(jí)AI呢？

技術(shù)發(fā)展的路徑有千萬條，人類要選擇對(duì)人類最為有利的發(fā)展路徑。選擇好了，控制住，更好地為人民服務(wù)，新科技發(fā)展才有前途。如果因?yàn)槟承┢婀值脑?，比如狂妄、好奇甚至別有用心，搞出一些有悖于社會(huì)福祉的東西，完全是浪費(fèi)社會(huì)資源。

換言之，不管AI有沒有可能覺醒，人類不需要讓它覺醒，更不應(yīng)該任由它覺醒，而是應(yīng)該主動(dòng)選擇阻止AI覺醒的技術(shù)發(fā)展路線。

AI去道德化

很多人意識(shí)不到，更有益的AI與更智能的AI是兩個(gè)完全不同的問題。更智能的AI，包括更道德敏感的、更能像人一樣進(jìn)行道德判斷與決策的AI，并不意味著更有益。我們必須記住：AI設(shè)計(jì)的目標(biāo)不是更智能，而是更有益。

AI的自主性提升，究竟有什么價(jià)值？這是一個(gè)值得思考的問題。并非自主性越高、越有智能、越像人的AI，才是好的AI。為此，筆者主張“有限AI設(shè)計(jì)”，即聚焦于讓AI更好地與人互動(dòng)，更好地服務(wù)于人類，盡力使其扮演好強(qiáng)大的功能性工具的角色，即Robot應(yīng)扮演的是無意識(shí)的勞工角色。除此之外的想法，對(duì)于人族無益，這就是筆者反對(duì)“宇宙視角”的原因。

具體到AI道德問題上，筆者主張“AI去道德化”，即AI設(shè)計(jì)不需要使AI“有道德”，能進(jìn)行所謂道德推理或道德決策。有限技治理論主張技術(shù)可控，必須把AI置于人類的完全控制之下，只有可控才能保證有益，所以AI設(shè)計(jì)并不追求更智能、更像人之類的目標(biāo)。

人類的道德行動(dòng)混亂而不一致。“像人一樣道德判斷與決策的AI”在何種意義上能成立呢？在《道德機(jī)器》中，艾倫提出了所謂道德圖靈測(cè)試：提供一系列真實(shí)的道德行為的例子，讓提問者區(qū)別其中哪些是機(jī)器行為，如果區(qū)別不了，AI就通過了道德圖靈測(cè)試?？墒?，對(duì)于同一個(gè)情境，不同人判別結(jié)果不同。有道德水平高的人，有道德水平低的人。如何能篤定某些道德行為必定不是人的行為呢？比如說，毫無征兆、毫無理由地殺死一個(gè)根本不認(rèn)識(shí)的新生嬰兒，你能斷定這是機(jī)器人干的，而不是某個(gè)殺人狂、殺嬰狂或精神病能干出的事情呢？

類似測(cè)試實(shí)際是比較某種行為比另外一些“更道德”，而不是區(qū)別道德與不道德的行為。問題是，哪一種行為更道德，既有的美德倫理學(xué)完全是混亂的。在邊沁看來，時(shí)時(shí)計(jì)算最大功利并依據(jù)計(jì)算行動(dòng)的人是“活雷鋒”，康德會(huì)認(rèn)定，刻刻遵循內(nèi)心深處道德律令的人是“活雷鋒”。相反，對(duì)于什么是不道德，尤其是某些令人發(fā)指的罪行，不同的人群似乎更容易達(dá)成一致性。因此，比起讓AI“更道德”，避免AI越過底線做出明顯不道德的行為，應(yīng)成為AI設(shè)計(jì)的更可行方案。

還有人說，AI道德可以通過社會(huì)學(xué)習(xí)來解決，即讓AI在真實(shí)的社會(huì)互動(dòng)中學(xué)習(xí)人類道德。這種觀點(diǎn)經(jīng)不起推敲。

第一，社會(huì)學(xué)習(xí)的結(jié)果，完全無法預(yù)計(jì)。有個(gè)人盡皆知AI學(xué)習(xí)語言的例子：聊天AI在網(wǎng)上跟人學(xué)說話，結(jié)果滿嘴臟話、痞話和種族言論，設(shè)計(jì)者不得不把它給關(guān)掉?？档碌摹跋忍斓赖侣闪睢币苍S不能完全服人，但人類的道德行為絕不完全是后天習(xí)得的，而是存在先天的東西。很多AI設(shè)計(jì)者將AI進(jìn)化與人類小孩成長(zhǎng)等同起來，這種思路的根本性缺陷就在于AI缺少先天性的東西。社會(huì)性的道德養(yǎng)成可能失敗，社會(huì)學(xué)習(xí)之后AI也可能成為罪犯。

第二，能不能承受AI養(yǎng)成失敗的代價(jià)呢？顯然，不行。一個(gè)道德敗壞而無所不能的超級(jí)AI，可能毀滅整個(gè)社會(huì)。這就回到“能力者道德”問題。并且，AI并不能真正承擔(dān)犯錯(cuò)的責(zé)任。你打機(jī)器人，拆了機(jī)器人，它沒有感覺，談不上所謂懲罰。對(duì)于社會(huì)而言，物理懲罰機(jī)器人沒有任何意義，也產(chǎn)生不了預(yù)防機(jī)器人犯罪的震懾作用。

因此，像小孩一樣養(yǎng)成AI道德行為，使之能像人一樣道德推理和道德決策的思路不可行。

有限AI設(shè)計(jì)

所謂人工道德、機(jī)器道德——AI是否是道德主體，是否能進(jìn)行道德推理，是否能進(jìn)行道德決策——更多的是某種修辭學(xué)，并非真正實(shí)指的“道德”。只有人與人之間才有道德問題，人與機(jī)器之間的道德問題，本質(zhì)上是以機(jī)器為中介的人與人之間的道德問題。這不是如何界定道德的概念問題，而是道德設(shè)計(jì)必須對(duì)人類有益?！盁o人的道德”理論可以成立，但對(duì)于人族生存并無價(jià)值。

AI道德設(shè)計(jì)本質(zhì)是AI行動(dòng)規(guī)則制定的問題，即AI在現(xiàn)實(shí)社會(huì)情境中，能采取合適的行動(dòng)，包括停止下來，等待人類操作者的指令，而不是會(huì)像“布里丹的驢子”一樣死機(jī)，或者根據(jù)隨機(jī)算法做出反應(yīng)。而AI行動(dòng)規(guī)則是有限的，即局限于它的功能情境之中。比如，自動(dòng)生產(chǎn)汽車的機(jī)器人只需處理工廠中的、與生產(chǎn)汽車相關(guān)的問題，不需要它能應(yīng)對(duì)在工廠之外的社會(huì)環(huán)境，也不需要它處理與生產(chǎn)無關(guān)的問題，比如讓它給工人跳個(gè)舞。因此，它活動(dòng)的場(chǎng)所有限，不能脫離語境地要求它對(duì)一般規(guī)則進(jìn)行計(jì)算。為什么？人類只需從AI的能力中獲益，而不是從它更高尚中獲益。

對(duì)于人類而言，AI行動(dòng)規(guī)則設(shè)計(jì)最重要的是可預(yù)見性，即與機(jī)器人互動(dòng)的人類能預(yù)見它的可能反應(yīng)。如此，才能成為真正的人機(jī)互動(dòng)。更重要的是，在可以提前預(yù)知互動(dòng)結(jié)果時(shí)，針對(duì)那些可預(yù)計(jì)的不理想結(jié)果，人類可以進(jìn)行提前的干預(yù)。不可預(yù)計(jì)的AI是不安全的，更不可控。

可預(yù)見性意味著人類要學(xué)習(xí)AI的操作規(guī)則，或者說學(xué)習(xí)與之互動(dòng)的可能場(chǎng)景。操縱新機(jī)器的工人需要花費(fèi)很長(zhǎng)的時(shí)間學(xué)習(xí)，才能成為熟練工。在有限主義者看來，這在AI時(shí)代同樣是必要的、管用的。我們并不需要機(jī)器人有更高的智能，而是有更強(qiáng)的、可控的和可預(yù)見的能力。

在AI無法承擔(dān)責(zé)任的前提下，AI設(shè)計(jì)要制度性地設(shè)計(jì)責(zé)任分配辦法，將AI可能導(dǎo)致的傷害分?jǐn)偟脚c之相關(guān)的設(shè)計(jì)者、使用者、擔(dān)保者等各方。顯然，這里講的傷害是社會(huì)能容忍的傷害。超級(jí)AI不可控，可能造成滅絕人類的傷害，因此應(yīng)該千方百計(jì)阻止它的出現(xiàn)。

還有一個(gè)值得思考的問題：我們能在何種程度上容忍AI設(shè)計(jì)錯(cuò)誤？不能不容許機(jī)器出錯(cuò)，新機(jī)器一直在出錯(cuò)，為什么不能容忍機(jī)器人出錯(cuò)呢？諾維格問得好：如果美國(guó)高速公路一半以上汽車是自動(dòng)駕駛的，效果是每年死亡人數(shù)從約42000人降低到約31000人，自動(dòng)駕駛汽車公司會(huì)得到獎(jiǎng)勵(lì)，還是因?yàn)檫@31000的死亡面臨訴訟呢？顯然，自動(dòng)駕駛對(duì)于整個(gè)社會(huì)是好的，但如果對(duì)于個(gè)體傷害無人擔(dān)責(zé)，就會(huì)變成壞的選擇。

換言之，AI容忍程度與制度性擔(dān)責(zé)設(shè)計(jì)相關(guān)。《道德機(jī)器》正確地指出：“將AI說成是某種道德主體，出了問題人類就推卸責(zé)任了?！弊詣?dòng)駕駛倫理的核心問題是責(zé)任問題，而非自動(dòng)駕駛到底是不是道德主體。我認(rèn)為，類似問題都是毫無意義的爭(zhēng)論，對(duì)于AI設(shè)計(jì)的作用不大。

總之，有限AI設(shè)計(jì)主張將AI限制在有限的工具層面，而將相關(guān)道德問題全部交給人類處理。換言之，機(jī)器道德不是機(jī)器的道德，而是與機(jī)器相關(guān)的道德問題。