劉益東

(中國(guó)科學(xué)院 自然科學(xué)史研究所，北京 100190)

近年來(lái)，人工智能快速發(fā)展，其風(fēng)險(xiǎn)與倫理問(wèn)題日益凸顯，備受關(guān)注。人工智能倫理規(guī)范紛紛出臺(tái)，據(jù)斯坦福大學(xué)《人工智能指數(shù)2021》等不完全統(tǒng)計(jì)，截止到2021年底，世界各國(guó)已經(jīng)出臺(tái)逾百套人工智能倫理規(guī)范與治理政策及相關(guān)文件，而這些并未或?qū)嶋H上并未影響人工智能及相關(guān)領(lǐng)域的研發(fā)，接二連三的突破都作為重大科技成就而引發(fā)熱議和追捧。與合成生物學(xué)等一些新興科技類似，人工智能在爭(zhēng)議中快速發(fā)展，我們應(yīng)該防控其帶來(lái)的失業(yè)、失能、失控。人工智能倫理治理存在諸多不足，形勢(shì)嚴(yán)峻，急需深入探討和匡正。本文探討數(shù)字反噬、科技風(fēng)險(xiǎn)劇增理論、智能革命的獨(dú)特性、人工智能風(fēng)險(xiǎn)認(rèn)識(shí)誤區(qū)和大規(guī)模失業(yè)、生產(chǎn)致毀知識(shí)等對(duì)人類安全的威脅，研判人工智能風(fēng)險(xiǎn)與倫理治理面臨的挑戰(zhàn)，提出治理對(duì)策。

一、從數(shù)字化到數(shù)字反噬

信息技術(shù)引發(fā)信息技術(shù)革命，深刻改變了人類社會(huì)，信息蠶房、數(shù)字鴻溝、網(wǎng)絡(luò)安全隱患等負(fù)面作用日益引起重視，筆者則對(duì)過(guò)度數(shù)字化進(jìn)行批評(píng)，提出警示。數(shù)字技術(shù)給人類生活、學(xué)習(xí)和工作帶來(lái)諸多便利，但是由于人類自身的生理限制，閱讀仍然依靠肉眼逐字逐句地讀進(jìn)大腦，閱讀數(shù)字版和紙版的速度相差無(wú)幾，記憶仍然依靠大腦，導(dǎo)致人類的邊際效用遞減，數(shù)字技術(shù)對(duì)人類學(xué)習(xí)、工作、決策等能力提升的作用已十分有限。而目前機(jī)器人的數(shù)字文獻(xiàn)閱讀速度是人類的十萬(wàn)倍、百萬(wàn)倍，而且隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)的不斷進(jìn)步，機(jī)器人的閱讀速度和學(xué)習(xí)效率與日俱增，理解和分析能力不斷升級(jí)換代，自學(xué)能力更使人類望塵莫及。IBM的沃森機(jī)器人醫(yī)生可以在幾秒鐘內(nèi)閱讀數(shù)百萬(wàn)字，還能將學(xué)到的知識(shí)應(yīng)用到新的案例中，并給醫(yī)生提出建議。采用深度學(xué)習(xí)技術(shù)的AlphaGo用幾個(gè)月時(shí)間，學(xué)習(xí)了三千萬(wàn)盤(pán)人類棋局，戰(zhàn)勝人類圍棋冠軍。隨后橫空出世的Alphazero無(wú)需學(xué)習(xí)人類棋譜，用三天時(shí)間自學(xué)，與自己博弈了數(shù)百萬(wàn)局，即以100:0的戰(zhàn)績(jī)戰(zhàn)勝了AlphaGo。由于各種文件、文獻(xiàn)都已經(jīng)數(shù)字化，便于AI處理，AI機(jī)器人大顯身手。以色列特拉維夫的LawGeex研發(fā)了一套法律AI平臺(tái)，舉行人機(jī)比賽，活動(dòng)中有20位人類律師與AI平臺(tái)進(jìn)行比賽，在速度和正確率方面，AI大幅超越人類律師。AI只需26秒，就完成了5份協(xié)議的審批，而人類律師平均要花費(fèi)92分鐘才能完成；AI準(zhǔn)確率高達(dá)95%，而人類只有85%。2020年底，在浙江大學(xué)法學(xué)院小禮堂舉辦的人機(jī)大戰(zhàn)，阿里達(dá)摩院“AI律師”不到1分鐘即完成審核運(yùn)算，準(zhǔn)確率高達(dá)96%，速度遠(yuǎn)超人類，審核質(zhì)量與參賽的知名律所律師相媲美。[1]

大規(guī)模數(shù)字化、智能化無(wú)止境地增強(qiáng)了人工智能學(xué)習(xí)、工作、決策等能力，讓原本作為人類工具和助手的機(jī)器人反客為主，成為人類工作崗位的替代者，甚至成為侵略者、統(tǒng)治者，風(fēng)險(xiǎn)遞增甚至劇增。筆者將這種現(xiàn)象稱為數(shù)字化反噬，簡(jiǎn)稱“數(shù)字反噬”。

“數(shù)字反噬”的定義為：深度數(shù)字化、科技化給予人類便利的同時(shí)，機(jī)器人(人工智能)因不受生理限制而獲得的便利和收益超過(guò)人類獲得的便利和收益，且超過(guò)的越來(lái)越多，直到反客為主，替代人類、危害人類、統(tǒng)治人類。那種認(rèn)為“人+機(jī)器人”可以優(yōu)于機(jī)器人的想法只是想當(dāng)然，因?yàn)槿烁緹o(wú)法配合比自己高明千萬(wàn)倍的機(jī)器人，就像“柯潔、李世石+Alphazero”與Alphazero對(duì)局的勝率，兩位世界冠軍的作用完全可以忽略不計(jì)。

二、科技風(fēng)險(xiǎn)劇增理論初探

數(shù)字反噬使得數(shù)字化給人類帶來(lái)的科技風(fēng)險(xiǎn)劇增。筆者用吃過(guò)期食品比喻風(fēng)險(xiǎn)遞增，偶爾少量食用過(guò)期食品問(wèn)題不大，但是如果增加食用量，黃曲霉菌等有害物質(zhì)累積，健康風(fēng)險(xiǎn)劇增。經(jīng)濟(jì)學(xué)家卡萊茨基曾提出風(fēng)險(xiǎn)遞增原理，認(rèn)為隨著投資規(guī)模的增加，資本邊際收益遞減，而投資的邊際風(fēng)險(xiǎn)遞增?，F(xiàn)在看來(lái)，信息科技也存在類似情況。在深度信息化、深度科技化的世界，機(jī)器人如魚(yú)得水，且能力與日俱增，而人類受到生理限制，獲得的邊際收益遞減。如果采用人機(jī)融合、腦機(jī)結(jié)合、生物學(xué)改造等技術(shù)來(lái)突破生理限制，必然帶來(lái)新的重大風(fēng)險(xiǎn)。因此，也存在智能化反噬效應(yīng)、科技反噬效應(yīng)，即科技邊際收益遞減，風(fēng)險(xiǎn)劇增。據(jù)此，筆者初步提出科技風(fēng)險(xiǎn)劇增理論，包括十個(gè)方面的內(nèi)容。

1.人類生理的限制。由于人類生理限制，科技發(fā)展與應(yīng)用給人類帶來(lái)的好處不會(huì)線性增長(zhǎng)，而是增長(zhǎng)漸緩，邊際收益遞減，而科技風(fēng)險(xiǎn)卻隨著科技發(fā)展與應(yīng)用而遞增，甚至劇增。

2.反噬效應(yīng)?？萍荚炀腿斯な澜?、數(shù)字世界，機(jī)器人在其中如魚(yú)得水，成長(zhǎng)迅速，造成的反噬效應(yīng)是以往科技負(fù)面效應(yīng)中所沒(méi)有的。(1)反噬效應(yīng)是繼科技正面效應(yīng)、負(fù)面效應(yīng)之后的第三種效應(yīng)，盡管也屬于負(fù)面效應(yīng)，但因具有獨(dú)特性而給予單獨(dú)列出。

3.連鎖效應(yīng)?；A(chǔ)研究突破、原理研究突破必然會(huì)導(dǎo)致開(kāi)發(fā)應(yīng)用，R&D就是連鎖效應(yīng)的制度化，威力越大、破壞力越大的應(yīng)用越要搶先做出；否則，落后就會(huì)挨打，就會(huì)陷入戰(zhàn)略上的被動(dòng)。

4.尖端科技的正負(fù)效應(yīng)不能抵消。尖端科技是否發(fā)展，不取決于正面效應(yīng)有多少、有多好，而是取決于能否化解、防控、承受其負(fù)面效應(yīng)、反噬效應(yīng)。

5.科技知識(shí)增長(zhǎng)不可逆。其中的致毀知識(shí)增長(zhǎng)也不可逆，危險(xiǎn)不斷累積，甚至直到危機(jī)爆發(fā)。[2-3]

6.科技發(fā)展自我增強(qiáng)永無(wú)止境。知識(shí)與應(yīng)用具有連鎖效應(yīng)，因?yàn)檎?fù)不能抵消，因此科技能否發(fā)展取決于其負(fù)面效應(yīng)能否被遏制，又因?yàn)槠湓鲩L(zhǎng)不可逆，結(jié)果風(fēng)險(xiǎn)越來(lái)越多，[4]特別是機(jī)器人的出現(xiàn)，使得反噬效應(yīng)愈發(fā)普遍，科技風(fēng)險(xiǎn)陡然增加。

7.資本反噬，推波助瀾。眼前利益最大化是資本的本質(zhì)，皮凱蒂的名著《21世紀(jì)資本論》指出，科技革命已使得貧富差距極大分化，其源頭在于資本的收益遠(yuǎn)遠(yuǎn)高于勞動(dòng)的收益。但是皮凱蒂忽視了資本與高科技結(jié)合既產(chǎn)生超額收益，也引發(fā)重大風(fēng)險(xiǎn)。由于投資有退出機(jī)制的保障，投資高風(fēng)險(xiǎn)的尖端科技就可以不顧后果、不負(fù)責(zé)任，即使從中長(zhǎng)期看該項(xiàng)目危害人類，但只要有利可圖，有退出機(jī)制，資本仍然大舉進(jìn)入。與環(huán)境風(fēng)險(xiǎn)不同，科技風(fēng)險(xiǎn)的后果使得資本家等富人首當(dāng)其沖成為被敲詐和掠奪的對(duì)象，深受其害。更糟糕的是，機(jī)器人不貪財(cái)好色、自主升級(jí)、自主發(fā)展，資本無(wú)法控制，這些形成資本反噬。

8.畸點(diǎn)(廣義奇點(diǎn))已臨，需要緊急應(yīng)對(duì)。庫(kù)茲韋爾《奇點(diǎn)臨近》預(yù)言人工智能在2045年超越人類，本意是對(duì)發(fā)展人工智能作出預(yù)警，客觀上卻成了麻痹人們的借口：似乎把奇點(diǎn)到來(lái)等同于人工智能威脅人類，等同于人工智能造成毀滅性災(zāi)難，而只要奇點(diǎn)尚未到來(lái)，天下就仍然太平。結(jié)果是，科學(xué)家和有關(guān)學(xué)者紛紛表態(tài)：“奇點(diǎn)到來(lái)還很遙遠(yuǎn)”，因此人工智能可以無(wú)所顧忌地大力發(fā)展。實(shí)際上，從人工智能威脅人類的角度看，奇點(diǎn)可分為狹義和廣義兩種，一是庫(kù)茲韋爾定義的人工智能超過(guò)人類智能，是狹義的奇點(diǎn)，其危害不言自明；二是人工智能還沒(méi)有超過(guò)人類智能、還沒(méi)有自主意識(shí)，但是已經(jīng)可以造成巨大災(zāi)難，此時(shí)作為節(jié)點(diǎn)，可稱之為“廣義奇點(diǎn)”或“畸點(diǎn)”，以示社會(huì)發(fā)展出現(xiàn)畸變，威脅人類安全。具有以下之一者即為“畸點(diǎn)”已臨，一是攻擊性博弈對(duì)抗勝過(guò)人類，二是對(duì)人類造成不可逆轉(zhuǎn)的損害。目前，人工智能不僅在圍棋(AlphaGo)、橋牌(NooK)、電子游戲(Alpha Star)等智力博弈比賽中戰(zhàn)勝人類，而且在攻擊性對(duì)抗中屢屢獲勝，例如，人工智能飛機(jī)駕駛員Alpha AI戰(zhàn)勝王牌飛行員，機(jī)器人在兵棋推演人機(jī)對(duì)抗中獲勝。在機(jī)器代替人工作方面，人工智能已經(jīng)開(kāi)始規(guī)?；貨_擊就業(yè)市場(chǎng)。種種跡象表明，目前“畸點(diǎn)”已經(jīng)來(lái)臨(即使“奇點(diǎn)”還比較遙遠(yuǎn))，人類應(yīng)該立刻行動(dòng)，以應(yīng)對(duì)人工智能的風(fēng)險(xiǎn)與倫理挑戰(zhàn)。就像剎車需要提前量，等待狹義“奇點(diǎn)”臨近再剎車，將為時(shí)已晚。

9.全押歸零的高科技賭局。人工智能等高科技給人類帶來(lái)的好處越來(lái)越多，卻終將毀于一旦，這一特點(diǎn)可稱之為“高科技陷阱”“AI陷阱”。[5]類似于賭博游戲中的高勝率全押賭局(絕大多數(shù)情況贏，但是輸一次就歸零)，發(fā)展人工智能等收益巨大、贏多輸少，人工智能發(fā)展越快、滲透越廣，一旦危機(jī)爆發(fā)，會(huì)給人類社會(huì)造成巨大危害乃至毀滅性災(zāi)難以致歸零。筆者稱之為“全押歸零的人工智能賭局”“全押歸零的高科技賭局”。[6]32

10.雙重挑戰(zhàn)。人工智能、合成生物學(xué)等高科技風(fēng)險(xiǎn)愈演愈烈，但是人類防控風(fēng)險(xiǎn)的機(jī)制和措施存在諸多安全漏洞，風(fēng)險(xiǎn)防不勝防，致使科技風(fēng)險(xiǎn)更加嚴(yán)重，風(fēng)險(xiǎn)劇增。[20]323-328

綜上足以說(shuō)明多種因素將導(dǎo)致科技風(fēng)險(xiǎn)劇增，需要用科技風(fēng)險(xiǎn)劇增理論加以分析、研判。

三、從專能革命到智能革命：社會(huì)與科技發(fā)展的第二次巨大變革

認(rèn)清人工智能及其引發(fā)的智能革命的實(shí)質(zhì)，是把握人工智能風(fēng)險(xiǎn)的前提與關(guān)鍵。智能革命是史無(wú)前例的巨大變革，有四個(gè)主要特點(diǎn)使其區(qū)別于以往歷次科技革命。

其一，目前人們通常認(rèn)為智能革命是繼蒸汽機(jī)革命、電力革命、信息革命之后的第四次科技革命，在筆者看來(lái)，將智能革命與前面三次科技革命并列，不能充分反映智能革命的性質(zhì)和影響。以往的科技革命都是不同類型、不同階段的專能革命(農(nóng)業(yè)革命、蒸汽機(jī)革命、電力革命、信息革命等)，是工具或工具系統(tǒng)的變革，是為人類服務(wù)的，而非與人類競(jìng)爭(zhēng)。專門(mén)能力簡(jiǎn)稱專能，包括兩類：延伸、增強(qiáng)人類個(gè)體體力和智力功能，包括延伸、增強(qiáng)人的體力、感知力、信息獲取能力、記憶力、計(jì)算能力等，例如機(jī)械革命、蒸汽機(jī)革命、信息革命；延伸、增強(qiáng)人類的社會(huì)功能，包括延伸、增強(qiáng)社會(huì)的大規(guī)模物質(zhì)獲取與利用能力，能源獲取與利用能力，信息傳播與信息利用能力，例如機(jī)械革命、蒸汽機(jī)革命、電力革命、信息革命。

智能革命與之前的歷次科技革命有本質(zhì)上的不同，智能革命模仿人的核心能力——思維能力，思維能力包括理解、分析、綜合、比較、概括、抽象、推理、論證、判斷、學(xué)習(xí)、創(chuàng)造等能力，思維能力不僅是人類的元能力，而且具有主體性、自主性。當(dāng)人工智能模仿人的思維能力超越人類智能時(shí)，出現(xiàn)數(shù)字反噬效應(yīng)，人工智能反客為主。智能革命也可稱之為全能革命、通能革命，在人類歷史上是首次發(fā)生，用“第四次科技革命”“產(chǎn)業(yè)革命”遠(yuǎn)不足以反映智能革命的特殊性與顛覆性。通能革命不是專能革命的新階段，而是全新的巨大變革，有可能使機(jī)器人反客為主。智能革命分為初級(jí)階段、中級(jí)階段、高級(jí)階段，目前處于初級(jí)階段。

其二，智能革命發(fā)展速度驚人、前所未有。數(shù)據(jù)、算力、算法是人工智能的三個(gè)要素，數(shù)據(jù)和算力都是爆發(fā)式增長(zhǎng)。非盈利組織OpenAI數(shù)據(jù)顯示，AI算力正以每年10倍的速度極速增長(zhǎng)，比摩爾定律更快。目前超過(guò)萬(wàn)億參數(shù)的模型已經(jīng)誕生，已經(jīng)超過(guò)了曾被認(rèn)為是最復(fù)雜的人腦神經(jīng)元結(jié)構(gòu)。[7]智能科技的發(fā)展使得運(yùn)算速度、傳輸速度、存儲(chǔ)能力、數(shù)據(jù)數(shù)量等都快速增長(zhǎng)，分別對(duì)應(yīng)三個(gè)定律：摩爾定律(集成電路芯片上的晶體管數(shù)目，每隔兩年就翻一番)、吉爾德定律(主干網(wǎng)的寬帶每6個(gè)月增加一倍，其增長(zhǎng)速度是摩爾定律預(yù)測(cè)的CPU增長(zhǎng)速度的3倍)、吉姆·格雷定律(網(wǎng)絡(luò)環(huán)境下每18個(gè)月產(chǎn)生的數(shù)據(jù)量等于有史以來(lái)數(shù)據(jù)量之和)。

其三，出現(xiàn)數(shù)字反噬。人類具有智商、情商、器商、逆商。(2)器商是利用機(jī)器、網(wǎng)絡(luò)平臺(tái)和理論方法等工具的能力，研究生訓(xùn)練就是會(huì)利用這些工具來(lái)發(fā)現(xiàn)問(wèn)題、解決問(wèn)題，專業(yè)人士與普通人的區(qū)別也在于此。[8]而隨著技術(shù)的不斷進(jìn)步，數(shù)字化給予機(jī)器人的便利和收益超過(guò)給予人類的，機(jī)器人未來(lái)會(huì)在智商、器商、逆商方面都優(yōu)于人類，而且優(yōu)勢(shì)越來(lái)越大。這是智能革命獨(dú)有的現(xiàn)象和風(fēng)險(xiǎn)，以往歷次專能革命都沒(méi)有或少有反噬效應(yīng)。

其四，智能革命給人類帶來(lái)的好處是全方位的，卻隱患無(wú)窮。在機(jī)器人反客為主之前，似乎給予人類的都是便利和競(jìng)爭(zhēng)優(yōu)勢(shì)，它是甜食喂狗，每一次甜食都是受歡迎的，直到甜食過(guò)量，衰竭而亡。只有認(rèn)清智能革命的特殊性和顛覆性——它是人類繼第一次巨大變革(系列專能革命)之后的第二次巨大變革，以往系列專能革命的經(jīng)驗(yàn)并不適用于智能革命——才可能真正認(rèn)識(shí)到其帶來(lái)挑戰(zhàn)的嚴(yán)峻性與緊迫性。

四、人工智能倫理與風(fēng)險(xiǎn)治理的十大認(rèn)識(shí)誤區(qū)

人工智能治理進(jìn)展緩慢、收效甚微，存在諸多認(rèn)識(shí)誤區(qū)是首要原因。深陷認(rèn)識(shí)誤區(qū)，導(dǎo)致學(xué)術(shù)界和公眾嚴(yán)重低估人工智能的風(fēng)險(xiǎn)，高估了社會(huì)的防控能力，結(jié)果是人工智能在爭(zhēng)議中快速發(fā)展，甚至直至失控。筆者揭示、概括出了十大認(rèn)識(shí)誤區(qū)。

誤區(qū)1.忽視長(zhǎng)遠(yuǎn)利益的方向誤區(qū)

目前越來(lái)越多的研究表明，強(qiáng)人工智能是會(huì)實(shí)現(xiàn)的，即超過(guò)人類智能的奇點(diǎn)將會(huì)來(lái)臨，隨即超級(jí)人工智能出現(xiàn)。盡管如此，卻仍然有不少人強(qiáng)調(diào)不要因?yàn)槲磥?lái)可能的風(fēng)險(xiǎn)，影響、阻礙今天的創(chuàng)新。這是什么邏輯？江曉原教授指出,“老虎還小”不應(yīng)成為養(yǎng)虎的理由，許多人工智能的業(yè)界大佬和知名人物卻都曾向公眾說(shuō)過(guò)這條理由。應(yīng)杜絕“養(yǎng)虎遺患”，要說(shuō)服人們同意養(yǎng)虎，必須論證“老虎不會(huì)吃人”。人們擔(dān)憂人工智能未來(lái)對(duì)人類的危害，必須論證“人工智能不會(huì)危害人類”，而不能將“人工智能還很初級(jí)”作為理由。如果我們無(wú)法論證“人工智能不會(huì)危害人類”，那就有必要重新考慮目前是否應(yīng)該發(fā)展人工智能。[9]

既然越來(lái)越多的研究和專業(yè)預(yù)見(jiàn)都表明強(qiáng)人工智能將會(huì)實(shí)現(xiàn)，即人工智能發(fā)展下去會(huì)出現(xiàn)奇點(diǎn)，就說(shuō)明這個(gè)方向是錯(cuò)誤的，就應(yīng)該立刻叫停，剎車需要提前量。這事關(guān)人類生存安全，應(yīng)該采取底線思維，寧可信其有，以防萬(wàn)一。

誤區(qū)2.思想混亂：機(jī)器人、數(shù)字人、合成人是發(fā)展的必然趨勢(shì)

不少科研人員不僅忽視未來(lái)風(fēng)險(xiǎn)，而且把未來(lái)風(fēng)險(xiǎn)視為發(fā)展的必然趨勢(shì)，其中不乏著名科學(xué)家。例如，卡內(nèi)基-梅隆大學(xué)教授、機(jī)器人學(xué)泰斗漢斯·莫拉韋茨認(rèn)為，“AI機(jī)器人將從漫長(zhǎng)的生物進(jìn)化中解放出來(lái)，無(wú)拘無(wú)束地自由成長(zhǎng)，盡管在一段時(shí)間里人類會(huì)受益于機(jī)器人提供的服務(wù)，但遲早它們會(huì)探索自己的命運(yùn)，走自己的路，而我們?nèi)祟悇t默默地等待消失?！盵10]人工智能創(chuàng)始人之一馬文·明斯基認(rèn)為，“過(guò)去，人類傾向于把自己看作是最終進(jìn)化的產(chǎn)物，而我們現(xiàn)在可以基于新型‘非自然選擇’系統(tǒng)進(jìn)一步進(jìn)化。”[11]雷丁大學(xué)的教授凱文·渥維克一方面警告機(jī)器人將統(tǒng)治世界，另一方面自己又在世界上率先成為芯片人、電子人。尤瓦爾·赫拉利在《未來(lái)簡(jiǎn)史》中預(yù)測(cè)，人工智能和生物技術(shù)將帶來(lái)人類的第二次認(rèn)知革命，完成從智人到智神的物種進(jìn)化。赫拉利認(rèn)為，機(jī)器人不會(huì)擁有意識(shí)、感覺(jué)、情感和自己的欲望，所以不會(huì)殺光人類并占領(lǐng)全世界，不會(huì)導(dǎo)致人類的完全滅絕，人工智能只會(huì)讓極少數(shù)人類變得強(qiáng)大，導(dǎo)致人類分化成不同種類，并走向不同的命運(yùn)。[12]這些觀點(diǎn)顯然都是錯(cuò)誤的，即使機(jī)器人不會(huì)滅絕人類，但是壞人可能利用機(jī)器人禍害人類、滅絕人類，或在機(jī)器人之間的戰(zhàn)爭(zhēng)中，人類成為犧牲品。據(jù)第一財(cái)經(jīng)報(bào)道，日本機(jī)器人之父石黑浩認(rèn)為，人類所有的工作都可以被機(jī)器人所代替。因?yàn)槿祟惿娴哪繕?biāo)不是工作，所以工作應(yīng)該被取代?！叭祟惒皇且龉ぷ?，而是和其他人交流或者考慮一些哲學(xué)的問(wèn)題。所以讓機(jī)器人做工作，我們花更多時(shí)間考慮人類生物存在的意義是什么，可能更多是偏向于哲學(xué)這些方面的內(nèi)容?！盵13]這種奇談怪論表明，這位機(jī)器人科學(xué)家對(duì)“工作”“職業(yè)”的社會(huì)意義缺乏起碼的常識(shí)，更不知道有能力思考哲學(xué)問(wèn)題者鳳毛麟角。當(dāng)絕大多數(shù)人無(wú)所事事時(shí)，社會(huì)離分崩離析就不遠(yuǎn)了。

人類借助科技進(jìn)行非自然進(jìn)化是絕對(duì)不能接受的。原因在于，與科技融合的人類產(chǎn)品化時(shí)，像許多科技產(chǎn)品一樣，不僅有成品率、殘次品率等問(wèn)題，更要受到企業(yè)、科技、競(jìng)爭(zhēng)、資本等的影響和控制，不斷升級(jí)換代，不斷創(chuàng)新、競(jìng)爭(zhēng)，急功近利不可避免，結(jié)果導(dǎo)致人類成為商業(yè)巨頭和新創(chuàng)企業(yè)的產(chǎn)品，很快成為怪物而崩潰。人成為上帝的后果是：有許多“上帝”且相互競(jìng)爭(zhēng)，短期行為、惡意競(jìng)爭(zhēng)不可避免。而自然進(jìn)化是緩慢、穩(wěn)定、行穩(wěn)致遠(yuǎn)的，不會(huì)出現(xiàn)這種情況。合成人不是什么神人，而是產(chǎn)品化、商品化的人類，因合成人在智力、體力等方面大幅度超過(guò)自然人而逐漸替代人類，最終形成不可逆轉(zhuǎn)的后果。筆者提出創(chuàng)立“合成人類學(xué)”(Synthetic anthropology)加以研究，作為未來(lái)學(xué)的一個(gè)分支，重點(diǎn)研究合成人的后果與影響，提前認(rèn)清其危害而給予預(yù)警和阻止。

誤區(qū)3.科學(xué)家決定科學(xué)的“霍爾丹原則”：既是運(yùn)動(dòng)員，又是裁判員

科學(xué)的專業(yè)性很強(qiáng)，外行不懂，想當(dāng)然的結(jié)果是：科學(xué)家對(duì)科學(xué)最有發(fā)言權(quán)。英國(guó)“霍爾丹原則”就是如此，它強(qiáng)調(diào)資助科學(xué)項(xiàng)目的決定權(quán)由科學(xué)家掌握，科學(xué)界視其為神圣不可動(dòng)搖的“金科玉律”。實(shí)際上這是誤解，懂得科學(xué)與懂得科學(xué)的社會(huì)效應(yīng)是兩碼事，對(duì)于后者，科學(xué)家是外行?？茖W(xué)該如何發(fā)展、科學(xué)與社會(huì)的關(guān)系是什么等是科技政策專家、社科學(xué)者和智庫(kù)專家的研究專長(zhǎng)?？茖W(xué)事關(guān)社會(huì)進(jìn)步、國(guó)家興盛和人類未來(lái)，正如有學(xué)者強(qiáng)調(diào)的，“科學(xué)如此重要，不能只聽(tīng)科學(xué)家的”?？茖W(xué)家可以參與探討，但是不能擅自作出決定。科學(xué)由科學(xué)家決定相當(dāng)于科學(xué)家既是運(yùn)動(dòng)員，又是裁判員，所以應(yīng)該予以杜絕。人工智能的發(fā)展也不能由人工智能專家來(lái)決定(他們的意見(jiàn)當(dāng)然是大力發(fā)展人工智能)。

誤區(qū)4.對(duì)技術(shù)失控的誤解

一般認(rèn)為，技術(shù)失控是人工智能最大的風(fēng)險(xiǎn)，失控被理解為人工智能擺脫人類的控制而獨(dú)立自主地發(fā)展，甚至反過(guò)來(lái)控制人類。實(shí)際上，這只是狹義的技術(shù)失控，廣義的技術(shù)失控是指技術(shù)發(fā)展與應(yīng)用產(chǎn)生嚴(yán)重負(fù)面效應(yīng)且人類對(duì)此不能及時(shí)、有效地予以防控。人工智能的廣義失控是指人工智能發(fā)展和應(yīng)用產(chǎn)生嚴(yán)重負(fù)面效應(yīng)(包括大規(guī)模失業(yè)、深度偽造、殺人機(jī)器人泛濫、研發(fā)出“致毀知識(shí)”等)且人類不能及時(shí)、有效地予以防控。例如，人工智能與其他學(xué)科交叉，可產(chǎn)生對(duì)人類生存造成威脅的新知識(shí)，如未知病毒、快速的基因干預(yù)工具等。[14]顯然，人工智能廣義失控涉及的范圍要廣泛得多，即使人工智能沒(méi)有自主意識(shí)，但是其功能強(qiáng)大，若被軍用、惡用、濫用，同樣可以造成毀滅性災(zāi)難，就像核武器沒(méi)有自主意識(shí)同樣可以造成毀滅性災(zāi)難一樣。人工智能毀損世界與有人利用人工智能毀損世界是一回事。例如利用人工智能侵入并控制俄羅斯“死亡之手”之類核控制系統(tǒng)，后果不堪設(shè)想。[15]即使在狹義上論證人工智能不會(huì)失控、確定人工智能沒(méi)有自主意識(shí)，也遠(yuǎn)不能證明人工智能是安全的。按照狹義失控說(shuō)，核技術(shù)沒(méi)有失控，但是核軍備競(jìng)賽、核誤動(dòng)、核事故等依然存在，完全可能造成巨大災(zāi)難。把擁有自主意識(shí)的人工智能還遙不可及等同于人工智能是安全的，是一個(gè)嚴(yán)重誤區(qū)，客觀上使得科學(xué)家無(wú)所顧忌、勇往直前，使得人們放松警惕、產(chǎn)生誤判，嚴(yán)重低估了人工智能的威脅。

誤區(qū)5.高估科技倫理的功效

科技倫理的作用十分有限，有四類人或機(jī)構(gòu)和AI機(jī)器人根本不受科技倫理(含人工智能倫理)的約束：(1)基礎(chǔ)研究科學(xué)家，作出原理上的突破是不受倫理約束的，備受爭(zhēng)議的基因編輯技術(shù)獲得2020年諾貝爾化學(xué)獎(jiǎng)，就說(shuō)明目前國(guó)際主流學(xué)術(shù)界認(rèn)為科技原理突破是中性的，不受約束的；(2)瘋狂科學(xué)家、黑客、極客、恐怖分子；(3)軍方的尖端武器研發(fā)機(jī)構(gòu)(例如美國(guó)軍方正在研發(fā)通用人工智能武器、殺人機(jī)器人等)；(4)企業(yè)研發(fā)機(jī)構(gòu)、特別是商業(yè)巨頭的研發(fā)部門(mén)，急功近利，如果人工智能的新技術(shù)或產(chǎn)品容易轉(zhuǎn)化而被恐怖分子利用，企業(yè)也不會(huì)束手束腳。AI機(jī)器人及AI for Science都可以不受科技倫理約束，實(shí)際上，上述四類人之外的人工智能專家也很難受到科技倫理的約束。即使殺人機(jī)器人這種明顯應(yīng)該被禁止的產(chǎn)品，國(guó)際上都不能達(dá)成共識(shí)、不能設(shè)置公約予以禁止?？傊?，科技倫理是失靈的，不應(yīng)高估其作用。

誤區(qū)6.低估拜技主義的危害

與拜金主義不同，拜技主義在許多情況下是褒義詞。例如，企業(yè)盛行技術(shù)第一，技術(shù)立企；國(guó)家盛行技術(shù)立國(guó)，追求技術(shù)卓越、創(chuàng)新優(yōu)先，崇尚技術(shù)和研發(fā)，甚至到了執(zhí)迷的程度。往往把原始創(chuàng)新狹隘地理解為理工科領(lǐng)域的從0到1，“卡脖子”只理解為核心技術(shù)受制于人。實(shí)際上，人文社科領(lǐng)域同樣需要原始創(chuàng)新，否則同樣被“卡脖子”，甚至被“割韭菜”，損失更加慘重。從世界范圍而言，目前是理工科成果供給過(guò)度，人文社科供給嚴(yán)重不足，包括美國(guó)、歐洲在內(nèi)的整個(gè)人類的可持續(xù)安全與發(fā)展進(jìn)程被“卡脖子”，深陷競(jìng)爭(zhēng)方式陷阱(錯(cuò)誤的競(jìng)爭(zhēng)方式比競(jìng)爭(zhēng)對(duì)手更危險(xiǎn))。[16]人工智能作為最強(qiáng)通用技術(shù)，可全面大幅提升各種技術(shù)的水平，更是拜技主義者的寵兒。許多雄心勃勃的科學(xué)家就是以攻克通用人工智能為使命的，例如AlphaGo之父、DeepMind公司創(chuàng)始人杰米斯·哈薩比斯明確宣稱，DeepMind公司的一個(gè)使命就是將神經(jīng)科學(xué)與計(jì)算機(jī)科學(xué)的研究相結(jié)合，創(chuàng)造出在任何任務(wù)中都超過(guò)人類的通用人工智能(據(jù)AI科技大本營(yíng)報(bào)道)。如果離開(kāi)科學(xué)主義、拜技主義語(yǔ)境，這種言論實(shí)際上就是反人類的歪理邪說(shuō)。

拜技主義的思想基礎(chǔ)是技術(shù)理性與商業(yè)理性。工業(yè)革命在思想觀念上的最大變化是，不僅使得技術(shù)理性和商業(yè)理性得到極大發(fā)展，而且兩者緊密地結(jié)合生成一種主導(dǎo)社會(huì)、全面滲透社會(huì)的強(qiáng)勢(shì)理性，筆者將其稱為“技術(shù)-商業(yè)理性”，并據(jù)此形成新型的“技術(shù)-商業(yè)意識(shí)形態(tài)”。[17]拜技主義、拜金主義、拜勝(崇拜競(jìng)爭(zhēng)贏勝)主義(“三拜主義”)是“技術(shù)-商業(yè)意識(shí)形態(tài)”的集中體現(xiàn)，以美國(guó)模式最為典型。追求技術(shù)領(lǐng)先、追求財(cái)富增長(zhǎng)、追求競(jìng)爭(zhēng)贏勝成為理所當(dāng)然的不二選擇，即使前方風(fēng)險(xiǎn)巨大、危機(jī)四伏，也難以迷途知返、改弦易轍。

誤區(qū)7.低估集體任性的危害

科學(xué)主義、拜技主義具有集體任性的特征。集體任性并不少見(jiàn)，例如，美國(guó)擁槍支持者集體任性，導(dǎo)致美國(guó)控槍運(yùn)動(dòng)屢屢失敗。筆者發(fā)現(xiàn)，擁槍支持者與科學(xué)探索無(wú)禁區(qū)支持者的執(zhí)念結(jié)構(gòu)(“執(zhí)念+辯護(hù)”)是一樣的。擁槍支持者的執(zhí)念是：人有擁槍的自由、美國(guó)人有擁槍的自由，擁槍產(chǎn)生的問(wèn)題可以通過(guò)更多的擁槍、更多好人的擁槍來(lái)解決；信奉科學(xué)探索無(wú)禁區(qū)者的執(zhí)念是：人有探索的自由、科學(xué)家有探索的自由，科學(xué)探索產(chǎn)生的問(wèn)題可以通過(guò)更多的探索來(lái)解決、通過(guò)更好的探索來(lái)解決。至于說(shuō)誰(shuí)是好人、什么算是好的探索，是不用說(shuō)明的，只要字面上能自圓其說(shuō)即可。

集體任性是個(gè)人任性的集合與放大。正如尼采所說(shuō)：個(gè)人的瘋狂不常見(jiàn)，集體的瘋狂則是常見(jiàn)的事。古斯塔夫·勒龐在其名著《烏合之眾》中指出：集體很容易做出劊子手的舉動(dòng)，同樣也很容易慷慨赴義。從人類安全的視角考慮，拜技主義的危害甚于拜金主義，集體任性的危害甚于無(wú)組織無(wú)紀(jì)律。

誤區(qū)8.忽視了限時(shí)原則

人工智能、合成生物學(xué)等新興科技飛速發(fā)展，其風(fēng)險(xiǎn)與日俱增，但是目前人們對(duì)新興科技的倫理與風(fēng)險(xiǎn)治理幾乎都忽視了對(duì)解決方案實(shí)施時(shí)限的探討，沒(méi)有考慮治理應(yīng)該限期完成，這也是倫理學(xué)等的通病。為此，筆者提出學(xué)術(shù)研究的“限時(shí)原則”，即在各種研究中都應(yīng)該考慮在限定時(shí)間內(nèi)解決問(wèn)題這樣一個(gè)要求。[18]例如，技術(shù)倫理的“內(nèi)在主義”強(qiáng)調(diào)把倫理要素“嵌入”技術(shù)系統(tǒng)之中,使用技術(shù)手段解決倫理問(wèn)題。這一思路固然有其合理性，但是忽視了從“外在主義”向“內(nèi)在主義”轉(zhuǎn)變需要多長(zhǎng)時(shí)間。如果不能盡快完成轉(zhuǎn)變，科技重大災(zāi)難仍然發(fā)生，人類照樣大難臨頭。目前人工智能極速發(fā)展、突破不斷，如果不相應(yīng)地把風(fēng)險(xiǎn)治理的限時(shí)原則作為第一原則加以優(yōu)先考慮，任何倫理與風(fēng)險(xiǎn)治理的研究都是紙上談兵，無(wú)濟(jì)于事，甚至起到適得其反的作用，因?yàn)樽屓藗冋`以為科技的倫理與風(fēng)險(xiǎn)治理問(wèn)題已經(jīng)得到了重視而放松警惕。

誤區(qū)9.半句真理，似是而非

關(guān)于人工智能，目前科技界存在認(rèn)識(shí)混亂現(xiàn)象。例如，科技界有類似這樣的說(shuō)法：人工智能把人類從繁重、重復(fù)的工作中解放出來(lái)，讓人類有時(shí)間從事更多富有創(chuàng)造性的工作。但是沒(méi)有探究有多少人勝任創(chuàng)造性工作。 還有所謂的“平衡論”，即強(qiáng)調(diào)科技倫理與科技創(chuàng)新要保持平衡，不要因噎廢食。這種論調(diào)貌似有理，實(shí)則錯(cuò)誤，因?yàn)楫?dāng)科技風(fēng)險(xiǎn)與倫理的挑戰(zhàn)嚴(yán)峻、緊迫時(shí)，就只能遵循“科技創(chuàng)新、風(fēng)控先行”“科學(xué)研究、倫理先行”原則，底線思維就是不搞“平衡”。“不要因噎廢食”也是想當(dāng)然，沒(méi)有辨析因什么“噎”、廢什么“食”，“噎”嚴(yán)重了，就應(yīng)廢掉“壞食”，啟用“好食”(底線安全的科技與創(chuàng)新)。[6]34不少名言也是如此，只是主張一個(gè)原則，而不探究能否實(shí)現(xiàn)、在何種條件下實(shí)現(xiàn)。這種只知其一不知其二的現(xiàn)象可稱之為“半句真理”或“半句話真理”。因?yàn)楹?jiǎn)單明了，這種“半句真理”更容易傳播，對(duì)于嚴(yán)謹(jǐn)分析、系統(tǒng)思考的“整句真理”，反而不容易被接受。一些所謂的學(xué)術(shù)暢銷書(shū)往往是“半句真理”的集散地?！鞍刖湔胬怼钡腻e(cuò)誤在于，把復(fù)雜問(wèn)題簡(jiǎn)單化、深刻問(wèn)題表面化，用“說(shuō)得順口、聽(tīng)得順耳”取悅大眾。

誤區(qū)10.忽視了科技發(fā)展模式對(duì)科技倫理與風(fēng)險(xiǎn)治理效果的影響

目前探討科技倫理與風(fēng)險(xiǎn)治理往往忽視了科技發(fā)展模式的影響，在默認(rèn)當(dāng)前的科技發(fā)展模式的前提下進(jìn)行探討。實(shí)際上，不同的科技發(fā)展模式，科技倫理與風(fēng)險(xiǎn)治理的研究與治理效果是不同的。在錯(cuò)誤的科技發(fā)展模式下，即使完全遵循科技倫理規(guī)范進(jìn)行負(fù)責(zé)任的研究與創(chuàng)新，也仍然不能防控科技重大風(fēng)險(xiǎn)。[6]33-36

上述認(rèn)識(shí)誤區(qū)占據(jù)主流，嚴(yán)重阻礙了人們對(duì)人工智能等新興科技風(fēng)險(xiǎn)的認(rèn)識(shí)，即使有正確認(rèn)識(shí)，也只是邊緣化的聲音，無(wú)濟(jì)于事。例如，2014年以來(lái)，伊隆·馬斯克就多次強(qiáng)調(diào)人工智能對(duì)人類生存將造成最大威脅；2015年，馬斯克聯(lián)合斯蒂芬·霍金、蘋(píng)果聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克等一批有影響的科學(xué)家和企業(yè)家，簽發(fā)了一封公開(kāi)信，指出了人工智能諸多潛在風(fēng)險(xiǎn)，呼吁人們關(guān)注人工智能的安全性。在2015年牛津大學(xué)人類未來(lái)研究所和全球挑戰(zhàn)基金會(huì)發(fā)布的首份評(píng)估人類未來(lái)風(fēng)險(xiǎn)的報(bào)告中，列舉了最有可能毀滅人類文明的12大風(fēng)險(xiǎn)，人工智能名列榜首。[19]但是這些預(yù)警都無(wú)濟(jì)于事，2016年，AlphaGo照樣橫空出世，人工智能進(jìn)入爆發(fā)式發(fā)展階段。

認(rèn)識(shí)誤區(qū)可以置常識(shí)于不顧：在人類司機(jī)完全勝任的城市等正常環(huán)境下，居然要推行無(wú)人駕駛汽車(以往公共交通司機(jī)還兼具應(yīng)急應(yīng)變安保等功能)。認(rèn)識(shí)誤區(qū)甚至可以顛倒黑白：就業(yè)是民生第一要?jiǎng)?wù)，各國(guó)政府千方百計(jì)地保就業(yè)，人工智能明明會(huì)造成大規(guī)模失業(yè)，卻還要大力發(fā)展人工智能。認(rèn)識(shí)誤區(qū)與相關(guān)研究薄弱密不可分，例如歐盟的負(fù)責(zé)任創(chuàng)新(RRI)不重視最不負(fù)責(zé)任的創(chuàng)新等。筆者發(fā)現(xiàn)，目前國(guó)際上關(guān)于科技重大風(fēng)險(xiǎn)研究存在六大缺陷，[20]327-329在此不贅，這些極大阻礙了科技倫理與風(fēng)險(xiǎn)治理的深入研究。

五、通能塔詛咒：機(jī)器換人將引發(fā)大規(guī)模失業(yè)

英國(guó)工業(yè)革命以來(lái)，機(jī)器換人就一直受到關(guān)注，從十八、十九世紀(jì)的“盧德主義”到20世紀(jì)的“新盧德主義”，人們擔(dān)心甚至反對(duì)因?yàn)楣I(yè)化、自動(dòng)化而造成失業(yè)。當(dāng)然，科技樂(lè)觀主義者是反對(duì)“盧德主義”“新盧德主義”的。他們認(rèn)為，雖然新技術(shù)代替一些工作崗位，但同時(shí)又創(chuàng)造出新的工作崗位。從歷史上看，是有一些新工作崗位不斷出現(xiàn)，但在數(shù)量上能否彌補(bǔ)被機(jī)器替代的工作崗位，是需要具體計(jì)算的。關(guān)于人工智能引發(fā)失業(yè)，已經(jīng)有大量預(yù)測(cè)。例如，世界銀行2016年的研究表明，未來(lái)20年內(nèi)，非洲高達(dá)71%的就業(yè)崗位有可能會(huì)被人工智能所取代，發(fā)展中國(guó)家平均為50%，經(jīng)合組織(OECD)國(guó)家為57%；美國(guó)白宮2016年12月的報(bào)告指出，未來(lái)10～20年內(nèi)，人工智能替代就業(yè)崗位的比例將由目前的9%上升到47%。麥肯錫全球研究所2017年底的預(yù)測(cè)顯示，到2030年，約60%的職業(yè)可能被人工智能和自動(dòng)化所取代；[21]2018年，大學(xué)生就業(yè)熱門(mén)的銀行業(yè)竟然出現(xiàn)了下跌，原因是銀行引入人工智能RPA實(shí)現(xiàn)辦公智能化，五年內(nèi)將會(huì)有大量銀行人工辦公業(yè)務(wù)消失，因此宣布大量裁員，例如日本三家著名銀行(三井住友、三菱UFJ、瑞穗)分別宣布幾年內(nèi)裁員4 000、9 500、19 000個(gè)工作崗位。[22]這些預(yù)測(cè)應(yīng)該是比較保守的，因?yàn)?016年AlphaGo橫空出世，深度學(xué)習(xí)大顯身手，人工智能發(fā)展再次提速。

霍金在英國(guó)《衛(wèi)報(bào)》的一個(gè)專欄中寫(xiě)道：“工廠自動(dòng)化已經(jīng)讓眾多傳統(tǒng)制造業(yè)工人失業(yè)，人工智能的興起很有可能會(huì)讓失業(yè)潮波及中產(chǎn)階級(jí)，最后只給人類留下護(hù)理、創(chuàng)造和監(jiān)督工作?！崩铋_(kāi)復(fù)指出，AI已經(jīng)蓄能完畢，即將迎來(lái)一個(gè)全新的爆發(fā)拐點(diǎn)。他多次強(qiáng)調(diào)，人類有很多工作都會(huì)被AI所取代，人類未來(lái)只剩下需要?jiǎng)?chuàng)造力、同理心和靈活性這三類工作可做。[23]這三類工作本身就在全部工作中占少數(shù)，特別是有創(chuàng)造力者就是小眾人群，而且這三類工作也不斷被機(jī)器人所蠶食。例如，利物浦大學(xué)的“AI化學(xué)家”經(jīng)自主學(xué)習(xí)，發(fā)現(xiàn)了一種強(qiáng)活性催化劑。人工智能進(jìn)行科研、詩(shī)歌藝術(shù)創(chuàng)作等的情況已經(jīng)不斷出現(xiàn)。

2020年6月，OpenAI公開(kāi)了當(dāng)時(shí)最強(qiáng)大的AI模型GPT-3，它具有1750億參數(shù)，數(shù)量級(jí)接近人類神經(jīng)元的數(shù)量，在答題、翻譯、寫(xiě)作、計(jì)算方面的能力非常接近人類。麻省理工學(xué)院研究團(tuán)隊(duì)指出，GPT-3與人類大腦處理語(yǔ)言的方式驚人地相似。最近，ChatGPT上線，這是繼GPT-3之后的“GPT-3.5”，智能程度達(dá)到新高度，非常接近通過(guò)圖靈測(cè)試，其驚人表現(xiàn)引發(fā)熱議。據(jù)多家媒體報(bào)道，ChatGPT參加了美國(guó)高校的入學(xué)資格考試(SAT)，成績(jī)?yōu)橹械葘W(xué)生水平；CNN商業(yè)頻道宣稱：“ChatGPT正在以其無(wú)與倫比的好文章主導(dǎo)社交媒體！”《華盛頓郵報(bào)》斷言：“ChatGPT會(huì)在兩年內(nèi)滅掉Google！”AI達(dá)到人類智能的時(shí)刻(“奇點(diǎn)”)已經(jīng)為期不遠(yuǎn)，甚至指日可待了。

據(jù)多家媒體報(bào)道，繼研發(fā)AlphaGo和AlphaFold之后，2022年初，谷歌旗下的AI公司DeepMind又宣布創(chuàng)建了編程機(jī)器人系統(tǒng)AlphaCode，其編程水平已經(jīng)達(dá)到人類程序員的平均水平。在與人類程序員的比賽中，AlphaCode的排名可以達(dá)到中等水平，躋身前54%之列。如果普及AlphaCode，一半的程序員將失業(yè)，而且隨著AlphaCode的進(jìn)步，失業(yè)的程序員會(huì)越來(lái)越多。這也是數(shù)字反噬的一例：程序員創(chuàng)編的程序替代了程序員自己。

機(jī)器換人的必然性還在于，機(jī)器人進(jìn)化的速度明顯快于人類的學(xué)習(xí)速度及進(jìn)化速度。如果為了追上機(jī)器人進(jìn)化的腳步而實(shí)施人機(jī)結(jié)合，又是得不償失、注定失敗的。因?yàn)樾酒踩肴四X、人體形成合成人，受到人自然結(jié)構(gòu)的限制，會(huì)出現(xiàn)一系列問(wèn)題。心臟起搏器問(wèn)世以來(lái)，已經(jīng)有六十多年的醫(yī)學(xué)實(shí)踐，但是排異反應(yīng)問(wèn)題仍然沒(méi)有解決，更何況比起搏器復(fù)雜千萬(wàn)倍的芯片等植入設(shè)備以及基因編輯技術(shù)、合成生物學(xué)介入的合成人技術(shù)。人機(jī)深度融合的大規(guī)模普及將產(chǎn)生一系列生理上、心理上和社會(huì)上的排異反應(yīng)，以及各種意想不到的問(wèn)題。

“腦機(jī)接口”技術(shù)風(fēng)險(xiǎn)巨大，只能作為治療疾病(比如老年癡呆癥)的一種手段在小范圍使用，一旦進(jìn)行大規(guī)模商業(yè)銷售，必將出現(xiàn)災(zāi)難性后果。腦機(jī)結(jié)合等于人吃了智力興奮劑，插上芯片之后，會(huì)得到網(wǎng)上巨量數(shù)據(jù)資源、計(jì)算資源的支撐，人會(huì)變得超聰明，不接芯片者都是低能兒，所以人人都要接芯片。但人腦接上芯片之后，無(wú)法回到過(guò)去的自然狀態(tài)，而且腦機(jī)結(jié)合的軟件、硬件都會(huì)不斷升級(jí)換代，而軟硬件系統(tǒng)里面有病毒、有BUG、有后門(mén)，接上芯片，人雖然聰明了，但是健康、安全、倫理、風(fēng)險(xiǎn)、社會(huì)、文化等都會(huì)出問(wèn)題。更糟糕的是，人類很快就會(huì)被腦機(jī)科技企業(yè)所控制，而企業(yè)是受資本控制的，急功近利乃至飲鳩止渴的行為不可避免，因此這條不歸路根本就不能開(kāi)啟。此外，腦機(jī)結(jié)合還可能打造出超級(jí)聰明的冷血?dú)⑹趾涂植婪肿?，后果不堪設(shè)想。人工智能風(fēng)險(xiǎn)研究亟待加強(qiáng)，[24]美國(guó)哥倫比亞大學(xué)神經(jīng)科學(xué)教授拉斐爾·尤斯特(Rafael Yuste)最近發(fā)出警告：大型科技巨頭正在投入巨資，開(kāi)發(fā)取代智能手機(jī)的下一代設(shè)備，將人類的大腦直接和互聯(lián)網(wǎng)連接起來(lái)，最終可能會(huì)在十年內(nèi)干預(yù)我們的思想，操縱我們的決策和觀點(diǎn)。更何況，即使社會(huì)接受合成人，合成人普及，其進(jìn)化速度也仍然慢于機(jī)器人的進(jìn)化速度，仍然改變不了人類最終被機(jī)器人替代的厄運(yùn)。

關(guān)于機(jī)器人造成失業(yè)問(wèn)題，備受關(guān)注。從1972年起，美國(guó)國(guó)家自然科學(xué)基金會(huì)就為此中斷了對(duì)機(jī)器人項(xiàng)目的支持。1973年，英國(guó)政府也頒布了否定人工智能與機(jī)器人的著名的Lighill報(bào)告。后來(lái)，美國(guó)又恢復(fù)支持機(jī)器人研究。[25]256關(guān)于機(jī)器人導(dǎo)致失業(yè)有三種觀點(diǎn)，一是將引發(fā)大規(guī)模失業(yè)，二是不會(huì)引起失業(yè)，三是短期內(nèi)引起失業(yè)，而長(zhǎng)期看不會(huì)引起失業(yè)，甚至?xí)黾泳蜆I(yè)。不會(huì)引起失業(yè)的觀點(diǎn)顯然站不住腳，這里重點(diǎn)分析批駁“短期失業(yè)、長(zhǎng)期增業(yè)”論。

以往歷次技術(shù)革命都是專能革命，專能革命意味著某項(xiàng)或某組新技術(shù)崛起，隨之其配套性工作、伴隨性工作、引發(fā)性工作也會(huì)出現(xiàn)和增多，彌補(bǔ)被新技術(shù)替代的工作，導(dǎo)致一些職位減少而另一些職位增多并出現(xiàn)全新職位。例如，微信通話已經(jīng)成為許多人的主要通話方式，作為專能的微信技術(shù)，雖然相當(dāng)程度上替代了電話業(yè)務(wù)及相應(yīng)工作崗位，但是微信本身形成的工作崗位以及與微信配套的、伴隨的、引發(fā)的新工作崗位大幅增加(當(dāng)然也存在微商替代實(shí)體店的情況)。但是微信是專能技術(shù)，替代的只能是同樣或同類功能的低水平(性能低或性價(jià)比低)技術(shù)，替代范圍有限。

人工智能革命是智能革命、全能革命、通能革命，與專能革命最大的差別是，智能革命產(chǎn)生的配套性工作、伴隨性工作、引發(fā)性工作同樣可以由人工智能替代，除非這些工作要求更高的智能，當(dāng)然這種要求更高智能的工作崗位的數(shù)量更少。也就是說(shuō)，智能技術(shù)替代兩類工作崗位：被直接替代的工作；產(chǎn)生的配套、伴隨、引發(fā)的工作且其智能要求不高于該智能技術(shù)?？赡苄略龅墓ぷ鲘徫皇钱a(chǎn)生的配套、伴隨、引發(fā)的工作且其智能要求高于該智能技術(shù)。由于智能水平高低與工作崗位數(shù)量成反比，因此新增的工作崗位一定比被替代的少。因此，隨著智能技術(shù)發(fā)展，被替代的工作越來(lái)越多，“短期失業(yè)、長(zhǎng)期增業(yè)”論根本不成立，因?yàn)殚L(zhǎng)期看，機(jī)器人更加發(fā)達(dá)，替代的工作崗位更多，實(shí)際上是“短期造成失業(yè)、長(zhǎng)期造成更多的失業(yè)”。

工作能力金字塔與工作崗位金字塔是重合的，當(dāng)工作能力是專能時(shí)，會(huì)存在多種多樣的工作能力與工作崗位。新專能技術(shù)的出現(xiàn)，凈增工作崗位有可能為正數(shù)。但是，當(dāng)通能技術(shù)(人工智能、通用人工智能)出現(xiàn)，導(dǎo)致等于或低于新智能技術(shù)的崗位均被替代，只有智能要求高于新通能技術(shù)的配套、伴隨、引發(fā)的新工作崗位成為暫時(shí)不被替代的新增工作崗位，其數(shù)量一定少于被替代的工作崗位，即被人工智能替代的工作崗位越來(lái)越多。用通能塔(通用能力金字塔)可以說(shuō)明這個(gè)過(guò)程：通用能力達(dá)到的水平可稱之為“通能線”，通能線以下的工作崗位理論上都可以被替代，隨著通能技術(shù)水平的提高，通能塔上的通能線不斷上移，被替代的工作越來(lái)越多，所以通能線也稱之為“替代線”“失業(yè)線”。對(duì)此，筆者稱之為“通能塔詛咒”，預(yù)示未來(lái)人類被智能技術(shù)替代的厄運(yùn)。

用李開(kāi)復(fù)提出的“五秒鐘準(zhǔn)則”也可導(dǎo)出“人工智能將大規(guī)模替代人類”這一結(jié)論，可以很好地解釋“通能塔詛咒”?！拔迕腌姕?zhǔn)則”指，一項(xiàng)本來(lái)由人從事的工作，如果人能在五秒鐘內(nèi)對(duì)工作中需要思考解決的問(wèn)題作出決定，那么，這項(xiàng)工作就極有可能被人工智能技術(shù)取代。顯然，機(jī)器換人是從“一二秒鐘準(zhǔn)則”開(kāi)始的，隨著人工智能的發(fā)展，“五秒鐘準(zhǔn)則”會(huì)變成“十秒鐘準(zhǔn)則”“一分鐘準(zhǔn)則”“一小時(shí)準(zhǔn)則”等。以此類推，被人工智能替代的工作會(huì)越來(lái)越多。人工智能超過(guò)人類平均智能水平越來(lái)越多，人類失去的工作就越來(lái)越多，同時(shí)又不可能從機(jī)器人手中重新奪回工作。

綜上所述，機(jī)器換人主要由五大因素引起：(1)技術(shù)因素，機(jī)器人的通用能力越來(lái)越強(qiáng)，學(xué)習(xí)能力超強(qiáng)；(2)資本因素，機(jī)器人的成本越來(lái)越低，性價(jià)比高；(3)環(huán)境因素，自動(dòng)化、數(shù)字化、網(wǎng)絡(luò)化、智能化等信息化程度日益提高，日趨復(fù)雜的環(huán)境使得人類應(yīng)接不暇，出現(xiàn)數(shù)字鴻溝、信息繭房、智能陷阱等，人類的器商有限，而機(jī)器人的器商極高且不斷提高，在復(fù)雜環(huán)境中越來(lái)越如魚(yú)得水，反客為主，形成科技反噬、數(shù)字反噬；(4)競(jìng)爭(zhēng)因素，企業(yè)之間、國(guó)家之間的競(jìng)爭(zhēng)高度依賴人工智能；(5)思想文化、意識(shí)形態(tài)及認(rèn)識(shí)因素，拜技主義、拜金主義、拜勝主義以及諸多認(rèn)識(shí)誤區(qū)(包括上述十項(xiàng)認(rèn)識(shí)誤區(qū))。

解決機(jī)器換人問(wèn)題，首先要扭轉(zhuǎn)觀念誤區(qū)，糾正拜技主義和效率至上，應(yīng)該以人為本。正如中國(guó)機(jī)器人之父蔣新松院士所強(qiáng)調(diào)的：機(jī)器人重點(diǎn)不應(yīng)放在節(jié)省勞動(dòng)力上，機(jī)器人應(yīng)該在人類不宜從事的危險(xiǎn)、惡劣、困難、特殊的環(huán)境中發(fā)揮作用。[25]256人工智能、機(jī)器人應(yīng)該是輔助人類，而非替代人類。

六、因“致毀知識(shí)”一票否決：暫停AI for Science

借助人工智能開(kāi)展科研(或稱之為AI for Science、AI驅(qū)動(dòng)的科學(xué)發(fā)現(xiàn)、AI科學(xué)、AI科學(xué)家)正在蓬勃興起，筆者從科研范式變革的角度，認(rèn)為“AI科學(xué)”是繼“實(shí)驗(yàn)科學(xué)”“理論科學(xué)”“計(jì)算科學(xué)”“數(shù)據(jù)科學(xué)”“虛擬科學(xué)”之后的第六研究范式，它與以往五種研究范式的區(qū)別主要反映在研究主體、研究方法、認(rèn)知活動(dòng)的程序規(guī)范、科研行為規(guī)范與倫理及獎(jiǎng)勵(lì)系統(tǒng)等五個(gè)方面。[5]1-6為防控人工智能爆發(fā)式發(fā)展造成的重大風(fēng)險(xiǎn)，首先要防控AI科學(xué)，應(yīng)該立刻暫停AI科學(xué)，主要理由有三：

1.AI科學(xué)迅速崛起，危害巨大卻隱蔽性強(qiáng)。人工智能模型AlphaFold2在蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)方面取得了極高的準(zhǔn)確率，超過(guò)科學(xué)家，被《Science》雜志評(píng)為“2020年十大科學(xué)突破”之一。2022年，DeepMind公司借助AlphaFold2模型，完成約2.2億種蛋白質(zhì)的預(yù)測(cè)結(jié)構(gòu)，幾乎涵蓋了DNA數(shù)據(jù)庫(kù)中已知生物體的所有蛋白質(zhì)。2020年，英國(guó)利物浦大學(xué)研制出一款智能移動(dòng)AI化學(xué)家,可在一周之內(nèi)研究1 000種催化劑配方，相當(dāng)于一個(gè)博士生四年的工作量。此外，AI科學(xué)在藥物開(kāi)發(fā)、氣候變化、計(jì)算社會(huì)科學(xué)等領(lǐng)域大顯身手。因此，AI科學(xué)已經(jīng)得到科技界、資本界的追捧和媒體的廣泛報(bào)道。但無(wú)論是借助AI進(jìn)行科學(xué)探索，還是AI科學(xué)家自主探索，都可以產(chǎn)生大量“致毀知識(shí)”。[2]50-55例如，2018年《Nature》雜志發(fā)布消息稱，科學(xué)家利用人工智能發(fā)現(xiàn)了近6 000種未知病毒；2021年，英國(guó)格拉斯哥大學(xué)的科學(xué)家在《PLOS Biology》期刊上發(fā)表論文指出，他們使用人工智能模型，預(yù)測(cè)出18種人畜共患潛力極高的病毒。這些工作雖然有正面應(yīng)用價(jià)值，但是也容易被恐怖分子利用或從實(shí)驗(yàn)室泄漏，危害巨大，正負(fù)效應(yīng)不能抵消，因此應(yīng)該一票否決。在自然狀態(tài)下可能幾百年、幾千年內(nèi)都不會(huì)出現(xiàn)的病毒，卻利用AI科學(xué)、合成生物學(xué)、基因編輯技術(shù)等提前研制出來(lái)，完全是得不償失。不像AI武器及其軍備競(jìng)賽造成的威脅那樣明顯，AI科學(xué)的危害比較隱蔽，因此更需要加強(qiáng)警惕和防范。

2.AI科學(xué)增強(qiáng)粗放式科研與粗放式創(chuàng)新，增大其風(fēng)險(xiǎn)與危害。當(dāng)代西方主流的科研與創(chuàng)新是以犧牲安全為代價(jià)的粗放式科研、粗放式創(chuàng)新，其內(nèi)在缺陷日益凸顯，其與生俱來(lái)的在觀念(科學(xué)無(wú)禁區(qū))、機(jī)制(缺乏關(guān)于科學(xué)發(fā)展與應(yīng)用正確與否的糾錯(cuò)機(jī)制)、體制(科技與經(jīng)濟(jì)一體化、科學(xué)與資本捆綁、眼前利益優(yōu)先)和管理(獎(jiǎng)懲極不對(duì)稱)等方面存在重大缺陷，難以為繼。在實(shí)現(xiàn)從粗放式科研到可持續(xù)科研的轉(zhuǎn)型之前，發(fā)展AI科學(xué)只能增強(qiáng)、加大粗放式科研的風(fēng)險(xiǎn)與危害。

3.AI科學(xué)使得黑客與恐怖分子如魚(yú)得水，助紂為虐。AI科學(xué)的發(fā)展極大地降低了科研門(mén)檻，不受科技倫理約束的黑客如魚(yú)得水；恐怖分子不用綁架科學(xué)家，就可以利用AI科學(xué)為非作歹。AI科學(xué)也會(huì)為不負(fù)責(zé)任的組織、國(guó)家所用，開(kāi)發(fā)大規(guī)模殺傷性武器。這次新型冠狀病毒肆虐全球，目前多項(xiàng)研究顯示，新型冠狀病毒要么來(lái)自實(shí)驗(yàn)室，要么至少已經(jīng)可以在實(shí)驗(yàn)室合成，制造新型冠狀病毒的知識(shí)就是致毀知識(shí)。最令人擔(dān)心的是，這次席卷全球的疫災(zāi)給恐怖分子以提示：只要一兩個(gè)人、幾個(gè)人制造出的病毒，就可以禍害全世界。在恐怖分子手里，AI科學(xué)就是助紂為虐的兇器。

由此可見(jiàn)，在目前粗放式科研發(fā)展模式下，在黑客與恐怖分子恣意妄為之際，發(fā)展AI科學(xué)風(fēng)險(xiǎn)極大，貽害無(wú)窮，其中也包括AI反噬(AI科學(xué)讓科學(xué)家失業(yè))。據(jù)參考消息網(wǎng)等多家媒體報(bào)道，美國(guó)前國(guó)務(wù)卿基辛格指出，人工智能的潛在破壞力可能遠(yuǎn)遠(yuǎn)超過(guò)最大的核彈，人工智能是軍備競(jìng)賽的新前沿，它簡(jiǎn)直是一場(chǎng)導(dǎo)致災(zāi)難的瘋狂競(jìng)賽?；粮裾J(rèn)為，從哲學(xué)和智力上，從各個(gè)方面來(lái)講，人類社會(huì)都沒(méi)有為人工智能的崛起作好準(zhǔn)備。他建議，美國(guó)和中國(guó)可以啟動(dòng)一場(chǎng)高科技安全對(duì)話，并達(dá)成協(xié)議。

綜上所述，應(yīng)該暫停高風(fēng)險(xiǎn)、高不確定性的AI for Science，舉辦國(guó)際AI安全高峰論壇共商對(duì)策。能不能叫停與該不該叫停是兩回事，作為學(xué)者，首先應(yīng)該作出“該不該叫?！钡难信校缘拙€思維確保人類安全。至于能否叫停，就需要充分闡述理由，充分交流并達(dá)成共識(shí)。由于人工智能極速發(fā)展，如何在達(dá)成共識(shí)之前就先暫停，是亟待解決的難題。

智能革命是人類經(jīng)歷多次專能革命以后的首次通能革命，引發(fā)科技與社會(huì)的巨大變革，人類也面臨前所未有的雙重挑戰(zhàn)：人工智能(包括機(jī)器人)發(fā)展帶來(lái)的風(fēng)險(xiǎn)愈演愈烈(大規(guī)模失業(yè)、深度偽造、殺人機(jī)器人等)，而人類卻深陷認(rèn)識(shí)誤區(qū)(上述十大誤區(qū))，深陷無(wú)法剎車、無(wú)法轉(zhuǎn)向的動(dòng)車?yán)Ь?，人類安全防線存在諸多嚴(yán)重漏洞，[20]323-327形勢(shì)極為嚴(yán)峻和緊迫。劉孝廷教授通過(guò)多重論證指出，人類文明已進(jìn)入末日是一個(gè)理論事實(shí)，對(duì)此，人類必須當(dāng)機(jī)立斷，避免其成為經(jīng)驗(yàn)事實(shí)，應(yīng)該去發(fā)動(dòng)一場(chǎng)徹底的末日啟蒙，以便人類文明能“絕地求生”。[26]

人工智能在爭(zhēng)議中快速發(fā)展，集中反映出西方科技發(fā)展模式的內(nèi)在缺陷。劉華杰教授將創(chuàng)新劃分為兩種類型：達(dá)爾文式創(chuàng)新和弗蘭肯斯坦式創(chuàng)新，前者被動(dòng)適應(yīng)，風(fēng)險(xiǎn)較小；后者主動(dòng)建構(gòu)，風(fēng)險(xiǎn)激增。[27]目前流行的以提高智慧能力為目標(biāo)的人工智能A模式即為弗蘭肯斯坦式創(chuàng)新，出現(xiàn)超級(jí)智能、自主智能不可避免，風(fēng)險(xiǎn)極大，需要轉(zhuǎn)向發(fā)展以提高輔助能力為目標(biāo)的人工智能B模式——人工輔能(Artificial Auxiliary Intelligence,AAI)模式。AAI模式具有達(dá)爾文式創(chuàng)新的特征，以促使人類更好適應(yīng)、更好生存發(fā)展為目標(biāo)，永遠(yuǎn)不會(huì)反客為主。科技創(chuàng)新、倫理先行，段偉文教授用研究和創(chuàng)新的“紅綠燈”變化來(lái)說(shuō)明科技倫理原則，強(qiáng)調(diào)世界各國(guó)不同文化對(duì)設(shè)計(jì)、實(shí)施科技倫理的多樣性與復(fù)雜性，以加深和豐富對(duì)科技倫理治理的認(rèn)識(shí)。[28]總體上看，擁有合理的對(duì)待科技的態(tài)度至關(guān)重要，劉大椿先生提出科學(xué)審度觀，把審度作為對(duì)待科學(xué)的第三種取向，用多元、理性、寬容的觀點(diǎn)看待科學(xué)。[29]科學(xué)審度觀拓展了思考科技創(chuàng)新與風(fēng)險(xiǎn)倫理關(guān)系的空間，極具啟發(fā)性和指導(dǎo)性。

七、結(jié)語(yǔ)：全押歸零的人工智能賭局

信息技術(shù)的發(fā)展在推動(dòng)社會(huì)發(fā)展的同時(shí)，產(chǎn)生一系列負(fù)面效應(yīng)，筆者初步提出科技風(fēng)險(xiǎn)劇增理論。首先對(duì)數(shù)字反噬予以說(shuō)明，數(shù)字反噬揭示出深度信息化與深度科技化導(dǎo)致人類邊際收益遞減，機(jī)器人卻不受生理限制而收益越來(lái)越大于人類的收益，直到反客為主，危害人類。目前，人們往往將智能革命與之前多次科技革命并列，這無(wú)法充分反映智能革命的特質(zhì)和影響。人類社會(huì)以往發(fā)生的多次科技革命都是專能革命，而智能革命是首次發(fā)生的通能革命，引發(fā)人類社會(huì)第二次巨大變革。人工智能風(fēng)險(xiǎn)與倫理治理收效甚微，存在諸多認(rèn)識(shí)誤區(qū)是首要原因，本文揭示出十大認(rèn)識(shí)誤區(qū)。然后探討了機(jī)器換人問(wèn)題，重點(diǎn)分析批駁盲目樂(lè)觀的“短期失業(yè)、長(zhǎng)期增業(yè)”論，指出人工智能革命作為通能革命，與專能革命的最大區(qū)別是，通能革命產(chǎn)生的配套工作、伴隨工作、引發(fā)工作同樣可以由人工智能替代，除非這些工作要求的智能更高，由于智能水平高低與工作崗位數(shù)量成反比，因此新增工作崗位勢(shì)必少于被替代者。結(jié)論是，人工智能不僅造成短期失業(yè)，而且造成長(zhǎng)期更多的失業(yè)，通能革命勢(shì)必引發(fā)大規(guī)模失業(yè)，并稱之為通能塔詛咒。

智能革命引發(fā)巨大科技與社會(huì)變革，人類也面臨前所未有的雙重挑戰(zhàn)：一方面，人工智能帶來(lái)的風(fēng)險(xiǎn)愈演愈烈；另一方面，人類對(duì)其認(rèn)識(shí)深陷誤區(qū)、深陷動(dòng)車?yán)Ь?，人類安全防線存在諸多嚴(yán)重漏洞，特別是人類還沒(méi)有進(jìn)化出長(zhǎng)期主義所必須的品格——自我克制、恪守規(guī)則、顧全大局、敬畏歷史，形勢(shì)極為嚴(yán)峻和緊迫。人工智能的特點(diǎn)是：好處立見(jiàn)成效，給予人類的盡是便利和競(jìng)爭(zhēng)優(yōu)勢(shì)；壞處是甜食喂狗和溫水煮青蛙，每一次都嗜此不?；蚰軌蛉淌埽卫淼玫叫┰S緩解，但是仍然日益嚴(yán)重，最終衰竭、毀于一旦。

賭博游戲中有一種高勝率全押賭局，絕大多數(shù)情況贏，但是輸一次就歸零，用于比喻人工智能的效果十分貼切，筆者稱之為“全押歸零的人工智能賭局”，即發(fā)展人工智能受益巨大、贏多輸少，贏得越多，人工智能發(fā)展越快、滲透越廣。一旦爆發(fā)危機(jī)，會(huì)給人類社會(huì)造成巨大危害，乃至毀滅性災(zāi)難以致歸零。[6]32在高勝率全押賭局中，只要賭徒運(yùn)氣好、見(jiàn)好就收，仍有勝率；而人工智能在資本和科技競(jìng)爭(zhēng)的驅(qū)動(dòng)下，不會(huì)適可而止，而是永無(wú)止境，直至毀于一旦、全部歸零。

西方人工智能發(fā)展模式不是孤立的，它是現(xiàn)行西方主流科技體系的一部分，解決人工智能風(fēng)險(xiǎn)與倫理問(wèn)題的首要任務(wù)是變革西方粗放式科技發(fā)展模式，從追求更高、更快、更強(qiáng)、更賺錢(qián)的發(fā)展模式轉(zhuǎn)型為行穩(wěn)致遠(yuǎn)、安全公正的發(fā)展模式。關(guān)乎人類安全，不確定性是絕不能接受的，應(yīng)該采取寧可信其有的立場(chǎng)，就像飛機(jī)一旦存在安全不確定性，就應(yīng)該堅(jiān)決不登機(jī)、不起飛，高風(fēng)險(xiǎn)、高不確定性的人工智能、合成生物學(xué)等尖端科技應(yīng)該立刻叫?；驎和！?/p>

本文通過(guò)探討智能革命及其風(fēng)險(xiǎn)的若干重大問(wèn)題，揭示人工智能重大風(fēng)險(xiǎn)導(dǎo)致人類安全危機(jī)，證明目前以犧牲安全為代價(jià)的粗放式人工智能發(fā)展模式(即A模式)難以為繼，應(yīng)該改弦易轍，從人工智能轉(zhuǎn)為人工輔能。為破解數(shù)字反噬、通能塔詛咒和全押歸零的人工智能賭局，當(dāng)務(wù)之急是盡快實(shí)現(xiàn)從高線思維向底線思維的轉(zhuǎn)變。面對(duì)人工智能等尖端科技，首先考慮的不是它帶來(lái)多少好處，而是它產(chǎn)生的壞處(風(fēng)險(xiǎn)和災(zāi)難)人類能否化解與防控，應(yīng)該牢記尖端科技的正負(fù)效應(yīng)不能抵消，一壞遮百好。兼聽(tīng)則明，偏信則暗；兼論則明，偏言則暗，一廂情愿地總說(shuō)好的方面，無(wú)益于科技發(fā)展?？茖W(xué)家、科技政策專家、決策者等在說(shuō)明新科技時(shí)，應(yīng)該同時(shí)闡述其正負(fù)效應(yīng)。務(wù)必恪守底線思維，提高安全意識(shí)，盡快實(shí)現(xiàn)從以提高智慧能力為目標(biāo)的人工智能A模式向以提高輔助能力為目標(biāo)的人工智能B模式的轉(zhuǎn)變。

鑒于目前人工智能爆發(fā)式發(fā)展，應(yīng)該立刻緊急叫停強(qiáng)人工智能等任何可能趨于通過(guò)圖靈測(cè)試和趨于獲得自主意識(shí)、能自我繁殖的前沿探索。借鑒生物技術(shù)領(lǐng)域曾經(jīng)叫?？蒲械陌⑽髀羼R會(huì)議(1975年)，舉行全球人工智能風(fēng)險(xiǎn)與倫理治理峰會(huì)，禁止強(qiáng)人工智能的研究，禁止人工智能的軍事應(yīng)用，叫停人工智能軍備競(jìng)賽，確立底線思維的人類安全觀，頒布并嚴(yán)格執(zhí)行其配套政策等有關(guān)措施。叫停人工智能，開(kāi)啟人工輔能，加快開(kāi)創(chuàng)可持續(xù)安全與發(fā)展的新型科技體系，加快構(gòu)建人類命運(yùn)共同體。