郭銳

中國人民大學法學院副教授 、未來法治研究院社會責任與治理研究中心主任

自新冠肺炎疫情發(fā)生以來，國內(nèi)數(shù)家人工智能企業(yè)將最先進的技術應用于抗疫，多人體溫快速檢測、智能健康問答、肺部圖像分析、基于人工智能的防疫方案等技術解決方案紛紛涌現(xiàn)。其中，公眾對人工智能驅(qū)動的健康登記最有體會。在杭州等城市，居民持有經(jīng)過健康登記的二維碼出入小區(qū)、公共場所，健康狀態(tài)根據(jù)個人行動軌跡、接觸人群自動更新。在國際上，不少國家也將最新的人工智能技術用于疫情防控。韓國政府抗疫的經(jīng)驗是大規(guī)模檢測、追蹤和隔離冠狀病毒患者，其中追蹤患者所依賴的就是通過人工智能系統(tǒng)對監(jiān)控錄像、智能手機的位置數(shù)據(jù)和信用卡消費記錄的數(shù)據(jù)處理找出患者的活動地點并確立病毒傳播鏈。意大利倫巴第當局則通過人工智能系統(tǒng)分析市民手機傳送的位置數(shù)據(jù)和他們每天通常行走的距離來確定有多少人遵守政府的封鎖令。以色列政府基于人工智能系統(tǒng)使用手機位置數(shù)據(jù)的緩存來精確尋找可能的冠狀病毒患者，等等。

在為新技術助力防控疫情感到欣喜的同時，我們必須關注人工智能可能的倫理風險。這里所說的倫理風險，不限于因技術尚不完善導致的負面后果，而是與技術本身的特征和它可能產(chǎn)生的深遠影響相關。1人們常見的擔心是，政府在防控疫情的名義之下使用了人工智能系統(tǒng)來阻止病毒傳播，可能會帶來隱私信息泄漏、更多的政府濫權等結果。但是，對人工智能倫理的反思不限于直接的風險。如果是技術尚不完善，其負面后果還可以通過完善技術加以解決;如果是因人工智能技術本身的特征帶來的倫理問題，則需要更深入的探討。

人工智能的倫理風險管理是世紀難題

相比以往的技術，人工智能技術的獨特之處就在于它的自主性。這種自主性或來自技術本身，或來自應用的過程中社會賦予它的角色。換言之，人工智能可能超越傳統(tǒng)意義上的工具屬性，也可能參與人的決策。此處說的參與“決策”，并不限于讓人工智能直接進行決策，也包括它的應用對人們的觀念、行為與相應的社會關系的改變。20世紀重要的思想家之一、 法國哲學家米歇爾·?？拢∕ichel Foucault）認為，技術不僅僅是工具，或者不僅僅是達到目的的手段。?？聫娬{(diào)了作為“工具”的技術和參與“決策”的技術之間的區(qū)分。“全景敞視監(jiān)獄”（或稱圓形監(jiān)獄）的設計，不僅僅是提供了一種監(jiān)視方式而已，而是深刻地改變了監(jiān)視者和被監(jiān)視者的心理認知，故此也改變了社會關系。在另一位法國哲學家雅克·埃呂爾（Jacques Ellul）的眼中，技術參與人的決策最直接的表現(xiàn)是它對效率的追求。埃呂爾提出在當代技術已經(jīng)成為一個系統(tǒng)：技術不再是工具或機械而已，在十五到十九世紀的工業(yè)、政治、科學、科技革命之后，技術已經(jīng)彌漫在現(xiàn)代思想、生活的每個層面，讓一切都能被測量、提升和商品化。2

上述分析思路，在人工智能技術的語境下尤其值得借鑒。實際上，這也是人工智能的倫理風險得到全球各國關注的緣由。2019年，全球各國達成一項基本共識，就是將人工智能的負面影響視為倫理風險。中國在2019年發(fā)布了《人工智能倫理風險分析報告》，在這一國際討論中做出了貢獻。從倫理風險的角度來應對人工智能給社會帶來的挑戰(zhàn)，使人工智能產(chǎn)生的負面后果可以在嚴格的風險管理系統(tǒng)中進行識別、預防和管理。這意味著在人工智能系統(tǒng)的研發(fā)和應用生態(tài)中各個主體，包括研究機構、行業(yè)領域的科技企業(yè)和科技工作者都要承擔相應的風險管理角色并且各負其責、共同協(xié)作。對社會而言，當可能的負面后果能夠防控，社會才能對人工智能產(chǎn)生信任。人工智能的倫理風險管理，毫不夸張地說，已是一個亟待求解的世紀難題。

人類對風險認知的非理性和局限性

應當看到，風險管理的提出固然為控制人工智能的負面后果指明了方向，我們還必須注意潛在于其中的某種樂觀的、進化論式的科學主義的認知局限?，F(xiàn)代社會較之前傳統(tǒng)社會面臨的風險大大增加了，一定程度上源自于科學主義傾向。以貝克、吉登斯、拉什為代表的風險社會理論家看到，現(xiàn)代社會的風險有別于傳統(tǒng)社會局部性、個體性、自然性的外部風險，呈現(xiàn)出全球性、社會性、人為性等結構性特征。高度的現(xiàn)代化往往帶來高度的風險性。文化人類學家瑪麗·道格拉斯警告，應對風險等主流方法的內(nèi)在局限也在于其科學主義傾向：風險被看作是客觀的、可計算、進而可預防的，而文化因素被排斥在風險研究之外。應當看到，在當代社會某些風險被人們廣泛認知和重視，而其他的風險卻被忽略。當現(xiàn)代社會以科學、理性的名義對風險進行選擇與排序時，上述基本事實并未改變。

換言之，現(xiàn)代社會的風險的認知有其強烈的、未被承認的主觀性。這種主觀性體現(xiàn)在行為經(jīng)濟學家所看到的社會對風險認知的非理性，如美國孫斯坦教授在《風險與理性》中所批評的。3但更深層次的主觀性，則是我們的“理性”的局限：無論作為個體還是社會，人的偏見無處不在、無法避免，這必然導致對人們賴以評估風險的所謂理性體系的質(zhì)疑。如華東師范大學社會發(fā)展學院人類學研究所黃劍波教授所言：“限于觀察力、感情動機或者信息不透明，人們不可能洞察所有風險，更加不可能將所有備選決策和結果一一列出。因此，沒有人能夠認識所有的風險，人們僅僅能夠根據(jù)所知的基礎來選擇風險和安全，對風險的認識幾乎將必然落入片面狹小的空間中?！?

對風險的主觀性的承認，并非風險管理的“阿喀琉斯之踵”。恰恰相反，這種承認可以幫助我們深化對技術產(chǎn)生的風險的認知?，旣悺さ栏窭沟亩匆娛?，風險根植于人的觀念世界中，表達的是社會對危險的集體信念與價值。當一種風險產(chǎn)生，我們可以去追溯的除了技術、經(jīng)濟等緣由，更應當深入到它所反映的倫理秩序的危機中。

人類所恐懼的是人工智能對創(chuàng)造秩序的顛覆

對人工智能而言，這種危機或許可以稱為“創(chuàng)造秩序危機”。大部分人對探討人工智能倫理的必要性的認知，來自對機器智能這一未知事物的恐懼。在藝術史上，反映這一恐懼最著名的形象是“弗蘭肯斯坦”（英國作家瑪麗·雪萊長篇小說主角）——一個在雷電中誕生的人和機器結合的怪物。對這些強大卻并不良善的力量，社會本能地感到恐懼，因為我們害怕我們所創(chuàng)造的最終帶給我們毀滅。人工智能會不會和“弗蘭肯斯坦”一樣危及作為技術創(chuàng)造者的人類？改變這一創(chuàng)造秩序，將完全顛覆人所能想象的社會秩序，這是人們感知到風險的根本緣由。站在一場技術革命的入口處，人類所恐懼的是秩序的顛覆：伊甸園中的亞當和夏娃被魔鬼描述的分辨善惡樹的果子所誘惑，上帝的創(chuàng)造秩序因此被顛覆。如果說人類對人工智能的恐懼不是因為機器做出某個不利于人的決策，而是機器代替人決策這件事情本身，那么我們也許可以看到人工智能倫理最深層的問題是對創(chuàng)造秩序的顛覆：人類面對被自己創(chuàng)造的技術反噬的可能性。換言之，人們將人工智能的負面后果看作是風險，本身體現(xiàn)了我們對世界的應然性的想象可能遭遇的挫敗。

面對一個被自己創(chuàng)造的技術顛覆的可能性，人類不得不重新面對一系列的問題。當我們思考對人工智能倫理風險的治理，必須謹慎對待技術對個人自我認知、人際關系、政治秩序的改變。我們要特別關注人工智能技術在應用中潛藏的“簡單化”的進路。有了人工智能技術，商業(yè)和公共決策者似乎可以將社會以一種更為清晰的方式呈現(xiàn)在眼前：人們的偏好可以用大數(shù)據(jù)描述，眾人的選擇可以越來越精準地預測。但這種清晰化的預測往往難以避開算法設計中的錯誤、疏忽和歪曲以及數(shù)據(jù)記錄、統(tǒng)計中不同程度的不準確和缺失。當大數(shù)據(jù)為公共決策提供了廣闊的樣本依托時，社會生活中的人也逐漸被簡化為統(tǒng)計學意義上的“人”，其主體性在無限的樣本容量下被不斷削弱，這為某些算法的濫用、算法歧視的產(chǎn)生鋪平了道路。人工智能不是一個可預測的、完美的理性機器，它會擁有人類可能擁有的道德缺陷，受制于人們使用的目標和評估體系。對人工智能的使用故此少不了對人性和社會本身的審視——誰在使用？為了什么而使用？在我們的世界中扮演著怎樣的角色？數(shù)據(jù)是誰給的？訓練的目標是誰定的？我們期望中的人工智能決策會與我們自己的善惡選擇一致嗎？

人工智能抗疫須警惕倫理風險

防控疫情事關重大，應用于其中的人工智能技術固然并不完美，但我國民眾對此表現(xiàn)出巨大的寬容。媒體報道多起居民遇到健康碼出問題的事件，其中受影響的居民總是耐心地等待和配合。在新加坡、韓國、以色列和歐美一些國家，在抗疫期間對隱私信息的獲取總體上也得到了民眾的支持。但是，應當看到，人工智能技術本身帶來的倫理風險仍在。這其中既有直觀的短期風險，如隱私信息的保護問題、算法存在安全隱患、算法偏見導致歧視性政策等，也有相對間接的長期風險，如人工智能對個人隱私、產(chǎn)權、競爭、就業(yè)甚至社會結構的影響。盡管短期風險更具體可感，但長期風險所帶來的社會影響更為廣泛而深遠，同樣應予重視。5 在抗疫緊急狀態(tài)結束之后，人類仍然必須面對這一世紀難題。

1? ?關于人工智能倫理風險的相關內(nèi)容，參見《人工智能倫理風險報告》（國家標準委人工智能總體組，2019年5月）， 中國電子技術標準化研究院網(wǎng)站，http：//www.cesi.cn/201904/5036.html。

2? ?Ellul， Jacques. The Technological Society. New York： Knopf， 1967.

3? ?孫斯坦：《風險與理性》，中國政法大學出版社，2005年。

4? ?黃劍波、熊暢：《瑪麗·道格拉斯的風險研究及其理論脈絡》，《思想戰(zhàn)線》2019年第4期。

5? ?更多的討論，見《人工智能倫理風險報告》，前注1。