張沛 劉媛媛

(1.中國信息通信研究院泰爾終端實驗室，北京 100191；2.北京郵電大學(xué)，北京 100876；3.中國信息通信研究院政策與經(jīng)濟研究所，北京 100191)

0 引言

人工智能(Artificial Intelligence，AI)作為引領(lǐng)未來變革的戰(zhàn)略性信息技術(shù)，在飛速發(fā)展、造福人類的同時，也帶來了隱私安全、人身安全、公共安全等諸多安全風(fēng)險和挑戰(zhàn)。全球一直致力于推動AI從倫理原則、標準規(guī)范到實踐落地的工作，進而達到兼顧安全與發(fā)展的治理目標，推動AI產(chǎn)業(yè)健康發(fā)展。AI治理已經(jīng)成為全球關(guān)注焦點，當前全球各國AI治理穩(wěn)步推進，我國也積極推動AI治理實踐。本文主要分析國內(nèi)外AI治理發(fā)展和現(xiàn)狀、針對我國AI治理現(xiàn)狀存在的問題提出針對性建議，對加強我國對AI治理的重視以及促進AI治理進一步落地非常重要。

1 AI治理問題和挑戰(zhàn)

1.1 AI算法的安全和問責(zé)問題亟待解決

當前AI高速發(fā)展，相關(guān)技術(shù)和應(yīng)用滲透在人類生活和各行業(yè)中，但是由于AI技術(shù)或管理缺陷也逐漸暴露出不安全、不透明、難問責(zé)等諸多問題。以深度學(xué)習(xí)為核心的AI系統(tǒng)和模型存在脆弱和易受攻擊的缺陷[1]；深度學(xué)習(xí)采用的黑箱(Blackbox)模式導(dǎo)致模型具備不可解釋性；不透明的決策過程使得算法責(zé)任主體難以界定。如某些應(yīng)用軟件利用深度偽造技術(shù)實現(xiàn)圖像、音視頻的生成或修改(AI換臉)，使不良信息內(nèi)容“以假亂真”，抹黑政治人物。如果安全防護技術(shù)或措施不完善，無人駕駛汽車、機器人和其他AI裝置將受到非法入侵和控制而引發(fā)安全威脅，如特斯拉、優(yōu)步等自動駕駛汽車交通事故。當智能醫(yī)療助理給出錯誤的醫(yī)療建議導(dǎo)致患者病情加重時，由于算法不可解釋，存在難以界定責(zé)任主體等問題[2]。

1.2 AI發(fā)展引發(fā)的數(shù)據(jù)問題凸顯

AI的發(fā)展離不開大量數(shù)據(jù)的采集、使用和積累，通過大量數(shù)據(jù)訓(xùn)練算法，可使AI具備更加顯著的問題解決能力。一方面，AI數(shù)據(jù)的應(yīng)用可能侵犯大眾的隱私安全，如收集個人的健康信息、位置信息及消費偏好等。另一方面，不均衡的、片面的訓(xùn)練數(shù)據(jù)輸入，可能導(dǎo)致各種算法決策的偏見，如谷歌照片服務(wù)Google AI將一名黑人軟件開發(fā)人員的照片打上了“大猩猩”的標簽，出現(xiàn)嚴重的種族歧視。

1.3 AI發(fā)展帶來社會風(fēng)險挑戰(zhàn)

AI產(chǎn)品和應(yīng)用會引發(fā)就業(yè)等人類社會風(fēng)險挑戰(zhàn)。麥肯錫在其發(fā)布的《就業(yè)和失業(yè)：自動化時代的勞動力轉(zhuǎn)型》報告中指出，到2030年，全球近8億人將被機器人取代，其中中國將有1億人面臨職業(yè)轉(zhuǎn)化[2]。AI會將可重復(fù)、可描述、有固定規(guī)則等特征的工作取代，不斷推動社會生產(chǎn)率提升。再者，當AI發(fā)展到未來超級智能階段，機器人等AI系統(tǒng)能夠自我演化并發(fā)展出類人的自我意識，將可能對人類的主導(dǎo)性甚至存續(xù)造成威脅。

2 AI治理國內(nèi)外進展

2.1 國際AI治理現(xiàn)狀

全球AI治理在從原則邁向“實踐”過程中，可分為3個階段，即提出制定階段、尋求國際原則共識階段及落地實踐階段。2016年起至今，全球主要國家和國際組織等發(fā)布了超百份AI戰(zhàn)略及相關(guān)治理文件，梳理后可見目前AI治理原則主要集中在公平和非歧視、安全和可控、透明&可解釋和可溯源、責(zé)任、隱私保護、倫理道德等方面(見表1)。

2.2 我國政府和企業(yè)AI治理現(xiàn)狀

我國主要通過政府治理和企業(yè)自治力量，共同推動AI治理實踐，穩(wěn)步推進“負責(zé)任、可持續(xù)”的AI生態(tài)建設(shè)。

我國不斷規(guī)范國家和地方層面AI治理相關(guān)指導(dǎo)文件和法律法規(guī)。2019年，國家新一代人工智能治理專業(yè)委員會發(fā)布《新一代人工智能治理原則——發(fā)展負責(zé)任的人工智能》，提出和諧友好、公平公正、包容共享、尊重隱私、安全可控、共擔責(zé)任、開放協(xié)作、敏捷治理8條治理原則。2021年，《最高人民法院關(guān)于審理使用人臉識別技術(shù)處理個人信息相關(guān)民事案件適用法律若干問題的規(guī)定》發(fā)布，針對人臉識別濫用、數(shù)據(jù)隱私侵犯等AI倫理問題給出司法解釋，強化個人信息保護。2021年，全國首部地方性AI領(lǐng)域法規(guī)《深圳經(jīng)濟特區(qū)人工智能產(chǎn)業(yè)促進條例(草案)》(簡稱《草案》)發(fā)布。《草案》提出了設(shè)立AI倫理委員會，建立先行先試分類監(jiān)管機制，使用政策指南、沙盒技術(shù)等監(jiān)管工具，逐步完善AI領(lǐng)域監(jiān)管機制等具體治理措施要求。

百度、騰訊、曠視等AI頭部企業(yè)積極開展AI治理探索，并廣泛開展了深度合作。騰訊提出“科技向善”理念，其AI研究與應(yīng)用遵循“可知”“可控”“可用”“可靠”的“四可”原則。先后發(fā)布《騰訊人工智能白皮書：泛在智能》《2021十大人工智能趨勢》等，聚焦AI算法公平性、AI隱私保護和AI安全等。百度在AI安全、隱私等方面踐行AI治理，先后開源了飛槳對抗樣本工具包Advbox、聯(lián)邦學(xué)習(xí)框架PaddleFL、模型魯棒性體系化評估框架等。曠視設(shè)立AI道德委員會、AI治理研究院等機構(gòu)，從正當性、人的監(jiān)督、技術(shù)可靠性和安全性、公平性和多樣性、問責(zé)和及時修正、數(shù)據(jù)安全與隱私保護6個維度，對AI正確有序發(fā)展作出明確規(guī)范，并先后發(fā)布《人工智能應(yīng)用準則》《2020年度全球十大人工智能治理事件》等。

此外，近年來業(yè)界AI頭部企業(yè)和研究單位聯(lián)合發(fā)布《人工智能產(chǎn)業(yè)擔當宣言》《促進可信人工智能發(fā)展倡議》《可信人工智能白皮書》等，深圳市人工智能行業(yè)協(xié)會、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(Artificial Intelligence Industry Alliance，AIIA)等發(fā)布《新一代人工智能行業(yè)自律公約》《可信AI操作指引》，廣泛探索AI治理框架和路徑。目前，AI治理落地還沒有成熟的既定模式，中國AI企業(yè)治理仍然處于各自摸索、共同探索的階段。

3 AI治理主要內(nèi)容和手段

AI的核心三要素為算法、算力和數(shù)據(jù)。由于算力的客觀特性，AI治理的核心問題主要集中在AI數(shù)據(jù)和算法層面。

3.1 數(shù)據(jù)

3.1.1 數(shù)據(jù)引發(fā)問題

數(shù)據(jù)資源是AI技術(shù)和產(chǎn)業(yè)發(fā)展的重要核心要素之一，是以深度學(xué)習(xí)為代表的算法模型研究和訓(xùn)練的重要基礎(chǔ)元素。深度學(xué)習(xí)訓(xùn)練算法的效果依賴于所輸入的數(shù)據(jù)質(zhì)量[3]。數(shù)據(jù)規(guī)模、準確性、包容性等因素將直接決定訓(xùn)練得到的模型質(zhì)量[4]。數(shù)據(jù)使用過程中的流轉(zhuǎn)和共享，將會引起隱私泄露等問題；數(shù)據(jù)規(guī)模小、覆蓋不全面等，將會引起模型的公平性等問題。

數(shù)據(jù)共享過程中存在的隱私問題包括：在AI模型分布式訓(xùn)練過程中和用戶或不同機構(gòu)間數(shù)據(jù)交互過程中的隱私泄露；在預(yù)測階段中用戶上傳預(yù)測數(shù)據(jù)明文至云服務(wù)器時，存在的泄露風(fēng)險[5]。AI模型和應(yīng)用中的公平性涉及：由于AI系統(tǒng)使用的數(shù)據(jù)集中包含帶有偏見的輸入信息，從而導(dǎo)致訓(xùn)練后的不完整或錯誤的模型輸出帶有偏見的決策數(shù)據(jù)。偏見由于利益驅(qū)動而人為引入，如大數(shù)據(jù)殺熟，或由于種族、膚色等因素引入。

表1 政府及政府間組織AI治理原則概述

3.1.2 相關(guān)治理手段

基于隱私保護的機器學(xué)習(xí)技術(shù)有助于解決AI發(fā)展中的數(shù)據(jù)安全和隱私問題，促進跨機構(gòu)的數(shù)據(jù)協(xié)同應(yīng)用，主要包括差分隱私、聯(lián)邦學(xué)習(xí)、安全多方計算等多種技術(shù)方向。差分隱私的核心思想是AI算法應(yīng)當對輸入數(shù)據(jù)中微小擾動不敏感[1]。無論一個數(shù)據(jù)主體的隱私信息是否包含在數(shù)據(jù)分析的輸入數(shù)據(jù)中，都可對任何主體作出相同的推斷，可以抵抗包括差分攻擊、鏈接攻擊和重構(gòu)攻擊等隱私攻擊[6]。聯(lián)邦學(xué)習(xí)是谷歌于2016年提出的概念，是指在不共享數(shù)據(jù)的情況下，聯(lián)合多個終端中的數(shù)據(jù)進行通用的機器學(xué)習(xí)模型訓(xùn)練。其核心是，在本地進行AI模型訓(xùn)練，并僅將模型更新的部分加密上傳到數(shù)據(jù)交換區(qū)域。其主要適用場景是AI聯(lián)合訓(xùn)練，解決數(shù)據(jù)被集中所帶來的隱私問題[7]。安全多方計算基于密碼學(xué)原理，依據(jù)特殊的加密算法和協(xié)議在多個參與方的加密數(shù)據(jù)上直接進行計算[8]。

為促進AI數(shù)據(jù)使用的合規(guī)與監(jiān)管，國際國內(nèi)從立法層面發(fā)布了相關(guān)政策法規(guī)。歐盟提出《一般數(shù)據(jù)保護條例》(General Data Protection Regulation，GDPR)、《人工智能法》(Artificial Intelligence Act)等，構(gòu)建數(shù)據(jù)安全治理體系，有效保護AI使用和發(fā)展過程中個人數(shù)據(jù)的流通與收集。中國近年來加快了數(shù)據(jù)立法進程，如《中華人民共和國網(wǎng)絡(luò)安全法》強調(diào)了數(shù)據(jù)隱私保護的重要性，《中華人民共和國個人信息保護法(草案)》指出個人信息在數(shù)據(jù)流通中的安全合規(guī)管理和審計[8]。2021年《中華人民共和國數(shù)據(jù)安全法》的公布，進一步對數(shù)據(jù)處理、安全保護等提出合規(guī)要求。

3.2 算法

3.2.1 算法引發(fā)問題

以深度學(xué)習(xí)為代表的機器學(xué)習(xí)算法，由于能夠利用海量數(shù)據(jù)學(xué)習(xí)并提取數(shù)據(jù)中的潛在規(guī)律和模式，具備增強的復(fù)雜問題決策能力從而應(yīng)用廣泛。隨著訓(xùn)練數(shù)據(jù)規(guī)模的增長和算力基礎(chǔ)的提升，機器學(xué)習(xí)算法的準確性不斷提升，成為驅(qū)動AI應(yīng)用發(fā)展的核心技術(shù)。但是，由于機器學(xué)習(xí)算法自身的復(fù)雜隱性結(jié)構(gòu)及其對訓(xùn)練數(shù)據(jù)的高度依賴等特性，帶來了穩(wěn)定性、可解釋性和公平性等問題。

在機器學(xué)習(xí)算法各階段面臨的不同安全威脅和干擾影響AI算法模型的穩(wěn)定性，如訓(xùn)練階段的投毒攻擊[9]、預(yù)測階段的對抗樣本攻擊和模型提取攻擊[10]。投毒攻擊通過對訓(xùn)練集進行有目的增加、刪除和修改，破壞訓(xùn)練數(shù)據(jù)分布，從而影響模型的性能和準確性，如惡意郵件分類系統(tǒng)、推薦系統(tǒng)等。對抗樣本攻擊一般由于模型對抗區(qū)域的存在、激活函數(shù)的局部線性特性等而產(chǎn)生，并且具有可遷移性[12]。對抗樣本攻擊通過在原始數(shù)據(jù)中加入特定的細微噪聲，導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型造成誤判[5]。模型提取攻擊指利用機器學(xué)習(xí)模型對外提供的應(yīng)用程序接口(Application Programming Interface，API)，通過一定方式獲取模型的內(nèi)部信息或構(gòu)造接近的模型，從而繞過安全檢測[9,11]。

可解釋性問題指由于機器學(xué)習(xí)模型具有黑盒、復(fù)雜結(jié)構(gòu)等特性，無法解釋其內(nèi)部工作原理和最終輸出結(jié)果。AI模型的輸入和輸出之間，存在著權(quán)重、偏置等成百上千個參數(shù)的復(fù)雜隱層，如當前文心(ERNIE)、盤古等大規(guī)模預(yù)訓(xùn)練模型體量達到千億級參數(shù)規(guī)模，使其決策原理難以解釋，從而導(dǎo)致算法的透明性、可靠性、可問責(zé)性等問題。

此外，除原始數(shù)據(jù)驅(qū)動造成的算法歧視和偏見問題，來自于編程人員的價值觀嵌入也會帶來一定的算法公平性問題，如算法設(shè)計者由于利益驅(qū)動或喜好引入而導(dǎo)致主觀算法歧視。

3.2.2 算法治理手段

針對AI系統(tǒng)穩(wěn)定性問題，主要的防御方法包括對抗攻擊檢測、提高模型魯棒性等。對抗攻擊檢測通過檢測樣本的對抗性，判斷是否為對抗樣本，從而拒絕樣本輸入，包括H&G檢測方法、對抗性檢測網(wǎng)絡(luò)、逆交叉熵檢測等方法。提高模型魯棒性的防御手段包括：數(shù)據(jù)擴充等對抗訓(xùn)練方法；原有數(shù)據(jù)去噪、量化、離散化等預(yù)處理方法；深度壓縮網(wǎng)絡(luò)和防御蒸餾等增強對抗樣本發(fā)現(xiàn)能力的正則化方法等[13]。

對于可解釋性問題，一方面，可以通過設(shè)計“模型說明書”促進算法模型的透明度和可理解性[14]。如，谷歌模型卡片(Model Cards)針對其運行機制和關(guān)鍵限制要素進行描述，含算法基本功能和架構(gòu)、面對不同變量的性能表現(xiàn)和局限。IBM推出AI事實清單(AI Fact Sheets)，提供AI模型重要基本特征信息，如目的、用途、性能、數(shù)據(jù)集等，加強技術(shù)人員在使用、開發(fā)和部署AI系統(tǒng)時的決策正確性。另一方面，通過發(fā)布可解釋性技術(shù)工具促進算法透明度和可解釋性[14]。如IBM提出的集成可解釋性工具箱AI Explainability 360涵蓋多種可解釋方法和多維度評價矩陣。谷歌的可視化工具TensorBoard通過監(jiān)督和呈現(xiàn)網(wǎng)絡(luò)的訓(xùn)練過程和結(jié)果來實現(xiàn)可解釋性，如編輯數(shù)據(jù)點，查看引起的推斷變化。微軟的可解釋機器學(xué)習(xí)工具包lnterpretML針對模型調(diào)試、模型改進、偏見檢測、模型合規(guī)等，提供明箱(Glassbox)和黑箱兩種類型的可解釋性。

對于公平性問題，構(gòu)建更公正的數(shù)據(jù)集、引入公平性約束損失、提高算法可解釋性等解決方案，有助于解決由數(shù)據(jù)偏差、算法本身缺陷、人為偏見等引起的問題。

政策和法規(guī)也是促進規(guī)制AI算法和系統(tǒng)安全穩(wěn)定性、透明度和可解釋性、公平性等的重要途徑。美國計算機協(xié)會公共政策委員會(Association for Computing Machinery US Public Policy Council，USACM)的《算法透明和可責(zé)性聲明》提出認識算法歧視、明確數(shù)據(jù)來源、提高可解釋性與可審查性、建立嚴格的驗證測試機制。美國《2022年算法責(zé)任法案》要求企業(yè)在使用自動化決策系統(tǒng)作出關(guān)鍵決策時，對關(guān)鍵算法偏見、有效性和其他因素進行影響評估。我國《關(guān)于加強互聯(lián)網(wǎng)信息服務(wù)算法綜合治理的指導(dǎo)意見》《互聯(lián)網(wǎng)信息服務(wù)算法推薦管理規(guī)定》等針對加強互聯(lián)網(wǎng)信息服務(wù)算法安全治理、規(guī)范算法推薦活動等確立了算法治理原則、對象、工具等，對AI算法應(yīng)用的透明度和可解釋性等提出要求。

4 AI治理問題和建議

我國政府和企業(yè)針對AI數(shù)據(jù)和算法治理，從法規(guī)、技術(shù)層面已經(jīng)取得了一定進展。但是，目前尚未形成完善的AI治理體系，相關(guān)法律法規(guī)覆蓋不全面；相關(guān)技術(shù)標準和治理工具不完備，以企業(yè)自主實踐為主。本文針對我國AI治理，提出以下建議。

(1)構(gòu)建人工智能治理體系的頂層布局。由政府等相關(guān)機構(gòu)統(tǒng)籌規(guī)劃，推動構(gòu)建AI產(chǎn)業(yè)相關(guān)法律法規(guī)保障體系，加快推動重點領(lǐng)域規(guī)則制定；建設(shè)AI產(chǎn)業(yè)治理規(guī)范和評測體系，推動數(shù)據(jù)治理、算法規(guī)制等標準制定和安全評估能力建設(shè)。

(2)推動企業(yè)治理技術(shù)創(chuàng)新和實踐。一是加強AI治理研究，加強AI基礎(chǔ)理論、倫理問題、數(shù)據(jù)隱私、算法穩(wěn)定性、可解釋性、公平性、可問責(zé)性等技術(shù)研究和治理工具實踐。二是開展企業(yè)內(nèi)部治理機制和機構(gòu)建設(shè)，促進AI產(chǎn)品研發(fā)、設(shè)計、制造、運營和服務(wù)等全生命周期治理。三是加強企業(yè)治理合作，從原則、工具、標準和評估層面形成行業(yè)內(nèi)共識的治理體系。

(3)根據(jù)AI場景風(fēng)險程度分類治理。采用分類治理的思路，對于涉及國家安全、社會穩(wěn)定的自動駕駛、智能醫(yī)療等高風(fēng)險領(lǐng)域，應(yīng)加強事前監(jiān)管與準入限制；對于涉及個人日常消費及服務(wù)等風(fēng)險相對較低的電子商務(wù)、智能家居等領(lǐng)域，采取基于結(jié)果的規(guī)制思路，側(cè)重事中事后監(jiān)管。

5 結(jié)束語

針對中國AI治理問題，本文從頂層布局、技術(shù)創(chuàng)新和實踐、分類治理等層面提出建議，為完善AI治理工作提供了參考。未來，如何使AI治理更有效、更完善的體系化，尤其是進一步落地化，促進AI產(chǎn)業(yè)健康和安全發(fā)展，將仍然是業(yè)界需要探索的重點。