倫　一　中國信息通信研究院互聯(lián)網(wǎng)法律研究中心副主任

1　引言

自上世紀50年代人工智能概念誕生以來，全球人工智能發(fā)展經(jīng)歷了數(shù)次浪潮。本次浪潮由大數(shù)據(jù)、機器學習、高速網(wǎng)絡(luò)、資本市場等多重因素共同推動，呈現(xiàn)出跨界融合、人機協(xié)同、自主操控等新特征。作為一項新技術(shù)，人工智能固然能夠顯著提升社會生產(chǎn)力、為用戶提供更多便利，但與此同時也帶來了一系列的社會問題需要解決，如結(jié)構(gòu)性失業(yè)、個人隱私泄露、法律沖突等等。因此，需要前瞻性探索和構(gòu)建人工智能治理體系，對人工智能產(chǎn)業(yè)的健康發(fā)展形成有力支撐和保障。

2　從互聯(lián)網(wǎng)治理到人工智能治理

從技術(shù)領(lǐng)域看，互聯(lián)網(wǎng)領(lǐng)域最先采用了“治理”的概念。1998年，全球范圍互聯(lián)網(wǎng)關(guān)鍵基礎(chǔ)資源的管理者ICANN與美國商務(wù)部簽訂諒解備忘錄，由ICANN協(xié)調(diào)和管理互聯(lián)網(wǎng)數(shù)字分配機構(gòu)IANA服務(wù)，實現(xiàn)對全球互聯(lián)網(wǎng)號碼資源的分配和根區(qū)管理。2005年，聯(lián)合國互聯(lián)網(wǎng)治理工作組（WGIG）提出互聯(lián)網(wǎng)治理的內(nèi)涵，即“政府、私營部門和民間社會，根據(jù)各自的作用，制定和實施的，旨在規(guī)范互聯(lián)網(wǎng)發(fā)展和運用的共同原則、規(guī)范、規(guī)則、決策程序和方案?！?/p>

與互聯(lián)網(wǎng)相比，人工智能除了有滲透性強的共性特征，還具有數(shù)據(jù)量大、難以預測、難以控制的特點。一方面，人工智能依賴的核心技術(shù)是以深度學習為代表的機器算法，其產(chǎn)品和技術(shù)具備飛速的學習能力，谷歌研發(fā)的圍棋程序AlphaGo僅在1年時間內(nèi)就擊敗了人類所有頂級高手。另一方面，人工智能本身具有“黑箱化”的特征，機器通過自動運算輸出結(jié)果，數(shù)據(jù)訓練可能產(chǎn)生新的機器學習算法，導致產(chǎn)品和服務(wù)做出的決策難以預測和控制?？傮w來看，人工智能面臨比互聯(lián)網(wǎng)更多的未知因素，可能對監(jiān)管機構(gòu)、法律、倫理等均帶來影響。

3　國內(nèi)外人工智能治理相關(guān)探索

考慮到人工智能的特性和對治理體系帶來的影響，美國、歐盟、英國、日本等發(fā)達國家在戰(zhàn)略層面加快部署。美國在人工智能頂層戰(zhàn)略中考慮人工智能治理的應(yīng)對策略。2016年，白宮連續(xù)發(fā)布3份白皮書（《國家人工智能研究和發(fā)展戰(zhàn)略計劃》、《為人工智能的未來做好準備》、《人工智能、自動化與經(jīng)濟》），從制度、細則、社會等方面提出應(yīng)對人工智能變革的策略。英國格外注重人工智能對倫理、法律等問題帶來的挑戰(zhàn)。2016年，英國下議院的科學和技術(shù)委員會發(fā)布了一份關(guān)于人工智能和機器人技術(shù)的報告，闡述了人工智能的發(fā)展與監(jiān)管帶來的潛在的倫理道德與法律挑戰(zhàn)；英國政府發(fā)布《人工智能：未來決策制定的機遇和影響》報告，闡述了人工智能的未來發(fā)展對英國社會和政府的影響。聯(lián)合國呼吁世界各國采用全新視角看待人工智能系統(tǒng)未來的監(jiān)管問題。2015年，聯(lián)合國教科文組織與世界科學知識與技術(shù)倫理委員會（COMEST）聯(lián)合發(fā)布報告，重點討論了自動化機器人使用所帶來的挑戰(zhàn)、機械倫理學、新的責任分擔機制以及決策可追溯的重要性，建議各國監(jiān)管者必須考慮科技發(fā)展的社會性限制因素，進一步完善治理措施。我國也已在頂層戰(zhàn)略中專門強調(diào)了建設(shè)人工智能治理體系的重要性。2017年7月，國務(wù)院印發(fā)了《新一代人工智能發(fā)展規(guī)劃》，在戰(zhàn)略目標中對法律和倫理體系建設(shè)提出了“三步走”的目標，明確了自動駕駛、服務(wù)機器人等應(yīng)用基礎(chǔ)較好的細分領(lǐng)域應(yīng)作為立法完善的關(guān)鍵領(lǐng)域。

除了政府在政策和立法層面加快人工智能倫理和法律規(guī)則的構(gòu)建外，人工智能企業(yè)、標準化組織、研究機構(gòu)等也從產(chǎn)業(yè)發(fā)展的角度提出了人工智能治理規(guī)則構(gòu)建的思路。2017年1月，在加利福尼亞州舉辦的阿西洛馬人工智能會議上，知名物理學家史蒂芬·霍金、特斯拉CEO埃隆·馬斯克及近千名人工智能和機器人領(lǐng)域?qū)＜衣?lián)合簽署了阿西洛馬人工智能23條原則，呼吁全世界在發(fā)展人工智能的同時嚴格遵守這些原則，共同保障人類未來的利益和安全。電氣和電子工程師協(xié)會（IEEE）則主要聚焦人工智能領(lǐng)域倫理道德標準的研究，于2017年12月發(fā)布了第2版“人工智能設(shè)計的倫理準則”白皮書，其目的就是為了從標準化角度出發(fā)對倫理問題進行設(shè)計，使人工智能系統(tǒng)以人為本，服務(wù)于人類價值和倫理準則。目前，在IEEE的倡導下，成立了面向所有人開放的IEEE P7000?標準工作組，下設(shè)數(shù)據(jù)隱私處理、算法偏見處理等10個具體研究組，推動倫理問題轉(zhuǎn)化為技術(shù)標準。

當前各國除了關(guān)注更加宏觀的人工智能治理問題，對具體應(yīng)用領(lǐng)域規(guī)則制定的關(guān)注程度也日益提升，在交通和金融領(lǐng)域尤為突出。

3.1　自動駕駛

自動駕駛是人工智能應(yīng)用最早落地的領(lǐng)域之一，產(chǎn)業(yè)發(fā)展基礎(chǔ)相對成熟，目前全球自動駕駛立法正在不斷推進，包括聯(lián)合國、美國、德國、英國等在內(nèi)的國際組織和國家正在積極修訂原有法規(guī)或制定新的法律政策，為自動駕駛技術(shù)的部署清除法律障礙，取得了積極進展。

聯(lián)合國《維也納道路交通公約》一項有關(guān)車輛自動駕駛技術(shù)的修正案于2016年3月23日正式生效。這項修正案明確規(guī)定，在全面符合聯(lián)合國車輛管理條例或者駕駛員可以選擇關(guān)閉該技術(shù)的情況下，將駕駛車輛的職責交給自動駕駛技術(shù)可以被應(yīng)用到交通運輸當中。

美國建立聯(lián)邦與州協(xié)同的監(jiān)管模式。在州層面，推動自動駕駛測試法案出臺，明確測試條件、要求、范圍等，目前已有22個州頒布實施了46份涉及自動駕駛的法案和行政命令；在聯(lián)邦層面，2016年9月頒布《聯(lián)邦自動駕駛汽車政策》，進一步明確各州訂立自動駕駛法案的要求，以及聯(lián)邦與州監(jiān)管的分工；2017年7月，美國眾議院通過《自動駕駛法案》，旨在發(fā)揮聯(lián)邦職能，通過鼓勵自動駕駛汽車的測試和研發(fā)以確保車輛安全；同年9月，NHTSA又發(fā)布了最新的《聯(lián)邦自動駕駛系統(tǒng)指南：安全愿景2.0》，強調(diào)自動駕駛的安全性和消費者教育。該指南將作為最新版本取代FAVP，以更靈活的方法來推進自動駕駛汽車安全技術(shù)的創(chuàng)新發(fā)展。

德國政府于2015年已允許在連接慕尼黑和柏林的A9高速公路上開展自動駕駛汽車測試項目。立法機構(gòu)2016年對《德國道路交通條例》所規(guī)定的“駕駛員在車輛行駛過程中全程保持警惕”、“駕駛員的手不能離開方向盤”等條文啟動立法修正。2017年5月，德國通過自動駕駛汽車法案，為自動駕駛汽車路上測試掃清了障礙，其規(guī)定：第一，司機必須始終坐在方向盤后，以便在自動駕駛汽車請求時進行控制；第二，允許路上測試，司機可不參與駕駛行為（意即可以上網(wǎng)、發(fā)郵件等）；第三，安裝“黑匣子”，記錄駕駛活動；第四，明確司機和制造商的責任分配，即，司機參與駕駛的，依其注意義務(wù)和過錯承擔責任，否則制造商承擔責任。

我國也已開啟自動駕駛測試規(guī)定的立法進程。自2017年年底開始，北京、上海、重慶、深圳等地率先開啟自動駕駛路測立法。2018年4月，工信部、公安部、交通運輸部聯(lián)合發(fā)布了《智能網(wǎng)聯(lián)汽車道路測試管理規(guī)范（試行）》，從國家層面再次對自動駕駛汽車的道路測試指明了方向。從最新發(fā)布的規(guī)定來看，進一步明確了我國自動駕駛汽車的技術(shù)路線為“智能網(wǎng)聯(lián)汽車”，對測試主體、測試駕駛?cè)撕蜏y試車輛分別設(shè)置門檻，規(guī)定了測試申請及審核程序，以及交通違法和事故處理的方式等內(nèi)容。國家層面規(guī)定的出臺，意味著自動駕駛汽車所面臨的一部分治理問題得到了解決，同時也為后續(xù)其他省市出臺路測規(guī)定提供了重要參考。

3.2　智能投資顧問

智能投資顧問（以下簡稱“智能投顧”）是人工智能技術(shù)與金融服務(wù)深度結(jié)合的產(chǎn)物。該服務(wù)模式誕生于2008年，自2011年開始在美國等市場發(fā)展速度顯著加快。目前，國內(nèi)外理論和實務(wù)界對于智能投顧尚未形成權(quán)威和統(tǒng)一定義，在業(yè)務(wù)邊界和范圍上各國的實踐選擇也不盡相同。

從業(yè)務(wù)定義來看，美國證券交易委員會（SEC）和證券業(yè)自律監(jiān)管組織美國金融業(yè)監(jiān)管局（FINRA）定義較為寬泛，將智能投顧業(yè)務(wù)類型界定為“通過移動設(shè)備或個人電腦，獲取廣泛的自動化投資工具，包括個人財務(wù)規(guī)劃工具（如在線計算器）、投資組合選擇或資產(chǎn)優(yōu)化服務(wù)（如特定賬戶的配置建議服務(wù)）、線上投資管理程序（如進行投資組合篩選和管理的智能投顧）等。”歐洲三大金融監(jiān)管機構(gòu)——歐洲銀行業(yè)管理局（EBA）、歐洲證券及市場管理局（ESMA）、歐洲保險與職業(yè)年金管理局（EIOPA）認為在證券市場中發(fā)展較為成熟的智能投顧是指“在投資顧問業(yè)務(wù)中應(yīng)用的自動化工具，由投資者提供個人信息，自動化工具結(jié)合客戶信息，通過算法為客戶提供金融工具的交易建議?！卑拇罄麃喿C券與投資委員會（ASIC）則在第255號監(jiān)管指引中采用“數(shù)字建議”（Digital Advice）一詞指代智能投顧所提供的服務(wù)，包括普遍性和個性化（結(jié)合某個客戶具體的投資目標、財務(wù)狀況和實際需求）建議，既涵蓋范圍較為狹窄的資產(chǎn)組合設(shè)計，也包括綜合全面的財務(wù)管理計劃。我國目前也對該項業(yè)務(wù)進行定義，如人民銀行、證監(jiān)會等五部委于2018年3月發(fā)布的《關(guān)于規(guī)范金融機構(gòu)資產(chǎn)管理業(yè)務(wù)的指導意見》指出，智能投顧屬于“金融機構(gòu)運用人工智能技術(shù)、采用機器人投資顧問開展的資產(chǎn)管理業(yè)務(wù)”。由此可見，各國對于智能投顧的定義方式并不一致，既包括了為用戶提供投資建議的助手型工具，也包括了幫助用戶實現(xiàn)全自動化財務(wù)投資的理財工具。

國外監(jiān)管機構(gòu)已經(jīng)開始了對于智能投顧的監(jiān)管探索。美國、英國、日本、香港等國家和地區(qū)將現(xiàn)有的監(jiān)管規(guī)則直接適用于智能投顧業(yè)務(wù)模式的監(jiān)管；法國、荷蘭、新加坡等國正在評估是否需要專門針對智能投顧制定補充性規(guī)則或保障性措施；而加拿大、澳大利亞、中國等已經(jīng)針對智能投顧出臺專門指引或規(guī)范性文件。例如，五部委發(fā)布的《關(guān)于規(guī)范金融機構(gòu)資產(chǎn)管理業(yè)務(wù)的指導意見》對于該項業(yè)務(wù)還是采取了較為謹慎的管理思路，要求經(jīng)營該項業(yè)務(wù)應(yīng)當經(jīng)金融監(jiān)督管理部門的許可，取得相應(yīng)的投資顧問資質(zhì)，充分披露信息，報備智能投顧模型的主要參數(shù)以及資產(chǎn)配置的主要邏輯。

4　人工智能治理應(yīng)考慮的重點要素

結(jié)合國內(nèi)外治理規(guī)則的動態(tài)，以及人工智能技術(shù)和產(chǎn)業(yè)發(fā)展的特點，筆者認為人工智能治理需要著重考慮以下問題：

一是業(yè)務(wù)準入和形態(tài)界定問題。人工智能涉及業(yè)務(wù)范圍廣泛，應(yīng)用形態(tài)演進迅速，特定行業(yè)管理部門需要準確界定人工智能產(chǎn)品或服務(wù)范疇，確定監(jiān)管對象和監(jiān)管重點。以自動駕駛汽車為例，其主要技術(shù)路線包括了“智能化”和“網(wǎng)聯(lián)化”兩種，前者更加強調(diào)單車的智能，而后者需要人、車、路、云等多個要素共同推進。采用智能化路線的自動駕駛汽車可能只需要考慮汽車本身的準入問題，采用網(wǎng)聯(lián)化路線的自動駕駛汽車還要考慮車輛通信標準的制定、數(shù)據(jù)傳輸安全、道路基礎(chǔ)設(shè)施的完善等問題，兩種技術(shù)路線雖然都可實現(xiàn)自動駕駛功能，但準入的要求和后續(xù)監(jiān)管難度大不相同。簡而言之，人工智能是一個大的概念，在此之下有無數(shù)的技術(shù)和應(yīng)用分支，可能涉及不同的治理規(guī)則，對于政策制定者來說是一個很大的挑戰(zhàn)。

二是人工智能算法公平性問題。算法本質(zhì)上是“以數(shù)學方式或者計算機代碼表達的意見”，人工智能系統(tǒng)的設(shè)計者、開發(fā)者可能在設(shè)計階段將人類的偏見嵌入算法系統(tǒng)，系統(tǒng)本身也可能在交互過程中產(chǎn)生無意識的歧視行為。由于算法歧視具有難以預料的特點，使得識別問題根源或解釋問題的難度進一步加大。例如，谷歌公司的數(shù)碼相冊軟件曾將深色皮膚的人群錯誤標記為大猩猩，顯示了科技錯誤如何在無意之間轉(zhuǎn)變成傷害，進而導致社會的不安與仇恨。關(guān)于解決方案，企業(yè)和政府都已經(jīng)進行了相關(guān)探索。例如，在歐盟《一般數(shù)據(jù)保護條例》中，嚴格禁止對個人造成歧視的數(shù)據(jù)分析行為。微軟公司則認為算法透明能夠提高公眾對于人工智能的信賴程度，承諾將提高自身算法透明度，滿足人類理解和監(jiān)管的需求。

三是人工智能中的個人隱私保護問題。人工智能的發(fā)展有賴于利用數(shù)據(jù)訓練算法，在這個過程中需要收集、分析和使用大量的數(shù)據(jù)，而數(shù)據(jù)的收集和處理過程很大程度上是由機器自行完成的，用戶是毫不知情的。此外，人工智能產(chǎn)品和服務(wù)往往由多個主體共同參與提供，個人信息收集和使用的邊界并不明晰。對于醫(yī)療等敏感數(shù)據(jù)，這項風險更加突出。2017年7月，谷歌DeepMind公司曾和英國NHS醫(yī)療服務(wù)機構(gòu)聯(lián)合開發(fā)一個名為Streams的智能手機應(yīng)用程序而共享數(shù)據(jù)，NHS并沒有向患者明確他們的醫(yī)療信息將被如何使用，也沒有詢問患者是否同意DeepMind處理自己的醫(yī)療數(shù)據(jù)，它們之間的數(shù)據(jù)交易被英國信息專員辦公室ICO認定為“沒有遵守數(shù)據(jù)保護法案”。如何合法合規(guī)地收集和使用個人信息，成為智能應(yīng)用產(chǎn)業(yè)鏈上的每個主體要面對的重要問題，需要各國進一步制定規(guī)則予以規(guī)范。

四是人工智能責任劃分問題。產(chǎn)品責任劃分的承擔問題伴隨人工智能的發(fā)展而來，尤其是感知智能領(lǐng)域的產(chǎn)品責任問題。從傳統(tǒng)法律責任理論來看，過錯責任是法律責任中最普遍的形式，并且是占據(jù)主導地位的法律責任，傳統(tǒng)的侵權(quán)法中也是以過錯責任為主要歸責原則。當高度自主、脫離人類控制且獨立運作的智能機器人造成人身或者財產(chǎn)損害，如何分配并承擔法律責任，成為當前需要思考的重點問題之一。2016年5月，美國佛羅里達州曾發(fā)生一起特斯拉汽車自動駕駛模式的事故，車輛未能識別轉(zhuǎn)彎卡車，導致特斯拉轎車司機當場死亡。2017年1月，美國國家公路交通安全管理局（NHTSA）發(fā)布調(diào)查報告，宣布特斯拉汽車為這起事故中的無過錯方，原因是特斯拉汽車仍屬于自動駕駛中的初級階段-“輔助駕駛”，受害者在駕駛過程中雙手離開方向盤，明顯違背了車輛安全使用要求。這個案例反映出了人工智能產(chǎn)品責任認定的復雜性，尤其是當前以人類行為者為中心的侵權(quán)責任和以產(chǎn)品生產(chǎn)者、銷售者為中心的產(chǎn)品責任，在應(yīng)對這一問題時，侵權(quán)法、合同法等法律規(guī)則的不充足性和局限性將逐漸顯現(xiàn)出來，未來需要探索構(gòu)建結(jié)構(gòu)合理的責任體系。

5　關(guān)于人工智能治理問題的初步思考

與互聯(lián)網(wǎng)技術(shù)帶來的治理問題相比，人工智能技術(shù)范圍更廣，與其他領(lǐng)域融合的態(tài)勢也更強。人工智能治理問題既包括了這項技術(shù)本身帶來的治理問題，如算法的可解釋性、產(chǎn)品或服務(wù)的準入等；也包括了這項技術(shù)與其他領(lǐng)域融合帶來的綜合性治理問題，如安全風險、就業(yè)沖擊等。因此，很難以統(tǒng)一的治理框架來應(yīng)對所有遇到的問題。在考慮人工智能所帶來的治理問題時，應(yīng)把握好治理原則，確立底線思維和監(jiān)管紅線，同時賦予企業(yè)相應(yīng)的自主權(quán)，保證產(chǎn)業(yè)創(chuàng)新活力。具體而言，筆者提出以下四點建議：

一是理清政府、企業(yè)的權(quán)責邊界。法律是現(xiàn)實社會運行的規(guī)則，而代碼則是網(wǎng)絡(luò)空間運行的法則。在現(xiàn)有法律規(guī)則可以適用人工智能治理，或技術(shù)規(guī)則可以有效彌補法律規(guī)則缺失的情況下，監(jiān)管部門沒有必要針對每個新的問題出臺一部新的規(guī)定，而應(yīng)該更好地發(fā)揮已有法律規(guī)定的作用，加強企業(yè)自律，考慮將部分技術(shù)規(guī)則上升為法律規(guī)定。

二是將處理好安全和發(fā)展的關(guān)系?，F(xiàn)階段人工智能發(fā)展仍處于初級階段，主要還是為了實現(xiàn)輔助功能，離不開人類的介入和控制，發(fā)展是當前人工智能產(chǎn)業(yè)的“第一要務(wù)”；人工智能進入高級階段后，其決策難以被預測和解釋，如果對其沒有有效的控制手段，將可能產(chǎn)生重大的公共危險和對私人權(quán)利的侵犯，不僅應(yīng)該高度重視人工智能安全問題，還可能需要對人工智能的“發(fā)展”進行一些限制。

三是加強對經(jīng)濟社會影響的評估。對人工智能治理問題的討論，不應(yīng)該是臆想和假設(shè)，需要建立在翔實的數(shù)據(jù)和案例基礎(chǔ)之上。例如，在處理人工智能帶來的就業(yè)問題上，需要構(gòu)建覆蓋各個行業(yè)的、科學的評估和測算體系，為政府決策提供支撐。

四是處理好國內(nèi)立法與國際規(guī)則的關(guān)系。人工智能的發(fā)展在全球帶來的挑戰(zhàn)是同步的，也有賴于制定共同遵守的規(guī)則。因此，在國內(nèi)立法的同時更應(yīng)該跟蹤、參與和推動國際規(guī)則的制定，以應(yīng)對人工智能對全人類帶來的機遇和挑戰(zhàn)。