国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

個體賦權在算法決策治理中的定位

2022-11-22 23:11曾俊森
法治社會 2022年1期
關鍵詞:賦權權利個體

謝 琳 曾俊森

內容提要:厘清個體賦權路徑在算法決策治理中的定位才能合理界定個人權利范圍和效能。算法決策治理具有雙重目標,即尊重人的主體性和解決算法決策的功能性問題。個體賦權存在個體能力不足、解釋意義不足、個體權利絕對化等限制,不宜將其作為解決算法決策功能性問題的主要路徑。個體賦權的定位主要在于尊重人的主體性,通過構建算法“正當程序”為使用算法提供正當性基礎。個體賦權的內容應當體現為通過透明權利適度提高算法透明度,以便于個人了解自動化決策并提出觀點和質疑。解決算法決策功能性問題的重心應當轉向以“風險預防規(guī)則”和協同治理模式為核心的個人信息影響評估,形成全過程治理。

引言

隨著算法技術的深入發(fā)展與廣泛應用,算法權力擴張到社會的各個方面。算法決策可能對個人產生約束效果并嚴重影響個人權利與自由,因此算法決策從最初的計算機概念轉變?yōu)樯鐣卫淼膶ο?。個體賦權路徑是算法決策治理中的重要路徑,我國《個人信息保護法》(以下簡稱《個保法》)與歐盟《通用數據保護條例》都規(guī)定了與算法決策有關的個體權利,但是相關研究對個體賦權路徑的權利范圍與效能爭議較大。①參見張欣:《算法解釋權與算法治理路徑研究》,載《中外法學》2019年第6期;沈偉偉:《算法透明原則的迷思——算法規(guī)制理論的批判》,載《環(huán)球法律評論》2019年第6期。如何理解和構建算法決策治理中的個體權利需要綜合考量個體賦權路徑的定位與限度,本文通過反思針對算法決策的個體權利的規(guī)定,厘清個體賦權在算法決策治理中的定位,為我國未來算法治理提供借鑒。

一、算法決策治理的雙重目標

算法決策,又稱自動化決策,是指“通過計算機程序自動分析、評估個人的行為習慣、興趣愛好或者經濟、健康、信用狀況等,并進行決策的活動”。②《中華人民共和國個人信息保護法》第七十三條。在算法決策應用于社會的過程中,算法妨害與算法黑箱問題成為算法決策治理的重要動因,其反映了算法治理的雙重目標,即解決算法決策的功能性問題與尊重個體的主體性問題。

(一)算法妨害

在數學意義上,算法是指“通過特定計算將輸入數據轉換為輸出結果的編碼過程”。③Tarleton Gillespie,The Relevance of Algorithms,in Tarleton Gillespie et al.,Media Technologies:Essays on Communication,Materiality,and Society,Cambridge,The MIT Press,2014,p.167.然而,當算法廣泛應用于社會時,就成了具有社會意義的技術,社會生活的每個方面都可能受其影響。算法決策的普及化使我們生活在一個 “評分社會”(Scored society)④See Danielle Keats Citron & Frank Pasquale,The Scored Society:Due Process for Automated Predictions,89 Washington Law Review 1(2014).或者 “黑箱社會”(Black box society)。⑤See Frank Pasquale,The Black Box Society:The Secret Algorithm That Control Money and Information,Harvard University Press,pp.10-11(2015).通過收集并分析我們的數據,算法對我們生活的方方面面進行評價,如人們買了什么、做了什么,人們如何思考、如何工作,人們的關系網如何以及他們如何處理個人的關系。⑥這類信息是關乎特定個人的“預測個人信息”,個人對其有被他人操控的疑慮和恐慌,參見邢會強:《大數據交易背景下個人信息財產權的分配與實現機制》,載《法學評論》2019年第6期。這類評價涉及我們生活的每個方面,如市場營銷、保險、教育、就業(yè)、行政、司法等,一旦自動化決策過程存在歧視、偏見、錯誤甚至操縱行為,其將對個體甚至某個群體帶來巨大的外部成本。舉例來說,普林斯頓大學的研究人員通過現有的算法AI軟件系統(tǒng)分析了220萬個單詞,發(fā)現歐洲人的名字比非洲裔美國人的名字評分更高,“女人”和“女孩”這兩個詞更有可能與藝術聯系在一起,而不是與科學和數學有關,科學和數學與男性的相關程度更高。⑦See Adam Hadhazy,Biased Bots:Artificial-Intelligence Systems Echo Human Prejudices,Princeton University,April 18,2017,https://www.princeton.edu/news/2017/04/18/biased-bots-artificial-intelligence-systems-echo-human-prejudices,December 15,2021.如果算法基于以上的發(fā)現決定就業(yè)機會或者教育機會,非洲裔美國人和女性將受到不公平對待。實際上,亞馬遜平臺的在線招聘算法系統(tǒng)曾被發(fā)現存在性別歧視。⑧See James,Vincent,Amazon Reportedly Scraps Internal AI Recruiting Tool That Was Biased against Women,The Verge,October 10,2018.https://www.theverge.com/2018/10/10/17958784/ai-recruiting-tool-bias-amazon-report,December 15,2021.更有甚者,算法決策可能成為操縱特定個體或群體評價的手段。如果算法評價成為了社會活動的重要評價標準甚至唯一標準,人的弱點與缺陷將在算法面前暴露無遺,掌握技術優(yōu)勢的人很可能會改變人們的特性,如改變其消費態(tài)度甚至是觀點立場。人的主體性將在算法技術中消失殆盡。隨著算法評價的增加與深入,社會上的人將形成屬于自己的數字畫像,每個數字畫像對應著特定的評分、特征甚至是弱點?;诋嬒裨u分不斷增加的歧視、排斥與操縱將會加深人的脆弱性。在使用算法的過程中,算法歧視、算法錯誤與算法操縱形成了對社會中的個體或群體的妨害。這類妨害具有典型的非競爭性和非排他性的特征,如同污染一般是一個程度問題,算法針對的可能不是特定的主體或者群體,而是所有人都或多或少受到影響。⑨[美]羅伯特·考特、托馬斯·尤倫:《法和經濟學》(第6版),史晉川等譯,上海人民出版社2012年版,第156頁。

算法妨害源自其無法自洽的功能邏輯。算法廣泛應用基于一種功能的邏輯,傳統(tǒng)的人類決策充滿著歧視、認知偏差、錯誤、效率低等缺陷,自動化決策被寄予解決人類決策缺陷的厚望。算法作為一種技術仿佛是中立、客觀且不存在任何偏見的。⑩技術中立的含義主要包含了:功能中立、問責中立與價值中立。價值中立是技術中立原則的核心部分。參見鄭玉雙:《破解技術中立難題——法律與科技之關系的法理學再思》,載《華東政法大學學報》2018年第1期。然而,算法并非如其所宣稱般中立。相反,算法可以使現有的刻板印象和社會隔閡永久存在。正如Cathy O’Neil所言,“算法模型只是鑲嵌在數學中的觀點”,算法實際上是現實世界的數學模型。?See Cathy O’Neil,Weapons of Math Destruction:How Big Data Increases Inequality and Threatens Democracy,Crown Publishing Group,2016,p.21.在算法設計上,算法的對象、輸入的內容、數據的加權比重、算法的類型等方面無不由人類來決定。在數據輸入上,所有的數據均來自于現實社會,這些數據本身就可能帶有偏見與刻板印象,例如:性別、膚色、種族等原生敏感數據,在深度分析下,郵政編碼、IP地址等關聯數據有可能成為帶有歧視的敏感數據。?參見謝琳:《大數據時代個人信息邊界的界定》,載《學術研究》2019年第3期。即使在復雜甚至能夠產生“意識”的算法模型中,如機器自主學習、人工智能等,人類的觀點與選擇都貫穿于算法建構、訓練、監(jiān)管的全過程。?鄭智航教授歸納了算法歧視的三種基本類型,包括:偏見代理的算法歧視(“關聯歧視”)、特征選擇的算法歧視、大數據(算法)“殺熟”。參見鄭智航、徐昭曦:《大數據時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期。在“技術中立”原則的庇護下,算法決策掩蓋了其所存在與人類決策一樣的問題。算法決策并非價值中立,其不能擺脫存在歧視、錯誤與偏差的問題。算法模型不僅僅是由數據訓練的,還需要人類進行設計并有選擇性地對數據進行分類和篩選,這些選擇不只是關于功能、利潤和效率,它們本質上是關乎道德的。

算法妨害實際上是一種不公正的算法技術使用,算法決策功能性問題——歧視、錯誤、操縱對無辜的主體施加了過高的成本,在沒有法律的介入下受到算法影響的主體難以通過協商排除算法妨害。因此,解決算法妨害問題的核心是通過問責制將算法決策的功能性問題所帶來的外部成本內部化。問責制關鍵在于建立明確的責任鏈,個人或組織需要對法律和道德義務承擔責任,并以透明的方式披露結果。?See Jonathan Fox,The Uncertain Relationship Between Transparency and Accountability,17 Development in Practice 663(2007).算法問責為算法外部成本設定相應的責任,成為相關主體在使用算法決策時必須考慮的成本,有助于引導和激勵其采取措施減少算法決策功能性問題。

(二)算法黑箱

算法黑箱所形成的信息不對稱導致算法決策問責的難度加大。通過對知識形成排他性占有甚至自主生產知識,算法制造了信息不對稱以獲得信息優(yōu)勢,形成強大的算法權力,引發(fā)社會的不安與擔憂。?參見張凌寒:《權力之治:人工智能時代的算法規(guī)制》,上海人民出版社2021年版,第27—50頁。

算法黑箱是指人類無法理解算法作出的結果和決策,其指向算法的不透明特性。算法黑箱能夠減少外界對算法決策過程的影響,但是算法黑箱使得算法過程難以得到解釋。學者Bruell指出,算法不透明的原因主要有三種,包括:故意不透明、外行的不透明(Illiterate opacity)、內在的不透明。?Jenna Burrell,How the Machine“Thinks”:Understanding Opacity in Machine Learning Algorithms,3 Big Data & Society 1(2016).故意不透明是指人類的算法系統(tǒng)的內部運作被故意隱藏起來。故意不透明可能基于商業(yè)秘密保護而存在,也可能是為了通過系統(tǒng)操縱他人。外行的不透明是指由于只有那些擁有專業(yè)技術知識的人才能理解這個體系的運作方式,因此,對外行而言,該體系的內部運作是不透明的。外行不透明性意味著對于許多普通民眾來說算法決策難以被知曉和預測。內在的不透明是指由于人類和算法對世界的理解存在根本性的不匹配,算法自我運作的內部是不透明的。以往人類對算法的干預和解釋主要在特定任務型的算法,但是基于機器學習和深度學習的算法解釋發(fā)展使得人類干預和解釋捉襟見肘,甚至專業(yè)人員也越來越難以解釋算法的運作過程。?Celine Castets-Renard,Accountability of Algorithms in the GDPR and Beyond:A European Legal Framework on Automated Decision-Making,30 Fordham Intellectual Property,Media & Entertainment Law Journal 91,101(2019).這種技術允許算法搜索和分析大量的數據,以發(fā)掘算法模式和相關性并成為決策的基礎。算法難以解釋使得相關性和推論取代了因果關系,算法問責可能會舉步維艱。此外,在算法決策過程當中,不透明度使得個人無法知曉算法對自己的影響,人在算法決策下可能會被物化,喪失其主體性和人格尊嚴。

算法權力擴張本質上是算法通過不透明特性制造信息不對稱形成優(yōu)勢地位。算法權力擴張可能會導致算法問責的困難和社會擔憂的加重。近年來,對自動化決策不透明性危機的擔憂逐漸凸顯,如2017年,“美國大數據審判第一案”——盧米斯上訴美國威斯康星州案(又稱“Compas案”)?Loomis v.Wisconsin,881 N.W.2d 749(Wis.2016),cert.denied,137 S.Ct.2290(2017).、“紐約大學法學院布倫南司法中心與紐約州警察部門案”。?Brennan Ctr.for Justice at N.Y.Univ.v.N.Y.C.Police Dep’t,2017 N.Y.Misc.LEXIS 5138,at*5(N.Y.Sup.Ct.Dec.22,2017).算法透明成為了解決算法信息不對稱的重要途徑。透明與問責是一對相互聯系的概念,在實踐中,透明與問責經常被視為良好治理的基礎與支柱。提高透明度有助于確認責任鏈條以實現有效的問責制。此外,提高透明度有助于個人與組織參與算法治理以增強社會對算法決策的信任。明智地使用透明度能夠創(chuàng)造一個良性循環(huán),合法性、公民參與和信任將導致一場動態(tài)的算法治理變革。

綜上,解決算法的功能性問題與尊重人的主體性(人格尊嚴)是算法決策治理的核心目標。首先,算法決策如人類決策一般可能存在歧視、錯誤、操縱等功能性問題,“算法黑箱”進一步掩蓋了這些問題并加大了算法問責的難度。其次,算法決策對個體產生負面影響,甚至可能使其被“物化”,“算法黑箱”導致個體難以發(fā)現算法的問題并參與到對算法的質疑當中,加深了個體的擔憂與不安。算法決策治理的兩個目標實際上與行政法領域中對政府決策的監(jiān)管目的相似。過去,政府決策也曾被視為“黑箱”決策,法律一方面需要監(jiān)管政府決策中的功能性問題,如決策錯誤、不公平對待、對民眾的操縱,另一方面需要通過提高透明度以實現有效的問責制,同時增強個體對政府決策的理解和質疑能力,以尊重個體的主體性,為政府決策提供正當性基礎。當然,技術的深入發(fā)展使算法決策的問題可能比傳統(tǒng)的政府決策問題更為突出。但是,算法決策治理的核心目標同樣在于解決算法決策功能性問題以及個體主體性問題。為應對算法決策風險,我國《個保法》賦予了個體自動化決策拒絕權、知情權與要求個人信息處理者解釋說明權,并規(guī)定了個人信息影響評估制度。

二、自動化決策拒絕權的定位

《個保法》第二十四條第三款賦予了個體自動化決策拒絕權,個人有權拒絕個人信息處理者僅通過自動化決策的方式作出對個人權益有重大影響的決定。通過行使該項積極權利,個體成為了算法決策治理中的主體。個體賦權強化個體應對和控制技術風險的能力,增強個體在技術威脅中的主體性,有助于解決個體主體性問題。?See Margot E.Kaminski,Binary Governance:Lessons from the GDPR’s Approach to Algorithmic Accountability,92 Southern California Law Review 1529,1553-1557(2019).但是,在解決算法決策功能性問題上,個體存在感知風險能力與算法問責能力不足的問題。同時,自動化決策拒絕權面臨權利絕對化的問題,可能會阻礙信息的合理流通。自動化決策拒絕權的核心定位在于通過賦予個體控制權利解決尊重個體主體性問題,而非解決算法決策功能性問題。

(一)“賦權條款”抑或“禁止條款”

縱觀《個保法》第二十四條,處理者利用個人信息進行自動化決策被加以保證透明度和結果公平公正的義務,這意味著處理者需要告知個人其正在使用自動化決策。當自動化決策對個人權益有重大影響時,個人有權要求說明以及拒絕僅基于自動化決策方式作出的決定(以下簡稱“全自動化決策”)。在個體沒有行使拒絕權時,《個保法》并未賦予個體其他質疑自動化決策的權利或者要求信息控制者實施保障個體提出質疑的措施。因此,個人信息處理者在保證決策的透明度和結果公平、公正并保障個人的提供解釋說明權而個體沒有行使拒絕權的情形下,即可對個體作出有重大影響的全自動化決策。歐盟《通用數據保護條例》(以下簡稱“GDPR”)第22條第1款同樣針對自動化決策作出類似“自動化決策拒絕權”的規(guī)定,基于全自動化過程進行決策且對數據主體產生法律效力或類似的重大影響時,數據主體有權不受該決定約束。?Regulation(EU)2016/679 of the European Parliament and of the Council of 27 April 2016 on the protection of natural persons with regard to the processing of personal data and on the free movement of such data,and repealing Directive 95/46/EC(General Data Protection Regulation),Art.22.只有符合第22條第2~4款的例外情形時,數據控制者才能使用上述的自動化決策。?例外情形包括:(1)該決策為訂立合同或履行合同所必需;(2)獲得歐盟或成員國法律授權,且提供了適當的保障措施;(3)決策基于數據主體的明確同意。在前述第一和第三項例外情形下,數據控制者至少保障數據主體有權獲得人為干預,表達其觀點與質疑該決定。在使用個人敏感信息的情形下,還需要符合第9條第2款(a)項或(g)項的相關規(guī)定并輔以適當的保障措施。我國有學者稱其為“反自動化決策權”或“脫離自動化決策權”。?張建文、李錦華:《歐盟個人數據保護法上的反自動化決策權研究》,載《重慶郵電大學學報(社會科學版)》2019年第3期;唐林垚:《“脫離算法自動化決策權”的虛幻承諾》,載《東方法學》2020年第9期。然而,歐盟第29條數據保護工作組制定的《自動化個人決策與識別指南》(以下簡稱《自動化決策指南》)明確指出,該款中的“權利”一詞并不意味著在數據主體主動援引時才適用。第22條第1款規(guī)定了基于全自動處理進行決策的一般禁止原則,無論數據主體是否就其個人數據的處理采取行動,此禁止條款都普遍適用。?Article 29 Data Protection Working Party,Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679,WP251.rev.01,pp.19-23.早在歐盟通過1995年《數據保護指令》(以下簡稱“95指令”)進行規(guī)制時,歐盟委員會就對全自動決策過程的質量表示擔憂,擔心這樣的過程會使人們認為所達成的決策是理所當然的,從而降低控制者調查和確定所涉事項的責任。?European Community,Amended Proposal for a Council Directive on the Protection of Individuals with Regard to the Processing of Personal Data and on the Free Movement of Such Data:COM(92)422 Final-SYN 287,p.26.全自動化決策具有較大的潛在風險,因此GDPR普遍禁止對數據主體產生法律效力或類似的重大影響的全自動化決策。

《個保法》第二十四條第三款關于自動化決策拒絕權的規(guī)定與GDPR第22條第1款在字面上具有相似性,兩部法律都賦予了信息主體相關的“權利”,同時設置了一定的義務,但是《個保法》的“自動化決策拒絕權”屬于賦權條款,GDPR的“權利”屬于禁止條款。兩種不同的條款代表兩種不同運行邏輯的治理模式——“個體賦權”模式與“原則禁止+例外允許”模式。自動化決策拒絕權的治理邏輯是一般情況下允許使用自動化決策,在個體積極行使拒絕權時,處理者才被禁止進行對個人權益產生重大影響的全自動化決策。換言之,自動化決策拒絕權賦予了個體積極的控制性信息權利,這項權利與威斯丁將隱私權界定為個人對自身信息的控制,?Alan F.Westin,Privacy and Freedom,Atheneum,1968.以及“信息自決權理論”——“個人主體具有控制、發(fā)布、適用個人數據的權利”一脈相承。?謝琳、曾俊森:《數據可攜權之審視》,載《電子知識產權》2019年第1期?!霸瓌t禁止+例外允許”模式的治理邏輯是原則上禁止進行對個人權益產生重大影響的全自動化決策,在滿足例外情形時處理者方可使用。因此,在使用自動化決策時,處理者必須證明其不符合禁止條款的規(guī)定或者滿足例外條款的要求。GDPR第22條第1款的“權利”并不像“信息獲取權”(第15條)、“刪除權”(第17條)或“數據可攜權”(第20條)一般賦予個體可以積極行使支配和控制個人信息的權利,第22條第1款只是賦予個體不受自動化決策約束的消極權利(Right not to be subject)。這項“權利”類似于霍菲爾德權利理論中的“豁免”(Immunity),自動化決策的處理者因此沒有“權力”(Power/Ability)將“責任”(Liability/Subjection)施加于個人,而不是賦予個體一種狹義的“權利”(Right/Claim)。?參見[美]霍菲爾德:《基本法律概念》,張書友編譯,中國法制出版社2009年版,第26-78頁?!敖箺l款+例外允許”模式通過處理者義務映射出個體的權利,屬于一種消極的防御型信息權利,與沃倫和布蘭代斯將隱私權界定為“獨處權利”有異曲同工之妙。?See Samuel D.Warren & Louis D.Brandeis,The Right to Privacy,4 Harvard Law Review 193,195-196(1890).當然,“原則禁止+例外允許”模式不僅僅包含消極的防御型信息權利,例如GDPR第22條要求處理者提供保障措施,最起碼保障主體有權獲得人為干預,表達其觀點與質疑該決定。因此,賦權條款實際上是通過賦予個體積極權利,讓個體自我決定和控制自動化決策對個人信息的處理;禁止條款則通過對處理者施加相應的義務映射出個體的權利,無論個體是否行使權利,處理者都必須設置具體的保障措施,履行保障義務。

(二)自動化決策拒絕權的限度

“個體賦權”與“原則禁止+例外允許”對應兩種不同的治理邏輯,將會帶來差異的治理效果。自動化決策拒絕權與“原則禁止+例外情形”模式同樣保護了個體的人格尊嚴、體現人的主體性以及防止人的“物化”。但是,在解決算法決策功能性問題上,“個體賦權”模式的限度較大。此外,自動化決策拒絕權面臨權利絕對化的問題,可能會影響信息的合理流通與利用。

自動化決策拒絕權給個體配置了一種積極的控制性權利,這項權利類似消費者保護法和勞動法對弱勢群體的保護,糾正信息處理者與個人之間的不平等關系。但是,與傳統(tǒng)的消費者保護法和勞動法不同,自動化決策的復雜性與不透明性加劇了個人的弱勢地位,通過個體行使控制性權利進行算法規(guī)制的效果有限。首先,一般個體對風險的認知往往局限于熟悉的領域和風險較大的領域,個人對個人信息保護的風險感知往往比較遲鈍。?丁曉東:《個人信息保護:原理與實踐》,法律出版社2021年版,第90頁。這種風險感知一方面源于個體的能力,另一方面源于算法的黑箱特性。這可能導致個體難以感知自動化決策是否對其有重大影響。其次,即使處理者主動告知個體其僅通過自動化決策作出對個人有重大影響的決策,個體也沒有能力實現有意義的控制和問責。如前文所述,自動化決策從設計、輸入數據、算法運行到最終產生決策的每個階段都可能導致算法歧視和算法操縱等問題的出現,由于缺乏相應的專業(yè)能力,個體無法控制自動化決策的全過程。當然,GDPR第22條為處理者規(guī)定的“知情同意”例外條款以及“主體有權獲得人為干預,表達其觀點與質疑該決定”的保障措施面臨與個體賦權相似的困境。?See Jakub Mí?ek,Consent to Personal Data Processing-The Panacea or the Dead End?,8 Masaryk University Journal of Law &Technology 69(2014).但是,“原則禁止+例外允許”模式是通過處理者義務映射個體的權利,并非賦予個體積極權利,個體的積極行權不是自動化決策規(guī)制的唯一方式。處理者需要主動證明決策不屬于對個體產生重大影響的全自動化決策,或者證明決策符合例外情形并提供適當的保障措施,這實際上是通過提高處理者的合規(guī)成本將算法外部成本內部化。因此,“原則禁止+例外允許”模式在解決功能性問題上比自動化決策拒絕權更有效。在個人信息保護法已經規(guī)定了自動化決策拒絕權的背景下,“自動化決策拒絕權”應當理解為信息處理者在使用具有重大影響的全自動化決策時應當提供的保障措施。例如,信息處理者應當主動向個體提供拒絕的機制,即使個體沒有行使拒絕權,也應當為個體提供質疑自動化決策的途徑,并保證決策的公平性與合理性。

在促進信息合理流通方面,由于缺乏其他的例外情形,自動化決策拒絕權可能面臨權利絕對化的問題。個人信息的流通價值指向個人信息的公共屬性,無論是企業(yè)合理使用信息所形成的聚合效益,還是個人信息作為言論自由對象的價值,都應當受到保護。?參見前引?,丁曉東書,第109頁。個體賦權如果走向絕對化,將會影響信息的合理流通從而影響公共利益?!秱€保法》第二十四條并未規(guī)定相應的例外情形,這意味著只要個體行使拒絕權,處理者無法基于其他理由進行對個體權益產生重大影響的全自動化決策。GDPR第22條第2款為“禁止條款”提供了例外情形,例外情況包括:(1)該決策為訂立合同或履行合同所必需;(2)獲得歐盟或成員國法律授權,且提供了適當的保障措施;(3)決策基于數據主體的明確同意。在使用個人敏感信息的情形下,還需要符合第9條第2款(a)項或(g)項的相關規(guī)定并輔以適當的保障措施。這意味著“禁止條款”并不必然導致過于嚴格的規(guī)制。使用自動化決策有益于提高商業(yè)效率和促進公眾利益。如果個體行使拒絕權即可禁止使用對個體權益產生重要影響的全自動化決策,將會導致更為嚴格的自動化決策規(guī)制。盡管GDPR第22條的例外情形條款也存在不足與爭議,但是其背后的治理邏輯可能更能促進信息的合理利用和流通。

綜上所述,自動化決策拒絕權賦予了個體積極的控制性權利,通過增強個體參與算法決策治理的能力,糾正信息處理者與個人之間的不平等關系。自動化決策拒絕權有助于解決個體主體性問題。但是,自動化決策拒絕權無法有效解決算法決策功能性問題,甚至會阻礙信息的合理利用與流通,其治理效能不如以信息控制者義務為中心的“原則禁止+例外允許”模式。

三、個人透明權利的定位

為了應對算法黑箱導致的權力擴張,算法解釋成為了重要的治理手段?;趯嗬捳Z路徑的依賴,《個保法》賦予了個體知情權、要求個人信息處理者解釋說明權,GDPR則賦予了數據主體知情權(Right to be informed)與數據訪問權(Right of access)。?基于第22條的定義進行自動化決策時,控制者必須告知數據主體他們正在從事此類活動、提供涉及自動化決策邏輯的有意義的信息以及解釋處理的重要性和設想的后果。眾多學者爭論歐盟是否存在算法解釋權并基于GDPR的相關規(guī)定建構起不同版本的算法解釋權。然而,在沒有確定算法解釋權的實質內涵之前,對于歐盟是否存在算法解釋權的爭論以及是否應當將我國的相關權利解釋為算法解釋權并沒有意義。算法解釋權的關鍵在于如何建構與算法決策治理目標相適應的透明權利,如何建構需要思考透明權利的定位。

(一)算法解釋權爭議的實質

主流觀點中的算法解釋權是指數據主體有權要求控制者對特定決策進行具體且有意義的解釋。?See Bryce Goodman & Seth Flaxman,European Union Regulations on Algorithmic Decision Making and a“Right to Explanation”,3 AI Magazine 50,50-57(2017);Wachter et al.,Why a Right to Explanation of Automated Decision-Making Does Not Exist in the General Data Protection Regulation,7 International Data Privacy Law 76,76-99(2017).算法解釋權被認為是實現算法透明的高度體現。?參見汪慶華:《算法透明的多重維度和算法問責》,載《比較法研究》2020年第6期。不同于知情權與訪問權要求事前提供系統(tǒng)的一般性信息,?《自動化決策指南》規(guī)定控制者只需要向數據主體提供一般性信息(特別是有關決策過程中考慮的因素,以及它們各自在總體上的“權重”),并不需要進行特定解釋。算法解釋權屬于事后解釋,個人有權要求控制者對特定決策提供更為具體的信息,如特定決策中的輸入數據與輸出結果、考量因素與因素的比重等等。許多學者在提及歐盟規(guī)制路徑時都將算法解釋權(Right to explanation)作為路徑的核心,算法解釋權仿佛成了自動化決策規(guī)制的關鍵。然而,歐盟并未闡明GDPR是否存在算法解釋權,GDPR規(guī)定的知情權(第13~14條)與數據訪問權(第15條)中的“為數據主體提供涉及自動化決策邏輯的有意義的信息”與緒言第71條中的“為數據主體提供在相關評估后獲得對該決定的解釋并質疑該決定的權利”成為了眾多學者建構算法解釋權的基礎。?GDPR在緒言第71條中為算法解釋權留下了適用空間:“適當的保障措施……應包括提供給數據主體具體的信息、(數據主體)獲得人為干預并表達其觀點的權利,在相關評估后獲得對該決定的解釋并質疑該決定的權利?!钡蔷w言在歐盟法律中并無法律效力,緒言作為對法律規(guī)則的解釋本身不能構成規(guī)則。See Casa Fleischhandels-GmbH v Bundesanstalt für landwirtschaftliche Marktordnung,Case215/88,ECLI:EU:C:1989:331,https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A61988CJ0215,December 15,2021.

這場論戰(zhàn)最早由學者Bryce Goodman與Seth Flaxman引發(fā),他們將“提供涉及自動化決策邏輯的有意義的信息”擴張解釋為算法解釋權。?See Bryce Goodman & Seth Flaxman,supra note ?.這種主張被Wachter教授等學者所批判,他們認為GDPR僅要求對系統(tǒng)的功能(系統(tǒng)如何運行)進行事前解釋(Ex ante explanation),而無需對決定背后的原因進行事后解釋(Ex post explanation)。?See Wachter et al.,supra note ?.Edwards教授與Veale博士則從機器學習算法的角度指出了行使算法解釋權的實際困難,不同的是,他們接受算法解釋權的可能性。?See Lilian Edwards & Michael Veale,Slave to the Algorithm:Why a Right to an Explanation Is Probably Not the Remedy You Are Looking For,16 Duke Law & Technology Review 18(2017-2018).盡管相關的批駁觀點獲得了大量的追隨,但是支持算法解釋權的學者并不在少數。Powles教授與Selbst助理教授明確反對Wachter教授等學者的觀點,他們認為對系統(tǒng)的事后解釋是可行且應當的,算法解釋權應源自GDPR第13~15條。?See Andrew D.Selbst&Julia Powles,Meaningful Information and the Right to Explanation,7 International Data Privacy Law 233(2017).Bygrave教授與Mendoza研究員認為GDPR條款中關于訪問權(第15條)的規(guī)定并未排除事后解釋的可能性,這種權利可以視為GDPR第22條第3款的“質疑自動化決策權”(Right to contest)的默示條款。?See Isak Mendoza&Lee A.Bygrave,The Right Not to be Subject to Automated Decisions Based on Profiling,EU Internet Law(2017).Casey等學者從GDPR的執(zhí)法層面進行分析,聲稱GDPR引入了明確的算法解釋權。?See Bryan Casey,Ashkon Farhangi & Roland Vogl,Rethinking Explainable Machines:The GDPR’s“Right to Explanation”Debate and the Rise of Algorithmic Audits in Enterprise,34 Berkeley Technology Law Journal 143(2019).Brkan教授則認為,上述所有的支持與批駁觀點都桎梏于名義上的算法解釋權,算法解釋權的內容遠比其名稱更為重要,在肯定需要算法解釋權的基礎上,她綜合GDPR相關條文分析算法解釋權的必要性與內容。?See Maja Brkan,Do Algorithms Rule the World?Algorithmic decision-making and Data Protection in the Framework of the GDPR and Beyond,27 International Journal of Law and Information Technology 91(2019).Kaminski教授則從GDPR的治理模式和《自動化決策指南》對算法解釋權的隱喻進行分析,她認為GDPR屬于協作治理模式(即監(jiān)管機構與企業(yè)之間的互動),隨著法律的發(fā)展,緒言第71條作為重要的資源為企業(yè)提供了清晰的信息。而《自動化決策指南》多次直接引用緒言第71條的內容,足見算法解釋權的重要性。?Margot E.Kaminski,The Right to Explanation,Explained,34 Berkeley Technology Law Journal 143,189(2019).

可見,算法解釋權只是學者建立在歐盟透明權利之上的擴張解釋,如前文所述,GDPR并沒有明確規(guī)定算法解釋權。?雖然英國沒有在法律中規(guī)定類似的算法解釋權,但是英國信息專員辦公室(ICO)發(fā)布的《人工智能決策解釋指南》卻肯認了算法解釋權的存在以及其必要性。Information Commissioner’s Office & The Alan Turning Institute,Explaining decisions made with AI,20 May 2020,https://ico.org.uk/for-organisations/guide-to-data-protection/key-data-protection-themes/explainingdecisions-made-with-ai/,December 15,2021.無論學者們通過什么進路論證算法解釋權,其實質都是為了實現自動化決策的高度透明。但是算法解釋權在GDPR中是否存在并不重要,關鍵是算法解釋權的實質內容,即實現何種程度的算法解釋。算法解釋權內涵受到多種要素影響,包括:算法解釋的標準、算法解釋的時機、算法解釋可理解性,以及解釋的詳細程度。?See Wachter et al.,supra note ?.對于算法解釋權內涵要素的不同選擇將構成內涵迥異的算法解釋權,這些內涵要素可能與現行法律規(guī)定的透明權利相一致,也可能相去甚遠。實際上,緒言第71條所指的解釋并非建立高度透明的算法解釋權。《自動化決策指南》指出,數據控制者應當采取簡單的方式向數據主體解釋,只有數據主體了解決策的依據,他們才能對決策提出異議或發(fā)表意見。僅當數據主體可以理解特定決策所基于的因素和考慮時,自動化決策所涉及的邏輯才是“有意義的”。解釋的重點在于為數據主體質疑和發(fā)表意見提供信息。

《個保法》與GDPR都沒有明確規(guī)定飽受爭議的算法解釋權,但是應當看到算法解釋權的核心定位實際上是通過提高自動化決策的透明度,為數據主體質疑和發(fā)表意見提供解釋。因此,適當的算法解釋具有必要性。對我國而言,闡明《個保法》中的知情權與要求個人信息處理者解釋說明權的內涵和算法解釋的范圍具有必要性。為了數據主體能實質地提出觀點并質疑自動化決策,處理者至少需要提供自動化決策的輸入數據、輸出結果并對決策依據進行合理的解釋。?See Maja Brkan,supra note ?.at 114.

(二)透明權利建構的限度

透明權利體現了通過透明原則對自動化決策進行規(guī)制。歐盟《條例透明原則指南》?Article 29 Data Protection Working Party,Guidelines on transparency under Regulation 2016/679,WP260.與《個保法》都闡明了透明原則是個人信息保護的基本要求。歐盟數據保護監(jiān)管機構(EDPS)進一步指出,不是由個人來尋求自動化決策邏輯的公開,而是各組織與機構必須主動尋求這種透明性。?European Data Protection Supervisor,Opinion 7/2015.Meeting the challenges of big data.A call for transparency,user control,data protection by design and accountability,https://edps.europa.eu/sites/edp/files/publication/15-11-19_big_data_en.pdf,December 15,2021.透明原則并非自動化決策規(guī)制的唯一原則,卻是備受關注與推崇的“金科玉律”。參見前引①,沈偉偉文。誠然,提高透明度有助于自動化決策規(guī)制,但是過度依賴于透明權利無法實現有效規(guī)制。

首先,個體賦權容易導致私益之間的沖突,透明權利受制于其他合法權利。“陽光是最好的消毒劑”,透明原則被視為建設透明法治政府、問責制和限制濫用權力的堡壘之一。對公共機構的透明權利使公眾可以進行可視化的辯論,為政府贏得信任和合法性。See Lilian Edwards & Michael Veale,supra note ?.如Zarsky教授強調:“所有政府行動都默認應當是透明的。”Tal Zarsky,Transparency in Data Mining:From Theory to Practice,Discrimination and Privacy in the Information Society 301,310(2013).然而,私人行為卻恰恰相反,在私人行為中,包括對個人隱私、商業(yè)秘密和知識產權的保護實際上已成為準則。自由進行商業(yè)活動是歐盟的一項基本權利,參見Art.15,Charter of Fundamental Rights of the European Union(CFEU)2012/C 326/02。透明權利的適用必然會受到商業(yè)秘密和知識產權保護的沖擊。有學者通過對比GDPR與《歐盟商業(yè)秘密指令》Directive(EU)2016/943 of the European Parliament and of the Council of 8 June 2016 on the protection of undisclosed know-how and business information(trade secrets)against their unlawful acquisition,use and disclosure.的相關條款認為歐盟傾向于保護個人信息,See Gianclaudio Malgieri & Giovanni Comande,Why a Right to Legibility of Automated Decision-Making Exists in the General Data Protection Regulation,7 International Data Privacy Law 243,262-265(2017).且《自動化決策指南》也明確提出:“控制者不能以保護其商業(yè)秘密為借口來拒絕訪問或拒絕向數據主體提供信息”,但是透明原則與商業(yè)秘密、知識產權保護間的利益沖突仍是不容忽視的。GDPR緒言第63條也明確指出,數據訪問權“不應不利地影響他人的權利或自由,包括商業(yè)秘密或知識產權,尤其是保護軟件的版權”。不同于歐盟GDPR直接賦予個體透明權利,美國《公平信用報告法》Federal Trade Commission,Fair Credit Reporting Act(FCRA),https://www.ecfr.gov/current/title-16/chapter-I/subchapter-F,December 15,2021.為算法決策使用者規(guī)定了一系列的透明義務,包括“不利行動通知”(Adverse action notice)、為消費者提供訪問和機會來更正用于作出有關他們的決策的信息、調查消費者和報告機構對信息準確性的質疑。舉例說明,當AI模型使用關于消費者的數據形成報告或者評分會對消費者產生不利影響時,例如將評分或者報告作為拒絕用戶貸款或向租客收取更高租金的基礎,使用算法決策的機構必須向該消費者提供不利行動通知。不利行動通知告訴消費者他們有權查看有關他們的信息并糾正不準確的信息。美國《算法正義和在線平臺透明度法案》Representative Doris O.Matsui,Algorithmic Justice and Online Platform Transparency Act.則提出,在線平臺在使用算法時應以顯著的、通俗易懂的、不具有誤導性的語言向在線平臺的用戶披露相關信息。盡管美國沒有通過法律直接賦予個體權利,但是為使用算法的相關主體設置透明義務讓個體參與到算法決策治理當中,同樣具有尊重個體主體性的效果。實際上,這類似于將透明義務作為霍菲爾德權利理論中的“責任”(Liability/Subjection)來理解,部分映射了個體支配和控制某項法律關系的權力(Power/Ability)。相較于賦予個體積極行使的“權利”(Right/Claim)而要求處理者履行“義務”(Duty),可能更有助于減少個體賦權導致不同私權之間的沖突。參見前引?,霍菲爾德書。

其次,從算法解釋對個體的意義來看,透明權利同樣存在較大局限。人工智能、深度學習與機器學習等技術發(fā)展使得輸入數據與輸出結果之間的因果關系難以解釋,算法的解釋更多是一種相關性或者推論。See Celine Castets-Renard,supra note ?,at 101.個體難以感知或者證明算法決策存在歧視等問題。此外,發(fā)現歧視等系統(tǒng)功能性問題需要關注系統(tǒng)的整體行為,個體賦權與算法決策監(jiān)管時機不適應。在使用機器學習算法的場景下,個人對特定決定的挑戰(zhàn)并不如在算法設計階段建立良好的標準或在算法運作過程中持續(xù)監(jiān)測算法對規(guī)則的遵從有效。See Deven R.Desai & Joshua A.Kroll,Trust but Verify:A Guide to Algorithms and the Law,31 Harvard Journal of Law &Technology 1,5-6(2017).人類創(chuàng)造機器學習算法的工作主要在設計和訓練階段,評估和糾正運行中的機器學習算法將會非常困難。某些算法甚至會隨著時間而發(fā)展,通過個體挑戰(zhàn)這些系統(tǒng)幾乎是不可能的。只有當算法不當行為易于觀察且懲罰易于執(zhí)行,即解決算法系統(tǒng)性功能的成本小于發(fā)現幾率乘以處罰成本執(zhí)行時,算法設計者才會選擇糾正算法系統(tǒng)錯誤。這意味著透明權利無法有效解決算法決策系統(tǒng)的功能性問題。

最后,從救濟效果來看,透明權利同樣存在較大局限。Pasquale教授指出,面對制度化的權力或金錢,僅憑透明度并不總會產生補救或公眾信任。See Frank Pasquale,supra note⑤.過度依賴透明處理原則使我們陷入一種“透明陷阱”(Transparency fallacy),個體往往缺乏必要的專業(yè)知識來有意義地行使這些個人權利。See Lilian Edwards & Michael Veale,supra note ?,at 75-76.大部分的個體在時間和資源上都過于貧乏,無論是在技術、行為、法律還是經濟實力等層面,個人都處于弱勢地位。歸根結底,數據主體需要的不是獲得相關信息與解釋,而是確保不利結果永遠不會發(fā)生。有學者對近年相關案例進行分析,發(fā)現被侵權人根本沒有尋求獲取相關信息與解釋的救濟,他們需要的是實際行動,如岡薩雷斯訴谷歌案,原告要求谷歌刪除其姓名搜索中的頂部鏈接(數據),他對Google的搜索算法為何繼續(xù)將過時的結果繼續(xù)放在其排名的首位并沒有興趣。See Lilian Edwards & Michael Veale,supra note ?.單純提高透明度不能提供足夠的救濟。

綜上所述,透明權利的核心定位在于為數據主體質疑和發(fā)表意見提供有意義的解釋,賦予個體透明權利有助于緩解個體與處理者之間的信息不對稱,讓處理者充分了解自動化決策并行使質疑和問責的權利。因此,在構建算法解釋權時,應當首先考慮算法解釋的標準、算法解釋的時機、算法解釋可理解性,以及解釋的詳細程度能否為數據主體質疑和發(fā)表意見提供有意義的解釋。例如,在一般情況下,信息主體有權要求控制者以可理解的方式解釋系統(tǒng)的通用信息;面對復雜系統(tǒng)時,數據主體有權要求進一步公開特定決策的處理過程信息和結果信息,以便數據主體提出質疑和觀點。但是,囿于個體賦權和透明度救濟效果的限制,僅依賴透明權利無法實現有效的算法問責。建構適當的透明權利還應當綜合考量手段的合目的性、成本和有效性,平衡自動化決策的風險與效率。過寬的透明權利將無法實現制度成本與算法決策治理效率的平衡。

四、算法決策治理的進路選擇

基于權利路徑依賴和尊重個體主體性的需要,個體賦權成了算法決策治理的重要手段。然而,在技術深入發(fā)展、利益保護多元化的背景下,個體賦權無法有效解決算法決策的功能性問題,這體現為自動化決策拒絕權與透明權利的治理效能不足。個體賦權的定位僅在于建立算法的正當程序,體現對個體主體性與人格尊嚴的保護。相關研究對于個體賦權的權利范圍與效能的爭議忽視了算法決策治理具有雙重目標,在解決算法決策的功能性問題上,個體賦權路徑具有較大的局限性,但是個體賦權在尊重個體主體性上有著不可替代的作用。理解和建構關于算法決策治理的個體權利應當著眼于算法的正當程序。解決算法決策功能性問題的重心應當置于信息控制者的責任,強化信息控制者的風險預防規(guī)則。參見前引?,丁曉東書,第113頁。

(一)個體賦權的定位:構建算法的正當程序

如前文所述,透明權利與自動化決策拒絕權具有較大的局限性,其核心原因都與個體賦權模式在解決算法決策功能性問題的有效性相關。由于個體行權能力有限、算法解釋對個體的意義不足,包括:(1)私權的沖突導致算法解釋范圍狹窄;參見前引?,汪慶華文。(2)人工智能、深度學習與機器學習等技術發(fā)展使得輸入數據與輸出結果之間的因果關系難以解釋,算法的解釋更多是一種相關性或者推論;See Celine Castets-Renard,supra note ?,at 101.(3)發(fā)現系統(tǒng)功能問題需要關注系統(tǒng)的整體行為,個體賦權與算法決策監(jiān)管時機不適應,個體賦權無法有效解決算法決策功能性問題。此外,僅通過個體賦權進行算法決策治理而忽略了算法的合理利用將面臨權利絕對化的風險,可能會阻礙信息的合理流通。

因此,個體賦權路徑并非治理算法決策功能性問題的核心手段,其定位在于對個體主體性和人格尊嚴的尊重,為算法決策的合理使用提供正當性基礎。個體獲取算法決策相關信息與解釋的權利、要求人工干預決策權、發(fā)表觀點和質疑等一系列權利被稱為算法決策的“正當程序”(DueProcess)。See Danielle Keats Citron & Frank Pasquale,supra note④;Kate Crawford & Jason Schultz,Big Data and Due Process:Toward a Framework to Redress Predictive Privacy Harms,55 Boston College Review 93(2014).算法正當程序的概念并非新鮮事物。在傳統(tǒng)的行政決策方面,程序正當要求向被剝奪重大利益的個人提供獲取通知、相關信息和解釋,以及在中立裁決者前提出觀點和質疑的機會。算法正當程序將類似的要求移植到算法決策的場景中。我國《個保法》為個人規(guī)定了知情權、要求說明解釋權,以及自動化決策的拒絕權,這些應當被理解為算法的“正當程序”。如前文所言,算法黑箱制造的信息不對稱擴張了算法權力,個體如果無法知悉決策、獲得決策的解釋并提出自己的質疑,個體的主體性將在算法權力面前消失殆盡,從而徹底被物化。人的權利實際上代表了—種反對權力濫用和權力專橫的立場,是對個人尊嚴以及對人們自由、自決能力進行認同。[美]瑪麗·安·格倫頓:《權利話語:政治言辭的窮途末路》,周威譯,北京大學出版社2006年版,第14頁。此外,個體賦權在解決算法歧視與決策錯誤等算法決策功能性問題上也有一定的作用,它有助于數據主體發(fā)現和糾正系統(tǒng)錯誤、偏見和歧視。算法設計者集“運動員”與“裁判員”于一身,其既是使用算法決策的人,又是創(chuàng)設算法規(guī)則的人,這將導致沒有任何制衡制度來確保系統(tǒng)中不存在偏見。算法正當程序的一個核心功能是將編寫規(guī)則的人與使用該法律法規(guī)的裁決人員分開。個人對算法決策的挑戰(zhàn)與糾正使得算法規(guī)則接觸到符合法律原則和社會規(guī)范的外部評價,從而減少偏見和歧視。因此,為個體設定透明權利,要求數據控制者披露信息,并允許個人參與和糾正分析和決策,尊重了人的尊嚴與主體性。算法正當程序為算法決策提供了正當性的理由,有助于緩解社會對算法黑箱的擔憂。

在建構個體權利時應當認識到個體賦權的定位。如前文所述,透明權利的核心定位在于為數據主體質疑和發(fā)表意見提供有意義的解釋,自動化決策拒絕權的核心定位在于賦予個體積極的控制性權利,增強個體參與算法決策治理的能力。然而,在解決算法決策功能性問題上,個體賦權的效果不佳。因此,只要涉及通過個體解決算法決策功能性問題,無論是要求提高算法透明度以實現個體問責,如通過高度透明的算法解釋權實現算法問責,還是通過個體賦權直接對算法進行問責和控制,如通過自動化決策拒絕權來實現算法決策治理,都會受到治理效能不足的質疑與挑戰(zhàn)。但是,個體賦權有助于構建算法“正當程序”以解決人格尊嚴保護問題。適度使用透明度工具并提高個體的參與度,能夠緩解個體的不安,增強個體對算法決策的信任。因此,個體賦權的構建應當著眼于建立算法“正當程序”,而非個體對算法決策功能性問題的問責與控制。在構建算法正當程序上,個體賦權的內容應當體現為通過透明權利適度提高算法透明度,以便于個人在參與算法問責中了解自動化決策,并提出觀點和質疑。在解決算法決策功能性問題上,算法決策治理的重點應當從個體賦權轉移到對信息控制者施加義務。

(二)解決功能性問題的重心:“風險預防規(guī)則”與“協同治理”

從個人信息保護的制度起源——“公平信息實踐”的發(fā)展歷程來看,個人信息保護早期主要依賴個體賦權與個人信息的控制者責任,囿于個體賦權的局限性,后期版本的公平信息實踐對信息控制者施加了更多的風險防范與治理義務。例如,2004年的《APEC隱私框架》將風險預防原則作為公平信息實踐的首要原則。歐盟第29條工作組認為風險路徑值得提倡且已體現于GDPR的立法中,《個保法》第五十一條與GDPR第32條規(guī)定了與風險相稱的措施;《個保法》第五十六條與GDPR第35條規(guī)定了風險評估;《個保法》第六十四條與GDPR第36條規(guī)定了風險監(jiān)管責任。參見前引?,丁曉東書,第113-114頁。個體能力不足意味著算法決策治理需要從個體賦權轉向信息控制者的“風險預防規(guī)則”。此外,由于算法的深入發(fā)展帶來監(jiān)管和問責困難,算法決策治理已經不能局限于某一階段,需要建立事前、事中、事后的全過程監(jiān)管。在治理過程中,政府、市場、社會和個人等單一主體治理都存在較大的局限性,算法治理需要由單一主體監(jiān)管轉向協同治理路徑。風險評估既屬于“風險預防規(guī)則”,又體現了協同治理。

首先,風險評估類似軟性的市場準入機制。公共機構與私營部門協同控制算法風險的合理范圍體現了協同治理模式。風險評估的時機在進行自動化決策之前,體現了風險防范的原則。在使用算法系統(tǒng)之前,信息處理者必須針對風險評估履行一系列的合規(guī)義務,確保自動化決策的風險在可控范圍內。《個保法》第五十六條規(guī)定個人信息保護影響評估應當包括下列內容:個人信息的處理目的、處理方式等是否合法、正當、必要,對個人權益的影響及安全風險,所采取的保護措施是否合法、有效并與風險程度相適應。GDPR要求評估的內容包括: (1)系統(tǒng)描述處理的具體流程和處理目的,以及控制人所追求的合法利益;(2)處理過程的必要性和相稱性;(3)為數據主體的權利和自由帶來的風險;(4)為處理風險而設想的措施,并在考慮到數據主體和其他有關人員的權利和合法利益的情況下,證明遵守本條例;(5)行為準則。此舉有助于在事前控制算法風險,防止算法風險的擴散。歐盟《自動化決策指南》就曾建議企業(yè)經常對其處理的數據集進行評估,以檢查是否存在任何偏見,并開發(fā)解決任何偏見因素的方法以防止數據處理中的錯誤或歧視。事前數據影響評估的要求同樣體現了協同治理:在評估的過程中,監(jiān)管機構負責指引和監(jiān)管,而信息控制者可以根據評估結果部署與風險相適應的保障措施,并證明其履行了合規(guī)義務。我國《個保法》嚴格規(guī)定所有類型的自動化決策都需要進行個人信息安全評估。信息控制者根據《個保法》和工信部制定的《信息安全技術 個人信息安全影響評估指南》國家市場監(jiān)督管理總局、國家標準化管理委員會《信息安全技術 個人信息安全影響評估指南》,GB/T 39335-2020,2020年11月19日發(fā)布,2021年6月1日實施。(以下簡稱《評估指南》)落實風險評估?!对u估指南》規(guī)定,組織需要根據評估結果部署相應的保障措施并持續(xù)跟蹤風險處置的落實情況。在組織自行進行算法影響評估時,主管的監(jiān)管部門可以要求獨立審計來核證評估報告的合理性與完備性。通過對信息控制主體施加事前進行風險評估的義務,并由個人信息保護機構進行監(jiān)管和指引,解決了個體賦權路徑中個體風險感知和風險控制能力不足的問題。GDPR僅要求對具有高風險的自動化決策進行事前評估。在進行數據評估時,控制者必須咨詢相關的數據保護機構,數據保護機構必須向控制者提供書面建議,并可以行使其權力暫時或永久禁止使用該系統(tǒng)??刂普呷绻麩o法合規(guī)而投入使用該系統(tǒng),其將面臨相應的懲罰(罰款最高可達全球營業(yè)額的4%)。

其次,風險評估是提高透明度和增強問責制的重要工具,既有助于個人信息保護機構對算法進行事后問責,也能激勵信息控制者參與算法的事中治理與監(jiān)督。風險評估中的透明度與問責制不同于個體賦權,參與協同治理的主體比個人更具有理解和監(jiān)管算法決策以及進行事后問責的能力。在提高透明度方面,算法影響評估允許公共機構和第三方的介入,有助于相關主體了解并監(jiān)管算法的運作過程,提高相關主體的問責能力。此外,風險評估還是集存檔、監(jiān)測和審查于一體的問責工具。《個保法》第五十六條與歐盟《數據影響評估指南》Article 29 Data Protection Working Party,Guidelines on Data Protection Impact Assessment(DPIA)and determining whether processing is“l(fā)ikely to result in a high risk“for the purposes of Regulation 2016/679,WP 248.均規(guī)定了評估報告和處理情況記錄需要存檔的要求,以便于相關機構進行監(jiān)測、審查和問責。公共機構無法在事前提供精確的法律規(guī)范,需要私營機構發(fā)揮其專業(yè)能力參與到算法的協同治理中。為了保證私營主體的治理不偏離公共治理目標,公共機構需要進行事后問責與監(jiān)督,要求算法設計者或使用者設置可溯源的措施有助于保證事后的追責。參見[美]約叔華·A.克魯爾、喬安娜·休伊、索倫·巴洛卡斯、愛德華·W.菲爾頓、喬爾·R.瑞登伯格、大衛(wèi)·G.羅賓遜、哈蘭·余:《可問責的算法》,沈偉偉、薛迪譯,載《地方立法研究》2019年第4期。這實際上建立起了風險評估的“雙重問責制”,即基于信息控制者合規(guī)義務的問責,如要求控制者設置與風險相對應的措施和可溯源的措施,以及基于算法決策不利后果的問責,有助于激勵控制者在算法運行過程中持續(xù)監(jiān)測和控制算法的風險,形成算法治理的事中規(guī)制。

最后,風險評估有助于促進規(guī)則的形成。雖然風險評估目前并沒有形成統(tǒng)一的行業(yè)標準。然而,隨著時間的推移,公共機構反復評估將形成一定的經驗而影響一般的合規(guī)標準。例如,形成需要進行風險評估的負面清單、相應風險所需的保障措施等。這正是協同治理路徑的核心,在公私合作規(guī)制的過程中形成動態(tài)、有效、與風險相匹配的自動化決策規(guī)制。

結語

個體賦權在算法決策治理中的定位是實現算法正當程序,相當于個體權利建構的最低閾值,但是由于個體賦權在解決功能性問題上的效能不足,治理效能限制了個體權利在算法決策治理中的最高閾值。因此,未來在算法決策治理中的權利建構與適用應當著眼于如何構建算法正當程序,不應苛求通過構建過于寬泛的個體權利來解決算法決策功能性問題。在解決算法決策功能性問題上,以風險評估為核心的協同治理路徑為實現有效的算法治理提供了可能性。

猜你喜歡
賦權權利個體
行為免疫系統(tǒng)對個體就醫(yī)行為傾向的影響*
賦權增能與邊界拓展:博士生培養(yǎng)模式變革的邏輯建構與路徑選擇
基于賦權增能的德育評價生態(tài)系統(tǒng)的構建
期刊評價中小同客觀賦權法權重比較及其思考
在社會工作實務過程中的賦權理論
股東權利知多少(二)
股東權利知多少(一)
明確“因材施教” 促進個體發(fā)展
權利套裝
How Cats See the World