李志穎

在信息時代混沌初開之際,“算法歧視”作為一個算法領(lǐng)域的主要問題被提出,為國際組織和各國學者所承認和關(guān)注,并被討論至今。算法歧視系指在大數(shù)據(jù)、人工智能和自動化決策等技術(shù)語境下,機器所做出的決策對個體或群體產(chǎn)生不合理的區(qū)別對待。算法歧視現(xiàn)象廣泛存在且各式各樣,既有在雇傭、教育、醫(yī)療健康、量刑和警力分配等場景對弱勢群體的人格歧視,也有遍布日常生活的信用評分、個性化定價和推薦等經(jīng)濟型區(qū)別對待。法律如何規(guī)制算法歧視順勢成為研究熱點。法律規(guī)制的目的除了填補實際損害外,還在于削弱潛在風險,為此規(guī)制覆蓋算法決策的設(shè)計、應用等全過程。

然而,我國既有的對算法歧視的法律研究或是忽略算法歧視現(xiàn)象的多樣性,或是忽略不同算法歧視現(xiàn)象的內(nèi)在關(guān)聯(lián),使得算法歧視的法律規(guī)制存在弊端。既有研究的規(guī)制策略主要分為兩類: 一是“一把抓”式地規(guī)制算法歧視。(1)參見崔靖梓: 《算法歧視挑戰(zhàn)下平等權(quán)保護的危機與應對》,載《法律科學》2019年第3期;張莉莉、朱子升: 《算法歧視的法律規(guī)制: 動因、路徑和制度完善》,載《科技與法律》2021年第2期。這類研究即便對算法歧視的分類有所涉及,也仍是籠統(tǒng)地提出算法影響評估、算法透明、算法解釋、算法正當程序等規(guī)制方案,不加區(qū)分地適用于所有算法歧視現(xiàn)象。這類成果往往屬于早期研究,為算法歧視的法律研究開疆拓土。二是淪為“具體情況具體分析”的對策性規(guī)制。(2)譬如,專門研究傳統(tǒng)人格權(quán)意義的算法歧視,參見李成: 《人工智能歧視的法律治理》,載《中國法學》2021年第2期;專門研究女性就業(yè)的算法歧視,參見閻天: 《女性就業(yè)中的算法歧視: 緣起、挑戰(zhàn)與應對》,載《婦女研究論叢》2021年第5期;專門研究大數(shù)據(jù)殺熟的,參見王潺: 《“大數(shù)據(jù)殺熟”該如何規(guī)制?——以新制度經(jīng)濟學和博弈論為視角的分析》,載《暨南學報(哲學社會科學版)》2021年第6期。隨著數(shù)字法學的精細化研究,許多學者轉(zhuǎn)向特定現(xiàn)象的算法歧視,雖然一定程度上擺脫了早期研究的泛化和籠統(tǒng),但卻使得算法歧視的法律規(guī)制成為對策性的而非規(guī)范性的,漠視了不同算法歧視之間的內(nèi)在關(guān)聯(lián)。

這將導致現(xiàn)行算法歧視法律治理存在兩個弊端,即算法歧視規(guī)制范圍過寬和算法歧視規(guī)制工具的凌亂。該問題的解答應當追溯至歧視概念本身,在此基礎(chǔ)上本文區(qū)分了算法歧視的兩副面孔,分別是“算法偏見”和“算法不平等”。根據(jù)對應不同的規(guī)制原理,具體回答規(guī)制的方案、時機和規(guī)制程度,有助于整體性地處理算法歧視問題。

一、 現(xiàn)行算法歧視法律治理的兩個弊端

對于算法歧視,現(xiàn)行法律治理存在兩個弊端: 一是治理對象的泛化,即算法歧視規(guī)制范圍過寬;二是治理手段的碎片化,即算法歧視規(guī)制工具的凌亂。

(一) 治理對象的泛化: 算法歧視規(guī)制范圍過寬

由于概念的模糊,歧視往往與平等、公平和正義相關(guān)聯(lián),導致規(guī)制者對算法歧視作泛化對待。(3)參見寧園: 《算法歧視的認定標準》,載《武漢大學學報(哲學社會科學版)》2022年第6期,第154—155頁。具體表現(xiàn)如下: 一是算法決策只要存在區(qū)別對待就被視作算法歧視。這種做法無異于以正義之名實施過度干預,比方說,“大數(shù)據(jù)殺熟”不論合理與否一律被貼上算法歧視的標簽;二是把一切的數(shù)字不公視作算法歧視,此時算法歧視已不局限于算法決策所產(chǎn)生的不合理區(qū)別對待,還包括基于算法權(quán)力產(chǎn)生的數(shù)字鴻溝、數(shù)據(jù)壟斷、平臺異化、數(shù)據(jù)繭房等數(shù)字不平等。(4)參見張吉豫: 《數(shù)字法理的基礎(chǔ)概念與命題》,載《法制與社會發(fā)展》2022年第5期,第52頁。規(guī)制者應當根據(jù)算法性質(zhì)、處理對象、場景的不同適用相對應的規(guī)制原理和工具,不合理地擴大規(guī)制范圍將會導致規(guī)制原理和工具的錯亂。以算法風控系統(tǒng)名譽侵權(quán)案為例,原告通過涉案軟件與他人聊天時因頻繁出現(xiàn)“私募”“基金”等內(nèi)容,致使其賬號被判定為高風險并封禁。(5)參見《2022年度中國十大傳媒法事例簡介及入選理由》,載中國法院網(wǎng)2023年1月7日,https://www.chinacourt.org/article/detail/2023/01/id/7091844.shtml。有學者將其置于算法歧視的討論當中,(6)參見袁文全: 《算法歧視的侵權(quán)責任治理》,載《蘭州大學學報(社會科學版)》2023年第2期,第95—96頁。本文認為這種處理方法泛化了算法歧視的規(guī)制范圍,導致不合適的規(guī)制工具被納入算法歧視的法律規(guī)制之中。

算法歧視是一項具體的風險,治理算法歧視只是實現(xiàn)算法公平的其中一環(huán)。為此,應當圍繞算法歧視建立具體制度,明確其規(guī)制范圍而非作泛化處理。美國白宮科技政策辦公室發(fā)布的《人工智能權(quán)利法案》所主張的“算法歧視保護”原則(Algorithmic Discrimination Protections)便拋棄了泛化處理,只保護基于種族、膚色、民族、性別、宗教等法定特征的不合理區(qū)別對待和影響。(7)See Blueprint for an AI Bill of Rights: Making Automated Systems Work for the American People, the White House, October, 2022, p.10.我國也應當結(jié)合本土實際情況,明確算法歧視的規(guī)制范圍。

(二) 治理手段的碎片化: 算法歧視規(guī)制工具的凌亂

為了治理算法歧視,除了司法救濟作為兜底工具之外,還有算法影響評估、算法解釋、算法正當程序、反對自動化決策等規(guī)制工具被提出。現(xiàn)行算法治理規(guī)范幾乎沒有專門針對算法歧視的法律條款,在《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》草案的用戶標簽條款和《個人信息保護法》二審稿的敏感個人信息條款中一度存有針對“歧視”的規(guī)定,但最終在現(xiàn)行法中被剔除。為此,算法歧視的治理只能依附于相關(guān)算法治理法律規(guī)范的既有制度,典型如算法解釋、算法影響評估和主張各類信息權(quán)利等。同樣地,部分學者提出的治理方案,不論是治理何種類型的算法歧視,仍然是對這些規(guī)制工具的反復重申。(8)參見石穎: 《算法歧視的緣起、挑戰(zhàn)與法律應對》,載《甘肅政法大學學報》2022年第3期,第64—68頁。這些規(guī)制工具儼然已成為信息時代的“大道理”和“萬靈藥”。即便如此,我們也不禁要問,面對廣泛存在且各式各樣的算法歧視,這些規(guī)制工具是否每一項都卓有成效,以及是否每一項都要適用,還是有針對性地適用?適用的程度是否一致?如果根據(jù)算法歧視的不同類型適用不同方案的規(guī)制,那么規(guī)制的背后是否存在體系性的思考?現(xiàn)有規(guī)制往往是籠統(tǒng)地討論算法歧視或以具體問題具體分析的方式為特定算法歧視給出對策,難以有效回答上述問題,致使算法歧視治理手段碎片化。

治理手段的碎片化將導致算法歧視風險分配的不合理,并給算法設(shè)計者和算法應用者帶來沉重的負擔。一是徒勞浪費算法設(shè)計者和算法應用者的規(guī)制精力。上述“大道理”規(guī)制工具并非放之四海而皆準,有的規(guī)制工具在特定領(lǐng)域收效甚微。算法解釋便是如此,只適合治理特定領(lǐng)域的算法歧視,下文將詳細說明。二是付出高昂的合規(guī)成本。不同的規(guī)制工具不僅在削減算法歧視的能力上不同,在規(guī)制成本上亦有所差異。以算法影響評估為例,該方案往往被視作有力的規(guī)制工具,并以《個人信息保護法》第56條為其背書。然而,該方案的成本相當高昂,根據(jù)調(diào)查研究,每一個算法應用的年度評估費用可高達29277歐元。(9)See Study to Support an Impact Assessment of Regulatory Requirements for Artificial Intelligence in Europe, European Commission, 2021, p.134.這些合規(guī)成本必然會使中小型企業(yè)承擔不可承受之重。為此,算法影響評估應當置于恰當?shù)念I(lǐng)域,如歐盟《一般數(shù)據(jù)保護條例》、美國《算法問責法案》的算法影響評估主要聚焦于公共決策和高風險領(lǐng)域。三是犧牲算法的應有價值。算法歧視的規(guī)制成本必然轉(zhuǎn)移至算法設(shè)計者和算法應用者,過重的規(guī)制成本將嚴重降低算法的效率。除此之外,削減算法歧視與實現(xiàn)算法精準性往往處于此消彼長的平衡關(guān)系。(10)See Pak-Hang Wong, Democratizing Algorithmic Fairness, 33 Philosophy &Technology 225, 229 (2020).為此,不恰當?shù)闹卫硎侄瓮孕?、計算精準性為代價,不但可能使得算法失去其應有價值,同時可能大大抑制科技創(chuàng)新。

二、 弊端的消除: 厘清算法歧視的兩副面孔

導致上述治理弊端的主要原因在于規(guī)制者沒有清晰認知歧視,不知何為歧視,何以討論算法歧視及其法律規(guī)制。在治理對象上,歧視概念本身模糊不清,致使算法歧視規(guī)制范圍泛化;在治理手段上,上述規(guī)制工具與歧視概念本身是脫節(jié)的,僅僅是把“算法的法律規(guī)制”議題中老生常談的方案挪至算法歧視法律規(guī)制之中。同時,不加區(qū)分地規(guī)制算法歧視也反映了不同類型的歧視被混為一談。為此,算法歧視的探討應當首先追溯至歧視概念本身,通過區(qū)分歧視的法律維度和道德維度,以厘清算法歧視的兩副面孔,本文將這兩副面孔稱為“算法偏見”和“算法不平等”。只有在明確治理對象之后,才能根據(jù)相應的規(guī)制原理采取恰當?shù)闹卫硎侄巍?/p>

(一) 辨析與區(qū)分: 法律維度的歧視與道德維度的歧視

“歧視”是一個容易被誤用的語義詞匯,在語義表達上存在道德維度與法律維度的區(qū)分。(11)參見李志穎: 《論歧視的法律定義——基于社會行為視角的分析》,載《法制與社會發(fā)展》2023年第1期,第129—130頁。另外,還存在類似的觀點,即通過是否以法律專業(yè)人的視角來審視歧視,區(qū)分了法律層面的歧視(discrimination in law)和樸素層面的歧視(discrimination in lay)。See Tarunabh Khaitan, A Theory of Discrimination Law, Oxford University Press, 2015, p.1-4.道德哲學家往往把“歧視”定義為“不合理區(qū)別對待”,基于任何特征的不合理區(qū)別對待都會被視作歧視。(12)See Kasper Lippert-Rasmussen, Born Free and Equal? A Philosophical Inquiry into the Nature of Discrimination, Oxford University Press, 2014, p.15; Benjamin Eidelson, Discrimination and Disrespect, Oxford University Press, 2015, p.17.道德維度的歧視在理解上趨近于不平等,該理解也常為日常生活所用,這也是為什么歧視與不平等往往并列使用。但是,在法律維度里,歧視是一個具體的法律概念,只是法律不平等的子集之一?！捌缫暋钡姆赏ㄐ卸x為基于種族、性別、年齡、信仰、殘疾等特征做出的區(qū)別、排斥、優(yōu)惠或限制。通過上述兩個定義的比較可以發(fā)現(xiàn),道德維度的歧視與法律維度的歧視是不盡相同的。然而,我們?nèi)匀浑y以區(qū)分這兩個維度,主要原因在于“歧視”的語義表達往往在不同法律場景中被混淆使用,造就關(guān)于歧視的“語義學之刺”。

圖1 “歧視”的語義表達及其法律調(diào)整

“歧視”的語義表達及其法律調(diào)整具體如圖1所示。在日常生活中,我們所談的“歧視”在語義表達上屬于道德維度的歧視,僅僅強調(diào)不合理的區(qū)別對待。不合理的區(qū)別對待理所當然為道德所唾棄,但并非必然受到法律約束,只有部分不合理的區(qū)別對待由法律調(diào)整。當法律要調(diào)整不合理區(qū)別對待的時候,往往是通過領(lǐng)域法的方式展開,以“特殊—一般”的關(guān)系列舉如下: 通過反歧視法來調(diào)整,對應法律詞典和國際條約關(guān)于歧視的理解,在語義上對應的是法律維度的歧視。反歧視法是為了確保個體擺脫歷史偏見的約束而順利融入社會,使得個體能夠“正?！钡厣钤谏鐣斨?。(13)見前注〔11〕,李志穎文,第129—130頁。基于其重要性,反歧視法作為歧視現(xiàn)象的特別領(lǐng)域法而被單獨列出。除此之外,還有各式各樣的不合理區(qū)別對待通過其他領(lǐng)域法來調(diào)整,如競爭法上的歧視、價格法上的歧視等等。但對于這些歧視,人們在語義表達上仍是采取道德維度的歧視,籠統(tǒng)地套上不平等的高帽。綜上,人們?nèi)粘T用的“歧視”語義表達存在不理性的情況,或把所有歧視問題置于法律范疇來談,或把不同領(lǐng)域的歧視問題混為一談,或“歧視”語義表達與落腳領(lǐng)域不一致。本文的首要工作是揭示被不理性表達所掩蓋的應然秩序。

對于算法歧視,“歧視”一詞正是在“作為特定的法律不平等之一”(在語義上采用法律維度的歧視)和“寬泛意義的不平等”(在語義上采用道德維度的歧視)之中被混淆使用。區(qū)分法律維度與道德維度的歧視,“算法歧視”一詞呈現(xiàn)兩副面孔,即“算法偏見”和“算法不平等”。

(二) 對應法律維度歧視的“算法偏見”

算法歧視的第一副面孔為“算法偏見”,在語義表達上對應法律維度的歧視,在關(guān)系圖上落腳在c1,它所討論的是歷史偏見在算法場景的運用。正如《中國關(guān)于加強人工智能倫理治理的立場文件》指出,人工智能技術(shù)的誤用濫用將會加劇“歧視和偏見”?！八惴ㄆ姟钡牡湫蛨鼍叭? 在盧米斯案(Statev.Loomis),法官運用COMPAS算法軟件進行刑事量刑,COMPAS以性別和種族作為評價指標的量刑預測引發(fā)了算法歧視的法律熱議;亞馬遜公司所使用的HireVue招聘算法存在性別歧視,如果求職者畢業(yè)于女?；蚝啔v帶有女性字樣,將會受到算法的負面評價。仔細品讀這些典型場景,算法歧視可能潛藏于數(shù)據(jù)的收集、篩選和訓練當中,也可能出現(xiàn)在算法的設(shè)計和運行過程當中,但深層原因在于歷史偏見在民生與公共服務等重要領(lǐng)域作祟。歷史偏見有兩個特征: 一是從個體角度而言,歷史偏見是個人無意識的社會認知。內(nèi)群起初對外群的惡意揣度和偏見將隨著歷史的潛移默化成為社會認知的前理解。二是從社會角度而言,歷史偏見演化為社會結(jié)構(gòu)性不平等。歷史偏見影響不同人群間的分配格局,調(diào)整資源配置以及重塑社會權(quán)力結(jié)構(gòu),以獨立的運作方式成為社會結(jié)構(gòu)的一部分。(14)見前注〔2〕,李成文,第130頁。正是歷史偏見的顯著與根深蒂固,個體或群體受制于性別、年齡、種族等“第一印象”而無法融入與民生事項和公共服務等相關(guān)的重要社會交往,如教育選擇、工作就業(yè)、社會福利、政治參與等。歷史偏見作為本源,借由大數(shù)據(jù)和人工智能等科技載體的粉飾而搖身一變,形成“算法偏見”。即便如此,“算法偏見”看似新穎,其討論邏輯仍置于法律維度的歧視,即反歧視法框架之內(nèi)。

(三) 對應道德維度歧視的“算法不平等”

算法歧視的第二副面孔為“算法不平等”,在語義表達上對應道德維度的歧視,但這一日常語義表達往往是不嚴謹?shù)?在關(guān)系圖上實際落腳在c2,它所討論的是算法場景中的資源分配。“算法歧視”與“算法不平等”兩個概念經(jīng)常被并列使用: 2018年5月多個國際組織聯(lián)合發(fā)表關(guān)于智能算法規(guī)制的《多倫多宣言: 機器學習系統(tǒng)中平等和非歧視權(quán)利的保護》,該宣言標題的用詞為“平等和非歧視”;2019年4月歐盟發(fā)表《可信賴人工智能的道德準則》明確了七個核心要素,其中之一為“多元化,非歧視和公平”(15)High-level Expert Group on Artificial Intelligence, Ethics Guidelines for Trustworthy AI, European Commission, 8 April, 2019, p.18-19.。這時候,算法歧視在語義上采用的是道德維度而非法律維度的歧視,展現(xiàn)為“算法不平等”,其所討論的內(nèi)容不局限于歷史偏見,而是結(jié)合資源分配來討論更為宏大的公平議題。下述這些議題與“算法不平等”現(xiàn)象緊密結(jié)合: 數(shù)據(jù)能力的不平等議題,或稱作“數(shù)字鴻溝”。(16)參見陳林林、嚴書元: 《論個人信息保護立法中的平等原則》,載《華東政法大學學報》2021年第5期,第10—11頁。除此之外,還有分配正義的議題,(17)參見高富平: 《個人信息使用的合法性基礎(chǔ)——數(shù)據(jù)上利益分析視角》,載《比較法研究》2019年第2期;程金華: 《利益平衡:“三位一體”的個人信息保護法律治理架構(gòu)》,載《探索與爭鳴》2020年第11期。充當“立法者”的算法能否做到同等情況同等對待、不同情況差別對待,背后所涉及的則是“機會平等”“利益平衡”,這些詞匯在算法歧視的討論中頻頻出現(xiàn)。現(xiàn)階段,“算法不平等”現(xiàn)象主要集中在商業(yè)領(lǐng)域的自動化決策,如“大數(shù)據(jù)殺熟”下用戶黏度更高的人群需要支付更貴的價格,以及“數(shù)字信貸歧視”下信貸機構(gòu)通過設(shè)置不合理的特征輸入使得個別群體被畫像為不適格者而無法借貸。這些基于特征的篩選結(jié)果和資源分配雖然都被視作不合理區(qū)別對待,但與“算法偏見”大不相同的是,這里的特征與歷史偏見無關(guān),而運用的場景私法色彩更為濃厚。

(四) 小結(jié):“算法偏見”與“算法不平等”的區(qū)別

算法歧視的觸發(fā)機制遍布算法全過程: 在輸入環(huán)節(jié)中,收集的數(shù)據(jù)存在偏見以及代表性不足,算法設(shè)計者無意識嵌入歧視目的使得算法變成歧視性產(chǎn)品,更為致命的是代理特征(proxy)悄無聲息攜帶歧視信息;在學習環(huán)節(jié),機器挖掘和深度學習不可避免復制上述環(huán)節(jié)的錯誤信息,而算法設(shè)計者也無法清晰了解算法每一步是如何運作的,使得在輸出環(huán)節(jié)“偏見進、偏見出”。(18)參見岳平、苗越: 《社會治理: 人工智能時代算法偏見的問題與規(guī)制》,載《上海大學學報(社會科學版)》,2021年第6期,第2—3頁;Solon Barocas &Andrew D. Selbst, Big Data’s Disparate Impact, 104 California Law Review 671, 677-693 (2016).但是,這么一套機制既可以產(chǎn)生“算法偏見”,也可以產(chǎn)生“算法不平等”。唯有厘清兩者之間的區(qū)別,才能對癥下藥。

相較于傳統(tǒng)的算法場景劃分,基于“法律維度的歧視”與“道德維度的歧視”兩類語義表達的場景劃分之最大優(yōu)勢在于符合理論的周延性和實踐的多樣性。對于場景劃分,主流基調(diào)是劃分為公法和私法,(19)參見林洹民: 《〈個人信息保護法〉中的算法解釋權(quán): 兼顧公私場景的區(qū)分規(guī)范策略》,載《法治研究》2022年第5期。除此還有實用主義的劃分,(20)參見張凌寒: 《商業(yè)自動化決策的算法解釋權(quán)研究》,載《法律科學》2018年第3期,第66頁;張欣: 《算法解釋權(quán)與算法治理路徑研究》,載《中外法學》2019年第6期,第1441頁。即“算法進入公權(quán)力”與“算法進入商業(yè)領(lǐng)域”。無論是主流基調(diào)還是實用主義的劃分仍然堅持公私劃分的絕對壁壘,然而算法歧視的現(xiàn)象列舉早已對其提出挑戰(zhàn),譬如自動化雇傭雖屬于私領(lǐng)域,但應當劃入類公法范疇。為此,區(qū)分歧視的法律維度和道德維度,算法歧視的場景劃分既能符合理論的周延性,又能融貫實踐的多樣性。如果要用公私法標準來描述的話,“算法偏見”的運用場景主要是公法領(lǐng)域,也包括部分關(guān)切民生與個人福利的私法領(lǐng)域;“算法不平等”的運用場景則是其余私法領(lǐng)域。

綜上,“算法偏見”與“算法不平等”作為算法歧視的兩大類型,具有以下區(qū)別: (1) 解決對象和適用范圍不同: 前者的解決對象是歷史偏見,僅作用在有限特征及與民生和自我實現(xiàn)息息相關(guān)的重要社會交往領(lǐng)域;后者的解決對象是資源分配,不局限于任何特征,主要適用于部分私領(lǐng)域。(2) 性質(zhì)不同: 前者定性為“社會法”范疇,秉持特定的實質(zhì)平等;后者在性質(zhì)上關(guān)涉的是“反歧視原則進入私法領(lǐng)域”。例如,“大數(shù)據(jù)殺熟”僅是普通的私法定價問題,由于它違反反歧視原則而引起爭議,但放入“算法偏見”來討論則格格不入。(3) 對應的規(guī)制原理及法律制度不同: 前者既然對應作為法律維度的歧視,理所應當運用反歧視法來規(guī)制;后者的討論需要細化到具體場景并由與之相關(guān)的領(lǐng)域法來填充價值維度,譬如“大數(shù)據(jù)殺熟”由反壟斷法來規(guī)制。

三、 “算法偏見”的法律規(guī)制

“算法偏見”在語義上對應法律維度的歧視,其法律規(guī)制理所應當采取反歧視法,以解決歷史偏見事宜?？v觀各國反歧視立法與司法實踐,反歧視法的基礎(chǔ)理論區(qū)分強調(diào)意圖的直接歧視和強調(diào)效果(亦稱為結(jié)果)的間接歧視。對于傳統(tǒng)歧視行為而言,法律主要采用直接歧視理論,對少部分歧視行為采用強保護的間接歧視理論。在信息時代,新的外部環(huán)境促使反歧視法做出理論革新,算法歧視的規(guī)制原理應當采用間接歧視理論,而非直接歧視理論。不少算法歧視的研究就是在這個邏輯下展開的。(21)參見鄭智航、徐昭曦: 《大數(shù)據(jù)時代算法歧視的法律規(guī)制與司法審查——以美國法律實踐為例》,載《比較法研究》2019年第4期;張恩典: 《反算法歧視: 理論反思與制度建構(gòu)》,載《華中科技大學學報(社會科學版)》2020年第5期;Solon Barocas &Andrew D. Selbst, supra note〔18〕, at 671-732; Stephanie Bornstein, Antidiscriminatory Algorithms, 70 Alabama Law Review 519, 519-572(2018).

(一) 直接歧視的失敗: 無法識別“算法偏見”的歧視意圖

直接歧視的核心在于歧視意圖,即通過發(fā)現(xiàn)存在歧視意圖來證明發(fā)生了歧視行為。以盧米斯案為標志,該案印證了“算法偏見”中的歧視意圖是難以被發(fā)現(xiàn)的,直接歧視的規(guī)制路徑面臨挑戰(zhàn)。(22)See Beyond Intent: Establishing Discriminatory Purpose in Algorithmic Risk Assessment, 134 Harvard Law Review 1760, 1768 (2021).下文結(jié)合盧米斯案,來說明在“算法偏見”之中為什么難以發(fā)現(xiàn)歧視意圖。

首先,歧視意圖藏匿于算法黑箱之中。算法本身是沒有意志的,只是根據(jù)既定的編程來演算和輸出結(jié)果。算法雖然作為中立工具卻承載著意識,意識或來自算法設(shè)計者,或來自數(shù)據(jù)。(23)參見伊衛(wèi)風: 《算法自動決策中的人為歧視及規(guī)制》,載《南大法學》2021年第3期,第81—88頁。但是,算法黑箱遮蔽了算法所承載的意識,使得人們難以辨識這些意識的具體內(nèi)容及其出處。對于算法決策來說,算法黑箱是必然存在的。根據(jù)透明性和可解釋性的程度,算法黑箱可區(qū)別為強版本和弱版本。(24)See Yavar Bathaee, The Artificial Intelligence Black Box and the Failure of Intent and Causation, 31 Harvard Journal of Law &Technology 889, 905-906 (2018).對于強版本的算法黑箱來說,人們只知道輸入端和輸出端,對于如何計算一無所知,自然而然也不可能識別歧視意圖。弱版本的算法黑箱是對算法可解釋性和透明性的讓步,一定程度揭露了算法的考量指標及其權(quán)衡比重序列,但考慮到商業(yè)秘密保護不可能完全披露計算公式。即便如此,弱版本的理解所提供的計算信息也只是模糊的,難以準確判斷輸出結(jié)果和計算指標的因果關(guān)系,難以識別是否存在歧視意圖。在盧米斯案中,盧米斯意識到性別是計算指標,故主張COMPAS是性別歧視的。但是,法院認為,性別的使用只是為了增加計算的精準性,僅僅依據(jù)“性別作為計算指標”不足以認定COMPAS具有性別歧視意圖。(25)See State v. Loomis, 881 N. W. 2d 749 (Wis. 2016), at 766-767.

其次,代理特征隱藏歧視意圖。在盧米斯案中,法官為了討論COMPAS是否產(chǎn)生性別歧視,引用了科研機構(gòu)對COMPAS種族歧視的實驗研究,承認該算法產(chǎn)生了種族方面的不利歧視影響,使得黑人群體被認定為具有更高的犯罪風險。(26)Ibid., at 764.即便COMPAS在結(jié)果上是種族歧視,我們回過頭審視COMPAS的算法指標,仍然無法判斷其存在歧視意圖。COMPAS算法雖然沒有直接使用“種族”作為計算參數(shù),但使用了“教育”“職業(yè)”“犯罪記錄”等代理特征,間接反映了個體的種族信息。換句話說,即便在輸入端完全剔除種族、性別、膚色等受保護特征,大數(shù)據(jù)仍然能夠借助其他替代性數(shù)據(jù),隱藏歧視意圖,實現(xiàn)歧視結(jié)果。

最后,歧視意圖被其他目的或價值所掩蓋。在科學世界里,算法的計算精準性可謂在至高位階,致力于如實地孿生和預測現(xiàn)實。正如上文所述,性別作為COMPAS計算參數(shù),是服務于算法的精準而非歧視目的。另外,切入具體的人文運用場景,歧視意圖或許會被算法所追求的實用目的所掩蓋,如為了國家利益和社會秩序,大部分國際機場通過算法篩選并對特定人群進行更嚴格煩瑣的檢查;(27)參見沈偉偉: 《算法透明原則的迷思——算法規(guī)制理論的批判》,載《環(huán)球法律評論》2019年第6期,第25—26頁。或被其他價值所掩蓋,譬如算法商業(yè)必要性,算法本身容易成為借口來合理化雇主的歧視行為,把歧視行為高度偽裝成與工作所需密切關(guān)聯(lián),以成立商業(yè)必要性來規(guī)避歧視責任。(28)See Solon Barocas &Andrew D. Selbst, supra note 〔18〕, at 709.當然,歧視意圖還會被商業(yè)秘密所掩蓋。

(二) 通過間接歧視規(guī)制“算法偏見”: 施加結(jié)果義務

既然難以識別“算法偏見”其中的歧視意識,只能另尋出路。以在結(jié)果上產(chǎn)生客觀歧視效果并達到差別性影響作為歧視認定標準的間接歧視則大有用武之地,間接歧視可謂解決產(chǎn)生歧視效果但“表面中立”的同一對待行為的靈丹妙藥。即便如此,也不乏反對的聲音認為間接歧視對“算法偏見”的規(guī)制存在缺陷。其中一個看似致命的反對觀點為: 間接歧視只關(guān)注群體公正而不利于調(diào)整個性化的算法決策。(29)見前注〔21〕,張恩典文,第65頁。但是,如果明晰法律維度的歧視與道德維度的歧視之區(qū)分,承認“算法偏見”的解決對象主要是歷史偏見,那么這種反對觀點便不成立,相反個性化算法決策的公平問題應當放到“算法不平等”里頭。除此之外,間接歧視還可能存在使用泛濫等問題,但這些缺陷都不致命,只需理論修正即可,學界普遍認為間接歧視是更適合解決“算法偏見”的理論框架。(30)See Stephanie Bornstein, supra note 〔21〕, at 542-543.為此,當我們認同結(jié)果論的間接歧視作為解決之道,沿著間接歧視的邏輯要求,算法設(shè)計者和算法應用者應當承擔某種結(jié)果論的義務,保證在結(jié)果上不會產(chǎn)生歧視影響。這也是對“算法偏見”施以事前規(guī)制的合法性依據(jù)。當算法設(shè)計者和算法應用者履行結(jié)果義務后仍然產(chǎn)生歧視問題,則訴諸司法救濟。其司法救濟仍然以間接歧視為主要框架,主要討論損害的認定、過錯的認定和舉證責任分配等如何向被歧視者傾斜。不少成果已對“算法偏見”的司法救濟展開了深入研究,(31)See Solon Barocas &Andrew D. Selbst, supra note 〔18〕, at 671-732; Stephanie Bornstein, supra note 〔21〕, at 519-572.下文遂主要探討為了削弱歧視風險,可以施以何種以及多大的結(jié)果義務,以及為什么應當施以結(jié)果義務。

算法設(shè)計者和算法應用者的結(jié)果義務往往著手于算法設(shè)計階段或運用之前的評估階段,屬于事前規(guī)制,主要可歸為兩類。一類是算法影響評估,即評估算法決策產(chǎn)生的社會效果。正如上文所言,算法影響評估是高成本的規(guī)制手段并主要適用在公共決策領(lǐng)域?；诔杀究剂?部分“算法偏見”如企業(yè)的自動化雇傭并不適用算法影響評估,需要另尋方案。另一類方案本文稱之為“數(shù)據(jù)控制”,即對受保護特征及其代理變量進行特殊處理,通過參數(shù)的控制達成結(jié)果的控制。在法律世界里,這種數(shù)據(jù)控制是對輸入端的數(shù)據(jù)控制,而不應該是輸出端。科學家往往在輸出端下功夫,把結(jié)果義務轉(zhuǎn)化為通過設(shè)計關(guān)于“非歧視”“公平”的數(shù)理公式,以確保輸出端上的結(jié)果平等。舉例說明,科學家如果根據(jù)“人口統(tǒng)計平等”(demographic parity)來設(shè)計數(shù)字貸款算法,那么算法在輸出結(jié)果上應當保證男性與女性獲得貸款的概率相等;如果根據(jù)“機會平等”(equality of opportunity)來設(shè)計數(shù)字貸款算法,那么算法在輸出結(jié)果上應當保證男性獲得貸款的預測準確率與女性的預測準確率相等。這里的問題在于,何種結(jié)果才是平等以及結(jié)果平等是否真的平等?法律人思維與科學家思維是有所差異的。反歧視法從不要求輸出端的結(jié)果平等,而是關(guān)切輸入端涉嫌歧視的爭議信息。(32)See Robert Bartlett, Adair Morse, Nancy Wallace &Richard Stanton, Algorithmic Discrimination and Input Accountability under the Civil Rights Acts, 36 Berkeley Technology Law Journal 675, 685 (2021).無論何種歧視案件,對于爭議信息只要可以論證其充分性和合理性,即可不被視作歧視。輸出端的歧視結(jié)果只會在程序上影響被告承擔更重的論證責任,而不會直接以結(jié)果成立歧視。為此,法律人往往會關(guān)注輸入端的數(shù)據(jù)控制。算法歧視法律研究的初期,最為常見的輸入端控制方案為對受保護特征的去盲或完全剔除,但這種方案嚴重影響算法計算的準確性。從科學的角度而言,我們不應當排除而是積極使用敏感信息,以確保算法決策的科學性。在這個意義上,《互聯(lián)網(wǎng)信息服務算法推薦管理規(guī)定》的刪除反映個人特征的用戶標簽和《個人信息保護法》禁止使用敏感信息等相關(guān)規(guī)定并不適合規(guī)制“算法偏見”。鑒于此,部分學者提出不排斥敏感信息的控制方案,如“輸入義務測試”(33)該方案大致內(nèi)容為: 首先確定為實現(xiàn)算法目的而必要的目標變量,并以此作為標準。然后將爭議變量的計算結(jié)果分解為兩部分: 一部分是可靠部分,因為這部分發(fā)揮著與目標變量相同的作用;另一部分為錯誤部分。這時候,就要評估錯誤部分是否與歧視信息相關(guān);如果與歧視相關(guān),則不通過輸入義務測試,該爭議變量為歧視信息。Ibid., at 681.“二階段去偏見法”(34)該方案大致內(nèi)容為: 在評估階段消除代理特征帶來的歧視影響,經(jīng)過第一步的評估階段,那么在預測階段輸入端已經(jīng)沒有個體層面的歧視信息。See Crystal S. Yang &Will Dobbie, Equal Protection under Algorithms: A New Statistical and Legal Framework, 119 Michigan Law Review 291, 297 (2020).。數(shù)據(jù)控制方案往往都帶有較強的傳統(tǒng)反歧視法身影,而非完全科學計算的結(jié)果。法律究竟采用何種數(shù)據(jù)控制方案,是對科學性、可操作性、信息處理者成本等因素綜合考量的結(jié)果。

那么,這種結(jié)果義務源于何處?為什么要施加在算法設(shè)計者和算法應用者身上呢?其正當性主要有兩點: 第一,這是一種責任轉(zhuǎn)移(burden-shifting)的義務。(35)See Andrew D. Selbst, Disparate Impact in Big Data Policing, 52 Georgia Law Review 109, 161, 193 (2017).反歧視理論的直接歧視與間接歧視,實則借鑒于侵權(quán)責任。根據(jù)侵權(quán)責任原理,原告首先應當舉證,證明某算法存在受保護特征的明顯分類并帶有歧視意圖。但是,“算法偏見”的特性使得原告無法識別其中的歧視意圖,把原告陷于嚴重不公地位。這時候?qū)⑴e證責任倒置,由算法設(shè)計者和算法應用者來證明算法不存在歧視影響。(36)類似于《個人信息保護法》第69條,個人信息處理者承擔過錯推定,其原因在于個人信息處理者與自然人的舉證能力之差異。參見程嘯: 《侵害個人信息權(quán)益的侵權(quán)責任》,載《中國法律評論》2021年第5期,第63頁。第二,更為核心的是,這是社會法上的義務。社會法導入“身份”因素,以基準法的形式為弱勢群體提供特殊保護,對相對強勢一方課以法定義務,以校正契約自由在兩者之間造成的偏差。(37)參見余少祥: 《社會基準法的本質(zhì)、特征及其實施機制》,載《北京大學學報(哲學社會科學版)》2019年第3期,第138頁。反歧視法作為社會法,通過施加強制義務以保證弱勢群體能融入與民生和自我實現(xiàn)密切相關(guān)的社會交往。這一要求同樣適用于由算法掌控的社會交往,算法設(shè)計者和算法應用者承擔相應的社會法義務。當然,也有學者提及對弱勢群體予以傾斜保護這一理念,譬如算法歧視可以依賴侵權(quán)責任的過錯推定,以及合同責任的先合同義務和附隨義務,實施民法救濟,其中過錯推定、先合同義務以及附隨義務,實質(zhì)上都是合同責任和侵權(quán)責任對弱勢一方的傾斜保護。(38)參見潘芳芳: 《算法歧視的民事責任形態(tài)》,載《華東政法大學學報》2021年第5期。但由于這里需要解決的是歷史偏見,理所應當采取強傾斜的社會法保護,對算法設(shè)計者和算法應用者施以強規(guī)制;相反,民法救濟這種弱傾斜保護,更適用于解決資源分配方面的“算法不平等”。

對于義務的來源和正當性,也許會有學者提出第三種聲音,即義務來自算法透明和可解釋性的要求。在信息時代,不可否認算法透明和算法解釋占據(jù)十分重要的地位。然而,對于這種聲音,本文并不認同。算法透明和可解釋性的實現(xiàn)雖然在理論上有助于規(guī)制“算法偏見”,但事實上難以充當“算法偏見”規(guī)制義務的核心。換句話說,“算法偏見”的規(guī)制不依賴于算法透明和可解釋性。落實算法透明與可解釋性,意味著闡明因果關(guān)系。無論是采用何種立場和理論的因果關(guān)系,在實際運轉(zhuǎn)層面,算法黑箱都是難以跨越的障礙。(39)參見許可、朱悅: 《算法解釋權(quán): 科技與法律的雙重視角》,載《蘇州大學學報(哲學社會科學版)》2020年第2期,第62—63頁。即便技術(shù)攻克了算法黑箱,使算法得以被規(guī)制,這種技術(shù)也成為“屠龍刀”,使算法的價值大打折扣。(40)參見陳景輝: 《算法的法律性質(zhì): 言論、商業(yè)秘密還是正當程序?》,載《比較法研究》2020年第2期,第126頁。相反,本文認為,因果關(guān)系并非必須攻克的課題。因為社會法的強制義務是對弱勢群體的特別傾斜,以至于我們可以弱化因果關(guān)系。因果關(guān)系的弱化在社會法中并不罕見。譬如美國反歧視司法實踐采用“五分之四原則”來判斷是否達到歧視程度。具體來說,在雇傭領(lǐng)域,如果受保護群體的錄取率低于其他群體錄取率的五分之四,則可以認為此雇傭標準具有不利的后果,原告據(jù)此可以形成初步證據(jù)。(41)參見李昊: 《美國反歧視法治實踐中的社會學理論與方法——兼論反歧視訴訟中的統(tǒng)計證據(jù)規(guī)則》,載劉小楠主編: 《反歧視評論》第六輯,法律出版社2019年版,第64頁。即便五分之四原則早已被統(tǒng)計學所證偽,但不妨礙司法實踐繼續(xù)適用。同樣地,根據(jù)我國《勞動合同法》的規(guī)定,未與員工簽訂勞動合同,雇主將按月支付雙倍工資。很顯然,這里的賠償標準不是按照成本收益的數(shù)理計算,而是強調(diào)對弱勢群體的特殊保護。正是如此,“算法偏見”的法律規(guī)制可以采取因果關(guān)系的弱化方案,通過人文制度方案而非技術(shù)方案來實現(xiàn)歧視結(jié)果的控制。但是,“算法不平等”也會對算法設(shè)計者和算法應用者施加義務要求,但這個義務則依賴于因果關(guān)系。

四、 “算法不平等”的法律規(guī)制

(一) “算法不平等”的規(guī)制時機

“算法不平等”這種算法歧視在語義上采用道德維度的歧視,其表達的背后充斥著不理性因素。“算法不平等”現(xiàn)象是否真的不平等,往往是有爭議的。以數(shù)字信貸為例,借貸作為經(jīng)濟行為理所應當追求收益最大化,并結(jié)合安全性、流動性和效益性選擇“優(yōu)質(zhì)客戶”。使用性別、年齡、種族等傳統(tǒng)歧視特征作為篩選標準,必然為道德所唾棄,但我國法律是否禁止并無定論。在信息時代,信貸機構(gòu)利用算法廣泛采集移動貨幣賬戶的存款、轉(zhuǎn)賬、商戶支付和賬單支付活動、社交媒體、短信和互聯(lián)網(wǎng)瀏覽活動等行為數(shù)據(jù)和身份數(shù)據(jù),來分析借款人的財產(chǎn)狀況、風險抵抗能力、還款意愿等相關(guān)信息,并作為資格審核與貸款定價的核心依據(jù)。(42)參見歐陽日輝、龔偉: 《數(shù)字信貸、算法歧視與動態(tài)競合政策》,載《南開學報(哲學社會科學版)》2022年第1期,第80頁。這些特征已經(jīng)超出傳統(tǒng)歧視特征,選取何種特征及其信貸決策都是基于風險控制的經(jīng)濟理性行為,行為人會承擔因決策錯誤而失去優(yōu)質(zhì)客戶的風險,為何不能區(qū)別對待?“大數(shù)據(jù)殺熟”也存在類似的論調(diào)?！八惴ú黄降取睜幾h的背后反映的是“反歧視原則進入私法領(lǐng)域”,是資源分配過程中公平正義與私法自治的沖突。私法自治與反歧視原則并無位階上孰高孰低的定論,但算法歧視儼然成為一種廣泛的數(shù)字風險,對其規(guī)制勢在必行。為了避免對算法設(shè)計者和算法應用者造成過重的負擔,需要認真對待規(guī)制的時機與程度。

那么,為了平衡私法自治和削弱歧視風險,對“算法不平等”的規(guī)制應當選擇哪個時機?除了司法救濟這一兜底的事后規(guī)制之外,事前規(guī)制和事中規(guī)制成為可選方案。就事前規(guī)制而言,“算法偏見”往往涉及民生和公法領(lǐng)域,所以在算法設(shè)計階段或評估階段等事前階段就進行強社會法介入?！八惴ú黄降取迸c之大不相同,面對與日俱增的算法,如果每個算法都需要評估機制和檢驗機制等事前規(guī)制,只會徒增企業(yè)成本和公共壓力?！八惴ú黄降取钡氖虑耙?guī)制只適合企業(yè)的內(nèi)部審查,不宜以法律強制。為此,為了尊重市場規(guī)律和意思自治,保持科技創(chuàng)新,本文主張事中階段的規(guī)制時機。事中規(guī)制是一種過程性規(guī)制,其時機為企業(yè)將算法應用在用戶這一行為過程當中,在行為過程中審視具體的資源分配。本文主張的事中規(guī)制方案有二: 一是行政監(jiān)督,二是交易主體間的互動監(jiān)督。行政監(jiān)督作為最為常見的事中規(guī)制手段,雖孔武有力,但面對不計其數(shù)的數(shù)字交易行為顯得分身乏術(shù)?；颖O(jiān)督雖然缺乏強制力,但是將規(guī)制成本轉(zhuǎn)移至交易主體之間,同時可以靈活地處理數(shù)字技術(shù)的不確定性,能夠補足行政監(jiān)督的缺陷?；颖O(jiān)督的核心價值取向在于加強用戶方的博弈能力,以對抗涉嫌算法歧視的決策行為。這一點在“算法偏見”中是難以做到的,因為在“算法偏見”中,算法應用者往往是國家機關(guān)或能夠決定個人重要事項的企業(yè),算法用戶只能借助外部力量來對抗。

(二) “算法不平等”的規(guī)制維度

對于“算法不平等”,算法歧視現(xiàn)象需要安置在具體應用場景,考察具體的資源分配情況,施以行政監(jiān)督和互動監(jiān)督。對于其規(guī)制程度的問題,通過下述兩個維度來考量: 一是通過價值維度來判斷算法應用的利益分配和位階排序,主要施以相應領(lǐng)域法的實質(zhì)價值約束;二是通過信任維度使算法可信,施以形式平等的規(guī)制。

1. 價值維度: 通過相應領(lǐng)域法的價值判斷施以規(guī)制

對于“算法不平等”,首先受到具體應用場景的實質(zhì)價值約束,然后根據(jù)實質(zhì)價值約束施以相對應的行政監(jiān)督。相關(guān)的實質(zhì)價值內(nèi)生于應用場景之中,因為不同的應用場景對應著不同次序、不同權(quán)重的價值元規(guī)則。(43)參見唐林垚: 《公共治理視域下自動化應用的法律規(guī)制》,載《交大法學》2022年第2期,第24頁。對于場景內(nèi)生的實質(zhì)價值,其內(nèi)容確認方案有二: 方案一為,實質(zhì)價值來自社會秩序。典型觀點為海倫·尼森鮑姆(Helen Nissenbaum)的場景公正理論,其認為社會中存在關(guān)于信息及其流動的“活法”,由長期的社會實踐和相關(guān)情景所形塑,以規(guī)范、指導和協(xié)調(diào)個人信息的流動。(44)See Helen Nissenbaum, Privacy in Context: Technology, Police, and the Integrity of Social Life, Stanford University Press, 2010, p.3.此理論在算法規(guī)制中有不少追隨者。方案二為,實質(zhì)價值來自與場景相對應的領(lǐng)域法。譬如,有學者結(jié)合科學路徑以如何研究“公平算法”為出發(fā)點,認為科學家基于對“公平”(fairness)的不同理解而采取不同的計算公式,背后實則對應著不同的法律概念和法律機制。(45)See Doaa Abu-Elyounes, Contextual Fairness: A Legal and Policy Analysis of Algorithmic Fairness, 2020 University of Illinois Journal of Law, Technology &Policy 1, 54 (2020).本文青睞于方案二,追求完備的學術(shù)理論雖然是法哲學的浪漫與崇高,但同時應當兼顧法律的現(xiàn)實主義需求,方案二相較于方案一更為穩(wěn)定和具有可操作性。為此,具體“算法不平等”應放置在相應領(lǐng)域法內(nèi)作價值判斷,由領(lǐng)域法提供實質(zhì)價值約束,行政監(jiān)督也以此作為介入尺度。

以“大數(shù)據(jù)殺熟”為例,其實質(zhì)價值約束主要來自反壟斷法,并施以相應的行政監(jiān)督。“大數(shù)據(jù)殺熟”作為一級價格歧視,一方面,從市場和社會福利的角度出發(fā),其確保資源分配得到優(yōu)化,充分踐行經(jīng)濟法的有效競爭原則;另一方面,從消費者權(quán)益保護法來說,(46)參見胡元聰、馮一帆: 《大數(shù)據(jù)殺熟中消費者公平交易權(quán)保護探究》,載《陜西師范大學學報(哲學社會科學版)》2022年第1期;王佳琪: 《大數(shù)據(jù)“殺熟”的法律應對》,載《人民法院報》2019年6月11日,第2版。其侵害消費者公平交易權(quán)。仔細思考,“大數(shù)據(jù)殺熟”自身具有一定的市場調(diào)節(jié)機制,消費者的地位并非如此低下。由于定價方式以個人需求函數(shù)取代全市場需求函數(shù),“大市場”(統(tǒng)一定價的傳統(tǒng)市場)被拆分成無數(shù)“微市場”(僅有一個賣家和一個買家,賣家需要仔細衡量買家的需求),消費者談判能力大大增加。雖然單個“微市場”收益微不足道,但殺熟定價模型是統(tǒng)一的,失去一個微市場意味著總體市場失守的可能,因此商家必須放下身段認真研究每一個顧客的訴求,否則就會被消費者“用腳投票”逐出市場。(47)見前注〔2〕,王潺文,第59頁。另外,消費者也有一定反制能力,諸如通過設(shè)置隱私程序迫使廠商吐出更多利潤或借助數(shù)字比較工具貨比三家以避開個性化高價。(48)參見喻玲: 《算法消費者價格歧視反壟斷法屬性的誤讀及辨明》,載《法學》2020年第9期,第96頁。數(shù)據(jù)表明,大部分算法個性化定價的波動范圍為1%～4%,(49)參見雷希: 《論算法個性化定價的解構(gòu)與規(guī)制——祛魅大數(shù)據(jù)殺熟》,載《財經(jīng)法學》2022年第2期,第152頁。屬于可接受的一般價格,而非具有危害性的超高價格和超低價格。僅當市場調(diào)節(jié)機制失衡,“大數(shù)據(jù)殺熟”造成了經(jīng)濟損害性結(jié)果時,法律的介入才是合理的,諸如壟斷廠商使用“大數(shù)據(jù)殺熟”,一級價格歧視的經(jīng)濟優(yōu)勢不復存在,應當適用反壟斷法予以規(guī)制。(50)參見山茂峰、鄭翔: 《算法價格歧視反壟斷規(guī)制的邏輯與進路》,載《價格理論與實踐》2020年第5期;見前注〔48〕,喻玲文。在這個價值判斷下,市場監(jiān)管部門應采取包容審慎的態(tài)度,對差別定價行為給予一定的“觀察期”。(51)參見王文君: 《算法個性化定價的反壟斷法反思》,載《甘肅政法大學學報》2021年第5期,第154頁。在企業(yè)進行差別定價的行為過程中,對于游離在安全線邊緣的行為,市場監(jiān)管部門可以實施適度干預,如對企業(yè)進行約談,要求其對行為進行說明、調(diào)整等;對于觸碰安全線的,市場監(jiān)管部門對企業(yè)課以相對應的行政處罰。

需要進一步追問的是,對于“算法不平等”問題,在價值判斷上是否僅需具體應用場景的內(nèi)部秩序要求?是否需要額外的實質(zhì)價值保護?本文的觀點是不需要。無論是“算法偏見”還是“算法不平等”,算法歧視的相關(guān)爭議都來源于算法設(shè)計者和算法應用者通過算法權(quán)力限制個體的自由意志。根據(jù)限制的程度和其所關(guān)涉的利益類型,法律的保護力度不同。對于“算法偏見”來說,相關(guān)歧視問題造成個體無法融入民生和公法領(lǐng)域。為此,本文對“算法偏見”問題提供“社會融入”的實質(zhì)價值保護,施以結(jié)果義務。相反,對“算法不平等”的法律規(guī)制總體持保守的態(tài)度。私法領(lǐng)域?qū)嶋H上不存在絕對的平等關(guān)系,看似自愿達成的“互利”交易,在其中或多或少存在一方主體基于優(yōu)勢地位對另一方主體“占便宜”,司法對此是克制的,只有到達不公的程度才會干預。(52)參見許德風: 《合同自由與分配正義》,載《中外法學》2020年第4期,第986—987頁。同時,市場行為往往會針對不同顧客謀劃形形色色的差異方案,為此,對算法設(shè)計者和算法應用者強加額外的價值要求是強人所難的,并會造成分配正義的泛濫。但這也不是一味遵循具體場景的既有內(nèi)部秩序即可,否則將會徹底淪為“用舊法律應對新事物”的守舊做法。對于“算法不平等”,現(xiàn)行算法治理對特殊事項仍有少部分額外的價值要求,諸如《個人信息保護法》禁止“在交易條件上實施不合理的差別待遇”,以及對大型平臺施以守門人義務。面對“算法不平等”問題,法律雖然不便給予過多的實質(zhì)價值要求,但可以通過信任維度給予形式平等的保護。

2. 信任維度: 算法解釋作為互動機制提供形式平等保護

出于算法的黑箱性和復雜性,算法決策的價值維度和信任維度往往是分割的,信任維度不依賴于價值維度。仍以“大數(shù)據(jù)殺熟”為例,上文雖然已經(jīng)從價值維度論證了“大數(shù)據(jù)殺熟”在大多數(shù)情況下是合理的,但大數(shù)據(jù)價格歧視是否為公眾接受顯然是另一碼事。從大眾對價格的公平感知出發(fā),“大數(shù)據(jù)殺熟”仍然直覺地被視為不合理,立法者也不可能以“專業(yè)性”為由,無視大眾的樸素認知。鑒于此,不少地方立法已明文禁止“大數(shù)據(jù)殺熟”,諸如《上海市數(shù)據(jù)保護條例》《深圳經(jīng)濟特區(qū)數(shù)據(jù)條例》《浙江省電子商務條例》等。所以說,信任維度是規(guī)制考量不可或缺的面向。沿著信任維度,法律可以針對“算法不平等”采取多大程度的規(guī)制呢?

信任主要通過互動來達成。在算法歧視的討論當中,歧視與平等問題并非單純的技術(shù)探討,技術(shù)人員與利益相關(guān)者的互動能更好地解決問題。(53)參見張貴紅、鄧克濤: 《社會化研究框架下算法公平性的實現(xiàn)策略研究》,載《科學學研究》網(wǎng)絡(luò)首發(fā)2023年2月7日,第9頁,https://doi.org/10.16192/j.cnki.1003-20230206.001.良性的和有效的互動由確保各方利益的程序來維護,在技術(shù)保障不足的當下更是如此。(54)See Teresa Scantamburlo, Non-empirical Problems in Fair Machine Learning, 23 Ethics and Information Technology 703, 710 (2021).算法程序正是以這種方式介入到算法歧視問題當中,但是在不同的算法歧視中扮演不同的角色。程序在“算法不平等”的規(guī)制中強調(diào)的是互動,以達信任;而在“算法偏見”的規(guī)制中強調(diào)的是限權(quán)。通過互動達成信任這一方案并非要求設(shè)計專門的算法程序制度,而是盡可能在規(guī)制中體現(xiàn)程序性思維。在“算法不平等”規(guī)制的信任維度上,算法解釋是關(guān)鍵,并應當附著上程序色彩。由于算法黑箱的存在,算法設(shè)計者和算法應用者難以給出確切的解釋,算法解釋若被理解為“信息控制”的實體性權(quán)利將會淪為紙面權(quán)利,因此對于算法解釋應轉(zhuǎn)向程序性權(quán)利的理解,將算法解釋視作一種溝通和互動機制。(55)參見丁曉東: 《基于信任的自動化決策: 算法解釋權(quán)的原理反思與制度重構(gòu)》,載《中國法學》2022年第1期。作為互動機制的算法解釋正是上文提及的主體間互動監(jiān)督,通過強化用戶的博弈能力,提供形式平等的保護,變相對算法設(shè)計者和算法應用者施以規(guī)制。

算法解釋作為互動機制意味著: (1) 合作互惠的私法性質(zhì)使得算法解釋應當以追求信任關(guān)系為目標?！八惴ú黄降取钡闹饕\用場景以私法為底色,以合作互惠為前提。尤其是許多算法長期與受眾打交道,這時候就更有必要建立貝葉斯均衡(互相滿意),以達持續(xù)性地相互信任,而非單方被賦予過多的解釋權(quán)能,這樣不利于合作的展開。在這個意義上,作為互動機制的算法解釋,是一種實用主義解釋,關(guān)心的是接受者的興趣以及信任問題。(56)見前注〔39〕,許可、朱悅文,第62—63頁。(2) 算法解釋是一種相對權(quán)利,算法應用者和接受者結(jié)合場景在不同時間段行使和履行不同程度的算法解釋權(quán)利和義務。一般來說,在算法應用的告知環(huán)節(jié),算法應用者(如企業(yè))應當進行概括解釋,描述算法的整體運行,讓用戶感知算法的大致運行狀況,幫助個體做出更佳決策,而非披露算法的所有參數(shù)和所有細節(jié)。但仍有部分受眾對算法抱有疑問,受眾有權(quán)主張個案解釋,要求算法應用者尊重個人的知情同意,算法應用者將對算法決策使用了個人的哪些信息并如何做出結(jié)論做進一步解釋,如果用戶仍無法信任可以主張拒絕自動化決策的權(quán)利。為此,《個人信息保護法》第四章所規(guī)定的信息權(quán)利諸如反自動化決策、更正權(quán)和刪除權(quán)等是置于程序性算法解釋這一互動機制之下展開的,允許用戶在無法被說服的時候因地制宜地行使。對于具有重大影響的算法,算法應用者似乎有必要披露更多的算法信息,要披露多少以及如何披露,以是否被市場驅(qū)逐為風險和代價由算法應用者自行判斷。

五、 結(jié) 論

明確治理對象方能適配相應的治理手段。有學者從技術(shù)角度區(qū)分不同的算法歧視并提出相應的法律規(guī)制。(57)參見曹博: 《算法歧視的類型界分與規(guī)制范式重構(gòu)》,載《現(xiàn)代法學》2021年第4期。與之不同的是,本文嘗試從制度層面上的性質(zhì)劃分著手,通過區(qū)分“算法偏見”和“算法不平等”以明確算法歧視的治理對象,進而提出與之適配的治理手段,以消除治理對象泛化和治理手段碎片化這兩個弊端。

這種區(qū)分的意義在于: 一是從宏觀角度來說,其可提供一個融貫的理論解釋圖景,將多樣化的實踐問題置于對應的法律框架之中。試舉一例: 住房福利的算法自動化配分在國外早已有之,(58)參見[美] 弗吉尼亞·尤班克斯: 《自動不平等: 高科技如何鎖定、管制和懲罰窮人》,李明倩譯,商務印書館2021年版,第71—103頁。相關(guān)歧視問題固然安置到“算法偏見”來處理。但如果把場景切換成私領(lǐng)域,不排除將來會出現(xiàn)房東和商家通過自動化決策來篩選租客,該場景似乎類似于“大數(shù)據(jù)殺熟”。但是,住房問題屬于民生和個人實現(xiàn)相關(guān)的重要領(lǐng)域,理所應當作為“算法偏見”來處理。二是從微觀角度來說,其有助于明確具體義務。對于算法設(shè)計者和算法應用者來說,他們往往由于被貼上“強者”的標簽,而被課以各種寬泛和沉重的義務,這將嚴重抑制市場活力和主體創(chuàng)新。本文提出的算法歧視的兩副面孔明確了算法設(shè)計者和算法應用者的具體義務。如果他們的產(chǎn)品涉及“算法偏見”,則主要履行結(jié)果義務,根據(jù)具體情況適用算法影響評估或“數(shù)據(jù)控制”,而非算法解釋義務;如果他們的產(chǎn)品涉及“算法不平等”,則相關(guān)義務主要依賴于算法解釋,以變相提高用戶的博弈能力。