李夢瑤

西安交通大學(xué)新聞與新媒體學(xué)院，陜西 西安 710048

國內(nèi)學(xué)者對算法治理的探討觀點眾多，石穎從三維視野將算法歧視的規(guī)制挑戰(zhàn)分為技術(shù)建構(gòu)上的結(jié)構(gòu)性挑戰(zhàn)，算法運行上的功能性挑戰(zhàn)，平等權(quán)消減、算法權(quán)力擴張以及法律功能異化的隱藏性挑戰(zhàn)。曹博以二元邏輯從內(nèi)外規(guī)制的體系結(jié)構(gòu)、算法運行的“黑箱化”與內(nèi)部規(guī)制的沖突、算法邏輯的相關(guān)性本質(zhì)與外部規(guī)制的本質(zhì)角度分析了傳統(tǒng)范式下算法歧視規(guī)制的結(jié)構(gòu)缺陷和制度難題。已有的研究對算法失當治理和算法責任規(guī)制具有參考價值，但尚有不足之處：第一，缺乏從程序法角度科學(xué)界定算法責任的內(nèi)涵、范疇邊界、內(nèi)容構(gòu)成；第二，缺乏從歧視生成全周期視角下的系統(tǒng)性、權(quán)威性的算法歧視程序法治理范式；第三，結(jié)合案例研究較少，對現(xiàn)實觀照不足。由此可見，現(xiàn)實困境、理論缺陷和政策風向都呼吁著算法責任治理的程序法規(guī)制進一步發(fā)展。程序法規(guī)制研究在算法倫理治理視閾下典型且聚焦，對算法倫理危機和算法歸責制度構(gòu)建是一種有效思考。

一、人工智能時代算法歧視的內(nèi)涵演進

（一）算法歧視的生成緣起

20 世紀，計算機科學(xué)之父艾倫· 圖靈開發(fā)出現(xiàn)代計算機的雛形并預(yù)見了現(xiàn)代算法的定義：在有限的步驟中產(chǎn)生問題的答案或問題解決方案的系統(tǒng)程序。而歧視指針對特定群體或成員的無理負面、有違公平的不道德行為，算法歧視是數(shù)據(jù)收集和分析過程本身的產(chǎn)物，即使設(shè)計者有最佳意圖，數(shù)據(jù)驅(qū)動的算法決策也可能導(dǎo)致歧視性做法和偏見結(jié)果。人類社會的歧視多來自消極態(tài)度（如歷史沿襲的陳舊價值觀、階級不平等帶來的差距等）和無意識偏見（如組織或群體文化），人際歧視有跡可循。算法系統(tǒng)中的歧視更抽象、更微妙、更無形，不存在人類歧視的等效信號機制（如憤怒和道德義憤）。帶有歧視的算法程序會復(fù)制和繼承現(xiàn)存的歧視模式，加劇、新增社會根深蒂固的偏見。

（二）算法歧視的類型界分

算前歧視即機器在執(zhí)行設(shè)計者指令的過程中反映了人類的自身的意見和偏見，算法運行隱含著明顯的、可復(fù)制性的、程序性的缺陷，且這些缺陷導(dǎo)致輸出端不公平、歧視性的結(jié)果。

算中歧視歸咎于機器智能本身，使用者提前植入的算法邏輯和劃分規(guī)則是正當?shù)?，但通過計算機不為人所明析的算法運作，最終出現(xiàn)對不同群體的區(qū)別對待，“由數(shù)據(jù)分析導(dǎo)致的對特定群體的系統(tǒng)性的、可重復(fù)性的不公正對待［1］”，通常發(fā)生于計算機讀取、收集與分析數(shù)據(jù)時段，也被稱作自動化歧視［2］。

研究基于此視角將算法歧視分為歧視發(fā)生于算法前（人類建模）、歧視根生于算法（機器建模）、歧視發(fā)生于算法后（算法應(yīng)用）三類，并深度分析算法歧視的滋生原因、規(guī)制困境，提出程序法規(guī)制策略。

二、人工智能時代算法歧視的滋生肇因

（一）歧視先行于算法設(shè)計——有限理性、社會規(guī)訓(xùn)與數(shù)據(jù)偏差

第一，算法歧視是人類意識的延伸，是人類社會的偏見、歧視和刻板印象在計算機這一虛擬世界的映射和轉(zhuǎn)化，是對現(xiàn)有文化中存在的歧視進行歸納或“同構(gòu)”后形成的數(shù)字社會下的文化禁錮和社會禁錮；第二，數(shù)據(jù)樣本質(zhì)量參差不齊是算法外來歧視的另一重要源頭。在算法系統(tǒng)中，數(shù)據(jù)大多被默認采集，缺乏對最終用途或集體含義的明確取向，從而走向普遍數(shù)字行為主義。

（二）歧視根生于算法設(shè)計——標簽化歸納的技術(shù)邏輯、算法黑箱與人機差異

第一，算法的智能化體現(xiàn)在對新數(shù)據(jù)的歸類預(yù)測功能，這一功能的底層邏輯是從現(xiàn)有的樣例特征中提取、歸納、總結(jié)出普適規(guī)則。算法歧視就生發(fā)于系統(tǒng)不完全歸納和不合理歸納行為下。

第二，代碼的編寫和審閱高度專業(yè)化，技術(shù)壁壘會造成算法不透明。算法黑箱是造成算法歧視難以審計、難以監(jiān)管的重要原因［3］。人工智能的學(xué)習(xí)能力有限，無法辨別并拒絕語料庫中的偏見，如族裔歧視、區(qū)域歧視、性別歧視等。算法決策的黑匣子在某種意義上剝奪了公眾的選擇權(quán)和參與權(quán)，侵犯了公民基本權(quán)利，而無需被問責。

（三）歧視后行于算法設(shè)計——數(shù)據(jù)雜糅、信息繭房與非中立性評估導(dǎo)向

算法在實際運行時會基于不同的數(shù)據(jù)條件或運行環(huán)境產(chǎn)生差異性決策結(jié)果。在數(shù)據(jù)動態(tài)交互情境即實施過程中，造成算法歧視的原因可歸納為數(shù)據(jù)雜糅、信息繭房和非中立的數(shù)據(jù)評估導(dǎo)向三類。

一是隱私信息和公開數(shù)據(jù)的雜糅使用。信息化時代，公民的人口學(xué)信息和隱私被商業(yè)算法平臺非法收集、存儲并用于開發(fā)營利。算法在運行中的決策已超出人為控制，系統(tǒng)會通過挖掘數(shù)據(jù)樣本的標志性特征進行匹配性歸納，并輸出差異化指令，將未經(jīng)科學(xué)驗證的相關(guān)關(guān)系強加于主體；二是算法的信息繭房效應(yīng)。算法通過個性化和差異化服務(wù)為平臺吸引黏性用戶，但過度投用戶所好剝奪了用戶全面了解信息的機會，平臺資本的逐利性不斷與算法進行著相互改造、協(xié)商與建構(gòu)。精準刻畫用戶畫像、把握用戶心理的手段往往造成過度攫取用戶隱私信息，引發(fā)標簽化分類的算法歧視；三是算法應(yīng)用主體的非中立性評估導(dǎo)向。信用評估通過交易記錄的批量分析來預(yù)測用戶的違約概率，這一思路多見于自然科學(xué)領(lǐng)域的概率統(tǒng)計（如工程師用一千座橋統(tǒng)計接下來可能會塌方的橋），調(diào)查結(jié)果對調(diào)查客體沒有影響，但測試違約概率的信用評估會影響評估客體（人）的違約概率。

三、人工智能時代算法歧視的程序法約束困境

（一）歧視生發(fā)于設(shè)計前——價值偏差、能力偏差與制度偏差難審查

來源于算法開發(fā)者、設(shè)計者、部署者和應(yīng)用者（人或組織）的算法歧視均屬于人為型算法失當，算法開發(fā)行為主要受到主體價值認知、道德判斷和制度文化的影響。價值偏差上，算法使用平臺多秉持純粹自立原則，追求自我利益最大化，完全忽視算法對利益相關(guān)方訴求和社會價值的關(guān)切，甚至不惜踏破社會道德底線牟取暴利；能力偏差從算法設(shè)計者出發(fā)，要求其不僅要有算法編碼技術(shù)，還有具備審視算法是否符合社會利益的能力，對于敏感議題、引誘型設(shè)計、倫理缺陷設(shè)計有感知力，減少問題算法程序的誕生。制度審查上，當前廣泛部署的算法多采用商業(yè)邏輯，缺乏社會責任制度約束，算法開發(fā)者完全處于相對“自由”狀態(tài)。

（二）歧視生發(fā)于設(shè)計中——算法邏輯與商業(yè)秘密難公開

在數(shù)據(jù)保護適用懲罰性賠償案中，數(shù)據(jù)類經(jīng)營信息符合商業(yè)秘密構(gòu)成要件的，應(yīng)予保護，審查中應(yīng)結(jié)合數(shù)據(jù)組成和行業(yè)特征認定其保密性、秘密性、商業(yè)價值。網(wǎng)絡(luò)原始數(shù)據(jù)組成的衍生數(shù)據(jù)或大數(shù)據(jù)，或網(wǎng)絡(luò)公開數(shù)據(jù)結(jié)合其他尚未公開的內(nèi)容組成新的數(shù)據(jù)信息，可依據(jù)秘密性要件審查其是否構(gòu)成商業(yè)秘密。數(shù)據(jù)類信息應(yīng)結(jié)合行業(yè)現(xiàn)實狀態(tài)及載體的性質(zhì)，保密措施的可識別程度，認定保密措施應(yīng)以適當為標準。直播平臺中獎數(shù)據(jù)反映經(jīng)營者特定經(jīng)營策略及經(jīng)營效果，體現(xiàn)用戶打賞習(xí)慣和消費習(xí)慣等深層信息，可為經(jīng)營者提供用戶畫像，吸引流量，獲得競爭優(yōu)勢，具有商業(yè)價值。

1.先期的完全成本保險試點。2018年4月，按照我國農(nóng)業(yè)農(nóng)村部、財政部發(fā)布的2018年財政重點強農(nóng)惠農(nóng)政策，玉米、小麥、水稻三大糧食作物完全成本保險試點已經(jīng)正式實施啟動，與之配套的《中央財政農(nóng)業(yè)保險保險費補貼管理辦法》也明確了對三大糧食作物的更大支持力度。在原有農(nóng)業(yè)保險風險保障主要覆蓋直接物化成本的基礎(chǔ)上，先期于13個糧食主省200個縣試點保障金額納入地租的完全成本類型農(nóng)業(yè)大災(zāi)保險基本已經(jīng)成為共識。

（三）歧視生發(fā)于實施中——算法損益與責任主體難明確

規(guī)制算法歧視最基本的考慮是歸因和責任分配，讓相應(yīng)實體對其決策和算法輸出負責。算法歧視層面的約束難度在于：第一，算法歧視造成損失傷害難以具象量化；第二，跟蹤算法歧視的輸出路徑不易，當前技術(shù)無法對算法黑箱徹底解密；第三，責任分配不易，全球化背景下，算法的設(shè)計涉及多方主體的共同努力，在負責設(shè)計算法的實體沒有預(yù)料到的情況下，其他實體可以出售、復(fù)制、修改或使用算法的核心源代碼。一旦算法造成傷害或損失，往往難以劃分、識別和追究算法相關(guān)責任主體的責任。

四、人工智能時代算法歧視的程序法規(guī)制路徑

（一）針對算前歧視的倫理審計與公平性約束

1．正當程序原則

公權(quán)力領(lǐng)域，智能化進程加快也催生了算法歧視。提高公權(quán)力領(lǐng)域算法運行的正當程序要求是從制度偏差規(guī)制算法歧視的有效途徑。在算法決策參與司法活動時，不同應(yīng)用場景的算法要遵循嚴格適配的程序要求，例如犯罪風險預(yù)測算法會導(dǎo)致犯罪治理活動啟動時點前移，對偵查前帶有預(yù)測性證據(jù)的使用應(yīng)當作出嚴格限制；在審判電商平臺檢索服務(wù)的算法是否公平時應(yīng)充分考慮電商平臺的功能定位、人工智能的發(fā)展階段等因素，既要考慮到消費者對平臺推薦結(jié)果的依賴性進而嚴格審查檢索算法的合理性，也要充分尊重電商平臺的經(jīng)營自主權(quán)。

此外，算法黑箱的善意使用應(yīng)該被尊重和允許，例如為保護高校貧困生的自尊而利用算法黑箱進行的扶貧助學(xué)，高校通過后臺算法來監(jiān)測學(xué)生每月在食堂的消費頻次、每頓消費金額來判定是否貧困，依據(jù)算法結(jié)果為貧困生打入補助。即利用算法“歧視”規(guī)避公開評定與資助引起的歧視。

2．實施過錯舉證責任倒置

在我國民事糾紛中，商品交易中的訴訟一般由被侵權(quán)人舉證，但是人工智能下的算法歧視糾紛，公民相較于開發(fā)者、使用者處于弱勢地位，算法歧視訴訟程序的取證步驟難以實現(xiàn)，可以嘗試利用舉證責任倒置原則，從“法無規(guī)定不可為”到“法無禁止皆可為”，讓算法程序的設(shè)計者來舉證證明自己算法程序的正當性，通過自己披露各項信息、報備數(shù)據(jù)以及其他平臺條例，證明自己設(shè)計的算法是合理正當?shù)孬@取數(shù)據(jù)，幫助用戶決策，并對可能出現(xiàn)的算法歧視自律自查。如果設(shè)計者不能充分證明，就存在違法的可能。

大數(shù)據(jù)產(chǎn)品或服務(wù)提供者使用公共數(shù)據(jù)時，應(yīng)遵循來源合法原則、注重信息時效原則、保障信息質(zhì)量原則、敏感信息校驗原則。對公共開放數(shù)據(jù)的不正當使用沒有盡到必要的注意義務(wù)，導(dǎo)致法人或自然人等原始數(shù)據(jù)主體的合法利益受損，公共數(shù)據(jù)使用者應(yīng)承擔相應(yīng)的法律責任。平臺可以通過委托鑒定的方式推演算法邏輯，必要時可通知鑒定人和雙方的技術(shù)輔助人員出庭做出專業(yè)解釋，輔助司法程序順利運行。

（二）針對技術(shù)本身的涉密證據(jù)保護制度與算法解釋制度

1．建立涉密證據(jù)的保密制度

第一，如有必要法院要依據(jù)實際情況限制證據(jù)交換范圍。如果平臺或者算法設(shè)計者提供的證據(jù)包含了企業(yè)機密，這部分證據(jù)可以規(guī)定不允許原告，即對方當事人查閱、摘錄或者以任何方式復(fù)制。但法院作為司法機關(guān)有權(quán)裁決證據(jù)的證明力，這在一定程度上可以打消被告方公開數(shù)據(jù)的擔憂，又能保證事關(guān)算法歧視的證據(jù)不因既定的交換程序而給企業(yè)帶來損失。

2．算法解釋制度

保證公私領(lǐng)域算法決策的可見性，即數(shù)據(jù)主體享有“知情同意原則”，數(shù)據(jù)主體應(yīng)當充分意識到自己的法定權(quán)利，數(shù)據(jù)控制者應(yīng)當充分遵守自身的法律義務(wù)。平臺行使算法需事先披露治理機制、管理規(guī)則以及算法相關(guān)技術(shù)原理，而且應(yīng)當保障用戶的知情同意，同時亦應(yīng)賦予用戶對算法自動化決策提出質(zhì)疑和申訴的權(quán)利。當事人對算法參與環(huán)節(jié)、干涉方式和程度有知情權(quán)，且有權(quán)合理懷疑算法歧視的存在，算法必須征得當事人對于自身數(shù)據(jù)的合理采用的明確同意。

（三）歧視生發(fā)于算法設(shè)計后——引入庭前會議、認定責任主體、擬行公益訴訟

1．引入庭前會議制度

庭前會議適用于“證據(jù)材料較多，案情重大復(fù)雜，控辯雙方對事實、證據(jù)存在較大爭議的以及社會影響重大的案例”中，算法歧視訴訟案可以借鑒這一思路。庭前會議的工作涉及明確當事人訴求、調(diào)查收集證據(jù)、組織交換證據(jù)、歸納爭議焦點、進行庭前調(diào)解等等?？紤]到算法歧視案件的特殊性，法官可以通過庭前會議制度梳理基本案情，對于有意思自治的雙方當事人可以進行調(diào)解，當算法歧視訴訟案件的雙方當事人爭議過大，或案件較復(fù)雜需進一步審理，再將案件轉(zhuǎn)入審理程序。

2．認定算法歧視的責任主體

明確算法歧視案件的責任主體是規(guī)制算法歧視的必要步驟，但由于算法領(lǐng)域本身的復(fù)雜性，責任主體認定難以落實。參考《中華人民共和國民法典》侵權(quán)責任編的思路，算法歧視案例的責任主體可以分為三類，即算法開發(fā)者、算法使用者和侵權(quán)責任人。

糾紛因算法內(nèi)部造成時，責任主體為算法開發(fā)者；糾紛起于算法使用過程，甚至是使用者惡意濫用算法，需追究算法使用者責任。在利用程序法規(guī)制時，單獨數(shù)據(jù)利用行為，應(yīng)當結(jié)合行為的方式、手段、目的、后果等綜合分析。適用《中華人民共和國反不正當競爭法》“一般條款”判斷數(shù)據(jù)不正當競爭行為，可以結(jié)合原告主張保護的數(shù)據(jù)類型及程度、被控行為給原告造成的損害程度、數(shù)據(jù)獲取行為突破原告限制措施的情形、數(shù)據(jù)利用行為的創(chuàng)新程度進行判斷。若算法的開發(fā)者即使用者，二者一致，那就基于《中華人民共和國電子商務(wù)法》來追究經(jīng)營者，即使用者的責任。

3．建立算法侵權(quán)公益訴訟制度

主觀上，大數(shù)據(jù)算法歧視的技術(shù)門檻決定了大多數(shù)用戶群體難以真正深度了解和直接接觸，甚至對于事后的救濟途徑都缺乏了解。所以開通算法救濟渠道、建立行之有效的算法訴訟公益制度、為算法歧視受害者提供專業(yè)的救濟是直接且行之有效的解決辦法。

客觀上，我國程序法的當事人適格理論，是指對于特定的訴訟可以自己的名義成為當事人的資格。適格當事人就具體的訴訟作為原告或者被告進行訴訟的權(quán)能。算法可能因未實際享有實體權(quán)利、承擔實體義務(wù)被判定為非正當當事人，算法歧視案件難以被受理。在現(xiàn)有法律救濟手段存在盲區(qū)的環(huán)境下，公益訴訟制度立足于啟動對特定侵權(quán)公益行為的國家追訴。在現(xiàn)今算法歧視治理法律缺位及失靈情況下，算法歧視公益訴訟有望成為人工智能時代公益訴訟制度在算法歧視治理層面的預(yù)設(shè)性嘗試。

在我國，公益訴訟制度分為民事公益訴訟和行政公益訴訟兩類，當算法設(shè)計者和使用者的算法侵權(quán)行為被起訴，原告要求被告停止侵權(quán)行為、賠償相關(guān)損失、消除或者降低算法歧視帶來的消極影響時，適用民事公益訴訟；當算法歧視行為的過錯更多在于行政管理部門的不作為甚至放任，原告要求追究管理部門責任，要求管理部門履行職責時，適用行政公益訴訟。

在立案模式上，算法歧視公益訴訟可仿效環(huán)境公益訴訟采取綜合立法與分散立法相結(jié)合的立法模式，算法歧視的公益訴訟可以對兩部基本法的司法解釋進行延伸應(yīng)用；受案范圍要結(jié)合層出不窮的新型算法歧視不斷擴展，學(xué)者劉玉綽主張應(yīng)該將以催化算法歧視為目的的個人信息侵犯行為，算法產(chǎn)生的族群歧視、性別歧視、年齡歧視、大數(shù)據(jù)殺熟、算法定價共謀納入算法歧視公益訴訟范圍。啟動主體資格層面，因為我國現(xiàn)行程序訴訟法未賦予公民公益訴訟的原告資格，且權(quán)力下放可能導(dǎo)致濫訴，故將啟動主體限定為法定機關(guān)、有關(guān)社會組織和檢察院，同時結(jié)合《中華人民共和國網(wǎng)絡(luò)安全法》《中華人民共和國數(shù)據(jù)安全法》《中華人民共和國電子商務(wù)法》等單行法，將算法歧視公益訴訟的啟動主體及“轄區(qū)”判定標準具體化、標準化。算法歧視公益訴訟的訴前程序應(yīng)采取公益行政公益訴訟訴前程序優(yōu)位，給予行政機關(guān)更多自主權(quán)，從而實現(xiàn)經(jīng)濟、效率和尊重。

五、結(jié)語

在算法日益涉足人類決策尤其是司法決策的時代，盡快建立相應(yīng)法律責任機制，預(yù)防、削弱或杜絕算法歧視乃當務(wù)之急。本文從程序法規(guī)制視角出發(fā)，從算前歧視、算中歧視、算后歧視三個階段總結(jié)規(guī)制困境，提出倫理審計與公平性約束、涉密證據(jù)保護與算法解釋度、設(shè)立庭前會議、認定責任主體、擬行公益訴訟等路徑，在司法實踐中構(gòu)建更加具體可行的應(yīng)對措施，避免算法成為異化的決策體系，讓公平公正照進虛擬，實現(xiàn)科技進步與平等權(quán)保護的平衡。