馬露露

中南財經政法大學

一、問題的提出

“‘平等’是近現代以來最具有動員力、最震撼人心的觀念，并通常被賦予‘社會公平正義’的核心地位，乃至與‘公平正義’畫上等號?！比欢?，偏見、歧視和刻板印象一直存在于人類社會中法治陽光無法普照的角落。因此，為了營造反對歧視、平等、關愛的社會環(huán)境，人們寄希望于一種絕對理性客觀、排除人類主觀因素影響的工具。隨著人工智能時代到來，數據、算法和建模等數學方法似乎使這種理想照進現實，算法技術讓人類決策更量化、客觀及“平等”，在廣為流傳的“技術中立論”的包裝下，“人類現在對計算機、數學、算術法則和構建模型的信任超過了對人性、自我感受和主觀判斷的信任”。

但實踐中越來越多案例表明，人們在享受著看似“技術中立”的算法帶來紅利的同時，也承擔著其隱形的更加嚴重和廣泛的危害，其中的算法歧視的問題逐漸浮出水面。如2000 年初美國司法系統(tǒng)使用的預測被告未來再犯可能性和人身危險性的COMPAS 算法，經一家非營利機構ProPublica 對COMPAS 算法結果分析，得出結論“黑人被告再次犯罪的可能性以及自身危險程度高于白人45%”。不僅在算法的結果當中會產生歧視，我國有學者指出算法社會的不平等是自始至終的多形式不平等，因為算法社會對人的科技素質要求極高，這就決定了只有少部分能夠精通算法，科技能夠位于算法之上掌控高新技術，而大部人只能成為被高科技掌握的“魚肉”。[1]帶有偏見的不合理區(qū)別對待是對公民平等權的侵犯，算法歧視不僅具備傳統(tǒng)技術和制度手段難以識別的隱蔽性，還可能伴隨算法的擴展應用廣泛復刻并蔓延至其他場景之中，對平等權的憲法保障提出了新的難題。

從當前我國算法歧視治理現狀來看，早在2019 年3 月，我國科技部成立了專門委員會針對數據壟斷、算法歧視等人工智能治理的重點領域，監(jiān)測人工智能帶來的各種社會風險。吳漢東教授在對人工智能作學術探討時強調“面向人工智能時代，科學技術文明的建設需要社會制度文明的促成，我們需要創(chuàng)設出保人工智能安全、可靠、可控的法律制度”。[2]由于算法歧視是近年來出現的市場亂象，一些大型企業(yè)正在利用大數據、算法與制定規(guī)則對用戶“磨刀霍霍”，我們迫切需要一個清朗的網絡空間，這就要求對算法治理建立規(guī)章制度，特別是以憲法所保障的平等權作為基本導向，建立健全平等權的保障機制，展開推進我國算法治理體系與治理能力現代化。

二、算法歧視產生法律風險的原因

2014 年邱仁宗等學者就指出“大數據技術本身無所謂的好與壞之分，在倫理學上技術是中立的”。[3]而創(chuàng)造算法、使用算法的人具備很大的主觀能動性，再加上人工智能深度學習可以加強偏見意志數據化，因此數據中立論很可能不再適用，當前有必要結合算法歧視的特征和類型梳理算法歧視的肇因，從技術層面解釋算法歧視對平等權產生的法律風險。

（一）數據自身帶有偏見

算法的個體化的規(guī)制是法律針對不特定群體一般性規(guī)制的突破。法律的一般性原則在法治原則體系中舉足輕重，其被稱為是法治的“阿基米德支點”，主要體現為意志的一般性，對象的一般性和適用的一般性，平等權作為基本權利，是法律一般性規(guī)定的具體體現，平等權的特征在于它強調一視同仁對待的原則滲透在個體、群體之間，而算法對個人的個性化定制看似人性實際是上一種不平等的體現，它的個體性規(guī)則并沒有基于一般性規(guī)則之上，而是基于一種私人定制的不具有合理性的特殊規(guī)則，是建立在貧富差距、強弱分化的不平等基礎上的。如此一來，算法制定的個體性規(guī)則便會形成強者愈強、弱者愈弱的馬太效應，產生實質不平等的危害結果。

（二）算法異化權力-權利配置

憲法通過公民平等權、公民的政治權利和自由、社會經濟權利等基本權利是為了防止國家公權力濫用，保護公民的基本權利不受到公權力的侵犯。算法作為“非人類行動者”占有海量形式的大數據，通過電腦建模實現對人的認知感知能力、分析處理能力和決策判斷能力“模擬仿真”并在此基礎上超越，逐步實現對人的規(guī)則“代碼化”，脫離人的掌控并演化成為對人霸權的“準公權力”主體，這給平等權在應對公權力的侵害時又增添新的危機。算法權力的取得源于自身的無形拓展和權力-權利的雙向互動，算法曾被稱為是人生十字路口的“無形手”，其決策以潛移默化的形式影響到人們的日常生活，無形中決定著人們的選擇，在人工智能時代，算法可以突破物理空間的局限，涵蓋到人們生活的每個方位、每時每刻，突破時間和空間的維度，以更加隱蔽的方式完成對個人自由的限制，增強了算法權力對平等權的危險。

（三）算法深度學習強化偏見

人工智能算法已經不局限于單向的數據輸入-數據分析-預測產生的過程，而是對現有數據庫進行特定數據的特征提取，反復學習增強數據之間的關聯度，按照相應的算法邏輯搭建初始的數據特征模型，自主分析出數據之間的密切程度和發(fā)展規(guī)律，最終生成高級的認知能力。在輸入帶有歧視性質的數據時，算法會將這種實質上是社會偏見數據化轉變?yōu)閿祿?，在反復學習過程中形成定性的算法邏輯偏見，最終產生的偏見決策結果又反饋于社會之中強化歧視，這就是“回音壁效應”。但即便是在數據特征模型的搭建過程中能夠完全摒棄法律禁止的歧視性特性，這種做法也是徒勞無功的，因為算法具有極強的數據挖掘能力，數據特征中往往也存在代理，算法在深度學習和訓練數據過程中能在隱藏的相關關系中來尋找與個人敏感信息相關的代理，保證輸入的數據不存在偏差對消除算法歧視作用較小。

三、算法歧視下平等權傳統(tǒng)保護危機

當前傳統(tǒng)保護機制不足以治理算法歧視的亂象，我國憲法所保障的平等權面臨的危機不斷，因此有必要對當前問題進行梳理，并前瞻性預測未來算法歧視帶來的風險和挑戰(zhàn)，根據問題導向探索保障平等權的具體路徑，減緩法律滯后性所造成的制度鴻溝之變故。

（一）算法固化實質不平等危機

這種實質不平等主要體現在以下兩方面：一方面，人工智能算法主體資源占有的不平等。人工智能、算法、機器學習、區(qū)塊鏈、大數據，這些概念在當今數字時代不斷涌現，深度理解這些概念的人往往只會是社會上少數的擁有良好教育背景或者是專業(yè)領域的精英人才，而往往也正是這些人占據了數字時代中最重要的資源——數據。以數據為基礎的算法進行深度學習，能夠實現似人類自身智能的增幅與擴容。

另一方面，人工智能算法決策過程“偏見進，偏見出”。數據是算法深度學習的基礎，算法掌握數據越多，決策結果越精準，但是當數據不全面、不準確時，即數據缺乏均衡性和代表性，則決策結果就會存在出現歧視的高度可能性。例如谷歌公司的圖片軟件曾將黑人的照片標記為“大猩猩”，這就是因為數據庫中缺乏對黑人的特征模型。算法還會利用人們產生的電子痕跡結合其他數據庫的信息，挖掘其中潛在的價值，比如評價商業(yè)平臺中人們的消費能力和偏好，完成對消費者的數據畫像。商業(yè)平臺依據不同的算法結果針對不同消費者的消費水平顯示出不同的價格，這就是嚴重侵犯到消費者的知情權、隱私權、平等權與公平交易權的“算法（大數據）殺熟”。[4]

（二）算法歧視識別危機

算法技術的復雜性在源頭上增加歧視識別難度。算法屬于當今數字時代的新興產物，一個正常運轉的算法的背后除了高新技術的支撐外，還有當前無數條數據的聯結，這無外增加了算法的神秘性，人們在節(jié)約探索成本的導向上往往會順從算法的決策。同時，算法運算的反饋循環(huán)不但深度挖掘出被摒除的歧視因子，通過回音壁效應在無形中更加深了社會歧視。

在運算過程中，算法無法準確區(qū)分相關性和因果性。當前的人工智能仍屬于弱人工智能，即便是處于發(fā)展前沿的模擬人腦“神經網絡”的人工智能，無論它再怎么“深度學習”“自我改善”，都不會有“人類情感”“人類意識”。算法可以對不同的變量進行相關性、顯著性檢驗，但相關性不同于因果性，這種定性的存在需要依靠大量的數據基礎。因此這種情況下提高了小概率事件無法被識別的幾率，[5]憲法對婦女、殘疾人、兒童、難民等特定主體的特殊保護很可能因無法被識別而遭受到算法歧視。

算法最終的決策結果不具有外部公開性。算法的個性化推薦基于個人電子痕跡的不斷累加而產生，而個性化推薦針對的對象只針對唯一個體，在個人信息保護下公民的自我隱私保護意識覺醒后不斷增強，導致個人信息更加隱蔽，這極易引起“信息繭房”效應，很多學者批評這種行為對個人的算法選擇權構成威脅。

（三）平等權保護機制危機

如今世界各國保障平等權多采用“事前立法規(guī)范”“事中行政監(jiān)管”和“事后司法救濟”構成的三位一體的機制。平等權作為我國憲法保護的基本權利，相關的理論體系早已健全成熟，在理論指引下我國憲法建構了對應的法律保障體系。但在算法社會，在不同算法的表現方式下，算法歧視的高速變化發(fā)展給我國傳統(tǒng)的平等權保護機制帶來巨大挑戰(zhàn)。

首先是平等權立法保護機制的滯后性。立法產品和算法技術同為滿足人們對美好生活的需求，當立法者的立法速度無法跟上算法技術發(fā)展的腳步時，人們急切需要另一種形態(tài)的社會治理規(guī)則，而傳統(tǒng)的立法權威將會一步步被瓦解。與此相比，人們對算法依賴感和信任度逐步增強，給歧視帶來更大的生存空間，這時候形式上新的立法生效實質上是針對舊算法的規(guī)制。

其次是行政監(jiān)管算法歧視的盲區(qū)。一方面，算法技術的專業(yè)性要求行政主體作為綜合素質人才全方位掌握人工智能和法律知識，然而高級算法的體系龐大到難以理解其中的內部邏輯和運行過程，這是因為算法是協作的整體，是眾多計算機科學家和程序員在算法的不同階段貢獻了不同力量的聚合體，個人在監(jiān)察時仿佛“管中窺豹”難以掌握全局，同時算法更新的速度之快使監(jiān)管更加困難。[6]另一方面，算法黑箱的存在成為算法使用者的遮羞布，有意利用技術壁壘將算法移轉到法律的真空地帶以脫離現有的法律規(guī)制，更加導致了行政機關外部監(jiān)管的難度。

最后，司法救濟存在困境。2021 年我國“大數據（算法）殺熟”第一案的判決結果是將殺熟行為認定為欺詐行為，法院對算法的理解程度的淺薄讓法官更偏向于保守的判決，恰好本案原告屬于消費者，法官最終依據《消費者權益保障法》未認定該行為屬于算法歧視行為。但問題在于大部分主體在意識到算法歧視時不屬于消費者的身份，并且在算法歧視有強大的科技公司靠背時，私主體與之對抗的力量過于單薄，極少部分私主體會主動向法院提起訴訟，維權途徑的狹窄和對受害者的高要求兩方面因素讓救濟受到層層阻礙。

四、健全算法歧視下平等權保障機制

在平等權面臨算法歧視挑戰(zhàn)的背景下，形成與算法社會相匹配的平等權保障機制、推動權益保護和算法創(chuàng)新共同發(fā)展尤為重要。有學者預判，在超強算法能力、大數據的影響下，未來十年至二十年法律行業(yè)將迎來巨大變革。

（一）平衡平等權保護和算法創(chuàng)新

當前我們面臨的矛盾是算法權利主體和其他權利主體之間的博弈，有必要尋求二者平衡長遠發(fā)展的支點，既不磨滅算法技術創(chuàng)新的激情，又能增強法律的穩(wěn)定性，保障權利主體的平等權免受算法歧視的危害。[7]這要求既要防范算法權利濫用風險，將其限制在民主法治框架中，涉及到重大公共決策時，應取得權力機關的授權許可，也要在算法公權力制衡基礎上對算法私權力制約，建立起明確的算法設計者、控制人、技術使用者等監(jiān)管機制，明晰算法權利主體的權利與義務。

如上文所述，法律對算法歧視的規(guī)制并非空白，但侵權責任主體極易混淆導致算法權利主體義務缺失。即便是算法自主決策的結果引發(fā)歧視危機，但歸根結底在弱人工智能時代算法開發(fā)者和使用者的控制影響因素是首位的，應當明確區(qū)分算法的開發(fā)者對算法本身內部的責任，算法使用者區(qū)分上層和下層使用者，分別對算法的宏觀結構層面和明顯消極的算法歧視負責。同時，還需要對不同侵權主體承擔的責任類型進行劃分，判斷其行為是違反了刑法規(guī)定還是民法規(guī)定；不同算法行動者之間的分工配合是否構成共同犯罪；承擔的主要法律責任和次要法律責任如何劃分。

（二）賦能算法技術

國家公權力機關在治理算法歧視亂象時陷入算法識別困囿，原因在于智慧化法治社會要求治理主體的專業(yè)性更高、針對性更強。為解決這一困境，有學者主張應該技術賦能，在算法歧視的背景下，我們需要形成算法代碼治理的特殊范式，通過法律治理驅動代碼規(guī)制上升到法律規(guī)范。[8]技術賦能要求我們進行算法數據樣本的預處理。要求增強輸入數據的代表性、平衡性和公平性，以便從根源上使算法的運作滿足法律要求的平等屬性。實踐中有研究學者探究出一種生成公平綜合數據的方法，即對于隨機挑選出的一組數據，都能運用數據合成技術以此數據為基礎再生新的數據，這樣算法無法分辨出任意輸入的數據是真實數據還是虛假數據，避免算法模型過度擬合到非代表性數據。

算法本身的隱蔽性也是產生算法歧視以及我們無法識別出算法歧視問題的因素所在。因此打開算法黑箱、識別不可理解和解釋的算法是打破其中的算法歧視的方法之一。英國議會人工智能委員會報告中指出提高算法的透明度對增強算法的可解釋性尤為重要。我國學者張凌寒指出，自動化決策的算法解釋的內容并非形式上的技術概念，而是實質意義上具有法律意義的程序性要求，她提出了二層次具體解釋內容，包括理由說明層次和行為指引層次。因此在不危及脅迫到企業(yè)商業(yè)發(fā)展和泄露商業(yè)秘密的情況下，讓具備可解釋性的算法在法治的陽光下運行能夠有效保障社會的公平正義。

（三）健全保護平等權法律機制

“社會的進步離不開先進技術的開拓者，更離不開基本價值的守望者?！蓖ㄟ^在立法、行政、司法層面形成適配的法律閉環(huán)有效消除算法歧視對公民平等權的侵害。

第一，構建智能化多元保護平等權的機制。單一的部門法無法滿足對平等權這一基本權利的全方位保障需要，特別在當前新型的算法歧視語境下，亟須構建多元法律保護機制，形成不同部門法之間的聯動全面保障公民的平等權。在平等權保護機制構建過程中，算法飛速發(fā)展的同時，推動在算法治理中立法的科學化、精細化和智能化極為重要，善于利用算法去解決算法自身帶來的歧視問題，將立法工作與算法技術深度融合，通過大數據分析立法過程中存在的問題，增強立法的精確度、科學性和適度超前性。[9]

第二，構建專門的算法歧視監(jiān)管機關。算法黑箱的隱蔽狀態(tài)使行政機關對其監(jiān)管存在真空區(qū)域，而技術層面上的漏洞我們可以通過強化互聯網信息監(jiān)管部門的監(jiān)管職責進行填補，同時可以邀請專家學者和專業(yè)技術人員進行技術輔導援助，適當吸納專業(yè)學者和其他行業(yè)組織的意見建議。行政監(jiān)管部門應當轉變事中監(jiān)管的傳統(tǒng)職責，將監(jiān)管引入到算法運行前，在源頭上打消算法歧視結果產生的可能性，維護真正的公平正義。

第三，建立配套的司法審查機制。由法院充當司法審查機制的主體偏向于事后的救濟機制，需要明確規(guī)定算法歧視的審查標準，算法歧視具有不同類型，大體上可以分為直接歧視和間接歧視兩類，不同的歧視類型對公民的平等權損害程度不同，理應采取不同的審查標準。對于直接歧視，也稱為有意歧視，算法主體需要具備形成歧視的主觀要件，因此可采取目的審查標準，法院通過判斷算法主體是否具備這一前提條件來決定是否應該承擔相應責任。間接歧視是一種無意識的歧視，可能是算法的訓練數據中可能無意間產生歧視，因此法院審查時不應以算法主體的主觀過錯作為承擔責任的要件，而是應該采用效果審查的標準，審查算法決策對社會的負面影響，對公平平等權的侵害程度來裁判算法主體是否應該承擔間接歧視的法律后果。[10]