許亞飛

（天津商業(yè)大學(xué)，天津 300134）

一、算法歧視的概念和表現(xiàn)形式

（一）算法歧視的概念

算法的應(yīng)用場(chǎng)景廣泛，例如新聞推薦、搜索引擎排序、個(gè)人信用評(píng)分以及電子商務(wù)領(lǐng)域、司法裁判領(lǐng)域等，在數(shù)學(xué)與計(jì)算機(jī)科學(xué)領(lǐng)域中算法是一個(gè)專業(yè)術(shù)語，一般指用可數(shù)并確切的操作步驟針對(duì)性的來解決具體的問題。算法在其本質(zhì)上就是解決問題的一種方式，它的運(yùn)算機(jī)理是用數(shù)學(xué)語言建構(gòu)數(shù)字模型來描述實(shí)際現(xiàn)象，是關(guān)于部分現(xiàn)實(shí)世界為某種研究對(duì)象的一種抽象的簡(jiǎn)化數(shù)學(xué)結(jié)構(gòu)。［1］算法歧視其實(shí)在本質(zhì)上與現(xiàn)實(shí)歧視差別不大，它是以算法為媒介在作出自動(dòng)化的決策過程中產(chǎn)生的區(qū)別對(duì)待，且這種差別不具有一定的合理性，兩者不同的地方在于算法歧視的結(jié)果具有系統(tǒng)性的特點(diǎn)。社會(huì)本身就存在的歧視通過數(shù)據(jù)和信息滲入算法這個(gè)數(shù)字結(jié)構(gòu)當(dāng)中，經(jīng)過算法運(yùn)行最終體現(xiàn)在算法結(jié)果中，即形成了算法歧視。現(xiàn)實(shí)歧視以算法為載體表現(xiàn)出不同的類型，如算法性別歧視、算法種族歧視、算法價(jià)格歧視等，它們與性別歧視、種族歧視、價(jià)格歧視等在本質(zhì)上有共通之處，都是對(duì)個(gè)體進(jìn)行不合理的差別對(duì)待。

（二）算法歧視的表現(xiàn)形式

1.就業(yè)歧視

就業(yè)歧視是指在就業(yè)、工作晉升和工資方面使用不合理的標(biāo)準(zhǔn)來規(guī)定，從而產(chǎn)生了差別對(duì)待，這些標(biāo)準(zhǔn)包括性別、民族、宗教等。［2］國(guó)內(nèi)外法律對(duì)于反就業(yè)歧視都有明確的規(guī)定。但是在大數(shù)據(jù)時(shí)代算法深度學(xué)習(xí)技術(shù)廣泛應(yīng)用的情況下，算法也逐漸參與到就業(yè)招聘中來，這種新的招聘方式難免會(huì)帶來就業(yè)歧視。用人單位根據(jù)算法進(jìn)行招聘的面試、雇傭、解聘等流程，對(duì)于該行為有人認(rèn)同，有人反對(duì)，認(rèn)同者認(rèn)為算法招聘可以節(jié)約時(shí)間，提高效率，但反對(duì)者指出算法也會(huì)產(chǎn)生偏見，原則上數(shù)據(jù)并不能完全摒棄偏見，甚至有將此偏見放大或固化的風(fēng)險(xiǎn)，實(shí)踐證明這種情況是存在的。由此看來，在就業(yè)招聘中應(yīng)用算法不能解決就業(yè)歧視，反而增加了新的就業(yè)歧視。

2.價(jià)格歧視

價(jià)格歧視是指在進(jìn)行商品交易過程中，賣方將質(zhì)量相同的商品以不同的價(jià)格出售給買方。價(jià)格歧視現(xiàn)象多發(fā)生在消費(fèi)者身上，賣方也就是企業(yè)想要通過價(jià)格歧視獲取利益需具備一定的條件，首先是企業(yè)在商品市場(chǎng)中具有一定的地位，擁有絕對(duì)的話語權(quán)，能夠以自己的意愿確定商品的價(jià)格，如果企業(yè)無法掌握商品價(jià)格，那自然也談不上價(jià)格歧視；其次是企業(yè)對(duì)消費(fèi)者的消費(fèi)能力和消費(fèi)欲望有一定的了解，對(duì)消費(fèi)者的接受價(jià)格有充分的信息，可以根據(jù)不同的消費(fèi)者對(duì)商品進(jìn)行差別定價(jià)，售賣商品時(shí)對(duì)支付能力高的消費(fèi)者定價(jià)要比支付能力低的消費(fèi)者定價(jià)高，這要求企業(yè)對(duì)消費(fèi)者的支付能力有準(zhǔn)確的預(yù)估；最后企業(yè)還要對(duì)消費(fèi)者低價(jià)購(gòu)買商品進(jìn)行二次出售以賺取差價(jià)的行為有所防范，這種情況會(huì)導(dǎo)致企業(yè)失去支付能力高的那部分消費(fèi)者，從而不能獲得利益以實(shí)現(xiàn)價(jià)格歧視的目的。如此看來，掌握消費(fèi)者的支付能力是構(gòu)成價(jià)格歧視的前提條件，如果不能達(dá)到該條件就無法實(shí)現(xiàn)價(jià)格歧視，而數(shù)據(jù)收集和算法決策恰恰幫企業(yè)解決了這一難題。

二、算法歧視的類型

（一）先天性算法歧視

先天性算法歧視是指算法設(shè)計(jì)者本身就帶有歧視并把歧視體現(xiàn)在算法當(dāng)中。有可能是算法設(shè)計(jì)者在設(shè)計(jì)算法模型的時(shí)候無意識(shí)的將個(gè)人主觀選擇帶入到算法代碼當(dāng)中，使得算法設(shè)計(jì)者的某些偏見和愛好被算法繼承從而產(chǎn)生算法歧視，也有可能是算法設(shè)計(jì)者惡意制造歧視性算法，故意使算法產(chǎn)生歧視后果。比如，在當(dāng)前企業(yè)中應(yīng)用廣泛的“簡(jiǎn)歷篩選算法”，如果企業(yè)想招聘更多的男性職員，那么算法設(shè)計(jì)者在設(shè)計(jì)該算法系統(tǒng)時(shí)就可能設(shè)定許多有利于男性求職者的計(jì)算程序。但仍有許多人認(rèn)為利用算法可以幫助人類避免歧視，因?yàn)樽詣?dòng)決策系統(tǒng)對(duì)每一個(gè)人的適用方式都是統(tǒng)一的，可事實(shí)卻恰恰相反，如果從事系統(tǒng)開發(fā)工作的人員自身帶有偏見和歧視，那么有可能在開發(fā)系統(tǒng)的過程中將偏見和歧視帶入到工作中，盡管他們并沒有歧視的意圖，但在結(jié)果上仍然出現(xiàn)了區(qū)別對(duì)待。而引發(fā)這種問題的主要原因在于人，并不是算法本身，它是被人所操控的工具，事實(shí)上，這種情況的確是存在的，但發(fā)生的概率極低，因?yàn)橐环N算法系統(tǒng)的開發(fā)涉及多個(gè)人員，很難受個(gè)人主觀的干擾，所以即便個(gè)人帶有很強(qiáng)的歧視，但在最后的審查環(huán)節(jié)中，也很快能夠排查出來，避免算法本身存在歧視的可能性。就當(dāng)前對(duì)算法歧視的規(guī)制手段來看，對(duì)算法先天性歧視的規(guī)制從人入手比從算法入手要容易一些，可以培養(yǎng)算法程序設(shè)計(jì)員的社會(huì)責(zé)任感，讓他們?cè)谠O(shè)計(jì)算法之前有意識(shí)規(guī)避自我偏見以免對(duì)算法造成影響。因此，此原因并非造成算法歧視的主要原因，先天性算法歧視也不是法律進(jìn)行規(guī)制的主要對(duì)象，本文將規(guī)制重點(diǎn)放在另一種類型的算法歧視上面，即深度學(xué)習(xí)的算法歧視。

（二）深度學(xué)習(xí)的算法歧視

深度學(xué)習(xí)的算法歧視指算法被設(shè)計(jì)出來后經(jīng)過深度學(xué)習(xí)從而產(chǎn)生帶有歧視的決策結(jié)果，包括數(shù)據(jù)輸入導(dǎo)致的算法歧視和算法系統(tǒng)內(nèi)部運(yùn)行導(dǎo)致的歧視。數(shù)據(jù)輸入之所以是造成算法歧視的一個(gè)重要原因在于算法是以數(shù)據(jù)為支撐的，數(shù)據(jù)是記錄人類行為的工具，算法對(duì)未來進(jìn)行高精度的預(yù)測(cè)前需要輸入大量的數(shù)據(jù)進(jìn)行訓(xùn)練。所以，當(dāng)數(shù)據(jù)輸入存在缺陷時(shí)，如選擇的數(shù)據(jù)不恰當(dāng)、使用不正確或失效的數(shù)據(jù)、數(shù)據(jù)集合表達(dá)片面等，數(shù)據(jù)輸入將引起算法歧視。而算法系統(tǒng)的內(nèi)部運(yùn)行是導(dǎo)致算法歧視的另一重要原因，如果沒有參與算法開發(fā)和設(shè)計(jì)，那么算法系統(tǒng)的內(nèi)部就像一個(gè)“黑箱”，對(duì)它輸入數(shù)據(jù)會(huì)執(zhí)行的一系列復(fù)雜的指令，而輸出結(jié)果卻無法解釋。受算法結(jié)果影響的個(gè)人或群體不理解算法的代碼和模型，或者有所了解但因不熟悉相關(guān)內(nèi)容也無法解惑，而算法系統(tǒng)的開發(fā)者或組織也不對(duì)公眾披露，理由是這些技術(shù)涉及“商業(yè)秘密”，在這樣的情況下，即便要進(jìn)行質(zhì)疑也因?yàn)椴痪邆鋵I(yè)知識(shí)或沒有經(jīng)過專業(yè)的訓(xùn)練而無從下手，況且對(duì)算法結(jié)果負(fù)有解釋說明義務(wù)的組織或個(gè)人正好借此來逃避相關(guān)責(zé)任。

三、算法歧視法律規(guī)制的基本原則

在對(duì)算法歧視進(jìn)行規(guī)制之前，需要明確算法歧視的基本原則，算法歧視的背后實(shí)質(zhì)上是算法公平的缺失，所以其依據(jù)的基本原則和理念是算法公平，通過前文對(duì)規(guī)制對(duì)象算法歧視的分析，從兩個(gè)方面來實(shí)現(xiàn)算法公平，分別是結(jié)果公平和程序公平。在此，與算法歧視問題相對(duì)應(yīng)的是進(jìn)一步確定公平的定義，以便在進(jìn)行法律規(guī)制時(shí)有所體現(xiàn)。公平是社會(huì)重要價(jià)值之一，也是法律所追求的基本價(jià)值之一，公平的存在意味著能夠在不帶有偏見和歧視的情況下對(duì)法律行為作出評(píng)價(jià)并保證權(quán)利義務(wù)的平等。這也正是算法領(lǐng)域內(nèi)公平的應(yīng)有之義，即保證算法運(yùn)算過程的公平公正和運(yùn)算結(jié)果的公開透明，以此保持算法涉及到的多方利益的平衡和權(quán)力的對(duì)等。

算法運(yùn)算結(jié)果公平也就是要求算法的輸出結(jié)果公平，因?yàn)槭芩惴Q策影響的對(duì)象有個(gè)體和群體之分，所以從這兩個(gè)角度來討論算法運(yùn)算結(jié)果公平是比較合理的。算法中的個(gè)體公平，是指算法進(jìn)行個(gè)性化的探討，其運(yùn)行時(shí)使用并作出判定的數(shù)據(jù)內(nèi)容分別來自條件相近的個(gè)體，再比較個(gè)體化之間的差異，該情況下的公平理論對(duì)個(gè)體之間的分類要求更高更嚴(yán)謹(jǐn)，需要根據(jù)行業(yè)規(guī)定的特定的標(biāo)準(zhǔn)對(duì)個(gè)體進(jìn)行分類，并不是簡(jiǎn)單的依靠人口數(shù)量的比例及其相關(guān)性。算法中的群體公平則與算法的個(gè)體公平相反，不再?gòu)膫€(gè)性化的角度進(jìn)行探討，而是直接以人數(shù)的多少來確定各自的份額，對(duì)少數(shù)族群與多數(shù)族群以人口比例為標(biāo)準(zhǔn)作出與之相符的決定。所以群體公平主要強(qiáng)調(diào)群體之間概率上的公平，而個(gè)體公平著重于算法運(yùn)算結(jié)果對(duì)相關(guān)個(gè)體產(chǎn)生的影響是否公平。

算法運(yùn)行過程公平也稱為算法的程序公平，這里的程序包括從輸入到運(yùn)行再到輸出的整個(gè)過程，該過程具體來講有輸入數(shù)據(jù)之前對(duì)數(shù)據(jù)的篩選，輸入訓(xùn)練數(shù)據(jù)后算法運(yùn)行的透明度與可見性，運(yùn)行結(jié)束后對(duì)算法決策的監(jiān)管，這一系列操作均要以公平為原則。算法的這種理想狀態(tài)需要其運(yùn)行過程保持充分的透明性和可解釋性，為算法決策的公信力保駕護(hù)航，值得注意的是，算法中的公平除了是對(duì)單個(gè)群體或者個(gè)體權(quán)利義務(wù)的調(diào)整和救濟(jì)外，還要求整體利益的平衡，因?yàn)樗惴ㄡ槍?duì)的不是某一個(gè)人或某一組織，算法決策也不僅僅關(guān)系到單個(gè)群體的利益，而是整個(gè)算法領(lǐng)域內(nèi)的所有相關(guān)者。

算法結(jié)果涉及有關(guān)主體的具體特征，但如果對(duì)結(jié)果過度關(guān)注而忽略了過程中各個(gè)環(huán)節(jié)對(duì)算法用戶的影響，那容易導(dǎo)致另外一種微觀層面的不公平，所以，算法對(duì)公平性的要求不僅僅是群體特征篩選或人口統(tǒng)計(jì)，法律中公平的存在也不是狹義的人人平等，判斷算法是否公平主要在于對(duì)算法決策做出后引起的一系列權(quán)利義務(wù)關(guān)系的變動(dòng)提供具有公信力的證據(jù)，即證據(jù)來源可查，算法運(yùn)行可解釋，對(duì)算法結(jié)果不公正進(jìn)行救濟(jì)。而算法程序公平中涉及到的數(shù)據(jù)源頭篩選、算法程序的可解釋性、決策后救濟(jì)的實(shí)現(xiàn)可能性對(duì)保障算法公平具有更高的可操作性，可以避免對(duì)個(gè)體結(jié)果的過度關(guān)注，實(shí)現(xiàn)算法程序的透明性。因此，要把算法公平原則貫徹于算法歧視法律規(guī)制的各個(gè)環(huán)節(jié)中，尤其是算法程序公平理念的實(shí)現(xiàn)，更加有助于避免算法歧視的產(chǎn)生。

四、算法歧視法律規(guī)制的路徑

（一）規(guī)制數(shù)據(jù)輸入導(dǎo)致的歧視

1.數(shù)據(jù)清潔制度

算法的良好運(yùn)行與數(shù)據(jù)的優(yōu)劣有著重要的聯(lián)系，甚至可以說是數(shù)據(jù)決定了算法，所以我們有必要在算法進(jìn)行數(shù)據(jù)訓(xùn)練和決策之前處理好數(shù)據(jù)問題，而解決該問題的措施就是建立數(shù)據(jù)清潔制度。數(shù)據(jù)清潔主要包括以下幾個(gè)方面：一是排除具有顯著歧視性特征的數(shù)據(jù)。所謂顯著歧視性特征是指諸如種族、性別、年齡等明顯帶歧視性的特點(diǎn)，這種類型的數(shù)據(jù)用于算法之中極易造成歧視的結(jié)果，所以排除具有顯著歧視性特征的數(shù)據(jù)，有利于規(guī)避算法歧視；第二個(gè)方面是禁止使用含有隱形歧視的數(shù)據(jù)。隱形歧視通過算法分析仍然能夠體現(xiàn)在決策中，應(yīng)當(dāng)進(jìn)行清理，不允許其參與算法模型的訓(xùn)練。客觀來說，數(shù)據(jù)清潔會(huì)對(duì)算法決策的準(zhǔn)確性造成一定的影響，但該舉措?yún)s可以減少算法歧視的產(chǎn)生，避免算法歧視對(duì)公民產(chǎn)生不利的影響，使公民享有平等保護(hù)的基本權(quán)利，不能以犧牲權(quán)利為代價(jià)來追求算法決策的準(zhǔn)確性，算法設(shè)計(jì)的初衷也不是讓人們?cè)馐懿黄降鹊膮^(qū)別對(duì)待，我們?cè)谧非笏惴Q策的準(zhǔn)確性時(shí)應(yīng)該把算法價(jià)值放在第一位，確保算法公平的基本原則。從這個(gè)意義上來說，數(shù)據(jù)清潔制度的建立至關(guān)重要，能夠有效針對(duì)算法自動(dòng)化決策中存在的差別待遇歧視，保證算法決策的公平。

2.保證數(shù)據(jù)的透明性和可查性

根據(jù)數(shù)據(jù)集的收集、篩選和處理過程，數(shù)據(jù)可查主要從三個(gè)角度著手，首先是數(shù)據(jù)來源。機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)獲取方式主要有：爬蟲抓取、數(shù)據(jù)庫下載、數(shù)字化非電子數(shù)據(jù)和授權(quán)取得。［3］為了便于后期審查，算法設(shè)計(jì)者要對(duì)數(shù)據(jù)來源進(jìn)行全面細(xì)致的記錄，包括數(shù)據(jù)取得方法、數(shù)據(jù)類型、數(shù)量等，此外還要保證數(shù)據(jù)的合法性。其次是數(shù)據(jù)內(nèi)容。對(duì)于獲取的數(shù)據(jù)，要確保原始數(shù)據(jù)的完整性，不能出現(xiàn)缺失或丟失等現(xiàn)象，以便保證其客觀性和真實(shí)性。最后是數(shù)據(jù)處理。收集到的數(shù)據(jù)不能直接用于算法訓(xùn)練，還要經(jīng)過篩選、清潔、標(biāo)注、特征選擇等一系列處理過程，這些處理過程都需要算法設(shè)計(jì)者一一詳細(xì)記錄，包括處理的步驟、原因、方式等，以確保每一個(gè)數(shù)據(jù)處理過程都可查。

（二）規(guī)制算法系統(tǒng)內(nèi)部運(yùn)行導(dǎo)致的歧視

1.算法透明

算法不透明影響算法公平，這是因?yàn)樗惴ú煌谝话愕牟还浆F(xiàn)象，對(duì)待一般性不公現(xiàn)象的措施不適用于算法當(dāng)中，比如當(dāng)人們認(rèn)為政府的某些行為不公平時(shí)，可以采取行政訴訟的方法，當(dāng)人們認(rèn)為法官的裁判不公正時(shí)，可以提起上訴，這些不公平不公正的決策行為有正當(dāng)程序來保證其透明度，可以得到一定程度上相當(dāng)透明的審查監(jiān)督，但算法卻不能。而算法不透明之所以造成算法不公，主要原因在于算法的運(yùn)行和決策是在一個(gè)“黑箱”中進(jìn)行的，不僅使得普通人無法理解它的具體內(nèi)容，就連相關(guān)的算法設(shè)計(jì)者都不能理解，人們對(duì)算法決策系統(tǒng)產(chǎn)生疑問的根本在于這一系統(tǒng)最后一般僅輸出一個(gè)確定的數(shù)字或結(jié)果，卻無從得知算法系統(tǒng)作出這一決策的具體過程和理由以及在過程中涉及到的有關(guān)材料等，而在傳統(tǒng)的決策中即政府作出事件的處理結(jié)果、法官判決案件之前，都要公開具體的論證過程和鮮明的論點(diǎn)，公眾也可以進(jìn)行審閱，但是算法決策系統(tǒng)運(yùn)行卻與之相反，普通人對(duì)算法的原理和內(nèi)容都不了解，算法決策系統(tǒng)的復(fù)雜性使得其在輸出結(jié)果之前就連相關(guān)工作人員也不能完全掌握它的運(yùn)行邏輯，更不用說一些涉及商業(yè)秘密和國(guó)家秘密的算法代碼，企業(yè)將算法歸于商業(yè)秘密或私人所有物，最終導(dǎo)致算法結(jié)果無從解釋，從而算法歧視產(chǎn)生。

增加算法透明以降低算法歧視是可行的，可以通過多種途徑來加強(qiáng)算法決策系統(tǒng)的透明度，如公開算法運(yùn)行的具體過程，并且向公眾披露使用何種方法設(shè)計(jì)該算法以及算法設(shè)計(jì)的最終目的，將算法從設(shè)計(jì)、運(yùn)行、決策的各個(gè)過程都公開，以最大限度的提高算法透明度。但在算法公開時(shí)可能涉及到個(gè)人隱私、商業(yè)秘密或國(guó)家秘密，對(duì)于這種算法，可以允許其不公開，但必須有充分的理由說明不公開的原因。

2.算法審查

通過對(duì)算法的全面審查可以使其暴露隱藏的歧視風(fēng)險(xiǎn)，而算法涉及到的不是單一的利益，是各方面不同利益主體的縱橫交錯(cuò)，所以審核制度的設(shè)定要滿足各方的利益平衡，不僅僅是讓平等公正簡(jiǎn)單的優(yōu)先于效率、安全、經(jīng)濟(jì)效益等價(jià)值，而且需要努力平衡復(fù)雜的利益關(guān)系。算法審查重點(diǎn)圍繞主體和標(biāo)準(zhǔn)進(jìn)行規(guī)范。

算法審查的主體是相對(duì)獨(dú)立的第三方機(jī)構(gòu)，因?yàn)榈谌姜?dú)立機(jī)構(gòu)進(jìn)行算法審查比設(shè)計(jì)者的自我審查更加具有客觀性，開發(fā)者的自我審查難以取信于公眾，但面向公眾袒露技術(shù)細(xì)節(jié)可能對(duì)公共安全、商業(yè)秘密等造成負(fù)擔(dān)，［4］所以比較好的處理方法是找一個(gè)具有算法技術(shù)能力且沒有利益沖突的第三方機(jī)構(gòu)在算法投入使用前以及算法系統(tǒng)運(yùn)行過程中進(jìn)行審查，算法設(shè)計(jì)者或數(shù)據(jù)控制者只在必要的范圍內(nèi)對(duì)審查主體公開算法技術(shù)。算法審查的標(biāo)準(zhǔn)為差別性影響是否具有正當(dāng)性。若算法運(yùn)行結(jié)果具有差別性影響，應(yīng)確認(rèn)算法系統(tǒng)的運(yùn)行邏輯是否合理，算法模型中使用的條件是否適合并且不超出合理范圍。

3.算法歧視影響評(píng)估制度

不論是算法本身還是算法系統(tǒng)的決策場(chǎng)景，很難明顯的判斷算法歧視的存在與否，歧視的高度隱蔽性再加上算法模型的遮掩使得歧視的判斷和識(shí)別愈發(fā)困難，算法歧視影響評(píng)估制度能夠很好的解決這一困境，該制度是指對(duì)算法產(chǎn)生歧視的可能性進(jìn)行評(píng)估，尤其是算法是否對(duì)特別群體差別對(duì)待進(jìn)而作出不合理的決策。算法歧視影響評(píng)估制度的構(gòu)建要結(jié)合我國(guó)算法歧視的規(guī)制現(xiàn)狀和算法系統(tǒng)的運(yùn)行原理，其中算法歧視影響評(píng)估的主體要確保評(píng)估價(jià)值，保持中立，不能偏頗，選擇合適的專業(yè)評(píng)估機(jī)構(gòu)進(jìn)行評(píng)估；算法歧視影響評(píng)估制度要優(yōu)先適用于核心領(lǐng)域；算法歧視影響評(píng)估指標(biāo)要全面，結(jié)合算法的特殊性來確定，包括算法結(jié)構(gòu)的復(fù)雜性、算法設(shè)計(jì)目的、影響主體、影響范圍、影響程度、涉及數(shù)據(jù)和個(gè)人信息的敏感程度等，對(duì)高風(fēng)險(xiǎn)的算法應(yīng)用場(chǎng)景類型進(jìn)行評(píng)估；算法歧視影響評(píng)估報(bào)告要對(duì)外披露。算法歧視影響評(píng)估是為了避免算法歧視的產(chǎn)生，所以對(duì)某一算法模型以特殊方式進(jìn)行評(píng)估的報(bào)告要向算法決策的影響對(duì)象披露；算法歧視影響評(píng)估需要多方協(xié)同。公眾參與算法歧視影響評(píng)估是對(duì)算法評(píng)估活動(dòng)公正透明的重要保障，在進(jìn)行評(píng)估活動(dòng)時(shí)，應(yīng)以政府為主導(dǎo)，與高校和科研機(jī)構(gòu)、非政府組織以及具有一定的專業(yè)知識(shí)背景并受到算法決策影響的公眾一起展開協(xié)作，構(gòu)建開放型的多元化評(píng)估協(xié)同機(jī)制。

（三）構(gòu)建算法問責(zé)體系

對(duì)于算法歧視產(chǎn)生的結(jié)果，可以根據(jù)侵權(quán)法的有關(guān)規(guī)定來進(jìn)行處理。在經(jīng)濟(jì)學(xué)中侵權(quán)行為必須賠償?shù)闹饕蛟谟凇敖o人們正確的誘因，不要做出對(duì)他人構(gòu)成成本的事情”。［5］我們可以從受害者的救濟(jì)和侵權(quán)者的追責(zé)兩方面來討論算法問責(zé)的具體內(nèi)容。

1.受害者的救濟(jì)

監(jiān)管部門可以通過鼓勵(lì)算法控制者采取合理舉措來進(jìn)行救濟(jì)，以此保證受害者能夠進(jìn)行實(shí)際的反饋、質(zhì)疑和救濟(jì)，而不是出現(xiàn)無處救濟(jì)的現(xiàn)象。更有學(xué)者指出，集體訴訟制度可以有效應(yīng)對(duì)算法歧視的問題，并且其訴訟成本更小，訴訟效率更高，更能保護(hù)受害者的合法權(quán)益，所以可以引入集體訴訟制度。［6］由于算法歧視的影響群體廣泛，在一些案件中受到影響的人數(shù)量比較多，而且與算法歧視有關(guān)的法律問題更加復(fù)雜，如果個(gè)人訴訟的話成本比普通案件的要高，集體訴訟可以幫助這些案件的受害者們挽回?fù)p失。集體訴訟制度是一種共同訴訟機(jī)制，相較于個(gè)人訴訟更加靈活，比如，每一個(gè)受算法歧視影響的個(gè)人都有提起訴訟的權(quán)利，而且在案件庭審中可以選舉代表出席，沒有出庭的人員可以自主決定對(duì)案件審判結(jié)果的接受與否，訴訟費(fèi)用根據(jù)全體受害者損失的大小合理分配。［7］

當(dāng)公民遭受到算法歧視時(shí)很難像其他侵權(quán)行為一樣進(jìn)行私力救濟(jì)，因?yàn)樗惴ㄆ缫暤碾[蔽性和復(fù)雜性使得人們無法理解算法決策的運(yùn)行過程，而且算法的應(yīng)用范圍廣泛，應(yīng)用模式呈現(xiàn)機(jī)制化，一個(gè)算法模型可以被用于多個(gè)不同的場(chǎng)景，從而造成了算法歧視的危害結(jié)果具有規(guī)?；奶攸c(diǎn)。而引入集體訴訟制度可以改變算法歧視受害者和算法系統(tǒng)控制者在權(quán)利方面的差距，平衡兩者之間的數(shù)字鴻溝。當(dāng)然集體訴訟制度的運(yùn)用有前置程序的規(guī)定，即算法歧視受害者在提起集體訴訟之前要先向算法控制者書面請(qǐng)求其對(duì)引起歧視的算法進(jìn)行解釋，要求算法控制者對(duì)算法系統(tǒng)的運(yùn)行過程和結(jié)果予以說明。若算法受害者和算法控制者之間協(xié)商和解，則無需啟動(dòng)集體訴訟程序，否則算法歧視的受害者向法院提起集體訴訟就正當(dāng)合理。

2.侵權(quán)者的追責(zé)

在追責(zé)之前需要明確責(zé)任主體、歸責(zé)原則、責(zé)任方式等問題，具體來講：責(zé)任主體為算法設(shè)計(jì)者和算法使用者，他們要對(duì)算法歧視產(chǎn)生的侵權(quán)結(jié)果承擔(dān)相應(yīng)的責(zé)任。就算法設(shè)計(jì)者而言，數(shù)據(jù)公開和算法解釋是其應(yīng)負(fù)有的義務(wù)，尤其注重對(duì)數(shù)據(jù)內(nèi)容和數(shù)據(jù)特征選擇理由進(jìn)行解釋。而在與算法決策影響對(duì)象的聯(lián)系上，算法使用者相比算法設(shè)計(jì)者更加緊密，更容易導(dǎo)致算法歧視的結(jié)果。在使用算法的過程中，禁止實(shí)施損害公眾利益的行為，也不允許算法使用者明知算法具有歧視性，但為了自身利益仍然將其投入使用，從而致使更多的損害結(jié)果。

對(duì)于算法歧視的歸責(zé)原則，本文認(rèn)為選擇無過錯(cuò)原則作為算法歧視的歸責(zé)原則使算法歧視風(fēng)險(xiǎn)承擔(dān)更具合理性。盡管我們已經(jīng)采取多種方法來降低算法黑箱的影響，但依舊不能完全消除其影響，所以當(dāng)算法系統(tǒng)的自動(dòng)化決策產(chǎn)生歧視時(shí)，將原因直接歸咎于算法開發(fā)者或使用者也難以實(shí)現(xiàn)。在算法模型的運(yùn)行過程中，不論算法控制者主觀上有無過錯(cuò)，注意義務(wù)履行與否，都不排除產(chǎn)生歧視的可能性，綜合這種情況，確定算法歧視歸責(zé)原則時(shí)不以行為人的主觀過錯(cuò)為主要依據(jù)。

就責(zé)任方式而言，如果算法歧視對(duì)他人利益造成了損害，那么受害者有權(quán)向責(zé)任主體請(qǐng)求損害賠償。若責(zé)任主體是算法設(shè)計(jì)者，算法使用者在承擔(dān)賠償責(zé)任后有權(quán)向算法設(shè)計(jì)者追償，反之亦然。若是在算法歧視產(chǎn)生實(shí)質(zhì)性損害的過程中發(fā)現(xiàn)問題，此時(shí)算法設(shè)計(jì)者和算法使用者要及時(shí)實(shí)施補(bǔ)救措施，如暫停使用算法、停止使用、對(duì)算法已經(jīng)作出的決策不再執(zhí)行等。如果不積極實(shí)施補(bǔ)救措施，那么算法設(shè)計(jì)者和使用者要承擔(dān)相應(yīng)的侵權(quán)責(zé)任。由于算法運(yùn)行結(jié)果的產(chǎn)生以自動(dòng)化為主要方式，所以設(shè)計(jì)者沒有主觀過錯(cuò)的，不承擔(dān)侵權(quán)責(zé)任。