[摘要]算法歧視是人工智能自動(dòng)化決策中，由數(shù)據(jù)分析導(dǎo)致的對(duì)特定群體的，系統(tǒng)的、可重復(fù)的、不公正對(duì)待。算法歧視正在人工智能技術(shù)應(yīng)用的多個(gè)場域出現(xiàn)，對(duì)受害群體及整個(gè)社會(huì)有著多重不利影響。為了維護(hù)平等與公正的社會(huì)秩序，有必要對(duì)算法歧視進(jìn)行法律規(guī)制。作為人工智能法律規(guī)制的先行者，在應(yīng)對(duì)人工智能算法歧視方面，歐盟選擇了以數(shù)據(jù)保護(hù)為中心的規(guī)制模式，而美國選擇了以算法責(zé)任為中心的規(guī)制模式。我國正處于人工智能法律規(guī)制的草創(chuàng)階段，在今后的法治實(shí)踐中，可由算法理念、算法技術(shù)、算法審查和算法問責(zé)四個(gè)方面著手，完善我國的人工智能算法歧視法律規(guī)制框架。

[關(guān) 鍵 詞]大數(shù)據(jù) ?人工智能 ?算法歧視 ?數(shù)據(jù)保護(hù) ?算法責(zé)任

[作者簡介]章小杉（1991—），女，湖北浠水人，武漢大學(xué)法學(xué)院博士研究生，研究方向?yàn)閼椃▽W(xué)與行政法學(xué)。

[中圖分類號(hào)]D920.4 ? ?[文獻(xiàn)標(biāo)識(shí)碼]A ? ?[文章編號(hào)]1008-7672（2019）06-0063-10

進(jìn)入大數(shù)據(jù)時(shí)代后，機(jī)器學(xué)習(xí)重新成為計(jì)算機(jī)科學(xué)的重點(diǎn)課題。通過對(duì)大數(shù)據(jù)的挖掘與分析，以及算法的不斷生成與優(yōu)化，機(jī)器逐漸具備了足夠與人相媲美的智能，亦即現(xiàn)代人熟知的人工智能（Artificial Intelligence）。毫無疑問，以大數(shù)據(jù)為驅(qū)動(dòng)、以算法為核心的人工智能正在深刻地改變著人類社會(huì)。人工智能一方面給人類社會(huì)帶來前所未有的技術(shù)紅利，另一方面也蘊(yùn)藏著多重風(fēng)險(xiǎn)和不確定性。國務(wù)院于2017年7月8日印發(fā)的《新一代人工智能發(fā)展規(guī)劃》指出，人工智能是影響面甚廣的顛覆性技術(shù)，在大力發(fā)展人工智能的同時(shí)，必須高度重視可能帶來的安全風(fēng)險(xiǎn)挑戰(zhàn)，確保人工智能安全、可靠、可控發(fā)展。有學(xué)者總結(jié)了人工智能給人類社會(huì)帶來的五種風(fēng)險(xiǎn)，即倫理風(fēng)險(xiǎn)、極化風(fēng)險(xiǎn)、規(guī)制風(fēng)險(xiǎn)、異化風(fēng)險(xiǎn)及責(zé)任風(fēng)險(xiǎn)。？譹？訛算法歧視（Algorithmic Discrimination）正是人工智能技術(shù)應(yīng)用不可忽視的風(fēng)險(xiǎn)之一，其不僅侵犯了社會(huì)個(gè)體的平等權(quán)利，違背了平等與公正的價(jià)值理念，而且會(huì)令特定群體進(jìn)一步邊緣化，加劇人類社會(huì)的分化與不平等。為了維護(hù)平等與公正的社會(huì)秩序，必須從法律層面對(duì)算法歧視進(jìn)行規(guī)制。作為人工智能法律治理的先行者，在算法歧視法律規(guī)制方面，歐盟和美國發(fā)展出了各具特色的規(guī)制模式，能夠?yàn)橥晟莆覈惴ㄆ缫暦梢?guī)制提供一些啟示。

一、 算法歧視的定義與表現(xiàn)

隨著人工智能深入介入人的生活，算法歧視等負(fù)面效果漸次浮現(xiàn)，？譹？訛學(xué)界亦積極探求規(guī)制算法歧視的法律路徑。？譺？訛在探討算法歧視的法律規(guī)制路徑之前，有必要了解算法歧視的定義與表現(xiàn)。迄今為止，算法歧視并沒有科學(xué)且通用的定義。因而，理解算法歧視，宜從算法和歧視兩個(gè)概念分別著手。眾所周知，算法是人工智能的核心，如果將人工智能視為大數(shù)據(jù)的輸入與數(shù)據(jù)分析結(jié)果的輸出，那么算法就是將輸入值（Inputs）轉(zhuǎn)化為輸出值（Outputs）的關(guān)鍵步驟。？譻？訛事實(shí)上，以大數(shù)據(jù)為節(jié)點(diǎn)，可將算法分為兩種：一種是使用人類定義的模型分析數(shù)據(jù)的算法，另一種是由大數(shù)據(jù)生成和選擇模型的算法。前一種算法可人工完成，其計(jì)算結(jié)果完全可預(yù)測，同樣的輸入值會(huì)得出同樣的輸出值;后一種算法不會(huì)自動(dòng)使用人類定義的模型，而是從大數(shù)據(jù)里生成和選擇模型，此類算法有自主學(xué)習(xí)的能力，可在運(yùn)作中自動(dòng)優(yōu)化模型。？譼？訛對(duì)符合特定條件的申請(qǐng)者適用加分政策，根據(jù)申請(qǐng)者的總分情況決定是否錄取，？譽(yù)？訛屬于前一種算法;由海量再犯數(shù)據(jù)的讀取和分析，總結(jié)類似罪犯群體再犯風(fēng)險(xiǎn)，再針對(duì)被告人的數(shù)據(jù)和信息，作出再犯風(fēng)險(xiǎn)評(píng)估和量刑建議，？譾？訛屬于后一種算法。兩種算法風(fēng)險(xiǎn)的可控性截然不同，今日人們所說的人工智能算法歧視，多指后一種算法導(dǎo)致的歧視。

除算法外，歧視也是一個(gè)關(guān)鍵概念。歧視雖然不似算法般不可捉摸，卻也沒有國際通用的定義標(biāo)準(zhǔn)。盡管如此，學(xué)界公認(rèn)，歧視與平等互為對(duì)立面，歧視構(gòu)成對(duì)平等權(quán)的侵犯。在國際人權(quán)法中，歧視有三個(gè)構(gòu)成要件：一是存在差別對(duì)待，二是差別對(duì)待導(dǎo)致不良后果，三是差別對(duì)待的理由為法律所禁止。？譿？訛基于性別、種族、宗教、遺傳特征、殘疾、年齡及性取向而給予不公正待遇通常會(huì)被認(rèn)定為歧視。歐洲人權(quán)法院在D.H. and Others v. the Czech Republic案中將歧視定義為“在缺乏客觀且合理依據(jù)的情況下，對(duì)處于相同情況的人給予不同的待遇”，并指出“對(duì)情況相同者給予不同待遇”“對(duì)情況不同者給予同等待遇”“形式平等而實(shí)質(zhì)不平等”都會(huì)構(gòu)成歧視。？讀？訛美國法院在判例中確定了歧視案件審查三步曲：一是審查差別對(duì)待是否存在，二是查明差別對(duì)待出于何種理由，并據(jù)此選擇適用的審查基準(zhǔn)，三是運(yùn)用特定的審查基準(zhǔn)審查差別對(duì)待的合理性。？讁？訛我國雖未積累大量平等權(quán)案例，但是學(xué)界亦接受，歧視可理解為“缺乏合理依據(jù)的差別對(duì)待”。？輥？輮？訛結(jié)合算法與歧視的概念，可將人工智能算法歧視定義為“由數(shù)據(jù)分析導(dǎo)致的對(duì)特定群體的系統(tǒng)性的、可重復(fù)的不公正對(duì)待”。？輥？輯？訛由于是計(jì)算機(jī)在讀取、收集與分析數(shù)據(jù)時(shí)自動(dòng)產(chǎn)生的，算法歧視有時(shí)也被稱作自動(dòng)化歧視（Automated Discrimination），亦即數(shù)據(jù)分析導(dǎo)致的對(duì)特定群體的不公正對(duì)待。？輥？輰？訛

雖然當(dāng)下人類處于弱人工智能階段，人工智能技術(shù)應(yīng)用的場域有限，但是人工智能算法歧視已經(jīng)在多個(gè)領(lǐng)域顯現(xiàn)出來。在電子商務(wù)領(lǐng)域，“算法殺熟”或曰“大數(shù)據(jù)殺熟”——網(wǎng)絡(luò)交易平臺(tái)通過分析客戶的消費(fèi)及瀏覽記錄，以機(jī)器算法來了解消費(fèi)者的喜好與習(xí)慣，并且根據(jù)用戶情況對(duì)同一商品給予不同報(bào)價(jià)，常用客戶被給予更高的報(bào)價(jià)——即是明顯的價(jià)格歧視。在就業(yè)領(lǐng)域，亞馬遜公司用來篩選潛在雇員的算法系統(tǒng)，被發(fā)現(xiàn)更加青睞男性求職者，被指歧視女性求職者，？譹？訛以通勤時(shí)間篩選潛在雇員的算法系統(tǒng)，自動(dòng)排除通勤時(shí)間長的申請(qǐng)者，導(dǎo)致歧視居住在商業(yè)中心之外的低收入少數(shù)族裔。？譺？訛在金融信貸領(lǐng)域，某些網(wǎng)絡(luò)信貸平臺(tái)算法向遭遇經(jīng)濟(jì)危機(jī)的人及低收入人群收取更高的貸款利息。？譻？訛在刑事司法領(lǐng)域，美國法院用來評(píng)估被告人再犯風(fēng)險(xiǎn)并據(jù)以給出量刑建議的算法系統(tǒng)被發(fā)現(xiàn)歧視黑人——黑人被評(píng)估為有高再犯風(fēng)險(xiǎn)的幾率為白人的兩倍，英國警方用來輔助作出羈押決定的算法系統(tǒng)也被發(fā)現(xiàn)歧視低收入人群——居住在低收入社區(qū)的人有更大概率被建議羈押。？譼？訛以上實(shí)例并未窮盡算法歧視的情形，隨著人工智能技術(shù)的擴(kuò)大化應(yīng)用，算法歧視問題還將在其他領(lǐng)域顯現(xiàn)，對(duì)公正的社會(huì)秩序造成沖擊。當(dāng)下，國家已將發(fā)展人工智能列為提升國家競爭力、維護(hù)國家安全的重大戰(zhàn)略，人工智能將被應(yīng)用到教育、醫(yī)療、養(yǎng)老、司法、物流、金融、商務(wù)等行業(yè)和領(lǐng)域。為了維護(hù)公正的社會(huì)秩序，算法歧視問題值得引起各界的重視。

（一） 算法歧視法律規(guī)制的理念之維

規(guī)制算法歧視的首要前提是承認(rèn)算法歧視的客觀存在。必須承認(rèn)的是，在大數(shù)據(jù)時(shí)代，即使算法開發(fā)者沒有主觀歧視意圖，依然可能出現(xiàn)算法歧視的結(jié)果，而如果算法運(yùn)營者和監(jiān)管者覺察不到算法歧視的存在，算法歧視就會(huì)對(duì)特定弱勢群體造成實(shí)質(zhì)性的損害。？譾？訛因而，在理念層面，規(guī)制算法歧視，首先要確立算法公正（Fair Algorithm）的宏觀指導(dǎo)原則。事實(shí)上，平等作為原則和權(quán)利，早已載入各種法律，在人工智能技術(shù)應(yīng)用場域，確立算法公正原則是對(duì)法律規(guī)定的自覺服從。算法的開發(fā)者、監(jiān)管者和運(yùn)營者都應(yīng)具備算法公正的自覺意識(shí)，并將這種意識(shí)帶入與算法相關(guān)的工作之中。公民平等權(quán)益保護(hù)機(jī)構(gòu)亦應(yīng)加大執(zhí)法力度，確保公民的合法權(quán)益不受算法歧視的非法侵害。其次，要在具體領(lǐng)域明確算法公正的實(shí)施規(guī)則。如學(xué)者指出，人工智能在電子商務(wù)、精準(zhǔn)醫(yī)療和自動(dòng)駕駛等領(lǐng)域有廣泛的應(yīng)用和實(shí)踐，法律在這些領(lǐng)域的規(guī)制方法、手段、強(qiáng)度和密度應(yīng)當(dāng)存有差異，因?yàn)槿斯ぶ悄芊梢?guī)制的具體目標(biāo)在不同的場域各不相同。？譹？訛有學(xué)者建議，結(jié)合具體領(lǐng)域的實(shí)際情況，限制算法黑箱的應(yīng)用及確立算法的準(zhǔn)入標(biāo)準(zhǔn)。？譺？訛再次，應(yīng)當(dāng)重視人的因素，保證人的參與（keep human in the loop）。？譻？訛算法的發(fā)明和應(yīng)用，旨在將人從繁重而復(fù)雜的工作中解放出來，然而，這并不代表人的因素不再重要，恰恰相反，人的監(jiān)管對(duì)于算法歧視的規(guī)制至關(guān)重要，因?yàn)槿四苡X察機(jī)器注意不到的歧視問題。換言之，人必須是算法的立法者和控制者，法律的算法和算法的法律不應(yīng)成為一個(gè)閉環(huán)，它們之間，必須有人作為起點(diǎn)和終點(diǎn)。？譼？訛

（二） 算法歧視法律規(guī)則的技術(shù)之維

有學(xué)者指出，為了保障人的權(quán)益，應(yīng)當(dāng)加強(qiáng)法律對(duì)技術(shù)的歸化。？譽(yù)？訛事實(shí)上，這正是國外計(jì)算機(jī)科學(xué)家與社會(huì)科學(xué)家共同努力的方向。為確保算法自動(dòng)化決策公正、透明且可問責(zé)，科學(xué)家已經(jīng)在探尋規(guī)制算法歧視的技術(shù)路徑，主要包括“有反歧視意識(shí)的數(shù)據(jù)挖掘技術(shù)”（Discrimination-Aware Data Mining，簡稱“DADM”）和“公正、負(fù)責(zé)及透明機(jī)器學(xué)習(xí)”（Fairness， Accountability and Transparency in Machine Learning， FATML），雖然目前仍然在探索中，但這種技術(shù)路徑的原理在于改變常用的數(shù)據(jù)科學(xué)過程以糾正算法偏見，這種技術(shù)可在運(yùn)作前、運(yùn)作中和運(yùn)作后有效應(yīng)對(duì)算法歧視問題。？譾？訛從技術(shù)層面規(guī)制算法歧視，首先要研發(fā)及應(yīng)用有反歧視意識(shí)的算法技術(shù)。對(duì)于計(jì)算機(jī)科學(xué)家而言，開發(fā)有反歧視意識(shí)的算法系統(tǒng)并非不可能之事，但關(guān)鍵在于理解法律所定義的非法歧視，并將法律化的技術(shù)倫理內(nèi)化于算法技術(shù)之中，而這需要法學(xué)家和科學(xué)家通力合作，研發(fā)出合乎法律倫理和技術(shù)可能性的公正算法。？譿？訛再者，數(shù)據(jù)是人類社會(huì)的鏡像，算法是人類價(jià)值的載體，許多人類社會(huì)的價(jià)值可經(jīng)由算法設(shè)計(jì)者進(jìn)入人工智能，即是說，加強(qiáng)算法科技人員的倫理意識(shí)教育也是應(yīng)對(duì)算法歧視問題的一個(gè)重要途徑。？讀？訛在國外，已有許多高校開設(shè)了技術(shù)倫理課程，在今后，國內(nèi)高校亦可考慮開設(shè)此類課程，以使公正價(jià)值由算法設(shè)計(jì)者進(jìn)入人工智能。在此思路下，增強(qiáng)研發(fā)人員及訓(xùn)練數(shù)據(jù)的多樣性亦可有效糾正算法偏見和歧視。？讁？訛

（三） 算法歧視法律規(guī)制的審查之維

隨著數(shù)據(jù)清潔和算法透明不足性的出現(xiàn)，算法審查成為學(xué)界推薦的規(guī)制算法歧視的首要策略。算法不中立，因而須為其造成的損害承擔(dān)責(zé)任;而要算法承擔(dān)責(zé)任，對(duì)算法的審查就是必不可少的。通常而言，算法審查應(yīng)當(dāng)包含三個(gè)維度：自我審查、行業(yè)監(jiān)督和行政監(jiān)管。就自我審查而言，美國《算法責(zé)任法案》要求的企業(yè)自行作出歧視風(fēng)險(xiǎn)評(píng)估，并及時(shí)改進(jìn)所發(fā)現(xiàn)的問題，將是抑制算法歧視的一個(gè)有效途徑。對(duì)于企業(yè)而言，作此類影響評(píng)估，在短期內(nèi)可能會(huì)加大企業(yè)的運(yùn)營成本，令企業(yè)承受更大的社會(huì)責(zé)任，但是從長遠(yuǎn)來看，自我審查有助于企業(yè)維持消費(fèi)者信心及促進(jìn)行業(yè)的健康發(fā)展。就行業(yè)監(jiān)督而言，有學(xué)者指出，鑒于人工智能技術(shù)的重要性和專業(yè)性，相關(guān)企業(yè)和民間團(tuán)體有必要考慮，在全國范圍內(nèi)成立自治性行業(yè)監(jiān)督管理委員會(huì)，對(duì)人工智能技術(shù)行業(yè)的業(yè)務(wù)進(jìn)行指導(dǎo)和監(jiān)督。？譹？訛在此方面，美國計(jì)算機(jī)協(xié)會(huì)作出了表率，由其發(fā)布的《關(guān)于算法透明性與可責(zé)性的聲明》為計(jì)算機(jī)行業(yè)從業(yè)者提供了有益的指導(dǎo)。就行政監(jiān)管而言，有學(xué)者建議，為有效規(guī)制算法歧視，應(yīng)當(dāng)成立一個(gè)獨(dú)立的算法安全委員會(huì)，全面負(fù)責(zé)算法的審查和解釋工作。？譺？訛在人工智能高度專業(yè)化的語境下，公眾監(jiān)督和行業(yè)自律并不足以抑制算法歧視，因而由專業(yè)人士和法律人士組成的算法委員會(huì)主導(dǎo)的行政監(jiān)管將不可或缺。在此方面，《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》提供了值得參考的思路。就審查的內(nèi)容而言，有學(xué)者指出，事前的審查與事后的監(jiān)督、定期的審查與不定期的審查、對(duì)算法過程的審查與對(duì)算法結(jié)果的審查、對(duì)基于個(gè)人特質(zhì)的歧視的審查與對(duì)非基于個(gè)人特質(zhì)的歧視的審查都十分必要。？譻？訛

（四） 算法歧視法律規(guī)制的問責(zé)之維

當(dāng)所有預(yù)防措施失靈，算法歧視造成實(shí)害時(shí)，就有必要對(duì)算法進(jìn)行追責(zé)。算法問責(zé)應(yīng)包括兩個(gè)方面的內(nèi)容：一是對(duì)受害者的救濟(jì)，二是對(duì)侵權(quán)者的追責(zé)。就對(duì)受害者的救濟(jì)而言，監(jiān)管部門應(yīng)當(dāng)鼓勵(lì)算法運(yùn)營者采取適當(dāng)措施，確保受算法歧視的個(gè)人或群體有足夠的回饋、質(zhì)詢和救濟(jì)渠道。更有學(xué)者指出，為節(jié)約訴訟成本，提高訴訟效率及保障受害者的合法權(quán)益，可就算法歧視問題引入集體訴訟制度。？譼？訛集體訴訟制度在一定程度上有助于緩解算法歧視受害者與算法運(yùn)營者之間的信息及資源不對(duì)稱，是一個(gè)值得考慮的路徑。除此之外，歐盟《通用數(shù)據(jù)保護(hù)條例》規(guī)定了個(gè)人免受算法自動(dòng)化決策影響的權(quán)利，我國亦可結(jié)合人工智能技術(shù)應(yīng)用的具體場域參考這種做法。就對(duì)侵權(quán)者的追責(zé)而言，需要明確的是算法歧視的責(zé)任主體、算法歧視相關(guān)關(guān)系的認(rèn)定、算法歧視的歸責(zé)原則以及算法歧視的責(zé)任方式。就算法歧視的責(zé)任主體而言，作出歧視行為的是機(jī)器，但最終責(zé)任主體應(yīng)當(dāng)是人，因而，需要根據(jù)人工智能技術(shù)應(yīng)用的具體情形，明確算法設(shè)計(jì)者與算法運(yùn)營者應(yīng)當(dāng)承擔(dān)的責(zé)任。就算法歧視相關(guān)關(guān)系而言，算法歧視不適用必然性因果關(guān)系和蓋然性因果關(guān)系，因?yàn)樗惴Q策所依據(jù)的是相關(guān)關(guān)系，而相關(guān)關(guān)系的彈性空間比較大，？譽(yù)？訛故而，應(yīng)當(dāng)結(jié)合具體場域明確算法歧視認(rèn)定中的相關(guān)關(guān)系系數(shù)。就算法歧視的歸責(zé)原則而言，鑒于大數(shù)據(jù)時(shí)代算法歧視多出于非主觀歧視意圖，且大多數(shù)算法歧視受害者不具備理解算法復(fù)雜性所需的算法素養(yǎng)，有學(xué)者建議，將算法歧視的歸責(zé)原則確定為無過錯(cuò)原則。？譾？訛就算法歧視的責(zé)任方式而言，應(yīng)當(dāng)根據(jù)算法歧視的具體情況，明確算法責(zé)任者所需承擔(dān)的民事和行政責(zé)任，此類責(zé)任方式包括但不限于民事賠償和行政處罰。

結(jié)語

人工智能作為一項(xiàng)顛覆性技術(shù)，在人類社會(huì)有著廣泛的應(yīng)用前景，可大大增強(qiáng)人的能力和造福人類社會(huì)。但與此同時(shí)，人工智能技術(shù)潛藏的風(fēng)險(xiǎn)也不容小覷。正在顯現(xiàn)的算法歧視正是人工智能技術(shù)應(yīng)用安全風(fēng)險(xiǎn)的體現(xiàn)。為了抑制算法歧視的消極影響，有必要對(duì)算法歧視進(jìn)行法律規(guī)制。當(dāng)前，人類正處于弱人工智能階段，在此領(lǐng)域的法律關(guān)系尚不成熟，因而不論是歐美等發(fā)達(dá)國家，還是其他后發(fā)國家，都只能在摸索中建立和完善人工智能法律規(guī)制框架。理論上，算法歧視有多種規(guī)制措施，但所有的規(guī)制措施，歸根結(jié)底，都須以人為本，以人為目的。為了維護(hù)人類價(jià)值，身處算法社會(huì)的人，應(yīng)當(dāng)加強(qiáng)算法素養(yǎng)，培養(yǎng)反算法歧視意識(shí)，將平等和公正的價(jià)值帶入人工智能，從而維護(hù)并鞏固平等和公正的社會(huì)秩序。

（責(zé)任編輯：亞立）

Abstract?Algorithmic discrimination is the systematic， repeatable， and unfair treatment to certain groups led by data analysis in the process of AI automated decision making. As pioneers of AI legal regulation， in coping with algorithmic discrimination， the EU has chosen a path centered on data protection， while the US prefers the mode focused on algorithmic accountability. China is currently at the initial stage of AI regulation. In the future， the regulatory framework of algorithmic discrimination in AI can be strengthened through aspects of algorithmic ethic， algorithmic technology， algorithmic audit and algorithmic accountability.

Key words?big data; artificial intelligence; algorithmic discrimination; data protection; algorithmic accountability