江溯

內(nèi)容摘要：盧米斯案引發(fā)了算法規(guī)制問(wèn)題的廣泛討論。多數(shù)學(xué)者認(rèn)為，該案判決低估了算法的準(zhǔn)確性、歧視性和透明度風(fēng)險(xiǎn)，高估了法官識(shí)別算法風(fēng)險(xiǎn)的能力。為了應(yīng)對(duì)普遍的算法風(fēng)險(xiǎn)，GDPR引入了算法可解釋性規(guī)則，但在解釋論構(gòu)造、正當(dāng)性、可行性和有效性等方面均存在爭(zhēng)議。盡管學(xué)界對(duì)算法規(guī)制的具體進(jìn)路看法不一，但在算法透明原則方面達(dá)成了共識(shí)。我國(guó)應(yīng)當(dāng)采取立法、司法與行業(yè)自律并行的算法規(guī)制策略。立法者應(yīng)當(dāng)制定場(chǎng)景化的算法透明和責(zé)任規(guī)則。在司法領(lǐng)域，要明確算法決策僅具有輔助性地位，不能替代人類(lèi)法官進(jìn)行判案，并設(shè)計(jì)出更為精細(xì)的算法透明制度。此外，還應(yīng)當(dāng)鼓勵(lì)行業(yè)內(nèi)部協(xié)商制定倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)。

關(guān)鍵詞：自動(dòng)化決策 算法規(guī)制 正當(dāng)程序 刑事司法 算法透明 算法正義

中國(guó)分類(lèi)號(hào)：DF6 ?文獻(xiàn)標(biāo)識(shí)碼：A ?文章編號(hào)：1674-4039-（2020）03-0076-88

引 ?言

近年來(lái)，人工智能成為引爆第四次工業(yè)革命的重要力量。我國(guó)作為人工智能發(fā)展迅速的國(guó)家，在政策上一直鼓勵(lì)相關(guān)產(chǎn)業(yè)的發(fā)展，并希望以此為各行各業(yè)賦能，推動(dòng)產(chǎn)業(yè)結(jié)構(gòu)優(yōu)化升級(jí)。人工智能作為新生事物，在改變社會(huì)生活面貌的同時(shí)，也為各個(gè)行業(yè)帶來(lái)了新的風(fēng)險(xiǎn)。當(dāng)新興的人工智能與古老的法律行業(yè)相遇時(shí)，一系列新問(wèn)題隨之而生。一方面，越來(lái)越多的法律人開(kāi)始思考如何將人工智能帶來(lái)的算法權(quán)力關(guān)進(jìn)法治的籠子里。無(wú)論是對(duì)人工智能主體性的展望，還是對(duì)自動(dòng)駕駛、機(jī)器創(chuàng)作、智能投顧等具體應(yīng)用場(chǎng)景的分析，都體現(xiàn)了人工智能對(duì)現(xiàn)有法律的挑戰(zhàn)。另一方面，法律工作者開(kāi)始擁抱人工智能技術(shù)，享受著算法帶來(lái)的效率提升。類(lèi)案推送、聚類(lèi)檢索等工具不僅成為法學(xué)院學(xué)生的學(xué)習(xí)利器，也幫助律師、檢察官、法官和公司法務(wù)更好更快地完成工作。人工智能使實(shí)證研究者能夠分析更大的樣本量，使得輸出的案例分析結(jié)論更加穩(wěn)健，這種從大數(shù)據(jù)中析出法官集體智慧的技術(shù)，展現(xiàn)出廣闊的應(yīng)用前景。人們不禁暢想，算法能否進(jìn)一步賦能法律行業(yè)？又會(huì)有哪些新的風(fēng)險(xiǎn)與之相伴而生？

在美國(guó)，算法與法律的結(jié)合早已在司法實(shí)踐中得到應(yīng)用。美國(guó)司法界鼓勵(lì)在刑事司法程序中運(yùn)用基于實(shí)證研究的風(fēng)險(xiǎn)評(píng)估工具。但是，在國(guó)家機(jī)器對(duì)個(gè)人的決策中使用算法時(shí)，算法固有的風(fēng)險(xiǎn)可能會(huì)進(jìn)一步擴(kuò)大，并威脅到個(gè)人的基本權(quán)利。2016年7月美國(guó)威斯康辛州終審判決的威斯康辛州訴盧米斯案（State v. Loomis）正是算法風(fēng)險(xiǎn)在刑事司法程序中的典型體現(xiàn)。該案被告人認(rèn)為，法官依靠自動(dòng)化決策結(jié)果對(duì)其量刑的行為，侵害了其正當(dāng)程序權(quán)利。盡管終審法院經(jīng)過(guò)審理后駁回了他的上訴理由，但學(xué)界對(duì)該判決結(jié)論的反對(duì)聲音不絕于耳。盧米斯案及其相關(guān)論爭(zhēng)反映了算法風(fēng)險(xiǎn)與程序正義的復(fù)雜問(wèn)題。對(duì)于正在發(fā)展司法人工智能的我國(guó)而言，這同樣是值得深入思考的問(wèn)題。筆者擬對(duì)該案的背景、事實(shí)及判決意見(jiàn)進(jìn)行梳理，然后對(duì)相關(guān)學(xué)術(shù)批評(píng)進(jìn)行歸納，繼而對(duì)算法規(guī)制的既有辦法及爭(zhēng)議進(jìn)行介紹，最后為我國(guó)的算法規(guī)制策略以及算法在司法程序中的應(yīng)然地位提出建議。

一、盧米斯案的始末

（一）案件背景

伴隨著人工智能第三次浪潮的崛起，算法發(fā)揮著越來(lái)越重要的作用。算法可以利用海量數(shù)據(jù)對(duì)人類(lèi)行為模式進(jìn)行預(yù)測(cè)，從而幫助決策者判斷風(fēng)險(xiǎn)。算法的這種預(yù)測(cè)功能，在某種程度上與刑法的特殊預(yù)防功能相契合。例如，人們可以通過(guò)算法對(duì)罪犯的累犯風(fēng)險(xiǎn)進(jìn)行評(píng)測(cè)，從而決定量刑問(wèn)題。在美國(guó)，司法界已經(jīng)開(kāi)始將算法納入刑事司法政策的嘗試。

2007年，美國(guó)首席大法官會(huì)議通過(guò)了一項(xiàng)題為“支持促進(jìn)公共安全和減少累犯的量刑實(shí)踐”的決議，強(qiáng)調(diào)法官“發(fā)揮重要作用，確保刑事司法系統(tǒng)有效運(yùn)轉(zhuǎn)，通過(guò)減少累犯和追究罪犯責(zé)任來(lái)有效保護(hù)公眾”。該會(huì)議致力于“支持各州根據(jù)有最佳研究證據(jù)證明能夠有效減少累犯的實(shí)踐，努力采取量刑、懲治的政策與計(jì)劃”。同樣，美國(guó)律師協(xié)會(huì)也敦促各州采用風(fēng)險(xiǎn)評(píng)估工具，以減少累犯和提高公共安全。它強(qiáng)調(diào)了對(duì)關(guān)押低風(fēng)險(xiǎn)個(gè)人的關(guān)切，并警告稱(chēng)，將低風(fēng)險(xiǎn)罪犯與中高風(fēng)險(xiǎn)罪犯安置在一起，可能會(huì)增加而不是降低再次犯罪的風(fēng)險(xiǎn)。這種接觸可能導(dǎo)致來(lái)自高風(fēng)險(xiǎn)罪犯的負(fù)面影響，實(shí)際上有害于個(gè)人在改過(guò)自新方面的努力。最初，風(fēng)險(xiǎn)評(píng)估工具僅由緩刑和假釋部門(mén)使用，功能是幫助確定對(duì)罪犯的最佳監(jiān)督和處理策略。隨著美國(guó)國(guó)內(nèi)對(duì)減少累犯以及循證（evidence-based）的日益關(guān)注，此類(lèi)工具的使用現(xiàn)已擴(kuò)展到量刑領(lǐng)域。然而，在量刑中使用這些工具更為復(fù)雜，因?yàn)榱啃虥Q定具有多元目標(biāo)，其中只有部分目標(biāo)與減少累犯有關(guān)。

算法在幫助法官裁判的同時(shí)，也反映出許多問(wèn)題。人們注意到，算法在很多時(shí)候?qū)€(gè)人產(chǎn)生了實(shí)質(zhì)性影響，但其自動(dòng)化的決策過(guò)程卻并不是公開(kāi)的，它也不接受質(zhì)詢(xún)、不提供解釋和救濟(jì)。相對(duì)人無(wú)從知曉決策的原因，更無(wú)法要求撤銷(xiāo)或修正自動(dòng)化決策的結(jié)果。即使自動(dòng)化決策侵害了相對(duì)人的利益，相對(duì)人也無(wú)法要求算法開(kāi)發(fā)者或使用者承擔(dān)相應(yīng)的責(zé)任。這種狀態(tài)也被學(xué)者稱(chēng)為“算法暴政”。〔1 〕而當(dāng)刑事司法程序借助算法進(jìn)行裁判時(shí)，這種“算法暴政”會(huì)直接涉及人的生命、自由等基本權(quán)利，從而彰顯出更為強(qiáng)烈的權(quán)利沖突狀態(tài)。盧米斯案正是反映了在這種情況下算法所引發(fā)的典型問(wèn)題，因而成為近年來(lái)備受關(guān)注的一個(gè)案例。

（二）基本事實(shí)

2013年，威斯康辛州以五項(xiàng)罪名指控埃里克·盧米斯（Eric Loomis）與拉克羅斯（La Crosse）駕車(chē)射擊案有關(guān)。盧米斯否認(rèn)其參與了射擊行為，但承認(rèn)他在當(dāng)晚晚些時(shí)候駕駛了涉案汽車(chē)。盧米斯承認(rèn)了其中兩項(xiàng)較輕的罪名——“企圖逃避交通官員罪、未經(jīng)車(chē)主同意而駕駛汽車(chē)罪”。在做量刑準(zhǔn)備時(shí)，一名威斯康辛州懲教署官員制作了量刑前調(diào)查報(bào)告，其中包括COMPAS風(fēng)險(xiǎn)評(píng)估工具。COMPAS風(fēng)險(xiǎn)評(píng)估工具基于對(duì)被告的訪(fǎng)談以及從被告犯罪史中獲取的信息，對(duì)被告的累犯風(fēng)險(xiǎn)進(jìn)行評(píng)估。由于COMPAS背后的評(píng)估方法屬于商業(yè)秘密，因此其僅向法院提交了累犯風(fēng)險(xiǎn)的評(píng)估數(shù)值。在盧米斯的量刑庭審中，初審法院在量刑判決中參考了COMPAS評(píng)估結(jié)果，并部分基于此項(xiàng)評(píng)估結(jié)果，判處盧米斯六年有期徒刑和五年社區(qū)監(jiān)督（extended supervision）。

盧米斯向初審法院提出了減輕刑罰的請(qǐng)求，認(rèn)為法院對(duì)COMPAS的依賴(lài)侵犯了他的正當(dāng)程序權(quán)利。主要的理由是：（1）因?yàn)镃OMPAS報(bào)告僅提供與特定群體相關(guān)的數(shù)據(jù)，并且由于用于制作報(bào)告的方法是商業(yè)秘密，所以盧米斯認(rèn)為，法院對(duì)COMPAS評(píng)估的使用侵犯了他基于精確信息被量刑的權(quán)利;（2）基于前述兩個(gè)原因，法院也同時(shí)侵犯了他獲得個(gè)性化判決的權(quán)利;（3）盧米斯還根據(jù)正當(dāng)程序理由辯稱(chēng)，法院通過(guò)依賴(lài)一項(xiàng)將性別納入考量因素的風(fēng)險(xiǎn)評(píng)估工具，在判決時(shí)對(duì)性別問(wèn)題的考慮構(gòu)成違憲。但初審法院駁回了盧米斯在量刑程序中的這項(xiàng)請(qǐng)求，威斯康辛州上訴法院將上訴移交給威斯康辛州最高法院。

（三）裁判結(jié)論及其論證理由

威斯康辛州最高法院最終維持了原判。為法庭撰寫(xiě)判決書(shū)的安·沃爾什·布拉德利法官（Ann Walsh Bradley）否決了盧米斯的正當(dāng)程序主張。布拉德利法官認(rèn)為，在風(fēng)險(xiǎn)評(píng)估中使用性別作為一項(xiàng)因素，是基于促進(jìn)精確性的非歧視目的，盧米斯沒(méi)有提供充分證據(jù)說(shuō)明審理法院實(shí)際上考慮了性別。此外，由于COMPAS僅使用能公開(kāi)獲得的數(shù)據(jù)以及被告人提供的數(shù)據(jù)，法院認(rèn)為，盧米斯可以對(duì)制作該報(bào)告的任何信息作出否認(rèn)或解釋?zhuān)瑥亩?yàn)證裁判中所使用信息的準(zhǔn)確性。在個(gè)性化判決方面，布拉德利法官?gòu)?qiáng)調(diào)了個(gè)性化量刑的重要性，并承認(rèn)COMPAS僅提供與被告相似群體的累犯風(fēng)險(xiǎn)聚類(lèi)數(shù)據(jù)（aggregate data）。但她解釋說(shuō)，由于該報(bào)告并非判決的唯一依據(jù)，法院擁有必要的自由裁量權(quán)和信息，以否定不適當(dāng)?shù)脑u(píng)估，所以將COMPAS評(píng)估納入考慮的量刑仍然具有充分的個(gè)性化。

然而，布拉德利法官也補(bǔ)充說(shuō)，法官在使用此類(lèi)風(fēng)險(xiǎn)評(píng)估時(shí)必須謹(jǐn)慎行事。為確保法官適當(dāng)權(quán)衡風(fēng)險(xiǎn)評(píng)估，法院的命令包括：這些評(píng)估必須以何種方式提交給審判法院，以及法官可以在多大程度上使用它們。法院解釋說(shuō)，風(fēng)險(xiǎn)評(píng)分不能用于“確定罪犯是否被監(jiān)禁”或“確定刑罰的輕重”。因此，使用風(fēng)險(xiǎn)評(píng)估的法官必須說(shuō)明評(píng)估以外的其他支持判刑的因素。此外，包括COMPAS評(píng)估在內(nèi)的PSI必須向法官提供五項(xiàng)書(shū)面警告：第一，“COMPAS的專(zhuān)有性質(zhì)”會(huì)阻礙對(duì)如何計(jì)算風(fēng)險(xiǎn)分?jǐn)?shù)的披露;第二，COMPAS分?jǐn)?shù)無(wú)法識(shí)別特定的高危險(xiǎn)個(gè)體，因?yàn)檫@些分?jǐn)?shù)依賴(lài)于群體數(shù)據(jù);第三，盡管COMPAS依賴(lài)于國(guó)家數(shù)據(jù)樣本，但“沒(méi)有針對(duì)威斯康辛州人口的交叉驗(yàn)證研究”;第四，研究提出了以下問(wèn)題：COMPAS分?jǐn)?shù)是否不成比例地將少數(shù)群體罪犯認(rèn)定為具有更高累犯風(fēng)險(xiǎn);第五，COMPAS是專(zhuān)門(mén)為協(xié)助懲教署作出量刑后判決（post-sentencing determinations）而開(kāi)發(fā)的。在發(fā)出這些警告時(shí)，法院明確表示希望向人們灌輸對(duì)該工具準(zhǔn)確性的普遍懷疑，以及在該工具評(píng)估少數(shù)群體罪犯風(fēng)險(xiǎn)方面更具針對(duì)性的懷疑。

亞伯拉罕遜法官表示同意。雖然她同意判決，但她擔(dān)心法院難以理解算法風(fēng)險(xiǎn)評(píng)估。特別是，她批評(píng)法院的決定否認(rèn)了開(kāi)發(fā)COMPAS的公司Northpointe提交法庭之友摘要（file an amicus brief）的機(jī)會(huì)。她本應(yīng)要求量刑法院提供更廣泛的記錄，以說(shuō)明“實(shí)證工具所促成的個(gè)性化判決的優(yōu)點(diǎn)、缺點(diǎn)和相關(guān)性”。她認(rèn)為，鑒于有批評(píng)者認(rèn)為這些評(píng)估來(lái)自政府官員和學(xué)者，前述解釋是有必要的。

二、盧米斯案引發(fā)的算法風(fēng)險(xiǎn)爭(zhēng)議

盧米斯案判決認(rèn)為COMPAS的使用并不損害被告的正當(dāng)程序權(quán)利。但是，許多研究者都指出，法院沒(méi)有成功地保護(hù)盧米斯的正當(dāng)程序權(quán)利，因?yàn)榉ㄔ汉鲆暳孙L(fēng)險(xiǎn)評(píng)估算法的如下風(fēng)險(xiǎn)。

（一）關(guān)于風(fēng)險(xiǎn)評(píng)估算法的準(zhǔn)確性風(fēng)險(xiǎn)

有評(píng)論指出，在量刑程序中對(duì)COMPAS的使用侵犯了被告的正當(dāng)程序權(quán)利，因?yàn)榉ㄔ捍嬖谥鴮?duì)算法技術(shù)準(zhǔn)確性的錯(cuò)誤假設(shè)。無(wú)論是理論上還是實(shí)踐中都存在著對(duì)風(fēng)險(xiǎn)評(píng)估算法準(zhǔn)確性的質(zhì)疑?！? 〕

首先，有研究發(fā)現(xiàn)，COMPAS的評(píng)估并不像法院所認(rèn)為的那樣準(zhǔn)確。ProPublica 〔3 〕作出的評(píng)估顯示，該算法評(píng)分在預(yù)測(cè)罪犯累犯概率方面的正確率達(dá)到61%，但在預(yù)測(cè)暴力累犯率方面的正確率只有20%。它還發(fā)現(xiàn)“該算法在預(yù)測(cè)黑人和白人被告累犯概率方面的正確率大致相同（白人被告為59%，黑人被告為63%），但是預(yù)測(cè)失誤的方式卻大不相同。在為期兩年的后續(xù)隨訪(fǎng)期內(nèi)，該算法對(duì)白人和黑人被告進(jìn)行的分類(lèi)方式是不同的”?！? 〕

其次，由于缺乏外部監(jiān)督，開(kāi)發(fā)者可能為了自身商業(yè)利益而忽略算法的準(zhǔn)確性。為了促進(jìn)風(fēng)險(xiǎn)評(píng)估算法的準(zhǔn)確性，需要不斷向其訓(xùn)練數(shù)據(jù)庫(kù)增添新的數(shù)據(jù)，因而也需要持續(xù)監(jiān)督，但目前由于算法受到商業(yè)秘密保護(hù)，只有開(kāi)發(fā)商有權(quán)監(jiān)督。但問(wèn)題是，開(kāi)發(fā)商的利益并不總是與社會(huì)利益一致，業(yè)務(wù)邏輯并不總是與對(duì)科學(xué)準(zhǔn)確性的需求一致。例如，如果風(fēng)險(xiǎn)評(píng)估算法高估了罪犯的累犯風(fēng)險(xiǎn)而要求對(duì)其采取措施，這種錯(cuò)誤通常很難被發(fā)現(xiàn)，即使被發(fā)現(xiàn)也不會(huì)給公司造成社會(huì)丑聞;但如果該算法低估了罪犯的累犯風(fēng)險(xiǎn)而建議將其釋放，一旦罪犯再次實(shí)施了暴力犯罪，開(kāi)發(fā)者可能會(huì)面臨強(qiáng)烈的批評(píng)，公司的商業(yè)形象和商業(yè)利益也會(huì)受損。因此，開(kāi)發(fā)者可能會(huì)在預(yù)防后一種錯(cuò)誤方面付出更多成本，而可能忽略了前一種錯(cuò)誤。

最后，開(kāi)發(fā)者可能為了消除政治或道德風(fēng)險(xiǎn)，在算法中故意排除統(tǒng)計(jì)學(xué)意義上的重要因素，從而降低算法準(zhǔn)確性。例如，盡管有些自變量（例如種族、性別、少數(shù)族裔地位等）已經(jīng)顯示出與人口中的暴力行為有統(tǒng)計(jì)學(xué)意義上的相關(guān)關(guān)系，但乍看之下，如果將這些因素納入風(fēng)險(xiǎn)評(píng)估算法可能是令人不快的?！? 〕實(shí)踐中，已經(jīng)有開(kāi)發(fā)者在算法中排除了這些重要的統(tǒng)計(jì)變量，就政策制定而言這些變量被認(rèn)為是“有問(wèn)題的”?！? 〕例如，弗吉尼亞州官員開(kāi)發(fā)的風(fēng)險(xiǎn)評(píng)估工具故意將種族排除在規(guī)定變量之外，盡管這樣做違反了基本的統(tǒng)計(jì)需求。〔7 〕又如，聯(lián)邦系統(tǒng)定罪后風(fēng)險(xiǎn)工具的開(kāi)發(fā)者故意將性別排除在算法之外，“盡管他們的原始回歸模型發(fā)現(xiàn)，女性在作為累犯的陰性預(yù)測(cè)指標(biāo)方面具有統(tǒng)計(jì)學(xué)上的顯著性”。〔8 〕

（二）關(guān)于風(fēng)險(xiǎn)評(píng)估算法的歧視性風(fēng)險(xiǎn)

算法引發(fā)的歧視性問(wèn)題在實(shí)踐中屢見(jiàn)不鮮，在線(xiàn)招聘 〔9 〕、詞匯關(guān)聯(lián) 〔10 〕、在線(xiàn)廣告 〔11 〕等場(chǎng)景中的算法都曾被曝光出存在性別歧視或種族歧視的現(xiàn)象。有人質(zhì)疑，在盧米斯案中涉及的COMPAS算法同樣存在種族偏見(jiàn)問(wèn)題。ProPublica發(fā)現(xiàn)，與同樣有可能再次犯罪的白人相比，非裔美國(guó)人更有可能被給予較高的分?jǐn)?shù)，從而導(dǎo)致等待審判期間的羈押時(shí)間更長(zhǎng)?！?2 〕該算法開(kāi)發(fā)商N(yùn)orthpointe駁斥了這一看法，稱(chēng)這是因?yàn)镻roPublica使用了錯(cuò)誤的指標(biāo)對(duì)算法的公平性進(jìn)行評(píng)估，如果是在給予相同分?jǐn)?shù)的被告人群體中，非裔美國(guó)人和白人計(jì)算出的累犯概率是一樣的?！?3 〕

有分析指出，導(dǎo)致算法偏見(jiàn)的原因包括：（1）既有的人類(lèi)偏見(jiàn)：人類(lèi)已有的對(duì)某些群體的偏見(jiàn)是普遍的，也是深層次的，這可能導(dǎo)致這些偏見(jiàn)在計(jì)算機(jī)模型中被復(fù)制和放大。如果非裔美國(guó)人更可能因?yàn)闅v史上的種族主義、警察實(shí)踐中的不公或者刑事司法系統(tǒng)中的不平等問(wèn)題而被逮捕和羈押，那么這些事實(shí)也會(huì)反映在COMPAS算法的訓(xùn)練數(shù)據(jù)中，并且用于為是否應(yīng)當(dāng)羈押被告提供建議。如果將既有的偏見(jiàn)納入模型，它將作出與人類(lèi)相同的錯(cuò)誤判斷。（2）采用了不完全的或不具有代表性的訓(xùn)練數(shù)據(jù)：訓(xùn)練數(shù)據(jù)不足是造成算法偏差的另一個(gè)原因。如果用于訓(xùn)練算法的數(shù)據(jù)相比其他群體更能代表某些群體，則該模型在預(yù)測(cè)這些代表性缺失或不足的群體方面可能呈現(xiàn)出系統(tǒng)性的劣勢(shì)。反之，如果算法具有針對(duì)某一群體的過(guò)多數(shù)據(jù)，則可能會(huì)使決策偏向特定結(jié)果。喬治城法學(xué)院的研究人員發(fā)現(xiàn)，執(zhí)法部門(mén)使用的面部識(shí)別網(wǎng)絡(luò)中約有1.17億美國(guó)成年人，但非裔美國(guó)人更容易被識(shí)別的主要原因是，他們?cè)诿娌空掌瑪?shù)據(jù)庫(kù)中的代表數(shù)據(jù)過(guò)多，因而非裔美國(guó)人的面孔更有可能被錯(cuò)誤地匹配，從而產(chǎn)生了偏見(jiàn)?！?4 〕

但是，從技術(shù)角度看，設(shè)置何種偏見(jiàn)檢測(cè)策略也存在一定困難。從COMPAS算法偏見(jiàn)風(fēng)險(xiǎn)的爭(zhēng)論來(lái)看，單純地看誤差率未必是檢測(cè)偏見(jiàn)的好辦法。Northpointe和ProPublica聚焦于不同條件下的誤差率，就得出了不同的結(jié)論。因而需要建立起一定的公平原則，來(lái)確認(rèn)在何種條件下的誤差率應(yīng)當(dāng)是相等的。

對(duì)此，布魯金斯學(xué)會(huì)的一份報(bào)告認(rèn)為，權(quán)衡的重點(diǎn)應(yīng)該放在評(píng)估“公平”的社會(huì)觀(guān)念和可能的社會(huì)成本上?！?5 〕在對(duì)COMPAS算法的研究中，有學(xué)者看到了“在最大程度地減少暴力犯罪與滿(mǎn)足公平的普遍觀(guān)念之間的內(nèi)在矛盾”，認(rèn)為如果為了優(yōu)化公共安全傾向于懲罰有色人種，可能會(huì)導(dǎo)致釋放更多高風(fēng)險(xiǎn)被告，這將對(duì)公共安全產(chǎn)生不利影響?！?6 〕這也可能會(huì)不成比例地影響到非裔美國(guó)人和白人社區(qū)，從而產(chǎn)生公平成本。對(duì)此，算法開(kāi)發(fā)人員應(yīng)首先尋找在不犧牲模型整體性能的情況下減少組之間差異的方法，并且建立相關(guān)的道德框架。

（三）關(guān)于風(fēng)險(xiǎn)評(píng)估算法的透明度風(fēng)險(xiǎn)

法律界在論及算法風(fēng)險(xiǎn)時(shí)，一個(gè)常見(jiàn)的擔(dān)憂(yōu)就是透明性問(wèn)題。在盧米斯案件中，盧米斯上訴的理由之一也是算法的保密特性。而法院認(rèn)為，如果算法開(kāi)發(fā)者或使用者向法院提交了書(shū)面警示事項(xiàng)，則可以緩和透明度造成的緊張關(guān)系;同時(shí)，盧米斯也可以通過(guò)驗(yàn)證COMPAS報(bào)告中列出的問(wèn)答是否正確來(lái)質(zhì)疑自己的風(fēng)險(xiǎn)評(píng)分。但是，許多研究都認(rèn)為法院在處理算法透明度方面的努力遠(yuǎn)遠(yuǎn)不夠，它未能解決算法的“法律黑箱”和“技術(shù)黑箱”問(wèn)題。

有研究指出，COMPAS和類(lèi)似的風(fēng)險(xiǎn)評(píng)估系統(tǒng)實(shí)際上包括“數(shù)據(jù)輸入”“處理和計(jì)算”以及“預(yù)測(cè)輸出”等一系列步驟。其中，“處理和計(jì)算”涉及最關(guān)鍵的問(wèn)題，即如何解釋數(shù)據(jù)以及如何基于這種解釋輸出預(yù)測(cè)結(jié)果。但是，法院在判決書(shū)中只討論了被告是否可以質(zhì)疑其犯罪記錄和調(diào)查表答案的準(zhǔn)確性（“數(shù)據(jù)輸入”），而沒(méi)有關(guān)注他是否可以挑戰(zhàn)關(guān)鍵的“處理和計(jì)算”階段。因而，該判決沒(méi)有審查可能會(huì)對(duì)社會(huì)造成巨大影響的自動(dòng)化決策，沒(méi)有發(fā)揮出司法機(jī)構(gòu)作為保護(hù)個(gè)人權(quán)利和提供有效救濟(jì)措施的最終看門(mén)人作用，〔17 〕盧米斯本人也因此喪失了辯駁、補(bǔ)充和解釋的權(quán)利。〔18 〕

一方面，COMPAS等風(fēng)險(xiǎn)評(píng)估算法存在著“法律黑箱”。不透明性源于統(tǒng)計(jì)模型或源代碼的專(zhuān)有性特征，而這種特征是受到商業(yè)秘密相關(guān)法律保護(hù)的。有研究認(rèn)為，可以通過(guò)修改法律解決“法律黑箱”問(wèn)題，具體有以下選擇：一是在特定條件下向公眾開(kāi)放這些統(tǒng)計(jì)模型或源代碼，以保證透明度和可問(wèn)責(zé)性，但這可能會(huì)遭遇來(lái)自開(kāi)發(fā)商的反對(duì);二是要求以保密的方式向特定的有關(guān)方或?qū)＜椅瘑T會(huì)披露?！?9 〕

另一方面，如果風(fēng)險(xiǎn)評(píng)估算法使用了機(jī)器學(xué)習(xí)和深度學(xué)習(xí)技術(shù)，則會(huì)面對(duì)更為棘手的“技術(shù)黑箱”問(wèn)題。在這些場(chǎng)景中，算法規(guī)則會(huì)自動(dòng)產(chǎn)生決策結(jié)果，甚至程序員也無(wú)法充分解釋算法為什么會(huì)產(chǎn)生這個(gè)結(jié)果以及算法是如何作出這些決策的。這種問(wèn)題在人工神經(jīng)網(wǎng)絡(luò)算法（ANN）中最為明顯。這種算法是對(duì)人腦的模仿，包含各種神經(jīng)元（即相互連接的處理器）。不同于專(zhuān)家系統(tǒng)（基于對(duì)分層規(guī)則、變量和常量的集合，應(yīng)用于給定問(wèn)題以嘗試確定解決方案 〔20 〕），它是一種代表性學(xué)習(xí)，不需要太多的人為干預(yù)。ANN的學(xué)習(xí)算法不是事先編程的，而是通過(guò)分層結(jié)構(gòu)來(lái)學(xué)習(xí)不同信息和模式之間的關(guān)系，并開(kāi)發(fā)自己的決策規(guī)則，這些規(guī)則通常是人類(lèi)所無(wú)法理解的?！?1 〕盡管ANN減少了編程的工作量，也提高了算法的準(zhǔn)確性，但這是以“人類(lèi)能夠?qū)嵸|(zhì)性地解釋發(fā)生在每一層中的推理能力”為代價(jià)的。〔22 〕對(duì)此，有研究建議，應(yīng)當(dāng)讓被告或者那些可能需要自動(dòng)化決策的人獲得事前的知情權(quán)和自主選擇權(quán)，他們應(yīng)該在事前被充分告知這些自動(dòng)化決策工具的潛在風(fēng)險(xiǎn)、好處以及以這種技術(shù)方式進(jìn)行預(yù)測(cè)的局限，從而決定是否使用或退出自動(dòng)化決策?！?3 〕

此外，也有研究建議，應(yīng)當(dāng)向被告提供可解釋的算法，包括可以訪(fǎng)問(wèn)其源代碼。只有開(kāi)源算法才能在充分尊重科學(xué)準(zhǔn)確性的同時(shí)充分保護(hù)被告的權(quán)利。因而，盡管使用開(kāi)源算法可能不太符合開(kāi)發(fā)商的利益，但美國(guó)司法系統(tǒng)應(yīng)當(dāng)提倡使用開(kāi)源算法，以促進(jìn)算法透明性。〔24 〕

（四）關(guān)于法官能否識(shí)別算法風(fēng)險(xiǎn)的風(fēng)險(xiǎn)

在盧米斯案的判決書(shū)中，法院建議法官應(yīng)當(dāng)謹(jǐn)慎地使用風(fēng)險(xiǎn)評(píng)估算法工具。但有評(píng)論指出，該案給出的建議（即要求PSI提交書(shū)面警告）無(wú)法幫助法官作出更好的評(píng)估。

首先，僅僅鼓勵(lì)司法者對(duì)風(fēng)險(xiǎn)評(píng)估工具持懷疑立場(chǎng)，并不能告知法官應(yīng)該在多大程度上懷疑風(fēng)險(xiǎn)評(píng)估結(jié)果，也有可能讓法官過(guò)分地貶低這些風(fēng)險(xiǎn)評(píng)估結(jié)果的價(jià)值。

其次，即使這些書(shū)面警告增加了法官的懷疑態(tài)度，法官也可能缺乏必要信息來(lái)調(diào)整他們對(duì)此類(lèi)工具的評(píng)估，大多數(shù)法官不太可能理解風(fēng)險(xiǎn)評(píng)估算法，其背后的方法論也因其商業(yè)秘密屬性而不會(huì)得到公開(kāi)。

最后，由于司法系統(tǒng)面對(duì)著使用風(fēng)險(xiǎn)評(píng)估的內(nèi)部和外部壓力，也存在著支持?jǐn)?shù)據(jù)依賴(lài)的認(rèn)知偏好，這些書(shū)面警告可能不會(huì)改變法官對(duì)風(fēng)險(xiǎn)評(píng)估的思考方式?！赌７缎谭ǖ洹氛J(rèn)可了基于證據(jù)的量刑，〔25 〕一些學(xué)者 〔26 〕和司法機(jī)關(guān) 〔27 〕鼓勵(lì)使用算法風(fēng)險(xiǎn)評(píng)估。許多州正在認(rèn)真考慮在量刑中考慮累犯風(fēng)險(xiǎn)數(shù)據(jù)?！?8 〕實(shí)際上，一些州已經(jīng)在量刑程序中要求使用風(fēng)險(xiǎn)評(píng)估工具。〔29 〕伊利諾伊大學(xué)芝加哥分校心理學(xué)教授琳達(dá)·J.錫特卡指出：“大多數(shù)人會(huì)走需要最少努力的認(rèn)知之路，而不是系統(tǒng)地分析每個(gè)決策。他們會(huì)使用經(jīng)驗(yàn)法則或啟發(fā)式?jīng)Q策法則……自動(dòng)化的決策輔助工具可以充當(dāng)這些啟發(fā)式?jīng)Q策方法，并且可以替代更能保持警惕的監(jiān)視或決策系統(tǒng)?！?〔30 〕如果算法決策工具被視作權(quán)威，人們很難拒絕訴諸權(quán)威的思維方式。

因而，有評(píng)論認(rèn)為，判決書(shū)目前給出的建議無(wú)法應(yīng)對(duì)前述弊端，應(yīng)當(dāng)采取更嚴(yán)格的措施，例如，排除對(duì)算法保密的風(fēng)險(xiǎn)評(píng)估工具，或者在更多研究可用之前限制其使用等?！?1 〕

三、進(jìn)一步的討論：算法的可解釋性及責(zé)任機(jī)制

盧米斯案反映出來(lái)的問(wèn)題實(shí)際上是算法自動(dòng)化決策問(wèn)題在刑事司法領(lǐng)域的具體體現(xiàn)。如何應(yīng)對(duì)算法的歧視性、透明度、可問(wèn)責(zé)性等問(wèn)題，實(shí)際上已經(jīng)成為信息社會(huì)中一切自動(dòng)化決策工具的共性問(wèn)題。盧米斯所疾呼的正當(dāng)程序規(guī)則不僅在本案中受到算法的挑戰(zhàn)，也成為一切自動(dòng)化決策場(chǎng)合的侵蝕對(duì)象。算法權(quán)力在商業(yè)領(lǐng)域形成與消費(fèi)者的不公平交易，催生了監(jiān)視資本主義;在公權(quán)力領(lǐng)域，嵌入公權(quán)力運(yùn)行的各個(gè)環(huán)節(jié)，甚至成為獨(dú)立的決策者，嚴(yán)重挑戰(zhàn)正當(dāng)程序和權(quán)力專(zhuān)屬原則?！?2 〕對(duì)此，各界一直在討論如何對(duì)算法進(jìn)行規(guī)制，在各種聲音中，《通用數(shù)據(jù)保護(hù)條例》GDPR所規(guī)定的算法可解釋性和責(zé)任體系廣受矚目，也引發(fā)了大面積的討論。

（一）GDPR文本之解讀：可解釋性是否等于獲解釋權(quán)

GDPR第13-15條對(duì)算法的可解釋性提出了要求，規(guī)定數(shù)據(jù)主體有權(quán)知曉包括用戶(hù)畫(huà)像在內(nèi)的自動(dòng)化決策中“對(duì)于相關(guān)邏輯、包括此類(lèi)處理對(duì)于數(shù)據(jù)主體的預(yù)期后果的有效信息”。第22條規(guī)定了數(shù)據(jù)主體有權(quán)對(duì)自動(dòng)化的個(gè)人決策加以反對(duì)、表達(dá)觀(guān)點(diǎn)與異議。序言第71條規(guī)定明確提出了解釋權(quán)，表述為接受自動(dòng)決策的人應(yīng)該享有適當(dāng)?shù)谋Ｗo(hù)，具體應(yīng)包括數(shù)據(jù)主體的特別信息和獲得人類(lèi)干預(yù)，表達(dá)自己的觀(guān)點(diǎn)，并且有權(quán)獲得該評(píng)估決定的解釋?zhuān)?duì)決定提出質(zhì)疑。GDPR的上述規(guī)則構(gòu)建了以算法可解釋性為中心的規(guī)制體系。

但是，學(xué)者們對(duì)GDPR是否規(guī)定了“獲解釋權(quán)”存在著不同意見(jiàn)。布萊斯·古德曼和塞斯·R·弗拉克斯曼認(rèn)為，GDPR序言第71條佐證了GDPR對(duì)“獲解釋權(quán)”的創(chuàng)設(shè)，但GDPR序言沒(méi)有法律約束力，從解釋論上可從GDPR第13-14條中引申出“獲解釋權(quán)”?！?3 〕桑德拉·沃克特（Sandra Wachter）等則認(rèn)為，特定決策的事前解釋是不可能的，而GDPR正文并未規(guī)定特定決策的事后解釋。從文義上看GDPR第13-15條的規(guī)定僅限于數(shù)據(jù)搜集和處理階段，屬于事前告知而非事后解釋?zhuān)⑶乙?guī)定的僅僅是“被告知的權(quán)利（the right to be informed）”而非“獲解釋權(quán)”?！俺惺茏詣?dòng)化決策”階段的“獲解釋權(quán)”只可能從第22條籠統(tǒng)規(guī)定的“保障措施（measures to safeguard）”中引申出來(lái)。因此，在GDPR目前的體系語(yǔ)境下，證成“獲解釋權(quán)”是比較困難的，不能從實(shí)質(zhì)上解決“算法透明性和可解釋性”問(wèn)題?！?4 〕

綜合來(lái)看，GDPR是否創(chuàng)設(shè)了數(shù)據(jù)主體的“獲解釋權(quán)”在解釋論上存在爭(zhēng)議，但GDPR至少要求算法具有可解釋性，這也是基于GDPR文本進(jìn)行討論的起點(diǎn)。

（二）算法可解釋性規(guī)則的正當(dāng)性

在GDPR確立的算法可解釋性規(guī)則的正當(dāng)性方面，學(xué)者們也存在著不同看法。有相當(dāng)一部分學(xué)者指出了該規(guī)則的合理性。湯姆·貝克和本尼迪克特·德拉特認(rèn)為公眾不能預(yù)設(shè)智能投顧機(jī)器人沒(méi)有人類(lèi)所具有的不純動(dòng)機(jī)，正是因?yàn)橹悄芙鹑谒惴ù嬖谄缫暫秃谙洮F(xiàn)象，所以才需要算法的透明性或解釋性機(jī)制?！?5 〕多西·韋萊茲等認(rèn)為算法透明性和可解釋性是解決算法可歸責(zé)性的重要工具。明確算法決策的主體性、因果性或相關(guān)性，是確定和分配算法責(zé)任的前提。〔36 〕

但是，也有人對(duì)此表示反對(duì)，指出可解釋性規(guī)則存在種種弊端：要求公司人工審查重要的算法決策增加了AI的整體成本、知情權(quán)可能導(dǎo)致降低AI的準(zhǔn)確性。在計(jì)算機(jī)科學(xué)領(lǐng)域，有學(xué)者提出，讓一個(gè)系統(tǒng)更透明或者更少偏見(jiàn)會(huì)降低它整體上的準(zhǔn)確性?！?7 〕

（三）算法可解釋性規(guī)則的可行性和有效性

在GDPR確立的算法可解釋性規(guī)則的可行性和有效性方面，也有學(xué)者提出了質(zhì)疑。莉蓮·愛(ài)德華茲和邁克爾·韋爾認(rèn)為，GDPR中規(guī)定的“解釋權(quán)”采用了一種高度限制和不清晰的形式，很難真正實(shí)現(xiàn)對(duì)算法的控制，在現(xiàn)有技術(shù)條件下，主體中心解釋?zhuān)╯ubject-centric explanations， SCEs）比模型中心解釋路徑（model-centric explanations， MCEs）更有利于數(shù)據(jù)主體尋求救濟(jì)。但是，透明性并不必然保證實(shí)質(zhì)正義或者有效救濟(jì)的實(shí)現(xiàn)。他建議人們要警惕新的“透明度謬論”，更重要的是從GDPR以下兩個(gè)層次緩解算法控制的危害，即“被遺忘權(quán)和可攜帶權(quán)”以及“隱私設(shè)計(jì)和數(shù)據(jù)保護(hù)影響評(píng)估等”?！?8 〕

保羅·德·拉特指出，一方面，算法的不透明性是固有的，人工智能本身有自主學(xué)習(xí)的過(guò)程，后期輸出的結(jié)果可能和設(shè)計(jì)者的理念不相符。如果在神經(jīng)網(wǎng)絡(luò)中插入一個(gè)中間層，可以通過(guò)加權(quán)平均計(jì)算來(lái)顯示所有結(jié)果的權(quán)重，但沒(méi)法解釋所有輸入變量最終的貢獻(xiàn);另一方面，出于隱私的考慮，將數(shù)據(jù)庫(kù)免費(fèi)提供給大眾，是不明智的。這也會(huì)導(dǎo)致相關(guān)方的博弈，導(dǎo)致不效率。出于知識(shí)產(chǎn)權(quán)的原因，也應(yīng)該交給權(quán)威的監(jiān)管部門(mén)來(lái)管理。〔39 〕

桑德拉·沃克特等認(rèn)為，解釋權(quán)規(guī)則存在諸多法律和技術(shù)上障礙：首先，GDPR中不存在具有法律約束力的解釋權(quán)。其次，即使具有法律約束力，該權(quán)利也只適用于有限的情況。第三，解釋復(fù)雜的算法決策系統(tǒng)的功能及其在特定情況下的基本原理在技術(shù)上具有挑戰(zhàn)性。解釋可能僅對(duì)數(shù)據(jù)主體提供很少的有意義信息。最后，數(shù)據(jù)控制者有權(quán)不共享算法，以避免泄露商業(yè)機(jī)密、侵犯他人的權(quán)利和自由（例如隱私）。他主張應(yīng)當(dāng)超越GDPR的限制，對(duì)數(shù)據(jù)控制者施加“無(wú)條件反射事實(shí)解釋”以作為一種克服當(dāng)下算法解釋和問(wèn)責(zé)挑戰(zhàn)的一種新型解釋類(lèi)型。其可以平衡數(shù)據(jù)主體和控制者之間的關(guān)系，保護(hù)數(shù)據(jù)主體的信息安全。反射事實(shí)解釋不僅避免了對(duì)復(fù)雜專(zhuān)業(yè)的算法進(jìn)行全面地公開(kāi)，而且可以通過(guò)建模計(jì)算得出，便于數(shù)據(jù)主體理解自動(dòng)化決策、對(duì)決策進(jìn)行抗辯以及改變未來(lái)的做法來(lái)達(dá)到預(yù)期目的?！?0 〕

（四）關(guān)于算法透明化與責(zé)任體系的其他構(gòu)想

在GDPR之外，學(xué)者們建議采取各種方式來(lái)建立算法透明化與責(zé)任體系，以應(yīng)對(duì)“算法黑箱”帶來(lái)的問(wèn)題。杰克·M.巴爾金反駁了“侏儒謬論”，指出算法社會(huì)的真正敵人不是算法而是人。他構(gòu)建了一套算法公平治理體系，指出透明度、解釋性、正當(dāng)程序、負(fù)責(zé)任等要求都能從中推演出來(lái)。該體系的三大法則是：對(duì)于客戶(hù)、消費(fèi)者和終端用戶(hù)，算法使用者是信息受托人;對(duì)于非客戶(hù)、消費(fèi)者和終端用戶(hù)，算法使用者負(fù)有公共責(zé)任。如果算法使用者是政府，公共責(zé)任的界定應(yīng)遵照其作為政府的性質(zhì);如果算法使用者是私人，則要受公共利益規(guī)則影響;算法使用者的核心公共責(zé)任是避免將他們操作的成本（損害）外部化。對(duì)于算法決策損害的最佳類(lèi)比不是故意歧視，而是社會(huì)不公的污染?！?1 〕約書(shū)亞·A·克羅爾等指出，通過(guò)設(shè)計(jì)事前機(jī)制和事后機(jī)制，算法依然可以對(duì)第三人和公眾負(fù)責(zé)。更重要的是要促進(jìn)計(jì)算機(jī)科學(xué)家和法律政策制定者之間的跨學(xué)科合作，特別是要減少法律的模糊性，使得計(jì)算機(jī)科學(xué)家更能夠適應(yīng)外部監(jiān)督機(jī)制?！?2 〕

在我國(guó)，大部分學(xué)者都看到了“算法黑箱”帶來(lái)的歧視、交易地位不平等、救濟(jì)缺位等問(wèn)題，并主張?jiān)谖覈?guó)引入GDPR的解釋權(quán)。〔43 〕但也有學(xué)者指出，算法的可解釋性只是一種有益探索，并不是有效手段。例如，林洹民認(rèn)為，算法解釋權(quán)適用范圍有限，我國(guó)應(yīng)當(dāng)設(shè)立以數(shù)據(jù)活動(dòng)顧問(wèn)為主、數(shù)據(jù)活動(dòng)監(jiān)管局為輔的二元算法監(jiān)管機(jī)制：數(shù)據(jù)活動(dòng)顧問(wèn)從企業(yè)內(nèi)部對(duì)算法的設(shè)計(jì)、使用和評(píng)估進(jìn)行陪同控制;數(shù)據(jù)活動(dòng)監(jiān)管局則從外部對(duì)數(shù)據(jù)活動(dòng)顧問(wèn)提供必要的援助和監(jiān)督。〔44 〕沈偉偉認(rèn)為，算法透明原則不具備可行性和必要性，應(yīng)當(dāng)看到這種本質(zhì)主義立場(chǎng)的弊端，建立以實(shí)用主義為導(dǎo)向、以算法問(wèn)責(zé)為代表的事后規(guī)制?！?5 〕

四、盧米斯案對(duì)我國(guó)算法規(guī)制之啟示

我國(guó)是人工智能發(fā)展十分迅速的國(guó)家，〔46 〕近年來(lái)發(fā)展人工智能不斷寫(xiě)入國(guó)家戰(zhàn)略，頂層設(shè)計(jì)要求運(yùn)用人工智能為司法賦能，建設(shè)智慧法庭。例如，國(guó)務(wù)院《新一代人工智能發(fā)展規(guī)劃》（國(guó)發(fā)〔2017〕35號(hào)）要求“建設(shè)集審判、人員、數(shù)據(jù)應(yīng)用、司法公開(kāi)和動(dòng)態(tài)監(jiān)控于一體的智慧法庭數(shù)據(jù)平臺(tái)，促進(jìn)人工智能在證據(jù)收集、案例分析、法律文件閱讀與分析中的應(yīng)用，實(shí)現(xiàn)法院審判體系和審判能力智能化”。最高人民法院辦公廳《關(guān)于做好2019年智慧法院建設(shè)工作的通知》（法辦〔2019〕243號(hào)）要求各級(jí)法院“以智能化為重點(diǎn)，大力推進(jìn)智審、智執(zhí)、智服、智管，全面加強(qiáng)智慧法院建設(shè)”。最高人民法院《關(guān)于認(rèn)真學(xué)習(xí)貫徹黨的十九屆四中全會(huì)精神的通知》（法〔2019〕244號(hào)）提出，“要積極推進(jìn)互聯(lián)網(wǎng)、人工智能、大數(shù)據(jù)、云計(jì)算、區(qū)塊鏈、5G等現(xiàn)代科技在司法領(lǐng)域深度應(yīng)用，努力把智慧法院建設(shè)提升到新水平”。盧米斯案及其引發(fā)的爭(zhēng)議，對(duì)于我國(guó)智慧法院的建設(shè)具有重要參考意義。我們必須明確，如何避免算法透明度、歧視性、準(zhǔn)確性等風(fēng)險(xiǎn)對(duì)正當(dāng)程序的侵蝕，如何讓算法揚(yáng)長(zhǎng)避短，真正引領(lǐng)司法實(shí)踐的現(xiàn)代化與科技化。

（一）立法：確立場(chǎng)景化的算法透明和責(zé)任規(guī)則

盧米斯案暴露的問(wèn)題對(duì)整個(gè)算法社會(huì)都具有普適性，必須通過(guò)立法建立起一整套規(guī)則體系才能加以系統(tǒng)解決。這是一個(gè)立法論的問(wèn)題，而不是解釋論的問(wèn)題。在筆者看來(lái)，在諸多算法風(fēng)險(xiǎn)中，最為關(guān)鍵的仍然是算法透明度問(wèn)題。只有保證算法的透明度，或者至少是一定程度上的透明度，才能夠使得算法的歧視性、準(zhǔn)確性等問(wèn)題得以被發(fā)現(xiàn)，也才能使得各利益相關(guān)方得以發(fā)現(xiàn)自己權(quán)益被侵害的事實(shí)，并提出相應(yīng)的權(quán)利主張。

目前，大多數(shù)意見(jiàn)都要求法律以某種方式保證算法的透明度。盡管有學(xué)者認(rèn)為算法透明原則作為事前規(guī)制存在種種弊端，〔47 〕但在筆者看來(lái)，這并不足以阻礙算法透明原則的重要地位。第一，算法透明原則并不僅僅是一種事前規(guī)制，更是一種全過(guò)程的規(guī)制手段。如果算法本身不透明，那么人們將很難發(fā)現(xiàn)算法中蘊(yùn)藏著的不公平，更難以在維權(quán)時(shí)取證，事后規(guī)制的基礎(chǔ)將不復(fù)存在。第二，算法透明原則在具體落實(shí)時(shí)必然會(huì)呈現(xiàn)出光譜式的面貌，既有的研究?jī)H僅根據(jù)國(guó)家安全、社會(huì)秩序等宏觀(guān)價(jià)值設(shè)想出機(jī)場(chǎng)安檢、導(dǎo)彈試射等極端的場(chǎng)景，這些例子只能提醒我們要在特定場(chǎng)景下設(shè)置例外，并不能夠全面推翻算法透明原則。第三，既有研究指出隱私、商業(yè)秘密等私主體權(quán)利會(huì)阻礙算法透明，但法律對(duì)私權(quán)利的保護(hù)從來(lái)都不是絕對(duì)的，即使是GDPR這樣重視私權(quán)利保護(hù)的法令也規(guī)定了個(gè)人數(shù)據(jù)保護(hù)的例外條款。第四，算法透明原則所要求的透明性具有多元化特征，透明性未必等于向全社會(huì)公開(kāi)，而可能僅向利益相關(guān)方公開(kāi)，相比于直接推翻這項(xiàng)原則，不如設(shè)計(jì)更加精細(xì)的具體規(guī)則。第五，即使算法透明不等于算法可知，但算法不透明必然等于算法不可知。即使算法公開(kāi)無(wú)助于普通大眾的理解，神經(jīng)網(wǎng)絡(luò)等技術(shù)也可能導(dǎo)致程序員無(wú)法理解算法內(nèi)涵，但是算法透明至少為理解算法提供了一種可能。并且，伴隨著技術(shù)進(jìn)步，目前計(jì)算機(jī)科學(xué)界也正在開(kāi)發(fā)針對(duì)算法可解釋性的算法，這將進(jìn)一步促進(jìn)“技術(shù)黑箱”的破解。

因此，算法透明原則依然是我們努力的首要方向，也是立法首先應(yīng)當(dāng)確立的原則。但對(duì)于如何落實(shí)算法透明原則，目前仍尚未形成統(tǒng)一的有效方案。GDPR對(duì)自動(dòng)化決策工具規(guī)定了廣泛的可解釋性要求，但是籠統(tǒng)的規(guī)定并不能帶來(lái)令人滿(mǎn)意的效果。例如，當(dāng)谷歌搜索引擎進(jìn)行智能廣告推送時(shí)，會(huì)按照GDPR要求向用戶(hù)顯示“您可能會(huì)看到廣告的原因”，但披露內(nèi)容仍然相當(dāng)概括?！?8 〕用戶(hù)無(wú)法從這些簡(jiǎn)單的標(biāo)簽中弄清楚為何這些廣告會(huì)出現(xiàn)在自己面前，更無(wú)從得知影響自動(dòng)化決策的這些自變量的具體權(quán)重。因而，建立起無(wú)差別的算法解釋性和責(zé)任規(guī)則并不可取，更重要的是區(qū)分不同場(chǎng)景，建立合適的算法透明規(guī)則。

建立場(chǎng)景化的算法透明規(guī)則，需要對(duì)各種場(chǎng)景下的不同算法進(jìn)行類(lèi)型化梳理，這需要十分龐大的調(diào)研工作。因而初期的立法可以只進(jìn)行原則性規(guī)定，通過(guò)賦予法官較大的自由裁量權(quán)發(fā)展實(shí)務(wù)經(jīng)驗(yàn)，嗣后再進(jìn)行總結(jié);或者可以確立非要件式的、指引式的立法，即像《反壟斷法》第18條 〔49 〕一樣列出所需考慮的因素。具體而言，可能需要考慮如下因素：（1）算法應(yīng)用場(chǎng)景所涉及的利益沖突;（2）算法應(yīng)當(dāng)在何種范圍內(nèi)披露，是向全體公眾披露，還是向某個(gè)特定的審查委員會(huì)披露，抑或只向利益相關(guān)方及其委托人披露;（3）要求算法開(kāi)發(fā)者披露的內(nèi)容包括哪些，例如是要求披露盧米斯案法官所要求的書(shū)面警示事項(xiàng)即可，還是要求披露算法的源代碼、全部自變量及其權(quán)重、乃至全部訓(xùn)練數(shù)據(jù)集;（4）算法的披露可能帶來(lái)何種后果，應(yīng)當(dāng)如何預(yù)防不良后果的發(fā)生;（5）是否需要設(shè)置相關(guān)機(jī)制輔助對(duì)前述披露內(nèi)容的解釋工作。

在算法責(zé)任機(jī)制方面，也需要更加細(xì)致的規(guī)則構(gòu)建。一個(gè)常見(jiàn)的討論是算法責(zé)任問(wèn)題在侵權(quán)法上如何定性。例如，德國(guó)學(xué)者格哈德·瓦格納曾經(jīng)運(yùn)用教義學(xué)方法分析了自助系統(tǒng)應(yīng)當(dāng)適用產(chǎn)品責(zé)任，而不是生產(chǎn)者責(zé)任?！?0 〕筆者認(rèn)為，為了防止侵權(quán)法責(zé)任規(guī)則對(duì)技術(shù)發(fā)展的壓制，應(yīng)當(dāng)建立起類(lèi)似于機(jī)動(dòng)車(chē)交通事故責(zé)任強(qiáng)制保險(xiǎn)那樣的保險(xiǎn)機(jī)制，以平衡權(quán)利保護(hù)與技術(shù)進(jìn)步，在此基礎(chǔ)上可以適用或類(lèi)推適用我國(guó)侵權(quán)法上的產(chǎn)品責(zé)任。而在刑事司法程序場(chǎng)合，由于算法產(chǎn)品涉及重要的人權(quán)問(wèn)題，應(yīng)當(dāng)將算法責(zé)任機(jī)制與準(zhǔn)入制度掛鉤，根據(jù)算法表現(xiàn)進(jìn)行動(dòng)態(tài)評(píng)級(jí)，調(diào)整法院的公共服務(wù)購(gòu)買(mǎi)清單。

（二）司法：明確算法決策的輔助地位

目前，許多法律科技公司都在開(kāi)發(fā)基于大數(shù)據(jù)的類(lèi)案推送工具，以幫助法律從業(yè)者更好地從事法律工作。在司法審判領(lǐng)域，面對(duì)各類(lèi)算法決策工具，首先需要明確的是，算法決策工具不能起到對(duì)法官的替代作用，只能起到輔助裁判的作用。算法只能扮演輔助裁判角色的原因如下：第一，解釋和運(yùn)用法條的工作本身蘊(yùn)含著價(jià)值判斷的要求，這個(gè)任務(wù)必須由有著同理心的人類(lèi)法官完成，而不能純粹訴諸技術(shù)理性，否則人的主體性地位可能會(huì)受到威脅;第二，盡管算法可以通過(guò)訓(xùn)練，識(shí)別盡可能多的相關(guān)關(guān)系，從而揭示隱藏在既有判決之下的影響因素，但是由于數(shù)據(jù)質(zhì)量、數(shù)量、算法、算力等方面總存在著局限性，因而未必能夠完全揭示出人類(lèi)意識(shí)中的全部自變量;第三，如前所述，算法本身可能繼承了人類(lèi)既有的偏見(jiàn)，而這些偏見(jiàn)需要有修正的機(jī)會(huì)，機(jī)器本身無(wú)法完成這樣的修正，只有人類(lèi)法官才有可能在裁判中糾偏;第四，算法所展示出的結(jié)果過(guò)于倚重聚類(lèi)數(shù)據(jù)，因而在輸出的結(jié)果上靈活性較低，交由人類(lèi)法官作出終局性判斷，既能讓法官發(fā)揮必要的自由裁量權(quán)，也是盧米斯案所肯定的被告享有個(gè)性化裁判權(quán)利的體現(xiàn)。

在明確了算法決策的輔助地位之后，我們需要討論算法應(yīng)當(dāng)在何種程度上發(fā)揮輔助作用。盧米斯案給我們的一個(gè)啟示是：法官應(yīng)當(dāng)注意到風(fēng)險(xiǎn)評(píng)估算法只代表對(duì)歷史數(shù)據(jù)的分析，而判決要充分考慮到本人在本案中的獨(dú)特性。但是，誠(chéng)如上文提到的批評(píng)意見(jiàn)所說(shuō)，法官并不是專(zhuān)業(yè)的科學(xué)家，即使開(kāi)發(fā)商或使用者提交了書(shū)面風(fēng)險(xiǎn)警示，法官們也無(wú)從辨別算法在多大程度上是不可靠的。因此，在廣泛地培養(yǎng)起精通技術(shù)的專(zhuān)門(mén)法官之前，將識(shí)別算法風(fēng)險(xiǎn)的責(zé)任全部分配給法官，并不是明智之舉。我們應(yīng)當(dāng)從法院居中裁判的傳統(tǒng)智慧中尋找替代性方案。正如舉證責(zé)任規(guī)則所揭示的那樣，法官的義務(wù)并不在于發(fā)現(xiàn)自然事實(shí)，而在于確定法律事實(shí)。因此，允許雙方對(duì)風(fēng)險(xiǎn)評(píng)估算法加以舉證質(zhì)證、攻防辯論，再由法院根據(jù)雙方提交的證據(jù)和意見(jiàn)進(jìn)行裁判，可能是更好的辦法，這也使得像盧米斯這樣的被告的正當(dāng)程序權(quán)利能夠得到保護(hù)。

開(kāi)放法庭辯論的重要前提就是要確保至少辯論雙方能夠掌握重要的信息，因此必須確立這個(gè)場(chǎng)景下的算法透明度規(guī)則。對(duì)此，我們?nèi)匀豢梢匝赜们拔奶岬降膱?chǎng)景化的分析框架：

（1）利益沖突。如同盧米斯案所揭示的那樣，最為顯著的利益沖突就是被告人的正當(dāng)程序權(quán)利與開(kāi)發(fā)商的商業(yè)秘密權(quán)利之間的沖突。在這個(gè)場(chǎng)景中，算法評(píng)估工具實(shí)際上扮演的是類(lèi)似于法官的角色，屬于國(guó)家機(jī)器一方，因而對(duì)于算法背后商業(yè)秘密的保護(hù)，應(yīng)當(dāng)遵循打擊犯罪和保障人權(quán)的平衡框架。原則上應(yīng)當(dāng)認(rèn)為，對(duì)開(kāi)發(fā)商商業(yè)秘密的保護(hù)要以保護(hù)被告人的正當(dāng)程序權(quán)利為界限。

（2）披露對(duì)象。首先需要回應(yīng)的問(wèn)題是有些學(xué)者提出的只能使用開(kāi)源算法的方案，因?yàn)槿绻褂瞄_(kāi)源算法，就無(wú)需討論披露范圍的問(wèn)題。對(duì)此，筆者認(rèn)為，不同于技術(shù)成熟階段，在技術(shù)起步階段強(qiáng)求算法開(kāi)源是不切實(shí)際的。只有在自由競(jìng)爭(zhēng)的市場(chǎng)環(huán)境下，才能夠催生出更加成熟的技術(shù)。而算法的專(zhuān)有屬性會(huì)為算法開(kāi)發(fā)商帶來(lái)商業(yè)利益，這會(huì)促進(jìn)其參與市場(chǎng)競(jìng)爭(zhēng)。因此，現(xiàn)階段不應(yīng)當(dāng)要求算法開(kāi)源，也不應(yīng)當(dāng)將其披露給全體公眾，而是應(yīng)當(dāng)只向特定利益相關(guān)方進(jìn)行披露。

那么，哪些人構(gòu)成利益相關(guān)方呢？如果按照前述理解，算法代表追訴犯罪的國(guó)家機(jī)器，因而風(fēng)險(xiǎn)評(píng)估算法實(shí)際上接近于《刑事訴訟法》規(guī)定的“案卷材料”的地位。根據(jù)《刑事訴訟法》第40條的規(guī)定，辯護(hù)律師享有閱卷權(quán)。因而，辯護(hù)律師應(yīng)當(dāng)屬于披露對(duì)象范圍。盡管《刑事訴訟法》尚未明確規(guī)定犯罪嫌疑人、被告人的閱卷權(quán)，但是學(xué)界一直在呼吁法律規(guī)定此項(xiàng)權(quán)利?！?1 〕從算法的特性來(lái)看，不同于其他案卷材料，算法不會(huì)引發(fā)犯罪嫌疑人、被告人翻供等風(fēng)險(xiǎn)，而對(duì)犯罪嫌疑人、被告人披露此項(xiàng)信息，是其行使自辯權(quán)的基礎(chǔ)。那么，公訴人是否屬于披露對(duì)象？筆者認(rèn)為應(yīng)該作出肯定的回答。首先，如果在國(guó)內(nèi)推行類(lèi)似于COMPAS的算法，其提交法院的方式應(yīng)當(dāng)是類(lèi)似于今日檢察院遞交的量刑建議書(shū)，公訴人作為將算法帶入刑事審判程序中的一方，應(yīng)當(dāng)同時(shí)將使用算法的風(fēng)險(xiǎn)信息以及判斷此項(xiàng)風(fēng)險(xiǎn)的必要信息同步帶入法庭之中。其次，如果公訴人不享有獲取相關(guān)信息的權(quán)利，就無(wú)法在庭審中完成我們所預(yù)期的攻防對(duì)抗過(guò)程，無(wú)法將算法的風(fēng)險(xiǎn)更完整地展露出來(lái)。最后，基于公訴人的強(qiáng)勢(shì)地位，要求開(kāi)發(fā)商僅向犯罪嫌疑人、被告人及其辯護(hù)律師一方披露，是不現(xiàn)實(shí)的。由于法官處于居中裁判地位，需要審查雙方就算法風(fēng)險(xiǎn)提交的證據(jù)和意見(jiàn)，因而也必然屬于披露的對(duì)象。正如前面許多文獻(xiàn)所指出的，算法披露未必導(dǎo)致算法能被理解，因而法庭可能需要新的角色來(lái)?yè)?dān)任技術(shù)方面的“翻譯”?！缎淌略V訟法》第197條第2款規(guī)定的“有專(zhuān)門(mén)知識(shí)的人”可能會(huì)勝任這一角色。因而，公訴人、當(dāng)事人和辯護(hù)人、訴訟代理人如果提出申請(qǐng)，有專(zhuān)門(mén)知識(shí)的人也當(dāng)然應(yīng)當(dāng)成為披露對(duì)象。綜上所述，披露對(duì)象應(yīng)當(dāng)包括犯罪嫌疑人、被告人及其辯護(hù)律師、公訴人、法官以及有專(zhuān)門(mén)知識(shí)的人。

（3）披露內(nèi)容。需要說(shuō)明的是，要想幫助法庭提高識(shí)別算法風(fēng)險(xiǎn)的能力，僅僅披露盧米斯案要求的書(shū)面警示事項(xiàng)是不夠的，因?yàn)檫@更類(lèi)似于格式條款中的免責(zé)性文字，而無(wú)助于量化算法的可靠性。因而，必須盡可能多地披露算法背后的細(xì)節(jié)。最基本的要求是披露全部自變量及其權(quán)重，因?yàn)閺闹锌梢灾苯臃治龀鲇袩o(wú)歧視性的因素以及不成比例的因素。當(dāng)被告人及其辯護(hù)律師對(duì)所披露的這些內(nèi)容產(chǎn)生合理懷疑時(shí)，則有權(quán)要求披露算法的源代碼乃至訓(xùn)練數(shù)據(jù)集，以便委托有專(zhuān)門(mén)知識(shí)的人介入核實(shí)。

（4）披露風(fēng)險(xiǎn)及預(yù)防。要求算法披露最核心的一個(gè)風(fēng)險(xiǎn)就是對(duì)商業(yè)秘密的侵蝕。對(duì)此，《刑事訴訟法》第54條、第152條、第188條也提供了參照，即對(duì)于涉及商業(yè)秘密的證據(jù)應(yīng)當(dāng)保密，對(duì)于涉及商業(yè)秘密的案件，當(dāng)事人申請(qǐng)不公開(kāi)審理的，可以不公開(kāi)審理。既然算法背后的主要法益仍然是商業(yè)秘密，那么完全可以參照前述法條構(gòu)建規(guī)則，盡可能阻斷商業(yè)秘密的擴(kuò)散。具體而言，一方面，應(yīng)當(dāng)要求披露對(duì)象負(fù)有保密義務(wù)，可以在庭審前要求他們簽訂保密責(zé)任書(shū);另一方面，對(duì)于涉及算法商業(yè)秘密的案件，算法開(kāi)發(fā)商有權(quán)要求不公開(kāi)審理，或者要求涉及算法商業(yè)秘密的庭審不公開(kāi)。至于違反保密義務(wù)的行為，則可以依照《侵權(quán)責(zé)任法》《反不正當(dāng)競(jìng)爭(zhēng)法》的框架進(jìn)行處理。

（5）配套機(jī)制。為了促進(jìn)針對(duì)算法辯論的有效性，可能的配套機(jī)制是培養(yǎng)起針對(duì)算法風(fēng)險(xiǎn)分析的專(zhuān)門(mén)鑒定機(jī)構(gòu)。此外，由于我們明確了算法的輔助裁判地位，我們應(yīng)當(dāng)在允許算法輔助裁判的同時(shí)，及時(shí)對(duì)算法風(fēng)險(xiǎn)評(píng)估技術(shù)的科學(xué)成果加以推廣。如果算法評(píng)估產(chǎn)生了穩(wěn)定的、非歧視性的、經(jīng)嚴(yán)格論證后被認(rèn)為合理的相關(guān)性結(jié)論，可以適時(shí)將其提升為司法解釋中的法定量刑因素，以便在使用算法的案件和未使用算法的案件中獲得較為統(tǒng)一的裁判結(jié)果，維護(hù)刑法的穩(wěn)定性和權(quán)威性。

（三）行業(yè)標(biāo)準(zhǔn)：構(gòu)建倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)

針對(duì)盧米斯案的分析揭示了算法可能繼承和擴(kuò)大的道德風(fēng)險(xiǎn)，也顯示出開(kāi)發(fā)商可能會(huì)出于商業(yè)考慮或技術(shù)不完備而引發(fā)系統(tǒng)性的歧視與誤判。對(duì)此，算法開(kāi)發(fā)商內(nèi)部應(yīng)當(dāng)增強(qiáng)行業(yè)自律，并及時(shí)總結(jié)經(jīng)驗(yàn)，制定相關(guān)的倫理標(biāo)準(zhǔn)和技術(shù)標(biāo)準(zhǔn)。

人工智能的發(fā)展面臨著多元利益的權(quán)衡，因而需要制定行業(yè)共同遵循的倫理框架。例如，歐盟發(fā)布了“可信賴(lài)AI的道德準(zhǔn)則”，其中規(guī)定了七項(xiàng)治理原則：（1）人工代理和監(jiān)督;（2）技術(shù)的魯棒性 〔52 〕和安全性;（3）隱私和數(shù)據(jù)治理;（4）透明度;（5）多樣性、非歧視和公平性;（6）環(huán)境和社會(huì)福祉;（7）可問(wèn)責(zé)性?！?3 〕盡管如何確定算法公平的內(nèi)涵仍然是一個(gè)難題，但是這不應(yīng)當(dāng)阻礙行業(yè)自律的有益嘗試。算法公正的共識(shí)可能正需要在行業(yè)內(nèi)部討論中才能達(dá)成。同時(shí)，誠(chéng)如學(xué)者所說(shuō)，算法暴政的根源不在于算法，而在于開(kāi)發(fā)和使用算法的人。制定倫理標(biāo)準(zhǔn)可以完成對(duì)開(kāi)發(fā)者的道德培訓(xùn)，使得技術(shù)人員在開(kāi)發(fā)算法時(shí)可以增強(qiáng)警惕道德風(fēng)險(xiǎn)的意識(shí)，從而減少算法中的歧視和偏見(jiàn)。

如果說(shuō)倫理標(biāo)準(zhǔn)是一項(xiàng)較為宏觀(guān)的展望，那么技術(shù)標(biāo)準(zhǔn)則更具可操作性。技術(shù)標(biāo)準(zhǔn)不僅旨在控制質(zhì)量的穩(wěn)定性，也是對(duì)道德風(fēng)險(xiǎn)的系統(tǒng)性預(yù)防。筆者建議，應(yīng)當(dāng)根據(jù)算法操作的全過(guò)程設(shè)置各項(xiàng)技術(shù)標(biāo)準(zhǔn)。（1）在數(shù)據(jù)輸入階段，應(yīng)當(dāng)保證數(shù)據(jù)的質(zhì)量，避免“垃圾進(jìn)，垃圾出”的現(xiàn)象，要規(guī)范個(gè)人信息特別是個(gè)人敏感信息的使用，注重?cái)?shù)據(jù)的精確性，也要注重各類(lèi)人群數(shù)據(jù)量上的均衡，在進(jìn)行數(shù)據(jù)標(biāo)注時(shí)要準(zhǔn)確分類(lèi)。（2）在數(shù)據(jù)分析階段，應(yīng)當(dāng)保證算法的中立性和準(zhǔn)確性，通過(guò)設(shè)置嚴(yán)格的技術(shù)標(biāo)準(zhǔn)多角度地檢測(cè)算法中可能存在的歧視性風(fēng)險(xiǎn)，避免在分類(lèi)中遺漏重要的相關(guān)變量。（3）在數(shù)據(jù)輸出階段，應(yīng)當(dāng)根據(jù)技術(shù)發(fā)展水平，盡可能在輸出結(jié)果的同時(shí)，同步輸出各項(xiàng)自變量及其權(quán)重，乃至對(duì)關(guān)鍵算法的解釋?zhuān)员闼惴ㄊ褂谜吒玫嘏袛嘣撍惴ǖ娘L(fēng)險(xiǎn)。