□［澳］莫妮卡·佐尼魯特，莉亞·本內(nèi)特·摩西，喬治·威廉姆斯 著，廖建凱譯

（1.新南威爾士大學(xué) 法學(xué)院，澳大利亞 悉尼；2.西南政法大學(xué) 人工智能法學(xué)院，重慶401120）

自動(dòng)化有望改善各類流程。采用受控程序和系統(tǒng)來代替人類勞動(dòng)，可以提高效率、確定性和一致性。因此，自動(dòng)化在制藥、零售、銀行和交通等領(lǐng)域，受到私營部門的歡迎也就不足為奇。自動(dòng)化也能給政府帶來益處，它有潛力使政府決策更準(zhǔn)確、更高效和更公平。一些國家在福利分配和刑事審判等領(lǐng)域積極推進(jìn)自動(dòng)化，輔助或替代政府人工決策的自動(dòng)化系統(tǒng)正越來越多地被使用。然而自動(dòng)化的快速應(yīng)用也引發(fā)了爭議。一方面機(jī)器學(xué)習(xí)等技術(shù)的變革潛力，因能提高經(jīng)濟(jì)效益而受到稱頌；另一方面大眾普遍認(rèn)為，其給隱私權(quán)和平等權(quán)等權(quán)利帶來風(fēng)險(xiǎn)。自動(dòng)化如何與基本的法律概念和規(guī)范相互作用的問題，引起了法學(xué)理論、技術(shù)和哲學(xué)交叉領(lǐng)域理論家的廣泛關(guān)注。

本文采用寬泛的視角評估政府決策自動(dòng)化對法治的益處與挑戰(zhàn)。其目的不是進(jìn)行徹底的分析，而是批判性研究法治原則如何被兩種使用越來越多的自動(dòng)化影響：人工編寫的預(yù)編程規(guī)則（例如專家系統(tǒng)）和從歷史數(shù)據(jù)中衍生出規(guī)則并進(jìn)行推理或預(yù)測的工具（通常應(yīng)用機(jī)器學(xué)習(xí)）。我們研究的焦點(diǎn)是自動(dòng)化對政治和國家制度中最廣泛認(rèn)可的三個(gè)核心法治觀念的影響：透明和責(zé)任、可預(yù)測性和一致性、法律面前人人平等。

一、法治

法治是一項(xiàng)正在進(jìn)行的政治工程，其核心在于一種廣泛堅(jiān)持的信念，即社會(huì)應(yīng)由法律治理。歐盟、俄羅斯、中國、津巴布韋和伊朗等形形色色的社會(huì)和看似不可調(diào)和的政治體制都認(rèn)可法治，是法治這一概念的顯著特征。如此多的國家和政治制度都接受法治，是因?yàn)檫@個(gè)概念沒有一個(gè)公認(rèn)的定義。它無處不在，卻又難以捉摸。作為一個(gè)“本質(zhì)上有爭議的概念”[1](p52)，不同的社會(huì)可以認(rèn)同法治，但對法治的內(nèi)涵卻存在分歧。一些學(xué)者將對法治的理解分為形式觀念和實(shí)質(zhì)觀念，前者聚焦于合法性的來源和形式，而后者還包括關(guān)于法律內(nèi)容的規(guī)定。法治既包含程序因素也包含實(shí)體因素的觀點(diǎn)被廣為接受[2](p467)。

我們的目標(biāo)不是給出另一種關(guān)于法治的解釋。相反，我們僅僅關(guān)注普遍接受的法治內(nèi)涵，即法律必須是可預(yù)測的、穩(wěn)定的、可獲得的和法律面前人人平等[3](p1)。在應(yīng)用這些原則時(shí)，我們的關(guān)注點(diǎn)主要是法治的形式和程序方面，而非其包含言論自由和隱私權(quán)等廣泛人權(quán)的能力。因此，我們的分析僅限于以下核心部分：透明和責(zé)任、可預(yù)測性和一致性、法律面前人人平等。

（一）透明和責(zé)任

法治最廣為人知的方面是，政府必須確保制定的規(guī)則和決定透明并對其負(fù)責(zé)。透明要求公開國家的運(yùn)行情況，個(gè)人可以獲取法律規(guī)則和行政決定[4]。這很重要，因?yàn)檫@樣個(gè)人就可以知曉影響他們的決定的原因，并了解未來的決策將如何影響他們。在民主制度中，對法律運(yùn)作原則（雖然不一定是影響他人的決定的具體細(xì)節(jié)）有一定的了解，對人們理解和評價(jià)政府的表現(xiàn)也是有用的。責(zé)任進(jìn)一步要求政府遵從法律并對其行為負(fù)責(zé)（例如，行政行為違反法律時(shí)可以被推翻）。透明和責(zé)任是相關(guān)的，因?yàn)闆Q策過程或制度的透明是使該過程或制度可責(zé)的必要（但非充分）條件[5](p534–537)。

（二）可預(yù)測性和一致性

法治另一個(gè)被廣泛接受的方面是，法律應(yīng)該是可預(yù)測的和一致的[6](p270–271)。許多人認(rèn)為，這對個(gè)人自由不可或缺，是“人們所說的法治”的基本組成部分。法律的可預(yù)測性和一致性通常被認(rèn)為具有雙重作用。它提高了政府決策的確定性和效率，使個(gè)人可以有效地管理他們的私人生活和事務(wù)[7]。它還具有一種道義上的意義，即應(yīng)平等對待類似案件。在普通法體系中，法律的可預(yù)見性和一致性可通過司法遵循先例得到進(jìn)一步提高。

（三）法律面前人人平等

法律面前人人平等要求所有人都必須受到法律平等的制約和對待，而不應(yīng)不適當(dāng)?shù)仡櫦八麄兊牡匚换蚱渌闆r。從廣義上講，法律面前人人平等可以保證任何個(gè)人或群體都不會(huì)因其種族或民族、性別、來源國、宗教信仰、性取向或其他無關(guān)的個(gè)人特征而享有特權(quán)或受到歧視[8]。本文使用的是法律面前人人平等的狹義概念，即人們不論其地位如何，都應(yīng)享有平等的法律權(quán)利，并且在享有這些權(quán)利時(shí)，要“類似案件類似處理”[9](p237)。法律面前人人平等的狹義定義，在一系列法律和政治制度中有著最為廣泛的適用。

二、決策自動(dòng)化

政府決策中的自動(dòng)化不是一種新現(xiàn)象，也并非與單一的技術(shù)相關(guān)。自動(dòng)化依賴于一種技術(shù)工具或系統(tǒng)，其參與決策的程度有所不同，從決策輔助（計(jì)算機(jī)輔助人類作決策）到人工參與（人類部分參與決策），再到人類完全在決策過程中消失。

為了闡明這一點(diǎn)，研究從自動(dòng)化輔助決策到完全由機(jī)器決策的具體事例很有用。從決策輔助工具開始，機(jī)場海關(guān)官員使用的臉部識別工具可能會(huì)將申請人識別為安全監(jiān)視名單上的人，并從數(shù)據(jù)庫中調(diào)出此人的記錄。然后，海關(guān)官員可能會(huì)審查數(shù)據(jù)庫中的信息，詢問申請人，并決定是否允許此人入境。在這個(gè)范圍內(nèi)，還有一些系統(tǒng)可以自動(dòng)確定與決策相關(guān)的一些事實(shí)，如個(gè)人是否符合年齡標(biāo)準(zhǔn)，而將決策的剩余部分留給政府官員。此外，自動(dòng)化系統(tǒng)可以給出與評估相關(guān)的信息，而非純粹基于事實(shí)標(biāo)準(zhǔn)，例如評估個(gè)人是否危險(xiǎn)或遵守還款計(jì)劃。自動(dòng)化可能還會(huì)建議決策者以一種特定的方式來裁決案件，在這種情況下，決策者可能會(huì)將這樣的建議或多或少地當(dāng)作是結(jié)果的決定因素。最后，系統(tǒng)可以識別相關(guān)信息，然后根據(jù)這些信息做出決策，而不需要人工介入。例如，在確定申請人是否符合領(lǐng)取福利待遇的標(biāo)準(zhǔn)時(shí)，可能會(huì)出現(xiàn)這種情況。

各種各樣的技術(shù)正在或者可能用于政府決策自動(dòng)化。在分析自動(dòng)化對法治的影響時(shí)，我們將其分為兩種典型類型，盡管這兩種類型的自動(dòng)化系統(tǒng)也可能在決策過程中相互結(jié)合。第一種類型的自動(dòng)化，遵循一系列由人類預(yù)先編寫的程序規(guī)則。第二種類型的自動(dòng)化，應(yīng)用由系統(tǒng)從歷史數(shù)據(jù)推斷出的規(guī)則。在說明它們?nèi)绾谓Y(jié)合之前，有必要通過事例分別研究它們——專家系統(tǒng)和有監(jiān)督的機(jī)器學(xué)習(xí)。

（一）專家系統(tǒng)

專家系統(tǒng)作為一個(gè)通用術(shù)語，用來描述機(jī)器完成通常需要人類智能才能完成的任務(wù)的情形。專家系統(tǒng)是預(yù)編程邏輯的一個(gè)例子，規(guī)則被編碼到系統(tǒng)中，并應(yīng)用到新的例子以得出結(jié)論。一般來說，這些規(guī)則是由那些對決策所涉領(lǐng)域有充分了解的人編寫或與他們協(xié)商設(shè)計(jì)的[10](p13-14)。例如，在政府決策方面，是那些了解有關(guān)立法規(guī)定和決策標(biāo)準(zhǔn)的人。專家系統(tǒng)可用作決策過程的自動(dòng)化組件，它依賴于清晰、固定和有限的標(biāo)準(zhǔn)。

由于專家系統(tǒng)以明確的規(guī)則為基礎(chǔ)，因此可以給出決策的理由，以及作出決策所依據(jù)的重要事實(shí)和規(guī)則。在一個(gè)確定是否滿足標(biāo)準(zhǔn)A、B 和C的極其簡單的專家系統(tǒng)事例中，系統(tǒng)的輸出可能是“申請人X 因?yàn)椴粷M足標(biāo)準(zhǔn)C，因此沒有資格享有這種福利”?？梢越o出作出決定的原因，是因?yàn)橄到y(tǒng)使用與規(guī)則本身相同的邏輯，即根據(jù)標(biāo)準(zhǔn)A、B和C 對每個(gè)申請人進(jìn)行評估。該系統(tǒng)還可以通過將編碼規(guī)則寫成一個(gè)或多個(gè)聲明的方式提高對公眾的透明度，例如“申請人只有在滿足A、B 和C 的情況下才有資格獲得該福利”[11](p114-115)。

專家系統(tǒng)已被各國政府用來輔助和取代人類決策者。自20世紀(jì)80年代以來，這類系統(tǒng)被設(shè)計(jì)用于各種政府場景，如兒童保護(hù)和社會(huì)福利計(jì)算。下面論及的澳大利亞自動(dòng)追債系統(tǒng)和瑞典自動(dòng)化學(xué)生福利系統(tǒng)，是預(yù)編程系統(tǒng)更現(xiàn)代的事例。無論它們是否被編碼為傳統(tǒng)的“專家系統(tǒng)”（通常將推理引擎與規(guī)則數(shù)據(jù)庫分開），都再現(xiàn)了類似的方法。特別是，這兩個(gè)系統(tǒng)在人類精心設(shè)計(jì)的邏輯基礎(chǔ)上運(yùn)行，相同的輸入必然產(chǎn)生相同的輸出。

（二）有監(jiān)督的機(jī)器學(xué)習(xí)

第二類自動(dòng)化決策系統(tǒng)完全不同，它們不是基于明確的人工編寫的規(guī)則，而是基于從歷史數(shù)據(jù)中學(xué)習(xí)到的規(guī)則。機(jī)器學(xué)習(xí)能自動(dòng)構(gòu)建驅(qū)動(dòng)系統(tǒng)的規(guī)則。機(jī)器學(xué)習(xí)描述了各種數(shù)據(jù)驅(qū)動(dòng)的技術(shù)，這些技術(shù)建立了一個(gè)過程，通過這個(gè)過程，系統(tǒng)將“學(xué)習(xí)”歷史數(shù)據(jù)的模式和相關(guān)性，從而生成預(yù)測或提出見解。在算法嘗試針對指定目標(biāo)提高性能時(shí)，“學(xué)習(xí)”迭代進(jìn)行。

監(jiān)督機(jī)器學(xué)習(xí)需要已經(jīng)分類或標(biāo)記的數(shù)據(jù)，例如，在某種情況下，申請人是否有資格獲得福利。由于數(shù)據(jù)是預(yù)先標(biāo)記的，它包含了人類的偏見和假設(shè)。例如，犯罪數(shù)據(jù)可能反映出治安和司法對少數(shù)群體的偏見，而有關(guān)福利資格的數(shù)據(jù)可能反映出官方機(jī)構(gòu)削減開支的動(dòng)機(jī)。應(yīng)用監(jiān)督機(jī)器學(xué)習(xí)的人員，還必須確定他們希望如何評估系統(tǒng)的性能。該過程通常首先將數(shù)據(jù)劃分為一個(gè)訓(xùn)練集和一個(gè)測試集，后者用于根據(jù)相關(guān)標(biāo)準(zhǔn)評估算法的性能。學(xué)到的規(guī)則被應(yīng)用到測試數(shù)據(jù)中評估算法，此后再對算法進(jìn)行改進(jìn)。

有監(jiān)督的機(jī)器學(xué)習(xí)是諸多方法中的一個(gè)事例，它旨在從數(shù)據(jù)中得出推論，以達(dá)到推理或預(yù)測的目的。其他技術(shù)，包括那些與傳統(tǒng)統(tǒng)計(jì)相關(guān)的技術(shù)，也可以用來達(dá)到類似的目的。例如，可以使用回歸分析來估計(jì)變量之間的關(guān)系，并將其用于編寫預(yù)測特定變量的規(guī)則（例如決策的結(jié)果）。然而，與標(biāo)準(zhǔn)的統(tǒng)計(jì)方法不同，機(jī)器學(xué)習(xí)通常是迭代的（能夠不斷地“學(xué)習(xí)”新信息），并且能夠識別數(shù)據(jù)中更復(fù)雜的模式。

這兩種類型的自動(dòng)化之間的界線并不總是很清晰。人類可以編寫明確的規(guī)則，這些規(guī)則不是基于法定標(biāo)準(zhǔn)或法律教條，而是基于從歷史數(shù)據(jù)（通過統(tǒng)計(jì)或機(jī)器學(xué)習(xí)）中總結(jié)出的經(jīng)驗(yàn)性發(fā)現(xiàn)。在這種情況下，規(guī)則從特定時(shí)間點(diǎn)的數(shù)據(jù)推斷出來，然后被預(yù)先編程到系統(tǒng)中。自動(dòng)遵循同一規(guī)則的系統(tǒng)，最初通過機(jī)器學(xué)習(xí)過程學(xué)習(xí)，它同時(shí)具有專家系統(tǒng)和機(jī)器學(xué)習(xí)的一些特征。像專家系統(tǒng)一樣，它不能在程序參數(shù)之外運(yùn)行。如果規(guī)則變得過時(shí)（例如，由于法定標(biāo)準(zhǔn)或決策政策的改變），那么它將不能再有效地預(yù)測人類作出的決策。該系統(tǒng)還將與機(jī)器學(xué)習(xí)一樣面對潛在的復(fù)雜性。特別是，根據(jù)所應(yīng)用的機(jī)器學(xué)習(xí)過程，衍生的（和使用的）規(guī)則可能很難被人類理解、解釋或證明。這個(gè)事例表明，兩種類型的自動(dòng)化并不是絕對分開的類別。然而，它們是有用的“經(jīng)典類型”，有助于區(qū)分它們給法治帶來的不同類型的挑戰(zhàn)。在需要的地方，我們會(huì)討論將這兩種類型的自動(dòng)化結(jié)合起來，以解決特定法治挑戰(zhàn)的可能性。

三、自動(dòng)化決策事例分析

在下面的幾個(gè)事例中，政府依靠自動(dòng)化做出影響個(gè)人的決定。這些事例的研究，體現(xiàn)出對國家、技術(shù)方法和不同實(shí)施階段的多樣化選擇。

（一）澳大利亞的自動(dòng)化追債

“Robo-debt”是媒體對一個(gè)有爭議項(xiàng)目取的綽號，該項(xiàng)目由澳大利亞政府于2015年宣布，旨在計(jì)算和收回因超額支付福利而形成的債務(wù)①該系統(tǒng)被作為澳大利亞2015—2016年度預(yù)算措施的一部分。。它取代了通過風(fēng)險(xiǎn)管理選擇個(gè)人進(jìn)行手工審查的系統(tǒng)，該系統(tǒng)從個(gè)人及其銀行記錄和雇主記錄中收集收入和其他信息。在Robo-debt系統(tǒng)下，澳大利亞稅務(wù)局（ATO）掌握的年收入數(shù)據(jù)與向福利署（Centrelink）報(bào)告的收入數(shù)據(jù)自動(dòng)進(jìn)行交叉匹配。由于最初根據(jù)Centrelink 的數(shù)據(jù)計(jì)算福利待遇，向ATO 申報(bào)更高收入的個(gè)人意味著被多支付福利，因而欠政府一筆債。該系統(tǒng)融合了數(shù)據(jù)匹配（可能使用機(jī)器學(xué)習(xí)）②這種數(shù)據(jù)比對有1990年的《數(shù)據(jù)比對項(xiàng)目（補(bǔ)助與稅收）法》的授權(quán)。，應(yīng)用人工編寫公式的自動(dòng)評估以及對福利接受者自動(dòng)發(fā)送信件。

了解這個(gè)系統(tǒng)如何工作，重要的是要知道報(bào)給ATO 的是年度收入數(shù)據(jù)而報(bào)給Centrelink 的是雙周收入數(shù)據(jù)。第一步是比較這兩個(gè)年化后的收入數(shù)據(jù)。如果報(bào)給ATO 的年收入大于報(bào)給Cen?trelink 的年化收入，個(gè)人就會(huì)收到一封信，讓他有機(jī)會(huì)通過一個(gè)在線門戶確認(rèn)自己的年收入。登錄在線門戶的人有機(jī)會(huì)說明他們的雙周收入情況（要有證據(jù)），而不登錄在線門戶的人則被推定，他們的雙周收入是按報(bào)給ATO的年度收入除以一年中的雙周數(shù)計(jì)算的。但是，發(fā)給個(gè)人的追債信沒有解釋，記錄一年中收入的變化對于準(zhǔn)確計(jì)算福利待遇非常重要[12](p1，4，9)。雙周的收入（網(wǎng)上申報(bào)或按上面方法推算）被用來計(jì)算應(yīng)享有的福利待遇，在相關(guān)情況下，個(gè)人會(huì)自動(dòng)收到債務(wù)通知。有些信件發(fā)送給了實(shí)際上不欠政府錢的個(gè)人，因?yàn)樗麄兊氖杖胱兓瘺]有記錄在案，而這對他們的福利待遇有影響。雖然隨著時(shí)間的推移，計(jì)算債務(wù)的系統(tǒng)已經(jīng)改進(jìn)，但是我們此處的分析針對的是它最初的狀態(tài)。在使用這個(gè)系統(tǒng)的過程中產(chǎn)生了幾個(gè)問題，這些問題包括：信件措辭不當(dāng)，公式存在一定比例的不準(zhǔn)確，向不欠錢的人發(fā)出債務(wù)通知[13]，轉(zhuǎn)移舉證責(zé)任[14](p9-11)，讓個(gè)人任由收債人擺布③需要注意的是，系統(tǒng)在這個(gè)方面的問題已經(jīng)改進(jìn)了。。

（二）美國量刑決策中的數(shù)據(jù)驅(qū)動(dòng)風(fēng)險(xiǎn)評估

如COMPAS 這樣的風(fēng)險(xiǎn)評估工具，依據(jù)不同的特征來區(qū)分不同的個(gè)體?？紤]到軟件的商業(yè)性質(zhì)，這些特征的全部范圍尚不清楚。人們擔(dān)心種族會(huì)影響評估。例如，ProPublica 的一項(xiàng)調(diào)查發(fā)現(xiàn)，與白人相比，非裔美國人更有可能被COMPAS誤判[17]。這并不一定是因?yàn)榉N族被作為一個(gè)變量來模擬罪犯群體的危險(xiǎn)性；當(dāng)與種族相關(guān)的變量與風(fēng)險(xiǎn)類別相關(guān)時(shí)，就會(huì)對評估產(chǎn)生不同的影響。因此，當(dāng)訓(xùn)練系統(tǒng)所用的數(shù)據(jù)本身充滿了人類偏見時(shí)，就會(huì)產(chǎn)生不同的結(jié)果。

雖然種族歧視在盧米斯案中不是問題，但有人提出了性別歧視問題。有關(guān)性別的數(shù)據(jù)被納入算法訓(xùn)練的集合中，原因是男性和女性的再犯罪率，特別是暴力再犯罪率在統(tǒng)計(jì)上存在差異。威斯康辛州最高法院認(rèn)為，這種區(qū)別對待并沒有侵犯被告不因其性別而被判刑的正當(dāng)程序權(quán)利。其原因是男性和女性的再犯罪率不同，忽視性別會(huì)“提供不太準(zhǔn)確的結(jié)果”[16](p77，86)。這涉及一個(gè)基本問題，即從歷史數(shù)據(jù)中得出規(guī)則進(jìn)行推理時(shí)所使用的邏輯——如果目標(biāo)是將預(yù)測的準(zhǔn)確性最大化，那么從法治的角度來看，根據(jù)個(gè)人的固有特征對其進(jìn)行分類是否重要?

（三）瑞典的自動(dòng)化學(xué)生福利（ASW）

瑞典國家學(xué)生金融委員會(huì)（CSN）被瑞典政府挑選為公共機(jī)構(gòu)自動(dòng)化決策的先行者[18]。 CSN 對瑞典學(xué)生生活費(fèi)用的財(cái)政援助進(jìn)行管理，生活費(fèi)用包括助學(xué)金和各種貸款[19]。CSN 的核心目標(biāo)群體通常對信息技術(shù)有較高的認(rèn)識和接觸。基于規(guī)則的CSN 自動(dòng)決策系統(tǒng)由國家立法授權(quán)，其工作人員的職責(zé)是根據(jù)道德準(zhǔn)則，為學(xué)生提供學(xué)生福利方面的電子服務(wù)[20]。這確保了決策基于明確的、公開的規(guī)則，并由人確認(rèn)和承擔(dān)每個(gè)決定的責(zé)任。

自動(dòng)化決策系統(tǒng)可用于學(xué)生貸款和助學(xué)金的申請人（由所謂的“外”單元管理），及向CSN償還貸款的申請人（由“內(nèi)”單元管理）[20]。CSN提供的許多電子服務(wù)都部分或完全自動(dòng)化。例如，允許人們申請減少還款的電子服務(wù)使用輔助決策（部分自動(dòng)化），而所有基于過去兩年收入的還款決策則完全自動(dòng)化。該自動(dòng)決策系統(tǒng)將來自CSN的數(shù)據(jù)與公眾可獲得的信息（包括稅收信息，在瑞典是公開的）結(jié)合在一起[21]。每當(dāng)有人申請減少還款時(shí)，工作人員便會(huì)將相關(guān)信息手動(dòng)輸入系統(tǒng)，然后讓自動(dòng)系統(tǒng)接管，即系統(tǒng)部分自動(dòng)化。雖然作出決定的是這個(gè)系統(tǒng)，但根據(jù)法律規(guī)定，管理人員對系統(tǒng)作出的決定負(fù)責(zé)，并在簽名后將決定告知學(xué)生。

（四）中國的社會(huì)信用體系

第四個(gè)自動(dòng)化事例研究的是由中國中央政府建設(shè)的社會(huì)信用體系（SCS），該體系選擇了43個(gè)城市（城區(qū)）進(jìn)行示范。根據(jù)《社會(huì)信用體系建設(shè)規(guī)劃綱要（2014—2020 年）》，SCS“以樹立誠信文化理念、弘揚(yáng)誠信傳統(tǒng)美德為內(nèi)在要求，以守信激勵(lì)和失信約束為獎(jiǎng)懲機(jī)制，目的是提高全社會(huì)的誠信意識和信用水平”[22]。根據(jù)上述目的，SCS 依據(jù)法律和道德對個(gè)人和公司的經(jīng)濟(jì)、社會(huì)和政治行為進(jìn)行獎(jiǎng)懲[23]。

從技術(shù)角度來看，SCS 類似于一個(gè)簡單的、基于規(guī)則的預(yù)先編程系統(tǒng)，但是43個(gè)示范城市對SCS的實(shí)施各不相同。例如，在榮成市模式下[23]，每個(gè)人從連接四個(gè)政府部門的信用管理系統(tǒng)獲得1000分的基礎(chǔ)分。隨后，政府官員會(huì)根據(jù)個(gè)人的具體行為，在系統(tǒng)中增加或扣除相應(yīng)的分?jǐn)?shù)?？偣灿?50種正面行為可加分，570 種負(fù)面行為會(huì)扣分。SCS將產(chǎn)生廣泛的經(jīng)濟(jì)和社會(huì)影響。例如，那些社會(huì)信用評分較低的人可能沒有資格獲得貸款和某些工作，或者可能被剝奪乘坐飛機(jī)或高鐵的機(jī)會(huì)。與之相反，那些得分高的人享受的福利包括更便宜的公共交通、免費(fèi)的健身設(shè)施以及優(yōu)先就醫(yī)等。

中國的SCS仍處于建設(shè)的初期階段，中國政府一直在與擁有先進(jìn)數(shù)據(jù)分析能力的私營企業(yè)建立合作關(guān)系。例如，中央政府一直在與科技巨頭阿里巴巴（Alibaba）合作建立芝麻信用系統(tǒng)，其中包括自動(dòng)評估借款人社交網(wǎng)絡(luò)聯(lián)系人的信用評分系統(tǒng)[24]。這意味著那些有低分朋友或與其關(guān)聯(lián)的人的分?jǐn)?shù)，會(huì)因此在自動(dòng)評估中受到負(fù)面影響[25]。芝麻信用將來自阿里巴巴數(shù)據(jù)庫的信息與其他個(gè)人信息相結(jié)合，如個(gè)人在線瀏覽和交易歷史、稅務(wù)信息和交通違法信息等，從而自動(dòng)確定個(gè)人的信用度。

四、政府決策自動(dòng)化對法治的益處和挑戰(zhàn)

（一）透明和責(zé)任

自動(dòng)化有利于提高政府決策的透明性和可責(zé)性。人類可能會(huì)在決策后給出決策的理由，但這些理由并不能準(zhǔn)確地反映作出決策的原因[26](p231)，而基于規(guī)則的系統(tǒng)可以精確地解釋設(shè)置變量和得出結(jié)論的原因。它可以告知受決策影響的個(gè)人，他們沒有資格領(lǐng)取津貼的原因是他們不符合預(yù)先編入系統(tǒng)的立法或運(yùn)行規(guī)則所要求的標(biāo)準(zhǔn)。這里需要注意的是，這種反饋并非基于規(guī)則的專家系統(tǒng)必須提供。設(shè)計(jì)者決定系統(tǒng)輸出什么，以及它是否包括結(jié)論或決定的理由。在Robo-debt 事例中，就沒有向個(gè)人提供關(guān)于債務(wù)如何計(jì)算的一般信息，也沒有向個(gè)人提供關(guān)于其自身債務(wù)是如何具體計(jì)算的明確信息。瑞典的ASW 系統(tǒng)正好相反，它的決策是基于明確公開的規(guī)則，并由人確認(rèn)和承擔(dān)每個(gè)決定的責(zé)任。

搞懂伯勒爾（Burrell）的三種“不透明形式”，有助于理解透明面臨的障礙[27](p1)。第一種形式是故意保密，當(dāng)技術(shù)被視為商業(yè)或國家機(jī)密，或當(dāng)自動(dòng)化決策過程中使用的數(shù)據(jù)包含由于隱私或數(shù)據(jù)保護(hù)法律而不能公開的個(gè)人信息時(shí)，就會(huì)出現(xiàn)這種情況。這種形式的不透明可以應(yīng)用于基于規(guī)則邏輯的系統(tǒng)，以及使用機(jī)器學(xué)習(xí)等技術(shù)從數(shù)據(jù)衍生出規(guī)則的系統(tǒng)。在中國的SCS中，只有有限的信息是公開的。例如，在芝麻信用體系中，中央政府和私營部門合作的細(xì)節(jié)并不清楚。盡管人們知道該系統(tǒng)將使用機(jī)器學(xué)習(xí)和行為分析來計(jì)算信用分?jǐn)?shù)[25]，但個(gè)人不知道他的社交網(wǎng)絡(luò)聯(lián)系人的什么信息被使用，以及對他們的信用分?jǐn)?shù)有什么確切的影響[26]。

編者按：改革開放40年來，全國各地各門類舞臺(tái)藝術(shù)作品有繼承有創(chuàng)新，有堅(jiān)守有突破，百花齊放，成果豐碩。為紀(jì)念改革開放40周年，回顧總結(jié)改革開放以來優(yōu)秀舞臺(tái)藝術(shù)成果和創(chuàng)作經(jīng)驗(yàn)，梳理探討其間的藝術(shù)現(xiàn)象和發(fā)展態(tài)勢，以利于我國舞臺(tái)藝術(shù)事業(yè)的繼往開來，本刊近期重點(diǎn)關(guān)注改革開放以來各門類舞臺(tái)藝術(shù)的創(chuàng)作與發(fā)展情況，在“論壇主頁”和“本期關(guān)注”欄目推出“改革開放與舞臺(tái)藝術(shù)”專題。

伯勒爾所指的第二種不透明形式是技術(shù)文盲，它同樣與兩種類型的自動(dòng)化相關(guān)[28](p4)。在這里，提高透明度的障礙是，即使提供了有關(guān)系統(tǒng)的信息，大多數(shù)人也無法從中獲取有用知識。因此，一個(gè)系統(tǒng)對技術(shù)專家來說可能是透明的，而對大多數(shù)被治理的人，包括那些受特定決策影響的人來說則是不透明的。當(dāng)然，那些沒有專業(yè)知識的人可以咨詢那些有專業(yè)知識的人，就像那些受法律影響的人可能需要咨詢律師以了解他們的義務(wù)一樣。但是，在某些情況下，特別在決定的后果十分嚴(yán)重的情況下，在理解和質(zhì)疑一項(xiàng)決定方面缺乏專家的建議，實(shí)踐中將大大降低該決定的透明性和可責(zé)性。

伯勒爾所描述的第三種不透明形式與機(jī)器學(xué)習(xí)高度相關(guān)。其根源在于，即使具備相關(guān)的專業(yè)知識，也很難理解處理大量數(shù)據(jù)的復(fù)雜學(xué)習(xí)技術(shù)[28](p5，10)。例如，臉部被自動(dòng)系統(tǒng)識別的過程可能涉及五官的位置關(guān)系、角度、顏色、形狀等特征的復(fù)雜組合，通過多層神經(jīng)網(wǎng)絡(luò)進(jìn)行組合，每一層反映多個(gè)變量的不同組合。第二種形式的不透明涉及專業(yè)知識的局限性，而第三種形式的不透明認(rèn)識到人類在真正理解或解釋復(fù)雜系統(tǒng)運(yùn)行方面的局限性。由于人類的推理方式與機(jī)器不同，即使經(jīng)過良好的訓(xùn)練，人類也無法總能解釋數(shù)據(jù)和算法之間的相互作用。這表明，隨著機(jī)器學(xué)習(xí)系統(tǒng)變得更加復(fù)雜，法治所需的透明度可能會(huì)日益降低。

對于這一挑戰(zhàn)，有一些可能的和部分的解決方案。一些研究人員正在研究“可解釋的人工智能”，也被稱為XAI，它可以用人類能夠理解的術(shù)語來解釋機(jī)器學(xué)習(xí)推理①例如，美國國防高級研究計(jì)劃局（DARPA)就有一個(gè)XAI項(xiàng)目，該項(xiàng)目旨在開發(fā)“能夠解釋它們的原理、描述它們的優(yōu)缺點(diǎn)，并傳達(dá)對它們未來行為方式的理解”的機(jī)器學(xué)習(xí)系統(tǒng)。。它也可以公開機(jī)器學(xué)習(xí)系統(tǒng)的關(guān)鍵信息，如用于訓(xùn)練系統(tǒng)的數(shù)據(jù)集和所使用的技術(shù)。機(jī)器學(xué)習(xí)系統(tǒng)在運(yùn)行方面也可以變得透明。評估和測試可用于確保系統(tǒng)滿足特定的要求，如預(yù)測的準(zhǔn)確性和平等對待不同的群體。這種有限的透明至少可以確保自動(dòng)化系統(tǒng)的輸出在特定方面是可解釋的，例如遵守平等標(biāo)準(zhǔn)。

然而，一些機(jī)器學(xué)習(xí)技術(shù)無法變得透明，無論是在一般情況下，還是對特定的人?？偟膩碚f，伯勒爾指出的透明三挑戰(zhàn)，意味著機(jī)器學(xué)習(xí)運(yùn)行全過程的公開透明幾乎不可能，包括理解決策的理由，訓(xùn)練所用數(shù)據(jù)集的局限（包括原始數(shù)據(jù)的系統(tǒng)性偏見或“清洗后”的數(shù)據(jù)），獲取機(jī)器學(xué)習(xí)過程的源代碼。在某些情況下，通過評估和測試，使關(guān)于算法的特定信息（例如，它對不同群體的平等對待）變得透明就足夠了。但是，在某些情況下，從法治的角度來看，有限的透明度可能還不夠。在量刑中使用COMPAS 系統(tǒng)最終會(huì)影響個(gè)人自由，在這類情境中需要更高的透明度以符合法治價(jià)值觀。

另一種解決方案是，決策系統(tǒng)只需要作為一個(gè)整體是透明和可解釋的，并不一定要求該系統(tǒng)的自動(dòng)化組件的整個(gè)運(yùn)行過程公開可見。例如，在瑞典ASW事例和Robo-debt事例中，人仍然對決策負(fù)責(zé)，即使決策邏輯首先通過自動(dòng)化系統(tǒng)運(yùn)行。最終，這一策略的成功取決于它的實(shí)施。如果可以要求人提供作出決策的獨(dú)立原因，那么決策系統(tǒng)作為一個(gè)整體就會(huì)像沒有輔助決策軟件一樣透明和可解釋，所以自動(dòng)化系統(tǒng)本質(zhì)上只是打草稿。然而，如果人依賴系統(tǒng)的輸出作為決策的全部或部分原因，即使其對決策負(fù)責(zé)，決策仍然存在瑕疵。這又回到?jīng)Q策過程的自動(dòng)化程度以及輸出對最終決策的影響問題。通過邊緣化自動(dòng)化組件（以效率和其他益處為代價(jià)）和確保按傳統(tǒng)方式由人來擔(dān)責(zé)，或者通過使自動(dòng)化組件透明和可解釋，可以使作為整體的決策系統(tǒng)變得透明和可解釋。

由上可見，自動(dòng)化系統(tǒng)內(nèi)在的透明度是人類選擇系統(tǒng)設(shè)計(jì)的問題。系統(tǒng)設(shè)計(jì)人員可以選擇決策過程要輸出哪些信息，官方機(jī)構(gòu)決定了自動(dòng)化系統(tǒng)的決策范圍。雖然有些方法更難實(shí)現(xiàn)透明，但是設(shè)計(jì)人員可以選擇究竟是否在特定的系統(tǒng)中使用這些方法。有一些限制——正如伯勒爾所指出的，機(jī)器學(xué)習(xí)工具通常不透明，這可能是由于（政府或私人承包商的）政策有意為之、社區(qū)缺乏專業(yè)知識，或者選擇了復(fù)雜的方法。這意味著可能需要在透明度與軟件或工具的選擇之間做出妥協(xié)。最好的預(yù)測者可能不是最透明的，或者可能很難存在于一個(gè)可解釋的系統(tǒng)中。

因此，在決策完全或部分自動(dòng)化的情況下，系統(tǒng)輸出的透明性和可責(zé)性取決于為決策系統(tǒng)本身的透明性和可責(zé)性負(fù)責(zé)的系統(tǒng)設(shè)計(jì)者。事實(shí)上，所有法治價(jià)值觀都有相似之處，它們不太可能偶然地出現(xiàn)在決策和決策輔助系統(tǒng)中。系統(tǒng)設(shè)計(jì)者應(yīng)當(dāng)以符合法治的方式（包括這里所分析的標(biāo)準(zhǔn)）來設(shè)計(jì)這些系統(tǒng)，并能夠說明這是如何做到的。

許多參與設(shè)計(jì)系統(tǒng)和設(shè)置相關(guān)參數(shù)的人是數(shù)據(jù)科學(xué)家、計(jì)算機(jī)科學(xué)家和工程師。在專業(yè)方面，已經(jīng)采取了制定標(biāo)準(zhǔn)、框架和指南的行動(dòng)，以確保決策和決策輔助系統(tǒng)合乎道德①例如，人工智能、倫理與社會(huì)（AIES）會(huì)議，電氣和電子工程師協(xié)會(huì)（IEEE）的全球自主和智能系統(tǒng)倫理倡議，國際標(biāo)準(zhǔn)化組織的JTC1/SC42標(biāo)準(zhǔn)化項(xiàng)目，以及澳大利亞的人工智能路線圖與倫理框架。。 這為法治提供了另一種可能的進(jìn)路，即將法治寫入政府所應(yīng)用的決策和決策輔助系統(tǒng)的技術(shù)規(guī)范中。這樣，設(shè)計(jì)者就有責(zé)任滿足這些標(biāo)準(zhǔn)，無論是合同上的、專業(yè)上的，還是規(guī)則上的。當(dāng)然，將一個(gè)本質(zhì)上有爭議的概念轉(zhuǎn)換成技術(shù)規(guī)范（在一個(gè)或多個(gè)版本中）并不是一件容易的事情，我們在此不做探討。

（二）可預(yù)測性和一致性

自動(dòng)化還可以提高政府決策的可預(yù)測性和一致性。與人類不同的是，計(jì)算機(jī)系統(tǒng)不能肆無忌憚地?zé)o視其程序的規(guī)則。計(jì)算機(jī)系統(tǒng)可以被編程為概率行為，即通過類似投擲虛擬硬幣的方式來決定是否做出對申請人有利的決定，但在我們討論的事例中都沒有出現(xiàn)這種隨機(jī)的行為。相反，隨機(jī)行為通常用于這樣的情境，即社會(huì)共識認(rèn)可隨機(jī)選擇是唯一公平的分配方式（例如，為某個(gè)活動(dòng)發(fā)放有限的門票或確定彩票中獎(jiǎng)?wù)撸?/p>

因此，我們所討論的事例的自動(dòng)化系統(tǒng)普遍提高了決策的可預(yù)測性和一致性，即使它們在其他方面存在問題。中國的SCS是一種社會(huì)控制的工具，因?yàn)槿藗兛梢灶A(yù)測從事某些特定行為的后果，而這些行為政府不鼓勵(lì)。澳大利亞的Robo-debt和瑞典的ASW對每個(gè)人都進(jìn)行了同樣的計(jì)算。

然而，自動(dòng)化也對法治原則的可預(yù)測性和一致性提出了許多挑戰(zhàn)。當(dāng)自動(dòng)決策過程中應(yīng)用的規(guī)則不符合成文法或普通法要求時(shí)，就會(huì)出現(xiàn)第一個(gè)挑戰(zhàn)。這種情況下的不一致不在于規(guī)則在不同情況下的應(yīng)用，而在于程序化的規(guī)則與適用于每種情況的規(guī)則之間的不一致。Robo-debt就是一個(gè)這樣的例子。這種方法并沒有給很多人帶來法律上正確的結(jié)果①對于錯(cuò)誤率以及何為錯(cuò)誤，人們存在一些爭議。大約20%收到債務(wù)通知的人，通過提供額外的資料，證明了其沒有因超額享受福利而對政府欠債。。從政府對其立場的辯護(hù)中可以看出，當(dāng)人們有機(jī)會(huì)糾正出現(xiàn)的問題時(shí)，這不一定是一個(gè)問題：“初始通知要求福利接受者提供信息，以解釋ATO和Centrelink有關(guān)收入記錄的差異。結(jié)果是80%的人對政府負(fù)債。剩下的20%的人通過解釋差異，根據(jù)更新的信息再次評估后不對政府負(fù)債。這就是這個(gè)系統(tǒng)的運(yùn)作方式，它符合法律規(guī)定，即福利接受者必須報(bào)告情況的所有變化，也符合政府部門監(jiān)管政府開支的義務(wù)?！盵28](2.89)問題不在于人類決策也存在的錯(cuò)誤率，而在于管理錯(cuò)誤的流程還不夠完善。發(fā)出債務(wù)通知的決定沒有經(jīng)過人工審核。作為既成事實(shí)的債務(wù)通知發(fā)給個(gè)人時(shí)，有些人由于地址錯(cuò)誤而沒有收到要求解釋收入差異的信息[28](3.61)。用于質(zhì)疑債務(wù)通知的在線門戶也不好用[28](2.110)，不足以滿足人們選擇的需要[28](3.98)(3.106)(3.119)。出錯(cuò)率也可能超過了為處理上訴而設(shè)立的機(jī)構(gòu)的能力。這與瑞典的ASW相比是一種劣勢，人類編寫該系統(tǒng)并對每一個(gè)決定負(fù)責(zé)，且通常會(huì)有適當(dāng)?shù)纳显V程序②可將瑞典國家學(xué)生金融委員會(huì)（CSN）的決定上訴至瑞典國家學(xué)生援助上訴委員會(huì)。。結(jié)果是，在Robo-debt中，法律很可能以不可預(yù)測和前后矛盾的方式被誤用。

當(dāng)從預(yù)先編程的規(guī)則轉(zhuǎn)向數(shù)據(jù)衍生出的規(guī)則時(shí)，決策的可預(yù)測性和一致性可能會(huì)降低。這并不是因?yàn)橛?jì)算機(jī)不按編程運(yùn)行，而是因?yàn)榫拖袢祟悆和瘜W(xué)習(xí)一樣，很難預(yù)先預(yù)測結(jié)果，而且隨著學(xué)習(xí)的繼續(xù)，行為也會(huì)發(fā)生改變。細(xì)想COMPAS工具的現(xiàn)狀（上文已經(jīng)探討了其由于透明性問題而受到限制），那些開發(fā)該工具的人不一定事先就知道哪些條件與特定的行為（如再次犯罪）相關(guān)，是單獨(dú)還是結(jié)合在一起才相關(guān)。給個(gè)人評分的規(guī)則，很可能是通過監(jiān)督機(jī)器學(xué)習(xí)過程，從大量數(shù)據(jù)（記錄歷史再犯罪行為數(shù)據(jù)）中衍生出來的。因此，系統(tǒng)的行為很難甚至有時(shí)不可能被人類提前預(yù)測。

機(jī)器學(xué)習(xí)給可預(yù)測性和一致性帶來了新問題，因?yàn)樗粩嗟貜妮斎氲男聰?shù)據(jù)“學(xué)習(xí)”。如果它給一個(gè)人可能再犯罪打了低分，從而輔助法官做出假釋的決定，但這個(gè)人卻再次犯罪，這將反饋給算法，以便隨著時(shí)間的推移提高其預(yù)測精度。在這種情況下，與他類似的新個(gè)體時(shí)將會(huì)有不同的評估結(jié)果，即更高的再犯罪風(fēng)險(xiǎn)分?jǐn)?shù)和更低的假釋機(jī)會(huì)。這意味著該系統(tǒng)評估類似的個(gè)體時(shí)隨時(shí)間的不同而不同。正如下文所討論的，這不僅是一致性的問題，而且是法律面前人人平等的問題。

此外，法官和風(fēng)險(xiǎn)評估工具在評估再次犯罪風(fēng)險(xiǎn)方面也存在差異。雖然法官量刑考慮的信息一般不受傳統(tǒng)證據(jù)規(guī)則的限制，這些信息可以包括被告的個(gè)性和犯罪歷史等③在美國，《聯(lián)邦證據(jù)規(guī)則》一般不適用于量刑。，但量刑過程本身必須滿足自然公正或正當(dāng)程序的要求④這在美國最高法院審理的Gardner v Florida（430 U.S. 349，359（1977））一案中得到了確認(rèn)。。因此，法官不太可能根據(jù)被告的固有特征，例如他們的父母是否離婚，作出量刑決定[29]。COMPAS所依賴的變量可能會(huì)被人類法官認(rèn)為與再犯罪不相關(guān)，這一事實(shí)致使法官根據(jù)法律作出的決定與算法推斷建議的決定不一致。特定案件中機(jī)器學(xué)習(xí)所依賴的數(shù)據(jù)缺乏透明度，再加上算法本身的不透明，使法官很難改變他們對輔助決策工具的期望，從而確保決策工具的合理使用。

自動(dòng)化可以通過消除人們所熟知的任意性，來提高決策的可預(yù)測性和一致性。然而，這樣的益處只有在自動(dòng)化過程足夠透明，對其進(jìn)行屬性評估（為了準(zhǔn)確性和與法律要求的一致性），并采取適當(dāng)措施管理可預(yù)見的錯(cuò)誤的情形下才能實(shí)現(xiàn)。這些措施應(yīng)包括對輸出進(jìn)行人工核查，對出現(xiàn)錯(cuò)誤可能和可能出現(xiàn)錯(cuò)誤的情況進(jìn)行明確解釋，以及建立透明和有效的上訴程序。這些都是設(shè)計(jì)問題。

依據(jù)人為制定規(guī)則（源自成文法或法官造法）的自動(dòng)化可以確保每次都做出正確的決策，并能夠克服人為錯(cuò)誤和腐敗問題。應(yīng)用衍生于數(shù)據(jù)的規(guī)則的系統(tǒng)帶來了更復(fù)雜的挑戰(zhàn)，尤其是在確?！俺晌姆伞钡目深A(yù)測性和一致性方面。監(jiān)督式機(jī)器學(xué)習(xí)和其他迭代系統(tǒng)也會(huì)隨著時(shí)間的推移而難以保持一致性。然而，從可預(yù)測性和一致性的角度來看，這些問題可以控制。第一種情形通過系統(tǒng)的設(shè)計(jì)以及獨(dú)立的測試和評估來控制，第二種情形通過改進(jìn)持續(xù)性學(xué)習(xí)來控制。通過使用顯式編程（explicit programming）來自動(dòng)應(yīng)用固定規(guī)則（最初衍生于數(shù)據(jù)，例如通過機(jī)器學(xué)習(xí)），從而將這兩種類型的自動(dòng)化結(jié)合起來的系統(tǒng)，可以確保長期的一致性。因此，自動(dòng)化對可預(yù)測性和一致性是有益的，盡管有證據(jù)表明在實(shí)踐中可預(yù)測性和一致性可能無法實(shí)現(xiàn)。

（三）法律面前人人平等

自動(dòng)化可以減少法律適用的任意性，消除偏見，消除腐敗，從而增強(qiáng)法律面前人人平等原則。例如，通過使用攝像頭和臉部識別技術(shù)，中國的SCS可以用于確保所有違反特定規(guī)則（如亂穿馬路或非法停車）的人都得到相應(yīng)的懲罰。相比之下，如果沒有這樣的自動(dòng)化系統(tǒng)，針對這類輕微違法行為的制度需要“抓住”每一個(gè)人，處罰的嚴(yán)厲程度往往取決于相關(guān)官員的裁量和“慷慨”。此外，與瑞典ASW 或澳大利亞Robo-debt 類似的專家系統(tǒng)，提供相同的輸入給出相同的答案，這有助于確保處境相似的個(gè)人得到平等對待。這些事例展現(xiàn)了某些類型的自動(dòng)化，如何消除有偏見的人歧視不受歡迎群體的能力。一個(gè)適當(dāng)設(shè)計(jì)的系統(tǒng)可以通過只應(yīng)用與決策真正相關(guān)的條件，來消除有意識和無意識的偏見。

然而，自動(dòng)化能夠給法律面前人人平等帶來的益處，面臨兩個(gè)相互關(guān)聯(lián)的挑戰(zhàn)。首先，政府決策的自動(dòng)化可能會(huì)損害正當(dāng)程序權(quán)利和法律平等適用于所有人的程度；其次，它可能會(huì)破壞不同地位的人平等享有法律權(quán)利的程度。

首先，自動(dòng)化可能會(huì)損害個(gè)體正當(dāng)程序權(quán)利，因?yàn)樗赡芟魅鮽€(gè)人改變或質(zhì)疑影響他們的決定的能力。這可能是因?yàn)樗麄儫o法獲取用于決策的關(guān)鍵信息及確定其準(zhǔn)確性。例如，在Robo-debt事例中，審查和糾正信息的權(quán)利受到了損害，因?yàn)檎l(fā)送給個(gè)人的信沒有解釋年收入變化在準(zhǔn)確計(jì)算福利待遇方面的重要性。向未對政府負(fù)債的福利接受者發(fā)出債務(wù)通知，卻不為其提供糾正影響他們的錯(cuò)誤數(shù)據(jù)的真正機(jī)會(huì)，這實(shí)際上剝奪了他們的正當(dāng)程序權(quán)利，從而否定了法律面前人人平等。

相比之下，瑞典ASW 事例中官員的參與有助于解釋自動(dòng)化決策過程，并為那些受影響的人提供及時(shí)更正信息或行使復(fù)查權(quán)的機(jī)會(huì)。此外，通過相對直接的上訴程序來挑戰(zhàn)CSN的決定也改善了自動(dòng)化決策過程。例如，一名因殘疾而被阻止進(jìn)入就業(yè)市場的學(xué)生，使CSN 的初始決定在瑞典國家學(xué)生援助上訴委員會(huì)審查后被推翻[30]。該委員會(huì)的決定被認(rèn)為非常重要且符合公眾利益，該決定可在其網(wǎng)站上查閱[31]。

與此類似，在上海市社會(huì)信用系統(tǒng)（SCS）模式下，個(gè)人有權(quán)利知道其社會(huì)信用信息的收集和使用，并可以訪問和質(zhì)疑其信用報(bào)告中包含的信息[32]。市公共信用信息服務(wù)中心將在收到異議材料后五個(gè)工作日內(nèi)決定是否對信息進(jìn)行修改。這些權(quán)利在實(shí)踐中受到了中國公民劉虎的檢驗(yàn)。由于不小心將罰款交到一個(gè)錯(cuò)誤的賬戶，劉虎被列入SCS 的黑名單而無法訂到機(jī)票[33]。在法院得知?jiǎng)⒒⒎噶艘粋€(gè)無心之過后，其社會(huì)信用報(bào)告上的信息被改正過來。

在機(jī)器學(xué)習(xí)應(yīng)用到政府決策的情況下，不夠透明是正當(dāng)程序權(quán)利受到損害的主要原因。在盧米斯案中，威斯康辛州最高法院裁定正當(dāng)程序得到了保障，因?yàn)镃OMPAS的評分只是法官考慮的眾多因素之一[34](p755)。然而，很難確定法官對COMPAS的使用將在自動(dòng)化的范圍內(nèi)走多遠(yuǎn)，特別是一些法官可能會(huì)僅把它當(dāng)作裁決的一個(gè)很小考量因素，而另一些法官可能擔(dān)心，基于其他考量而忽略有關(guān)危險(xiǎn)的“客觀”證據(jù)將受到公眾、政治或上訴法院的批評。因此，很難評估個(gè)人決策在多大程度上是基于COMPAS的評分[35](p767-774)。此外，有理由相信分?jǐn)?shù)將獲得其本應(yīng)具有的更大影響力——首席大法官會(huì)議（Conference of Chief）等機(jī)構(gòu)對這類系統(tǒng)的贊揚(yáng)表明，“客觀性”的吸引力蒙蔽了司法部門的許多人，使他們看不到這類軟件的實(shí)際缺陷。

其次，運(yùn)用自動(dòng)決策使政府對任何人不論其地位都平等享有法律權(quán)利以及在取得這些權(quán)利時(shí)“類似情形類似對待”的觀念，帶來進(jìn)一步的挑戰(zhàn)。這包括政府不應(yīng)因個(gè)人所屬族群或不可改變的特征而區(qū)別對待的觀念①人們特別強(qiáng)烈地反對法院系統(tǒng)地對貧窮、未受教育或來自特定群體的被告作出更為嚴(yán)厲的判決。。自動(dòng)決策系統(tǒng)，例如COMPAS 和芝麻信用，可能破壞這一原則，因?yàn)樗鼈兛赡埽海?）明確納入和依賴各種靜態(tài)因素和/或不可變的特征，例如社會(huì)經(jīng)濟(jì)地位、就業(yè)和教育、郵政編碼、年齡或性別；（2）間接地考量這些因素，例如“學(xué)習(xí)”與這些因素相關(guān)的變量的關(guān)聯(lián)性。例如，盧米斯案中，被告辯稱，法官對COMPAS 評分的考慮侵犯了他的憲法權(quán)利，因?yàn)镃OMPAS 軟件使用了“性別評估”[35](p757)，而這反過來又損害了他獲得個(gè)性化判決的權(quán)利。如前所述，使用COMPAS和類似量刑軟件，可能使法官在量刑方面長期被認(rèn)為是不適當(dāng)?shù)囊蛩睾吞卣鳌?/p>

法律面前人人平等面臨的最大挑戰(zhàn)，并非來自明確編入自動(dòng)系統(tǒng)中的不恰當(dāng)?shù)淖兞浚莵碓从谧詣?dòng)系統(tǒng)從歷史數(shù)據(jù)及相互關(guān)系中推斷出的規(guī)則。即使在學(xué)習(xí)過程中沒有使用種族等變量，機(jī)器仍然可以生成帶有種族或其他偏見的評估。如前所述，2016 年P(guān)roPublica 的一項(xiàng)調(diào)查發(fā)現(xiàn)，非裔美國人比白人更有可能在COMPAS 風(fēng)險(xiǎn)評估軟件中被誤判，盡管（聲稱）事實(shí)上并沒將種族作為變量使用[30]。因?yàn)榘‵acebook 的“喜好”等公開信息在內(nèi)的許多其他因素都與種族相關(guān)，而其并未排除在機(jī)器學(xué)習(xí)過程之外，從而導(dǎo)致法律面前不平等對待的結(jié)果②有發(fā)現(xiàn)表明，能輕易獲取的如Facebook“喜好”的這類數(shù)據(jù)記錄，可以被用來自動(dòng)地和精確地判斷包括性取向和種族等方面的高度敏感個(gè)人信息。。此外，量刑問卷中的數(shù)據(jù)（COMPAS 工具從中得出推論）記錄了被告被警察“ 制止”的次數(shù)和第一次被警察“ 制止”的時(shí)間[35](p25-26)?；诿绹鴪?zhí)法的歷史記錄，非裔美國人的身份很可能與較高的被警察“制止”次數(shù)和較早的被警察“制止”的年齡相關(guān)。這樣，種族差異就被建立在數(shù)據(jù)中，從這些數(shù)據(jù)就可以推導(dǎo)出相關(guān)性和作出推斷。

與風(fēng)險(xiǎn)評估工具COMPAS 不同，瑞典ASW 的決定完全基于法律相關(guān)因素。該系統(tǒng)的預(yù)編程性質(zhì)確保這些因素在與其相關(guān)的情況下對決定精確地起作用。作出的決定符合法律，學(xué)生根據(jù)法律受到平等對待。在中國SCS事例中，實(shí)施模式的多樣性意味著法律面前人人平等受到不同程度的影響。例如，在榮成市的SCS 系統(tǒng)模式中，所做的決定僅僅參考明確界定的行為類別，這些行為導(dǎo)致分?jǐn)?shù)的增減——在其預(yù)編程系統(tǒng)中沒有考慮任何其他因素的余地。然而，與之形成對比的是，芝麻信用體系所依賴的變量并非與法治相關(guān)，比如個(gè)人社交網(wǎng)絡(luò)聯(lián)系人的排名。這可能導(dǎo)致實(shí)際上基于社會(huì)地位、性別或種族的差別待遇[36](p5802)。

正如我們的事例所展示的，理解政府決策自動(dòng)化的益處和挑戰(zhàn)，考量決策的背景和所應(yīng)用的系統(tǒng)類型至關(guān)重要。一個(gè)預(yù)先設(shè)定規(guī)則的系統(tǒng)可以確保決策基于法律上相關(guān)的因素，從而避免或最小化官員們腐敗或徇私舞弊的風(fēng)險(xiǎn)。但是，審查和糾正決定所依據(jù)的數(shù)據(jù)的程序性權(quán)利和機(jī)會(huì)至關(guān)重要，就像確保系統(tǒng)的邏輯準(zhǔn)確反映法律一樣。正如我們的案例研究所展示，以數(shù)據(jù)推斷出的規(guī)則作為基礎(chǔ)的系統(tǒng)帶來的挑戰(zhàn)有所不同。在這里，人類的作用僅限于設(shè)置參數(shù)、選擇數(shù)據(jù)（可能由于人類收集實(shí)踐的瑕疵而產(chǎn)生偏見）和決定使用哪些變量作為分析的基礎(chǔ)。除非參與這些過程的人對決策所處的法律環(huán)境有深刻的理解，否則系統(tǒng)在實(shí)踐中可能無法達(dá)到法律面前人人平等的標(biāo)準(zhǔn)。COMPAS 就是一個(gè)軟件無法滿足刑事司法程序公正需要的例子——它是一個(gè)缺乏透明度的工具，依賴于大量通常與法律不相關(guān)的信息，使得被告沒有足夠的機(jī)會(huì)參與法庭關(guān)于其危險(xiǎn)性的調(diào)查，而這是最終裁決的關(guān)鍵組成部分。該工具對非裔美國人的“誤判”比白人更多，這一事實(shí)進(jìn)一步證明，人類對機(jī)器學(xué)習(xí)過程的控制不夠，無法確保其運(yùn)行準(zhǔn)確。

這并不意味著，依賴于從數(shù)據(jù)中衍生出規(guī)則的系統(tǒng)，包括那些應(yīng)用機(jī)器學(xué)習(xí)技術(shù)的系統(tǒng)，永遠(yuǎn)不能在政府決策中以法律面前人人平等的方式使用。機(jī)器學(xué)習(xí)可以用于制定高層政策，從交通流量管理到經(jīng)濟(jì)干預(yù)建模。即使在影響個(gè)人的決策層面，機(jī)器學(xué)習(xí)有時(shí)也符合甚至有利于法律面前人人平等。臉部識別如果被設(shè)計(jì)成能準(zhǔn)確地識別不同個(gè)體的面孔，那么它可以被用來識別作為系統(tǒng)一部分的個(gè)體，如果編程正確，甚至可以克服人類有意識和無意識的偏見。盡管對隱私和監(jiān)控的擔(dān)憂可能會(huì)抵消它的益處，但在這樣的系統(tǒng)中使用機(jī)器學(xué)習(xí)，可以通過減少人類的任意性從而更好實(shí)現(xiàn)法律面前人人平等。

結(jié)論

自動(dòng)化可以改善政府決策。這樣做的益處包括節(jié)省成本、提高速度，以及增強(qiáng)法治的能力。正確設(shè)計(jì)、實(shí)施和監(jiān)督自動(dòng)化系統(tǒng)，不論系統(tǒng)的形式是應(yīng)用預(yù)定程序的規(guī)則、從歷史數(shù)據(jù)中學(xué)習(xí)規(guī)則，還是二者的組合，都可以幫助政府決策更好地反映透明和責(zé)任、可預(yù)見性和一致性、法律面前人人平等的價(jià)值觀。

然而，顯而易見的是，本文所考查的四個(gè)自動(dòng)化事例中有三個(gè)未能實(shí)現(xiàn)這一理想。在某些事例中，例如Robo-debt，這種失敗是由于自動(dòng)化系統(tǒng)的設(shè)計(jì)和實(shí)施不當(dāng)造成的。實(shí)際上，在自動(dòng)化的設(shè)計(jì)和實(shí)施階段，人類的選擇和經(jīng)常出現(xiàn)的錯(cuò)誤可能導(dǎo)致系統(tǒng)無法滿足法治標(biāo)準(zhǔn)。與之形成對比的是瑞典ASW，該系統(tǒng)高度自動(dòng)化，卻沒有引起類似的擔(dān)憂。瑞典模式非常強(qiáng)調(diào)遵守國家的法律、官員的道德準(zhǔn)則和公開的規(guī)制，它展示了一個(gè)精心設(shè)計(jì)的將自動(dòng)化與人類責(zé)任相結(jié)合的系統(tǒng)如何能夠帶來諸多便利，同時(shí)對法治所呈現(xiàn)的價(jià)值觀保持敏感。

然而，如果認(rèn)為有效的人工設(shè)計(jì)和實(shí)施可以確保某種特定的自動(dòng)化技術(shù)能夠提高或至少達(dá)到法治的最低標(biāo)準(zhǔn)，那就錯(cuò)了。從我們的研究中可以清楚地看到，即使是在人類積極參與的情況下，某些形式的技術(shù)也會(huì)帶來棘手的問題。這可能是因?yàn)樽詣?dòng)化的形式與其應(yīng)用場景不相適應(yīng)。例如，機(jī)器學(xué)習(xí)帶來了許多益處，但是一些技術(shù)或軟件產(chǎn)品是以犧牲透明性和可責(zé)性為代價(jià)的。這在特定情況下可以容忍，例如發(fā)放低水平的福利待遇（有上訴機(jī)制），協(xié)助完成城市交通流量優(yōu)化等工作，或?yàn)榇_認(rèn)身份進(jìn)行臉部識別。在這些情境中，從法治的角度來看，對準(zhǔn)確性和差異性的影響進(jìn)行測試和評估可能就足夠了。

另外，由于機(jī)器學(xué)習(xí)無法變得透明和易于理解，不宜將其用來做出對個(gè)人生活和自由有很大影響的決定。當(dāng)機(jī)器學(xué)習(xí)系統(tǒng)可能受到本不相關(guān)的因素影響時(shí)，比如一個(gè)人的種族，甚至是傳統(tǒng)上不被用作歧視的變量，比如一個(gè)人的朋友的信用評級，它可能也是不合適的。當(dāng)系統(tǒng)按照未公開的專有算法運(yùn)行時(shí)，就像COMPAS 一樣，這些問題會(huì)加劇。如果COMPAS 不僅用來輔助法官，而且用來取代法官，這些問題就會(huì)更加復(fù)雜。

從法治的角度來看，隨著時(shí)間的推移，這些問題可能會(huì)變得更加尖銳。隨著技術(shù)的發(fā)展，機(jī)器學(xué)習(xí)變得越來越復(fù)雜，政府使用的自動(dòng)化模式可能越來越只有那些擁有最高技術(shù)水平的專家才能理解。其結(jié)果可能是政府決策依據(jù)的系統(tǒng)過于復(fù)雜，超出了受決策影響的人的理解能力。面對極端復(fù)雜的情況，無知可能會(huì)讓官員們把責(zé)任轉(zhuǎn)移到自動(dòng)化系統(tǒng)上，不管這是否應(yīng)該。其結(jié)果可能是自動(dòng)化與法治之間的緊張關(guān)系日益加劇，即使在人類以尋求尊重這些價(jià)值觀的方式設(shè)計(jì)系統(tǒng)的情況下也是如此。

最終，人類必須評估每一個(gè)決策過程，并考慮什么樣的自動(dòng)化形式是有用的、適當(dāng)?shù)暮头戏ㄖ蔚?。任何自?dòng)化組件的設(shè)計(jì)、實(shí)施和評估，以及包括人的因素在內(nèi)的整個(gè)決策過程，都應(yīng)該與這些法治價(jià)值觀保持一致。這些價(jià)值觀能否完全嵌入政府使用的自動(dòng)決策和決策輔助系統(tǒng)，還有待觀察。將法治價(jià)值觀轉(zhuǎn)化為系統(tǒng)設(shè)計(jì)者可以理解的設(shè)計(jì)規(guī)范，并通過法規(guī)、專業(yè)標(biāo)準(zhǔn)、合同、法院或其他機(jī)制加以實(shí)施，是一項(xiàng)艱巨的技術(shù)和法律挑戰(zhàn)。本文討論了這一領(lǐng)域普遍關(guān)注的問題，包括認(rèn)識工具/設(shè)計(jì)和透明/責(zé)任之間的聯(lián)系，不僅考慮時(shí)間上的一致性和可預(yù)見性，還要考慮自動(dòng)化系統(tǒng)和人工系統(tǒng)之間的一致性和可預(yù)見性，嵌入程序性正當(dāng)程序權(quán)利的重要性，以及從歷史數(shù)據(jù)中衍生出規(guī)則與法律面前人人平等之間的張力。在政府決策自動(dòng)化過程中解決這些問題，對于任何宣稱堅(jiān)持法治基本理念的國家都至關(guān)重要。

超出本文范圍的一個(gè)更深層次的問題是，政府決策自動(dòng)化本身將在多大程度上塑造法治。法治不是一個(gè)靜態(tài)的概念，它隨著社會(huì)價(jià)值觀和政府運(yùn)作的變化而發(fā)展。隨著科技重塑社會(huì)，政府與社區(qū)互動(dòng)，我們對法治的理解也會(huì)隨之改變。諸如透明和責(zé)任、可預(yù)測性和一致性以及法律面前人人平等等價(jià)值觀可能仍然是法治概念的核心，但對它們的解釋和適用可能會(huì)發(fā)生改變。這些技術(shù)所帶來的益處（如削減政府支出的能力），如此重要，以至于要求法治框架內(nèi)的更大空間。