[德]托馬斯·維施邁爾 著馬可 譯趙精武 校

內(nèi)容提要：人工智能系統(tǒng)的大規(guī)模應(yīng)用向法律提出了巨大挑戰(zhàn)。由于目前智能系統(tǒng)的發(fā)展尚未達(dá)到人類智能的水平，人工智能系統(tǒng)的不可預(yù)測性和不可控性將會引發(fā)一系列問題，因此有必要對人工智能系統(tǒng)應(yīng)用模式進(jìn)行監(jiān)管。目前人工智能系統(tǒng)有三個核心技術(shù)要素，即數(shù)據(jù)、算法和人工干預(yù)。這三個要素對于監(jiān)管原則的確立有著錨定作用，同時也是監(jiān)管制度實(shí)施的著力點(diǎn)和立法調(diào)整的規(guī)制對象。監(jiān)管人工智能系統(tǒng)的最大障礙是它的決策過程難以被相對人理解，這意味著人工智能系統(tǒng)需要在決策過程中保持高透明度，以此確?？衫斫庑?。但高透明度是難以通過事后的決策解釋來實(shí)現(xiàn)的，而應(yīng)當(dāng)是通過決策時系統(tǒng)提供決定理由來實(shí)現(xiàn)的。因此有必要建立一個基于智能系統(tǒng)決策的理由和監(jiān)管架構(gòu)，在架構(gòu)中將機(jī)器決策納入法律程序中。這樣的架構(gòu)可以使得決定方和相對方充分交換意見，使得個人真正成為數(shù)字化秩序的主體，而不是客體。

一、走向開放：人工智能對法律的挑戰(zhàn)

在信息時代，在人們決定、解釋某事，或是實(shí)施某個行為的過程中，機(jī)器的身影頻頻現(xiàn)身。具備學(xué)習(xí)能力的信息系統(tǒng)早已應(yīng)用于醫(yī)療、金融等領(lǐng)域。網(wǎng)絡(luò)空間中的智能算法也在根據(jù)用戶搜索時所透露的信息，為用戶量身定制產(chǎn)品推薦和相關(guān)信息。隨著世界從互聯(lián)網(wǎng)時代走向物聯(lián)網(wǎng)時代，人工智能技術(shù)也愈加深刻地融入人們?nèi)粘Ｉ钪校焊鞣N傳感器在住所、交通工具以及身體佩戴的機(jī)器設(shè)備上隨處可見，實(shí)時收集數(shù)據(jù)并將數(shù)據(jù)傳輸至云端。云端的智能系統(tǒng)則根據(jù)這些數(shù)據(jù)完成人類指定的任務(wù)。這些智能系統(tǒng)能夠在現(xiàn)實(shí)世界中操縱機(jī)器、移動物體。它們正在迅速地超越智能機(jī)器人的階段，向著更高階的智能發(fā)展。因?yàn)樗鼈兙邆溥@些特定的能力，智能系統(tǒng)不單單應(yīng)用于私人領(lǐng)域，同樣也被應(yīng)用于滿足公共服務(wù)需求的公共領(lǐng)域。如警方應(yīng)用預(yù)測警務(wù)系統(tǒng)來預(yù)測犯罪行為。而在具體的國家行政監(jiān)管中，特別是在金融市場監(jiān)管和稅務(wù)征收管理等領(lǐng)域，智能技術(shù)都有很大的用途。

目前智能系統(tǒng)還遠(yuǎn)遠(yuǎn)不能與人類智慧相提并論。故而關(guān)于智能系統(tǒng)的爭論焦點(diǎn)并不是未來才可期的“超級智能”，而是如何進(jìn)一步發(fā)展和應(yīng)用具有自主學(xué)習(xí)能力的智能系統(tǒng)，以及這種系統(tǒng)對于大數(shù)據(jù)進(jìn)行開發(fā)和利用的能力。將“一般的人工智能”從“應(yīng)用型人工智能（狹義上的人工智能或弱人工智能）”中分離出來的意義也是如此。但即便是目前的“弱人工智能”或“應(yīng)用型人工智能”，也會對政治、社會和法律提出新挑戰(zhàn)，特別是當(dāng)智能系統(tǒng)被整合進(jìn)入具有巨大社會影響、有造成損害可能性的決策過程時，其產(chǎn)生的問題尤為突出。這種情況愈演愈烈，尤其是在金融市場或安全管理等重要領(lǐng)域中，智能系統(tǒng)的不可預(yù)測性、不可控性很可能引發(fā)嚴(yán)重后果。人與機(jī)器之間緊密的相互作用性、機(jī)器學(xué)習(xí)技術(shù)的廣泛適用性以及人與機(jī)器的共生性更加劇了這一現(xiàn)象。因此，有必要明確，系統(tǒng)越獨(dú)立，其行為就越有可能擺脫人類的控制；換言之，技術(shù)已經(jīng)從人類的工具變成了規(guī)范規(guī)制的直接對象。

基于前述社會問題的觀察，本文意欲解決兩個核心問題：首先是澄清目前智能系統(tǒng)規(guī)制問題中的核心議題，即是否有必要通過立法途徑實(shí)施對智能系統(tǒng)進(jìn)行有序且系統(tǒng)的監(jiān)管活動?；诂F(xiàn)行的憲法性文本和基本法律，可以歸納出智能系統(tǒng)設(shè)計和應(yīng)用應(yīng)當(dāng)遵循的六項(xiàng)監(jiān)管原則。在此基礎(chǔ)上，本文進(jìn)一步分析目前智能系統(tǒng)規(guī)制的前沿問題，即如何規(guī)制智能系統(tǒng)的不透明性。智能系統(tǒng)的決策機(jī)制是一個“黑箱子”，即難以驗(yàn)證哪些因素影響并導(dǎo)致了特定的機(jī)器決策結(jié)果。雖然大眾都對于智能系統(tǒng)有著一定的了解，但立法層面所追求的智能系統(tǒng)透明性標(biāo)準(zhǔn)已經(jīng)超出技術(shù)安全問題的實(shí)際范疇。復(fù)雜的智能系統(tǒng)做出決策作為一種“黑箱子”現(xiàn)象并不構(gòu)成實(shí)質(zhì)的法律問題，因?yàn)槿祟愖龀鰶Q定的過程相對于他人而言其實(shí)也是“黑箱子”，從規(guī)范的角度看，機(jī)器決策與人類決策并無實(shí)質(zhì)差異。因此，相比于機(jī)器決策的透明性和可追溯性實(shí)現(xiàn)問題，更重要的是，需要通過適當(dāng)而完備的法律程序，如下文所言的推理程序，來規(guī)制機(jī)器決策的過程。雖然人們對于人工智能的發(fā)展有著不切實(shí)際的幻想，但是技術(shù)工作者都能認(rèn)清目前人工智能技術(shù)的發(fā)展水平和局限。因此，在進(jìn)入法律上的討論前，必須對智能系統(tǒng)的一些前提條件進(jìn)行澄清：如今的智能系統(tǒng)能力到底如何？它與傳統(tǒng)的自動化決策系統(tǒng)有何不同？它的合法性邊界在哪里？

二、智能系統(tǒng)的監(jiān)管原則

技術(shù)并不能告訴人們該做什么，但它能夠提高人們對于規(guī)范性問題的認(rèn)識，并推動關(guān)于如何制定、實(shí)施法律規(guī)范和標(biāo)準(zhǔn)的討論。從監(jiān)管的角度來看，在規(guī)制智能系統(tǒng)時應(yīng)當(dāng)考慮下列問題：哪些領(lǐng)域的法律規(guī)范已經(jīng)存在？立法者有無必要對這些法律規(guī)范進(jìn)行修訂或調(diào)整？或者新技術(shù)所帶來的新問題是否已經(jīng)無法通過現(xiàn)有監(jiān)管方式予以預(yù)防和規(guī)制？

監(jiān)管的基本原則在被實(shí)施并被具體化到憲法基本價值的過程中，立法者應(yīng)當(dāng)要留有一定的余地。在個案中，監(jiān)管的基本原則之間會存在緊張關(guān)系，立法者必須在基本原則之間尋求動態(tài)平衡。在監(jiān)管規(guī)則的配套程序機(jī)制下，根據(jù)主體公私屬性的差異應(yīng)當(dāng)配置不同的監(jiān)管制度。此外，配套程序機(jī)制也應(yīng)當(dāng)根據(jù)智能系統(tǒng)的應(yīng)用領(lǐng)域進(jìn)行不同的制度安排。最后，開發(fā)和使用智能系統(tǒng)的人也可以主張憲法層面的保護(hù)，進(jìn)而不受特定監(jiān)管規(guī)則的制約，這也會進(jìn)一步推動前述法律程序差異化的處理，下文不對此作出論述。因此，對于警察法等特定領(lǐng)域的智能系統(tǒng)監(jiān)管規(guī)則，重要的是要符合公私法領(lǐng)域的一般性規(guī)范、標(biāo)準(zhǔn)。

（一）智能系統(tǒng)的決策過程應(yīng)當(dāng)做到“可視化”

每種技術(shù)中蘊(yùn)含的價值判斷會在應(yīng)用環(huán)節(jié)中持續(xù)體現(xiàn)自己的影響力，并限制技術(shù)在特定領(lǐng)域的應(yīng)用路徑，最終在該項(xiàng)技術(shù)的逐步發(fā)展、完善中成為應(yīng)用縱深化的實(shí)踐基礎(chǔ)。例如在網(wǎng)絡(luò)系統(tǒng)的搭設(shè)和形成中，軟硬件與系統(tǒng)結(jié)構(gòu)的具體標(biāo)準(zhǔn)在一開始就包含在網(wǎng)絡(luò)行為管理設(shè)備的條形碼中。算法和智能系統(tǒng)也并不是如一般社會認(rèn)知般是純粹技術(shù)性的、人造的和中立性的，而是充滿耦合性，并與其提出時的語境緊密交織在一起。在早期對核心算法的研究中，這個觀點(diǎn)被反復(fù)強(qiáng)調(diào)，特別是在系統(tǒng)設(shè)計階段，系統(tǒng)的決策早已被界定在一定的范圍內(nèi)。如果我們沒有準(zhǔn)確地認(rèn)知技術(shù)的力量以及技術(shù)產(chǎn)生的背景和后果，將會難以準(zhǔn)確地批判技術(shù)的現(xiàn)實(shí)問題，進(jìn)一步阻礙公眾的自主行為并限制他們對于民主自治空間的感知。因此，監(jiān)管或技術(shù)的可視化，通常被理解為社會技術(shù)與監(jiān)管技術(shù)設(shè)計的重要目標(biāo)。在智能系統(tǒng)中，這一目標(biāo)的重要性主要體現(xiàn)為：首先，智能系統(tǒng)可以動態(tài)響應(yīng)用戶的行為，相較于其他的技術(shù)方案而言更大程度上參與了社會決策。其次，由于其廣泛的適用性，智能系統(tǒng)的決策很少受到特定需求的影響。

應(yīng)當(dāng)強(qiáng)調(diào)的是，我們能夠處理的僅限于可視化、數(shù)字化的數(shù)據(jù)流，然而，當(dāng)我們忽視（智能系統(tǒng)存在促使社會公眾進(jìn)入“數(shù)字無意識”的）特性時，即忽略了它可以在不知不覺之中影響、確定人的行為時，就會誘發(fā)一系列社會問題。這種現(xiàn)象也可稱為互聯(lián)網(wǎng)的副作用——即Eli Pariser所提出的“過濾泡沫”①所謂的“過濾泡沫”，是指越來越智能化、定制化和關(guān)聯(lián)化的網(wǎng)絡(luò)會限制用戶的世界觀，用戶僅能在智能系統(tǒng)中通過過濾和篩選的信息“狹隘”地觀察現(xiàn)實(shí)生活，被困在“網(wǎng)絡(luò)泡沫”中。現(xiàn)象——這種現(xiàn)象已經(jīng)在政治領(lǐng)域和社會中存在了相當(dāng)長的一段時間。但即使智能系統(tǒng)從事其他事務(wù)——而不是保留和輸出用戶想要的信息，人們?nèi)匀粫凇皵?shù)字無意識”的影響下慢慢作出他們潛意識狀態(tài)下的思考結(jié)果。但是，由于通常情況下用戶們?nèi)狈ο嚓P(guān)領(lǐng)域的知識和經(jīng)驗(yàn)，他們并不了解具體的決策過程，他們無法將這些行為與監(jiān)管要求或者法律責(zé)任建立起聯(lián)系。如果無法讓主體識別出這些現(xiàn)象和行為，就會導(dǎo)致用戶權(quán)利在事實(shí)層面受到限制，索賠也會遇到障礙，且舉證責(zé)任的實(shí)際難度遠(yuǎn)超以往。這種極不合理的社會現(xiàn)象有必要通過某種方式將智能系統(tǒng)的決策過程公開化和透明化。此時，從公法的權(quán)利義務(wù)關(guān)系的角度觀察，法律所要求的可識別性標(biāo)準(zhǔn)順勢成為法治國原則的基本要求。

（二）智能系統(tǒng)應(yīng)符合一定的質(zhì)量標(biāo)準(zhǔn)

智能系統(tǒng)的發(fā)展和進(jìn)步基于復(fù)雜的數(shù)學(xué)原理和技術(shù)方案，而這些恰恰是立法難以直接觸及的領(lǐng)域。因此，除了自我學(xué)習(xí)系統(tǒng)設(shè)計所取得的巨大成功之外，正如Tay的例子，也會存在一些“挫折”。

如今，許多標(biāo)榜自己為人工智能的應(yīng)用程序事實(shí)上并沒有達(dá)到智能系統(tǒng)的最低技術(shù)要求，同時還缺乏高質(zhì)量的數(shù)據(jù)實(shí)現(xiàn)內(nèi)部的迭代優(yōu)化。在“向系統(tǒng)輸入垃圾，輸出的也是垃圾”的機(jī)理下，這些應(yīng)用程序根本無法做到降低人工成本，更遑論潛在的安全漏洞威脅。此外，有的所謂智能系統(tǒng)數(shù)據(jù)庫中的算法和得到的相關(guān)性是否實(shí)際具有預(yù)測能力，是否只能識別非生產(chǎn)性數(shù)據(jù)（也就是僅僅是人類的輔助工具），這些潛在的問題通常也沒有得到足夠的重視。如果系統(tǒng)或開發(fā)者沒有關(guān)于特定領(lǐng)域因果關(guān)系的知識，或是忽略了潛在的重要因素，上述問題會體現(xiàn)得愈加明顯。人們總是忽略了以下事實(shí)：在自然或社會里一些沒有規(guī)律的場域中，人工智能很難找到可靠的規(guī)律和因果關(guān)系。

這樣的錯誤顯然會影響智能系統(tǒng)的質(zhì)量和可靠性，但即便是能夠避免這樣的錯誤，智能系統(tǒng)也不當(dāng)然是完美的。智能系統(tǒng)預(yù)測準(zhǔn)確性的高低，取決于所使用的預(yù)測模型和系統(tǒng)設(shè)計者開發(fā)時花費(fèi)的精力。此外，由于智能系統(tǒng)的決策模型采用了很多統(tǒng)計學(xué)方法，因此會始終存在一定的“假陽性”和“假陰性”決策。如果將智能系統(tǒng)應(yīng)用于法律領(lǐng)域（比如刑事指控），由于系統(tǒng)基本上只能進(jìn)行相關(guān)性的論證，統(tǒng)計學(xué)層面的報告難以作為法律判斷的根據(jù)。

立法者或可考慮在法律層面設(shè)置充分的技術(shù)標(biāo)準(zhǔn)，特別是涉及基本權(quán)利的敏感領(lǐng)域。如此一來，有助于輔助并以國家保證責(zé)任（Gew?hrleistungsverantwortung）的實(shí)現(xiàn)，成為民主、法治國和其他憲法價值的堅(jiān)實(shí)基礎(chǔ)，同時也給予人們合適的途徑去救濟(jì)自己的權(quán)利。在監(jiān)管層面，應(yīng)當(dāng)根據(jù)具體情況精確定義具體的質(zhì)量標(biāo)準(zhǔn)，或是確立能同步同期最高科技水平的技術(shù)開發(fā)設(shè)計流程與程序?，F(xiàn)行的部分法律已經(jīng)初步地確立了最低的技術(shù)要求，如德國《稅法通則》（Abgabenordnung）的第88條第5款第3項(xiàng)向稅務(wù)機(jī)關(guān)使用的風(fēng)險管理系統(tǒng)提出了最低的技術(shù)標(biāo)準(zhǔn)。但在大多數(shù)情況下，當(dāng)機(jī)器決策存在缺陷或是機(jī)器作出超出程序限制的行為時，仍然缺乏足夠的規(guī)范性判斷標(biāo)準(zhǔn)，這比法律評價人類行為更為困難。

針對前述問題，可行的措施首先是在某些重要應(yīng)用領(lǐng)域，面向關(guān)鍵的基礎(chǔ)設(shè)施和系統(tǒng)模型確定法律層面的技術(shù)標(biāo)準(zhǔn)和質(zhì)量標(biāo)準(zhǔn)。立法者也可以通過強(qiáng)化法定的注意義務(wù)、審慎標(biāo)準(zhǔn)，或重新分配責(zé)任、風(fēng)險的方式來激勵對高質(zhì)量技術(shù)的投資。當(dāng)然，立法者也應(yīng)當(dāng)避免過于苛刻的法律責(zé)任和標(biāo)準(zhǔn)妨礙創(chuàng)新技術(shù)的應(yīng)用，最大程度保證技術(shù)可以滿足市場的需要。此外，軟件開發(fā)活動往往是有組織的、高度分工的，因此在開發(fā)過程中一定會對風(fēng)險分配做出預(yù)先的安排，立法者應(yīng)當(dāng)在事前階段作出合適的責(zé)任分配和風(fēng)險分配。立法機(jī)構(gòu)還可以通過立法活動加大對相關(guān)領(lǐng)域的投資來優(yōu)化智能系統(tǒng)的決策質(zhì)量。從這個角度講，監(jiān)管智能系統(tǒng)與監(jiān)管其他具備復(fù)雜性和風(fēng)險性的技術(shù)（如藥品和納米技術(shù)）具有同質(zhì)性。

確定技術(shù)標(biāo)準(zhǔn)亦可幫助確立責(zé)任制度。判斷某種智能系統(tǒng)行為或錯誤的決策行為應(yīng)當(dāng)適用何種具體制度關(guān)鍵在于該智能系統(tǒng)應(yīng)用的特定領(lǐng)域和范圍。如在Twitter機(jī)器人Tay案例中，當(dāng)具體討論人工智能操縱機(jī)器人作出不當(dāng)輸出時，即這些錯誤算法和深度學(xué)習(xí)造成了不良后果并可能產(chǎn)生法律責(zé)任，我們有必要審視和討論幾個非常重要的問題：誰來承擔(dān)民事責(zé)任？如果涉及刑事領(lǐng)域，誰應(yīng)當(dāng)承擔(dān)刑事責(zé)任？——這些問題顯然有必要專門論證。

（三）智能系統(tǒng)與反歧視

智能系統(tǒng)的廣泛應(yīng)用也可能會導(dǎo)致歧視和社會結(jié)構(gòu)性轉(zhuǎn)變。誠然，研究人員和制造商正在使用智能系統(tǒng)來試圖剔除人類決策中固有的任意性因素；當(dāng)去除了主觀偏好后，機(jī)器應(yīng)僅根據(jù)客觀標(biāo)準(zhǔn)做出決策。技術(shù)也可以屏蔽甚至是刪除某些敏感的數(shù)據(jù)類型。但是，實(shí)證研究表明，實(shí)踐中大部分智能系統(tǒng)的應(yīng)用方式都有可能產(chǎn)生歧視效應(yīng)。

因?yàn)橹悄芟到y(tǒng)常常應(yīng)用于大規(guī)模用戶的數(shù)據(jù)處理，所以智能系統(tǒng)自身的歧視性態(tài)度會顯著而強(qiáng)烈地影響用戶群體。在非個性化推薦模式下，用戶主觀偏好的分散完全利用統(tǒng)計學(xué)的“平均”方案予以“中和”，以此消除和避免針對特定群體的社會歧視。但在智能系統(tǒng)的影響下，人們原本多樣化的決策行為將被單一的決策行為所取代。如果我們不假思考地接受“技術(shù)中立”立場，則會造成三個層面的社會風(fēng)險：鞏固對社會有危害的觀念、歪曲客觀觀點(diǎn)和影響公眾的自我認(rèn)知。即便是智能系統(tǒng)只是應(yīng)用于輔助人類決策的特定場景下，具有歧視傾向的智能系統(tǒng)仍會間接地影響人類的決策。但即便是預(yù)先過濾歧視性數(shù)據(jù)，也難以真正擺脫智能系統(tǒng)對最終決策結(jié)果的影響。比如，預(yù)測性警務(wù)系統(tǒng)在分析數(shù)據(jù)過程中發(fā)現(xiàn)特定宗教信仰和犯罪概率間存在統(tǒng)計學(xué)上的顯著相關(guān)性，并依據(jù)這些數(shù)據(jù)提出建議，而這些建議一旦被人類決策者采納，最終的結(jié)果只會是加劇人類決策者針對特定族群的“異?！惫芸?。這種社會現(xiàn)象本質(zhì)上構(gòu)成了對立法、執(zhí)法和司法活動的干預(yù)，換言之，相當(dāng)于智能系統(tǒng)替代權(quán)力機(jī)關(guān)對特定族群實(shí)施特定行政行為。

智能系統(tǒng)或算法會造成決策偏差的原因是多方面的：歧視效應(yīng)既可能是由于輸入數(shù)據(jù)缺乏代表性和科學(xué)性，也有可能是在系統(tǒng)設(shè)計時就被植入人類偏見。當(dāng)然，也有可能是輸入端與輸出端的數(shù)據(jù)集合之間確實(shí)存在客觀的關(guān)聯(lián)性。但當(dāng)這種關(guān)聯(lián)性與性別、種族等要素相關(guān)時，人們應(yīng)當(dāng)保持足夠的警惕性。

在智能系統(tǒng)的設(shè)計過程中，很難避免潛在的歧視性因素。即使是先進(jìn)的智能系統(tǒng)也依賴人的輸入。智能系統(tǒng)設(shè)計過程中包括數(shù)據(jù)選擇、算法設(shè)計和不同強(qiáng)度的檢驗(yàn)訓(xùn)練。在這些環(huán)節(jié)中，人類的主觀價值會以潛移默化的方式植入系統(tǒng)中。不過，這種潛在的系統(tǒng)歧視也可以通過相應(yīng)的緩和機(jī)制予以控制。例如，程序員可以禁止系統(tǒng)、傳感器自動關(guān)聯(lián)特定因素（如性別、種族），事前規(guī)避對某些特定類型數(shù)據(jù)（如膚色）的收集。但這種緩和機(jī)制的效果著實(shí)有限，在部分場合下難以控制系統(tǒng)通過技術(shù)間接歧視的情況。眾所周知，一些明顯的中性特征往往與一些敏感群體的特征相重疊。例如，預(yù)測警務(wù)系統(tǒng)一開始就忽略所涵蓋特定的宗教相關(guān)數(shù)據(jù)，但是根據(jù)所給定的數(shù)據(jù)，仍然將犯罪的可能性與特定的地理區(qū)域相聯(lián)系起來，而該區(qū)域居住的人群主要是某特定宗教的成員。這種潛在的歧視和偏見難以判斷，也難以糾正。更重要的是，在法律視閾下，這種歧視和偏見的產(chǎn)生時間、刑事責(zé)任的認(rèn)定期間等問題難以明確回答。

為了進(jìn)一步減少這種情況，必須要在每個環(huán)節(jié)對系統(tǒng)結(jié)構(gòu)進(jìn)行技術(shù)層面和制度層面的細(xì)致安排。開發(fā)者和使用者應(yīng)當(dāng)謹(jǐn)慎選擇機(jī)器學(xué)習(xí)的訓(xùn)練數(shù)據(jù)集合，也要謹(jǐn)慎審查對數(shù)據(jù)分類標(biāo)準(zhǔn)的設(shè)計和分類模型。不論系統(tǒng)自動決策的評價標(biāo)準(zhǔn)和結(jié)果如何，都應(yīng)當(dāng)注意維系個體權(quán)利和整體社會福利的平衡。

但如果上述的歧視影響很大程度上得到了解決或是補(bǔ)償，是否意味著上述的類型化限制措施矯枉過正了？在人們完全依靠系統(tǒng)和技術(shù)來進(jìn)行反歧視前，或者在智能系統(tǒng)由于內(nèi)在的歧視傾向而受到懷疑之前，這些措施可以讓我們意識到不同智能系統(tǒng)中的數(shù)據(jù)庫之間的差別有多么大。在特定領(lǐng)域中，如醫(yī)學(xué)診斷領(lǐng)域，預(yù)后系統(tǒng)是高度個性化的。從歧視法的角度來看，這幾乎沒有問題。不過，根據(jù)可用數(shù)據(jù)將個人視為特定群組組成部分的系統(tǒng)也存在問題。若政府希望使用人工智能系統(tǒng)的預(yù)測功能，實(shí)現(xiàn)在具體危險出現(xiàn)之前有效地分配風(fēng)險和資源，那么，事前可以輸入的數(shù)據(jù)質(zhì)量和數(shù)量明顯不能夠滿足預(yù)期目標(biāo)。在沒有輸入數(shù)據(jù)對智能系統(tǒng)進(jìn)行訓(xùn)練的情況下，危險事件本身就是數(shù)據(jù)的來源。此時，周期性的個性化數(shù)據(jù)收集要么是還未開始，要么就是還不合法。通常情況下，智能系統(tǒng)的數(shù)據(jù)庫在初期僅有非常粗略的數(shù)據(jù)，如事件的類型、犯罪統(tǒng)計數(shù)據(jù)和一個地區(qū)的社會經(jīng)濟(jì)狀況。

立法機(jī)構(gòu)應(yīng)對前述風(fēng)險所能采取的有效措施極為有限，如果存在特定的充分合理原因，則應(yīng)當(dāng)盡早采取前述所提到的矯正措施。然而技術(shù)研究表明，由于系統(tǒng)結(jié)構(gòu)原因，當(dāng)缺少個性化信息進(jìn)而導(dǎo)致系統(tǒng)可能會在可預(yù)見范圍內(nèi)被濫用時，應(yīng)當(dāng)放棄使用智能系統(tǒng)，或是為行政相對人提供額外的制度保障和救濟(jì)渠道。這個議題也可以在智能系統(tǒng)的應(yīng)用這個更大范圍的議題內(nèi)被討論。但必須要說的是，通過收集更多的個人數(shù)據(jù)來擴(kuò)大信息庫，有助于決策的個性化，也就是說，上述對于智能系統(tǒng)應(yīng)用的規(guī)范并不是在所有場景均可適用，其適用前提應(yīng)當(dāng)僅限于出于禁止歧視并保護(hù)數(shù)據(jù)之目的。

（四）智能系統(tǒng)使用過程中的數(shù)據(jù)保護(hù)和信息安全

智能系統(tǒng)的成功很大程度上取決于它們可以高效處理大量數(shù)據(jù)。不過，如果這些數(shù)據(jù)屬于法律保護(hù)的個人數(shù)據(jù)，收集和處理行為顯然應(yīng)當(dāng)遵守眾所周知的數(shù)據(jù)保護(hù)和信息安全規(guī)則。大部分的法律規(guī)則和標(biāo)準(zhǔn)均重點(diǎn)關(guān)注此環(huán)節(jié)，且整個歐盟成員國國內(nèi)法均在維系與《通用數(shù)據(jù)保護(hù)條例》（以下簡稱《條例》）標(biāo)準(zhǔn)的統(tǒng)一。在數(shù)據(jù)保護(hù)方面，對智能系統(tǒng)的監(jiān)管已經(jīng)相當(dāng)完備了，智能系統(tǒng)在運(yùn)作中出現(xiàn)的新型法律問題并不是數(shù)據(jù)保護(hù)法的問題，而是設(shè)計其他法律領(lǐng)域的治理問題。

下面將進(jìn)行更深入的教義學(xué)分析，進(jìn)而可以處理前述的數(shù)據(jù)保護(hù)和反歧視的法律適用問題。比如，從數(shù)據(jù)保護(hù)的積極面來看，有市場的智能系統(tǒng)對于受影響者的身份不感興趣，因此對友好的隱私保護(hù)政策是持開放態(tài)度的。從反歧視的角度來看，放棄收集某些類型的數(shù)據(jù)往往是有好處的，但是，當(dāng)系統(tǒng)缺乏指定數(shù)據(jù)卻仍然做出決策的時候，就會產(chǎn)生前文提及的特殊問題，即“輸入的數(shù)據(jù)存在問題使得結(jié)果失真，從而引發(fā)了本應(yīng)當(dāng)避免的損害”。顯然，生搬硬套地限定收集數(shù)據(jù)范圍無助于問題的解決。相反，應(yīng)當(dāng)在權(quán)益平衡的大前提下兼顧相關(guān)主體的權(quán)利以及與決策結(jié)果關(guān)聯(lián)的各種規(guī)范性文件。無論如何，在談到有利于數(shù)據(jù)保護(hù)的措施時，立法者應(yīng)該謹(jǐn)記保護(hù)所有弱勢少數(shù)群體的隱私。歐盟法律中個人數(shù)據(jù)的廣泛概念使得智能系統(tǒng)無法逃避法律的監(jiān)管，其決策結(jié)果的實(shí)質(zhì)影響也被限定在一定范圍。數(shù)據(jù)保護(hù)法本身不能解決主體間的緊張關(guān)系，但是它可以通過強(qiáng)制性規(guī)范解決可能直接影響個人權(quán)益的部分問題。

大體上看，數(shù)據(jù)保護(hù)法限制權(quán)力機(jī)關(guān)和私人機(jī)構(gòu)無限制地收集數(shù)據(jù)，限制了潛在的算法歧視風(fēng)險，但客觀上也限制了智能系統(tǒng)在其他場域充分發(fā)揮其能力和長處的機(jī)會——這可能會產(chǎn)生其他的法律后果。

（五）智能系統(tǒng)使用過程中存在的多種問題

應(yīng)用智能系統(tǒng)的一大準(zhǔn)則是揚(yáng)長避短。智能系統(tǒng)的優(yōu)勢是可以應(yīng)對大量數(shù)據(jù)和且可快速準(zhǔn)確地決策、預(yù)測，發(fā)揮這一優(yōu)勢的前提則是要考慮特定應(yīng)用領(lǐng)域本身的背景特點(diǎn)，如智能系統(tǒng)可以應(yīng)用于金融市場的預(yù)測。但如果需要結(jié)合不同策略來解決問題，或是需要開辟新的信息來源、發(fā)展象征性理論，則須謹(jǐn)慎地選擇智能系統(tǒng)應(yīng)用方式，因?yàn)橹悄芟到y(tǒng)在解釋和編寫文本方面的能力是有限的，市場中常見的系統(tǒng)尚且無法就個案中的所有情況作出決定。所以，為了實(shí)現(xiàn)智能系統(tǒng)相對于人類決策者的時間成本優(yōu)勢，其應(yīng)用場景通常限定于只處理部分標(biāo)準(zhǔn)化數(shù)據(jù)。

在部分應(yīng)用場景中，法律會限制智能系統(tǒng)的應(yīng)用，規(guī)范并不能完全涵攝系統(tǒng)處理數(shù)據(jù)的所有方法，即規(guī)范并不能與現(xiàn)實(shí)場景一一對應(yīng)。這一社會問題的形成原因兼具事實(shí)層面和規(guī)范層面的因素。比如，盡管大數(shù)據(jù)技術(shù)已經(jīng)相當(dāng)成熟，但世界上大部分地區(qū)尚未被傳感器覆蓋；此外，以數(shù)據(jù)保護(hù)法為代表的新興立法活動往往限制了出于私人或公共用途數(shù)據(jù)收集的可能性。這些情況都可能導(dǎo)致系統(tǒng)的功能不能符合預(yù)期。

在上述這種情況下，私主體如果仍然使用智能系統(tǒng)，就有可能遭到損害進(jìn)而有損害賠償請求權(quán)，或者說至少有得到賠償?shù)恼?dāng)性基礎(chǔ)。上述情況對于公權(quán)力機(jī)關(guān)還有更進(jìn)一步的要求。在法治國的要求下，并不存在要求每項(xiàng)決定都完全的個性化考量。也就是說，行政活動就是公式化的，而很多時候“公式就是程序”。存在允許模式化的空間的前提下，智能系統(tǒng)就有發(fā)揮長處的空間。而在政府行為的應(yīng)用場景之中，“粗?jǐn)?shù)據(jù)”和粗略的描繪是不夠的。特別是在安全法領(lǐng)域，教義學(xué)規(guī)范要求智能系統(tǒng)必須為行政相對人提供特定信息，只有提供信息才能為政府做出的特定干預(yù)措施補(bǔ)足正當(dāng)性。因此，在進(jìn)行制度設(shè)計的時候，必須始終注意要留有“診斷窗口（Diagnosefenster）”?，F(xiàn)在，在設(shè)計智能系統(tǒng)的時候也要考慮這一點(diǎn)。

根據(jù)歐盟法律，智能系統(tǒng)的決策須考慮到個性化訴求是有充分根據(jù)的，特別是《條例》第22條第（3）項(xiàng)和《通用數(shù)據(jù)保護(hù)條例序言》（德文簡寫ErwGr，英文為Recitals of GDPR，以下簡稱《條例序言》）第71條U部分的第（2）項(xiàng)第1句提到了“‘人有權(quán)進(jìn)行干預(yù)’作為可能的保護(hù)措施……并陳述自己的觀點(diǎn)和對決定的爭論”。對于政府行為的實(shí)施者，德國《聯(lián)邦行政程序法》第24條款第3句與《社會法典》第10部分第31a條第2句對調(diào)查的原則進(jìn)行了規(guī)定，主管部門在使用自動系統(tǒng)無法確定行政相對人的時候，有義務(wù)考慮對方的相關(guān)事實(shí)陳述和他們遭遇的實(shí)際情況?！抖惙ㄍ▌t》也在第155條第4款第3句規(guī)定了在自動化系統(tǒng)決定中遭受不利影響的人擁有主動選擇手動處理他們事務(wù)的可能性手段。

這些例證說明了如何平衡制度運(yùn)行中不同的利益和后果，也說明了如何應(yīng)對個體個性化的訴求與規(guī)范穩(wěn)定性、確定性之間的張力。對于未來，須考慮到智能系統(tǒng)不一定要超越人類的頭腦作出決定。如果當(dāng)前的系統(tǒng)仍然基于較粗糙的數(shù)據(jù)運(yùn)行，那是因?yàn)橄到y(tǒng)設(shè)計者決定這樣做，但是這種應(yīng)用現(xiàn)狀并不能反映該技術(shù)的全部能力。數(shù)據(jù)保護(hù)法完全可以考慮針對基于精細(xì)數(shù)據(jù)訓(xùn)練的系統(tǒng)設(shè)置“數(shù)據(jù)具體程度”層面的限制。因此，干擾系統(tǒng)自我選擇信息的措施實(shí)質(zhì)上并不符合社會治理的真正需求，因?yàn)閿?shù)據(jù)過少只會導(dǎo)致無法有效運(yùn)作系統(tǒng)——但是從干預(yù)本身的理由來看，對數(shù)據(jù)收集的限制和禁止卻在不斷增加。

正如前述，智能系統(tǒng)的相關(guān)性和統(tǒng)計數(shù)據(jù)是不充分的，這并不足以證明因果關(guān)系。通常，這不會妨礙到智能系統(tǒng)的應(yīng)用，即使沒有令人滿意的解釋模型去揭示具體的因果關(guān)系，法律也允許它根據(jù)以往的經(jīng)驗(yàn)數(shù)據(jù)來進(jìn)行決策。但在特殊領(lǐng)域是不夠的，如在刑事訴訟領(lǐng)域確定被告人是否有罪的時候。如果堅(jiān)持認(rèn)為決策不能基于統(tǒng)計的相關(guān)性，而必須基于對因果關(guān)系過程的細(xì)致重建，那智能系統(tǒng)的使用空間就很有限了。

（六）智能系統(tǒng)使用過程對于責(zé)任和職責(zé)的明確化

目前的規(guī)范有著相應(yīng)的責(zé)任程序，其主要針對對象是立法者和行政人員。立法者和行政人員可以與智能系統(tǒng)的開發(fā)者、用戶和其他利益相關(guān)者進(jìn)行直接接觸。根據(jù)前面提及的程序，立法者和行政人員可以要求開發(fā)者在設(shè)計系統(tǒng)時使其規(guī)范效果可見，并確保適當(dāng)?shù)募夹g(shù)質(zhì)量水平，實(shí)現(xiàn)預(yù)防歧視、保護(hù)數(shù)據(jù)安全、注意行政相對人的個性化訴求等要求。該責(zé)任程序可以通過傳統(tǒng)的法律話語體系，特別是法釋義學(xué)的責(zé)任歸屬語境予以表達(dá)。但是，責(zé)任的準(zhǔn)確分配終究是一項(xiàng)非常困難的工作，現(xiàn)今仍無法確定是否需要在新領(lǐng)域引入新的責(zé)任制度。

即使立法者的制度供給充足，智能系統(tǒng)依然可能出現(xiàn)錯誤并造成損害。損害的原因通常包括開發(fā)者設(shè)計不當(dāng)、用戶使用不當(dāng)，以及數(shù)據(jù)統(tǒng)計中不可避免的“假陽性”和“假陰性”。此外，機(jī)器和人類都會面臨同樣的問題，即行為的負(fù)外部性，在任何情況下，行為都有可能產(chǎn)生責(zé)任問題。如今智能系統(tǒng)行為的負(fù)外部性正在挑戰(zhàn)現(xiàn)有的規(guī)范，因?yàn)榕c傳統(tǒng)的自動化系統(tǒng)不同，具備學(xué)習(xí)能力的智能系統(tǒng)的行為并不能完全由程序員決定。不具備學(xué)習(xí)能力的系統(tǒng)出現(xiàn)決策過程故障時，原則上可以歸因于設(shè)計、使用環(huán)節(jié)或以其他方式與整個過程產(chǎn)生聯(lián)系的法律實(shí)體行為，但（具有學(xué)習(xí)能力的）智能系統(tǒng)的歸因路徑由于原因、事件之間的關(guān)聯(lián)仍難以明晰。

在這種背景下，新引入的責(zé)任歸屬制度是否需要進(jìn)行根本性的改革仍是一個重要議題，同時也有其他關(guān)聯(lián)問題，比如，是否可能有限度地承認(rèn)智能系統(tǒng)的“數(shù)字法律人格”，使系統(tǒng)成為權(quán)利和義務(wù)的自主承擔(dān)者；能否將其看作代理人或是履行輔助人。這些議題也可以與法哲學(xué)中的爭論相結(jié)合，也就是職責(zé)（Verantwortung）和責(zé)任（Schuld）是否可以加于機(jī)器之上。這種討論當(dāng)然也是有意義的，因?yàn)橹悄芟到y(tǒng)是否具有意識是承認(rèn)其權(quán)利能力或法人資格的基礎(chǔ)。

從法律監(jiān)管的角度來看，在此背景下須考慮三個要素：

第一，目前的系統(tǒng)設(shè)計工作仍然是由眾多人類協(xié)同完成的。且到目前為止，這些系統(tǒng)不是自主運(yùn)行的，而是由自然人或法人控制的。因此，每個智能信息系統(tǒng)的行為事實(shí)上都不過是人類行為的外殼，系統(tǒng)開發(fā)者、用戶和利害關(guān)系人仍有可能繼續(xù)被視為實(shí)際的參與者。智能系統(tǒng)責(zé)任的討論絕不能忽視這些主體的行為。鑒于這一領(lǐng)域中的不同主體（公司）間的高度合作性（比如智能系統(tǒng)通常由無數(shù)可自由使用或交易的單獨(dú)組件組成，而這些組件有各自的開發(fā)者），因此風(fēng)險和責(zé)任的具體劃分顯然不是毫無意義的。

第二，必須考慮“人”這一法律概念的特殊性。誠然，《基本法》第1條第1款將權(quán)利能力給予了所有人，并將法律主體的基本概念與法律之外對于人格的確認(rèn)聯(lián)系起來。但從純粹的法律角度來看，這只是一種技術(shù)上的操作，除了將授予《基本法》第1條第1款所設(shè)立的“自然”法律主體的權(quán)利資格之外，立法者還有其他立法技術(shù)來對智能系統(tǒng)進(jìn)行界定。因此，立法者原則上可以自由地將智能系統(tǒng)界定為新的法律主體類型，前提是這種界定方式有助于簡化論證結(jié)構(gòu)和歸咎責(zé)任。當(dāng)然，這樣的處理方式也會帶來許多后續(xù)問題，比如創(chuàng)新技術(shù)設(shè)計的責(zé)任歸屬、保險標(biāo)的認(rèn)定以及新型法律主體的責(zé)任財產(chǎn)問題。這種功能性考慮的目的而不是對智能系統(tǒng)性質(zhì)進(jìn)行形而上角度的探索，對于在法律責(zé)任體系中尋找智能系統(tǒng)的定位，并對它作出恰當(dāng)?shù)陌才胖陵P(guān)重要。

第三，法律責(zé)任的歸屬和分配方面仍存在很大的不確定性。在受害者層面，責(zé)任的準(zhǔn)確分配是次要的，誰來承擔(dān)損害賠償責(zé)任才是核心。因此，即便事情很復(fù)雜，但只要責(zé)任主體并沒有過大擴(kuò)散和傳遞，那么，為了保證受害方的損害賠償請求權(quán)，立法者一方面必須制定明確的責(zé)任規(guī)則，另一方面要確?？赡芩髻r能夠被強(qiáng)制執(zhí)行?？紤]到現(xiàn)有的責(zé)任法在處理傳統(tǒng)軟件和信息系統(tǒng)相關(guān)問題時已經(jīng)趨于疲軟，因而可能需要在立法層面作出大規(guī)模修訂。此外，由于智能系統(tǒng)的復(fù)雜性和動態(tài)性，通常很難確定到底是哪種類型的系統(tǒng)行為導(dǎo)致了損害結(jié)果的發(fā)生。當(dāng)然這些問題或可通過諸如嚴(yán)格責(zé)任等責(zé)任法制度來解決，但這些方案并沒有從根本上解決關(guān)于智能系統(tǒng)法律規(guī)制的核心問題——系統(tǒng)行為過程的透明度。在分析這個問題之前，有必要明確的是，確保智能系統(tǒng)行為過程的透明度是主權(quán)者的職責(zé)。

（七）特別注意——主權(quán)者對智能系統(tǒng)的使用

從二十世紀(jì)四十年代起，人們就認(rèn)為政府和國家對智能系統(tǒng)的應(yīng)用不會落后于私營部門，政府會迅速應(yīng)用智能系統(tǒng)來處理公共事務(wù)。從那時起，技術(shù)控制論作為新興學(xué)科得到迅猛發(fā)展，這也激發(fā)了人們對于自動化政府和行政管理的新愿景。然而，行政自動化長期局限于用機(jī)械替代人類從事輔助類的管理活動，即便國家應(yīng)用新技術(shù)的速度非常快，且現(xiàn)今沒有國家可以離開計算機(jī)維持稅收、社會保障及福利制度的運(yùn)行，但這些自動化技術(shù)的應(yīng)用形式仍停留于初級階段，并不能引起行政管理活動形式和性質(zhì)的根本變化，行政法學(xué)理論也就無須快速予以回應(yīng)。

但是技術(shù)所代表的可能性改變了人們對于法律制度自動運(yùn)行的態(tài)度。在自動化應(yīng)用的早期階段，為了將較為原始的技術(shù)引入行政管理，需要突破現(xiàn)行立法中實(shí)質(zhì)性和程序性要求。如今這種現(xiàn)象已經(jīng)不存在，人們已經(jīng)擁有了功能更強(qiáng)大的計算機(jī)、更多數(shù)據(jù)和更優(yōu)化的算法，“智能治理”這種全新的行政管理模式已經(jīng)出現(xiàn)。前述的例子表明，這種可能已經(jīng)在數(shù)據(jù)安全等敏感領(lǐng)域得到了廣泛的應(yīng)用?，F(xiàn)在，智能系統(tǒng)支持下的司法活動和“機(jī)器人監(jiān)管”正在一步步被實(shí)現(xiàn)。但目前技術(shù)的能力充其量僅能用于簡單的涵攝。因此，智能技術(shù)的應(yīng)用意義主要集中于事實(shí)判斷層面，但在更復(fù)雜的合法性判斷上意義仍然不大。

在目前關(guān)于法律政策的討論中，人們正在努力為自動化行政奠定相應(yīng)的法律基礎(chǔ)。但與此同時，人們也應(yīng)當(dāng)重視法治國原則。立法者修改了《行政程序法》第35條a款的規(guī)定，嘗試通過自動化的手段發(fā)布具有法律約束力的決策。在這種情況下，確定事實(shí)和涵攝外延均交由機(jī)器來完成。盡管《行政程序法》第35條a款的具體內(nèi)容存在爭議，但這一立法活動已經(jīng)釋放了一個信號，表明智能系統(tǒng)不再只扮演行政活動的輔助角色。即公民原則上能夠獨(dú)立發(fā)動一個行政程序，即使是在沒有行政人員參與的情況下，最終也能得到一個具體行政行為式的回應(yīng)。據(jù)此，可以預(yù)想的是，即將出現(xiàn)滿足條件即能自行啟動的智能系統(tǒng)。

但僅允許智能系統(tǒng)實(shí)施行政行為是不夠的，相應(yīng)的授權(quán)和權(quán)力邊界也必須予以明確，這也是在整個行政智能系統(tǒng)決策過程中應(yīng)當(dāng)貫徹的指導(dǎo)原則。前述的監(jiān)管原則只要被憲法輻射到，即對權(quán)利機(jī)關(guān)具有約束力。根據(jù)系統(tǒng)的特征和所涉及領(lǐng)域的特點(diǎn)，這些彼此存在張力的規(guī)則，可以限制、授權(quán)智能系統(tǒng)的應(yīng)用。為維護(hù)憲法與法治國原則所確認(rèn)的基本價值，也需要為智能系統(tǒng)的行政行為設(shè)置配套的程序性事項(xiàng)與實(shí)體制度，比如《稅法通則》第88條第5款第3項(xiàng)——對財政主管部門應(yīng)用智能系統(tǒng)的條文。監(jiān)管制度的理想效果是能夠調(diào)和技術(shù)可行性和監(jiān)管目標(biāo)之間的緊張關(guān)系，并將系統(tǒng)的應(yīng)用場景限制在特定的專業(yè)領(lǐng)域中。

在貫徹專業(yè)領(lǐng)域的智能系統(tǒng)監(jiān)管原則的時候，人們應(yīng)當(dāng)意識到通過智能系統(tǒng)決策取代人類決策將會改變決策的制約因素，因此需要依據(jù)差異化要素區(qū)隔人類決策和機(jī)器決策，比如速度、一致性、精確性、靈活性等。在實(shí)務(wù)中，這種區(qū)別會產(chǎn)生外溢效應(yīng)。因此，智能系統(tǒng)決策的低成本和決策的高一致性可能會使立法者面臨下述情況：由于智能系統(tǒng)決策的固有特點(diǎn)，在智能系統(tǒng)行政尚未應(yīng)用于日常生活領(lǐng)域時，人們不得不接受相對較高偏差率的“人力執(zhí)法”情況。一旦當(dāng)智能技術(shù)全面實(shí)施產(chǎn)生高昂的后續(xù)成本時（因?yàn)闄C(jī)器仍然會犯錯，并且會導(dǎo)致大范圍的錯誤），這會使得公民無法守法，導(dǎo)致法律規(guī)則受到侵蝕，此時立法者必須阻止自動執(zhí)法、改變實(shí)體法或是為“有用的非法（brauchbare Illegalit?t）”創(chuàng)造空間。

三、透明化的智能系統(tǒng)：從解釋權(quán)到分工建立、控制架構(gòu)

前述原則可以指導(dǎo)國家預(yù)防、糾正應(yīng)用智能系統(tǒng)的負(fù)面效果。立法者和行政部門必須采取制定智能系統(tǒng)的技術(shù)質(zhì)量標(biāo)準(zhǔn)、采取預(yù)防措施、制定隱私和信息安全標(biāo)準(zhǔn)等措施，不過這些措施并不容易被實(shí)施。正如以往面對新技術(shù)的沖擊一樣，國家必須努力獲得必要的監(jiān)管技術(shù)和能力才能正確履行保障國家的責(zé)任，那么有效地監(jiān)管智能系統(tǒng)開發(fā)并在適當(dāng)情況下進(jìn)行干預(yù)成為必然選擇。

但這在智能系統(tǒng)的監(jiān)管方式能夠取得預(yù)期效果嗎？從現(xiàn)有研究成果來看，人們普遍強(qiáng)調(diào)，研究清楚人工智能這個“黑箱子”的決策機(jī)制幾乎是不可能的。事實(shí)上，系統(tǒng)功能越強(qiáng)大，系統(tǒng)的決策過程就越難被理解。但是，如果沒有透明度，就很難正確認(rèn)識和感知法律應(yīng)當(dāng)設(shè)置規(guī)范的實(shí)際范圍。

關(guān)于透明度問題（Das Transparenzproblem）有著很多爭論，但比起其他相關(guān)議題，這些爭論鮮有涉及技術(shù)原理。智能系統(tǒng)使用的邏輯和技術(shù)是非常先進(jìn)且復(fù)雜的，但這種復(fù)雜性仍不能與原子技術(shù)和納米技術(shù)相提并論。但智能系統(tǒng)的具體決策過程對于平常人仍是不透明的，或者正如Jenna Burrell所言，“因?yàn)槭軟Q策影響的人幾乎無法理解它的決策過程，因此它就是不透明的，比如特定輸入的數(shù)據(jù)為什么要被特定標(biāo)準(zhǔn)進(jìn)行分類，為什么產(chǎn)生了特定的輸出等等問題”。但令人擔(dān)憂的是，如果作為行政相對人的用戶不理解為什么系統(tǒng)已經(jīng)采用這種方式而不是其他方式，監(jiān)管機(jī)構(gòu)很難核實(shí)智能系統(tǒng)的某個具體決定是否遵守了法律的要求，簡言之，缺乏透明度的智能系統(tǒng)阻礙了監(jiān)管效果的實(shí)現(xiàn)。此外，不同于其他復(fù)雜技術(shù)的是，智能系統(tǒng)既是國家監(jiān)管的直接對象，本身也參與行政監(jiān)管的過程并“行使”國家公權(quán)力。但一個前置問題是，我們能否將行政職權(quán)委托給人類無法理解的智能系統(tǒng)？當(dāng)決策不透明的機(jī)器出現(xiàn)在法律體系中，而當(dāng)決策的可追溯性是一個重要法價值的時候，機(jī)器決策的不透明性就是一個重要的問題。

智能系統(tǒng)“黑箱子”的現(xiàn)狀與政治學(xué)強(qiáng)調(diào)的最大程度的“透明度”相沖突。這要求受決策影響的人群應(yīng)當(dāng)深入了解系統(tǒng)及其決策過程。倘若無法保證系統(tǒng)決策的透明度，則應(yīng)停止使用該系統(tǒng)，因?yàn)榉ㄖ螄瓌t和民主原則均是決策透明的理論基礎(chǔ)。

當(dāng)然，需要注意的是，對技術(shù)透明度的要求一定程度上是一種過于一般化的討論，且這個命題本身也是十分值得懷疑的：智能系統(tǒng)是否一定比法律所代表的的傳統(tǒng)行為控制模式更加不透明？在系統(tǒng)理論的語言中，這些行為控制模式是精神與社會系統(tǒng)。這些系統(tǒng)與智能（技術(shù)層面的）系統(tǒng)一樣，具有內(nèi)部動態(tài)性、自我指涉性和涌現(xiàn)性的特征，因此對于自己和他人而言就是不透明的。人，或是層級制度的治理模式、市場、談判或網(wǎng)絡(luò)控制著特定的行為，無論是直接控制實(shí)體還是間接控制實(shí)體，都會使得黑箱外的人無法準(zhǔn)確預(yù)估決策的具體過程及其結(jié)果。在這種背景下，尼古拉斯·盧曼將現(xiàn)代社會稱為“不透明的交響曲”。即使在法理學(xué)中，長期以來也普遍存在這樣的論斷：控制不是機(jī)械的，而是一個復(fù)雜的、具有潛在不確定性的過程，也就是一個不透明的過程。

這一論斷與智能系統(tǒng)決策透明度的要求并不矛盾。因?yàn)橥瑯尤狈ν该鞫鹊膫鹘y(tǒng)決策方式并沒有像智能決策方式那樣給相對人帶來普遍的難以接受感。事實(shí)上我們無法否認(rèn)，我們對機(jī)器提出了比對我們?nèi)祟愖约焊叩牡赖乱蟆７审w系本身作為“不透明交響曲”的社會系統(tǒng)的一部分，在面對法治國原則和民主原則的時候也存在透明度的問題。但我們依然對智能系統(tǒng)的監(jiān)管和透明度問題保持樂觀態(tài)度，原因在于可以找到法律制度上的答案。

智能系統(tǒng)具備的一些特質(zhì)也有助于實(shí)現(xiàn)前述規(guī)制目標(biāo)：比如智能系統(tǒng)的可塑性。智能系統(tǒng)的主要特征并不是更高的不透明度，而是它可以通過程序比人類決策者或傳統(tǒng)的行為控制模式更容易和更精確地對行為進(jìn)行規(guī)劃和安排。在此背景下，關(guān)于透明度的討論可以更加深入。智能系統(tǒng)，作為整合社會與法律互動關(guān)系的力量，其決策邏輯一開始就是基于人們無法理解的社會和法律背景。在此之上討論的決策程序透明度問題并不一定只限于糾正技術(shù)缺陷。反觀透明度本身的內(nèi)在要求，嘗試優(yōu)化定制系統(tǒng)也是有其特定意義的，不僅可以彌補(bǔ)現(xiàn)在機(jī)器決策的不足，還可以在總體上尋求更高層次的透明度。

前述的討論是以一種長期的眼光看待智能系統(tǒng)的透明度問題，因?yàn)槟壳皼]有技術(shù)或法律要求以這種方式解決智能系統(tǒng)的透明度問題，真正能夠回應(yīng)的應(yīng)對措施也不過是在法律層面正視、承認(rèn)透明度問題，并以正確的方式看待它。第一步，有必要澄清談?wù)撝悄芟到y(tǒng)缺乏透明度的真正含義（下述第一點(diǎn)）。然后必須要探求是否真的不存在規(guī)制透明度問題的法律框架：通常學(xué)界認(rèn)為《條例》規(guī)定了自動決策的解釋權(quán)。但即使《條例》包含這樣的規(guī)定（雖然人們很少談及這一點(diǎn)），《條例》主觀權(quán)利的方法并不能完全滿足透明原則的要求，即給予涉事主體查看智能系統(tǒng)的代碼的權(quán)利并不能解決任何問題（下述第二點(diǎn)）。在這一點(diǎn)上，了解憲法和行政法的傳統(tǒng)教義學(xué)理論是有幫助意義的。因?yàn)樵趹椃ê托姓ǖ念I(lǐng)域中，一直都存在事關(guān)處理決策過程的成熟方法，這也是Burrells所謂的“不透明”問題在人類決策領(lǐng)域的制度答案。為了加強(qiáng)“透明度”，法律體系不依賴于孤立的權(quán)利去解釋決策的所有因素，而是從一個規(guī)則、制度的網(wǎng)絡(luò)運(yùn)作的視角切入。這些規(guī)則和制度的重點(diǎn)在于探尋理由上（下述第三點(diǎn)）。這表明一種新的嘗試，即理由概念轉(zhuǎn)換為監(jiān)管手段并嵌入智能系統(tǒng)的決策過程。下面我們將概述控制架構(gòu)中理由的主要特征，并論述如何將其轉(zhuǎn)換進(jìn)入智能系統(tǒng)中（下述第四點(diǎn)）。

（一）透明化——智能系統(tǒng)應(yīng)用環(huán)節(jié)中的挑戰(zhàn)

缺乏透明度從直觀上看，是因?yàn)橹挥幸恍〔糠秩丝梢蚤喿x計算機(jī)代碼，也只有專家團(tuán)體才具備能力直接對原始系統(tǒng)進(jìn)行分析。然而，由于IT部門組織分工精細(xì)化程度較高，即使是訓(xùn)練有素的計算機(jī)專家也無法事無巨細(xì)地了解整個計算機(jī)程序。對于基于大量數(shù)據(jù)做出決策的程序，系統(tǒng)復(fù)雜性會成倍增加。即使是具備確定性的決策系統(tǒng)，在決策過程中判斷相關(guān)性都會處理海量的數(shù)據(jù)，人們在了解系統(tǒng)決策過程時也會被這些數(shù)據(jù)迅速淹沒。

智能系統(tǒng)的復(fù)雜性在應(yīng)用中也會不斷地上升。因?yàn)樵趯W(xué)習(xí)過程中系統(tǒng)會不斷調(diào)整其變量的內(nèi)部權(quán)重，使其在學(xué)習(xí)過程中對所做的決策進(jìn)行反饋，并在之后的使用過程中反饋出來。系統(tǒng)在時間點(diǎn)t0作出的決策結(jié)果，可能與在時間點(diǎn)t1作出的決策結(jié)果完全不同。這種內(nèi)部控制系統(tǒng)的動態(tài)變化，意味著對決策的任何解釋僅在某個具體的時間點(diǎn)才有效。因此，擁有高質(zhì)量即時響應(yīng)能力的系統(tǒng)必然具有內(nèi)部的高復(fù)雜性。

在這種情況下，“透明度”“可解釋性”或“可理解性”等術(shù)語的含義是什么？這里可以先區(qū)分不同的情況：（1）對于系統(tǒng)基本結(jié)構(gòu)的解釋，普通人已經(jīng)難以輕易理解。（2）另一方面，具備專業(yè)知識且能構(gòu)建相應(yīng)系統(tǒng)的專家，能夠通過審查系統(tǒng)邏輯——也就是系統(tǒng)的算法架構(gòu)和數(shù)據(jù)庫的結(jié)構(gòu)使用的邏輯——對系統(tǒng)的算法架構(gòu)和數(shù)據(jù)庫結(jié)構(gòu)進(jìn)行根本性的理解和描述。（3）專家們難以實(shí)現(xiàn)具體決策。由于事先不知道“系統(tǒng)—環(huán)境”的相互作用，因此專家們對于動態(tài)智能系統(tǒng)，難以在事前進(jìn)行決策預(yù)測。甚至在事后重建活動中也難以給出明確的“if-then”（如果……就……）關(guān)系，即很難查明特定因素對于特定輸出的因果關(guān)聯(lián)性。更確切地說，“決策規(guī)則”是基于動態(tài)數(shù)據(jù)集和大量加權(quán)變量概率函數(shù)的運(yùn)算結(jié)果，其結(jié)果有時會存在進(jìn)一步的數(shù)學(xué)過程，以獲得最佳的計算時間。雖然可以記錄這些變化和運(yùn)行過程，但人類觀察者還是會發(fā)現(xiàn)：機(jī)器學(xué)習(xí)運(yùn)用數(shù)學(xué)模型優(yōu)化算法的高維度特征方法，與人類推理的語義解釋風(fēng)格的并不能很好地搭配在一起。（4）當(dāng)然，這種差異也使得我們更容易衡量使用智能系統(tǒng)的效果。如果記錄了決策本身和它的效果，則可以在事后對數(shù)據(jù)庫進(jìn)行評估，例如特定的敏感群體是否承受了不成比例的負(fù)擔(dān)，這會幫助我們識別哪些算法可能會存在歧視風(fēng)險。

另外一點(diǎn)是——雖然這些過程不是技術(shù)層面的，而是合法性層面的——智能系統(tǒng)的透明與否。例如，許多智能系統(tǒng)的設(shè)計都要對有可能威脅到到企業(yè)商業(yè)秘密的人保密。德國聯(lián)邦最高法院在對評分系統(tǒng)作出的決定進(jìn)行裁判的時候基本確立了這一立場。歐盟《條例序言》的第63條第5項(xiàng)也是持此立場。除了保護(hù)知識產(chǎn)權(quán)之外，保密性的價值還在于應(yīng)當(dāng)防止他人對于系統(tǒng)的操縱。例如，《德國稅法通則》第88條第5款第4句明確規(guī)定，財務(wù)風(fēng)險管理系統(tǒng)的細(xì)節(jié)不得“在可能危及稅收的規(guī)律性和合法性的情況下”被公布。

（二）通過主觀的“解釋權(quán)”能否達(dá)到透明化？

對于智能系統(tǒng)決策的相對人，智能系統(tǒng)的決策的不透明性體現(xiàn)得十分明顯。當(dāng)他們受到特定決定結(jié)果影響的時候，比如貸款被拒絕，稅務(wù)審計遭到不利評價，或是被下令采取保全措施的時候，他們將面臨幾乎無法克服的技術(shù)與法律的壁壘。這種情況會給人們這樣的一種印象：個人成為機(jī)器決策的對象。

數(shù)據(jù)保護(hù)法第一次回應(yīng)了這個問題，《條例》第5條第1款規(guī)定了透明原則（前面已有論及）?！稐l例序言》的第39條、第58條和《條例》的第60條也都提供了實(shí)證法上的依據(jù)?！兜聡?lián)邦數(shù)據(jù)保護(hù)法》《歐盟數(shù)據(jù)保護(hù)指令》，以及《條例》和《針對警察和刑事司法的數(shù)據(jù)保護(hù)指令》，都已經(jīng)對自動化決策系統(tǒng)有了一般性要求，這些要求，也都是與透明度密切相關(guān)的。例如，《條例》旨在使數(shù)據(jù)主體能夠?qū)彶槠鋫€人數(shù)據(jù)被處理時的合法性，以便于個人在必要的時候行使進(jìn)一步的權(quán)利（見《條例序言》第63條）。鑒于最近關(guān)于算法和智能系統(tǒng)的爭論，這個包含復(fù)雜結(jié)構(gòu)的規(guī)范目前受到了極大的關(guān)注。特別是《條例》有時被解釋為對機(jī)器決策在解釋權(quán)意義上進(jìn)行了極端的擴(kuò)張。因此，透明度問題看起來已經(jīng)找到了合法性依據(jù)。

1.歐盟《條例》是否存在“解釋權(quán)”？

首先，《條例》中并沒有提到“解釋權(quán)（Recht auf Erkl?rung）”。但是可以通過第13條到第15條，以及第22條對自動決策系統(tǒng)的要求推導(dǎo)出來。同時，《條例》在第13條第2款f段和第14條第2款g段都規(guī)定了控制者對于非學(xué)習(xí)型系統(tǒng)的用戶承擔(dān)信息提供義務(wù)，即需要向用戶提供系統(tǒng)設(shè)計。這包括第22條第1款和第4款所提到的邏輯程序，以及對于數(shù)據(jù)主體的處理過程的重要意義和設(shè)想結(jié)果。第15條第1款h段授予了數(shù)據(jù)主體相應(yīng)的信息權(quán)。第22條規(guī)定了算法決策系統(tǒng)的傳播，在第3款中，規(guī)定了如涉及第2款a段和c段的情況，應(yīng)當(dāng)嚴(yán)格地限制自動的數(shù)據(jù)處理，應(yīng)當(dāng)加以合理的保護(hù)措施以及必要的程序控制——有人認(rèn)為這應(yīng)當(dāng)包括解釋權(quán)。

但是，應(yīng)當(dāng)謹(jǐn)慎對待此類觀點(diǎn)。雖然上述提到的規(guī)范與《歐盟數(shù)據(jù)保護(hù)指令》（DSRL）第12條a段和第15條在語言上很相近，但是二者仍然存在本質(zhì)差異。與老版本的《德國聯(lián)邦數(shù)據(jù)保護(hù)法》第6條a款（新版本《德國聯(lián)邦數(shù)據(jù)保護(hù)法》第37條）以及相同領(lǐng)域的平行規(guī)范——《德國聯(lián)邦數(shù)據(jù)保護(hù)法》第28條b款關(guān)于特殊領(lǐng)域的評分系統(tǒng)（新版《德國聯(lián)邦數(shù)據(jù)保護(hù)法》第31條）的規(guī)定一樣，《歐盟數(shù)據(jù)保護(hù)指令》在學(xué)術(shù)和實(shí)踐領(lǐng)域都被非常謹(jǐn)慎、保守地適用，對法律沒有涉及的方面，保守的解釋就已經(jīng)足夠?！靶畔ⅲ↖nformationen）”一般被限定為對于一般決策系統(tǒng)的簡短評論，除非是該邏輯決策樹被要求必須披露。另一方面，相對人對于原始數(shù)據(jù)、程序代碼或算法很難深入了解，個案中都很難了解具體細(xì)節(jié)。因此，在涉及評分系統(tǒng)的情形下，有關(guān)人員僅能獲得關(guān)于系統(tǒng)運(yùn)作的初步信息，比如積累的分?jǐn)?shù)與獲得貸款可能性之間的關(guān)系。

《條例》下的判例法并不能改變上述的保守觀點(diǎn)。第一，第22條的適用范圍仍然很有限。盡管該條文適用于學(xué)習(xí)型系統(tǒng)和非學(xué)習(xí)型系統(tǒng)，但如果該系統(tǒng)僅僅用于輔助人類決策者，則第22條仍然得不到適用。第二，就條文的內(nèi)容而言，按照通說并比較舊的立法例，這其中沒有太多的漏洞（需要解釋補(bǔ)充的地方）。例如，立法過程中討論的“解釋權(quán)”并未強(qiáng)制性的規(guī)定在第22條第3款，而僅僅是被作為可能的保護(hù)機(jī)制示例在《條例序言》中被提及。

《條例》的第13到第15條也是基于《歐盟數(shù)據(jù)保護(hù)指令》的第15條2a款。根據(jù)《條例》第13、第14條，數(shù)據(jù)收集人的信息披露義務(wù)變得更加嚴(yán)苛，負(fù)責(zé)人必須在作出收集數(shù)據(jù)的決定前，披露相應(yīng)的信息。特別是對于在使用過程中發(fā)生動態(tài)變化的、具備學(xué)習(xí)能力的系統(tǒng)。事前解釋當(dāng)然并不足以說明在個案情況下作出決定的原因。對于（后續(xù)）根據(jù)《條例》第15條規(guī)定的數(shù)據(jù)權(quán)利主體可以要求數(shù)據(jù)收集者提供數(shù)據(jù)的權(quán)利，則是與上述無關(guān)的另一套規(guī)則。然而，從規(guī)則發(fā)展史和體系關(guān)系的角度來觀察，非常清楚的是，《條例》第15條賦予受到數(shù)據(jù)收集行為的主體更多的信息權(quán)利，而義務(wù)人必須根據(jù)第13、第14條事先提供信息。此外，目前對于《歐盟數(shù)據(jù)保護(hù)指令》的解釋，以及國家政策對于解釋權(quán)的限制都會促進(jìn)《條例》中對于條文解釋的狹義化：特別是在保護(hù)智能系統(tǒng)制造商的知識產(chǎn)權(quán)方面，《條例》明確承認(rèn)，要保護(hù)商業(yè)秘密和所有有關(guān)主體的個人數(shù)據(jù)。

因此，《歐盟數(shù)據(jù)保護(hù)指令》和《條例》的規(guī)定是有所不同的。總的來說，《條例》認(rèn)為受智能系統(tǒng)決策影響的主體信息義務(wù)和信息權(quán)限僅僅限于關(guān)于決策系統(tǒng)運(yùn)作的一般系列，但無權(quán)在個案中要求做進(jìn)一步的解釋。

2.“解釋權(quán)”的有效性

鑒于歐洲法院在數(shù)據(jù)保護(hù)法方面一直以來的開放態(tài)度——比如在文本、體系和歷史解釋方面都欠缺支持，但仍然做出了“被遺忘權(quán)”的判決——不能排除歐洲法院仍然會在司法實(shí)務(wù)行使解釋權(quán)，授予受智能系統(tǒng)決策影響的主體要求數(shù)據(jù)收集主體提供數(shù)據(jù)庫、算法等詳細(xì)信息的主觀權(quán)利。但是從單個主體的角度來說，這真的會保護(hù)這些用戶嗎？

透明度問題，如數(shù)據(jù)保護(hù)規(guī)范所表明的那樣，僅從智能系統(tǒng)用戶與有關(guān)用戶之間關(guān)系的角度來設(shè)計規(guī)范，那么，這種規(guī)范設(shè)計實(shí)際上是一種替代性方案，迫使前者為后者提供對于系統(tǒng)的“洞察力”。如此這般的制度安排雖有其獨(dú)到的功能，但前述關(guān)于智能系統(tǒng)缺乏透明度的技術(shù)和法律原因的分析已經(jīng)表明，受智能系統(tǒng)決策影響的人很難從中受益。相反的是：越是強(qiáng)調(diào)這種做法，越是使得公民難以從中受益，同時也難以使人們獲得“對于純源代碼的洞察力”。大部分公民很難理解這種制度的實(shí)際價值。更可行的另一種方法是：為受影響的人提供關(guān)于系統(tǒng)的一般描述以及在使用過程中提供具有統(tǒng)計顯著性的簡化因子的列表。但這種做法也有問題，除非出現(xiàn)明顯的錯誤或混淆，否則受影響的外行人無法對這些大量而瑣碎的信息做準(zhǔn)確的理解?；A(chǔ)的信息難以揭示智能系統(tǒng)根本的質(zhì)量缺陷、隱藏的歧視和數(shù)據(jù)保護(hù)違規(guī)等問題，也難以幫助受涉主體對于智能系統(tǒng)用戶（比如數(shù)據(jù)收集企業(yè)）提起成功率較高的訴訟。

在不破壞監(jiān)管有效性的情況下，也不能隨意減少該技術(shù)的復(fù)雜性。為了成功識別申訴并進(jìn)一步提出更正的建議，首先必須要收集有關(guān)系統(tǒng)和決策過程的詳細(xì)信息。系統(tǒng)、數(shù)據(jù)庫、算法和培訓(xùn)模型也必須在可被訪問的狀態(tài)。最終，調(diào)查的過程變得非常復(fù)雜，以至于大多數(shù)真正受到?jīng)Q策影響的利害關(guān)系人不太可能理解整個過程?？偠灾?，在許多智能系統(tǒng)中，似乎不可能對具體的決定提供一種技術(shù)性的且符合《條例》第12條要求的解釋結(jié)果，即精確透明、簡潔易懂、易于獲取的解釋方案。

因此，全面的解釋可以為受決策影響的利害關(guān)系人提供對智能系統(tǒng)的理解并能使之有效地行使權(quán)利之觀點(diǎn)不過是一個幻想。這種方法不僅低估了技術(shù)的復(fù)雜性，也高估了個人的專業(yè)知識水平。也有觀點(diǎn)認(rèn)為，在評分系統(tǒng)的運(yùn)作過程中提供簡化的信息至少會增加人們對技術(shù)的普遍信任。這樣的觀點(diǎn)同樣不可靠，并且實(shí)際效果可能恰恰相反。因?yàn)樵谌魏吻闆r下，專業(yè)能力都不是通過“解釋權(quán)”來傳達(dá)的。社會問題是通過主觀化而被外化的，而系統(tǒng)真正的運(yùn)行方式則始終存在于黑暗之中。最后，“解釋權(quán)”并未提供針對企業(yè)和商業(yè)秘密等復(fù)雜問題的解決方案。但上述這些并不意味著這種解釋權(quán)對提高透明度毫無用處。但是，僅憑解釋權(quán)無法解決信息不對稱的問題。

（三）透明原則通過提供理由，實(shí)現(xiàn)國家的保障義務(wù)

上述是否意味著法律應(yīng)當(dāng)向技術(shù)舉出小白旗嗎？這個結(jié)論還為時過早。可預(yù)見的是，將透明度的問題私法化解決是不夠的，將透明度問題的解決完全建立在系統(tǒng)用戶和受決定影響的利害關(guān)系人的關(guān)系上，也是不夠的。如果現(xiàn)有的方案無法達(dá)成目標(biāo)，是否意味著透明度問題需要被重新定義或改變？

在這一點(diǎn)上，至少從受影響人的角度來看，后退一步有助于意識到現(xiàn)有制度存在的問題。如上所述，即使是受到系統(tǒng)決策具體影響的利害關(guān)系人，通常也很難理解自己作出的決定。每個人對于其他人都是“黑箱子”，這種情況存在于每個個體決策者行動之中。比如，人類通常對于刑事訴訟過程中的偵查犯罪并進(jìn)行司法活動的行為都持有懷疑，刑事訴訟程序總被描述為易于出錯和不可確定，且總被形容為“從根本上就不透明”。這與復(fù)雜的機(jī)器類似，刑事訴訟過程中人類官員的決策過程和具體細(xì)節(jié)，根據(jù)現(xiàn)有的制度框架，也是不可能被決定相對方真正透徹地了解的。

盡管上述法律制度均缺乏透明度，在無法用現(xiàn)有制度對所有關(guān)乎到?jīng)Q策的因素進(jìn)行規(guī)制的情況下，致力于促進(jìn)不同主體相互理解的憲政國家也并未處于崩潰的狀態(tài)中。這表明，從法律的角度來看，對透明度的要求并不旨在對個人和集體決策過程進(jìn)行全面的解釋，也不在于對決策系統(tǒng)內(nèi)部動態(tài)的檢視。當(dāng)人們將憲法和行政法作為法律傳統(tǒng)的起點(diǎn)開始觀察的時候，就會發(fā)現(xiàn)這樣的一種觀點(diǎn)是具備解釋力的，即透明度旨在確保決策能夠?yàn)闆Q策對象理解，進(jìn)而確保有關(guān)主體能夠適當(dāng)?shù)鼐S護(hù)其權(quán)利，簡言之提供了“理由（die Begründung）”。

要求陳述理由是憲法國家的核心要求：當(dāng)政府作出決定的時候，出于民主、法治和基本權(quán)利保護(hù)的原因，法律經(jīng)常要求政府提供理由?！堵?lián)邦行政程序法》強(qiáng)調(diào)了理由和監(jiān)管行為之間的聯(lián)系，并制定了“行政相對人有權(quán)知道行政行為的論證過程，因?yàn)檫@樣他才能妥善捍衛(wèi)自己的權(quán)利”這樣的規(guī)范。類似的規(guī)范在歐盟法律和許多憲法性規(guī)范中都存在。

那么到底什么構(gòu)成了理由？要采用哪種形式的解釋，以便在法律層面確定某個決定的可追溯性？一旦這些問題得到正確解答，就可以將之用于解決機(jī)器系統(tǒng)的不透明性并促成相應(yīng)的制度建構(gòu)。

理由是指確定基本事實(shí)的活動，包括對證據(jù)的評估以及法律推理。在陳述理由的過程中，決策者需要解釋“為什么他決定是這樣而不是另外的情況，決定者可以運(yùn)用經(jīng)典的文獻(xiàn)、教義、偏見或是一般的正義觀念，或是運(yùn)用論題學(xué)的方法，來進(jìn)行法律解釋”。關(guān)于理由的結(jié)構(gòu)和內(nèi)容的初步結(jié)論，可以從上述這些基本的命題中得出，進(jìn)一步的細(xì)節(jié)則可來自對文獻(xiàn)、判例法中承認(rèn)的法律推理和對制度功能的分析。

因此，對于陳述理由的要求首先就是行政主體進(jìn)行自我監(jiān)管的一種方式。行政主體首先被要求必須要陳述“基本的事實(shí)和法律原因（《聯(lián)邦行政程序法》第39條第1款第2段）”來支持自己作出的決定，同時，這也會一定程度上審查這些理由是否包含在法律對該行政機(jī)關(guān)的授權(quán)范圍之內(nèi)。如果在陳述理由過程中，只是陳述不言而喻的事實(shí)，這將無助于自我監(jiān)管。重要的是，需要明確在一個法律判斷過程中會受到哪些因素的影響。即使是在裁量過程中，也必須能夠追溯并明確哪些要素真正影響該決策。這樣一來，如果公權(quán)力再次做出決定，就必須符合他們之前所提出的理由，符合他們自己的標(biāo)準(zhǔn)。從自我監(jiān)管的角度來看，解釋性的理由并不在于對完整而客觀的理由進(jìn)行厘清，而是展示決策之中的關(guān)鍵性要素。這也需要公共機(jī)關(guān)的若干程序性義務(wù)加以配合，比如作出決定的機(jī)構(gòu)應(yīng)當(dāng)記錄自己的論證路徑與過程。

此外，提供理由還有助于對決策的外部監(jiān)管。它的價值在于給予決定相對人機(jī)會，來了解決定的合法性。當(dāng)他們尋求法律保護(hù)的時候，公權(quán)力作出的論證理由將會指導(dǎo)他們針對特定的要點(diǎn)進(jìn)行申訴。然而，最重要的是，通過提出理由，可以審查決定作出的過程，進(jìn)而監(jiān)督行政機(jī)關(guān)和法院。理想情況下，在論證過程中，是允許決定的機(jī)構(gòu)獨(dú)立地對事實(shí)和法律問題進(jìn)行補(bǔ)充和糾正的。之后，通過法律職業(yè)團(tuán)體的工作，理由得以進(jìn)入法教義學(xué)的話語中，從而超越了具體的法律決策場景。因此，理由是法律體系內(nèi)的工具，它旨在對公權(quán)力機(jī)構(gòu)的不同命令進(jìn)行程序性監(jiān)督，并促進(jìn)不同實(shí)體之間的決策反饋，最終提高程序正義和決策質(zhì)量。當(dāng)理由的潛在接受者不僅包括受決定影響的利害關(guān)系人，還包括監(jiān)管機(jī)構(gòu)和法律職業(yè)團(tuán)體時，對于復(fù)雜問題的決定的法律論證，也必須對問題的復(fù)雜性自我證成，這樣才能進(jìn)行有效的監(jiān)督。因此，理由的特點(diǎn)和程度取決于個案的情況，而不是有關(guān)人員的個人能力。如果作為外行人無法理解法律論證，則似乎應(yīng)當(dāng)尋求法律建議。但事實(shí)恰恰相反，在更高級別的權(quán)力機(jī)關(guān)作出的決定和理由可能會具有普遍性，這時則需要排除個案的情況論證理由，以使得法律問題與一般的政治、民主話語保持一致。

理由是社會接受和系統(tǒng)信任的產(chǎn)生機(jī)制。理由在一定程度上有著促進(jìn)商談的功能。實(shí)際上，理由對于社會接受和信任能產(chǎn)生多大程度的積極影響，是一個經(jīng)驗(yàn)性問題。雖然沒有確切的數(shù)據(jù)，但似乎也能得出以下比較合理的結(jié)論：政府越是努力地解釋做出決定的理由，并且它在聽證程序中越多地回應(yīng)利害關(guān)系人所提出的論點(diǎn)，決定相對人也就越容易接受特定決定行為。從長遠(yuǎn)來看，這也有利于社會對于該機(jī)構(gòu)的普遍信任的建立。在智能系統(tǒng)的決策中更能體現(xiàn)這一點(diǎn)，完全拒絕向相對人提出理由會使人們對智能系統(tǒng)的決定產(chǎn)生阻力，并危及人們對技術(shù)的信任。對于行政透明度的要求會有助于這種情況的解決，并建立普遍信任。為了形成慣例，必須要求行政主體能讓相對人感受到具體的說理和論證——即便只是簡單的理由，也會傳遞出行政主體的可溝通性，以及該行政決定的可救濟(jì)性。

理由同時也是對決定相對人進(jìn)入法律程序、表達(dá)利益訴求的一種承認(rèn)。即便作為公權(quán)力機(jī)關(guān)的自我監(jiān)管的工具時，論證有時會失能，即便決策的相對人在沒有專業(yè)支持的情況下，既無法理解理由的內(nèi)容也不接受更為具體的理由，但只要理由制度存在，國家與公民的關(guān)系的核心仍然是基于確信（überzeugung），而不是建立在威壓之上；正如尼古拉斯·盧曼所言，理由總是單獨(dú)地被確信的建立者記錄下來。因此，理由是一個命令的核心要素，它旨在促進(jìn)論證和反對論證的相互交換。行政決定的理由往往是貫徹法治國原則的第一要素。

在不同的教義學(xué)理由的幫助下，立法者、司法裁判和法學(xué)教育保證了法律理由在不同情形下的正常運(yùn)行。根據(jù)主體、時間、領(lǐng)域和行為的不同，理由也會不同，這也進(jìn)一步區(qū)分了不同的標(biāo)準(zhǔn)，比如不同的法律地位、有關(guān)的事實(shí)和不同的行為模式等要素。在此時只有兩點(diǎn)是最重要的。

第一，法律論證中的理由并不是要解釋所有影響決策結(jié)果的要素。因此，在法律的語境下，社會學(xué)、心理學(xué)、生物學(xué)、物理學(xué)等因果要素是無關(guān)緊要的，雖然從后科學(xué)社會的視角來看，這些要素都可以幫助解釋一個決定。但這并不意味，這些因素在法律中不起作用。政府官員和法官在決策者的情境中不僅僅受到法律理由的指導(dǎo)，還受到眾多偶然因素的影響。而這些偶然因素也會使官員受到相當(dāng)大認(rèn)知上的扭曲，現(xiàn)實(shí)主義法學(xué)就基于此對法律論證進(jìn)行了批判，其觀點(diǎn)也在晚近的文獻(xiàn)中得到了經(jīng)驗(yàn)上的驗(yàn)證。盡管有這些經(jīng)驗(yàn)研究成果，但法律論證至今為止仍保持了其內(nèi)在邏輯的自足和證立。因此，理由制度仍在法律體系中具有獨(dú)特的地位。

第二，決策的理由與決策的解釋是不同的。因此，對于一個決策所附帶的論證并不當(dāng)然等同于對一個決策合法性的客觀判斷。在有疑問時，理由并不終局性地解決爭議問題，而是啟動了法治國家的程序機(jī)制去解決這個問題。據(jù)此，理由的制度性要求是基于對法律和法治國的一種理解，即對法律是針對社會分工的一種監(jiān)管措施，通過設(shè)定一種理由的文化——促進(jìn)理由和反對理由的意見交換——建立并強(qiáng)化人們對于行政命令的基本信任。為了保護(hù)基本權(quán)利、維持法治國的穩(wěn)定并實(shí)現(xiàn)合法化的效果，理由設(shè)置了一種差異化的制度體系，在這個體系中，法律意義上正確的決定是建立在不同機(jī)構(gòu)間分權(quán)的基礎(chǔ)上的。在這個意義上，對于陳述理由的要求不僅僅有利于有關(guān)人員，也有利于整個系統(tǒng)。每一個理由，都在守護(hù)民主原則要求下的透明性原則和法治國原則要求下的合理性原則。

當(dāng)然，對于陳述理由的要求也并不是絕對的。在德國法律體系中就存在很多例外。最為重要的一個例外是在議會法中，但是它也依賴于特定的合法性來源，并受到自身監(jiān)督機(jī)制的管控。最具爭議的問題是行政指令是否有提供理由的義務(wù)。值得注意的一點(diǎn)是，大多數(shù)人能夠接受行政和司法決定領(lǐng)域的眾多例外。當(dāng)然，這都是基于一些特別的情況，例如決定的結(jié)果可能對當(dāng)事人的影響微不足道（《聯(lián)邦行政程序法》第39條第2款第2段）或是受決定影響的相對方的信任（《聯(lián)邦憲法法院法》第93條第1款第3段）。

（四）通過分工機(jī)制的建立和控制架構(gòu)的結(jié)合，達(dá)到智能系統(tǒng)的透明化

針對人類決策發(fā)展出的規(guī)則和標(biāo)準(zhǔn)，不能強(qiáng)行地應(yīng)用于機(jī)器決策。人們普遍認(rèn)為，根據(jù)現(xiàn)有的制度情況，執(zhí)行憲法義務(wù)使得智能系統(tǒng)的每一個決定都能被相對人所理解是非常困難的。因而有必要將智能系統(tǒng)整合到“提出理由和反對理由”和“決定—監(jiān)管”的系統(tǒng)中，即融合到現(xiàn)行立法體系中。只有實(shí)現(xiàn)上述情景，才能促進(jìn)人們對于技術(shù)長期的信心增長，也只有這樣才能實(shí)現(xiàn)技術(shù)的潛在生產(chǎn)力。

上述這種方案對應(yīng)的技術(shù)目前還未發(fā)展成熟，且并不存在將智能系統(tǒng)納入法律制度的藍(lán)圖和最佳方式，但論證可以提供一個基礎(chǔ)，在此之上可以從法律的角度有效地批判機(jī)器決策。

這一方面確保了智能系統(tǒng)在與人交互的過程中可以自我監(jiān)管自身的決策過程。目前很多項(xiàng)目都在嘗試開發(fā)技術(shù)解決方案，為智能系統(tǒng)提供自我監(jiān)管機(jī)制和自省機(jī)制。這些項(xiàng)目的長期目標(biāo)是：以一種特定方式對智能系統(tǒng)進(jìn)行編程，使得它可以自己提供有關(guān)支持特定決策的理由，并以一種可讓相對人理解的方式呈現(xiàn)信息。對于開發(fā)這種所謂的“具有解釋能力的人工智能（Explainable AI）”到底能否成功，結(jié)果還無法預(yù)料。因此，我們不單單要關(guān)心程序本身，也要重視編程環(huán)節(jié)。目前正在討論的各種智能系統(tǒng)設(shè)計者的行為準(zhǔn)則，一定程度上也是在完善智能系統(tǒng)的自我監(jiān)督。雖然上述的監(jiān)督（Audits）是在企業(yè)的倡議下進(jìn)行的，但實(shí)質(zhì)上仍然屬于智能系統(tǒng)自我監(jiān)督這一領(lǐng)域。此類監(jiān)督或?qū)徍耸且粋€在不斷發(fā)展的產(chǎn)業(yè)，也是一個新興的研究領(lǐng)域。這種審核實(shí)質(zhì)上是通過評估數(shù)據(jù)庫結(jié)果集或使用“虛擬數(shù)據(jù)（dummy data）”和控制算法來檢查智能系統(tǒng)。前述這些技術(shù)都是在業(yè)界運(yùn)用了很長時間的軟件控制技術(shù)。雖然所謂的“黑箱測試”無法解釋每一個具體的決定，但是通過它可以獲取關(guān)于系統(tǒng)效果和一般決策行為的經(jīng)驗(yàn)，并診斷質(zhì)量缺陷或隱藏的歧視，這也同時可以對系統(tǒng)錯誤進(jìn)行糾正。立法者可以用一些舉措來達(dá)到這樣的效果，例如定期進(jìn)行審核（Audits）或采取其他的措施，比如公布源代碼，或?qū)ζ髽I(yè)進(jìn)行減免責(zé)任以資獎勵。

僅靠自我監(jiān)管是不夠的。因此，國家機(jī)構(gòu)也可以對智能系統(tǒng)的決策進(jìn)行外部控制，同時，有必要在法院和行政系統(tǒng)人員內(nèi)部適當(dāng)普及智能系統(tǒng)知識。從其他領(lǐng)域的經(jīng)驗(yàn)來看，對于該領(lǐng)域的規(guī)制是一項(xiàng)長期艱巨的任務(wù)。智能系統(tǒng)的規(guī)制目標(biāo)的實(shí)現(xiàn)路徑自己就是政府應(yīng)當(dāng)參與到公私專家網(wǎng)絡(luò)（?ffentlich-privaten Experten-Netzwerken）和技術(shù)標(biāo)準(zhǔn)化機(jī)構(gòu)的工作中去，通過以上這兩種方式將智能系統(tǒng)的知識傳遞給國家機(jī)器。下一步則是建立專門的機(jī)構(gòu)，在能獲得社會專業(yè)知識的情況下，自己也能獲取相關(guān)的知識。隨著專業(yè)能力的提高，這些機(jī)構(gòu)本身也可以制定技術(shù)標(biāo)準(zhǔn)，比如內(nèi)部一些行政標(biāo)準(zhǔn)，并在政府和私人的背景下對智能系統(tǒng)進(jìn)行認(rèn)證和審核（Auditierung）?？梢韵胂蟮氖?，這種預(yù)防監(jiān)管制度可以按照不同方式構(gòu)建：一種是用責(zé)任特權(quán)來獎勵成功的認(rèn)證；另一種則是根據(jù)不同的應(yīng)用領(lǐng)域和軟件產(chǎn)品投放領(lǐng)域來設(shè)置不同的行為要素，比如企業(yè)必須提供相應(yīng)的證明，來證明自己的系統(tǒng)做到了無歧視，而證明無歧視的過程中，必須結(jié)合自己系統(tǒng)的應(yīng)用領(lǐng)域和產(chǎn)品投放領(lǐng)域進(jìn)行說明。另外還可以通過公權(quán)力推動的審核（Audits）專門用于事后對算法進(jìn)行審查，整個程序的啟動既可以依照職權(quán)啟動，也可以依照行政相對人的申請啟動。監(jiān)管過程中的協(xié)助義務(wù)和信息披露義務(wù)促進(jìn)了監(jiān)管效率的提高。雖然以上所有提到的措施不能完全防止錯誤和權(quán)力濫用——就像現(xiàn)有的憲法監(jiān)督制度不能完全消除人類決策者的錯誤和權(quán)力濫用一樣，但是以上的這些程序可以降低錯誤和權(quán)力濫用發(fā)生的概率，并限制損害的范圍。

對于外部監(jiān)管而言，有一個非常重要的方面，就是如何刺激相對人啟動監(jiān)管程序。要考慮到相對人之間在知識背景等方面的不同，因此解決這一問題可以采用漸進(jìn)分類的透明制度：對于直接受到?jīng)Q定影響的相對人，應(yīng)當(dāng)告知其系統(tǒng)的一般功能；個案情況下可告知與之特別相關(guān)的一些因素。但是，如果案涉相對人在此基礎(chǔ)上要求進(jìn)一步審查該決定，則必須確保他們或其指定的專家在程序進(jìn)行期間能夠獲得所有的必要信息。這可能包括根據(jù)需要披露的數(shù)據(jù)庫、算法和機(jī)器訓(xùn)練程序。決策系統(tǒng)的社會功能越重要，這種分析就必須越深入和透徹。從公權(quán)力機(jī)關(guān)和法院的角度來看，至關(guān)重要的是，這些程序原則上應(yīng)當(dāng)遵守程序法或行政法要求的既定形式和程序，以便隨著事件的深入，那些不具備專業(yè)知識的公權(quán)力機(jī)關(guān)（比如監(jiān)管部門和司法機(jī)構(gòu)）可以進(jìn)入程序并制定監(jiān)管的標(biāo)準(zhǔn)。

最后，關(guān)于透明度方面，要想讓新技術(shù)被社會普遍的接受，政府、社會和個人要對超越法律話語的新技術(shù)的發(fā)展可能性和風(fēng)險進(jìn)行社會和科學(xué)的審查。類似像“算法監(jiān)控者（AlgorithmWatch）”這樣的社會活動已經(jīng)在這一方面發(fā)揮了重要的引領(lǐng)作用。媒體也應(yīng)監(jiān)督和批評智能系統(tǒng)的應(yīng)用和發(fā)展。最后，國家肩負(fù)著公共教育的使命，也應(yīng)當(dāng)將適當(dāng)?shù)膬?nèi)容傳播給公民。

但是，人們也不應(yīng)當(dāng)忽視，每一項(xiàng)對透明度的制度要求都有其局限性。智能系統(tǒng)與人類決策在這一方面并沒有什么不同。然而，“目前的法學(xué)理論在智能系統(tǒng)參與行政決策面前會遇到新的挑戰(zhàn)”這一命題是值得懷疑的。判例法和立法者迄今為止對智能系統(tǒng)用戶的操作行為和商業(yè)秘密，都表現(xiàn)出了相當(dāng)?shù)闹匾暫挽`敏度。在此背景下，他們提出監(jiān)管和限制智能系統(tǒng)的深層次理由，例如知識產(chǎn)權(quán)保護(hù)、數(shù)據(jù)保護(hù)、安全和其他公共利益。作為一般性規(guī)則，這些原則都必須服從于透明度原則；越是要求靈敏度的領(lǐng)域，也越有可能應(yīng)用智能系統(tǒng)。但目前的做法過于僵化，沒有必要在所有的情境中要求智能系統(tǒng)對自己的決定進(jìn)行解釋，也沒有必要在所有情況下都對智能系統(tǒng)的決策進(jìn)行監(jiān)督并要求相關(guān)方提出理由；這是沒有效果的。也就是說，在智能系統(tǒng)這個領(lǐng)域要求絕對的透明度和理由是不可行的。無論如何，監(jiān)管智能系統(tǒng)必須要有平衡透明度和保密利益的措施?？梢钥紤]引入“相機(jī)程序（camera-Verfahren）”或是在保密義務(wù)下的專家監(jiān)督員制度。

權(quán)屬所有措施的成功與否都取決于法律的政策傾向性，雖然這些措施會損害個別案例中的創(chuàng)新企業(yè)。在這些議題的討論中，經(jīng)?？梢钥闯鏊饺死鎸τ诠舱哂兄浅４蟮南拗疲T如Alphabet、Facebook和亞馬遜等常被討論的頭部企業(yè)現(xiàn)在恰恰正是智能系統(tǒng)的最大投資者之一。然而，私人權(quán)力（private Macht）是否真的是政府監(jiān)管的障礙，或是否導(dǎo)致了對于少數(shù)、突出、影響巨大且易于識別的主體監(jiān)管失能，答案并不是絕對的。這些問題的答案，很大程度取決于跨國公司能否充分利用全球法律的差異化，但最終的結(jié)果均是人們對私人權(quán)力會阻礙國家行使職責(zé)的擔(dān)憂。

前景與展望

本文概述了在智能系統(tǒng)中應(yīng)當(dāng)嵌入的理想化監(jiān)管規(guī)范架構(gòu)，以此確保智能系統(tǒng)的安全性，進(jìn)而促進(jìn)人們對于智能系統(tǒng)決策的可接受性和信任程度。并且，監(jiān)管規(guī)則應(yīng)當(dāng)具備強(qiáng)適應(yīng)性和靈活性，依據(jù)系統(tǒng)使用環(huán)境、使用主體的公私屬性提供不同的救濟(jì)方案。這種監(jiān)管模式不至于成為技術(shù)創(chuàng)新的新障礙，相反，還能夠?yàn)橹悄芟到y(tǒng)技術(shù)開發(fā)指明朝向社會福祉的正確方向。此外，有必要建立一個根據(jù)決策理由進(jìn)行監(jiān)督、審查和評判的整體性監(jiān)管架構(gòu)。如果在未來人們成功地將機(jī)器決策納入到憲法制度、法律程序，以及提出理由、反對理由的意見交換制度框架內(nèi)，那么，個人在智能系統(tǒng)面前就不再是弱小的客體，而可以成為真正的主體。這種參與機(jī)制會促進(jìn)個人擺脫對技術(shù)的客體式依賴，通過特定主體對技術(shù)和決策的具體評價內(nèi)容真正確保個人成為數(shù)字化秩序的主體。