張婧飛，姚如許

（大連海事大學 法學院，遼寧 大連 116026）

智能時代來臨，人們的生活離不開算法技術。算法技術帶來便捷的社會生活的同時，也引發(fā)了人們對于算法技術異化的不安。無論是商業(yè)主體構建的算法平臺，還是公權力機關與技術公司合作設置的算法輔助工具，都在運行過程中對社會公民產(chǎn)生了強制性的支配力，形成了算法權力。目前國內沒有針對算法權力規(guī)制與審查的專門法律，算法權力卻實實在在地影響了社會大眾。在行政法律關系中，行政相對人本就要受到行政主體的強制性管理，算法權力與公權力的結合使得情況更為復雜，這二者的結合一方面加劇了行政相對人的弱勢地位，另一方面算法權力又滲透到公權力中。因此有必要在法治的層面上對算法權力進行約束，規(guī)范算法與公權力的結合，將算法權力關進“制度的籠子”。

一、問題的提出

“工作時間全天候，不分白天與黑夜，無論狂風暴雨，只要車主出現(xiàn)違章的狀況就能抓拍得清清楚楚”。這不是簡單的交通攝像頭，而是對從攝像頭反饋回來的錄像進行二次分析的系統(tǒng)——海燕系統(tǒng)。2018年，公安部推出海燕系統(tǒng)進行道路違章抓拍，據(jù)統(tǒng)計，在某城市運行了7天，就精確抓拍到一萬多次違章。這是算法技術與行政管理的結合，人工智能時代，算法深度嵌入社會生活。英國人工智能委員會在其會議報告中對算法的定義是：“指用計算機時執(zhí)行計算或解決問題的一系列指令，是所有人工智能系統(tǒng)的基本方面”[1]。算法借助深度學習、大數(shù)據(jù)等技術，變革社會治理結構，脫離了純粹的技術屬性，成為一種新興的權力——算法權力。

自動化行政是在行政程序中楔入算法技術，將原來需要人工處理的事項轉由人工智能或自動化程序代為處理的行政活動。自動化行政的適用場景日趨廣泛，各地接連推出自動化審批系統(tǒng)、交通違章自動識別系統(tǒng)、防疫“健康碼”等自動化行政方式，這些新的改變提高了行政效率的同時，也使算法技術全方面地滲透到行政權力中，深度參與公權力，逐漸由輔助公權力到影響公權力再到在一定程度上取代公權力。除此之外，技術賦能無疑帶來行政權的擴張，對公民的基本權利造成擠壓，若對算法權力不加以規(guī)制，算法治理必將帶來風險。因此，在順應技術發(fā)展潮流、合理應用算法的同時，必須警惕和防范算法對公權力以及公民權利造成的沖擊與挑戰(zhàn)。

二、算法權力的興起

算法是根據(jù)固定的步驟，通過輸入數(shù)據(jù)得到輸出的結果。按照此定義，人每天穿衣吃飯、走相同的路上下班，都是算法的運行過程。1956年，美國達特茅斯學院會議上首次提出“人工智能”一詞。從人工智能層面進行定義，算法是在一定輸入的前提之下，按照設定程序運行的計算機指令[2]。算法本來是一種人類解決問題的計算機工具，并不帶有權力屬性。但隨著算法的廣泛應用，算法在社會治理中逐漸成為建構治理模式的重要因素甚至決定性因素，對人的行為產(chǎn)生直接的影響。探究算法權力的異化風險，首先要對算法權力的生成進行梳理。

（一）權力的本質辨析

學界對于權力的定義目前還沒有形成通說?！坝绊懥φf”“強制力說”“支配力說”①“影響力說”認為權力是一些人對另一些人造成他們所希望和預定影響的能力；“強制力說”認為權力是一個人或一部分人具有強加于他人的一種強制力；“支配力說”認為權力是一種組織性的支配力。都具有其自身的道理。權力主體享有權能，權能使其對受體具有強制的支配力，權力的受體必須服從主體。從權能本身來看，擁有權力就是要擁有權力資源，并且這種權力資源足以使其他人服從。因此本文認為權力關系是一種強制支配與服從的關系，權力的本質特征在于權力主體對受體的強制力。在社會關系中，若一方“擁有必要的物資或精神、文化資源，運用它能對他人產(chǎn)生物質或精神的強制性影響”[3]，則認為該方是權力主體。

（二）權力主體通過算法的強制支配力影響他人

算法的設計者或實施者實際控制著算法，算法屬于該方的技術資源。算法若對社會大眾形成強制支配力，該方就可以通過算法對社會大眾產(chǎn)生強制性的影響，成為算法權力的主體。算法從產(chǎn)生到對人施加影響主要經(jīng)歷兩個步驟。

第一步是設計算法。算法的設計基于計算機科學和數(shù)學的基本原理，除了設計算法的專業(yè)人員，即使將那些原始數(shù)據(jù)公開，一般群體也很難對其進行解讀，更遑論監(jiān)督。即使在政府和技術公司合作開發(fā)算法的情況下，政府往往也只是制定標準的角色，具體設計算法還需要專業(yè)的公司來完成。因此算法在誕生的第一步就會形成算法黑箱，一旦算法投入社會層面進行使用，設計者在算法黑箱中植入的管理模式就會隨算法嵌入社會生活的方方面面，對群體施加影響。

第二步是算法的部署實施。算法的部署實施主要有兩個類型。第一種是私主體研發(fā)算法并投入使用，形成網(wǎng)絡平臺，如阿里巴巴、騰訊。這種情況下，平臺會根據(jù)架構優(yōu)勢，制定平臺規(guī)則，并強制用戶接受這些規(guī)則。用戶必須滿足預設算法的形式要求，才能得到平臺的服務。在平臺內，平臺規(guī)則就像國家法律一樣具有強制效力[4]。此時，應用在私主體平臺的算法通過平臺制定的規(guī)則對用戶形成了強制力，私人企業(yè)實質控制算法，對用戶產(chǎn)生具體的強制性的影響，成為算法權力的權力主體。第二種類型是算法在公權力運行的平臺上部署實施。算法從不同的層面嵌入公權力的運行。首先，算法作為公權力的輔助決策工具，協(xié)助公權力進行治理，如自動化審批系統(tǒng)。2018年，深圳市率先啟用“無人干預自動審批”的新型行政審批模式，審批系統(tǒng)采用算法決策技術，自動核查申請人遞交的材料是否符合相關部門的要求，并決定是否進入下一步程序[5]。在數(shù)據(jù)治理的模式下，公私合作已成為常態(tài)，長期的合作使得政府對于技術的依賴愈來愈強，在實踐中存在算法在行政管理的過程中起實質性決定作用的情況，如為防疫需要推出的“健康碼”。生成“健康碼”在類型上屬于行政評級，過程上完全自動，政府只需要提供一部分公共數(shù)據(jù)，其余過程皆為算法自動完成，不需要任何人工步驟，算法實際上成為評定等級的決策者[6]。以上兩種皆為算法在公權力平臺上的實施，無論算法輔助公權力主體行權還是算法取代公權力中成為主要決策者，算法都借助公權力的優(yōu)勢地位，對公民產(chǎn)生了強制性的影響。算法輔助公權力主體行權，算法可以被視為智能治理模式下公權力的技術延伸，與公權力交融，但技術公司仍然在算法的設計階段影響算法，進而影響社會大眾。所以算法權力的主體有二：公權力機關和技術公司。如果算法取代公權力成為主要決策者，公權力機關的工作人員難以左右算法得出的處理結果，則實質控制算法技術的仍然是技術公司，技術公司為算法權力的主體。

（三）算法權力的特征

經(jīng)過上文的推論，我們可以將算法權力的定義概括為：算法權力以算法為工具或手段，對他人或社會形成的強制力和支配力。算法權力屬于權力的范疇，卻不同于傳統(tǒng)的公權力，因此有必要列明算法權力的特征，深入理解算法權力的本質。

1.算法權力具有跨越性

在公權力體系中，算法作為一項技術參與到公權力中，并隨著行政權力的擴張而不斷增加對社會的支配力，隨著公權力對技術的逐漸依賴而增加在公權力體系中的話語權，算法權力通過與公權力的合作成為權力圓心的一部分[7]。在私權力體系之下，算法權力占有絕對優(yōu)勢的地位，平臺通過其架構優(yōu)勢規(guī)制用戶在網(wǎng)絡空間的行為，收集其個人信息，控制資本的流動，成為私權力領域的權威，影響了社會生活的方方面面。算法在私主體的平臺與公權力的平臺都形成了支配力，算法權力橫跨了公權力與私權力[8]。

2.算法權力具有黑箱性

算法權力的黑箱性表現(xiàn)在算法決策的過程是通過算法內在的自主分析而快速做出的，人們對此并無直觀感受[5]，因此也很難對算法決策的結果進行直觀的解釋，即使要求公開算法的源代碼，非技術人群對此也難以理解。算法權力的黑箱性普遍存在于公權力和私權力中，一般社會大眾對于私人平臺以及公私合作的政務系統(tǒng)背后的算法技術知之甚少，政府也因為嚴重的技術依賴而形成惡性循環(huán)。2014年美國一項針對政府工作人員的調查報告顯示：高達96%的受訪者認為他們所在的部門存在數(shù)據(jù)技能短板[9]。在算法社會中，算法黑箱使得算法所有者擁有巨大的算法權力，通過技術壁壘達成技術化統(tǒng)治。

三、算法權力引起自動化行政的潛在危機

通過上文的梳理，算法權力的興起顯然已經(jīng)成為一種既存的現(xiàn)象?！盎ヂ?lián)網(wǎng)+”時代，算法權力會越來越膨脹，未來甚至有可能走向算法極權的世界，更有學者將算法權力生成的新風險稱為“算法利維坦”①張愛軍在《“算法利維坦”的風險及其規(guī)制》一文中將智能時代納入國家社會治理編制的算法技術異化的情況稱為“算法利維坦”。。算法權力以其架構優(yōu)勢和嵌入優(yōu)勢，與行政管理越來越緊密地結合，權力與權力的結合使得傳統(tǒng)的權力——權利格局失衡，導致公權力的擴張和私權利的萎縮[10]。

（一）算法權力與行政權的矛盾結合

效率一直是行政追求的目標之一，行政與技術的結合由來已久。人工智能時代，算法與行政的結合更是必然，且行政權的運行機制與技術的應用原理非常相似，行政權的運行遵從“法無授權即禁止”，運行的過程中較少強調人的主觀能動性，這與算法要求的客觀性和精確性十分契合[11]。政府準許算法進入公共政策和公共治理的體系之中，成為政府行政管理和服務的輔助工具。

1.算法權力加速行政權的擴張

行政權的擴張本身就是法治社會發(fā)展的趨勢之一②表現(xiàn)在行政權的顯性擴張與隱性擴張上。從表面上看，行政權的擴張表現(xiàn)在行政立法權、行政執(zhí)法權、行政司法權的擴張；從行政權的隱性擴張角度上看，行政權的擴張表現(xiàn)在行政機關對立法的影響、行政機關法律文件轉化為法律以及行政機關在制定標準上的影響前所未有地加強。，算法賦能行政無疑加速了這種擴張。算法權力幫助政府機關提高利用信息、處理信息的能力，實現(xiàn)政府對公民個人信息的采集，可以精準實施對某個具體的人的監(jiān)控。行政機關可以借助算法對公民的個人行為進行全方位的掌控，使得行政權的邊界可能蔓延到公民的隱私領域。

在自動化行政領域應用的算法大致可以分為兩類：反應型算法和預測型算法。反應型算法是將識別到的外界信息輸入既定的算法中得出結果；預測型算法是根據(jù)過去收集到的數(shù)據(jù)推斷出未來的趨勢[9]。反應型算法對于數(shù)據(jù)收集的要求非常高，比如前文提到的“海燕系統(tǒng)”，能夠每秒拍攝15張照片，并且準確分析出車牌、車輛型號等特征。這種技術的推出會使交通管理效率得到顯著提高，對行政相對人的識別更加精準，但這種精準的技術也較以往更嚴重地侵犯到相對人的個人隱私。絕大多數(shù)在道路上行駛的車輛是遵守交規(guī)的，但他們的車輛信息也被攝像頭捕捉到，只是沒有被進一步上傳形成違法數(shù)據(jù)。公權力與私權利是此消彼長的，公民的私權利若被技術與權力的結合逼退一步，則意味著公權力蔓延了一步。預測型算法則對算法本身的分析能力要求較高，一旦算法能力不足或者歷史數(shù)據(jù)有誤就會造成非常嚴重的后果。比如算法將長相與犯罪分子相似的公民識別成犯罪分子，導致這位公民在交通、住宿、通信方面都受到限制，給無辜的公民帶來不便；江蘇省稅務機關將算法與大數(shù)據(jù)相結合，預測稅務風險較高的行政相對人，根據(jù)統(tǒng)計，一年下來稅務稽查次數(shù)減少97%[12]。預測型算法使得決策行為發(fā)生在具體行政行為之前，完全不受正當程序的制約。

此外，我們也應該反思我們是否需要如此高效率的行政？譬如交通違章，在人力執(zhí)法時代，交通違章實際上是一次“抽查”，實際上違章了多次，可能僅被抓住一次[13]。行政執(zhí)法領域存在一定的容錯率。但算法治理則是實現(xiàn)百分之百的捕捉率，使得國家治理過度客觀化，本就處于弱勢地位的行政相對人更為被動。

2.算法權力滲透行政權

算法從不同層面嵌入行政權的運行。上文提到的算法作為行政機關的輔助決策工具，協(xié)助公權力進行治理的自動化行政審批，以及算法在行政管理的過程中起到實質性決定作用的防疫“健康碼”的生成，都是算法權力滲透行政權的表現(xiàn)。技術賦能使得算法治理越位于人的主觀能動性，算法本是人用來進行統(tǒng)治的工具，在實施過程中卻被算法統(tǒng)治。算法的背后是算法的設計者或實際控制人，這些人可能會故意或過失地操縱算法，進而控制行政權。2007年美國發(fā)生過這樣一起案例：來自私營公司的程序員誤讀了法律，錯將“無家可歸”編寫成“行乞為生”，并輸入美國的公共福利系統(tǒng)中，導致流落街頭的申請人被算法決策系統(tǒng)數(shù)次拒絕。

除了行政主體地位被架空的風險，算法權力與行政權的交織也會產(chǎn)生權力異化的風險。傳統(tǒng)的行政權要收到正當程序原則的規(guī)范，如傳統(tǒng)的行政處罰程序?！吨腥A人民共和國行政處罰法》（簡稱《行政處罰法》）中對于告知、說明理由、聽取當事人的陳述和申辯、行政聽證等具體程序都進行了規(guī)定，這些程序在保護行政相對人方面起到了巨大的作用。但自動化行政處罰實現(xiàn)了處罰的無人化，當事人不可能向算法陳述和申辯，使得在應用算法的自動化行政處罰中，正當程序難以得到貫徹和實施，自然難以對行政權背后的算法權力起到規(guī)范作用，使得算法權力野蠻生長。

此外，算法權力的主體認定困難，導致歸責問題陷入困境。根據(jù)歸責原則的規(guī)則要件，很難將責任認定到技術公司上，算法自動化行政出現(xiàn)問題后，仍由政府出面承擔責任。如2019年杭州的購房搖號事件，杭州某樓盤在購房搖號時出現(xiàn)大范圍的集中連號，后經(jīng)鑒定是因為在第二輪搖號過程中存在部分數(shù)據(jù)未被賦予隨機值的情況。為解決該異常狀況引發(fā)的問題，樓盤事后又重新進行搖號，負責此次搖號的公證處也向社會致歉，但提供算法的公司無聲無息。算法權力隱藏在行政權背后，逃避應有的責任。

（二）算法權力擠壓私權利的空間

1.個人信息暴露風險增加

算法技術的便捷和高效為行政主體介入私權利空間提供了低成本的手段，政府依靠算法權力掌握公民的個人信息，進而監(jiān)控公民的個人行為。在疫情防控中，政府對公民個人信息的掌控表現(xiàn)得尤為明顯。一旦某人被確診為新冠肺炎陽性患者，就會對他進行流調，而流調的基礎就是政府依據(jù)技術手段掌握的公民個人行程。技術手段極大提高了疫情防控的效率，但這同時也說明公民時刻暴露在監(jiān)控之下。2013年的“棱鏡門”事件就值得我們敲響警鐘，以算法技術進行監(jiān)控的行為如果一直存在，公權力有可能借助算法權力擴張，在一定程度上侵犯公民的隱私權。

2.算法應用架空公眾參與原則

算法的應用增強了行政活動中收集、處理和輸出信息的能力，改變了行政活動的傳統(tǒng)方式。反應型的算法自動化決策使得決策在系統(tǒng)內部瞬間完成，無法將活動的程序和步驟進行分離；預測型算法決策先發(fā)制人地引導和部署行政活動，相對人在行政機關做出反應時并未實施具體行為。這兩種類型的自動化決策都隔絕了行政相對人的參與。

公眾參與是行政正當程序的基本要求，公眾參與原則的核心理念是聽取公眾意見，這包括兩個方面。其一，在具體行政行為，尤其是負擔性行政行為的過程中，要充分聽取行政相對人的陳述和申辯；其二，公民應有權力參與行政活動，公眾的有效參與在于通過自己的行為影響某種決定，而不是作為一個被動的客體接受算法生成的某種結果。自動化行政行為根據(jù)算法預設的規(guī)定規(guī)則運行，沒有為行政相對人提供陳述和申辯的機會，也回避了行政決策的公眾參與和聽證，使得公眾參與原則缺失，進而造成嚴重的程序瑕疵。

四、算法權力規(guī)制的法治進路

（一）構建技術性正當程序

當算法權力掌管了個人生活的方方面面，法治和正當程序在此領域就不能缺席，否則就在為算法的實際控制者構建一種新的“權力利維坦”大開方便之門。2007年，美國學者希特倫提出了“技術性正當程序”的概念，強調通過優(yōu)化計算機的程序設計提高自動化決策系統(tǒng)的透明度和可問責性[14]。值得說明的是，即便適用場景不同，正當程序的價值理念也具有跨越時空的意義，在算法決策的背景下也不會過時[14]。那么什么樣的程序才是正當?shù)?？結合自動化行政下出現(xiàn)的較為明顯的程序性問題，本文認為技術性正當程序必須包含算法公開透明、聽取陳述和申辯這兩個要素。

1.算法的公開透明

算法權力的黑箱性是造成自動化行政風險的主要原因之一。行政權力被算法權力滲透的主要原因也是行政機關的工作人員無法理解算法運行的內在機理，同時透明性缺失也會減損政府的公信力，動搖社會公眾的信賴，因此有必要對算法進行公開。

首先，有必要對于因保護國家秘密和商業(yè)秘密而不公開的部分進行限制，一刀切的強制公開和不公開都不可取，大多數(shù)算法向社會公開披露也不可能，因此有必要借助于中立的、可信任的算法審查人員審查算法，代替一部分社會公開；同時設置合理的透明性方案，明確算法公開的三個問題：公開多少、向誰公開和公開的速度。對于因算法的復雜性導致的不透明，最直接的解決方法就是編碼可視化，即借助專業(yè)人員的力量，讓普通公眾能理解數(shù)據(jù)的來龍去脈和相關依據(jù)。在算法可見的前提下，行政相對人才有可能在正當程序的保護下進行陳述和申辯，進而尋求救濟。

2.保障當事人的聽證權利

2021年修訂的《中華人民共和國行政處罰法》第41條吸納了交警非現(xiàn)場執(zhí)法的核心要素，要求非現(xiàn)場執(zhí)法應該及時告知當事人的違法事實，并采用多種手段為當事人聽證和申辯提供方便，提出不低于傳統(tǒng)程序的權利保護標準[15]。該規(guī)定可以類推適用到自動化行政的各個領域。算法決策的瞬時性導致當事人很難在算法做出決策的過程中為自己辯護，但這不代表要取消當事人陳述和申辯的過程。行政法領域要求的聽證從不是固定形式的聽證，應根據(jù)具體情形決定聽證要采取的具體形式。在適用自動化行政的場景下，采取事后聽證是一個明確的選擇。應當通過多種方式進行事后聽證，保障相對人的聽證權利。

（二）健全行政主體應用算法的機制

1.建立算法權力的問責機制

算法出現(xiàn)問題難以追責的主要原因就是技術壁壘。當算法出現(xiàn)問題時，企業(yè)經(jīng)常以“技術自主錯誤”為由推卸責任；自動化行政的場景中，也基本由行政主體承擔責任。為了規(guī)制算法權力，必須將算法的設計者和實際有能力控制算法者納入問責的主體中。在此可以借鑒歐盟《通用數(shù)據(jù)保護條例》（以下簡稱GDPR）的控制者責任。GDPR第5條直接將保護個人數(shù)據(jù)的舉證責任分配給數(shù)據(jù)的控制者，達到規(guī)范算法控制者的目的。除此之外，也應當明晰歸責的標準。算法權力往往與行政權力交織，但不同場景的結合的程度有所不同，應當將自動化程度較低和自動化程度較高的算法進行分類厘清，對不同自動化程度的算法設定不同的標準：自動化程度較低的算法引發(fā)的問題還是由公權力機關作為主要責任者；而自動化程度較高的算法引發(fā)的問題則需要問責算法的設計公司。

2.提高行政機關使用算法的能力和水平

算法的黑箱性帶來的弊端需要構建技術性正當程序得以解決，這是在輸入端解決算法偏私、不公正的重要措施。提高行政機關使用算法的能力和水平是在輸出端防范算法權力異化的風險。根據(jù)上文提到的統(tǒng)計調查①本文第二部分論述算法權力具有黑箱性部分提到的美國一項針對政府工作人員的數(shù)據(jù)技能調查。可以預測到，許多行政機關的工作人員應用算法的技能還有待提高。實際上，當算法廣泛應用在行政過程中后，行政機關工作人員的身份發(fā)生了轉變，由原來的執(zhí)行者和裁量者轉換成監(jiān)管者，對算法裁量后的結果是否符合法律預期作出判斷和監(jiān)管。工作人員在執(zhí)法的裁量能力上優(yōu)于機器，應當充分了解算法的運行機制。因此，可以通過對行政機關的工作人員定期培訓、業(yè)務考核等方式，增強他們使用算法的能力和水平。

（三）實現(xiàn)對個人信息的優(yōu)先保護

在傳統(tǒng)的權力—權利理論中，權利是用來對抗權力的。算法治理也應當回歸到權力和權利的關系上，通過保護和加強算法相對人的算法權利來制約算法權力的不當擴張。當前自動化行政背景下相對人權益難以保障的主要原因是算法賦權失衡。算法與公權力交織，卻沒有賦能私權利。擁有算法資源的公權力機關能輕易獲得相對人的信息，相對人對此卻無權決定自己可以公開什么信息，也很難尋求到救濟。因此，也應當對私權利進行賦權。自動化行政中算法權力的行使應當保留一個底線：應該在保護個人信息的前提下實現(xiàn)對個人信息的利用，不能因為利用信息導致主體受損。應當明確個人信息的權屬，明確權力位階。個人信息應當屬于作為原發(fā)者的每一個個體，個體基于人格權對于底層信息擁有絕對的權利。個人信息需要數(shù)據(jù)作為載體，對于數(shù)據(jù)的產(chǎn)生付出了實質性勞動的技術方或者委托技術方的公權力機關應當享有用益權。該方應在合理的范圍內獲取、分析、輸出數(shù)據(jù)，并對這些數(shù)據(jù)盡到保護義務?；谌烁駲嗟谝晃弧⒇敭a(chǎn)權第二位的位階關系，在個人信息利用的過程中出現(xiàn)權利競合時優(yōu)先保護第一位階的人格權。通過這種優(yōu)先級的劃分，使得公民的個人信息和隱私得到充分的保護。

五、結語

實現(xiàn)對算法權力的規(guī)制仍然任重而道遠。規(guī)范行政權與算法權力的結合需要更加體系化、制度化的措施，本文提出的構建技術性正當程序、健全行政主體應用算法的機制、實現(xiàn)對個人信息的優(yōu)先保護這幾點規(guī)制措施只是對于算法權力規(guī)制的起點，還要在這些基礎上深入挖掘、開枝散葉，才能構建出一個完善的保護路徑。此外，算法權力的興起有其合理性和必然性，完全對其進行限制與社會發(fā)展的規(guī)律相違背。權力與權利如同鳥之兩翼，車之兩輪，相生相伴。對于算法權利的保護是一種更溫和地實現(xiàn)算法社會良性發(fā)展的重要途徑。將算法權利作為主題進行研究探討也許是未來算法治理的可行路徑之一。