徐 鳳

算法〔1〕算法（algorithm）一詞來源于中世紀(jì)的拉丁語“algorism”。公元9世紀(jì)，波斯的一位數(shù)學(xué)家Al-Khwarizmi，他寫了一本關(guān)于代數(shù)的著作。中世紀(jì)的學(xué)者用拉丁語傳播Al-Khwarizmi的學(xué)說時(shí)，他的名字的拉丁語音譯為“algorism”。到了18世紀(jì)，algorism演變成了algorithm。這個(gè)詞匯就成了任何程序化運(yùn)算或自動(dòng)運(yùn)算方法的統(tǒng)稱。參見［美］克里斯托弗·斯坦納：《算法帝國》，李筱瑩譯，人民郵電出版社2014年版，第42—43頁。是人工智能的基礎(chǔ)?！八惴ň褪且幌盗兄噶?，告訴計(jì)算機(jī)該做什么?！薄?〕［美］佩德羅·多明戈斯：《終極算法：機(jī)器學(xué)習(xí)和人工智能如何重塑世界》，黃芳萍譯，中信出版集團(tuán)2017年版，第3頁。“算法的核心就是按照設(shè)定程序運(yùn)行以期獲得理想結(jié)果的一套指令?！薄?〕參見前引〔1〕，斯坦納書，第42頁。所有的算法都包括以下幾個(gè)共同的基本特征：輸入、輸出、明確性、有限性、有效性?！?〕徐恪、李沁：《算法統(tǒng)治世界——智能經(jīng)濟(jì)的隱形秩序》，清華大學(xué)出版社2017年版，第11頁。算法因數(shù)學(xué)而起，但現(xiàn)代算法的應(yīng)用范疇早已超出了數(shù)學(xué)計(jì)算的范圍，已經(jīng)與每個(gè)人的生活息息相關(guān)。因此，“我們生活在算法的時(shí)代”?！?〕參見前引〔2〕，多明戈斯書，第3頁。隨著人工智能時(shí)代的到來，算法越來越多地支配著我們的生活，也給現(xiàn)存的法律制度和法律秩序帶來了沖擊和挑戰(zhàn)。人工智能算法不公開、不透明，被稱為“算法黑箱”。這是人工智能給人類社會(huì)帶來的重大新型問題之一?！?〕邢會(huì)強(qiáng)：《人工智能時(shí)代的金融監(jiān)管變革》，《探索與爭(zhēng)鳴》2018年第10期，第21頁。法律制度如何應(yīng)對(duì)“算法黑箱”的挑戰(zhàn)？法律如何規(guī)制算法？這是法學(xué)研究必須面對(duì)的現(xiàn)實(shí)問題。人工智能的應(yīng)用場(chǎng)景很多，筆者主要以智能投顧為例，來闡述算法黑箱的法律規(guī)制。相信它將對(duì)人工智能的其他應(yīng)用場(chǎng)景提供有益的借鑒和啟迪。

一、算法透明之爭(zhēng)

“黑箱”是控制論中的概念。作為一種隱喻，它指的是那些不為人知的不能打開、不能從外部直接觀察其內(nèi)部狀態(tài)的系統(tǒng)?！?〕張淑玲：《破解黑箱：智媒時(shí)代的算法權(quán)力規(guī)制與透明實(shí)現(xiàn)機(jī)制》，《中國出版》2018年第7期，第50頁。人工智能所依賴的深度學(xué)習(xí)技術(shù)就是一個(gè)“黑箱”。深度學(xué)習(xí)是由計(jì)算機(jī)直接從事物原始特征出發(fā)，自動(dòng)學(xué)習(xí)和生成高級(jí)的認(rèn)知結(jié)果。在人工智能系統(tǒng)輸入的數(shù)據(jù)和其輸出的結(jié)果之間，存在著人們無法洞悉的“隱層”，這就是“算法黑箱”?！?〕許可：《人工智能的算法黑箱與數(shù)據(jù)正義》，《社會(huì)科學(xué)報(bào)》2018年3月29日，第6版；蘭亞妮、鄭晉鳴：《讓人工智能更有溫度》，《光明日?qǐng)?bào)》2019年1月28日，第4版。對(duì)透明的追求使人心理安定，“黑箱”使人恐懼。如何規(guī)制算法“黑箱”，算法是否要透明，如何透明，是法律規(guī)制遇到的首要問題。

（一）對(duì)算法透明的呼吁及其理由

面對(duì)算法黑箱，不少人主張、呼吁算法透明?？偨Y(jié)其理由，主要有以下幾點(diǎn)：

第一，算法透明是消費(fèi)者知情權(quán)的組成部分。這種觀點(diǎn)主張，因?yàn)樗惴ǖ膹?fù)雜性和專業(yè)性，人工智能具體應(yīng)用領(lǐng)域中的信息不對(duì)稱可能會(huì)更加嚴(yán)重，算法透明應(yīng)是消費(fèi)者知情權(quán)的組成部分。

第二，算法透明有助于緩解這種信息不對(duì)稱。這種觀點(diǎn)主張，算法的信息不對(duì)稱加重不只發(fā)生在消費(fèi)者與算法設(shè)計(jì)者、使用者之間，更發(fā)生在人類和機(jī)器之間，算法透明有助于緩解這種信息不對(duì)稱。

第三，算法透明有助于防止人為不當(dāng)干預(yù)。這種觀點(diǎn)以智能投顧為例，認(rèn)為算法模型是公開的，在雙方約定投資策略的前提下，執(zhí)行策略由時(shí)間和事件函數(shù)共同觸發(fā)，執(zhí)行則由計(jì)算機(jī)程序自動(dòng)完成，避免了人為不當(dāng)干預(yù)的風(fēng)險(xiǎn)，它比人為干預(yù)更加公平、公開和公正?！?〕參見宋湘燕、王韜：《機(jī)器人投顧——金融投資領(lǐng)域的新角色》，《金融時(shí)報(bào)》2016年5月9日第11版。

第四，算法透明有助于防止利益沖突。這種觀點(diǎn)以智能投顧為例，認(rèn)為由于算法的非公開性和復(fù)雜性，智能投顧給出的資產(chǎn)配置建議有可能是推薦了與其自身利益高度攸關(guān)的產(chǎn)品，這就難以保證投資建議的獨(dú)立性和客觀性?！?0〕參見伍旭川：《迎接金融科技的新風(fēng)口——智能投顧》，《清華金融評(píng)論》2017年第10期，第87頁。智能投顧可以通過對(duì)于推薦產(chǎn)品選項(xiàng)的特殊排列方式，把對(duì)自己最有利的產(chǎn)品排在最容易被選擇到的位置。只有算法透明，才能防止這種利益沖突。

第五，算法透明有助于防范信息繭房。這種觀點(diǎn)認(rèn)為，算法可能形成信息繭房。算法科學(xué)的外表容易誤導(dǎo)投資者，強(qiáng)化投資者的偏見，從而導(dǎo)致錯(cuò)誤決策。算法技術(shù)為原本和普羅眾生疏離的復(fù)雜難懂的金融披上了簡(jiǎn)單易懂的面紗，金融的高風(fēng)險(xiǎn)性被成功掩蓋，輕松化的人機(jī)交互界面掩蓋了金融風(fēng)險(xiǎn)的殘酷本質(zhì)?！?1〕參見高絲敏：《智能投資顧問模式中的主體識(shí)別和義務(wù)設(shè)定》，《法學(xué)研究》2018年第5期，第43頁。

第六，算法透明有助于打破技術(shù)中立的外衣。智能金融給人以中立的感覺，而事實(shí)上，技術(shù)的背后是人。人類會(huì)將人性弱點(diǎn)和道德缺陷帶進(jìn)和嵌入算法之中，但它們卻可能隱蔽于算法背后，從而更不易被發(fā)覺。

第七，算法透明有助于打破算法歧視。賓夕法尼亞州法學(xué)院的Tom Baker和荷蘭鹿特丹伊拉斯謨大學(xué)的Benedict G.、C.Dellaert教授認(rèn)為：公眾不能預(yù)設(shè)智能投顧機(jī)器人沒有人類所具有的不純動(dòng)機(jī)。因?yàn)橹悄芙鹑谒惴ù嬖谄缫暫秃谙洮F(xiàn)象，因此才需要算法的透明性或解釋性機(jī)制?！?2〕參見劉元興：《智能金融的“算法可解釋性”問題》，《金融科技觀察》2018年第13期，第1頁。

第八，算法透明有助于打破“算法監(jiān)獄”與“算法暴政”。在人工智能時(shí)代，商業(yè)企業(yè)和公權(quán)部門都采用人工智能算法作出的自動(dòng)化決策，算法存在的缺陷和偏見可能會(huì)使得大量的客戶不能獲得貸款、保險(xiǎn)、承租房屋等服務(wù)，這如同被囚禁在“算法監(jiān)獄”。然而，如果自動(dòng)化決策的算法不透明、不接受人們的質(zhì)詢、不提供任何解釋、不對(duì)客戶或相對(duì)人進(jìn)行救濟(jì)，客戶或相對(duì)人無從知曉自動(dòng)化決策的原因，自動(dòng)化決策就會(huì)缺少“改正”的機(jī)會(huì)，這種情況就屬于“算法暴政”?！?3〕張凌寒：《商業(yè)自動(dòng)化決策的算法解釋權(quán)研究》，《法律科學(xué)》2018年第3期，第66頁。算法透明則有助于打破“算法監(jiān)獄”與“算法暴政”。

第九，算法透明是提供算法可責(zé)性問題的解決工具和前提。有學(xué)者認(rèn)為算法透明性和可解釋性是解決算法可歸責(zé)性的重要工具。明確算法決策的主體性、因果性或相關(guān)性，是確定和分配算法責(zé)任的前提?！?4〕Finale Doshi-Velez&Mason Kortz,Accountability of AI Under the Law:The Role of Explanation,https://arxiv.org/pdf/1711.01134.pdf.

第十，算法透明有助于提高人們的參與度，確保質(zhì)疑精神。這種觀點(diǎn)認(rèn)為，在卡夫卡的環(huán)境中，如果你不了解某個(gè)決定的形成過程，就難以提出反對(duì)的理由?！?5〕參見［美］盧克·多梅爾：《算法時(shí)代：新經(jīng)濟(jì)的引擎》，胡小銳、鐘毅譯，中信出版集團(tuán)2016年版，第140頁。由于人們無法看清其中的規(guī)則和決定過程，人們無法提出不同的意見，也不能參與決策的過程，只能接受最終的結(jié)果。為走出這一困境，算法透明是必要的。還有人認(rèn)為，質(zhì)疑精神是人類前進(jìn)的工具，如果沒有質(zhì)疑，就沒有社會(huì)進(jìn)步。為了保證人類的質(zhì)疑，算法必須公開——除非有更強(qiáng)的不公開的理由，比如保護(hù)國家安全或個(gè)人隱私。

第十一，公開透明是確保人工智能研發(fā)、涉及、應(yīng)用不偏離正確軌道的關(guān)鍵。這種觀點(diǎn)認(rèn)為，人工智能的發(fā)展一日千里，人工智能可能擁有超越人類的超級(jí)優(yōu)勢(shì)，甚至可能產(chǎn)生災(zāi)難性風(fēng)險(xiǎn)，因而應(yīng)該堅(jiān)持公開透明原則，將人工智能的研發(fā)、設(shè)計(jì)和應(yīng)用置于監(jiān)管機(jī)構(gòu)、倫理委員會(huì)以及社會(huì)公眾的監(jiān)督之下，確保人工智能機(jī)器人處于可理解、可解釋、可預(yù)測(cè)狀態(tài)?！?6〕金東寒主編：《秩序的重構(gòu)——人工智能與人類社會(huì)》，上海大學(xué)出版社2017年版，第72頁。

（二）反對(duì)算法透明的聲音及其理由

聲音并非一邊倒。反對(duì)算法透明的聲音也不少，其主要理由如下：

第一，類比征信評(píng)分系統(tǒng)。征信評(píng)分系統(tǒng)不對(duì)外公開是國際慣例，其目的是防止“炒信”、“刷信”，使評(píng)級(jí)結(jié)果失真。很多人工智能系統(tǒng)類似于信用評(píng)級(jí)系統(tǒng)。

第二，周邊定律。周邊定律是指法律無須要求律師提請(qǐng)我們注意身邊具有法律意義的內(nèi)容，而是將其直接植入我們的設(shè)備和周邊環(huán)境之中，并由這些設(shè)備和環(huán)境付諸實(shí)施?！?7〕參見前引〔15〕，多梅爾書，第123頁。主張?jiān)撚^點(diǎn)的人宣稱，人類正在步入技術(shù)對(duì)人類的理解越來越深刻而人類卻無須理解技術(shù)的時(shí)代。智能時(shí)代的設(shè)備、程序，就像我們的人體器官和中樞神經(jīng)系統(tǒng)，我們對(duì)其知之甚少但卻可以使用它們。同樣，算法為自我管理、自我配置與自我優(yōu)化而完成的自動(dòng)計(jì)算活動(dòng)，也無須用戶的任何體力與智力投入?！?8〕參見前引〔15〕，多梅爾書，第123頁。

第三，算法不透明有助于減少麻煩。如果披露了算法，則可能會(huì)引起社會(huì)輿論的嘩然反應(yīng)，從而干擾算法的設(shè)計(jì)，降低預(yù)測(cè)的準(zhǔn)確性。大數(shù)據(jù)預(yù)測(cè)盡管準(zhǔn)確的概率較高，但也不能做到百分之百。換言之，大數(shù)據(jù)預(yù)測(cè)也會(huì)不準(zhǔn)，也會(huì)失誤。如果將算法公之于眾，人們對(duì)預(yù)測(cè)錯(cuò)誤的賦值權(quán)重就有可能偏大，從而會(huì)阻礙技術(shù)的發(fā)展。

第四，防止算法趨同。算法披露之后，好的算法、收益率高的算法、行業(yè)領(lǐng)導(dǎo)者的算法可能會(huì)引起業(yè)界的效仿，從而會(huì)出現(xiàn)“羊群效應(yīng)”，加大順周期的風(fēng)險(xiǎn)。

第五，信息過載或難以理解。算法屬于計(jì)算機(jī)語言，不屬于日常語言，即使對(duì)外披露了，除專業(yè)人士之外的大多數(shù)客戶難以理解。換言之，對(duì)外披露的信息對(duì)于大多數(shù)用戶來講可能屬于無效信息?！?9〕參見前引〔7〕，張淑玲文，第51頁。

第六，偏見存在于人類決策的方方面面，要求算法滿足高于人類的標(biāo)準(zhǔn)是不合理的?！?0〕Joshua New and Daniel Castro：《算法可解釋性與算法監(jiān)管》，姜開鋒譯，大數(shù)據(jù)和人工智能法律研究院公眾號(hào)，2018年7月3日。算法透明性本身并不能解決固有的偏見問題?！?1〕同上文。要求算法的透明性或者可解釋性，將會(huì)減損已申請(qǐng)專利的軟件的價(jià)值?！?2〕前引〔20〕，Joshua New and Daniel Castro文。要求算法的透明性還為動(dòng)機(jī)不良者擾亂系統(tǒng)和利用算法驅(qū)動(dòng)的平臺(tái)提供了機(jī)會(huì)，它將使動(dòng)機(jī)不良者更容易操縱算法。

第七，算法披露在現(xiàn)實(shí)中存在操作困難。智能投顧可能涉及多個(gè)算法，披露哪個(gè)或哪些算法？算法披露到什么程度？

（三）折中派的觀點(diǎn)及其理由

有人認(rèn)為，算法是一種商業(yè)秘密。“算法由編程者設(shè)計(jì)，進(jìn)而給網(wǎng)站帶來巨大的商業(yè)價(jià)值，因此其本質(zhì)上是具有商業(yè)秘密屬性的智力財(cái)產(chǎn)?！薄?3〕張凌寒：《風(fēng)險(xiǎn)防范下算法的監(jiān)管路徑研究》，《交大法學(xué)》2018年第4期，第56頁。如果將自己的專有算法程序公之于眾，則有可能泄漏商業(yè)秘密，使自己?jiǎn)适Ъ夹g(shù)競(jìng)爭(zhēng)優(yōu)勢(shì)。鑒于很多算法屬于涉及商業(yè)利益的專有算法，受知識(shí)產(chǎn)權(quán)法保護(hù)，因此即使是強(qiáng)制要求算法透明，也只能是有限度的透明。

還有人認(rèn)為，如何對(duì)待算法，這個(gè)問題并沒有“一刀切”的答案。在某些情況下，增加透明度似乎是一個(gè)正確的做法，它有助于幫助公眾了解決策是如何形成的，但是在涉及國家安全時(shí)，公開源代碼的做法就不適用了，因?yàn)橐坏┕_了特定黑盒子的內(nèi)部運(yùn)行機(jī)制，某些人就可以繞開保密系統(tǒng)，使算法失效。〔24〕參見前引〔15〕，多梅爾書，第222頁。

（四）筆者的觀點(diǎn)——算法的不公開是原則，公開是例外

絕對(duì)的透明是不存在的，即使透明也是相對(duì)的透明。在歷史上，人類社會(huì)隨著復(fù)雜性的增加，不可避免地產(chǎn)生以組織和技術(shù)形態(tài)出現(xiàn)的各類“黑箱”，它們的決定雖然影響著社會(huì)公眾的利益，但仍然保持著某種程度的秘密性?！?5〕參見胡凌：《人工智能的法律想象》，《文化縱橫》2017年第2期，第111頁。為了克服信息不對(duì)稱帶來的各種弊端，法律作出了各種回應(yīng)，包括設(shè)計(jì)出某種程度的信息公開和透明化機(jī)制。例如上市公司強(qiáng)制信息披露等，以保障相關(guān)當(dāng)事人和社會(huì)大眾的知情權(quán)，避免恐慌，讓社會(huì)大眾保持一定程度的預(yù)測(cè)能力?！?6〕參見前引〔6〕，邢會(huì)強(qiáng)文，第115頁。但是，盡管如此，上市公司就絕對(duì)透明了嗎？事實(shí)上，絕對(duì)透明是做不到的。信息披露是有成本的，投資者的知情權(quán)也是需要保障的。為了平衡這種沖突，法律發(fā)展出了信息的“重大性”標(biāo)準(zhǔn)，只有符合這一標(biāo)準(zhǔn)的信息才應(yīng)予披露，而不是所有的信息才能披露。〔27〕參見劉東輝：《誰是理性的投資者——美國證券法上重大性標(biāo)準(zhǔn)的演變》，《證券法律評(píng)論》2015年卷，第78頁。那么，在算法披露領(lǐng)域，是否要借鑒上市公司的信息“重大性”標(biāo)準(zhǔn)呢？如果要借鑒，算法的透明就是一種有限的透明。而且，就信息的“重大性”標(biāo)準(zhǔn)而言，實(shí)踐中和學(xué)術(shù)界仍有“價(jià)格敏感重大性”和“投資決策重大性”之爭(zhēng)。算法透明如果要借鑒，該標(biāo)準(zhǔn)該如何設(shè)定呢？這也是一個(gè)難題。

鑒于算法透明的利多于或大于弊，我們支持算法有限透明的立場(chǎng)。算法的完全透明是做不到的。在前人工智能時(shí)代，也有各種各樣的算法，這些算法也在影響著人們的生活，但人們并未要求其完全公開。在人工智能時(shí)代，也可以做這樣的推理：算法的不公開是原則，公開是例外。如果需要公開，也需要制定法律明確哪些算法應(yīng)該公開，以及如何公開。

筆者認(rèn)為，具有壟斷地位的算法，或國家財(cái)政資金提供支持的、目的是提供普遍公共服務(wù)的算法，人們應(yīng)有權(quán)要求其公開。因?yàn)榫哂袎艛嗟匚坏乃惴ㄏ拗屏巳藗兊倪x擇權(quán)，對(duì)個(gè)人施加的影響巨大，人們應(yīng)有知情權(quán)。而國家財(cái)政資金提供支持的、目的是提供普遍公共服務(wù)的算法，之所以需要公開，是因?yàn)檫@是納稅人知情權(quán)的組成部分。此外，對(duì)于歧視某一類人、侵犯公民平等權(quán)的算法，盡管它未必需要向社會(huì)公開，但人們有權(quán)提起訴訟，讓其接受法官的審查。這是因?yàn)?，從理論上說，私人的商業(yè)秘密作為個(gè)人利益，在涉嫌侵犯?jìng)€(gè)人的權(quán)利時(shí)，是不能對(duì)抗法官的審查權(quán)的。

盡管算法不公開是原則，但人們應(yīng)有權(quán)要求公平也是原則。美國《公平信用報(bào)告法》確保消費(fèi)者可以看到某個(gè)數(shù)據(jù)檔案對(duì)信用評(píng)分的影響，并且有權(quán)糾正檔案中包括的任何錯(cuò)誤，而《平等信用機(jī)會(huì)法》則禁止在信用評(píng)分中納入種族或性別歧視。這種做法值得我國借鑒，即我國法律即使不要求算法公開，但也應(yīng)要求算法公平，并將其置于法官的審查之下。

二、算法透明的實(shí)踐與內(nèi)容

人們呼吁算法透明，卻往往忽略了算法透明的具體內(nèi)容，這將使算法透明的呼吁停留于表面上，而不具有現(xiàn)實(shí)的可操作性。揆諸當(dāng)下各國的探索與實(shí)踐，可以發(fā)現(xiàn)，算法透明的具體內(nèi)容還沒有真正付諸實(shí)施。

（一）算法透明的探索與實(shí)踐

2017年，美國計(jì)算機(jī)學(xué)會(huì)公眾政策委員會(huì)公布了6項(xiàng)算法治理指導(dǎo)原則。第一個(gè)原則是知情原則，即算法設(shè)計(jì)者、架構(gòu)師、控制方以及其他利益相關(guān)者應(yīng)該披露算法設(shè)計(jì)、執(zhí)行、使用過程中可能存在的偏見以及可能對(duì)個(gè)人和社會(huì)造成的潛在危害。第二個(gè)原則是質(zhì)詢和申訴原則，即監(jiān)管部門應(yīng)該確保受到算法決策負(fù)面影響的個(gè)人或組織享有對(duì)算法進(jìn)行質(zhì)疑并申訴的權(quán)力。第三個(gè)原則是算法責(zé)任認(rèn)定原則。第四個(gè)原則是解釋原則，即采用算法自動(dòng)化決策的機(jī)構(gòu)有義務(wù)解釋算法運(yùn)行原理以及算法具體決策結(jié)果。第五個(gè)原則是數(shù)據(jù)來源披露原則。第六個(gè)原則是可審計(jì)原則。仔細(xì)審視這6項(xiàng)原則，其要求的算法透明的具體內(nèi)容主要是算法的偏見與危害、算法運(yùn)行原理以及算法具體決策結(jié)果，以及數(shù)據(jù)來源。

發(fā)生于美國威斯康星州的State v.Loomis案所引發(fā)了美國社會(huì)關(guān)于算法透明的爭(zhēng)論。在該案中，該州一法院使用“再犯風(fēng)險(xiǎn)評(píng)估內(nèi)容”來進(jìn)行量刑，被告Loomis認(rèn)為法官違反了正當(dāng)程序原則，他有權(quán)檢查法律的算法，量刑法院應(yīng)該公開算法。但該州最高法院認(rèn)為，算法只是量刑的一個(gè)因素，而不是唯一因素，算法量刑沒有違反正當(dāng)程序原則，但法官應(yīng)向被告解釋其在作出量刑決定時(shí)所考量的因素并提醒法官警惕使用算法量刑可能帶來的偏見?？傊谠摪钢校撝葑罡叻ㄔ簝A向于保護(hù)算法產(chǎn)品廠商的商業(yè)秘密，不會(huì)要求公開算法代碼，也沒有要求廠商用自然語言解釋算法的設(shè)計(jì)原理、功能和目的。

2017年年底，紐約州通過一項(xiàng)《算法問責(zé)法案》要求成立一個(gè)由自動(dòng)化決策系統(tǒng)專家和相應(yīng)的公民組織代表組成的工作組，專門監(jiān)督自動(dòng)化決策算法的公平和透明。之前，該法案有一個(gè)更徹底的版本，規(guī)定市政機(jī)構(gòu)要公布所有用于“追蹤服務(wù)”或“對(duì)人施加懲罰或維護(hù)治安”的算法的源代碼，并讓它們接受公眾的“自我測(cè)試”。“這是一份精煉的、引人入勝的、而且是富有雄心的法案”，它提議每當(dāng)市政府機(jī)構(gòu)打算使用自動(dòng)化系統(tǒng)來配置警務(wù)、處罰或者服務(wù)時(shí)，該機(jī)構(gòu)應(yīng)將源代碼——系統(tǒng)的內(nèi)部運(yùn)行方式——向公眾開放。很快，人們發(fā)現(xiàn)這個(gè)版本的法案是一個(gè)很難成功的方案，他們希望不要進(jìn)展得那么激進(jìn)。因此，最終通過的法案刪去了原始草案中的披露要求，設(shè)立了一個(gè)事實(shí)調(diào)查工作組來代替有關(guān)披露的提議，原始草案中的要求僅在最終版本里有一處間接地提及——“在適當(dāng)?shù)那闆r下，技術(shù)信息應(yīng)當(dāng)向公眾開放”?！?8〕［美］Julia Powles：《紐約市嘗試對(duì)算法問責(zé)——政策有待完善，但行動(dòng)敢為人先》，姜開鋒譯，大數(shù)據(jù)和人工智能法律研究院公眾號(hào)，2018年12月29日。

在歐盟，《通用數(shù)據(jù)保護(hù)條例》（GDPR）在鑒于條款第71條規(guī)定：“在任何情況下，該等處理應(yīng)該采取適當(dāng)?shù)谋Ｕ?，包括向?shù)據(jù)主體提供具體信息，以及獲得人為干預(yù)的權(quán)利，以表達(dá)數(shù)據(jù)主體的觀點(diǎn)，在評(píng)估后獲得決定解釋權(quán)并質(zhì)疑該決定?！睋?jù)此，有人主張GDPR賦予了人們算法解釋權(quán)?！?9〕參見前引〔23〕，張凌寒文，第58頁。但也有學(xué)者認(rèn)為，這種看法很牽強(qiáng)，個(gè)人的可解釋權(quán)并不成立?！?0〕參見劉元興：《智能金融的“算法可解釋性”問題》，《金融科技觀察》2018年第13期，第2頁。

我國《新一代人工智能發(fā)展規(guī)劃》指出：“建立健全公開透明的人工智能監(jiān)管體系?！边@提出了人工智能監(jiān)管體系的透明，而沒有要求算法本身的透明。

（二）算法透明的內(nèi)容不是算法代碼而是算法說明

人們呼吁算法透明，但透明的內(nèi)容具體是算法的源代碼，還是算法的簡(jiǎn)要說明？秉承“算法公開是例外，不公開是原則”的立場(chǎng)，即使是在算法需要公開的場(chǎng)合，也需要考察算法公開的具體內(nèi)容是什么。

算法的披露應(yīng)以保護(hù)用戶權(quán)利為必要。算法的源代碼、算法的具體編程公式（實(shí)際上也不存在這樣的編程公式）是不能公開的。這主要是因?yàn)樗惴ǖ脑创a一方面非常復(fù)雜，且不斷迭代升級(jí)，甚至不可追溯，無法予以披露；另一方面，公開源代碼是專業(yè)術(shù)語，絕大部分客戶看不懂，即使公開了也沒有意義。

算法的透明追求的是算法的簡(jiǎn)要說明（簡(jiǎn)稱算法簡(jiǎn)介）。算法的簡(jiǎn)介包括算法的假設(shè)和限制、算法的邏輯、算法的種類、算法的功能、算法的設(shè)計(jì)者、算法的風(fēng)險(xiǎn)、算法的重大變化等。算法簡(jiǎn)介的公開，也是需要有法律規(guī)定的，否則，不公開仍是基本原則。例如，美國《智能投顧升級(jí)指導(dǎo)意見》規(guī)定的與算法相關(guān)的披露內(nèi)容包括：管理客戶賬戶所使用的算法的說明；算法功能的介紹（如通過算法能對(duì)客戶個(gè)人賬戶進(jìn)行投資和重新調(diào)整）；算法的假設(shè)和限制（如該算法是基于現(xiàn)代投資組合理論，說明背后的假設(shè)和該理論的局限性）；對(duì)使用算法管理客戶賬戶所固有的特定風(fēng)險(xiǎn)的描述（例如該算法可能不考慮市場(chǎng)條件而重新調(diào)整客戶賬戶，或者進(jìn)行比客戶預(yù)期更頻繁地調(diào)整以及算法可能無法應(yīng)對(duì)市場(chǎng)條件的長(zhǎng)期變化）；任何可能導(dǎo)致用于管理客戶賬戶的智能投顧算法重寫的狀況描述（如智能投顧可能在緊張的市場(chǎng)狀況下停止交易或采取其他臨時(shí)性防御措施）；關(guān)于第三方參與管理客戶賬戶的算法的開發(fā)、管理或所有權(quán)的說明，包括對(duì)這種安排可能產(chǎn)生的任何沖突利益的解釋（例如，如果第三方以打折的方式向智能投顧方提供算法，那么此算法同樣可能會(huì)將客戶引導(dǎo)到一種能使第三方獲利的產(chǎn)品上）。還如，新加坡金融管理局希望數(shù)字顧問可以書面向客戶披露算法相關(guān)信息：首先，算法的假設(shè)、限制和風(fēng)險(xiǎn)；其次，明確數(shù)字顧問可以推翻算法或者暫停數(shù)字顧問的情形；再次，披露對(duì)算法的任何重大調(diào)整?？傊?，該指導(dǎo)意見要求披露的是對(duì)算法的說明而不是算法本身。

三、算法透明的替代或輔助方法

算法透明不能簡(jiǎn)單類比上市公司的透明，算法透明的具體方法除了公開披露之外，還可以有其他替代方法。當(dāng)然它們也可以成為輔助方法。這些方法究竟是替代方法還是輔助方法，取決于立法者的決斷。

（一）備案或注冊(cè)

備案即要求義務(wù)人向監(jiān)管機(jī)構(gòu)或自律組織備案其算法或算法邏輯，算法或算法邏輯不向社會(huì)公開，但監(jiān)管機(jī)構(gòu)或自律組織應(yīng)知悉。這種觀點(diǎn)認(rèn)為，智能投顧應(yīng)向監(jiān)管部門備案其算法（邏輯），監(jiān)管部門應(yīng)對(duì)智能投顧的算法進(jìn)行大致分類，并采取必要的措施避免同質(zhì)化，以免造成羊群效應(yīng)。此外，還要明確要求智能投顧定期檢查模型或算法的有效性，一旦有重要修改，應(yīng)再次備案。〔31〕姜海燕、吳長(zhǎng)鳳：《智能投顧的發(fā)展現(xiàn)狀及監(jiān)管建議》，《證券市場(chǎng)導(dǎo)報(bào)》2016年第12期，第10頁。

其實(shí)，在程序化交易、量化交易或高頻交易領(lǐng)域，備案已是常規(guī)做法。歐洲證券市場(chǎng)監(jiān)管局要求從事量化交易的投資機(jī)構(gòu)每年向其報(bào)備交易策略、交易參數(shù)的設(shè)定及其限制、核心風(fēng)險(xiǎn)控制模塊構(gòu)成及交易系統(tǒng)測(cè)試結(jié)果?！?2〕金小野：《規(guī)范高頻交易是國際證券業(yè)監(jiān)管焦點(diǎn)》，《法制日?qǐng)?bào)》2013年11月12日，第10版。之所以如此，是因?yàn)樗惴▊浒敢环矫娲偈沽炕灰淄顿Y機(jī)構(gòu)更為謹(jǐn)慎地使用和監(jiān)控算法交易系統(tǒng)；另一方面也有助于促使監(jiān)管機(jī)構(gòu)掌握前沿的技術(shù)，以便更好地理解和評(píng)估算法交易系統(tǒng)，從而有助于改善和提高監(jiān)管機(jī)構(gòu)的監(jiān)管能力。

算法很復(fù)雜，很難用公式或可見的形式表達(dá)出來。算法的種類很多，一個(gè)人工智能系統(tǒng)可能會(huì)涉及很多算法，且算法也在不斷迭代、更新和打補(bǔ)丁，就像其他軟件系統(tǒng)不斷更新一樣。因此，算法本身沒法備案，更無法披露。可以備案和披露的是算法的邏輯和參數(shù)。《關(guān)于規(guī)范金融機(jī)構(gòu)資產(chǎn)管理業(yè)務(wù)的指導(dǎo)意見》（以下簡(jiǎn)稱《資管新規(guī)》）第23條要求：“金融機(jī)構(gòu)應(yīng)當(dāng)向金融監(jiān)督管理部門報(bào)備人工智能模型的主要參數(shù)以及資產(chǎn)配置的主要邏輯?！奔词且?yàn)槿绱?。但是，算法邏輯和主要參?shù)的披露卻可能引起業(yè)界的紛紛效仿，從而可能帶來羊群效應(yīng)。也正因?yàn)槿绱?，算法邏輯和主要參?shù)的備案，需要對(duì)金融監(jiān)督管理部門及其工作人員課加嚴(yán)格的保密責(zé)任。

除了算法邏輯的備案以外，還可以要求算法開發(fā)設(shè)計(jì)人員的注冊(cè)。2017年1月，SEC批準(zhǔn)了對(duì)NASD規(guī)則1032（f）的修正案，該修正案擴(kuò)大了需要注冊(cè)為證券交易者的人員范圍。具體而言，自2017年1月30日起，每個(gè)主要負(fù)責(zé)設(shè)計(jì)、開發(fā)或重大修改與股票、優(yōu)先股或可轉(zhuǎn)換債券有關(guān)的算法交易策略的人，或在上述活動(dòng)中負(fù)責(zé)日常監(jiān)管或指導(dǎo)的人，必須通過57系列考試并注冊(cè)為證券交易者。美國自律監(jiān)管組織——金融服務(wù)監(jiān)管局的目標(biāo)是確保公司識(shí)別并注冊(cè)一個(gè)或多個(gè)相關(guān)人員，他具備交易策略（例如，套利策略）及實(shí)施該交易策略的技術(shù)實(shí)施（例如編碼）的知識(shí)并對(duì)此負(fù)責(zé)，以便公司來評(píng)估相關(guān)產(chǎn)品的結(jié)果是否實(shí)現(xiàn)了其業(yè)務(wù)目標(biāo)，且是否是合規(guī)的。如果智能投顧不是自行設(shè)計(jì)和開發(fā)算法，而是委托第三方設(shè)計(jì)和開發(fā)算法，則該第三方的設(shè)計(jì)開發(fā)機(jī)構(gòu)中主要負(fù)責(zé)設(shè)計(jì)、開發(fā)或重大修改與股票、優(yōu)先股或可轉(zhuǎn)換債券有關(guān)的算法交易策略的人，也必須注冊(cè)為證券交易者。這些經(jīng)驗(yàn)也值得我國借鑒。

（二）算法可解釋權(quán)

一旦人工智能系統(tǒng)被用于作出影響人們生活的決策，人們就有必要了解人工智能是如何作出這些決策的。方法之一是提供解釋說明，包括提供人工智能系統(tǒng)如何運(yùn)行以及如何與數(shù)據(jù)進(jìn)行交互的背景信息。但僅發(fā)布人工智能系統(tǒng)的算法很難實(shí)現(xiàn)有意義的透明，因?yàn)橹T如深度神經(jīng)網(wǎng)絡(luò)之類的最新的人工智能技術(shù)通常是沒有任何算法輸出可以幫助人們了解系統(tǒng)所發(fā)現(xiàn)的細(xì)微模式。〔33〕參見［美］施博德、沈向洋：《未來計(jì)算》，北京大學(xué)出版社2018年版，第39頁?；诖?，一些機(jī)構(gòu)正在開發(fā)建立有意義的透明的最佳實(shí)踐規(guī)范，包括以更易理解的方法、算法或模型來代替那些過于復(fù)雜且難以解釋的方法。筆者認(rèn)為，是否賦予客戶以算法可解釋權(quán)有待深入論證，但算法設(shè)計(jì)者有義務(wù)向公權(quán)機(jī)關(guān)解釋算法的邏輯。

四、算法公平的保障措施

算法公開、算法備案等規(guī)制工具都屬于信息規(guī)制工具，它們是形式性的規(guī)制工具。除了信息規(guī)制工具之外，還有其他實(shí)質(zhì)性規(guī)制工具。形式性規(guī)制工具追求的價(jià)值目標(biāo)是形式公平，實(shí)質(zhì)性規(guī)制工具追求的價(jià)值目標(biāo)是實(shí)質(zhì)公平。在消費(fèi)者權(quán)益和投資者權(quán)益保護(hù)過程中，除了保障形式公平之外，也要保障實(shí)質(zhì)公平。因此，除了信息規(guī)制工具之外，還應(yīng)有保障算法公平的其他實(shí)質(zhì)性規(guī)制工具，這些工具主要包括三個(gè)方面，一是算法審查、評(píng)估與測(cè)試，二是算法治理，三是第三方監(jiān)管。

（一）算法審查、測(cè)試與檢測(cè)

在人工智能時(shí)代，算法主導(dǎo)著人們的生活。數(shù)據(jù)應(yīng)用助推數(shù)據(jù)經(jīng)濟(jì)，但也有許多模型把人類的偏見、誤解和偏愛編入了軟件系統(tǒng)，而這些系統(tǒng)正日益在更大程度上操控著我們的生活?！斑@些數(shù)學(xué)模型像上帝一樣隱晦不明，只有該領(lǐng)域最高級(jí)別的牧師，即那些數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家才明白該模型是如何運(yùn)作的?！薄?4〕［美］凱西·奧尼爾：《算法霸權(quán)——數(shù)學(xué)殺傷性武器的威脅》，馬青玲譯，中信出版社2018年版，前言第Ⅴ頁。人們對(duì)模型得出的結(jié)論毫無爭(zhēng)議，從不上訴，即使結(jié)論是錯(cuò)誤的或是有害的。凱西·奧尼爾將其稱為“數(shù)學(xué)殺傷性武器”。“算法就是上帝，數(shù)學(xué)殺傷性武器的裁決就是上帝的指令?！薄?5〕前引〔34〕，奧尼爾書，前言第Ⅹ—Ⅺ頁。然而，數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家畢竟不是上帝，他們應(yīng)當(dāng)接受社會(huì)的審查。算法是人類的工具，而不是人類的主人。數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家是人類的一員，他們應(yīng)與我們普羅大眾處于平等的地位，而不應(yīng)凌駕于人類之上，他們不應(yīng)是人類的統(tǒng)治者。即使是人類的統(tǒng)治者——君主或總統(tǒng)，在現(xiàn)代社會(huì)也應(yīng)接受法律的規(guī)范和治理、人民的監(jiān)督和制約，更何況群體龐大的數(shù)學(xué)家和計(jì)算機(jī)科學(xué)家?？傊惴☉?yīng)該接受審查。

算法黑箱吸入數(shù)據(jù)，吐出結(jié)論，其公平性應(yīng)接受人類的審查。算法的開發(fā)者、設(shè)計(jì)者也有義務(wù)確保算法的公平性。在智能投顧領(lǐng)域，作為智能投顧的核心要素，算法利用大數(shù)據(jù)，基于各種模型和假設(shè)，將有關(guān)數(shù)據(jù)轉(zhuǎn)化為適合特定投資者的投資建議。如果算法的設(shè)計(jì)有問題，則算法輸出的結(jié)果可能會(huì)產(chǎn)生有較大偏差甚至是錯(cuò)誤的結(jié)果，無法實(shí)現(xiàn)客戶預(yù)期的投資目標(biāo)。因此，有必要審查算法的有效性。這在國外已有實(shí)踐。例如，美國對(duì)智能投顧算法的審查包括初步審查和持續(xù)審查。初步審查包括評(píng)估數(shù)字咨詢工具使用的前提假設(shè)和相關(guān)方法是否適合特定的目標(biāo)，評(píng)估系統(tǒng)輸出是否符合公司的預(yù)期目標(biāo)等；持續(xù)審查包括評(píng)估數(shù)字化建議工具使用的模型是否適用于持續(xù)變化的市場(chǎng)等。〔36〕李苗苗、王亮：《智能投顧：優(yōu)勢(shì)、障礙與破解對(duì)策》，《南方金融》2017年第12期，第80頁。澳大利亞明確規(guī)定智能投顧要有測(cè)試文檔，說明算法測(cè)試的計(jì)劃、案例、結(jié)果、缺陷及解決方法。目前，我國在智能投顧算法方面尚未建立起完整的監(jiān)督和測(cè)試框架。因此，有必要借鑒發(fā)達(dá)市場(chǎng)的成熟經(jīng)驗(yàn)，盡快填補(bǔ)智能投顧算法的監(jiān)管空白。具體內(nèi)容可包括：第一，智能投顧平臺(tái)自身應(yīng)充分理解算法使用的假設(shè)、投資者的偏好、模型以及算法的局限性；第二，為算法的設(shè)計(jì)、開發(fā)和運(yùn)行建檔，以便監(jiān)管部門對(duì)算法進(jìn)行檢查和監(jiān)督；第三，對(duì)算法是否適合特定的投資目標(biāo)、是否符合客戶預(yù)期進(jìn)行測(cè)試和評(píng)估；第四，對(duì)算法的更新迭代進(jìn)行嚴(yán)格監(jiān)測(cè)?！?7〕前引〔36〕，李苗苗、王亮文，第80頁。

應(yīng)該對(duì)人工智能系統(tǒng)進(jìn)行測(cè)試。人工智能機(jī)器人目前尚未成為獨(dú)立的民事主體，不能獨(dú)立承擔(dān)民事責(zé)任，但這并不妨礙對(duì)其頒發(fā)合格證書和營運(yùn)證書。這正如汽車可以獲得行駛證書和營運(yùn)許可證書一樣。自然人投資顧問參加資格考試，本質(zhì)上就是對(duì)其“從業(yè)資格所需要的知識(shí)圖譜”進(jìn)行抽樣評(píng)測(cè)。〔38〕張家林：《人工智能投顧，需要從業(yè)資格考試嗎》，《華夏時(shí)報(bào)》2016年12月5日，第34版。智能投顧也可以參加“從業(yè)資格”考試。智能投顧參加從業(yè)資格考試，本質(zhì)上是評(píng)測(cè)其知識(shí)圖譜是否具有投資顧問服務(wù)所要求的功能。智能投顧參加從業(yè)資格考試的形式就是要對(duì)智能投顧系統(tǒng)和算法進(jìn)行測(cè)試。2016年8月，韓國金融委員會(huì)出臺(tái)了“機(jī)器人投顧測(cè)試床的基本運(yùn)行方案”，通過三階段的審核程序檢驗(yàn)機(jī)器人投顧平臺(tái)的實(shí)際運(yùn)營情況，測(cè)試算法的穩(wěn)定性、收益性和整體系統(tǒng)的安全性?！?9〕姜海燕、吳長(zhǎng)鳳：《機(jī)器人投顧領(lǐng)跑資管創(chuàng)新》，《清華金融評(píng)論》2016年第12期，第100頁。總之，我們可以通過評(píng)測(cè)智能投顧系統(tǒng)的知識(shí)圖譜來判斷它是否具備“從業(yè)資格”。智能投顧應(yīng)該是可以被“評(píng)測(cè)的”?！?0〕前引〔38〕，張家林文。只有檢測(cè)合格的智能投顧才能投入市場(chǎng)，從事服務(wù)。

監(jiān)測(cè)對(duì)于防范算法風(fēng)險(xiǎn)必不可少。由于智能投顧可能造成系統(tǒng)性金融風(fēng)險(xiǎn)，對(duì)此可以采取宏觀審慎管理措施來監(jiān)測(cè)，例如觀測(cè)智能投顧是否存在大規(guī)模的一致性行為和協(xié)同行為等?！?1〕張家林：《人工智能投顧：21世紀(jì)的技術(shù)對(duì)應(yīng)21世紀(jì)的監(jiān)管》，《證券日?qǐng)?bào)》2017年1月21日，第A03版。運(yùn)用專業(yè)技術(shù)對(duì)算法的執(zhí)行進(jìn)行持續(xù)監(jiān)測(cè)。如果發(fā)現(xiàn)算法存在嚴(yán)重錯(cuò)誤，應(yīng)及時(shí)中止系統(tǒng)服務(wù)，并采取有效措施予以糾正。〔42〕前引〔36〕，李苗苗、王亮文。我國的《資管新規(guī)》也有這方面的要求。尤其是在智能投顧發(fā)展初期，需要審慎評(píng)估智能投顧對(duì)證券市場(chǎng)的影響，密切監(jiān)測(cè)并加強(qiáng)對(duì)智能投顧算法的一貫性、中立性、合法性和安全性等方面的監(jiān)管力度，及時(shí)跟蹤市場(chǎng)變化，防范市場(chǎng)系統(tǒng)性金融風(fēng)險(xiǎn)?！?3〕參見前引〔31〕，姜海燕、吳長(zhǎng)鳳文，第10頁。

（二）算法治理

智能投顧應(yīng)強(qiáng)化對(duì)智能投顧算法的組織管理。歐盟金融工具市場(chǎng)指令（MiFID II）要求，一家投資公司應(yīng)該確保其負(fù)責(zé)算法交易風(fēng)險(xiǎn)和合規(guī)的員工具有：（1）充足的算法交易和交易策略知識(shí)；（2）跟蹤自動(dòng)警報(bào)所提供信息的能力；（3）算法交易造成交易環(huán)境紊亂或有疑似市場(chǎng)濫用時(shí)，有足夠的權(quán)力去質(zhì)疑負(fù)責(zé)算法交易的員工。〔44〕參見網(wǎng)頁http://ec.europa.eu/finance/securities/docs/isd/mifid/rts/160719-rts-6_en.pdf。在澳大利亞，2016年8月正式發(fā)布《RG255：向零售客戶提供數(shù)字金融產(chǎn)品建議》指南要求，智能投顧被許可人應(yīng)確保業(yè)務(wù)人員中至少有一位了解用于提供數(shù)字建議技術(shù)和算法基本原理、風(fēng)險(xiǎn)和規(guī)則的人，至少有一位有能力檢查數(shù)字建議的人，定期檢查算法生成的數(shù)字建議“質(zhì)量”?！?5〕RG255.64。質(zhì)疑精神是人類社會(huì)前進(jìn)的基本動(dòng)力，必須將算法置于人類的質(zhì)疑和掌控之下。人工智能的開發(fā)者和運(yùn)營者應(yīng)有能力理解和控制人工智能系統(tǒng)，而不能單純地一味依賴于第三方軟件開發(fā)者。

人工智能系統(tǒng)還應(yīng)建立強(qiáng)大的反饋機(jī)制，以便用戶輕松報(bào)告遇到的性能問題。〔46〕［美］施博德、沈向洋：《未來計(jì)算》，北京大學(xué)出版社2018年版，第34頁。任何系統(tǒng)都需要不斷迭代和優(yōu)化，只有建立反饋機(jī)制，才能更好地不斷改進(jìn)該系統(tǒng)。

（三）加強(qiáng)第三方算法監(jiān)管力量

為了保證對(duì)算法權(quán)力的全方位監(jiān)督，應(yīng)支持學(xué)術(shù)性組織和非營利機(jī)構(gòu)的適當(dāng)介入，加強(qiáng)第三方監(jiān)管力量。目前在德國已經(jīng)出現(xiàn)了由技術(shù)專家和資深媒體人挑頭成立的名為“監(jiān)控算法”的非營利組織，宗旨是評(píng)估并監(jiān)控影響公共生活的算法決策過程。具體的監(jiān)管手段包括審核訪問協(xié)議的嚴(yán)密性、商定數(shù)字管理的道德準(zhǔn)則、任命專人監(jiān)管信息、在線跟蹤個(gè)人信息再次使用的情況，允許用戶不提供個(gè)人數(shù)據(jù)、為數(shù)據(jù)訪問設(shè)置時(shí)間軸、未經(jīng)同意不得將數(shù)據(jù)轉(zhuǎn)賣給第三方等?！?7〕參見前引〔7〕，張淑玲文，第53頁。這種做法值得我國借鑒。為了讓人工智能算法去除偏私，在設(shè)計(jì)算法時(shí)，對(duì)相關(guān)主題具有專業(yè)知識(shí)的人（例如，對(duì)信用評(píng)分人工智能系統(tǒng)具有消費(fèi)者信用專業(yè)知識(shí)的人員）應(yīng)該參與人工智能的設(shè)計(jì)過程和決策部署?！?8〕參見前引〔46〕，施博德、沈向洋書，第29頁。當(dāng)人工智能系統(tǒng)被用于作出與人相關(guān)的決定時(shí)，應(yīng)讓相關(guān)領(lǐng)域的專家參與設(shè)計(jì)和運(yùn)行?！?9〕參見同上書，第34頁。