前言

從廣為人知的谷歌Deep Mind帶來(lái)的成就、商湯科技（SenseTime）的面部識(shí)別技術(shù)成果，到蘋(píng)果Siri或亞馬遜Alexa等無(wú)處不在的虛擬助理的出現(xiàn)，人工智能越來(lái)越多地出現(xiàn)在我們的日常生活中。人工智能帶來(lái)了諸多益處，包括從時(shí)間的節(jié)省到迄今為止未知醫(yī)療狀況的診斷等，但也引起了新的擔(dān)憂，如個(gè)人隱私問(wèn)題和算法偏見(jiàn)。

在如此快速的技術(shù)進(jìn)步和商業(yè)模式演變中，決策制定者和監(jiān)管者必須以同樣的方式接納技術(shù)的革新。本《人工智能監(jiān)管模式框架》（《模式框架》）源于新加坡的政策制定者和監(jiān)管者們努力尋找出一種一般性的人工智能監(jiān)管方法，以及一套與負(fù)責(zé)任的使用人工智能相關(guān)的一致定義和原則，從而為行業(yè)參與者提供更明確的前景，并促進(jìn)人工智能被社會(huì)接受，同時(shí)確保能夠滿足監(jiān)管的要求。該《模式框架》改編自個(gè)人數(shù)據(jù)保護(hù)委員會(huì)（PDPC）于2018年6月發(fā)布的文件。

這一基于問(wèn)責(zé)制的《模式框架》的第一版本，旨在圍繞以負(fù)責(zé)任的方式監(jiān)管人工智能所產(chǎn)生的挑戰(zhàn)和可能的解決方案展開(kāi)討論。本《模式框架》的目標(biāo)是總結(jié)出一套基本原則，并圍繞關(guān)鍵的統(tǒng)一主題加以整理，并將它們編譯成易于理解和可適用的框架結(jié)構(gòu)，努力尋求為用戶提供以實(shí)際方式預(yù)測(cè)并最終克服這些潛在挑戰(zhàn)的方法。

該《模式框架》是新加坡所做的一次嘗試，試圖通過(guò)提供一個(gè)框架結(jié)構(gòu)以助力將倫理道德原則（ethicalprinciples）轉(zhuǎn)化為企業(yè)可采取的實(shí)際措施，為全球有關(guān)人工智能倫理的討論做出貢獻(xiàn)。該模式是在與來(lái)自不同背景和司法管轄區(qū)的學(xué)者、行業(yè)領(lǐng)袖和技術(shù)專家協(xié)商討論后制定的，而觀點(diǎn)的多樣性反映出PDPC、信息通信媒體發(fā)展局（IMDA）以及人工智能與數(shù)據(jù)使用倫理咨詢委員會(huì)以合作、包容的態(tài)度規(guī)劃新加坡人工智能生態(tài)系統(tǒng)的愿望。

在人工智能方面仍有很多問(wèn)題有待解答，甚至有更大的疑問(wèn)需要提出。本《模式框架》可能并不能給出所有問(wèn)題的答案，但它代表了一個(gè)堅(jiān)定的起步并且為所有人——個(gè)人與組織——提供了一個(gè)機(jī)會(huì)，即有效應(yīng)對(duì)與處理存在于基本理念與實(shí)際操作中的難題，而這有可能是決定未來(lái)幾年人工智能發(fā)展的關(guān)鍵所在。

——新加坡通訊和信息部長(zhǎng)部長(zhǎng)易華仁，2019年1月

一、序言

1.人工智能治理《模式框架》（《模式框架》）主要關(guān)注4個(gè)范圍較廣的領(lǐng)域：內(nèi)部治理、決策模型、運(yùn)營(yíng)管理以及客戶關(guān)系管理。雖然本《模式框架》不會(huì)受制于所追求的目標(biāo)，但它最終會(huì)受到形式、目的和有關(guān)范圍的實(shí)際考慮的限制。有鑒于此，有幾點(diǎn)附加說(shuō)明需要注意，《模式框架》：

（1）不考慮算法（A lgorithm-agnostic）。它不關(guān)注特定的人工智能或者數(shù)據(jù)分析方法，它適用于一般人工智能的設(shè)計(jì)、應(yīng)用和使用；

（2）不考慮技術(shù)（Technology-agnostic）。它不專注于特定的系統(tǒng)、軟件和技術(shù)，并將適用于任何開(kāi)發(fā)語(yǔ)言和數(shù)據(jù)存儲(chǔ)方法；

（3）不考慮部門(mén)（Sector-agnostic）。它作為一系列基準(zhǔn)性的考慮因素和措施供任何行業(yè)領(lǐng)域的組織機(jī)構(gòu)采用。特定的行業(yè)或者組織機(jī)構(gòu)可以選擇將額外的考慮因素和措施囊括在內(nèi)，或者調(diào)整這個(gè)基準(zhǔn)性的內(nèi)容以滿足他們的需求。

2.人們認(rèn)識(shí)到，以符合倫理的方式使用人工智能目前存在很多的問(wèn)題。該《模式框架》并不關(guān)注這些具體的問(wèn)題，這些問(wèn)題通常在另外的研究和處理中能夠解決，這些問(wèn)題包括：

（1）闡明人工智能的一系列倫理原則。在全球范圍內(nèi)，建立倫理原則的嘗試有很多。雖然倫理原則的核心內(nèi)容是一以貫之的，但文化、司法管轄區(qū)和行業(yè)部門(mén)之間也存在著差異。雖然本《模式框架》從現(xiàn)有文獻(xiàn)整理出一個(gè)術(shù)語(yǔ)表，但它并沒(méi)有另外再提出一組這樣的原則。

（2）提供《模式框架》并解決數(shù)據(jù)共享問(wèn)題，無(wú)論是在公共部門(mén)和私營(yíng)部門(mén)之間、組織機(jī)構(gòu)之間還是在企業(yè)內(nèi)部。目前針對(duì)該問(wèn)題存在許多相關(guān)指南，包括《PDPC數(shù)據(jù)共享指南》和《為數(shù)據(jù)共享的數(shù)據(jù)評(píng)估指南》。

（3）討論與人工智能相關(guān)的法律責(zé)任、人工智能的知識(shí)產(chǎn)權(quán)和社會(huì)影響等相關(guān)問(wèn)題，例如：就業(yè)、競(jìng)爭(zhēng)、不同社會(huì)階層獲取人工智能產(chǎn)品和服務(wù)的不平等、人工智能技術(shù)落入錯(cuò)誤的人手中等。這些問(wèn)題無(wú)疑具有相關(guān)性，并且將通過(guò)新加坡管理大學(xué)法學(xué)院或其他相關(guān)論壇設(shè)立的人工智能和數(shù)據(jù)治理中心進(jìn)行分別研究。

二、引言

目標(biāo)

1.數(shù)據(jù)和計(jì)算能力的飛速增長(zhǎng)（exponentialgrow th）推動(dòng)了諸如人工智能（AI）等由數(shù)據(jù)驅(qū)動(dòng)的技術(shù)的進(jìn)步。組織機(jī)構(gòu)可以用人工智能來(lái)提供新的商品和服務(wù)，提高生產(chǎn)力，增強(qiáng)競(jìng)爭(zhēng)力，最終推動(dòng)經(jīng)濟(jì)的增長(zhǎng)并提高生活品質(zhì)。然而與任何新的技術(shù)一樣，人工智能也帶來(lái)了新的倫理、法律和監(jiān)管方面的挑戰(zhàn)。這其中包括因無(wú)意造成的歧視導(dǎo)致不公平的結(jié)果而引發(fā)的風(fēng)險(xiǎn)，以及消費(fèi)者想要了解人工智能是如何參與與之相關(guān)的重大決策或敏感問(wèn)題的決策所產(chǎn)生的問(wèn)題。

2.個(gè)人數(shù)據(jù)保護(hù)委員會(huì)（PDPC）、信息通信媒體發(fā)展局（IMDA）在人工智能與數(shù)據(jù)使用倫理咨詢委員會(huì)（Advisory Councilon the EthicalUseofAIand Data）的建議下，制定本性質(zhì)上是自愿簽署的、目前為第一版的《模式框架》，將其作為一個(gè)通用的、即拿即用的工具，以使得正在大規(guī)模部署人工智能解決方案的組織機(jī)構(gòu)能夠采用負(fù)責(zé)任的方式進(jìn)行。此《模式框架》不適用于部署已經(jīng)更新的、現(xiàn)成的商業(yè)化軟件包的組織機(jī)構(gòu)，這些軟件包現(xiàn)在恰好將人工智能納入其功能的集合中。

3.這一自愿的《模式框架》為需要考慮的關(guān)鍵問(wèn)題和可采取的措施提供指導(dǎo)。采用這種《模式框架》需要調(diào)整措施以解決正在執(zhí)行該措施的組織機(jī)構(gòu)面臨的問(wèn)題?！赌Ｊ娇蚣堋分荚趲椭M織機(jī)構(gòu)實(shí)現(xiàn)下列目標(biāo)：

（1）通過(guò)組織機(jī)構(gòu)以負(fù)責(zé)的態(tài)度使用此類(lèi)技術(shù)，減輕人工智能發(fā)展中的各種風(fēng)險(xiǎn)，建立消費(fèi)者對(duì)人工智能的信心。

（2）盡己所能使內(nèi)部政策、框架結(jié)構(gòu)和程序與數(shù)據(jù)管理和保護(hù)中以問(wèn)責(zé)制為基礎(chǔ)的相關(guān)實(shí)踐保持一致，例如《個(gè)人數(shù)據(jù)保護(hù)法》（PersonalData Protection Act,2012）和經(jīng)合組織隱私保護(hù)原則（OECD Privacy Principles）。

4.組織機(jī)構(gòu)采納該《模式框架》中的建議的程度取決于幾個(gè)因素，包括組織機(jī)構(gòu)使用的人工智能的性質(zhì)和復(fù)雜程度；人工智能在組織機(jī)構(gòu)所做決策中的參與程度；以及自主決策對(duì)于個(gè)體造成傷害的嚴(yán)重程度與可能性。詳細(xì)說(shuō)明如下：人工智能可以用來(lái)增強(qiáng)人類(lèi)決策者的能力或者自主作出決策，例如醫(yī)療診斷中的自主決策對(duì)個(gè)體的影響要大于處理銀行貸款時(shí)自主決策對(duì)個(gè)體的影響。因此人工智能發(fā)展的商業(yè)風(fēng)險(xiǎn)將與對(duì)個(gè)人的影響成正比。人們還認(rèn)識(shí)到，以合乎倫理道德的方式實(shí)施人工智能技術(shù)的情況下，如果其成本將超過(guò)預(yù)期收益，那么組織機(jī)構(gòu)應(yīng)當(dāng)考慮是否應(yīng)當(dāng)采用其他非人工智能解決方案。

指導(dǎo)原則

5.本《模式框架》建立在兩個(gè)能夠促進(jìn)對(duì)于人工智能的信賴，以及了解人工智能技術(shù)的使用方面的高級(jí)指導(dǎo)原則之上：

（1）在做出決策的過(guò)程中使用人工智能的組織機(jī)構(gòu)應(yīng)當(dāng)確保決策過(guò)程是可解釋的、透明的和公平的。盡管不可能實(shí)現(xiàn)完全的可解釋性、透明度以及公平性，但組織機(jī)構(gòu)仍應(yīng)努力確保其對(duì)人工智能的使用和應(yīng)用方式能夠反映這些原則意圖達(dá)成的目標(biāo)。這有助于建立對(duì)人工智能的信賴和信心。

（2）人工智能解決方案應(yīng)當(dāng)以人類(lèi)為中心，由于人工智能的使用是用來(lái)增強(qiáng)人類(lèi)的能力的，因此在設(shè)計(jì)、研發(fā)和部署人工智能時(shí)應(yīng)當(dāng)首先考慮保護(hù)人類(lèi)的利益，包括人類(lèi)的福祉與安全。

6.人工智能技術(shù)融入了一系列旨在提高人類(lèi)生產(chǎn)力的科技。與早期的技術(shù)不同，某些與自主預(yù)測(cè)有關(guān)的方面可能無(wú)法完全得到解釋。依賴人工智能自主預(yù)測(cè)進(jìn)而做出可能影響到個(gè)體的或者對(duì)社會(huì)、市場(chǎng)與或經(jīng)濟(jì)有重大影響的決定的組織機(jī)構(gòu)，應(yīng)當(dāng)使用本《模式框架》。

7.當(dāng)組織機(jī)構(gòu)開(kāi)始著手在其工序中大規(guī)模部署人工智能，或者使用人工智能提高其產(chǎn)品和/或服務(wù)時(shí)，應(yīng)當(dāng)詳細(xì)制定一套倫理道德原則。組織機(jī)構(gòu)還應(yīng)當(dāng)盡可能審查其現(xiàn)有的企業(yè)價(jià)值觀，并將其制定的倫理道德原則納入其中。該《模式框架》旨在通過(guò)將倫理道德原則納入熟悉的、預(yù)先制定的公司治理結(jié)構(gòu)中來(lái)幫助組織機(jī)構(gòu)，并因此指導(dǎo)組織機(jī)構(gòu)使用人工智能技術(shù)。在必要時(shí)，組織機(jī)構(gòu)可參考本《模式框架》末尾的人工智能倫理價(jià)值術(shù)語(yǔ)表（見(jiàn)附件B）。

責(zé)任承擔(dān)

8.《模式框架》的目的是在總體上討論運(yùn)行良好的數(shù)據(jù)治理實(shí)踐。相比于純粹的決策樹(shù)驅(qū)動(dòng)（pure decision tree driven）的人工智能模型或者建立在小數(shù)據(jù)集基礎(chǔ)上的人工智方法（例如傳輸學(xué)習(xí)或合成數(shù)據(jù)的使用），它更適用于大數(shù)據(jù)人工智能模型。

9.該《模式框架》不能解決嚴(yán)重依賴人工智能的組織機(jī)構(gòu)在受到網(wǎng)絡(luò)攻擊導(dǎo)致災(zāi)難性失敗時(shí)的風(fēng)險(xiǎn)。無(wú)論是否使用人工智能技術(shù)，組織機(jī)構(gòu)仍有責(zé)任確保其產(chǎn)品和服務(wù)的可用性、可靠性、質(zhì)量和安全性符合要求。

10.采用這一自愿的《模式框架》并不能免除組織機(jī)構(gòu)遵守現(xiàn)行法律法規(guī)的責(zé)任。然而，由于這是一個(gè)基于問(wèn)責(zé)制的框架，采用它將有助于證明他們?cè)跀?shù)據(jù)管理和保護(hù)方面實(shí)施了基于問(wèn)責(zé)制的措施，例如《個(gè)人數(shù)據(jù)保護(hù)法》（2012年）和經(jīng)合組織隱私保護(hù)原則（中規(guī)定的要求）。

定義

11.以下簡(jiǎn)化圖描述了《模式框架》中所討論的、人工智能適用過(guò)程中的關(guān)鍵利益相關(guān)者：

12.人工智能使用中的一些術(shù)語(yǔ)可能根據(jù)上下文和用途的不同而有不同的定義。本《模式框架》中所使用的一些關(guān)鍵術(shù)語(yǔ)定義如下：

“人工智能（AI）”（Artificial Intelligence）指的是一系列努力尋求模仿人類(lèi)特征的技術(shù)，例如理解、推理、解決問(wèn)題、感知、學(xué)習(xí)和規(guī)劃。人工智能技術(shù)依靠人工智能算法生成模型。最合適的模型將被選出并應(yīng)用于生產(chǎn)系統(tǒng)。

“人工智能解決方案提供商”（AISolution Providers）研發(fā)利用人工智能技術(shù)的人工智能解決方案或應(yīng)用系統(tǒng)。這不僅包括商業(yè)化的現(xiàn)成產(chǎn)品、在線服務(wù)、移動(dòng)應(yīng)用程序和消費(fèi)者可以直接使用的其他軟件，還包括“企業(yè)對(duì)企業(yè)對(duì)消費(fèi)者”（business-to-business-toconsumer）的應(yīng)用程序，例如出售給金融機(jī)構(gòu)的人工智能欺詐檢測(cè)軟件。他們還包括將人工智能功能組合到其產(chǎn)品上的裝備制造商，以及那些解決方案并非獨(dú)立、而是要組合在最終產(chǎn)品上的設(shè)備制造商。一些組織機(jī)構(gòu)開(kāi)發(fā)出了自己的人工智能解決方案，并可以成為自己的解決方案提供商。

“組織機(jī)構(gòu)”（organizations）指的是在其業(yè)務(wù)中采用或者部署人工智能解決方案的公司或者其他實(shí)體，例如后臺(tái)操作（例如處理貸款申請(qǐng)），前臺(tái)服務(wù)（如電子商務(wù)門(mén)戶或叫車(chē)服務(wù)應(yīng)用程序），或者是銷(xiāo)售或分銷(xiāo)提供人工智能驅(qū)動(dòng)特征的設(shè)備（例如智能家用電器）。

“個(gè)體”（individuals），根據(jù)上下文，指的是打算向其提供人工智能產(chǎn)品和/或服務(wù)的人員，或已經(jīng)購(gòu)買(mǎi)人工智能產(chǎn)品和/或服務(wù)的人員。這些人也可能被稱為“消費(fèi)者”或者“客戶”。

三、人工智能治理模式框架

1.本《模式框架》涵蓋了能夠幫助組織機(jī)構(gòu)在下列關(guān)鍵領(lǐng)域以負(fù)責(zé)任的方式使用人工智能的指導(dǎo)：

（1）內(nèi)部治理結(jié)構(gòu)和措施：調(diào)整現(xiàn)有的或建立新的內(nèi)部治理結(jié)構(gòu)和措施，以納入與算法決策相關(guān)的價(jià)值觀念、風(fēng)險(xiǎn)管控和責(zé)任承擔(dān)方式。

（2）確定人工智能決策模型：幫助組織機(jī)構(gòu)確定其風(fēng)險(xiǎn)承受意愿（risk appetite）的方法，即幫助組織機(jī)構(gòu)識(shí)別它能夠接受的風(fēng)險(xiǎn)并為實(shí)施人工智能確定合適的決策模型。

（3）運(yùn)營(yíng)管理：在開(kāi)發(fā)、選擇和維護(hù)人工智能模型時(shí)需要考慮的問(wèn)題，包括數(shù)據(jù)管理。

（4）客戶關(guān)系管理：與消費(fèi)者和客戶溝通的策略，以及管理與他們之間的關(guān)系。

2.在本框架模式中只有部分要素可以采用的情況下，組織機(jī)構(gòu)應(yīng)當(dāng)采用與之相關(guān)的要素。附件C說(shuō)明了組織機(jī)構(gòu)可以采用該《模式框架》的方法。

內(nèi)部治理結(jié)構(gòu)和措施

3.組織機(jī)構(gòu)應(yīng)當(dāng)建立內(nèi)部治理結(jié)構(gòu)和措施，以確保對(duì)人工智能的使用進(jìn)行有力的監(jiān)督。組織機(jī)構(gòu)可以調(diào)整現(xiàn)有的內(nèi)部治理結(jié)構(gòu)，和/或在必要時(shí)采納新的治理結(jié)構(gòu)。例如使用人工智能的相關(guān)風(fēng)險(xiǎn)可以在企業(yè)風(fēng)險(xiǎn)管理結(jié)構(gòu)中進(jìn)行管理；對(duì)于倫理道德的考慮可以作為企業(yè)價(jià)值觀加以引入，并通過(guò)道德審查委員會(huì)或者類(lèi)似機(jī)構(gòu)進(jìn)行管理。組織機(jī)構(gòu)還應(yīng)當(dāng)確定其內(nèi)部治理結(jié)構(gòu)符合適當(dāng)?shù)奶卣?。例如，?dāng)完全依賴集中治理機(jī)制的模式并非最佳的選擇時(shí)，在必要的情況下則可以以非集中治理機(jī)制將有關(guān)倫理道德的考慮因素納入運(yùn)營(yíng)層面的日常決策中。在這方面，組織機(jī)構(gòu)的最高管理層及其董事會(huì)對(duì)人工智能治理的贊助、支持和參與至關(guān)重要。

4.組織機(jī)構(gòu)應(yīng)當(dāng)在其內(nèi)部治理結(jié)構(gòu)中包含以下部分或全部的特征：

（1）明確以符合倫理道德的方式部署人工智能的角色和責(zé)任

a.人工智能部署所涉及的各個(gè)階段和活動(dòng)的責(zé)任承擔(dān)以及監(jiān)督機(jī)制應(yīng)授予合適的人員和/或部門(mén)，在有必要且有可能的情況下，可以建立一個(gè)擁有相關(guān)專業(yè)知識(shí)和適當(dāng)代表性的協(xié)調(diào)機(jī)構(gòu)。

b.承擔(dān)人工智能內(nèi)部監(jiān)管職能的員工和/或部門(mén)應(yīng)當(dāng)充分了解他們的角色和責(zé)任，接受一定的培訓(xùn)并能夠獲得履行其職責(zé)所需的資源和指導(dǎo)。

c.應(yīng)當(dāng)分派的關(guān)鍵角色和職責(zé)包括：

i.使用現(xiàn)有的所有風(fēng)險(xiǎn)管理框架，并將風(fēng)險(xiǎn)控制措施（見(jiàn)下文“風(fēng)險(xiǎn)管理和內(nèi)部控制”）應(yīng)用于：

·評(píng)估并管控部署人工智能所產(chǎn)生的風(fēng)險(xiǎn)（包括對(duì)個(gè)人的任何潛在不利影響，例如誰(shuí)是最脆弱的，他們將受到的影響如何，如何評(píng)估所產(chǎn)生的影響的規(guī)模，如何從受影響的人那里獲得反饋等）。

·決定適當(dāng)?shù)娜斯ぶ悄軟Q策制定模型。

·管理人工智能模型的培訓(xùn)和選擇過(guò)程。

ii.維護(hù)、監(jiān)測(cè)和審查已經(jīng)部署的人工智能模型，以便在需要時(shí)采取補(bǔ)救措施。

iii.審查與消費(fèi)者和客戶的溝通渠道和相互間的互動(dòng)，以提供公開(kāi)的信息和有效的反饋渠道。

iv.確保處理人工智能系統(tǒng)的相關(guān)人員接受有關(guān)解釋人工智能模型輸出結(jié)果和作出決策的培訓(xùn)。

（2）風(fēng)險(xiǎn)管理和內(nèi)部控制

a.應(yīng)建立一套完善的風(fēng)險(xiǎn)管理和內(nèi)部控制系統(tǒng)，特別是針對(duì)所選人工智能模型部署過(guò)程中涉及的風(fēng)險(xiǎn)。

b.這些措施包括：

i.盡最大努力確保用于人工智能模型訓(xùn)練的數(shù)據(jù)集足以達(dá)到預(yù)期目的，評(píng)估并管控由不準(zhǔn)確信息或者含有偏差的信息導(dǎo)致的風(fēng)險(xiǎn)，以及審查人工智能模型的訓(xùn)練期間發(fā)現(xiàn)的異常情況。實(shí)際上，完全沒(méi)有偏差的數(shù)據(jù)集是不存在的，組織機(jī)構(gòu)應(yīng)當(dāng)努力了解數(shù)據(jù)集可能存在偏差的方式，并在其安保措施和部署策略中解決這一問(wèn)題。

ii.建立監(jiān)測(cè)和報(bào)告系統(tǒng)以及相關(guān)流程，以確保相應(yīng)的管理層了解已部署人工智能的性能和其他相關(guān)問(wèn)題。情況合適時(shí)，可以將自主監(jiān)測(cè)納入人類(lèi)監(jiān)督活動(dòng)以擴(kuò)大有效監(jiān)督的范圍。可以對(duì)人工智能模型進(jìn)行設(shè)計(jì)，使它能夠在可信賴的水平度以上報(bào)告其預(yù)測(cè)結(jié)果，而可解釋性特征則專注于人工智能模型為何能夠具備某一確定的可信度水平，而非作出預(yù)測(cè)結(jié)果的原因。

iii.當(dāng)人工智能活動(dòng)中涉及到的關(guān)鍵人員發(fā)生變化時(shí)，應(yīng)確保對(duì)人工智能活動(dòng)的熟悉程度不會(huì)改變，這將降低因員工流動(dòng)造成的內(nèi)部治理脫節(jié)的風(fēng)險(xiǎn)。

iv.當(dāng)組織結(jié)構(gòu)或關(guān)鍵人員發(fā)生重大變化時(shí)，應(yīng)審查內(nèi)部治理結(jié)構(gòu)和措施。

v.定期審查內(nèi)部治理結(jié)構(gòu)和措施，以確保其始終保持相關(guān)性和有效性。

確定人工智能決策模型

5.在部署人工智能解決方案之前，組織機(jī)構(gòu)應(yīng)決定其使用人工智能的商業(yè)目標(biāo)，例如為了確保決策的一致性、提高運(yùn)營(yíng)效率和降低成本，或引入具備新功能的新產(chǎn)品以增加消費(fèi)者的選擇余地。接下來(lái)組織機(jī)構(gòu)可以將能夠帶來(lái)的收益與在決策中使用人工智能的風(fēng)險(xiǎn)相權(quán)衡。這一評(píng)估應(yīng)以企業(yè)的價(jià)值觀作為指導(dǎo)，而該價(jià)值觀反過(guò)來(lái)又能反映組織機(jī)構(gòu)所在地區(qū)的社會(huì)規(guī)范。

6.在多個(gè)國(guó)家開(kāi)展業(yè)務(wù)的組織機(jī)構(gòu)應(yīng)盡可能考慮社會(huì)規(guī)范和價(jià)值觀的差異，例如某個(gè)游戲廣告在某一國(guó)家是可以被接受的，但是在另一個(gè)國(guó)家卻不被接受。即使是在一個(gè)國(guó)家，風(fēng)險(xiǎn)也能因?yàn)槿斯ぶ悄懿渴鸬念I(lǐng)域、行業(yè)不同而有所差異。例如，與網(wǎng)上購(gòu)物中心推廣產(chǎn)品或與自動(dòng)批準(zhǔn)旅游保險(xiǎn)在線申請(qǐng)有關(guān)的推薦引擎對(duì)涉及到的個(gè)體造成的風(fēng)險(xiǎn)，可能要比向經(jīng)驗(yàn)豐富的投資者提供算法交易設(shè)備推薦引擎更低。

7.對(duì)個(gè)體造成的風(fēng)險(xiǎn)有可能只在群體層面顯現(xiàn)。例如，應(yīng)用廣泛的股票推薦算法可能會(huì)導(dǎo)致“羊群行為”（herding behaviour），如果有足夠多的人同時(shí)作出類(lèi)似決定則會(huì)增加市場(chǎng)整體上的波動(dòng)性。除了針對(duì)個(gè)人的風(fēng)險(xiǎn)外，還可以識(shí)別其他類(lèi)型的風(fēng)險(xiǎn)，例如對(duì)組織機(jī)構(gòu)商業(yè)名譽(yù)產(chǎn)生的風(fēng)險(xiǎn)。

8.組織機(jī)構(gòu)對(duì)其商業(yè)目標(biāo)與使用人工智能產(chǎn)生的風(fēng)險(xiǎn)之間的權(quán)衡應(yīng)以企業(yè)價(jià)值觀為指導(dǎo)。組織機(jī)構(gòu)可以評(píng)估預(yù)期的人工智能部署和用于算法決策的所選模型是否與自己的核心價(jià)值觀相一致。對(duì)所出現(xiàn)的矛盾情況和所造成的偏差，應(yīng)當(dāng)由相關(guān)的組織機(jī)構(gòu)根據(jù)明確的概念、有證明力的基本原理，以有意識(shí)的方式加以解決。

9.由于確定商業(yè)目標(biāo)、識(shí)別風(fēng)險(xiǎn)和選擇合適的決策模型是一個(gè)反復(fù)且持續(xù)的過(guò)程，組織結(jié)構(gòu)應(yīng)不斷地識(shí)別和審查與其技術(shù)解決方案相關(guān)的風(fēng)險(xiǎn)，并降低這些風(fēng)險(xiǎn)，并在風(fēng)險(xiǎn)控制失敗時(shí)保有反應(yīng)能力。通過(guò)定期審查風(fēng)險(xiǎn)影響評(píng)估并對(duì)此過(guò)程進(jìn)行記錄，有助于組織機(jī)構(gòu)提高使用人工智能解決方案的清晰度和信心，它還將幫助組織機(jī)構(gòu)應(yīng)對(duì)來(lái)自個(gè)人、其他組織或企業(yè)和監(jiān)管機(jī)構(gòu)的潛在挑戰(zhàn)。

10.基于上述風(fēng)險(xiǎn)控制措施，本《模式框架》提供了3種決策模型，在決策過(guò)程中3者存在不同程度的人類(lèi)監(jiān)督：

（1）人類(lèi)參與其中（human-in-the-loop）。該模式建議人類(lèi)積極開(kāi)展監(jiān)督活動(dòng)并且參與到?jīng)Q策制定過(guò)程中，人類(lèi)保持著完全的控制力并且人工智能只是用來(lái)提供建議或者輸入數(shù)據(jù)。如果沒(méi)有人類(lèi)積極的行動(dòng)就不可能執(zhí)行命令，就如同人類(lèi)命令人工智能執(zhí)行某個(gè)決定。例如，醫(yī)生可以使用人工智能識(shí)別某個(gè)不常見(jiàn)的醫(yī)療情況并提供治療方案，然而還是由醫(yī)生對(duì)診斷以及相應(yīng)的治療做出最終決定。該模式要求人工智能提供足夠的信息以便幫助人類(lèi)做出明智的抉擇。（例如做決策時(shí)所考慮的因素，其價(jià)值、權(quán)重以及相關(guān)性）。

（2）人類(lèi)并不干涉（human-out-of-loop）。該模式表明人工智能決策的過(guò)程人類(lèi)并不進(jìn)行監(jiān)督。人工智能擁有完全的控制權(quán)，無(wú)需人類(lèi)的手動(dòng)控制（override）。例如，一個(gè)用于推薦產(chǎn)品的解決方案可以根據(jù)預(yù)先確定的人口統(tǒng)計(jì)學(xué)結(jié)果和行為特征自動(dòng)向個(gè)人推薦產(chǎn)品和服務(wù)，而不是依賴預(yù)先確定的類(lèi)別。航空公司也可以使用機(jī)器學(xué)習(xí)模型來(lái)預(yù)測(cè)需求量或可能存在的某個(gè)缺陷。方案解決模塊可以使用該模型的輸出內(nèi)容對(duì)航空公司的飛行安排進(jìn)行優(yōu)化，而無(wú)需人類(lèi)參與。

（3）人類(lèi)進(jìn)行監(jiān)督（human-over-the-loop）。該模式允許人類(lèi)在算法的執(zhí)行期間調(diào)整參數(shù)。例如，利用導(dǎo)航軟件得出從a點(diǎn)到b點(diǎn)的路線時(shí)，它為駕駛員提供了幾個(gè)可能的路線以供選擇。駕駛員可以在行程中更改參數(shù)（例如在不可預(yù)見(jiàn)的道路擁堵情況下），而無(wú)需重新規(guī)劃路線。

11.本《模式框架》也提供了一個(gè)模型，用于將組織機(jī)構(gòu)做出的決定可能對(duì)個(gè)體造成傷害的概率和嚴(yán)重程度進(jìn)行分類(lèi)。傷害的定義、概率和嚴(yán)重程度的估算取決于所適用的情況，并因行業(yè)領(lǐng)域不同而相區(qū)別。例如，對(duì)患者所處醫(yī)療狀況的診斷出現(xiàn)錯(cuò)誤所造成的傷害就不同于錯(cuò)誤的推薦了衣物服飾造成的傷害。

12.在確定采用了人工智能技術(shù)的組織機(jī)構(gòu)其決策制定過(guò)程中人類(lèi)監(jiān)督級(jí)別的問(wèn)題時(shí)，組織機(jī)構(gòu)應(yīng)考慮使用可能造成傷害的模型所做出的決策將對(duì)個(gè)體造成的影響程度。在此基礎(chǔ)上，組織機(jī)構(gòu)應(yīng)確定在決策制定時(shí)人類(lèi)對(duì)其監(jiān)督所需要的級(jí)別。至于那些對(duì)安全至關(guān)重要的系統(tǒng)而言，組織機(jī)構(gòu)應(yīng)當(dāng)確保在人工智能提供充分信息以幫助個(gè)人做出有意義的決定時(shí)，或在無(wú)法控制整個(gè)系統(tǒng)的情況下將其關(guān)閉時(shí)，個(gè)人能掌握控制權(quán)。

說(shuō)明：

一家在線零售店希望利用人工智能技術(shù)，根據(jù)個(gè)人的瀏覽記錄和購(gòu)買(mǎi)歷史，將自己生產(chǎn)的食品推薦給他們。自動(dòng)化技術(shù)將滿足組織機(jī)構(gòu)提高運(yùn)營(yíng)效率的商業(yè)目標(biāo)。

造成傷害的概率評(píng)估：“傷害”在某種情況下可以指在推薦產(chǎn)品時(shí)因不能滿足受眾的需求所造成的影響。向個(gè)人推薦錯(cuò)誤產(chǎn)品造成損害的嚴(yán)重性可能比較低，因?yàn)樽罱K是否購(gòu)買(mǎi)的決定權(quán)掌握在個(gè)人自己手中。根據(jù)人工智能解決方案的效率和有效性，造成傷害的概率可高可低。

決策過(guò)程中人為干預(yù)程度：考慮到造成損害的嚴(yán)重程度比較低，經(jīng)過(guò)評(píng)估之后可以選擇一種不需要人為干預(yù)的方法，因此，可以采用“不干涉”模式（human-out-of-the loop）。

定期審查：隨著社會(huì)規(guī)范和價(jià)值觀的發(fā)展，組織機(jī)構(gòu)可以采用定期審查這種方式評(píng)估造成損害的嚴(yán)重程度。例如，某種用于推薦產(chǎn)品的解決方案可能會(huì)持續(xù)地向某人推銷(xiāo)含糖飲料。隨著人們對(duì)糖尿病的擔(dān)憂加劇，該組織機(jī)構(gòu)應(yīng)考慮對(duì)其模型進(jìn)行微調(diào)，以減少對(duì)含糖飲料的推薦。

注意：這只是就如何使用明確的規(guī)范和價(jià)值觀的簡(jiǎn)單說(shuō)明。組織機(jī)構(gòu)可以利用更具有挑戰(zhàn)性和復(fù)雜的倫理道德難題來(lái)測(cè)試這種確定人工智能決策模型的方法。

運(yùn)營(yíng)管理

13.該《模式框架》使用下述圖表所示的一般性的人工智能部署過(guò)程來(lái)講解組織機(jī)構(gòu)部署人工智能解決方案的各個(gè)階段。組織機(jī)構(gòu)應(yīng)當(dāng)意識(shí)到人工智能的部署過(guò)程不總是單向的；它是一個(gè)持續(xù)的學(xué)習(xí)過(guò)程。

14.在部署的過(guò)程中，可使用決策樹(shù)或神經(jīng)網(wǎng)絡(luò)等算法對(duì)用于訓(xùn)練的數(shù)據(jù)集進(jìn)行分析。應(yīng)當(dāng)對(duì)合成后的算法進(jìn)行檢查并對(duì)算法進(jìn)行更新?lián)Q代，直到出現(xiàn)一個(gè)能為所應(yīng)用的案例生產(chǎn)出最有用結(jié)果的模型。然后將該模型及其產(chǎn)品合并到應(yīng)用程序中，以提供預(yù)測(cè)、做決策以及觸發(fā)行動(dòng)。在數(shù)據(jù)和算法/模型之間的緊密交互關(guān)系是本《模式框架》這一部分的重點(diǎn)。

用于模型開(kāi)發(fā)的數(shù)據(jù)

15.用于模型建構(gòu)的數(shù)據(jù)集的來(lái)源可能不同，數(shù)據(jù)的質(zhì)量和選擇對(duì)于人工智能解決方案的成功至關(guān)重要。如果模型是使用的有偏見(jiàn)的、不準(zhǔn)確的或者不具有代表性的數(shù)據(jù)構(gòu)建的，那么模型造成無(wú)意間歧視性決策的風(fēng)險(xiǎn)將會(huì)增加。

16.參與培訓(xùn)和選擇部署模型的人員可以是內(nèi)部員工或外部服務(wù)提供商。在智能系統(tǒng)中部署模型時(shí)應(yīng)該有一個(gè)組織機(jī)構(gòu)內(nèi)部的部門(mén)負(fù)責(zé)人，并由他決定要部署哪些模型。為確保人工智能解決方案的有效性，組織機(jī)構(gòu)內(nèi)部對(duì)數(shù)據(jù)質(zhì)量、模型訓(xùn)練和模型選擇負(fù)有責(zé)任的相關(guān)部門(mén)必須共同努力，制定完備的數(shù)據(jù)問(wèn)責(zé)制措施。這些可能包括以下內(nèi)容：

a.了解數(shù)據(jù)的來(lái)龍去脈。這意味著需要知道數(shù)據(jù)的原始出處，它是如何由組織機(jī)構(gòu)收集、組織、移動(dòng)的，以及如何保證它在一段時(shí)間內(nèi)的準(zhǔn)確性。直觀地展示數(shù)據(jù)的來(lái)龍去脈可以追蹤數(shù)據(jù)是如何從源頭轉(zhuǎn)移到目的地、整個(gè)過(guò)程數(shù)據(jù)是如何被轉(zhuǎn)換、數(shù)據(jù)在何處與其他數(shù)據(jù)相交互以及其表現(xiàn)形式是如何變化的。數(shù)據(jù)的沿襲有3種類(lèi)型：

i.回溯式數(shù)據(jù)沿襲，從數(shù)據(jù)的最終使用之處往前回溯，一直到數(shù)據(jù)的源頭。

ii.前進(jìn)式數(shù)據(jù)沿襲，從數(shù)據(jù)的源頭往前查看，一直到最終使用之處。

iii.端到端數(shù)據(jù)沿襲，將數(shù)據(jù)源頭與最終使用之處相連接，以整體上觀察的方式從數(shù)據(jù)源頭直到數(shù)據(jù)最終使用，再?gòu)臄?shù)據(jù)最終使用到數(shù)據(jù)源頭。

保存數(shù)據(jù)的來(lái)源記錄并允許組織機(jī)構(gòu)根據(jù)數(shù)據(jù)的來(lái)源和隨后的傳輸來(lái)確定數(shù)據(jù)的質(zhì)量，追蹤潛在的錯(cuò)誤源，更新數(shù)據(jù)并歸入其源頭中。本《模式框架》意識(shí)到在某些情況下，數(shù)據(jù)的來(lái)源可能難以確定，例如從可信賴的第三方獲取的數(shù)據(jù)集，該第三方有可能混合了來(lái)自多個(gè)源頭的數(shù)據(jù)。組織機(jī)構(gòu)應(yīng)評(píng)估使用此類(lèi)數(shù)據(jù)的風(fēng)險(xiǎn)并據(jù)此進(jìn)行管理。

b.保證數(shù)據(jù)的質(zhì)量。這意味著了解并解決可能影響數(shù)據(jù)質(zhì)量的因素，例如：

i.數(shù)據(jù)集的精確性，即數(shù)據(jù)集的價(jià)值與數(shù)據(jù)集所描述的價(jià)值的真實(shí)特征的匹配程度。

ii.數(shù)據(jù)集的完整性，包括數(shù)據(jù)的屬性和項(xiàng)目。

iii.數(shù)據(jù)集的準(zhǔn)確性，指的是數(shù)據(jù)的可信度，包括數(shù)據(jù)來(lái)源是否可靠。

iv.數(shù)據(jù)在近期如何被編譯或更新。

v.數(shù)據(jù)集的相關(guān)性和數(shù)據(jù)收集的背景，因?yàn)樗赡軙?huì)影響到對(duì)數(shù)據(jù)的解釋和對(duì)預(yù)期目的的依賴。

vi.從多個(gè)數(shù)據(jù)集整合的數(shù)據(jù)集的完整性，這指的是數(shù)據(jù)提取和轉(zhuǎn)換的執(zhí)行情況。

vii.數(shù)據(jù)集的可用性，包括數(shù)據(jù)集在一個(gè)機(jī)器可理解的形式中的組織情況。

viii.人為干涉的情況，例如是否存在人為過(guò)濾、貼標(biāo)簽、編輯數(shù)據(jù)的行為。

c.盡量減少固有偏差。本《模式框架》意識(shí)到，有關(guān)人工智能目前存在許多類(lèi)型的偏差。本《模式框架》著重于數(shù)據(jù)集中固有的偏差，而這將導(dǎo)致并不希望看到的結(jié)果，如無(wú)意間的歧視性決策。組織機(jī)構(gòu)應(yīng)當(dāng)意識(shí)到，他們提供給人工智能系統(tǒng)的數(shù)據(jù)有可能存在固有偏差，因此應(yīng)當(dāng)采取措施減輕這種偏差。數(shù)據(jù)中的兩種常見(jiàn)的偏差包括：

i.選擇偏差。當(dāng)用于生成模型的數(shù)據(jù)并不能完全代表模型可能接收的真實(shí)數(shù)據(jù)或可能運(yùn)行的實(shí)際環(huán)境時(shí)，就會(huì)出現(xiàn)這種偏差。數(shù)據(jù)集中的選擇偏差的常見(jiàn)例子為遺漏偏差（omission bias）和固有模式偏差（stereotypebias）。遺漏偏差指的是數(shù)據(jù)集中某些特征的遺漏，例如，如果將亞洲人臉數(shù)據(jù)集用于非亞洲人的人臉面部識(shí)別，則該數(shù)據(jù)集將會(huì)顯示遺漏偏差。在工作日，中央商務(wù)區(qū)內(nèi)的車(chē)輛類(lèi)型數(shù)據(jù)集可能顯示出偏向于汽車(chē)、公共汽車(chē)和摩托車(chē)而非自行車(chē)，但如果用于模擬新加坡可用的交通類(lèi)型，則會(huì)形成固有模式偏差。

ii.測(cè)量偏差。當(dāng)數(shù)據(jù)收集設(shè)備導(dǎo)致數(shù)據(jù)系統(tǒng)性地向某一特定方向偏斜時(shí)，就會(huì)產(chǎn)生此種偏差。例如，用于訓(xùn)練的數(shù)據(jù)有可能是通過(guò)一個(gè)關(guān)閉了彩色濾鏡片的相機(jī)獲得的，而這將歪曲機(jī)器學(xué)習(xí)結(jié)果。

識(shí)別并解決數(shù)據(jù)集中的固有偏差并不是件易事。降低固有偏差造成的風(fēng)險(xiǎn)的方法之一是使用混雜數(shù)據(jù)集，即從各種各樣可靠的來(lái)源中收集數(shù)據(jù)。另一種方法是從數(shù)據(jù)屬性和數(shù)據(jù)條目的角度保證數(shù)據(jù)集盡可能的完整。過(guò)早地將數(shù)據(jù)屬性移除會(huì)使識(shí)別和解決固有偏差變得更加困難。

d.用不同的數(shù)據(jù)集進(jìn)行訓(xùn)練、測(cè)試和驗(yàn)證。在訓(xùn)練、測(cè)試和驗(yàn)證過(guò)程中需要用到不同的數(shù)據(jù)集。通過(guò)訓(xùn)練數(shù)據(jù)對(duì)模型加以訓(xùn)練，而模型的精確度取決于所使用的測(cè)試數(shù)據(jù)。在可得適用的情況下，還可以通過(guò)使用不同的人口統(tǒng)計(jì)學(xué)小組對(duì)模型進(jìn)行測(cè)試來(lái)觀察是否有某個(gè)小組被系統(tǒng)性地增強(qiáng)或減弱，以檢測(cè)任何存在的系統(tǒng)性偏差。最后，可以使用驗(yàn)證數(shù)據(jù)集來(lái)驗(yàn)證經(jīng)過(guò)訓(xùn)練的模型。出于此目的，將一個(gè)大數(shù)據(jù)集拆分為數(shù)個(gè)子集是比較好的做法。但如果組織機(jī)構(gòu)不使用大數(shù)據(jù)集的人工智能模型進(jìn)行操作，或者使用預(yù)訓(xùn)練模型（如學(xué)習(xí)遷移，transfer learning），則不可能做到這一點(diǎn)，組織機(jī)構(gòu)應(yīng)當(dāng)認(rèn)識(shí)到系統(tǒng)性偏差的風(fēng)險(xiǎn)并采取適當(dāng)?shù)谋Ｕ洗胧?/p>

e.定期審查并升級(jí)數(shù)據(jù)集。包括用于訓(xùn)練、測(cè)試和驗(yàn)證的數(shù)據(jù)集應(yīng)當(dāng)進(jìn)行定期檢查以保證精確度、質(zhì)量、通用性、相關(guān)性和可靠性。在必要時(shí)，應(yīng)使用在生產(chǎn)中部署的人工智能模型在實(shí)際使用中獲取的數(shù)據(jù)，將這些新數(shù)據(jù)輸入到數(shù)據(jù)集中進(jìn)行更新。當(dāng)使用這種新的輸入數(shù)據(jù)時(shí)，組織機(jī)構(gòu)需要注意到可能產(chǎn)生潛在的偏差的情況，畢竟使用已經(jīng)在模型中使用過(guò)的數(shù)據(jù)有可能產(chǎn)生更強(qiáng)的偏差。

算法與模型

17.組織機(jī)構(gòu)應(yīng)通過(guò)可解釋性、可重復(fù)性和可追溯性概念來(lái)尋找能夠提高人工智能模式算法透明度的措施。在人工解決方案中部署的算法，如果能夠解釋清楚它是如何工作的以及如何得出某一特定的預(yù)測(cè)，那么就可以說(shuō)它是具備可解釋性的。能夠解釋人工智能所做預(yù)測(cè)的目的，是為了增強(qiáng)理解和加深信任。部署人工智能解決方案的組織機(jī)構(gòu)還應(yīng)當(dāng)將解決方案的設(shè)計(jì)和預(yù)期行為的解釋說(shuō)明納入到其產(chǎn)品或服務(wù)的解釋說(shuō)明中，以向個(gè)體和/或監(jiān)管機(jī)構(gòu)證明自身的可問(wèn)責(zé)性（accountability）。這也可能包括與為什么選擇這些特征、屬性或模型而非其他特征、屬性或模型相關(guān)的設(shè)計(jì)決定。在必要時(shí)，組織機(jī)構(gòu)應(yīng)向人工智能解決方案提供商請(qǐng)求幫助，因?yàn)樗麄兛赡芨m合解釋解決方案是如何發(fā)揮作用的。

18.本《模式框架》規(guī)定，可解釋的人工智能可以通過(guò)對(duì)已部署的人工智能模型的算法功能和/或決策制定程序是如何與模型預(yù)測(cè)相結(jié)合來(lái)實(shí)現(xiàn)。遵循本《模式框架》的組織機(jī)構(gòu)可根據(jù)預(yù)期接受者（例如個(gè)人、其他企業(yè)或組織以及監(jiān)管機(jī)構(gòu)）的技術(shù)成熟度以及所使用的人工智能解決方案類(lèi)型（例如統(tǒng)計(jì)模型）在解釋中提供不同程度的詳細(xì)信息。

19.模型的訓(xùn)練與選擇是研發(fā)智能系統(tǒng)（包含人工智能技術(shù)的系統(tǒng)）的必要條件。使用人工智能系統(tǒng)的組織機(jī)構(gòu)應(yīng)當(dāng)記錄模型的訓(xùn)練和選擇過(guò)程是如何進(jìn)行的、作出決策的原因以及為解決已識(shí)別風(fēng)險(xiǎn)而采取的措施。“機(jī)器自主學(xué)習(xí)”（Auto-Machine Learning）領(lǐng)域的目標(biāo)是旨在將探索最佳模型的過(guò)程（和其他目標(biāo)變量如訓(xùn)練程序）自動(dòng)化。使用這些工具的組織機(jī)構(gòu)應(yīng)考慮高級(jí)別算法以及所選子模型的透明度、可解釋性和可追溯性。算法審計(jì)也可以在某些特定情況下進(jìn)行（見(jiàn)附錄A）。

20.值得注意的，技術(shù)的可解釋性并不總是具有啟發(fā)性的，尤其是針對(duì)普通人而言。隱晦地解釋人工智能模型算法的功能可能比清晰地描述模型的邏輯更有用處。例如，為某個(gè)個(gè)體提供反向功能（例如如果你的平均債務(wù)低于15%，你將被批準(zhǔn)，或“這些是與你的個(gè)人資料相似而收到了不同決定的客戶”）是組織機(jī)構(gòu)可以考慮的強(qiáng)有力的解釋方法。

21.也可能存在一些提供與算法相關(guān)的信息可能并不實(shí)際或不合理的情況。尤其是在專利信息、知識(shí)產(chǎn)權(quán)、反洗錢(qián)檢測(cè)、信息安全和欺詐預(yù)防的情況下，提供有關(guān)算法的詳細(xì)信息或者對(duì)算法進(jìn)行審查的信息或算法作出的決定，可能暴露商業(yè)機(jī)密信息和/或無(wú)意間導(dǎo)致壞人逃過(guò)偵測(cè)。

22.如果由于當(dāng)前的技術(shù)水平，無(wú)法在實(shí)際操作中實(shí)現(xiàn)可解釋性要求（如黑箱），組織機(jī)構(gòu)可以考慮將人工智能模型產(chǎn)生結(jié)果的可再現(xiàn)性加以記錄。應(yīng)當(dāng)注意的是，對(duì)可再現(xiàn)性進(jìn)行記錄的文檔不是可解釋性的效力相當(dāng)?shù)奶娲桨?。可再現(xiàn)性是指在相同的場(chǎng)景下，人工智能模型能夠始終如一地執(zhí)行動(dòng)作或做出決定。性能的一致性可以為人工智能使用者提供一定的信心。有益的做法包括：

a.在動(dòng)態(tài)環(huán)境中對(duì)商業(yè)部署（commercialdeployments）進(jìn)行可重復(fù)性評(píng)估，以確保部署的可重復(fù)性。

b.進(jìn)行反事實(shí)（counterfactual）的公平性測(cè)試。如果某一決定在實(shí)際的世界和反事實(shí)的世界中是相同的，且個(gè)體屬于不同的人口統(tǒng)計(jì)學(xué)群體，那么這一決定對(duì)該個(gè)體就是公平的。

c.當(dāng)決定是不可再現(xiàn)的，例如在設(shè)計(jì)時(shí)引入了隨機(jī)性機(jī)制，評(píng)估如何識(shí)別并處理異常情況。

d.確保對(duì)異常情況的處理符合組織的政策。

e.識(shí)別并計(jì)算隨時(shí)間變化的情況，以確保接受過(guò)對(duì)時(shí)間敏感的數(shù)據(jù)培訓(xùn)的模型能夠保持相關(guān)性。

23.如果人工智能模型的決策過(guò)程以易于理解的方式記錄下來(lái)，那么可以說(shuō)該模型具有可追溯性?？勺匪菪灾灾匾?，其原因有很多：采用審計(jì)日志形式的可追溯性記錄可以成為將來(lái)用作培訓(xùn)數(shù)據(jù)集的輸入數(shù)據(jù)的來(lái)源；這些信息也有助于故障排除、調(diào)查模型的運(yùn)行方式或給出特定預(yù)測(cè)作出的原因。

24.提升可追溯性的措施包括：

a.建立跟蹤式審計(jì)以記錄作出決策的過(guò)程。

b.建立一個(gè)能夠捕獲所有輸入數(shù)據(jù)流的黑箱記錄器（black box recorder）。例如。自動(dòng)駕駛汽車(chē)中的黑箱記錄器可以跟蹤車(chē)輛的位置，并記錄自動(dòng)駕駛系統(tǒng)于何時(shí)、何地控制車(chē)輛、遇到技術(shù)問(wèn)題或要求駕駛員接管對(duì)車(chē)輛控制的控制權(quán)。

c.確保與可追溯性相關(guān)的數(shù)據(jù)得到妥善的存儲(chǔ)，以避免數(shù)據(jù)失效（degradation）或更改，并保存到與行業(yè)相關(guān)的一段持續(xù)時(shí)間內(nèi)。

25.組織機(jī)構(gòu)應(yīng)制定內(nèi)部政策與流程，定期進(jìn)行模式調(diào)整，以適應(yīng)隨時(shí)間流動(dòng)而變化的客戶行為，并根據(jù)納入了最新輸入數(shù)據(jù)的不斷更新的訓(xùn)練數(shù)據(jù)集對(duì)模型進(jìn)行更新?lián)Q代。當(dāng)商業(yè)目標(biāo)、風(fēng)險(xiǎn)或公司價(jià)值觀發(fā)生變化時(shí)，可能有必要對(duì)模型進(jìn)行調(diào)整。

26.在可能的情況下，測(cè)試的過(guò)程應(yīng)反映所計(jì)劃的產(chǎn)品應(yīng)用環(huán)境的動(dòng)態(tài)性。為了確保安全，測(cè)試可能需要評(píng)估人工智能解決方案的通用性以及產(chǎn)生失敗的情況。例如，一個(gè)倉(cāng)庫(kù)機(jī)器人（warehouse robot）的任務(wù)是在避開(kāi)障礙物的情況下完成一項(xiàng)任務(wù)（例如去拿包裹），對(duì)它應(yīng)使用不同類(lèi)型的障礙物與實(shí)際不同的內(nèi)部環(huán)境（例如，工人穿著不同顏色的襯衫）進(jìn)行測(cè)試。否則，模型將在不反映實(shí)際情況的環(huán)境中冒險(xiǎn)學(xué)習(xí)規(guī)律（例如，機(jī)器人必須避開(kāi)的人類(lèi)都是穿著白色工作服的）。一旦將人工智能模型部署到現(xiàn)實(shí)環(huán)境中，就應(yīng)主動(dòng)進(jìn)行監(jiān)控、審查和調(diào)整。

客戶關(guān)系管理

27.適當(dāng)?shù)剡M(jìn)行溝通能夠在組織機(jī)構(gòu)和個(gè)人（包括員工）之間建立和保持開(kāi)放的關(guān)系，進(jìn)而激發(fā)相互間的信任，在部署人工智能時(shí)，組織機(jī)構(gòu)應(yīng)結(jié)合以下因素來(lái)有效實(shí)施和管理其溝通策略。

28.一般事項(xiàng)披露。組織機(jī)構(gòu)應(yīng)提供關(guān)于其產(chǎn)品和/或服務(wù)中是否使用人工智能的大致信息。在適當(dāng)?shù)那闆r下，這可能包括人工智能是如何在有關(guān)個(gè)人的決策制定中使用的、人工智能的角色以及人工智能在決策過(guò)程中所扮演的作用和程度。例如，GPS導(dǎo)航系統(tǒng)制造商可以告知其用戶，人工智能用于自動(dòng)生成從A點(diǎn)到B點(diǎn)的線路。然而，由該導(dǎo)航系統(tǒng)的用戶決定走哪條路線。一個(gè)在線門(mén)戶網(wǎng)站可以通知其用戶，他們正在與之交互的聊天機(jī)器人是由人工智能驅(qū)動(dòng)的。

29.提高透明度有助于通過(guò)提升用戶關(guān)系的開(kāi)放性，增強(qiáng)人們對(duì)人工智能的信心以及接受程度。為了做到這一點(diǎn)，組織機(jī)構(gòu)可以考慮披露人工智能的決策可能對(duì)個(gè)人造成影響的方式，并且披露其作出的決定是否具有可逆性。例如，一個(gè)組織機(jī)構(gòu)可以告知個(gè)人其信用評(píng)級(jí)將如何導(dǎo)致貸款申請(qǐng)被這家機(jī)構(gòu)或者其他機(jī)構(gòu)所拒絕；但如果個(gè)人能夠提供更多關(guān)于其信用值的證據(jù)，那么該決定就是可逆的。

30.組織機(jī)構(gòu)應(yīng)在溝通交流中使用易于理解的語(yǔ)言以提高其透明度。有一些現(xiàn)有的工具可以提高易讀性（readability），例如弗萊易讀性圖（Fry readability graph）、岡寧迷霧指數(shù)（Gunning Fog Index）、Flesh-Kincaid可讀性測(cè)試等。對(duì)于影響比較大的決策應(yīng)以容易理解的方式進(jìn)行溝通，并需要對(duì)所使用的技術(shù)保持易于理解的狀態(tài)。

31.隨著對(duì)管理人工智能的使用和構(gòu)建的道德標(biāo)準(zhǔn)的發(fā)展，組織機(jī)構(gòu)也可以進(jìn)行倫理道德評(píng)估，并對(duì)這些評(píng)估進(jìn)行有意義的總結(jié)。

32.有關(guān)解釋的政策。組織機(jī)構(gòu)應(yīng)當(dāng)制定一項(xiàng)政策，對(duì)應(yīng)當(dāng)向個(gè)人提供什么解釋進(jìn)行規(guī)定。這可以包括對(duì)人工智能在決策過(guò)程中的工作方式、某一具體決策的制定方式、制定該決策背后的原因以及決策的影響和后果進(jìn)行解釋?？梢詫⒔忉尩倪^(guò)程作為總體上進(jìn)行溝通的一部分，也根據(jù)請(qǐng)求作為有關(guān)特定決策的信息。

33.人類(lèi)-人工智能交互。組織機(jī)構(gòu)應(yīng)在部署人工智能之前測(cè)試用戶的界面并解決可用性問(wèn)題，以便用戶與人工智能的交互能夠滿足預(yù)期的目的。個(gè)人對(duì)于這方面的期望也可以通過(guò)告知其正在聊天的是機(jī)器人而非人類(lèi)來(lái)實(shí)現(xiàn)。在可適用的情況下，組織機(jī)構(gòu)還應(yīng)通知個(gè)人，他們的回應(yīng)將用于訓(xùn)練人工智能系統(tǒng)。組織機(jī)構(gòu)應(yīng)意識(shí)到使用此類(lèi)回復(fù)的風(fēng)險(xiǎn)，因?yàn)橛行┤丝赡芄室馐褂谩芭K話”（bad language）或“隨機(jī)回復(fù)”（random replies），而這將對(duì)人工智能系統(tǒng)的訓(xùn)練造成影響。

34.選擇退出機(jī)制（Option to opt-out.）。在決定是否向個(gè)人提供選擇退出的機(jī)制以及該機(jī)制是否應(yīng)默認(rèn)提供或僅在提出請(qǐng)求提供的問(wèn)題時(shí)，組織機(jī)構(gòu)應(yīng)慎重考慮，包括下列注意事項(xiàng)：

a.對(duì)個(gè)體造成風(fēng)險(xiǎn)/傷害的程度。

b.應(yīng)該冒險(xiǎn)實(shí)現(xiàn)對(duì)個(gè)人損害的可逆性。

c.替代決策機(jī)制的可用性。

d.替代機(jī)制的成本或權(quán)衡。

e.維護(hù)平行系統(tǒng)的復(fù)雜性和低效性。

f.技術(shù)上的可行性。

35.當(dāng)一個(gè)組織機(jī)構(gòu)已經(jīng)權(quán)衡過(guò)上述因素，并決定不提供選擇退出的機(jī)制，那么它應(yīng)該考慮向個(gè)人提供其他的求助方式，例如提供對(duì)所做決定進(jìn)行審查的渠道。在適當(dāng)?shù)那闆r下，當(dāng)面臨來(lái)自于消費(fèi)者的投訴或求助時(shí)，組織機(jī)構(gòu)還應(yīng)保留聊天機(jī)器人對(duì)話的歷史記錄。

36.組織機(jī)構(gòu)應(yīng)為其客戶建立以下溝通渠道：

a.反饋渠道。個(gè)人可以利用此渠道提出反饋或提出質(zhì)疑。在適當(dāng)情況下，可以由組織機(jī)構(gòu)的數(shù)據(jù)保護(hù)官（DPO）管理。如果個(gè)人發(fā)現(xiàn)自己的個(gè)人數(shù)據(jù)中存在不準(zhǔn)確之處，而這些不準(zhǔn)確之處已被用于制定對(duì)他們?cè)斐捎绊懙臎Q策，則此渠道還允許他們更正自己的數(shù)據(jù)。這樣的糾正和反饋反過(guò)來(lái)又保持了數(shù)據(jù)的準(zhǔn)確性。如果個(gè)人希望就針對(duì)他們提出的重大推論提出反饋和質(zhì)疑，那么也可以由組織機(jī)構(gòu)的質(zhì)量服務(wù)經(jīng)理（QSM）進(jìn)行管理。

b.決策審查渠道。除了現(xiàn)有的審查義務(wù)外，組織機(jī)構(gòu)可以考慮為個(gè)人提供一種要求對(duì)影響他們的重要人工智能決策進(jìn)行審查的路徑，當(dāng)決策是完全自動(dòng)化作出的情況下，如果決策對(duì)個(gè)人的影響是重大的，則可以由人類(lèi)代理人根據(jù)要求提供個(gè)別審查。但是，如果在對(duì)所做決策進(jìn)行確認(rèn)前，已經(jīng)被部分自動(dòng)化地審查過(guò)，則該決策就已經(jīng)由人類(lèi)代理人審查過(guò)了。在后一種情況下，這與非人工智能決策沒(méi)有什么不同。

結(jié)論

本《人工智能治理模式框架》決不是完整的或詳盡的，它仍然是一個(gè)接納反饋的文檔。隨著人工智能技術(shù)的發(fā)展，相關(guān)的倫理和管理問(wèn)題也將隨之展開(kāi)。PDPC的目標(biāo)是根據(jù)收到的反饋定期更新此框架，以確保它對(duì)部署人工智能解決方案的組織機(jī)構(gòu)來(lái)說(shuō)仍然具有相關(guān)性和實(shí)用性。

附件A算法審核

1.在有必要探究模型中包含的算法的實(shí)際操作的情況下，可進(jìn)行算法審核。這一過(guò)程必須根據(jù)對(duì)組織機(jī)構(gòu)擁有管轄權(quán)的監(jiān)管機(jī)構(gòu)的要求進(jìn)行，或人工智能技術(shù)提供商操作以協(xié)助其客戶應(yīng)對(duì)監(jiān)管機(jī)構(gòu)的各種要求。進(jìn)行算法審核需要技術(shù)專長(zhǎng)，這可能需要聘請(qǐng)外部專家來(lái)操作。審核報(bào)告可能會(huì)超出大多數(shù)個(gè)人和組織機(jī)構(gòu)的理解能力范圍。進(jìn)行算法審核所需的費(fèi)用和時(shí)間應(yīng)與從審核報(bào)告中獲得的預(yù)期收益進(jìn)行權(quán)衡。

2.組織機(jī)構(gòu)在考慮是否進(jìn)行算法審核時(shí)，可以考慮下列因素：

a.進(jìn)行算法審核的目的。本《模式框架》提供了有關(guān)人工智能模型如何成為可解釋的人工智能的一部分的信息，在開(kāi)始進(jìn)行算法審核之前，建議考慮已經(jīng)提供給個(gè)人、其他組織機(jī)構(gòu)或企業(yè)以及監(jiān)管機(jī)構(gòu)的信息是否是充分的和可信任的（例如產(chǎn)品或服務(wù)說(shuō)明、系統(tǒng)技術(shù)說(shuō)明書(shū)、模型訓(xùn)練和選擇記錄、數(shù)據(jù)來(lái)源和查賬索引）。

b.審計(jì)結(jié)果的目標(biāo)受眾。這是指目標(biāo)受眾有效理解數(shù)據(jù)、算法和/或模型所需的專業(yè)知識(shí)。不同受眾需要的信息各不相同。當(dāng)受眾是個(gè)體時(shí)，提供作出決策過(guò)程的信息和/或個(gè)體數(shù)據(jù)在決策過(guò)程中的使用方式將更有效地實(shí)現(xiàn)可解釋人工智能的目標(biāo)。當(dāng)受眾是監(jiān)管者時(shí)，應(yīng)首先檢查與數(shù)據(jù)問(wèn)責(zé)制和算法功能有關(guān)的信息。如果有理由懷疑人工智能模型操作信息的準(zhǔn)確性或完整性，則算法審核可以證明人工智能模型是如何操作的。

c.一般數(shù)據(jù)責(zé)任。組織機(jī)構(gòu)可以提供關(guān)于如何在組織機(jī)構(gòu)內(nèi)實(shí)現(xiàn)一般數(shù)據(jù)責(zé)任的信息。這包括本《模式框架》中用于模型開(kāi)發(fā)的數(shù)據(jù)部分所描述的所有關(guān)于數(shù)據(jù)的良好做法，例如通過(guò)保留數(shù)據(jù)來(lái)源記錄來(lái)維護(hù)數(shù)據(jù)沿襲、確保數(shù)據(jù)準(zhǔn)確性、將數(shù)據(jù)的固有偏差最小化、為不同目的分割數(shù)據(jù)、確定數(shù)據(jù)準(zhǔn)確性以及定期審查和更新數(shù)據(jù)。

d.人工智能模型中的算法可以是商業(yè)上有價(jià)值的信息，這些信息會(huì)影響市場(chǎng)競(jìng)爭(zhēng)力。如果計(jì)劃進(jìn)行技術(shù)審計(jì)，還應(yīng)考慮相應(yīng)的緩解措施。

附件B術(shù)語(yǔ)表

1.本術(shù)語(yǔ)表囊括了從各種出處提煉的人工智能基本倫理道德原則的整合，但并非所有的都包含在《模式框架》中或在《模式框架》中解決。在滿足相關(guān)性并且需要的情況下，組織機(jī)構(gòu)可考慮將這些原則納入他們公司自己的基本原則當(dāng)中。

2.關(guān)于準(zhǔn)確性（Accuracy）：

在整個(gè)算法及其數(shù)據(jù)來(lái)源中識(shí)別、記錄并清楚說(shuō)明產(chǎn)生錯(cuò)誤和不確定性的來(lái)源，以便能夠理解預(yù)期出現(xiàn)的情況和所造成的最壞情況的影響，并啟動(dòng)緩解程序（mitigation procedures）。

3.關(guān)于可解釋性（Explainability）：

確保由算法自動(dòng)作出的決策以及驅(qū)動(dòng)這些決策的任何相關(guān)數(shù)據(jù)可以以非技術(shù)術(shù)語(yǔ)向最終用戶和其他利益相關(guān)者解釋。

4.關(guān)于公平（Fairness）：

a.確保由算法作出的決策不會(huì)在不同的人口統(tǒng)計(jì)學(xué)種類(lèi)（如種族、性別等）上產(chǎn)生歧視性或不公正的影響。

b.建立并納入監(jiān)測(cè)措施和記錄機(jī)制以避免在啟動(dòng)決策制定系統(tǒng)時(shí)造成無(wú)意間的歧視。

c.在研發(fā)系統(tǒng)、應(yīng)用程序和算法時(shí)，聽(tīng)從各方聲音和人口統(tǒng)計(jì)學(xué)專家的意見(jiàn)。

5.關(guān)于人類(lèi)中心主義和人類(lèi)福祉（On Human Centricity andWell-Being）：

a.旨在公平分配由數(shù)據(jù)實(shí)踐帶來(lái)的收益，避免數(shù)據(jù)實(shí)踐對(duì)弱勢(shì)群體造成不符合比例的不利影響。

b.旨在利用數(shù)據(jù)和先進(jìn)的模型制造技術(shù)，創(chuàng)造更多的收益。

c.參與數(shù)據(jù)實(shí)踐，通過(guò)數(shù)據(jù)實(shí)踐推動(dòng)人類(lèi)繁榮昌盛、人類(lèi)尊嚴(yán)和人類(lèi)自治的發(fā)展。

d.重視受到數(shù)據(jù)實(shí)踐影響的人或社區(qū)的判斷，并與受影響的人或社區(qū)的價(jià)值觀和道德原則保持一致。

e.作出的決策不能對(duì)個(gè)體造成無(wú)法預(yù)見(jiàn)的傷害，或至少將此類(lèi)傷害降到最低（例如在必須的情況下，當(dāng)與更大的利益沖突進(jìn)行權(quán)衡時(shí)）。

f.允許用戶保持對(duì)正在被使用的數(shù)據(jù)的控制、數(shù)據(jù)使用的背景以及修改使用方式和背景。

6.關(guān)于責(zé)任、問(wèn)責(zé)制和透明度（Responsibility,Accountability and Transparency）：

a.通過(guò)確保設(shè)計(jì)師和運(yùn)營(yíng)商對(duì)其系統(tǒng)、應(yīng)用程序和算法負(fù)責(zé)并能加以解釋來(lái)建立信任，并確保此類(lèi)系統(tǒng)、應(yīng)用程序和算法以透明和公平的方式運(yùn)行。

b.為算法決策系統(tǒng)對(duì)個(gè)人或社會(huì)造成的不利影響提供外部可見(jiàn)和公正的補(bǔ)救途徑，并指定負(fù)責(zé)及時(shí)補(bǔ)救此類(lèi)問(wèn)題的人員或辦公室。

c.為用戶或消費(fèi)者納入下游措施和流程，以核實(shí)如何以及何時(shí)應(yīng)用人工智能技術(shù)。

d.保存設(shè)計(jì)的過(guò)程以及作出決策的詳細(xì)記錄。

7.關(guān)于人權(quán)（Human Rigth）：

確保技術(shù)的設(shè)計(jì)、研發(fā)和實(shí)施不侵犯國(guó)際上公認(rèn)的人權(quán)。

8.關(guān)于可持續(xù)發(fā)展（Sustainable）：

支持能夠有效預(yù)測(cè)未來(lái)行為并在一段合理時(shí)間內(nèi)產(chǎn)生有益洞見(jiàn)的措施。

9.關(guān)于進(jìn)步性（being Progressive）：

當(dāng)實(shí)施某一計(jì)劃要比不參與該計(jì)劃創(chuàng)造更多實(shí)際價(jià)值時(shí)，贊同該計(jì)劃的實(shí)施。

10.關(guān)于可審計(jì)性（Auditability）：

通過(guò)披露能夠進(jìn)行監(jiān)測(cè)、檢查或考證的信息使有關(guān)的第三方能夠調(diào)查、了解和審查算法作出的行為。

11.關(guān)于穩(wěn)定性和安全性（Robustnessand Security）：

人工智能系統(tǒng)應(yīng)安全可靠，用于訓(xùn)練的數(shù)據(jù)不易被篡改或破壞。

12.關(guān)于包容性（Inclusivity）：

確保所有人都能使用人工智能。

附錄C

醫(yī)療保健方面的應(yīng)用案例——UCARE.AI

UCARE.AI（https://www.ucare.ai）是一家人工智能和機(jī)器學(xué)習(xí)公司，致力于通過(guò)以符合倫理和負(fù)責(zé)任的態(tài)度使用數(shù)據(jù)來(lái)解決醫(yī)療保健問(wèn)題并促進(jìn)人類(lèi)進(jìn)步。UCARE.AI部署了一套人工智能和機(jī)器學(xué)習(xí)算法，建立在基于云（cloud-based）的微服務(wù)架構(gòu)之上，包括專有的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)算法，為醫(yī)生、醫(yī)院、患者、保險(xiǎn)公司和制藥公司提供可持續(xù)和可定制的醫(yī)療解決方案。

一個(gè)成功的實(shí)際使用案例是最近對(duì)4家醫(yī)院（即伊麗莎白山醫(yī)院、伊麗莎白山諾維娜醫(yī)院、格倫伊格爾斯醫(yī)院和百匯東區(qū)醫(yī)院）實(shí)施了人工智能的住院前費(fèi)用估算制度（APACHETM），這些醫(yī)院歸帕克威潘泰（Parkway Pantai）所有。這項(xiàng)研究分享了UCARE.AI開(kāi)發(fā)和部署APACHE的方法，APACHE是一個(gè)可擴(kuò)展的即插即用系統(tǒng)，具有高可用性、高容錯(cuò)性并能對(duì)大量估計(jì)請(qǐng)求進(jìn)行實(shí)時(shí)處理。APACHE提供了精確度更高的估算，比百匯醫(yī)療集團(tuán)以前的賬單估算系統(tǒng)的精確度高了4倍。這樣做的目的是實(shí)現(xiàn)醫(yī)療成本估算的標(biāo)準(zhǔn)化，并提供更高的價(jià)格透明度，以促進(jìn)付款人、（醫(yī)療服務(wù)）提供者和患者之間建立和維護(hù)信任。這與UCARE的觀念是一致的。人工智能致力于確?；颊呃^續(xù)就可用的醫(yī)療方案做出明智的決定。

背景

以前的醫(yī)療成本估算方法涉及傳統(tǒng)的技術(shù)，如（i）基于正態(tài)分布的技術(shù)（normal distribution-based techniques），（ii）基于偏態(tài)分布的參數(shù)模型（parametricmodels based on skewed distributions），（iii）混合模型（mixturemodels），（iv）生存率分析（survivalanalysis）等?，F(xiàn)有的方法是通過(guò)簡(jiǎn)單的統(tǒng)計(jì)匯總，以外科手術(shù)報(bào)價(jià)表或ICD-10診斷代碼為基礎(chǔ)進(jìn)行估算。

該估算技術(shù)面臨的挑戰(zhàn)包括相對(duì)較高的錯(cuò)誤率、進(jìn)行更新需要的大量金錢(qián)和人力成本，以及由于這些高成本而導(dǎo)致的更新頻率較低。

UCARE.AI與百匯醫(yī)療集團(tuán)合作，通過(guò)一個(gè)多步驟的過(guò)程來(lái)解決這些問(wèn)題，包括：（i）數(shù)據(jù)探索，（ii）數(shù)據(jù)清理，（iii）可行性評(píng)估，（iv）特征工程（feature engineering），（v）機(jī)器學(xué)習(xí)，（vi）結(jié)果展示。隨著概念驗(yàn)證取得令人滿意的結(jié)果，APACHE隨后投入生產(chǎn)。

APACHE應(yīng)用程序接口的高級(jí)結(jié)構(gòu)

與PDPC的人工智能模式監(jiān)管框架保持一致

UCARE.AI采取了與PDPC發(fā)布的《人工智能監(jiān)管模式框架》一致的積極主動(dòng)的方法。

可信賴和可驗(yàn)證性

本人工智能監(jiān)管框架意識(shí)到，神經(jīng)網(wǎng)絡(luò)是不可理解的，在將其用于人類(lèi)之前，需要對(duì)這些神經(jīng)網(wǎng)絡(luò)提供的結(jié)果進(jìn)行驗(yàn)證。UCARE.AI通過(guò)不斷地驗(yàn)證其算法的準(zhǔn)確性來(lái)克服這個(gè)問(wèn)題。通過(guò)每周進(jìn)行由合作伙伴和該領(lǐng)域?qū)＜疫M(jìn)行的檢查，確保更快和更可靠的更新?lián)Q代。數(shù)據(jù)模型的自動(dòng)重新訓(xùn)練能夠確保算法保持最新的狀態(tài)。在百匯醫(yī)療集團(tuán)專家的幫助下，這種持續(xù)驗(yàn)證其人工智能模型的方法將有助于增強(qiáng)對(duì)其預(yù)測(cè)性見(jiàn)解的準(zhǔn)確性的信心，并有助于訓(xùn)練算法，使其在輸入的每一個(gè)數(shù)據(jù)上變得更加精確。

問(wèn)責(zé)制和透明度

在數(shù)據(jù)收集之前，應(yīng)獲得利益相關(guān)者的知情同意以及批準(zhǔn)使用從開(kāi)放的通信渠道找尋的數(shù)據(jù)。在構(gòu)建模型之前，需要對(duì)數(shù)據(jù)進(jìn)行仔細(xì)的整理和轉(zhuǎn)換，以確保人工智能算法對(duì)用戶負(fù)責(zé)并保持一致性；這項(xiàng)工作是與百匯醫(yī)療集團(tuán)一起完成的。對(duì)先前損壞或丟失的數(shù)據(jù)進(jìn)行適當(dāng)?shù)拇鎯?chǔ)和修復(fù)，也能通過(guò)將數(shù)據(jù)鴻溝對(duì)預(yù)測(cè)結(jié)果的影響降低到最小，為用戶提供更高的透明度和安全性。對(duì)數(shù)據(jù)的仔細(xì)監(jiān)控是確保所提供服務(wù)具有可靠性的關(guān)鍵，因此在Apache中，采用了包含多個(gè)組成部分的詳細(xì)和一致的日志記錄，并將其納入安全、集中的日志存儲(chǔ)庫(kù)中，以便于開(kāi)發(fā)和運(yùn)營(yíng)團(tuán)隊(duì)在需要時(shí)方便地訪問(wèn)，并允許在必要時(shí)進(jìn)行快速調(diào)試和在正常運(yùn)行時(shí)間內(nèi)的跟蹤。

公平

住院治療費(fèi)用的自動(dòng)預(yù)測(cè)降低了因人類(lèi)偏見(jiàn)影響數(shù)據(jù)作出最終判斷的可能性，并提供了針對(duì)所有預(yù)測(cè)的一致性要素。例如，基于收入水平和保險(xiǎn)覆蓋范圍的歧視將被有效消除，盡管人們會(huì)擔(dān)心在人類(lèi)不加干涉的系統(tǒng)的使用，但所討論的算法是以人為中心的。

以人為中心

本使用案例強(qiáng)調(diào)了如何用以人為中心的方式使用人工智能來(lái)增強(qiáng)決策能力，同時(shí)將對(duì)相關(guān)方造成損害的潛在風(fēng)險(xiǎn)最小化。對(duì)賬單進(jìn)行估算的自動(dòng)化過(guò)程消除了對(duì)繁瑣的統(tǒng)計(jì)計(jì)算的需要，從而釋放了工作時(shí)長(zhǎng)和精力去做更有創(chuàng)造力的事。此外，所提供的信息將通過(guò)更準(zhǔn)確的成本預(yù)測(cè)、有效分配和分配醫(yī)療資源以及指導(dǎo)新的政策舉措而有利于患者和支付方?；颊邔?duì)于醫(yī)療花費(fèi)方面的擔(dān)憂將會(huì)減少，以便于能夠集中精力進(jìn)行康復(fù)。

為了最大限度地降低危害所造成的風(fēng)險(xiǎn)，因此在使用數(shù)據(jù)之前進(jìn)行了嚴(yán)格的可行性研究，重點(diǎn)是創(chuàng)建一個(gè)有效和強(qiáng)大的驗(yàn)證框架。這將與合作伙伴一起完成，并且在繼續(xù)研究之前根據(jù)本《模式框架》的反饋進(jìn)行調(diào)整?？蛻艚M織（百匯醫(yī)療集團(tuán)的自有醫(yī)院）提供的人類(lèi)反饋也內(nèi)置在每個(gè)算法中，以提高精確性，同時(shí)還包括手動(dòng)覆蓋（manual override protocol）協(xié)議，以確保在必要時(shí)安全終止這些算法。這就確保了該算法始終處于人類(lèi)的控制之下，并且符合醫(yī)學(xué)界公認(rèn)的行善（beneficence）、非惡意（non-maleficence）和社會(huì)正義的倫理原則。