侯 瀅，史勵(lì)柯，侯建平，李亞軍**

(1 陜西中醫(yī)藥大學(xué)人文管理學(xué)院，陜西 西安 712046，30783077@qq.com;2 蒙特克萊爾州立大學(xué)，新澤西 07003)

人類正在逐漸步入算法為核心的智能治理時(shí)代，無處不在的算法將催生出以人工智能為驅(qū)動(dòng)力的新型經(jīng)濟(jì)和社會(huì)形式。所謂的“智能”，即由算法底層的簡單規(guī)則生成的復(fù)雜行為[1]。伴隨機(jī)器算法和算力的指數(shù)級提升、存儲技術(shù)的發(fā)展、圖像模式識別技術(shù)與人工神經(jīng)網(wǎng)絡(luò)算法的進(jìn)步，智能診療領(lǐng)域?qū)⑿纬珊Ａ看鎯Φ拇髷?shù)據(jù)，通過機(jī)器學(xué)習(xí)、表征學(xué)習(xí)、深度學(xué)習(xí)和自然語言處理等技術(shù)，利用算法模型協(xié)助人類醫(yī)生制定臨床診療決策，助力智能診斷、臨床決策、精準(zhǔn)治療等智能診療服務(wù)的發(fā)展[2]。但是，一項(xiàng)新技術(shù)的發(fā)展應(yīng)用離不開倫理原則的價(jià)值引導(dǎo)，人工智能涉及的倫理問題中，算法倫理居于基礎(chǔ)地位。智能診療領(lǐng)域的發(fā)展關(guān)乎民生，其涉及的算法倫理問題就更值得探討。

1 算法在智能診療場景中的應(yīng)用

數(shù)字化和信息化的變革大大提升了醫(yī)療效率。知識驅(qū)動(dòng)和數(shù)據(jù)密集的智能診療領(lǐng)域，依賴深度的機(jī)器學(xué)習(xí)算法，能夠通過強(qiáng)大的臨床數(shù)據(jù)整合與學(xué)習(xí)能力，使計(jì)算機(jī)深度學(xué)習(xí)海量醫(yī)療知識，模擬醫(yī)生思維和診斷推理，輔助醫(yī)生診療并提供可靠的診斷和治療方案[3]。以IBM的Watson個(gè)性化腫瘤治療助手為例[4]，它能夠通過智能診療系統(tǒng)輔助腫瘤科醫(yī)生進(jìn)行患者的個(gè)性化診療。Waston系統(tǒng)可以運(yùn)用自然語言理解技術(shù)，讓系統(tǒng)讀取千萬份的書籍、期刊、文獻(xiàn)等資料，應(yīng)用自然語言從研究素材中抽取疾病癥狀、診斷治療方案等信息，構(gòu)成復(fù)雜的知識圖譜。整套輔助診療方案的輸出源于智能算法下的認(rèn)知計(jì)算系統(tǒng)，分析患者癥狀和就醫(yī)記錄，結(jié)合患者病理數(shù)據(jù)和后臺的知識圖譜，從全世界醫(yī)療文獻(xiàn)中篩選信息并進(jìn)行復(fù)雜的推理，匹配與患者病情相關(guān)度最大的病例，輸出智能化、個(gè)性化、對癥的治療方案并進(jìn)行優(yōu)劣排布，按推薦方案、可選方案、不建議方案依次排列形成治療方案供醫(yī)生決策，整個(gè)輔助診療過程能夠在十秒鐘之內(nèi)完成[5]，極大地提高了診療效率。

此外，智能算法在輔助醫(yī)療影像識別方面也優(yōu)勢明顯。它能夠通過人工智能技術(shù)對常用醫(yī)療影像學(xué)技術(shù)掃描圖像和手術(shù)視頻等進(jìn)行深度分析處理，運(yùn)用圖像識別的感知環(huán)節(jié)對影像進(jìn)行分析，對海量影像和診斷數(shù)據(jù)進(jìn)行神經(jīng)元網(wǎng)絡(luò)深度學(xué)習(xí)訓(xùn)練，輔助醫(yī)生進(jìn)行疾病診斷和治療。在現(xiàn)階段的應(yīng)用場景中，美國企業(yè)Enlitic就將深度學(xué)習(xí)算法模型應(yīng)用于惡性腫瘤檢測中，該公司開發(fā)的AI系統(tǒng)在針對癌癥檢測的準(zhǔn)確率曾超越四位頂級放射科醫(yī)生的診斷。甚至，該系統(tǒng)還曾診斷出人類醫(yī)生無法診斷出的7%的癌癥[6]。與人類醫(yī)生的診斷不同，智能算法模型具備在不同終端上傳輸無差別“診斷經(jīng)驗(yàn)”的能力，只要算法模型一致，診斷路徑就是一致的。因此，伴隨智能影像識別系統(tǒng)診斷水平的提升和實(shí)用性的普及，有望實(shí)現(xiàn)不同診斷條件下診斷結(jié)果的標(biāo)準(zhǔn)化和優(yōu)質(zhì)化，這將極大地節(jié)省醫(yī)院相關(guān)科室的人力成本，提升影像診斷和病理診斷的質(zhì)量和效率。

伴隨著算法的不斷突破和硬件設(shè)備的不斷更新，人工智能技術(shù)在醫(yī)療診斷領(lǐng)域的優(yōu)勢逐步呈現(xiàn)。醫(yī)療領(lǐng)域長期存在資源不足和分配不均的問題，通過人工智能系統(tǒng)輔助診斷決策，能夠極大地提高診斷準(zhǔn)確率和診療效率。而在智能診斷的構(gòu)成要素中，核心算法決定了智能系統(tǒng)以何種方式從海量醫(yī)療數(shù)據(jù)中自動(dòng)分析獲得規(guī)律，如何利用規(guī)律對未知數(shù)據(jù)進(jìn)行預(yù)測，進(jìn)而影響診療決策方案的提出。然而，沒有算法是完美的。智能時(shí)代的算法衍生出的數(shù)字化醫(yī)療領(lǐng)域的革新，在大幅度提升診療效率的同時(shí)，也必然會(huì)存在倫理和風(fēng)險(xiǎn)問題。對相關(guān)問題的探討與思考，將會(huì)影響我們是否能夠更好地?fù)肀н@一新興科技。

2 智能診療領(lǐng)域涉及的算法倫理風(fēng)險(xiǎn)

任何新科技的發(fā)展都需要來自倫理層面的規(guī)制，智能算法在診療領(lǐng)域的應(yīng)用也不例外。它能夠?qū)崿F(xiàn)高效的數(shù)據(jù)計(jì)算和精準(zhǔn)的決策分析，在一定程度上解決當(dāng)前醫(yī)療領(lǐng)域的痛點(diǎn)。伴隨智能算法在輔助診療決策方面的成熟，它涉及的算法倫理風(fēng)險(xiǎn)也越來越值得關(guān)注。

2.1 算法歧視問題

技術(shù)有價(jià)值屬性，算法也有價(jià)值表達(dá)。臨床醫(yī)療數(shù)據(jù)的來源和算法開發(fā)設(shè)計(jì)人員的價(jià)值觀也會(huì)影響算法的價(jià)值主張。一旦算法模型選取的訓(xùn)練數(shù)據(jù)集輸出的平均值與真實(shí)模型的輸出值之間存在差異，就會(huì)形成算法歧視[7]。醫(yī)療數(shù)據(jù)的來源和選取極其重要，數(shù)據(jù)的不當(dāng)輸入可能引起算法歧視。如果原始數(shù)據(jù)存在缺乏代表性、潛在偏差、數(shù)據(jù)質(zhì)量和準(zhǔn)確性等問題，算法執(zhí)行過程就很難客觀反映現(xiàn)實(shí)，輸出的決策結(jié)果也極有可能帶有偏見。在一些罕見病或新疾病的診療中，就曾出現(xiàn)過因醫(yī)療數(shù)據(jù)閾值過窄，導(dǎo)致算法輸出無效或出現(xiàn)錯(cuò)誤的診療方案[8]。

但是，算法并非價(jià)值中立，也可能帶有人為歧視。開發(fā)設(shè)計(jì)者的價(jià)值觀、偏好和利益導(dǎo)向都可能造成因年齡、性別、種族、地區(qū)等特征產(chǎn)生的不公平現(xiàn)象，最終影響診斷決策的客觀性。不僅如此，算法也會(huì)產(chǎn)生習(xí)得性歧視。機(jī)器算法會(huì)在自我學(xué)習(xí)、適應(yīng)和改進(jìn)算法的過程中，從交互中習(xí)得人類社會(huì)既有的歧視。算法歧視可能造成智能診療應(yīng)用各場景中的不平等現(xiàn)象，對被歧視個(gè)體和整個(gè)社會(huì)而言，都存在多重不利影響。

2.2 算法黑箱問題

智能診療領(lǐng)域基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，將抓取的數(shù)據(jù)分為數(shù)以千萬計(jì)的變量，進(jìn)行自動(dòng)加權(quán)計(jì)算，基于智能決策算法輸出結(jié)果。由于涉及仿生學(xué)基礎(chǔ)的數(shù)學(xué)模型和極其復(fù)雜的計(jì)算過程，用戶并不清楚算法的目標(biāo)和意圖，也無從獲悉算法設(shè)計(jì)者、實(shí)際控制者以及機(jī)器生成內(nèi)容的責(zé)任歸屬等信息。甚至，算法模型中有時(shí)還存在一些超參數(shù)，這些超參數(shù)如何影響決策結(jié)果，大多數(shù)時(shí)候我們不得而知。在涉及人工智能輔助診療決策時(shí)，形成的算法黑箱問題就會(huì)引發(fā)更多憂慮和質(zhì)疑。

現(xiàn)階段，算法黑箱可以說是人工智能技術(shù)的一種缺陷。比如IBM Watson系統(tǒng)，它的診療方案是通過抓取海量文獻(xiàn)和臨床數(shù)據(jù)，通過算法分析得出輔助決策。但如何選取文獻(xiàn)的抓取，抓取不同的文獻(xiàn)對輸出的診療方案有何影響，醫(yī)療專業(yè)人士尚不能清晰了解[9]。那么，在相對復(fù)雜的診療輔助決策中，算法黑箱問題就會(huì)成為監(jiān)管難點(diǎn)。

2.3 算法歸責(zé)問題

伴隨近年來醫(yī)患矛盾的不斷加劇，智能診療涉及的算法歸責(zé)問題也將產(chǎn)生深遠(yuǎn)的社會(huì)影響。在我國，傳統(tǒng)醫(yī)療領(lǐng)域一直奉行醫(yī)療損害責(zé)任。當(dāng)醫(yī)療機(jī)構(gòu)及醫(yī)務(wù)人員在醫(yī)療過程中因過失造成患者人身損害時(shí)，應(yīng)承擔(dān)以損害賠償為主要方式的侵權(quán)責(zé)任。在算法輔助診療決策的場景中，如果因?yàn)樗惴ㄈ毕菔贯t(yī)生在病情檢驗(yàn)和診斷，或診療方案的選擇中做出錯(cuò)誤判斷，對患者造成一定傷害時(shí)，人工智能系統(tǒng)卻無法對自己的決策負(fù)責(zé)。此外，實(shí)際應(yīng)用場景中還有可能涉及責(zé)任主體多元、損害原因各異、責(zé)任份額不同等問題，一旦因算法問題造成醫(yī)療事故，就可能因?yàn)樨?zé)任錯(cuò)綜復(fù)雜而使算法歸責(zé)難度增加。

2.4 算法安全問題

智能診療應(yīng)用的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)算法多為動(dòng)態(tài)學(xué)習(xí)算法，如果存在算法缺陷，極有可能造成診斷失誤，損害人類健康，甚至剝奪人類生命。因?yàn)檫@些算法會(huì)模擬人腦的神經(jīng)網(wǎng)絡(luò)，設(shè)置層層輸入、層層輸出的數(shù)據(jù)連接，運(yùn)用海量數(shù)據(jù)進(jìn)行運(yùn)算分析，并輸出決策結(jié)果。一旦算法出現(xiàn)錯(cuò)誤，輸出結(jié)果將會(huì)導(dǎo)致更大的錯(cuò)誤。IBM Watson系統(tǒng)就曾因運(yùn)用錯(cuò)誤的數(shù)據(jù)集訓(xùn)練，被醫(yī)學(xué)專家發(fā)現(xiàn)推薦了不安全的治療建議。相比臨床醫(yī)生可能出現(xiàn)的某次誤診，算法的安全缺陷可能會(huì)危及更多患者[10]。因此，采用成熟可靠的算法模型，保障人類的生命健康，應(yīng)是智能醫(yī)療決策系統(tǒng)的首要要求。

此外，算法漏洞也可能被心懷不軌的人惡意操縱或被黑客攻擊，若數(shù)據(jù)庫或算法模型被篡改，將極大影響決策結(jié)果。那么，算法模型就不再可靠，也不再值得被信賴。因此，算法安全問題能否被有效解決，關(guān)系著智能診療決策系統(tǒng)能否被大規(guī)模廣泛采用。

3 探索智能診療領(lǐng)域的算法治理路徑

智能診療領(lǐng)域的算法治理是一項(xiàng)長期復(fù)雜的工程，需要算法的設(shè)計(jì)者、開發(fā)者、使用者、立法者、監(jiān)管者等相關(guān)主體協(xié)同構(gòu)筑良性的技術(shù)運(yùn)作生態(tài)?，F(xiàn)階段，關(guān)于算法倫理與治理的研究尚不成熟，亟待一個(gè)可行的思考框架，而本文正是一種對可行算法治理路徑的嘗試探索。

3.1 探尋算法模型的可解釋性

算法治理領(lǐng)域長久以來都在提倡人工智能算法決策的可解釋性。算法的可解釋性是指對算法模型內(nèi)部機(jī)制和對算法模型結(jié)果的理解[11]。機(jī)器學(xué)習(xí)模型的可解釋性越高，人們就越容易理解它為什么作出某些決定或預(yù)測。因此，業(yè)界普遍提倡在建模階段輔助開發(fā)人員理解模型，進(jìn)行模型的對比選擇，必要時(shí)優(yōu)化調(diào)整模型；在投入運(yùn)行階段，向業(yè)務(wù)方解釋模型的內(nèi)部機(jī)制，對模型結(jié)果進(jìn)行解釋。醫(yī)療領(lǐng)域?qū)λ惴Ｐ偷目尚哦纫髽O高，因?yàn)樗惴Ｐ偷慕Y(jié)果通常會(huì)直接決定患者的生死與健康，所以即使機(jī)器學(xué)習(xí)模型在區(qū)分惡性腫瘤和不同類型的良性腫瘤方面的準(zhǔn)確性很高，我們依然需要專家來解釋機(jī)器學(xué)習(xí)模型是如何決策的，這樣才能幫助醫(yī)生信任和使用機(jī)器學(xué)習(xí)模型來支持他們工作。

算法模型具有可解釋的關(guān)鍵是透明度、質(zhì)疑能力和人類理解模型決策的難易程度。我們需要了解，是什么驅(qū)動(dòng)了模型的預(yù)測？為什么模型會(huì)作出某個(gè)決定？我們?nèi)绾涡湃文Ｐ皖A(yù)測？若能夠了解模型輸入變量如何工作，模型的預(yù)測如何根據(jù)輸入變量的值而變化，使用者就能提升對算法模型的評估信任。換言之，如果醫(yī)生不信任算法模型或預(yù)測，他們就不會(huì)使用它。因此，在比較模型時(shí)，除了模型性能，如果模型的決策比其他模型的決策更容易理解，那么模型被認(rèn)為比其他模型具有更好的可解釋性。

當(dāng)然，解釋模型如何對業(yè)務(wù)起作用，確實(shí)在技術(shù)上具有一定難度，有時(shí)需要在算法模型性能和算法黑箱問題上做出妥協(xié)和平衡。比如，若應(yīng)用簡單的線性模型或基于樹的模型，雖然很容易解釋模型為什么根據(jù)預(yù)測作出決策，但可能需要犧牲模型性能。由于線性模型的高偏差和高方差等固有問題，集合模型和深度學(xué)習(xí)模型系列通常會(huì)產(chǎn)生更好的性能，但此類模型通常被認(rèn)為是算法黑箱模型，很難解釋模型如何作出決定。

3.2 明確算法決策的歸責(zé)機(jī)制

智能診斷決策場景中，誰最終對算法提供的診斷決策負(fù)責(zé)，誰來承擔(dān)診斷過錯(cuò)，是一個(gè)廣為爭議的問題。我們探尋這一領(lǐng)域的歸責(zé)問題，應(yīng)保障責(zé)任承擔(dān)的公平性與科學(xué)性，在遵循我國現(xiàn)有的醫(yī)療侵權(quán)行為法律制度的同時(shí)，結(jié)合智能診療系統(tǒng)造成損害的原因與場景歸責(zé)。由于診療過失的問題中，往往存在“多因一果”的情況，建議運(yùn)用原因力規(guī)則判斷不同責(zé)任主體所應(yīng)負(fù)擔(dān)的責(zé)任份額，分別對診斷責(zé)任主體和治療責(zé)任主體歸責(zé)，在責(zé)任承擔(dān)中充分考慮原因力的比例和過錯(cuò)的大小。

此外，建立智能算法責(zé)任機(jī)制，應(yīng)明確算法涉及的不同主體角色的職責(zé)。第一，應(yīng)逐步建設(shè)人工智能產(chǎn)品標(biāo)準(zhǔn)，使開發(fā)者明確其開發(fā)產(chǎn)品所使用的算法需要滿足保障人體健康和人身、財(cái)產(chǎn)安全的國家標(biāo)準(zhǔn)或行業(yè)標(biāo)準(zhǔn)，避免出現(xiàn)因算法缺陷而導(dǎo)致的缺陷產(chǎn)品，加強(qiáng)行業(yè)安全規(guī)范。第二，智能診斷系統(tǒng)應(yīng)在算法運(yùn)行之時(shí)，持續(xù)對決策系統(tǒng)進(jìn)行記錄、評估和反饋，便于追溯算法決策的責(zé)任主體。第三，建議探索第三方智能算法責(zé)任保險(xiǎn)，由于可能存在既無法歸責(zé)使用者、也不宜歸責(zé)開發(fā)者的診斷過錯(cuò)，這樣可以及時(shí)為受損害的患者提供救濟(jì)，分擔(dān)開發(fā)者和使用者風(fēng)險(xiǎn)，保障行業(yè)健康發(fā)展。

3.3 構(gòu)筑算法倫理的價(jià)值嵌入

智能算法在各領(lǐng)域的應(yīng)用，不僅僅是科技創(chuàng)新，也可能是一場影響深遠(yuǎn)的社會(huì)倫理試驗(yàn)。人工智能有望實(shí)現(xiàn)可計(jì)算的感知、認(rèn)知和行為，在功能上模擬人的智能和行為，使機(jī)器具有一種準(zhǔn)人格或擬主體的特性，因此，人工智能涉及的倫理問題備受關(guān)注[12]。我們應(yīng)考慮構(gòu)筑一個(gè)可執(zhí)行的算法倫理機(jī)制，通過算法給智能機(jī)器嵌入人類的價(jià)值觀和規(guī)范，讓他們具有和人類一樣的倫理道德。在算法中遵循道德規(guī)范的“善”，使智能決策系統(tǒng)具有功能性道德，將人類所倡導(dǎo)或可接受的倫理理論和規(guī)范轉(zhuǎn)換為可規(guī)范的倫理算法和操作規(guī)程，用負(fù)載價(jià)值內(nèi)涵的道德代碼為智能決策系統(tǒng)編寫倫理算法。醫(yī)療健康領(lǐng)域的智能決策系統(tǒng)應(yīng)當(dāng)將倫理價(jià)值嵌入在算法設(shè)計(jì)與開發(fā)中，并能夠?qū)ο到y(tǒng)作出的決策進(jìn)行倫理層面的評估，避免出現(xiàn)倫理沖突。

此外，我們?nèi)匀粺o法忽略人的主觀價(jià)值導(dǎo)向?qū)λ惴Ｐ偷挠绊?。算法決策程序滲透著研發(fā)者的道德素養(yǎng)，因此，規(guī)范倫理教育、增進(jìn)算法設(shè)計(jì)者和開發(fā)者的倫理自覺，確保每位技術(shù)專家得到教育、培訓(xùn)和賦權(quán)，并在自主和智能系統(tǒng)的設(shè)計(jì)和開發(fā)中優(yōu)先考慮倫理問題。

3.4 建立決策可信的算法審查和監(jiān)管機(jī)制

算法是人工智能自主決策的關(guān)鍵，既然人類將決策權(quán)讓渡給算法，為保證決策可信，必須構(gòu)筑算法的審查機(jī)制?！缎乱淮斯ぶ悄馨l(fā)展規(guī)劃》指出需要實(shí)現(xiàn)智能算法設(shè)計(jì)、研發(fā)和應(yīng)用等全流程的監(jiān)管和審核，建立健全公開的智能技術(shù)審查體系，建設(shè)應(yīng)用監(jiān)督和設(shè)計(jì)歸責(zé)并行的監(jiān)管結(jié)構(gòu)[13]。

智能診療領(lǐng)域的算法審查與監(jiān)督機(jī)制，基礎(chǔ)在于對醫(yī)療數(shù)據(jù)的規(guī)范，包括數(shù)據(jù)收集、數(shù)據(jù)挖掘、數(shù)據(jù)運(yùn)算和數(shù)據(jù)使用的規(guī)制。算法設(shè)計(jì)者首先應(yīng)該對訓(xùn)練數(shù)據(jù)的來源及可靠性加以說明；其次要監(jiān)控算法的運(yùn)行狀態(tài)和運(yùn)行結(jié)果。算法設(shè)計(jì)機(jī)構(gòu)還應(yīng)記錄模型、算法、數(shù)據(jù)和具體決策，以便在解決出現(xiàn)的問題或依法監(jiān)管時(shí)有據(jù)可查。對錯(cuò)誤決策也可以進(jìn)行調(diào)查并予以糾正。算法應(yīng)用機(jī)構(gòu)應(yīng)采取可靠的技術(shù)手段對其算法的程序進(jìn)行驗(yàn)證，盡量減少潛在的風(fēng)險(xiǎn)及危害。同時(shí)，審查和監(jiān)管都需要依靠行政力量和法律手段，可考慮建立專門的算法監(jiān)管機(jī)構(gòu)，對智能診療決策體系涉及的算法進(jìn)行風(fēng)險(xiǎn)評估、調(diào)查算法系統(tǒng)涉嫌侵權(quán)等情況、為其他監(jiān)管機(jī)構(gòu)提供關(guān)于算法系統(tǒng)的建議。算法的審查和監(jiān)管機(jī)制應(yīng)當(dāng)涉及多部門協(xié)作，構(gòu)建一個(gè)確切原則、標(biāo)準(zhǔn)和價(jià)值的體系，推動(dòng)算法的決策可信。

4 結(jié)語

人工智能賦能診療領(lǐng)域應(yīng)用前景廣闊，能夠有效滿足人們?nèi)找嬖鲩L的健康需求，也必然會(huì)帶來巨大的行業(yè)變革。算法是人工智能落地醫(yī)療健康領(lǐng)域的基石，面對它所帶來的倫理風(fēng)險(xiǎn)，有必要采取預(yù)防性的治理措施。本文僅僅是對智能診療領(lǐng)域的算法倫理和治理問題的簡要分析，算法治理實(shí)現(xiàn)會(huì)伴隨技術(shù)進(jìn)步逐步落實(shí)，當(dāng)然也需要依賴各相關(guān)領(lǐng)域協(xié)同治理。對該領(lǐng)域問題的持續(xù)探討，有利于在提升算法倫理約束和完善治理策略方面作出積極推動(dòng)，建立智能診療領(lǐng)域的算法治理信任。