国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

人工智能醫(yī)學(xué)倫理問題及對(duì)策研究*

2020-02-16 23:31:03
醫(yī)學(xué)與哲學(xué) 2020年13期
關(guān)鍵詞:倫理醫(yī)學(xué)人工智能

張 榮 徐 飛

1 醫(yī)學(xué)倫理問題芻議

醫(yī)學(xué)智能體是集基礎(chǔ)醫(yī)學(xué)、臨床醫(yī)學(xué)、基因?qū)W、計(jì)算機(jī)科學(xué)、信號(hào)分析、控制論、心理學(xué)、倫理學(xué)于一體的綜合性交叉學(xué)科。作為醫(yī)生智慧在機(jī)器上的延伸,醫(yī)學(xué)智能體通過研究智能的實(shí)質(zhì)并模擬醫(yī)生的思維與行為,讓機(jī)器具備識(shí)別、歸納推理、決策分析的高層次功能[1]。本質(zhì)上,醫(yī)學(xué)智能體是人工智能的一個(gè)分支,其研究的主要目標(biāo)是使機(jī)器能夠代替醫(yī)生完成復(fù)雜而繁瑣的工作,如醫(yī)學(xué)影像分析、醫(yī)學(xué)診斷、疾病預(yù)測(cè)、圖像分析(放射學(xué)、組織學(xué))、健康管理等[2]。

自1956年提出人工智能一詞開始,人工智能已經(jīng)逐漸浸入到醫(yī)學(xué)領(lǐng)域的方方面面,并為人類的健康管理與疾病診斷帶來極大的便利。創(chuàng)業(yè)公司Enlitic研制基于深度學(xué)習(xí)的癌癥檢測(cè)系統(tǒng),在胸部CT影像上的肺癌檢出率超過醫(yī)生;同時(shí),該系統(tǒng)從數(shù)十億個(gè)既往臨床案例中提取醫(yī)學(xué)界專家的治療方案,通過深度學(xué)習(xí)網(wǎng)絡(luò)檢查數(shù)百萬幅醫(yī)學(xué)影像,以達(dá)到自動(dòng)識(shí)別疾病并作出診斷的效果[3];IBM設(shè)計(jì)的Watson系統(tǒng)則通過學(xué)習(xí)大量數(shù)據(jù)和經(jīng)驗(yàn),從而分析病人的醫(yī)學(xué)信息,幫助醫(yī)生制定可靠的醫(yī)療方案;國(guó)內(nèi)視見醫(yī)療推出的人工智能放射輔助診斷系統(tǒng)、人工智能放療輔助勾勒系統(tǒng)和人工智能病理輔助診斷系統(tǒng),可以自動(dòng)對(duì)病灶進(jìn)行標(biāo)注,并自動(dòng)完成病灶定性診斷、定量分析及三維建模,以及提供治療策略、病情發(fā)展預(yù)測(cè)等,從而幫助醫(yī)生更加高效、準(zhǔn)確地完成病癥診斷和治療方案設(shè)計(jì)。醫(yī)療領(lǐng)域深度學(xué)習(xí)公司Airdoc目前已經(jīng)掌握了世界領(lǐng)先的影像識(shí)別能力,結(jié)合數(shù)學(xué)、醫(yī)學(xué)知識(shí)和深度學(xué)習(xí)算法后,在人類醫(yī)學(xué)專家的幫助下,在心血管、腫瘤、神經(jīng)、五官等領(lǐng)域建立了多個(gè)精準(zhǔn)深度學(xué)習(xí)醫(yī)學(xué)輔助診斷模型,取得了良好的進(jìn)展[4]??梢钥闯?,經(jīng)過近兩年的發(fā)展,基于深度學(xué)習(xí)的醫(yī)學(xué)影像輔助診斷技術(shù)在某些特定病癥上已經(jīng)達(dá)到和多年臨床醫(yī)生相當(dāng)?shù)乃?,而且處理速度要快很多。以深度學(xué)習(xí)為代表的人工智能技術(shù)在大數(shù)據(jù)和高性能處理器的驅(qū)動(dòng)下,能夠從復(fù)雜環(huán)境中選擇最合理的行為,獲得最優(yōu)的結(jié)果。另一方面,大數(shù)據(jù)的建立有利于構(gòu)建智能算法訓(xùn)練、學(xué)習(xí)與測(cè)試的基礎(chǔ)。大數(shù)據(jù)平臺(tái)以智能算法為核心,通過實(shí)時(shí)獲取臨床與非臨床數(shù)據(jù),并通過大數(shù)據(jù)建模分析,對(duì)人類的器官組織進(jìn)行全方位建模,對(duì)目標(biāo)器官建立深度感知,有利于幫助醫(yī)生建立智能輔助診斷和精準(zhǔn)需求數(shù)據(jù)庫(kù),實(shí)現(xiàn)真正的智能醫(yī)學(xué)診治。

人工智能是客觀物質(zhì)世界發(fā)展到一定階段的產(chǎn)物,本質(zhì)上也是一種生產(chǎn)力,在造福人類的同時(shí),也產(chǎn)生了危及人類的各種不良后果。在智慧醫(yī)療領(lǐng)域,醫(yī)療大數(shù)據(jù)在輔助診斷、精準(zhǔn)醫(yī)療和疾病風(fēng)險(xiǎn)評(píng)估與預(yù)測(cè)等方面發(fā)揮了巨大作用,但同時(shí)也引發(fā)了數(shù)據(jù)安全、隱私窺視、數(shù)據(jù)獨(dú)裁、數(shù)據(jù)主體自主權(quán)不足和社會(huì)不公平加劇等倫理風(fēng)險(xiǎn)和社會(huì)問題[5]。

醫(yī)學(xué)大數(shù)據(jù)的最大貢獻(xiàn)之一是促進(jìn)了智能醫(yī)學(xué)的發(fā)展。國(guó)內(nèi)外科研機(jī)構(gòu)已經(jīng)針對(duì)不同的疾病建立了大量的數(shù)據(jù)集,并隨著5G網(wǎng)絡(luò)的普及,更多更大的數(shù)據(jù)集將建立起來。例如,與肺癌相關(guān)的大數(shù)據(jù)包括臨床數(shù)據(jù)、CT/MRI/PET影像數(shù)據(jù)、基因數(shù)據(jù)、病理數(shù)據(jù)、電子病歷等。根據(jù)最近的系統(tǒng)文獻(xiàn)回顧分析可知,大多數(shù)肺癌大數(shù)據(jù)來自臨床,其余數(shù)據(jù)則是由基因?qū)W和放射影像組成[5]。這些數(shù)據(jù)來源、類別、形式多種多樣,呈現(xiàn)信息互補(bǔ)、多模態(tài)及深層次的特征,且數(shù)據(jù)的收集、處理和存儲(chǔ)過程中也存在隱私泄露的倫理風(fēng)險(xiǎn)。尤其是在涉及諸如健康信息之類的敏感數(shù)據(jù)時(shí),患者會(huì)擔(dān)心信息的泄露可能導(dǎo)致保險(xiǎn)公司或雇主獲得歧視信息。實(shí)際上,這也是醫(yī)療大數(shù)據(jù)倫理領(lǐng)域面對(duì)的主要問題[6]。也就是說,智能醫(yī)學(xué)的應(yīng)用必須基于基本的道德價(jià)值觀,例如自治、人性、尊嚴(yán)和尊重。

保護(hù)隱私必須是智能醫(yī)學(xué)領(lǐng)域各個(gè)層面設(shè)計(jì)的一部分,它包括信息的可靠性、完整性和可用性。侵犯隱私權(quán)包括在數(shù)據(jù)獲取、發(fā)布和使用過程中的侵權(quán)行為,以及未能保護(hù)數(shù)據(jù)泄露的行為[7]。傳統(tǒng)意義上理解的隱私權(quán)表示能夠單獨(dú)或者與其他信息結(jié)合識(shí)別特定自然人的各種信息,適用于與可識(shí)別的自然人相關(guān)聯(lián)的數(shù)據(jù)。如果無法從某些數(shù)據(jù)中識(shí)別出相應(yīng)的個(gè)人,則該信息不再被視為個(gè)人信息,大多數(shù)隱私條款也不再不適用。因此,數(shù)據(jù)倫理的一個(gè)普遍規(guī)則是,在共享數(shù)據(jù)之前,必須刪除任何標(biāo)識(shí)信息,以防止身份泄露。然而,智能醫(yī)學(xué)研究過程中匿名化數(shù)據(jù)阻礙了算法仿真與工程應(yīng)用的發(fā)展。因此,在大數(shù)據(jù)分析中,必須確保知情同意。信息大數(shù)據(jù)是為了揭示以前沒有發(fā)現(xiàn)的規(guī)律,找到最本質(zhì)的特征。醫(yī)療大數(shù)據(jù)智能分析在未來疾病診斷方面具有較高的價(jià)值,但是數(shù)據(jù)倫理要求從特定目的的協(xié)議轉(zhuǎn)向透明和有效的數(shù)據(jù)治理。

總的來說,人工智能的發(fā)展不僅改變了人類的生活方式,而且改變了其生產(chǎn)方式,對(duì)社會(huì)結(jié)構(gòu)、經(jīng)濟(jì)生產(chǎn)和科技倫理產(chǎn)生不可忽視的困難與挑戰(zhàn)。然而,由于現(xiàn)有的科技倫理理論仍然需要進(jìn)行大量的測(cè)試,因此目前集中研究這個(gè)問題也絕非易事。本文將根據(jù)現(xiàn)有的科學(xué)研究成果,分析如何將科技實(shí)踐與倫理實(shí)踐進(jìn)行整合,并采取相應(yīng)措施以防止智能系統(tǒng)超出人類控制。在此基礎(chǔ)上,進(jìn)一步探討了人工智能技術(shù)發(fā)展和設(shè)計(jì)中的倫理考慮,為研究人員在人工智能設(shè)計(jì)中提供了倫理性考慮的指導(dǎo)標(biāo)準(zhǔn)。

2 基于機(jī)器學(xué)習(xí)的智能醫(yī)學(xué)及其倫理問題

目前,人工智能算法的智力水平與醫(yī)生智力水平相當(dāng),甚至更高,但其算法也僅限于某一個(gè)領(lǐng)域。例如:臺(tái)大醫(yī)院開發(fā)的“骨髓抹片AI自動(dòng)分類計(jì)數(shù)系統(tǒng)”是一款針對(duì)骨髓抹片分析的智能影像分析系統(tǒng),其計(jì)算時(shí)間比人工減少50%,準(zhǔn)確率增加12%,其上線以來大大提高了檢驗(yàn)科效率。然而,該系統(tǒng)僅僅用于骨髓抹片,不能直接用于血液檢驗(yàn)。先進(jìn)的認(rèn)知技能可以使人工智能比人類更好地執(zhí)行任務(wù)。人工智能在新領(lǐng)域的應(yīng)用可以為醫(yī)療診斷、疾病篩查及信息化建設(shè)帶來有效的、更安全甚至是令人驚訝的成就,同時(shí)也可以大規(guī)模地提高生產(chǎn)力。然而,當(dāng)人工智能的認(rèn)知操作在醫(yī)療領(lǐng)域里實(shí)現(xiàn)時(shí),新的挑戰(zhàn)也會(huì)隨機(jī)產(chǎn)生。

盡管智能醫(yī)學(xué)的應(yīng)用前景廣闊,但在操作過程中仍然出現(xiàn)了倫理問題。正如之前描述的那樣,倫理規(guī)范是一項(xiàng)艱難的工作,大數(shù)據(jù)分析和人工智能處理的發(fā)展使之更加復(fù)雜。許多智能算法都是一個(gè)“黑匣子”;也就是說,模型受各種參數(shù)和海量輸入數(shù)據(jù)驅(qū)動(dòng),但用戶并不清楚如何獲得輸出。在很多情況下,這并不是因?yàn)槿狈I(yè)知識(shí),而是因?yàn)獒t(yī)學(xué)智能體執(zhí)行過程很難用人類的語言描述和解釋,并且智能分析的輸出能夠獲得意想不到的結(jié)論。因此,如果不能向患者充分解釋機(jī)器的使用方法,很難獲得患者的同意。此外,如果患者不信任醫(yī)學(xué)智能體的診斷過程,他們可能希望展示算法是如何做出某個(gè)決定的,這在某些情況下可能被證明是不可能的。

電氣和電子工程師協(xié)會(huì)(IEEE)全球倫理倡議聲明[6],“最近在機(jī)器學(xué)習(xí)和感知方面的突破將使研究人員能夠探索到自下而上的智能體設(shè)計(jì)方法,而在這個(gè)過程中,人工智能系統(tǒng)學(xué)習(xí)其環(huán)境和人類價(jià)值觀,和一個(gè)孩子慢慢學(xué)會(huì)某些行為相類似,而這一過程是安全和可以接受的”。機(jī)器學(xué)習(xí)算法已被證實(shí)在識(shí)別和分析大數(shù)據(jù)模型方面很有效。利用大數(shù)據(jù)訓(xùn)練認(rèn)知算法,可提高其識(shí)別能力和性能。眾所周知,傳統(tǒng)的計(jì)算機(jī)算法可以分析大量數(shù)據(jù),并根據(jù)程序員創(chuàng)建的特定指令和規(guī)則執(zhí)行相應(yīng)的信息處理和服務(wù)。機(jī)器學(xué)習(xí)通常是一組規(guī)則和指令,以算法的形式編寫,使機(jī)器按照特定的模式逐步執(zhí)行任務(wù);然而,通過使用新獲得的數(shù)據(jù)并優(yōu)化出新的指令和步驟來執(zhí)行非特定任務(wù),計(jì)算機(jī)逐漸獲得更靈活的能力,并可以相應(yīng)地在不同的情況下工作[3]。目前,機(jī)器學(xué)習(xí)已經(jīng)在許多領(lǐng)域和產(chǎn)品中得到了應(yīng)用,因此在對(duì)數(shù)據(jù)收集及數(shù)據(jù)處理上產(chǎn)生了更多需求,同時(shí)增加了以犧牲用戶隱私和過度分享個(gè)人或公眾信息的風(fēng)險(xiǎn)。對(duì)于人工智能使用過程中,提供特定領(lǐng)域下的透明數(shù)據(jù)用以評(píng)估性能是很必要的,因此數(shù)據(jù)訓(xùn)練與測(cè)試過程中倫理價(jià)值觀和應(yīng)用規(guī)范之間的沖突不可避免。若系統(tǒng)的算法是用大數(shù)據(jù)訓(xùn)練和選擇優(yōu)化來實(shí)現(xiàn),當(dāng)數(shù)據(jù)質(zhì)量低,垃圾數(shù)據(jù)多時(shí),再科學(xué)的算法也不能得到科學(xué)的決策。因此,如何在人工智能視域下將倫理實(shí)踐與科技實(shí)踐進(jìn)行有效融合,是科學(xué)實(shí)踐下哲學(xué)路徑的重要研究方向。接下來,本文將對(duì)人工智能的發(fā)展對(duì)醫(yī)學(xué)領(lǐng)域的影響以及應(yīng)用中的潛在倫理問題進(jìn)行分析。

2.1 人工智能的發(fā)展對(duì)醫(yī)學(xué)倫理的影響

1950年,艾倫·圖靈編寫并出版了《曼徹斯特電子計(jì)算機(jī)程序員手冊(cè)》,為人工智能的出現(xiàn)奠定了基礎(chǔ)[7]。近70年的發(fā)展,人工智能已經(jīng)根植于醫(yī)學(xué)領(lǐng)域,給患者、醫(yī)生與醫(yī)院都帶來了極大的便利。人工智能與醫(yī)學(xué)的結(jié)合,極大地提高診斷效率,減少人為失誤。然而,人工智能的飛速發(fā)展與倫理研究滯后的矛盾,使得人工智能產(chǎn)生很多倫理問題,既影響人工智能的發(fā)展,也給人類帶來危害。同時(shí),由于人工智能存在于人類社會(huì)各個(gè)領(lǐng)域,在某些方面它們的智力和解決問題的能力甚至超過了人類,因此,不斷增長(zhǎng)和進(jìn)化的人工智能也對(duì)人類社會(huì)引發(fā)了許多倫理爭(zhēng)議。本文著重討論了與人工智能相關(guān)的倫理問題,包括現(xiàn)存及潛在的倫理問題。

創(chuàng)新和發(fā)展提高了人類認(rèn)識(shí)世界與改造世界能力,并加快了科技的進(jìn)步。因此,倫理學(xué)家有理由對(duì)人工智能的未來表示擔(dān)憂,同時(shí)他們也擔(dān)心任由人工智能技術(shù)不加約束地發(fā)展可能產(chǎn)生種種災(zāi)難性后果。圖靈測(cè)試給我們提供了一些關(guān)鍵線索,我們可以利用這些關(guān)鍵點(diǎn)為基礎(chǔ)對(duì)“機(jī)器會(huì)思考嗎?”這一概念進(jìn)行定義。試驗(yàn)發(fā)現(xiàn)被測(cè)試者可以提問、與測(cè)試者交談、回答測(cè)試者問題。為使計(jì)算機(jī)通過圖靈測(cè)試, 測(cè)試人員只有在不能分辨答案是否是由機(jī)器或人類給出時(shí)才算機(jī)器通過測(cè)試,因此,物理特性的缺乏和機(jī)器如何模仿人類這些問題就更讓人迷惑。圖靈測(cè)試的結(jié)果說明一個(gè)復(fù)雜的人工智能可能擁有意識(shí)。這與我們對(duì)人性的定義相矛盾,因?yàn)槲覀冎徽J(rèn)為人類自己是一種有思想的生物,是遵循著來自于我們的經(jīng)驗(yàn)和大腦組織的道德準(zhǔn)則、價(jià)值觀和自由意識(shí)進(jìn)行生活的生物。

在人工智能中設(shè)計(jì)一個(gè)特定的行為規(guī)范很重要,若某個(gè)行為可能傷害到人類,該系統(tǒng)是絕對(duì)不允許上線的。人工智能的可預(yù)測(cè)性特征對(duì)達(dá)芬奇手術(shù)機(jī)器人的使用維護(hù)與操作流程很重要,因?yàn)橹悄苁中g(shù)系統(tǒng)設(shè)計(jì)的理念是通過使用微創(chuàng)的方法,實(shí)施復(fù)雜的外科手術(shù),其主要目的是提供給醫(yī)院與患者一個(gè)支持性的環(huán)境,讓患者能夠享受平等的治療與高效率的服務(wù)。另一個(gè)重要的方面則是人工智能需要建立強(qiáng)大的防御特征以對(duì)抗誤操作和惡意編程。例如,手術(shù)導(dǎo)航系統(tǒng)在自動(dòng)定位識(shí)別病灶過程中,系統(tǒng)執(zhí)行的每一條指令都必須多方審查,避免模糊邏輯導(dǎo)致誤操作。智能體是一種模仿人類操作行為的實(shí)體,具有獨(dú)立自主的行為邏輯。僅僅靠代碼審查,只能是代碼角度滿足編碼規(guī)范,很難確定代碼背后系統(tǒng)的行為模式?,F(xiàn)有的智能設(shè)備都存在一個(gè)中央控制器來感知行為趨勢(shì),通過推斷行為的未知后果來響應(yīng)操作流程。這種模式構(gòu)建的人工智能可應(yīng)用在諸多需要特定行為的領(lǐng)域,且這些行為所帶來的后果均是安全的。也就是說,若特定場(chǎng)景設(shè)計(jì)的智能體滿足行為規(guī)范,其自主行為模式趨勢(shì)可控、準(zhǔn)確與有效,該智能體完全可以替換人類從事特定的工作。一旦智能體從事著核心任務(wù),人類智能輔助智能體完成相應(yīng)輔助工作,最終將演變成智能體與人類的主體爭(zhēng)論問題。例如,在醫(yī)學(xué)領(lǐng)域,若智能體的行為模式滿足診治要求,這就存在智能體與醫(yī)護(hù)的主體爭(zhēng)論問題。另一方面,人工智能算法在設(shè)計(jì)上可能會(huì)出現(xiàn)錯(cuò)誤,導(dǎo)致基于種族和社會(huì)經(jīng)濟(jì)階層方面不公正的結(jié)果。因此,可供人類信賴的人工智能系統(tǒng)應(yīng)該遵循以下準(zhǔn)則:(1)透明度 (用戶可見性操作);(2)可信度 (結(jié)果的可接受);(3)可審核性 (效率的易測(cè)量);(4)可靠性 (對(duì)抗性攻擊的穩(wěn)定性);(5)可恢復(fù)性 (系統(tǒng)逆向兼容)。

針對(duì)人工智能的所有應(yīng)用,確保人工智能在規(guī)范和倫理下研究的兼容性則非常有必要。來自不同領(lǐng)域的科學(xué)家和研究人員,如,生物醫(yī)學(xué)領(lǐng)域、心理學(xué)、倫理學(xué)、經(jīng)濟(jì)學(xué)、法律和政策領(lǐng)域人員,均需參與到人工智能的開發(fā)中來,確定公平、公正和平等規(guī)范的概念,確定人工智能在特定領(lǐng)域使用的可接受性和安全性,從而確保社會(huì)對(duì)人工智能行為的可預(yù)見性與可理解性[8]。

2.2 智能醫(yī)學(xué)的潛在倫理問題

盡管人工智能醫(yī)學(xué)實(shí)踐過程中倫理實(shí)踐需求也在增強(qiáng),各學(xué)術(shù)機(jī)構(gòu)也在積極制定倫理準(zhǔn)則,到目前為止仍然沒有一個(gè)廣泛共識(shí)的倫理實(shí)踐指導(dǎo)規(guī)范。雖然各地政府制定了許多科技倫理風(fēng)險(xiǎn)評(píng)估和倫理審查機(jī)制,但多數(shù)監(jiān)管流于形式,并沒有將抽象的倫理原則和規(guī)范體系落實(shí)到倫理實(shí)踐和技術(shù)細(xì)節(jié)中。技術(shù)專家在科技實(shí)踐過程中遇到的倫理問題大都靠自身的倫理底線和價(jià)值尺度進(jìn)行把控,但若不對(duì)技術(shù)倫理規(guī)范進(jìn)行約束,任其發(fā)展,其后果可能摧毀人類的生存與社會(huì)秩序。倫理實(shí)踐是科技實(shí)踐必須遵循的價(jià)值準(zhǔn)則。只有讓倫理實(shí)踐具備可操作性,才能引導(dǎo)科學(xué)實(shí)踐活動(dòng)始終向善。

人工智能倫理實(shí)踐操作需要全人類各界人士進(jìn)行充分討論、凝聚共識(shí)。只有將技術(shù)實(shí)踐與倫理實(shí)踐有效地融合,才能為全人類帶來福祉。倫理實(shí)踐和科技實(shí)踐并不是零和博弈,也不是某種阻礙關(guān)系,而是一種相互制約,彼此影響的關(guān)系。倫理實(shí)踐為科技實(shí)踐保駕護(hù)航,科技實(shí)踐為倫理實(shí)踐提供數(shù)據(jù)支撐。當(dāng)科技實(shí)踐展示出造福人類的特點(diǎn)時(shí),倫理實(shí)踐就會(huì)做出讓步,調(diào)整部分規(guī)則,例如仿生手臂、人工義眼;當(dāng)科技實(shí)踐涉及到人類根本利益時(shí),倫理則就會(huì)有絕不讓步的地方,比如說克隆人。

眾所周知,大數(shù)據(jù)是人工智能的土壤,而算法是產(chǎn)生人工智能的直接工具。人工智能的發(fā)展離不開大數(shù)據(jù)的驅(qū)動(dòng)。目前,智能醫(yī)學(xué)的算法正在以前所未有的速度收集與健康相關(guān)的臨床與非臨床數(shù)據(jù)?;颊呱傻暮A颗R床數(shù)據(jù)有助于疾病診斷算法模型的訓(xùn)練與學(xué)習(xí),醫(yī)療設(shè)備的廣泛使用使得數(shù)據(jù)獲取的門檻大大降低;尤其是5G網(wǎng)絡(luò)的普及,以可穿戴設(shè)備為代表的邊緣網(wǎng)絡(luò)采集了大量的人體非臨床數(shù)據(jù),進(jìn)一步促進(jìn)了醫(yī)學(xué)智能體全面測(cè)試與性能提升。大數(shù)據(jù)和智能信號(hào)處理在醫(yī)學(xué)領(lǐng)域的廣泛應(yīng)用,特別是醫(yī)學(xué)智能體的出現(xiàn),為實(shí)現(xiàn)精準(zhǔn)醫(yī)療國(guó)家戰(zhàn)略奠定了基礎(chǔ)。盡管智能醫(yī)學(xué)存在著巨大潛力,但通過大數(shù)據(jù)驅(qū)動(dòng)的智能算法仍然受到若干挑戰(zhàn)的阻礙。智能醫(yī)學(xué)除了克服性能、操作上的障礙,還必須形成廣泛的倫理共識(shí)和監(jiān)管規(guī)范。由于智能醫(yī)學(xué)本質(zhì)上是跨學(xué)科領(lǐng)域,在沒有監(jiān)督的情況下將大數(shù)據(jù)引入智能醫(yī)學(xué)可能會(huì)導(dǎo)致數(shù)據(jù)主體和患者的傷害和利用。隨著技術(shù)的進(jìn)步,醫(yī)學(xué)智能體的性能也將逐漸提升,同時(shí)引發(fā)倫理風(fēng)險(xiǎn)和社會(huì)問題,因此智能醫(yī)學(xué)的道德反思是非常必要的。這也是確保新興技術(shù)在倫理沖突中以有益的人類的方式運(yùn)行,也是確保新興技術(shù)實(shí)現(xiàn)為所有人,特別是窮人帶來更好診治與健康管理方法。

隨著越來越詳細(xì)的多模態(tài)數(shù)據(jù)不斷積累,算法性能也在不斷改進(jìn)。雖然智能化與數(shù)字化的疾病診治加速了精確治療的落地,其結(jié)果也令人興奮,但醫(yī)生在醫(yī)療互動(dòng)中所做的遠(yuǎn)不止簡(jiǎn)單地應(yīng)用醫(yī)療知識(shí),給患者進(jìn)行診治。智能醫(yī)療改變了醫(yī)患關(guān)系的倫理價(jià)值,將智能算法引入臨床診治意味著臨床環(huán)境中的中心關(guān)系從患者-醫(yī)生到患者-醫(yī)學(xué)智能體之間轉(zhuǎn)換。因此,誠(chéng)信、責(zé)任、義務(wù)的概念變得不確定,這種醫(yī)患關(guān)系轉(zhuǎn)移可能會(huì)對(duì)醫(yī)療服務(wù)產(chǎn)生負(fù)面影響。

在醫(yī)學(xué)研究方面,大數(shù)據(jù)驅(qū)動(dòng)的醫(yī)學(xué)智能體能夠?qū)膊〉牟煌矫孢M(jìn)行大規(guī)模測(cè)試與評(píng)價(jià)。對(duì)患者本身來說,他們提供的實(shí)時(shí)醫(yī)學(xué)數(shù)據(jù)作為直接激勵(lì),能直接促進(jìn)智能算法的發(fā)展。然而,患者自身的數(shù)據(jù)超出了現(xiàn)有隱私規(guī)定的范圍,也超出了數(shù)據(jù)獲取的規(guī)定范圍,這可能會(huì)使人們對(duì)信息的質(zhì)量和可用性產(chǎn)生懷疑。

與大數(shù)據(jù)相關(guān)的倫理問題已經(jīng)被廣泛討論過,但在智能醫(yī)學(xué)方面討論較少。隨著人工智能技術(shù)的蓬勃發(fā)展,國(guó)內(nèi)外學(xué)者對(duì)其引發(fā)的倫理問題進(jìn)行了梳理,大致可以分為五個(gè)方面:(1)人工智能技術(shù)會(huì)影響經(jīng)濟(jì)發(fā)展與社會(huì)就業(yè)[9];(2)智能體的主體資格[10];(3)人工智能對(duì)人權(quán)和隱私的侵犯及人類能力的侵蝕;(4)人權(quán)、道德、責(zé)任、環(huán)境等倫理問題;(5)人工智能的技術(shù)奇點(diǎn)不可控問題[11]。由于目前人工智能應(yīng)用遇到的倫理問題大都是在實(shí)踐過程中產(chǎn)生,而不是技術(shù)本身具備的倫理問題。其倫理實(shí)踐過程與非技術(shù)領(lǐng)域?qū)<矣龅降膫惱韱栴}類似,也就是說目前人工智能領(lǐng)域遇到的倫理實(shí)踐是能夠以現(xiàn)有的倫理理論為指導(dǎo)。但目前技術(shù)領(lǐng)域沒有滿足實(shí)際應(yīng)用的倫理實(shí)踐操作規(guī)范,主要?dú)w咎于技術(shù)專家對(duì)倫理、法務(wù)、哲學(xué)、心理學(xué)等領(lǐng)域了解不夠,且沒有形成統(tǒng)一的框架。只有將技術(shù)專家與多學(xué)科研究人員一起形成制導(dǎo)性框架,然后以自律的形式實(shí)施,才是目前解決人工智能倫理問題的關(guān)鍵。

3 智能醫(yī)學(xué)現(xiàn)實(shí)倫理沖突案例分析

人工智能領(lǐng)域出現(xiàn)的倫理問題可以歸結(jié)為科技實(shí)踐與倫理實(shí)踐的不匹配問題,只有兩者有效融合才能助力人工智能發(fā)展朝著服務(wù)全人類前進(jìn)。荷蘭特溫特大學(xué)哲學(xué)系Verbeek教授在《將技術(shù)道德化—理解與設(shè)計(jì)物的道德》[12]一書中對(duì)技術(shù)人工物和倫理道德關(guān)系進(jìn)行了分析,提出了著名的技術(shù)道德化的論斷。任何產(chǎn)品的開發(fā)都是注入了開發(fā)者的設(shè)計(jì)思想,具有明顯的意向性,反應(yīng)了某種需求目的。例如,腹部CT影像智能輔助腫瘤檢測(cè)分析助手只能對(duì)占位性腫瘤進(jìn)行檢測(cè),對(duì)明顯的血管內(nèi)皮細(xì)胞瘤卻視而不見。雖然醫(yī)療智能體并不是全能的,只能對(duì)特定領(lǐng)域的任務(wù)進(jìn)行處理。一旦其出現(xiàn)漏檢導(dǎo)致患者病情加重或死亡,其主體并不會(huì)因?yàn)槁z而傷心。在關(guān)乎生與死的問題上,患者仍然希望由醫(yī)生來做決定,而不是依賴于智能體的診斷。在實(shí)際應(yīng)用過程中,設(shè)計(jì)者是將人類的倫理道德思想物化到智能體中,也就是說對(duì)于人類進(jìn)行約束的倫理實(shí)踐準(zhǔn)則就可以轉(zhuǎn)變成對(duì)智能體的倫理嵌入。

智能體通過大數(shù)據(jù)驅(qū)動(dòng)下才能逐漸逼近人類的操作效果,但其功能有限。然而,由于智能體具有識(shí)別、分析與推理能力, 其行為模式必定與人類倫理存在沖突。因此,在設(shè)計(jì)之初就應(yīng)該評(píng)估其能引發(fā)的倫理道德風(fēng)險(xiǎn),從設(shè)計(jì)源頭進(jìn)行規(guī)范。技術(shù)實(shí)踐就是通過智能技術(shù)把倫理規(guī)范與道德準(zhǔn)則物化為智能體,促進(jìn)倫理重構(gòu)。只有在技術(shù)實(shí)踐中融合倫理實(shí)踐,才能有效防范智能體所引發(fā)的倫理風(fēng)險(xiǎn)意識(shí)。智能體是一種具有自主獨(dú)立思想,可與環(huán)境交互的實(shí)體,由數(shù)據(jù)庫(kù)、代碼、硬件平臺(tái)、機(jī)械結(jié)構(gòu)等組成,通過下載不同的可執(zhí)行程序?qū)崿F(xiàn)各種功能,其技術(shù)實(shí)踐與使用場(chǎng)景密切相關(guān)[13]。只有梳理智能體的使用場(chǎng)景,對(duì)其在使用過程中的倫理風(fēng)險(xiǎn)進(jìn)行深入分析,才能在技術(shù)實(shí)踐中將價(jià)值觀、道德規(guī)范、倫理準(zhǔn)則等注入到智能體中。同時(shí),智能體的設(shè)計(jì)體現(xiàn)了設(shè)計(jì)者的個(gè)人意志,其對(duì)智能體的設(shè)計(jì)原理、算法模型和操作流程具有主導(dǎo)權(quán)。然而,在用戶端,設(shè)計(jì)者很難掌控用戶的使用行為,其所引發(fā)的倫理風(fēng)險(xiǎn)不易掌握。例如,基因組學(xué)領(lǐng)域的突變基因篩查系統(tǒng),可以對(duì)患者的DNA采樣進(jìn)行連續(xù)檢測(cè),以找到與癌癥相關(guān)的典型突變,并將這些突變與數(shù)據(jù)庫(kù)中已知的實(shí)例進(jìn)行比對(duì),提升癌癥診斷治療的效率。然而,一旦將此技術(shù)用于基因改造,人類無形中扮演了上帝的角色??梢钥闯?,智能體與環(huán)境交互過程中出現(xiàn)的倫理風(fēng)險(xiǎn)是無法掌控的。用戶并不清楚智能體是否存在不可控的倫理風(fēng)險(xiǎn);設(shè)計(jì)者也不清楚用戶是否會(huì)將智能體置于倫理風(fēng)險(xiǎn)當(dāng)中。兩者的隔離導(dǎo)致智能產(chǎn)品不敢輕易落地。用戶不敢輕易嘗試具備倫理道德風(fēng)險(xiǎn)的智能產(chǎn)品,而設(shè)計(jì)者不敢輕易將智能產(chǎn)品推向市場(chǎng)[13]。若能將技術(shù)實(shí)踐與倫理實(shí)踐進(jìn)行融合,對(duì)設(shè)計(jì)端的技術(shù)思路與倫理規(guī)范進(jìn)行約束,做到全程可追溯;對(duì)用戶端的使用場(chǎng)景進(jìn)行監(jiān)控,同時(shí)智能產(chǎn)品由足夠的自監(jiān)督能力防止其置于倫理風(fēng)險(xiǎn)中[14]。用戶在使用智能體的過程可以看做是倫理實(shí)踐的過程,一旦使用者具備的倫理道德素養(yǎng)與設(shè)計(jì)者注入到智能體的倫理思想不匹配,智能體應(yīng)當(dāng)具備不執(zhí)行相應(yīng)指令的能力。

智能體的設(shè)計(jì)主要來自設(shè)計(jì)者的科技實(shí)踐,其正常使用過程中出現(xiàn)的任何倫理風(fēng)險(xiǎn),其責(zé)任歸于設(shè)計(jì)者。設(shè)計(jì)者對(duì)其產(chǎn)品的注入的倫理思想,需要經(jīng)各方同意的倫理規(guī)范下進(jìn)行,具備可操作性、追溯性與可控性。設(shè)計(jì)者不僅需要具備精湛的技術(shù)水平,還應(yīng)充分認(rèn)識(shí)到智能體使用過程中出現(xiàn)的倫理風(fēng)險(xiǎn),并將相應(yīng)的倫理思想注入到產(chǎn)品中。用戶操作智能體時(shí)需嚴(yán)格按照用戶手冊(cè),并在合理合規(guī)場(chǎng)景下使用。用戶的使用過程也是其倫理實(shí)踐的過程,用戶知曉任何超出使用范圍出現(xiàn)的倫理風(fēng)險(xiǎn),其用戶需承擔(dān)主要責(zé)任。

4 科技實(shí)踐下的智能醫(yī)學(xué)倫理規(guī)范芻議

人工智能是一把雙刃劍,科技實(shí)踐與倫理實(shí)踐的有效結(jié)合與匹配,是平衡創(chuàng)新與風(fēng)險(xiǎn),充分發(fā)揮正效應(yīng),有效規(guī)避負(fù)效應(yīng),促進(jìn)人工智能健康發(fā)展的關(guān)鍵。如何在設(shè)計(jì)端或用戶端建立健全可操作的理論規(guī)范顯得尤為重要。

4.1 以人為本原則

醫(yī)學(xué)智能技術(shù)的發(fā)展應(yīng)當(dāng)以增強(qiáng)公眾福祉,賦能國(guó)家發(fā)展和造福人類社會(huì)為目的[15]。醫(yī)療智能技術(shù)的應(yīng)用和推廣可以提升醫(yī)療衛(wèi)生單位診斷流程的自動(dòng)化、智能化程度,增強(qiáng)醫(yī)療衛(wèi)生單位的可視化和智能化診斷水平,降低病患的就診成本,提高就診速度,實(shí)現(xiàn)就診過程的信息全記錄和可追溯,避免醫(yī)鬧事件的發(fā)生,從而為醫(yī)療設(shè)備企業(yè)帶來顯著的經(jīng)濟(jì)效益提升,為醫(yī)療單位帶來業(yè)務(wù)水平的全面升級(jí)。智能產(chǎn)品促進(jìn)了技術(shù)的變革與生產(chǎn)力的提高,并把醫(yī)生從繁重的低效率的工作中解放出來,提高醫(yī)療診斷效率,但也可能帶來不可預(yù)測(cè)的消極影響。無論是設(shè)計(jì)端的設(shè)計(jì)者,還是用戶端的消費(fèi)者,在科技實(shí)踐與倫理實(shí)踐過程中都必須以人為本,堅(jiān)持符合科技與倫理實(shí)踐的發(fā)展觀,設(shè)計(jì)者將以人為本的思想注入到設(shè)計(jì)中,用戶采用以人為本的思想操作智能設(shè)備,最大化地保護(hù)人類的生命安全與道德底線,不應(yīng)破壞社會(huì)公正與和諧。

4.2 人機(jī)和諧原則

隨著科技的發(fā)展與技術(shù)的進(jìn)步,人工智能技術(shù)不斷迭代升級(jí),其性能指標(biāo)與用戶體驗(yàn)也在逐漸提升[16]。由于人工智能算法是一種大數(shù)據(jù)驅(qū)動(dòng)的自學(xué)習(xí)優(yōu)化算法,其本身也存在不確定性與不可靠性,雖然一定程度上促進(jìn)了技術(shù)的進(jìn)步,但也將影響用戶體驗(yàn)。因此,科技實(shí)踐過程中,科技人員應(yīng)當(dāng)以嚴(yán)謹(jǐn)?shù)膽B(tài)度、高度的責(zé)任心參與設(shè)計(jì),使得設(shè)計(jì)的產(chǎn)品與人類和諧共生。人工智能系統(tǒng)開發(fā)過程必須考慮與人類價(jià)值觀的兼容性,并遵循特定的行為準(zhǔn)則。在使用醫(yī)療智能體時(shí),必須認(rèn)識(shí)到信任的重要性,并認(rèn)識(shí)到安全指導(dǎo)和倫理發(fā)展實(shí)踐的重要性,及人工智能管理的重要性,如確保數(shù)據(jù)、算法和系統(tǒng)完整性以及對(duì)隱私和個(gè)人信息保護(hù)的重要性。

4.3 公開透明原則

科技實(shí)踐過程的設(shè)計(jì)智能產(chǎn)品,其靈魂是算法模型。由于算法的不可及性、不可理解性以及價(jià)值負(fù)載性容易使人們對(duì)算法產(chǎn)生信任危機(jī),進(jìn)行影響智能產(chǎn)品的體驗(yàn)[17]??萍紝?shí)踐全程受控且可追溯,是實(shí)現(xiàn)公開透明原則的基礎(chǔ)。該原則要求設(shè)計(jì)者在科技實(shí)踐中對(duì)其數(shù)據(jù)來源、算法模型與處理機(jī)制進(jìn)行合法、公正和客觀的公開;用戶在使用過程中也需要全程記錄日志,必要時(shí)將數(shù)據(jù)上報(bào)到服務(wù)器供大數(shù)據(jù)分析,具備處理歷史數(shù)據(jù)、行為追蹤等功能[15]。透明的醫(yī)療診斷技術(shù)應(yīng)用也會(huì)使得就診患者受益良多。比如就診過程的即時(shí)跟蹤可以讓病患對(duì)整個(gè)就診過程全透明的可追溯,一旦發(fā)生醫(yī)療糾紛可迅速排查責(zé)任方并確定賠償事宜;輔助診斷系統(tǒng)的應(yīng)用,全面提升了初診的正確率,提高了患者的滿意度。這些有利因素都將進(jìn)一步促進(jìn)輔助診斷醫(yī)療市場(chǎng)的良性發(fā)展,最終對(duì)我國(guó)衛(wèi)生醫(yī)療事業(yè)產(chǎn)生積極作用。

4.4 強(qiáng)化倫理責(zé)任原則

科技的發(fā)展離不開設(shè)計(jì)者對(duì)技術(shù)的調(diào)控,設(shè)計(jì)者是產(chǎn)品開發(fā)的責(zé)任主體,管理與掌握著技術(shù)實(shí)踐過程中的倫理方向,只有將倫理意識(shí)內(nèi)化于心,外化于行,才能為產(chǎn)品注入符合規(guī)范要求的倫理意識(shí)??萍嫉碾p刃性取決于人,而不取決于工具??萍紝?shí)踐過程中設(shè)計(jì)者必須樹立強(qiáng)烈的責(zé)任感與使命感。一旦設(shè)計(jì)者的責(zé)任感缺失容易導(dǎo)致技術(shù)不受控,造成較大的倫理風(fēng)險(xiǎn)。具體而言,用戶與設(shè)計(jì)者需要自覺遵守倫理道德規(guī)范,自覺在合理權(quán)限范圍內(nèi)設(shè)計(jì)或者使用智能產(chǎn)品。對(duì)于用戶而言,由于公眾普遍存在保護(hù)意識(shí)淡薄、對(duì)風(fēng)險(xiǎn)感知不足、倫理道德修養(yǎng)缺失等問題,只有強(qiáng)化倫理責(zé)任意識(shí),自覺提高科技素養(yǎng)和道德修養(yǎng),才能獲得最佳倫理實(shí)踐。因此,提高設(shè)計(jì)師和用戶雙方的責(zé)任意識(shí),對(duì)于解決智能應(yīng)用中的社會(huì)倫理問題具有重大意義。

4.5 有效監(jiān)管原則

智能醫(yī)學(xué)算法的性能已經(jīng)大大地提升,但由于缺乏算法理解和可解釋機(jī)制,很難在臨床環(huán)境中評(píng)估其診治風(fēng)險(xiǎn)和優(yōu)勢(shì),不利于臨床醫(yī)生進(jìn)行輔助診治或監(jiān)管機(jī)構(gòu)批準(zhǔn)。即便監(jiān)管機(jī)構(gòu)批準(zhǔn)醫(yī)學(xué)智能體應(yīng)用于臨床,如何實(shí)現(xiàn)問責(zé)仍然是應(yīng)用的關(guān)鍵。如果一臺(tái)醫(yī)學(xué)智能體在診治過程中對(duì)患者造成了傷害,那么誰應(yīng)該對(duì)此負(fù)責(zé),如何賠償損失等?一般來說,使用智能設(shè)備進(jìn)行輔助診斷的醫(yī)護(hù)人員不應(yīng)完全脫離責(zé)任,但如果醫(yī)療系統(tǒng)確實(shí)依賴于技術(shù),而不受外界干擾,最終責(zé)任程度可能是相對(duì)的。也就是說,事故責(zé)任可以分配給醫(yī)生、開發(fā)人員和醫(yī)療機(jī)構(gòu)。

另外, 數(shù)據(jù)可訪問性是公平分配醫(yī)療資源的基礎(chǔ),這并不意味著數(shù)據(jù)由患者進(jìn)行絕對(duì)控制。如果沒有專業(yè)人員的指導(dǎo),對(duì)原始數(shù)據(jù)不受限制地訪問可能會(huì)造成算法的誤解。相反,數(shù)據(jù)的可訪問性必須有一定的限制。通過讓患者積極參與成為決策過程的利益相關(guān)者,在倫理委員會(huì)與醫(yī)學(xué)專家的專業(yè)知識(shí)輔助下,在數(shù)據(jù)主體與道德責(zé)任之間找到平衡,可以實(shí)現(xiàn)公正。大多數(shù)數(shù)據(jù)保護(hù)立法都隱含地將重點(diǎn)放在單獨(dú)的數(shù)據(jù)主體上,使群體容易受到傷害[5]。即使是完全匿名的數(shù)據(jù)也有可能被區(qū)別對(duì)待,因?yàn)閷?duì)一個(gè)群體的預(yù)測(cè)會(huì)影響到所有成員對(duì)個(gè)人身份的認(rèn)知,這是因?yàn)樵摻M的成員具有共享的標(biāo)識(shí)符。群體層面的醫(yī)學(xué)智能體和醫(yī)學(xué)數(shù)據(jù)的相互依賴性表明,數(shù)據(jù)應(yīng)該由患者群體而不是單個(gè)患者來控制,這與經(jīng)典生物倫理學(xué)中規(guī)定的獨(dú)立和自主決策原則背道而馳。

人工智能的研發(fā)、傳播和應(yīng)用過程中,構(gòu)建和諧穩(wěn)定的倫理標(biāo)準(zhǔn)與道德規(guī)范是實(shí)現(xiàn)以人為本、人機(jī)和諧的關(guān)鍵。對(duì)于開發(fā)者和設(shè)計(jì)者來說,需要關(guān)注的問題應(yīng)是如何通過人工智能系統(tǒng)來預(yù)防意外和不可預(yù)見的行為發(fā)生。為了確保安全,設(shè)立委員會(huì)來審查資源和評(píng)估項(xiàng)目至關(guān)重要[18]。只有將公眾利益擺在首位,構(gòu)建監(jiān)管機(jī)構(gòu),對(duì)涉及人工智能技術(shù)的單位與項(xiàng)目進(jìn)行嚴(yán)格監(jiān)督審查,確保其不會(huì)對(duì)社會(huì)發(fā)展造成影響,防止因技術(shù)濫用對(duì)人類造成傷害。由于科技實(shí)踐與倫理實(shí)踐能做到高度統(tǒng)一,一旦出現(xiàn)倫理社會(huì)問題,可以立即啟動(dòng)法律程序?qū)訉幼坟?zé)。

人工智能的發(fā)展,需要多方位多角度的監(jiān)管機(jī)制進(jìn)行約束,通過將抽象的倫理原則和規(guī)范體系轉(zhuǎn)換倫理實(shí)踐,引導(dǎo)科學(xué)實(shí)踐活動(dòng)始終向善,有效避免對(duì)人類社會(huì)造成傷害。國(guó)家間達(dá)成一致的“客觀性”道德準(zhǔn)則也許永遠(yuǎn)不可能實(shí)現(xiàn),但其可以通過創(chuàng)造一個(gè)以常識(shí)為基礎(chǔ)的倫理框架來解決,它可以識(shí)別需求從而運(yùn)行某種道德價(jià)值,并且使其盡可能與我們?nèi)祟惿鐣?huì)兼容,進(jìn)而減少國(guó)家間的疏遠(yuǎn)。但只有通過持續(xù)的道德評(píng)價(jià)和監(jiān)測(cè)技術(shù)的不斷發(fā)展,才有可能提供安全的措施來防止任何可能出現(xiàn)的直接或間接的威脅。

5 結(jié)語

隨著人工智能系統(tǒng)逐漸應(yīng)用到醫(yī)學(xué)的各個(gè)領(lǐng)域,如何在避免潛在危險(xiǎn)的同時(shí)最大化為醫(yī)療衛(wèi)生服務(wù)是當(dāng)前醫(yī)學(xué)智能體發(fā)展不可避免的關(guān)鍵問題。人工智能系統(tǒng)開發(fā)過程必須考慮與人類價(jià)值觀的兼容性,并遵循特定的行為準(zhǔn)則,確保人工智能技術(shù)在倫理原則和道德價(jià)值觀方面可與人類兼容。在使用人工智能時(shí),必須認(rèn)識(shí)到信任的重要性,以及安全指導(dǎo)和倫理發(fā)展實(shí)踐的重要性。本文對(duì)目前人工智能場(chǎng)景進(jìn)行了梳理,提出了可供人類信賴的人工智能系統(tǒng)應(yīng)該遵循的準(zhǔn)則。在此基礎(chǔ)上,進(jìn)一步探討了醫(yī)學(xué)智能體發(fā)展和設(shè)計(jì)中的倫理考慮,為研究人員在人工智能設(shè)計(jì)中提供了倫理性考慮的指導(dǎo)標(biāo)準(zhǔn)。

猜你喜歡
倫理醫(yī)學(xué)人工智能
《心之死》的趣味與倫理焦慮
醫(yī)學(xué)的進(jìn)步
預(yù)防新型冠狀病毒, 你必須知道的事
祝您健康(2020年4期)2020-05-20 15:04:20
護(hù)生眼中的倫理修養(yǎng)
活力(2019年19期)2020-01-06 07:37:00
2019:人工智能
商界(2019年12期)2019-01-03 06:59:05
人工智能與就業(yè)
數(shù)讀人工智能
小康(2017年16期)2017-06-07 09:00:59
下一幕,人工智能!
醫(yī)學(xué)
醫(yī)學(xué)、生命科學(xué)類
龙岩市| 正安县| 乌拉特后旗| 开远市| 武鸣县| 蒙山县| 星子县| 昂仁县| 宁海县| 双桥区| 嵊泗县| 成都市| 金昌市| 汉沽区| 拜泉县| 万荣县| 河东区| 鹿泉市| 隆林| 峨山| 沿河| 枣阳市| 繁峙县| 同仁县| 石棉县| 荣昌县| 泰宁县| 察哈| 芮城县| 丹寨县| 休宁县| 乌兰县| 平和县| 湟源县| 安达市| 光山县| 白银市| 于都县| 凤阳县| 定远县| 临澧县|