姚 瓊,王覓也,2,師慶科,2,張夢(mèng)嬌,鄧 悟

1(四川大學(xué)華西醫(yī)院 信息中心,成都 610041)

2(四川大學(xué)華西醫(yī)院 醫(yī)療信息化技術(shù)教育部工程研究中心,成都 610041)

1 引言

當(dāng)前,以機(jī)器學(xué)習(xí)為代表的人工智能技術(shù)已經(jīng)在越來越多的行業(yè)領(lǐng)域中被廣泛應(yīng)用.深度學(xué)習(xí)[1-3]作為機(jī)器學(xué)習(xí)的重要組成部分,近年來發(fā)展迅速,并且在計(jì)算機(jī)視覺、自然語言處理、語音處理等領(lǐng)域取得了突破性的進(jìn)展,甚至在某些場(chǎng)景上已經(jīng)超過了人類專家的水平.

醫(yī)療領(lǐng)域相較于社交媒體、電子商務(wù)等行業(yè)來說更為的傳統(tǒng)保守,同時(shí)也與廣大群眾的生命健康密切相關(guān),現(xiàn)代醫(yī)療技術(shù)的發(fā)展可以保障并顯著提升大眾生活質(zhì)量.自2018年開始,在醫(yī)學(xué)和醫(yī)療衛(wèi)生領(lǐng)域中與深度學(xué)習(xí)相關(guān)的研究熱度急劇升溫,越來越多的學(xué)者開始關(guān)注并嘗試將深度學(xué)習(xí)相關(guān)技術(shù)應(yīng)用在醫(yī)療領(lǐng)域中[4],期待在解決疾病篩查、健康管理、診治過程中的質(zhì)量控制、優(yōu)化資源配置等諸多問題中提供更有效的解決方式.但是,醫(yī)療領(lǐng)域由于其行業(yè)特殊性,有著專業(yè)性強(qiáng)、錯(cuò)誤代價(jià)高、應(yīng)用場(chǎng)景復(fù)雜、數(shù)據(jù)高度敏感等特點(diǎn),雖然目前已經(jīng)出現(xiàn)不少研究成果,但是要將這些技術(shù)落實(shí)到臨床應(yīng)用場(chǎng)景,還有很多問題亟待解決.

目前基于深度學(xué)習(xí)解決某些特定醫(yī)療問題的論文較多,但系統(tǒng)性地介紹深度學(xué)習(xí)在醫(yī)療領(lǐng)域應(yīng)用的論述較少,雖然最新研究成果展現(xiàn)出來的評(píng)價(jià)指標(biāo)不斷地提高,但論及深度學(xué)習(xí)在醫(yī)療領(lǐng)域研究和實(shí)施的困難挑戰(zhàn)卻鮮有提及.本文嘗試介紹深度學(xué)習(xí)的基本理論和常見深度神經(jīng)網(wǎng)絡(luò)模型,同時(shí)對(duì)深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的應(yīng)用場(chǎng)景進(jìn)行梳理,介紹典型使用案例及研究進(jìn)展.最后,本文還將對(duì)深度學(xué)習(xí)在實(shí)踐應(yīng)用中的常見問題,以及在醫(yī)療領(lǐng)域臨床應(yīng)用所面臨的挑戰(zhàn)進(jìn)行介紹,并且結(jié)合行業(yè)的研究成果和作者的相關(guān)經(jīng)驗(yàn),給出一些可能的解決思路和方案.

2 深度學(xué)習(xí)

2.1 深度學(xué)習(xí)和機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)一直都是人工智能領(lǐng)域中的重要研究方向.其中,傳統(tǒng)機(jī)器學(xué)習(xí)會(huì)將特征抽取和預(yù)測(cè)過程分開,需要領(lǐng)域?qū)＜液蜋C(jī)器學(xué)習(xí)工程師協(xié)作完成數(shù)據(jù)處理、特征提取、特征轉(zhuǎn)換等操作,然后設(shè)計(jì)合適的預(yù)測(cè)函數(shù)完成學(xué)習(xí)任務(wù).傳統(tǒng)機(jī)器學(xué)習(xí)的主要問題是模型的表達(dá)能力有限,需要花費(fèi)大量精力從事特征工程,而且相關(guān)工作也基本憑借經(jīng)驗(yàn),或者通過大量的實(shí)驗(yàn)才能得到較好的效果.深度學(xué)習(xí)可以讓原始數(shù)據(jù)在模型中經(jīng)過多次轉(zhuǎn)換,每次轉(zhuǎn)換后可以形成更有效的特征表示,這種直接向模型提供原始數(shù)據(jù),弱化甚至丟棄特征工程,以模型輸出作為結(jié)果直接優(yōu)化目標(biāo)任務(wù),稱之為端到端的學(xué)習(xí)任務(wù).

當(dāng)前深度學(xué)習(xí)主要采用人工神經(jīng)網(wǎng)絡(luò)(artificial neural network,ANN)來實(shí)現(xiàn),它是一種受生物神經(jīng)系統(tǒng)工作方式啟發(fā)而構(gòu)造出的數(shù)學(xué)模型.人工神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元及它們之間的連接構(gòu)成,人工神經(jīng)元的工作邏輯可以使用多種線性、非線性數(shù)學(xué)函數(shù)來定義,而它們的作用參數(shù)通過訓(xùn)練數(shù)據(jù)學(xué)習(xí)優(yōu)化而來.實(shí)踐證明,構(gòu)造復(fù)雜多層的人工神經(jīng)網(wǎng)絡(luò)是當(dāng)下深度學(xué)習(xí)最有效的實(shí)現(xiàn)方式.

2.2 常見深度神經(jīng)網(wǎng)絡(luò)模型

多層感知機(jī)(multilayer perceptron,MLP)是最簡(jiǎn)單的深度神經(jīng)網(wǎng)絡(luò)模型,當(dāng)前在很多場(chǎng)景仍然被廣泛使用.同時(shí),卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)、循環(huán)神經(jīng)網(wǎng)絡(luò)(recurrent neural network,RNN)等理論先后被提出,而且近年在解決計(jì)算機(jī)視覺、語音處理、自然語言處理等領(lǐng)域獲得巨大的成功[2].目前,應(yīng)用場(chǎng)景中大量無標(biāo)簽數(shù)據(jù)集相對(duì)容易獲取,因此深度自編碼器(deep autoencoder,DAE)[5]的使用頻率也非常高.當(dāng)前深度學(xué)習(xí)領(lǐng)域中,常見的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示.

圖1 常見深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)

2.2.1 卷積神經(jīng)網(wǎng)絡(luò)

CNN 是近年來深度學(xué)習(xí)在計(jì)算機(jī)視覺領(lǐng)域取得突破性成果的基石,其網(wǎng)絡(luò)結(jié)構(gòu)主要由卷積層和池化層組成.圖像處理領(lǐng)域中,卷積是常用的特征提取手段,不同卷積核可以得到不同特征圖,而CNN 的卷積層便是用來提取視野中的局部特征.卷積核是模型的參數(shù),通過訓(xùn)練可以自動(dòng)學(xué)習(xí)得到有效的特征表達(dá),使同一個(gè)卷積核與圖像所有像素做運(yùn)算,可以避免參數(shù)膨脹.池化層主要緩解卷積層對(duì)位置過度敏感的問題,也降低特征的維度和訓(xùn)練參數(shù)的規(guī)模,常見的池化類型有最大池化層、平均池化層等.

2.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

很多應(yīng)用場(chǎng)景中,網(wǎng)絡(luò)的輸出除了與當(dāng)前輸出入有關(guān),還同之前一段時(shí)間的輸出相關(guān).RNN 便是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò),神經(jīng)元在接受其它神經(jīng)元信息的同時(shí),也可以獲取自身存儲(chǔ)的狀態(tài)信息,在自然語言、時(shí)序信號(hào)的處理中RNN 被廣泛使用,諸如機(jī)器翻譯、文本生成、自動(dòng)圖像描述等都是比較典型的研究成果.理論上,RNN 可以處理任意長(zhǎng)度的序列信息,但是RNN 學(xué)習(xí)過程中如果記憶依賴的步程太長(zhǎng),容易產(chǎn)生梯度爆炸或者梯度消失的問題,所以現(xiàn)實(shí)情況下RNN 只能實(shí)現(xiàn)“短期記憶”.通過引入門控機(jī)制可以解決這類問題,目前廣泛應(yīng)用的包括門控循環(huán)單元(gated recurrent unit,GRU)和長(zhǎng)短期記憶網(wǎng)絡(luò)(long short-term memory,LSTM)[2],LSTM 通過引入輸入門、遺忘門、輸出門來控制信息的傳遞路徑,使LSTM 可以記錄很長(zhǎng)的步程,增強(qiáng)了RNN 類網(wǎng)絡(luò)的實(shí)用性.

2.2.3 深度自編碼器

DAE 常常用來處理無標(biāo)簽數(shù)據(jù)集,由encoder 和decoder 兩個(gè)部分組成,encoder 用于將輸入數(shù)據(jù)壓縮到一個(gè)更小維度的表示,而decoder 嘗試從低維表示中重建原始數(shù)據(jù),通過訓(xùn)練不斷減少重建誤差,使得神經(jīng)網(wǎng)絡(luò)能夠從原始數(shù)據(jù)中提取最重要的部分.DAE 的這種特性常用來抑制原始數(shù)據(jù)中的噪聲,被應(yīng)用在圖像重建、消噪等領(lǐng)域[6].同時(shí),最中間的隱藏層可以作為原始數(shù)據(jù)的嵌入表示,具有數(shù)據(jù)降維壓縮的功能,與PCA算法相比,DAE 通過多層網(wǎng)絡(luò)和激活函數(shù)的作用,可以對(duì)原始數(shù)據(jù)做更強(qiáng)的非線性變換表達(dá)[5,7,8].

3 深度學(xué)習(xí)在現(xiàn)代醫(yī)療領(lǐng)域中的應(yīng)用

3.1 現(xiàn)代醫(yī)療領(lǐng)域的數(shù)據(jù)模型

現(xiàn)代醫(yī)療領(lǐng)域中常見數(shù)據(jù)類型大致可分為:結(jié)構(gòu)化數(shù)據(jù)、影像視頻類、文本類、時(shí)序生物信號(hào)類.

結(jié)構(gòu)化數(shù)據(jù)通常以電子表格、數(shù)據(jù)庫(kù)表等形式存儲(chǔ),比如患者個(gè)人基本信息、入院信息、檢驗(yàn)結(jié)果等,因?yàn)槠浣Y(jié)構(gòu)定義良好,在機(jī)器學(xué)習(xí)中經(jīng)常使用.影像數(shù)據(jù)在醫(yī)療中也很常見,比如X 光片、超聲圖像、MRI 等.自由文本類數(shù)據(jù)可見于醫(yī)生的診斷報(bào)告、醫(yī)囑信息、病歷文書等.時(shí)序生物信號(hào)來自于儀器儀表的測(cè)量,例如病人的心電信號(hào)、腦電信號(hào),以及各種動(dòng)態(tài)生命監(jiān)控?cái)?shù)據(jù)等,在ICU 中大量生理指標(biāo)的實(shí)時(shí)檢測(cè)和監(jiān)控更加常見.電子病歷(electronic medical records,EMRs)是醫(yī)院信息化建設(shè)過程中產(chǎn)生的,管理著病人幾乎所有醫(yī)療信息,而其中囊括的數(shù)據(jù)類型也是多種多樣的.

3.2 醫(yī)學(xué)影像相關(guān)業(yè)務(wù)

計(jì)算機(jī)視覺是深度學(xué)習(xí)最為成功的應(yīng)用領(lǐng)域,同時(shí)醫(yī)學(xué)影像也是醫(yī)生用于診斷和評(píng)估疾病的常用手段,近年來深度學(xué)習(xí)處理醫(yī)學(xué)影像的研究占據(jù)了深度學(xué)習(xí)在醫(yī)療領(lǐng)域應(yīng)用中的絕大部分比重[4].在醫(yī)療領(lǐng)域中,通常需要處理的影像類型包括MRI、X 光片、CT、超聲、PET、組織切片病理圖等,以及內(nèi)窺鏡、膠囊內(nèi)視鏡等視頻數(shù)據(jù),處理任務(wù)涵蓋了圖像分類、目標(biāo)識(shí)別、圖像分割、圖像檢索等,表1 中對(duì)這些應(yīng)用情形及學(xué)習(xí)任務(wù)的最終效果進(jìn)行了總結(jié)[9-26].

表1 深度學(xué)習(xí)在醫(yī)學(xué)影像相關(guān)任務(wù)的應(yīng)用

3.2.1 圖像分類

圖像分類任務(wù)是模型根據(jù)輸入的圖像進(jìn)行預(yù)估,并輸出一個(gè)對(duì)應(yīng)的判別標(biāo)簽及其置信度.經(jīng)典網(wǎng)絡(luò)AlexNet 于2012年被提出,當(dāng)年以很大優(yōu)勢(shì)贏得了ImageNet 大規(guī)模視覺識(shí)別挑戰(zhàn)賽,從此基于CNN 的應(yīng)用開始受到了大家重視,并且開啟了計(jì)算機(jī)視覺研究的新局勢(shì).此后,GoogLeNet、VGG、ResNet、DenseNet等現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)也相繼產(chǎn)生,在影像分類、分割等任務(wù)[9]中被廣泛的使用.

Esteva 等[10]基于Inception v3 主干網(wǎng)絡(luò),直接使用多達(dá)13 萬份帶標(biāo)注的臨床影像數(shù)據(jù)來訓(xùn)練,帶標(biāo)注的訓(xùn)練數(shù)據(jù)集樣本如圖2所示,訓(xùn)練任務(wù)是檢驗(yàn)該深度神經(jīng)網(wǎng)絡(luò)對(duì)于皮膚癌分類預(yù)估的性能,對(duì)照組是由21 名皮膚科醫(yī)生獨(dú)立標(biāo)注結(jié)果,結(jié)果顯示深度學(xué)習(xí)的分類結(jié)果相比人類專家更好.同時(shí),該實(shí)驗(yàn)證實(shí)了在大規(guī)模、高質(zhì)量的標(biāo)注數(shù)據(jù)集上,普通的CNN 也能夠產(chǎn)生很好的預(yù)估效果.

圖2 皮膚癌分類的訓(xùn)練樣本樣例

Yala 等[11]結(jié)合就診者的電子病歷信息和乳腺造影圖像,探究這些就診者5年內(nèi)患乳腺癌的風(fēng)險(xiǎn),并且實(shí)際跟蹤這些人在之后5年中是否實(shí)際患有乳腺癌作為標(biāo)注,用來訓(xùn)練模型并評(píng)價(jià)算法.作者使用Tyrer-Cuzick 模型作為基線,對(duì)比了邏輯回歸、單獨(dú)ResNet預(yù)估、以及結(jié)合兩者混合模型的預(yù)估結(jié)果,最終發(fā)現(xiàn)結(jié)合電子病歷信息和造影圖像模型的AUC 指標(biāo)提升明顯,這同時(shí)也啟示結(jié)合領(lǐng)域內(nèi)其它信息更有助于提升深度學(xué)習(xí)的預(yù)估和分類效果.Han 等[12]基于乳腺組織病理學(xué)圖像進(jìn)行多分類實(shí)驗(yàn),完成了對(duì)包含導(dǎo)管癌、纖維腺瘤、小葉癌等8 類乳腺癌的分類任務(wù),相對(duì)于傳統(tǒng)二分類檢測(cè)任務(wù)提供更豐富的臨床診斷信息.作者采用了一種結(jié)構(gòu)化的深度卷積神經(jīng)網(wǎng)絡(luò),優(yōu)化了特征空間中相同分類和不同分類樣本的相似度計(jì)算方法,在大規(guī)模數(shù)據(jù)集上,多分類學(xué)習(xí)任務(wù)的測(cè)試精度達(dá)到了93.2%.

3.2.2 目標(biāo)識(shí)別

目標(biāo)識(shí)別任務(wù)用于對(duì)圖像中特定結(jié)構(gòu)或模式進(jìn)行檢測(cè),并標(biāo)示出對(duì)應(yīng)目標(biāo)的位置信息.在深度學(xué)習(xí)中,目標(biāo)識(shí)別任務(wù)一般被分為兩階和一階目標(biāo)檢測(cè),其中兩階段目標(biāo)識(shí)別算法以R-CNN[13],以及改進(jìn)的Fast RCNN[14]和Faster R-CNN[15]比較常見,而一階目標(biāo)識(shí)別算法最具有代表性的是YOLO[16].

R-CNN 是最早將CNN 應(yīng)用在目標(biāo)檢測(cè)任務(wù)中的算法,奠定了兩階目標(biāo)識(shí)別的處理流程和算法框架,其實(shí)現(xiàn)步驟為:首先采用Selective Search 方法生成若干候選區(qū)域,接著對(duì)每個(gè)候選區(qū)域使用CNN 提取得到固定長(zhǎng)度的特征向量,依次將特征向量輸入到SVM 進(jìn)行分類判別,最終再使用一個(gè)線性回歸器對(duì)得到的目標(biāo)框進(jìn)行精修.Fast R-CNN 的改進(jìn)實(shí)現(xiàn)中,作者對(duì)整個(gè)圖像提取特征圖,降低對(duì)每個(gè)候選區(qū)域單獨(dú)抽取特征帶來的計(jì)算復(fù)雜度,并且將SVM 和線性回歸器集成到了深度神經(jīng)網(wǎng)絡(luò)中,避免數(shù)據(jù)交換的開銷,整個(gè)系統(tǒng)架構(gòu)上也更為優(yōu)雅.Faster R-CNN 使用RPN(region proposal network)網(wǎng)絡(luò)作為目標(biāo)候選算法,利用Anchor 機(jī)制將區(qū)域生成與卷積網(wǎng)絡(luò)聯(lián)系到了一起,提升了目標(biāo)識(shí)別任務(wù)的效率和精確,使得兩階目標(biāo)檢測(cè)走向了實(shí)時(shí)化.YOLO 是最早提出的基于深度學(xué)習(xí)實(shí)現(xiàn)的一階目標(biāo)識(shí)別算法,該算法將原始圖像分割成若干個(gè)網(wǎng)格,并對(duì)每個(gè)網(wǎng)格直接做前景、背景分類的判別預(yù)估,YOLO 算法的目標(biāo)檢測(cè)精度和R-CNN 類算法大致相當(dāng),但是運(yùn)行速度卻快得多,性能上滿足實(shí)時(shí)視頻流處理,最新優(yōu)化版本已經(jīng)可以在移動(dòng)設(shè)備上實(shí)時(shí)處理視頻數(shù)據(jù)流了.

Li 等[17]在較少的X 光影像標(biāo)注數(shù)據(jù)集上,用統(tǒng)一模型架構(gòu)同時(shí)完成了肺部疾病的定位和判別任務(wù),輸出可能的病灶位置及對(duì)應(yīng)疾病的種類和置信度.作者把輸入圖像劃分成若干小片,再將這些小片合并成一個(gè)包,結(jié)合圖像級(jí)別的標(biāo)注信息執(zhí)行多示例學(xué)習(xí)(multi instance learning,MIL)訓(xùn)練任務(wù),使用多個(gè)獨(dú)立判別器對(duì)多種胸部疾病在共享特征的情況下做獨(dú)立訓(xùn)練和預(yù)估,損失函數(shù)綜合這些判別器的誤差.該方法提供了疾病多分類判別的實(shí)現(xiàn)思路,同時(shí)圖像級(jí)別的弱標(biāo)簽標(biāo)注可以有效降低訓(xùn)練數(shù)據(jù)的獲取成本,在實(shí)踐中更具應(yīng)用價(jià)值.除了2D 靜態(tài)醫(yī)學(xué)影像,當(dāng)前越來越多的應(yīng)用場(chǎng)景在于完成視頻流中特定目標(biāo)的識(shí)別和跟蹤任務(wù),對(duì)目標(biāo)識(shí)別的性能有了更高的要求.Urban 等[18]通過CNN 完成對(duì)結(jié)腸鏡檢查中息肉的識(shí)別標(biāo)注,其準(zhǔn)確率達(dá)到96.4%,并且處理速度達(dá)到98 fps,完全勝任結(jié)腸鏡檢查的實(shí)時(shí)視頻流處理.作者使用20 段結(jié)腸鏡檢查視頻,累計(jì)視頻時(shí)長(zhǎng)達(dá)到了5 小時(shí),讓4 名專業(yè)結(jié)腸鏡醫(yī)師在有和沒有CNN 輔助的情況下進(jìn)行息肉的檢查,結(jié)果前者檢出的息肉組織數(shù)量比后者多了一倍,對(duì)于輔助結(jié)腸鏡醫(yī)生減少臨床息肉漏檢率意義重大,因?yàn)槁z會(huì)讓病人錯(cuò)過最佳治療時(shí)機(jī),圖3 所展示的是在結(jié)腸鏡檢查過程中,算法自動(dòng)對(duì)可疑組織的標(biāo)注提示.Aoki 等[19]首次基于CNN 完成對(duì)無線膠囊內(nèi)窺鏡檢查中糜爛和潰瘍病灶的檢測(cè)和概率預(yù)估,檢出準(zhǔn)確度達(dá)到了88.2%,而且臨床應(yīng)用時(shí)適當(dāng)提升模型的靈敏度,將更加有助于醫(yī)師降低異常情況的漏檢率.

圖3 結(jié)腸鏡檢查中息肉組織的識(shí)別和標(biāo)注提示

3.2.3 圖像分割

圖像分割任務(wù)相比目標(biāo)識(shí)別更為精細(xì),需要識(shí)別出對(duì)應(yīng)目標(biāo)并將其邊界精確的描繪出來,該任務(wù)的輸出一般是像素級(jí)別的分割描述,醫(yī)學(xué)影像的語義分割容易受到周圍組織的干擾,分割任務(wù)的難度大.圖4 是對(duì)胸部X 光片的肺組織,以及對(duì)眼底圖像的視網(wǎng)膜血管的分割效果圖.

圖4 肺部X 光片和眼底圖像的分割效果

深度學(xué)習(xí)領(lǐng)域最早研究分割任務(wù)的是全卷積網(wǎng)絡(luò)(fully convolutional network,FCN)[20],FCN 得名源自其網(wǎng)絡(luò)結(jié)構(gòu)將傳統(tǒng)CNN 最后若干個(gè)全連接層和Softmax操作以卷積層替代,于是整個(gè)網(wǎng)絡(luò)都是由卷積層和池化層組成.不斷地對(duì)圖像執(zhí)行卷積和池化操作,得到越來越小、越來越抽象語義化的特征描述,最末端的輸出可以認(rèn)為是每個(gè)像素作為目標(biāo)分割的概率.雖然最終輸出層的結(jié)果語義正確,但缺少細(xì)節(jié)信息,因此作者選擇一些中間卷積層的結(jié)果做類似反卷積操作并且融合起來,補(bǔ)充了淺層網(wǎng)絡(luò)提取的細(xì)節(jié)信息,這種融合多尺度特征的方法保證了最終分割結(jié)果的魯棒性和精確性.U-Net[21]借鑒了FCN 的思想,設(shè)計(jì)出更優(yōu)雅的圖像分割框架:它由contracting 路徑和expansive 路徑組成,前者不斷地卷積和池化完成下采樣操作,而后者拼接對(duì)等分辨率的特征后,執(zhí)行反卷積完成上采樣操作,不斷恢復(fù)圖像原始分辨率.整個(gè)網(wǎng)絡(luò)框架形似一個(gè)完美對(duì)稱U 字型,而且每個(gè)分辨率層次的特征都保留并得到了充分的利用,實(shí)現(xiàn)了更豐富細(xì)致的分割結(jié)果.

Larrazabal 等[8]提出了一種基于DAE 的圖像分割后處理方案,該方案獨(dú)立于圖像分割流程,可以用于任何圖像分割算法的后處理.在訓(xùn)練DAE 的時(shí)候,隨機(jī)對(duì)標(biāo)注圖像進(jìn)行降級(jí)和擾動(dòng),比如切除某些區(qū)域、添加隨機(jī)噪聲等,以提升DAE 的消噪能力,實(shí)踐結(jié)果表明不僅對(duì)于隨機(jī)森林這類傳統(tǒng)分割算法,甚至對(duì)于未收斂的U-Net 模型所得到的不完全分割結(jié)果,使用該方法處理后也有很好的最終分割效果.隨著CT、MRI等越來越普及,對(duì)于3D 圖像的分割需求也越來越迫切.Dou 等[22]設(shè)計(jì)實(shí)現(xiàn)了3D 深度監(jiān)督網(wǎng)絡(luò)(3D DSN)模型,用于對(duì)CT 圖像中的肝臟器官進(jìn)行準(zhǔn)確分割,相比傳統(tǒng)3D CNN 在體積重疊誤差、相對(duì)體積差異等指標(biāo)上都有明顯改善,而且對(duì)比其它算法處理速率提升很多.作者通過對(duì)CNN 的初始層、中間層提取出來的特征進(jìn)行反卷積,然后獨(dú)立運(yùn)行預(yù)估結(jié)果并對(duì)比標(biāo)注結(jié)果計(jì)算誤差,在充分利用多尺度特征的同時(shí)也解決了梯度消失的難題,在少量標(biāo)注訓(xùn)練樣本的條件下實(shí)現(xiàn)了模型的快速收斂.Myronenko[23]使用類似于U-Net網(wǎng)絡(luò)的下采樣-上采樣的框架實(shí)現(xiàn)多模態(tài)3D MRI 的腦組織的語義分割任務(wù),作者在嘗試各種網(wǎng)絡(luò)設(shè)計(jì)和優(yōu)化手段后,發(fā)現(xiàn)對(duì)訓(xùn)練圖像執(zhí)行盡可能大尺度的切片,以及添加額外變分自動(dòng)編碼器(variational autoencoder,VAE)來輔助正則化可以顯著提升分割精度,該算法采用高性能GPU 完成模型的訓(xùn)練任務(wù),獲得了BraTS 2018 比賽的冠軍.3D 圖像的處理對(duì)于計(jì)算能力的要求極高,但是這些年隨著計(jì)算機(jī)硬件的發(fā)展和云計(jì)算的普及,為這一類深度學(xué)習(xí)的應(yīng)用提供了有力的支撐.

3.2.4 圖像檢索

醫(yī)療領(lǐng)域中,醫(yī)生不僅需要關(guān)注個(gè)體病患不同階段、不同類型的醫(yī)學(xué)影像,還需要在醫(yī)學(xué)影像庫(kù)中快速檢索相似部位和相似疾病的其它影像,乃至于多模態(tài)圖像的跨庫(kù)檢索需求,可以為醫(yī)生提供更多的信息,以便做病情診斷評(píng)估和臨床決策.伴隨現(xiàn)代醫(yī)學(xué)影像在臨床中的大量使用,醫(yī)院的影像規(guī)模十分龐大,快速、準(zhǔn)確地提供圖像檢索技術(shù)成為了挑戰(zhàn).

醫(yī)學(xué)圖像檢索的關(guān)鍵要素是特征表示和相似度描述.傳統(tǒng)上,基于內(nèi)容的圖像檢索(content based image retrieval,CBIR)的實(shí)現(xiàn),都是離線對(duì)入庫(kù)圖像完成圖形學(xué)的特征抽取,比如常見的SIFT、SURF 等特征描述,然后將這些特征存儲(chǔ)在數(shù)據(jù)庫(kù)中,在線檢索的時(shí)候,對(duì)檢索圖像做相同的特征抽取操作,再采用歐式距離、余弦相似度等指標(biāo)來衡量相似度,和檢索庫(kù)中各個(gè)圖像作相似度對(duì)比,排序后返回檢索結(jié)果.

上述傳統(tǒng)實(shí)現(xiàn)方式依賴于影像專家和數(shù)據(jù)專家的經(jīng)驗(yàn)來提取有效特征,對(duì)于多模態(tài)影像的特征抽取和相似度比較也很困難,而深度學(xué)習(xí)作為一種表示學(xué)習(xí),可以自動(dòng)獲得更有效的特征表示.Anavi 等[24]對(duì)于胸部X 光片,將傳統(tǒng)圖像處理技術(shù)鎖提取的SIFT-BoVW、LBP、Binary 特征同使用CNN 提取的特征做對(duì)比,結(jié)果顯示使用CNN 提取得到的特征相比傳統(tǒng)圖像特征檢索效果最好.Qayyum 等[25]使用網(wǎng)絡(luò)公開的多模態(tài)醫(yī)學(xué)影像數(shù)據(jù)集,對(duì)這些影像按照器官進(jìn)行24 個(gè)分類的粗粒度標(biāo)注,然后采用監(jiān)督學(xué)習(xí)的方式訓(xùn)練CNN,并以網(wǎng)絡(luò)最末端的3 個(gè)全鏈接層輸出作為特征表示,測(cè)試得到多模態(tài)圖像檢索精度達(dá)到69%,相同條件下優(yōu)于其它算法.Swati 等[26]利用深度神經(jīng)網(wǎng)絡(luò)檢索MRI 圖像,作者使用VGG19 網(wǎng)絡(luò)結(jié)構(gòu),并加載使用已經(jīng)在ImageNet 中超過120 萬張帶有1 000 分類標(biāo)簽的自然圖像數(shù)據(jù)集上預(yù)先訓(xùn)練的模型參數(shù).從預(yù)訓(xùn)練模型開始,將原始VGG19 網(wǎng)絡(luò)的FC8 從1 000 分類調(diào)整為目標(biāo)任務(wù)的3 分類問題,在已標(biāo)注的3 000 多張MRI數(shù)據(jù)集上做模型精調(diào),mAP 達(dá)到了96%,該流程是典型遷移學(xué)習(xí)應(yīng)用場(chǎng)景,效果提升明顯.Oliveira 等[27]使用領(lǐng)域索引(domain index)處理多庫(kù)多模態(tài)醫(yī)學(xué)影像,設(shè)計(jì)出了可以彈性擴(kuò)展的系統(tǒng)架構(gòu),對(duì)于大型醫(yī)院、醫(yī)聯(lián)體實(shí)現(xiàn)海量醫(yī)學(xué)影像的快速檢索具有一定的參考價(jià)值,同時(shí)該框架還簡(jiǎn)化了機(jī)構(gòu)對(duì)于多庫(kù)醫(yī)學(xué)影像的維護(hù)管理工作.

3.3 時(shí)序信號(hào)處理

傳統(tǒng)處理時(shí)序類信號(hào)時(shí),一般需要使用傅立葉變換、小波變換等方式對(duì)原始信號(hào)進(jìn)行預(yù)處理,可以抑制信號(hào)噪聲,同時(shí)在頻域處理信號(hào)往往更加簡(jiǎn)單有效.然后,領(lǐng)域?qū)＜覒{借經(jīng)驗(yàn)手動(dòng)提取信號(hào)特征后,再實(shí)現(xiàn)具體的分類、判別等任務(wù).深度學(xué)習(xí)在絕大多數(shù)場(chǎng)景都能夠完成端到端的學(xué)習(xí)任務(wù),在使用深度學(xué)習(xí)處理時(shí)序信號(hào)時(shí),可以直接將原始信號(hào)輸入到深度神經(jīng)網(wǎng)絡(luò)中訓(xùn)練模型優(yōu)化目標(biāo)任務(wù).

Acharya 等[28]實(shí)現(xiàn)了對(duì)ECG 信號(hào)心率失常疾病中4 種類型進(jìn)行分類,他們構(gòu)建了11 層CNN,然后把ECG 原始信號(hào)采樣后直接送入深度神經(jīng)網(wǎng)絡(luò)執(zhí)行訓(xùn)練任務(wù),在驗(yàn)證集上測(cè)試分類準(zhǔn)確度達(dá)到了92.5%,而且作者增加了卷積層神經(jīng)元個(gè)數(shù)后再次實(shí)驗(yàn),分類準(zhǔn)確度提升到了94.9%,說明更多神經(jīng)元構(gòu)成的神經(jīng)網(wǎng)絡(luò)有助于在訓(xùn)練過程中獲得更有效的特征.Hannun 等[29]也采用CNN,并將網(wǎng)絡(luò)深度擴(kuò)展到34 層,同時(shí)采用更大規(guī)模的標(biāo)注數(shù)據(jù)集進(jìn)行訓(xùn)練,完成對(duì)心律失常疾病的14 分類任務(wù).作者將算法的分類結(jié)果同幾位心臟病專家綜合后的標(biāo)注結(jié)果作對(duì)比,結(jié)果顯示在絕大多數(shù)種類的分類任務(wù)中,深度學(xué)習(xí)算法的F1 指標(biāo)都顯著高于專家手動(dòng)標(biāo)注結(jié)果.還有Rajput 等[30]的研究,他們將時(shí)域一維ECG 信號(hào)進(jìn)行剪切分段后,采用短時(shí)傅立葉變換和小波變幻得到二維信號(hào)頻譜圖像,然后采用圖像處理的思路將它們送入到DenseNet 中,在相同測(cè)試集上效果要優(yōu)于Hannun[29]的實(shí)現(xiàn).CNN 的特征學(xué)習(xí)優(yōu)勢(shì)明顯,同時(shí)由于ECG 是時(shí)序信號(hào),RNN 或LSTM可以挖掘時(shí)序上的依賴信息,于是Andersen 等[31]提出了CNN-LSTM 混合深度網(wǎng)絡(luò)結(jié)構(gòu),首先利用CNN 進(jìn)行特征表示學(xué)習(xí),再利用LSTM 進(jìn)行序列學(xué)習(xí),也展示出了比較好的分類效果.

在臨床條件下,ECG 采集過程很容易受到干擾,對(duì)ECG 進(jìn)行噪聲消除十分重要.傳統(tǒng)方式經(jīng)常使用小波變換來消除噪聲,但實(shí)踐中可能會(huì)因?yàn)殚撝颠x取不當(dāng)?shù)葐栴}導(dǎo)致信號(hào)重建產(chǎn)生偏差,甚至?xí)绊懙阶罱K診斷結(jié)果的準(zhǔn)確性.Chiang 等[6]在DAE 的基礎(chǔ)上采用了全卷積網(wǎng)絡(luò)代替原先的全連接網(wǎng)絡(luò),處理結(jié)果的信噪比、均方誤差等指標(biāo)都明顯好于單獨(dú)使用DNN、CNN 的處理結(jié)果.

3.4 自然語言處理

醫(yī)療領(lǐng)域中,因?yàn)榻Y(jié)構(gòu)化的醫(yī)療數(shù)據(jù)格式規(guī)則、存取方便,對(duì)其研究和應(yīng)用挖掘地比較充分.然而,醫(yī)療領(lǐng)域中非結(jié)構(gòu)化的自由文本數(shù)據(jù)更多,除了醫(yī)學(xué)教參和科研論文之外,諸如臨床診斷報(bào)告、影像檢查報(bào)告、醫(yī)囑信息等內(nèi)容,都是醫(yī)生認(rèn)真檢查、深思熟慮后的結(jié)論,因此蘊(yùn)含著極大的研究和應(yīng)用價(jià)值.同時(shí),近年來以醫(yī)學(xué)知識(shí)圖譜和電子病歷為基礎(chǔ),以人工智能推理為核心所構(gòu)建的臨床決策支持系統(tǒng)(clinical decision support system,CDSS),已經(jīng)成為新一代醫(yī)院信息系統(tǒng)建設(shè)的重要內(nèi)容,對(duì)于提高臨床醫(yī)護(hù)人員診斷和護(hù)理的工作效率,提高醫(yī)療質(zhì)控水平,減少醫(yī)療事故的發(fā)生意義重大,圖5 展示了典型的臨床決策支持系統(tǒng)的典型系統(tǒng)架構(gòu).但是,自然語言處理一直都是機(jī)器學(xué)習(xí)領(lǐng)域的研究難點(diǎn),而且醫(yī)療領(lǐng)域的文本數(shù)據(jù)還涉及到大量的領(lǐng)域內(nèi)部命名實(shí)體、行業(yè)術(shù)語及表述習(xí)慣等問題,因此基于深度學(xué)習(xí)的自然語言處理在醫(yī)療領(lǐng)域的應(yīng)用相比而言成熟度較低.

圖5 臨床決策支持系統(tǒng)架構(gòu)圖

3.4.1 疾病分類編碼

ICD(international classification of diseases)是世界衛(wèi)生組織制定和維護(hù)的人類疾病標(biāo)準(zhǔn)化、統(tǒng)一化的分類系統(tǒng),各個(gè)國(guó)家和地區(qū)對(duì)本地疾病分類管理也有相關(guān)規(guī)范,ICD 對(duì)于醫(yī)療衛(wèi)生資源分配、公共衛(wèi)生建設(shè)意義重大[32].目前,疾病分類編碼仍舊采用人工標(biāo)注的方式來完成,但是由于疾病種類數(shù)目太過繁多,很多疾病類間差異也很細(xì)微、界定模糊,采用人工標(biāo)注需要消耗大量精力,而且難以保證標(biāo)注結(jié)果的準(zhǔn)確性和一致性.因此,學(xué)者們一直嘗試采用機(jī)器學(xué)習(xí)的手段完成該任務(wù),期望通過自然語言處理技術(shù),根據(jù)診斷病歷自動(dòng)完成相關(guān)疾病的編碼任務(wù).ICD 分類多、疾病的分布不均衡,是一個(gè)典型極端性多分類問題.

Baumel 等[32]對(duì)比使用SVM、CBOW、CNN 和HA-GRU 四種算法,采用公共的MIMIC 數(shù)據(jù)集完成ICD-9 疾病編碼,其中SVM 采用了TD-IDF 對(duì)文本單詞計(jì)算權(quán)重,而CBOW 和CNN 都使用了稠密的嵌入向量表示字符.HA-GRU 是一種層級(jí)的雙向GRU 網(wǎng)絡(luò),采用底層雙向GRU 網(wǎng)絡(luò)編碼語句,而級(jí)聯(lián)的上層雙向GRU 網(wǎng)絡(luò)用于接收底層所有語句編碼,這種設(shè)計(jì)是考慮到GRU 處理太長(zhǎng)文本會(huì)有性能瓶頸和效果損失,結(jié)果顯示HA-GRU 相比基線算法效果提升明顯.Qiu 等[33]采用人工標(biāo)注的942 份分類結(jié)果作為訓(xùn)練數(shù)據(jù)集實(shí)現(xiàn)對(duì)ICD-O-3 癌癥疾病編碼,在使用TDIDF 作為單詞權(quán)重條件下,結(jié)合樸素貝葉斯、邏輯回歸、SVM 等傳統(tǒng)分類器,同CNN 實(shí)現(xiàn)的自動(dòng)特征提取和分類的結(jié)果做對(duì)比,結(jié)果使用CNN 方式分類優(yōu)勢(shì)明顯.Mullenbach 等[34]采用了帶Attention 機(jī)制的CNN,使用MIMIC-III 數(shù)據(jù)集做ICD-9 編碼,測(cè)試效果相比之前的HA-GRU 算法[32]也有明顯的提升.

3.4.2 文本數(shù)據(jù)挖掘

文本數(shù)據(jù)挖掘可以應(yīng)用于電子病歷結(jié)構(gòu)化、臨床決策支持、異常事件檢測(cè)、信息語義化檢索等場(chǎng)景.傳統(tǒng)上對(duì)自由文本信息絕大多采用基于規(guī)則的專家系統(tǒng)處理,但是后期的維護(hù)工作極其繁重復(fù)雜,因此越來越多基于機(jī)器學(xué)習(xí)的方法被嘗試用于解決這類難題.目前,通過對(duì)自由文本形式的資料進(jìn)行清洗和整理,識(shí)別命名實(shí)體,推斷實(shí)體間的關(guān)系,通過語義分析建立強(qiáng)大的醫(yī)學(xué)知識(shí)圖譜和知識(shí)庫(kù),在疾病風(fēng)險(xiǎn)評(píng)估、智能輔助診療、醫(yī)療質(zhì)量控制及醫(yī)療知識(shí)問答等智慧醫(yī)療領(lǐng)域都有著很好的發(fā)展前景.

Yala 等[35]采用Boost 算法處理乳腺病理學(xué)報(bào)告,完成多達(dá)20 種有關(guān)疾病類型、器官組織特性等數(shù)據(jù)的自動(dòng)提取分類,并將這些數(shù)據(jù)整理后進(jìn)行結(jié)構(gòu)化存儲(chǔ)和展示.其總體分類準(zhǔn)確度超過了90%,基本同基于規(guī)則的處理方法效果相當(dāng),但是極大節(jié)約了工作量.Borjali 等[36]探索了采用深度學(xué)習(xí)方法從純文本的醫(yī)療報(bào)告中提取相關(guān)信息,完成對(duì)醫(yī)療不良事件的檢測(cè)統(tǒng)計(jì)工作,并以髖關(guān)節(jié)置換術(shù)后脫位的案例進(jìn)行試驗(yàn).作者設(shè)計(jì)實(shí)現(xiàn)了類似于HA-GRU[32]的層級(jí)結(jié)構(gòu)BiLSTM和CNN 兩種深度網(wǎng)絡(luò)模型,最終結(jié)果顯示基于深度學(xué)習(xí)方案的Kappa、分類精度指標(biāo)明顯高于K-NN、隨機(jī)森林、SVM 等為代表的傳統(tǒng)機(jī)器學(xué)習(xí)算法,并且CNN 的效果要好于層級(jí)BiLSTM的實(shí)現(xiàn).值得注意的是,IBM、Google、Amazon、騰訊等[37,38]大型商業(yè)公司,以及國(guó)內(nèi)外許多醫(yī)療科技企業(yè),也都在積極布局深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用,嘗試將他們?cè)谏疃阮I(lǐng)域的經(jīng)驗(yàn)技術(shù)賦能于醫(yī)療健康事業(yè)中.

3.4.3 診斷報(bào)告的自動(dòng)生成

醫(yī)護(hù)人員每天都要花費(fèi)很多的時(shí)間處理文本工作[7],雖然報(bào)告模版、常用語填充等方式簡(jiǎn)化這方面的工作,但是這類工具既不靈活也不智能,仍然耗費(fèi)醫(yī)護(hù)人員寶貴的時(shí)間精力.當(dāng)自動(dòng)圖像描述的功能被提出后,自動(dòng)生成醫(yī)學(xué)影像報(bào)告的功能也開始被大量研究了.自動(dòng)圖像描述的報(bào)告會(huì)基于對(duì)醫(yī)學(xué)影像或信號(hào)的處理結(jié)果來生成,在提高醫(yī)師的工作效率,同時(shí)提供獨(dú)立的診斷結(jié)果供參考和對(duì)比.

Wu 等[39]將自動(dòng)圖像描述應(yīng)用在糖尿病視網(wǎng)膜眼底圖像的診斷上,作者直接使用經(jīng)典的CNN-LSTM網(wǎng)絡(luò)結(jié)構(gòu),即首先使用CNN 抽取特征,再依據(jù)特征使用LSTM 生成對(duì)應(yīng)的文字描述,作者的訓(xùn)練數(shù)據(jù)集使用了370 張臨床眼底圖像,并對(duì)每張圖像人工添加5 種自然語言描述作為標(biāo)注,其測(cè)試結(jié)果顯示對(duì)病變眼底圖像生成的報(bào)告準(zhǔn)確度能達(dá)到90%,但當(dāng)測(cè)試集包含正常眼底圖像后,整體準(zhǔn)確度下降到只有60%左右,算是診斷報(bào)告的最簡(jiǎn)單嘗試.Liu 等[40]提出通常情況的自動(dòng)圖像描述所生成的內(nèi)容都比較簡(jiǎn)短,同時(shí)研究重心也偏向于生成文本的可讀性,但是臨床報(bào)告常需要生成很長(zhǎng)的描述段落,而且相較于語言的可讀性,對(duì)結(jié)果描述的準(zhǔn)確性是首要考量的.作者使用了CNNRNN-RNN 網(wǎng)絡(luò)結(jié)構(gòu),CNN 用于學(xué)習(xí)圖像特征,然后RNN 依據(jù)圖像特征生成話題,而后一個(gè)RNN 再依據(jù)生成的話題和圖像特征生成自然語言描述,最后再使用強(qiáng)化學(xué)習(xí)對(duì)生成的結(jié)果進(jìn)行優(yōu)化,最終生成報(bào)告的準(zhǔn)確性和可讀性的質(zhì)量很高.

不過,Pino 等[41]使用隨機(jī)返回、持續(xù)正向返回、相似圖像報(bào)告返回等簡(jiǎn)單驗(yàn)證手段,發(fā)現(xiàn)當(dāng)前所謂領(lǐng)先算法所使用的評(píng)價(jià)指標(biāo)并不可靠,比如ROUGE、BLEU 等經(jīng)常是用于機(jī)器翻譯方面的應(yīng)用,用于醫(yī)學(xué)影像報(bào)告自動(dòng)生成這類應(yīng)用場(chǎng)景,上述評(píng)價(jià)指標(biāo)或許不太合適,因此還需設(shè)計(jì)更加科學(xué)合理的評(píng)價(jià)指標(biāo).

4 深度學(xué)習(xí)在現(xiàn)代醫(yī)療領(lǐng)域中實(shí)施的挑戰(zhàn)

4.1 深度學(xué)習(xí)的固有問題

深度學(xué)習(xí)領(lǐng)域中,通過大量帶標(biāo)注數(shù)據(jù)集進(jìn)行訓(xùn)練,幾乎都可以得到一個(gè)預(yù)估誤差很小的神經(jīng)網(wǎng)絡(luò),但是缺少相關(guān)理論和方法來解釋其因果關(guān)系,這是一個(gè)長(zhǎng)期困擾深度學(xué)習(xí)的難題.對(duì)于諸如醫(yī)療領(lǐng)域這種關(guān)鍵場(chǎng)景,“黑盒”應(yīng)用具有相當(dāng)大的隱患,尤其對(duì)于涉及到責(zé)任、糾紛等問題,這種不能解釋的系統(tǒng)很難得到醫(yī)生的信任和接納.目前,絕大多數(shù)的智能醫(yī)療解決方案至多充當(dāng)為一個(gè)獨(dú)立建議者的角色,最終結(jié)論仍然需要由醫(yī)生和護(hù)士的確認(rèn).同時(shí),無法解釋性也就意味著無法針對(duì)性地對(duì)算法作出改良,更多情況下只能通過不斷暴力嘗試來“拼湊”出一個(gè)恰到好處的模型.

針對(duì)如何解決深度模型解釋性問題,當(dāng)前提出的CAM 和Grad-CAM[42-44]或許有所幫助,但仍屬于比較粗糙的辦法.原理上,CNN 隨著不斷卷積和池化操作,越接近末端的網(wǎng)絡(luò)學(xué)習(xí)到的特征越抽象,但也越接近于任務(wù)目標(biāo).因此,Grad-CAM 選擇CNN 最末端的卷積層,然后計(jì)算流入該層神經(jīng)元相對(duì)某個(gè)分類的權(quán)重信息,該權(quán)重信息表示了特征相對(duì)于這個(gè)分類的敏感程度,進(jìn)而得到熱力圖,圖6 展示了圖像分類和圖像分割任務(wù)中的Grad-CAM 熱力圖,顏色越深的部位則表示對(duì)最終計(jì)算結(jié)果支持程度越重要.目前很多基于深度學(xué)習(xí)的應(yīng)用都會(huì)附上熱力圖以證明模型的可信度[40,43,45],但這種方式難以應(yīng)用在其它類型的深度神經(jīng)網(wǎng)絡(luò)類型,而且隨著深度網(wǎng)絡(luò)的結(jié)構(gòu)越來越復(fù)雜,要徹底理解深度神經(jīng)網(wǎng)絡(luò)的因果關(guān)系還很困難.Doppalapudi 等[46]在對(duì)肺癌生存期預(yù)測(cè)的實(shí)驗(yàn)中,深度學(xué)習(xí)同樣顯示出比傳統(tǒng)機(jī)器學(xué)習(xí)更好的預(yù)估效果,作者使用SHAP(shapley additive explanations)來分析輸入特征對(duì)最終預(yù)估結(jié)果的重要性,得到良性腫瘤數(shù)目、受檢查者年齡、是否接收手術(shù)是決定生存期最為重要的因素,該結(jié)論同醫(yī)生的主觀經(jīng)驗(yàn)相符.

圖6 圖像分類和分割任務(wù)的Grad-CAM 熱力圖

對(duì)于已經(jīng)構(gòu)建完成的神經(jīng)網(wǎng)絡(luò)模型,在實(shí)驗(yàn)和應(yīng)用場(chǎng)景中常會(huì)發(fā)生模型參數(shù)或網(wǎng)絡(luò)結(jié)構(gòu)的微調(diào),都可能會(huì)導(dǎo)致模型性能有巨大的變化,深度學(xué)習(xí)的魯棒性也有待研究.深度模型也易于遭遇對(duì)抗攻擊、模型和數(shù)據(jù)投毒等安全問題,確保其安全穩(wěn)定地運(yùn)行仍面臨著不小的挑戰(zhàn),目前也有不少學(xué)者開始專注于研究這類問題的解決方式[47].

4.2 訓(xùn)練數(shù)據(jù)集

在機(jī)器學(xué)習(xí)領(lǐng)域,絕大多數(shù)應(yīng)用場(chǎng)景都是基于監(jiān)督學(xué)習(xí)完成,模型效果很大程度上取決于已標(biāo)注訓(xùn)練數(shù)據(jù)集的規(guī)模和質(zhì)量[10,29],但是醫(yī)療領(lǐng)域的數(shù)據(jù)存在諸如標(biāo)注數(shù)目有限、樣本分布不均衡、字段數(shù)據(jù)缺失現(xiàn)象普遍等問題.

首先,醫(yī)療領(lǐng)域作為一個(gè)高度專業(yè)化領(lǐng)域,只有經(jīng)驗(yàn)豐富的醫(yī)師產(chǎn)生的標(biāo)注結(jié)果才是相對(duì)可靠的,這決定了生成高質(zhì)量標(biāo)注數(shù)據(jù)集是一個(gè)產(chǎn)量低、代價(jià)高昂的任務(wù).而且,標(biāo)注結(jié)果本身也存在一定的主觀性,即使都是經(jīng)驗(yàn)豐富的醫(yī)師,他們的標(biāo)注結(jié)果常常也會(huì)很不一致[48],而且同一個(gè)人對(duì)相同樣本的標(biāo)注也會(huì)經(jīng)常有前后不一致的情況,使得模型的訓(xùn)練和評(píng)價(jià)任務(wù)更為艱難.醫(yī)療領(lǐng)域的樣本分布也是極不均衡的,現(xiàn)實(shí)場(chǎng)景中大量樣本都是正?；虺Ｒ娂膊?嚴(yán)重疾病都是罕見匱乏的,直接依賴這樣的樣本分布難以訓(xùn)練出有效可靠的模型.機(jī)器學(xué)習(xí)對(duì)于常見案例可以給出相對(duì)可靠的預(yù)估,而罕見或訓(xùn)練樣本中沒遇到的疾病,其預(yù)估結(jié)果往往難以預(yù)料[3].同時(shí),現(xiàn)實(shí)情況中數(shù)據(jù)缺失也很常見,醫(yī)生會(huì)根據(jù)患者的個(gè)體情況作出不同的檢查和診療方案,這類樣本是否選擇,以及相關(guān)字段如何補(bǔ)齊,預(yù)估結(jié)果是否可靠也是需要考慮的問題.

通過數(shù)據(jù)增強(qiáng)(data augmentation)技術(shù)可以擴(kuò)充訓(xùn)練樣本,經(jīng)典圖像增強(qiáng)手段包括更改圖像對(duì)比度、疊加噪聲,更改圖像亮度、飽和度、對(duì)比度,以及對(duì)圖像進(jìn)行旋轉(zhuǎn)、切割、縮放、形變等操作,然后對(duì)標(biāo)注結(jié)果做必要的調(diào)整,可以有效擴(kuò)充標(biāo)注數(shù)據(jù)[43].在訓(xùn)練U-Net 網(wǎng)絡(luò)的時(shí)候[21],作者將有限的標(biāo)注樣本進(jìn)行圖形學(xué)彈性變換,不僅擴(kuò)充和平衡了標(biāo)注訓(xùn)練樣本,同時(shí)也讓模型“學(xué)習(xí)”了形變相關(guān)的知識(shí),在醫(yī)學(xué)影像中軟體組織的彈性形變是很常見的情形.Zhang 等[49]研究了基于深度學(xué)習(xí)的DST(deep stacked transformations)神經(jīng)網(wǎng)絡(luò)完成圖像增強(qiáng)擴(kuò)充訓(xùn)練樣本后,驗(yàn)證模型遷移在未知測(cè)試數(shù)據(jù)集上的泛化能力,結(jié)果顯示DST 神經(jīng)網(wǎng)絡(luò)的穩(wěn)定性相比傳統(tǒng)圖像增強(qiáng)技術(shù)和基于Cycle-GAN 的圖像增強(qiáng)技術(shù)提升很多,Dice 指標(biāo)提升超過30%,而且采用DST 神經(jīng)網(wǎng)絡(luò)在少量標(biāo)注數(shù)據(jù)上進(jìn)行圖像增強(qiáng)后訓(xùn)練模型,然后在大規(guī)模未知數(shù)據(jù)集上的預(yù)估已經(jīng)可以和最先進(jìn)的監(jiān)督學(xué)習(xí)在大規(guī)模標(biāo)準(zhǔn)樣本上訓(xùn)練模型的預(yù)估效果相媲美了.Zhao 等[50]發(fā)現(xiàn)MRI 在患者腦灰質(zhì)和腦白質(zhì)的病變檢測(cè)和分類中十分有效,但是因?yàn)闄z測(cè)價(jià)格、設(shè)備限制等各項(xiàng)因素,腦部CT 影像比MRI 影像更為常見,但同時(shí)CT 影像對(duì)于軟體組織對(duì)比度很差,很難直接用來進(jìn)行腦灰質(zhì)、腦白質(zhì)、腦脊液的病變檢測(cè).作者通過改進(jìn)U-Net 網(wǎng)絡(luò),使用帶標(biāo)注的CT 影像構(gòu)造出對(duì)應(yīng)的MRI 影像,因?yàn)闃?gòu)造前后的圖像是自然配準(zhǔn)的,所以MRI 可以復(fù)用原標(biāo)注信息執(zhí)行監(jiān)督學(xué)習(xí),測(cè)試結(jié)果證明了利用CT 影像完成軟組織標(biāo)注和診斷任務(wù)的可行性.主動(dòng)學(xué)習(xí)也可以用于解決標(biāo)注數(shù)據(jù)缺乏問題,算法的基本原理是系統(tǒng)塞選出不確定性樣本交由專家標(biāo)注,并將標(biāo)注結(jié)果放入訓(xùn)練集中持續(xù)優(yōu)化模型.Kuo 等[51]在使用基于不確定性樣本選擇機(jī)制時(shí),引入預(yù)估標(biāo)注時(shí)間作為代價(jià)參考因素,該模型綜合標(biāo)注收益和標(biāo)注代價(jià),讓醫(yī)生在寶貴的時(shí)間中產(chǎn)生更多有價(jià)值的標(biāo)注結(jié)果.

遷移學(xué)習(xí)[26,52-54]目前在深度學(xué)習(xí)中經(jīng)常被使用.訓(xùn)練初始可以使用已有的大量高質(zhì)量標(biāo)注的自然圖像訓(xùn)練模型,先“學(xué)習(xí)”線條、形狀、邊緣等知識(shí),最后再將該網(wǎng)絡(luò)較前端部分的輸出作為特征抽取算子,或者固定其較淺部分的模型參數(shù),再根據(jù)目標(biāo)任務(wù)優(yōu)化末端部分的模型參數(shù),就可以使用較少標(biāo)注數(shù)據(jù)使整個(gè)模型快速收斂[26].為了節(jié)省計(jì)算資源,目前越來越多的場(chǎng)景采用標(biāo)準(zhǔn)主干網(wǎng)絡(luò)并加載預(yù)訓(xùn)練模型,再根據(jù)目標(biāo)任務(wù)調(diào)優(yōu)的遷移學(xué)習(xí)方案.遷移學(xué)習(xí)在2D 圖像的訓(xùn)練任務(wù)中十分常見,但是在3D 圖像處理中研究案例很少,相鄰圖像的上下文相關(guān)信息無法挖掘,即使嘗試使用RNN 或LSTM 來學(xué)習(xí)相鄰圖像的相關(guān)特征,考慮到計(jì)算量和模型復(fù)雜度等因素幾乎也是無法實(shí)現(xiàn)的,而且通常3D 圖像標(biāo)注數(shù)據(jù)很少,因而模型很難訓(xùn)練.為此,Liu 等[55]提出了3D AH-Net 模型,它使用ResNet作為主干網(wǎng)絡(luò),并基于ImageNet 的預(yù)訓(xùn)練模型作為起點(diǎn),然后再將目標(biāo)任務(wù)中3 張相鄰的2D 圖像模擬成RGB 三個(gè)通道對(duì)編碼器網(wǎng)絡(luò)做精調(diào),在保持網(wǎng)絡(luò)結(jié)構(gòu)不變的同時(shí)引入相鄰上下文關(guān)系.作者設(shè)計(jì)了全新解碼器代替原先解碼器,把3D 卷積操作拆分成2D 卷積操作和1D 卷積操作,在充分利用單個(gè)圖像內(nèi)部特征的同時(shí),保持圖像間相關(guān)性輸出一致.最終,在乳腺病變檢測(cè)、肝臟分割兩個(gè)測(cè)試任務(wù)中,該網(wǎng)絡(luò)效果領(lǐng)先傳統(tǒng)網(wǎng)絡(luò)(例如3D U-Net),而且在訓(xùn)練和預(yù)估任務(wù)上也有著明顯的性能優(yōu)勢(shì).Liang 等[56]研究了醫(yī)學(xué)圖像應(yīng)用中深度學(xué)習(xí)的模型泛化問題,實(shí)驗(yàn)對(duì)比了遷移學(xué)習(xí)中3 種常用實(shí)現(xiàn)手段的泛化性能,針對(duì)目標(biāo)數(shù)據(jù)集的模型微調(diào)的泛化收益最為明顯.

課程式學(xué)習(xí)[57,58]作為一種訓(xùn)練策略,值得對(duì)于醫(yī)療領(lǐng)域這類標(biāo)注數(shù)據(jù)少、樣本分布不均衡場(chǎng)景嘗試.該訓(xùn)練策略啟發(fā)自人類學(xué)習(xí)過程,普通人在學(xué)習(xí)過程中常從較簡(jiǎn)單的任務(wù)開始,接著不斷增加學(xué)習(xí)難度,這種難度逐步增加的學(xué)習(xí)過程更有效率.但是,如何確定樣本的難易程度也是比較微妙的事情,Jiménez-Sánchez等[58]的研究表明:如果先學(xué)習(xí)困難的樣本,再學(xué)習(xí)比較容易的樣本,最終模型的預(yù)估效果反而會(huì)變差,而且這種難易程度和人類直觀感受的難易程度是不一致的.

4.3 模型的遷移泛化和實(shí)施

深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用研究,研究成果部分是基于特定醫(yī)療機(jī)構(gòu)的內(nèi)部數(shù)據(jù),往往難以復(fù)現(xiàn).而絕大多數(shù)都是基于網(wǎng)絡(luò)公開數(shù)據(jù)集,這類數(shù)據(jù)集規(guī)模普遍都很小,而且一些字段信息也刪除掉了.考慮到各醫(yī)療機(jī)構(gòu)的就診條件、設(shè)備差異、運(yùn)行參數(shù)、病人分布等因素都可能存在差異性,如此小規(guī)模的訓(xùn)練集是否能夠代表真實(shí)應(yīng)用場(chǎng)景的樣本分布,以及訓(xùn)練所得的模型在其它設(shè)備、其它機(jī)構(gòu)是否同樣有效還存在巨大挑戰(zhàn)[47].當(dāng)前看來,除了采用超大規(guī)模、多樣性的標(biāo)注數(shù)據(jù)訓(xùn)練模型外,通過數(shù)據(jù)增強(qiáng)、多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)等手段對(duì)提高模型的泛化能力對(duì)增加臨床使用的適應(yīng)能力具有一定的意義[43,49].

深度學(xué)習(xí)結(jié)合醫(yī)療領(lǐng)域本來就是個(gè)交叉課題,通常需要數(shù)據(jù)專家、算法、工程技術(shù)、醫(yī)療領(lǐng)域?qū)＜业木o密合作才行.但目前情形而言,醫(yī)療機(jī)構(gòu)本身對(duì)這方面的研究精力和資源投入有限,同外部機(jī)構(gòu)合作研究交叉課題機(jī)會(huì)也不多,整個(gè)流程還需要醫(yī)院管理層和倫理委員會(huì)的審批和監(jiān)督,如此嚴(yán)格的高準(zhǔn)入門檻阻礙了大部分研究機(jī)構(gòu)和學(xué)者獲取真實(shí)、有效、豐富的醫(yī)療數(shù)據(jù),著力共同攻克相關(guān)領(lǐng)域難題的機(jī)會(huì).

傳統(tǒng)醫(yī)療設(shè)備和信息系統(tǒng),在實(shí)施部署后便進(jìn)入常規(guī)維護(hù)流程,后期的維護(hù)工作都相對(duì)有限,而基于深度學(xué)習(xí)的醫(yī)療應(yīng)用,后期維護(hù)任務(wù)也更加的復(fù)雜.深度學(xué)習(xí)需要持續(xù)跟蹤使用場(chǎng)景,通過不斷優(yōu)化模型才能保持和提升效果,而且隨著新數(shù)據(jù)的產(chǎn)生,或者醫(yī)療設(shè)備、使用應(yīng)用場(chǎng)景發(fā)生變化,原有模型都需要不斷地更新維護(hù).現(xiàn)代醫(yī)學(xué)影像的分辨率越來越高,同時(shí)3D 影像技術(shù)應(yīng)用越來越廣泛,因此還需要購(gòu)置先進(jìn)的硬件設(shè)備以提供強(qiáng)大的計(jì)算能力.當(dāng)前深度學(xué)習(xí)只擅長(zhǎng)于對(duì)特定應(yīng)用場(chǎng)景進(jìn)行建模,而大型綜合醫(yī)療機(jī)構(gòu)中的科室數(shù)目、疾病類型、服務(wù)場(chǎng)景都是海量的,這意味著巨大應(yīng)用潛力的同時(shí),復(fù)用性低也意味著巨大的投入負(fù)擔(dān),深度學(xué)習(xí)的應(yīng)用實(shí)施對(duì)基礎(chǔ)信息設(shè)施有著較高的要求,這無疑會(huì)增加醫(yī)療機(jī)構(gòu)運(yùn)營(yíng)和管理維護(hù)的成本.總之,對(duì)于醫(yī)療機(jī)構(gòu)來說,深度學(xué)習(xí)應(yīng)用是一個(gè)需要持續(xù)性、高投入的場(chǎng)景,對(duì)此醫(yī)療機(jī)構(gòu)的態(tài)度勢(shì)必會(huì)更加的謹(jǐn)慎.

4.4 隱私合規(guī)性問題

當(dāng)前公眾對(duì)于個(gè)人隱私問題越來越關(guān)注,尤其對(duì)于醫(yī)療健康信息尤為敏感,數(shù)據(jù)保護(hù)也是當(dāng)前醫(yī)院管理的重中之重.美國(guó)在1996年就簽署頒布了健康保險(xiǎn)流通與責(zé)任法案(health insurance portability and accountability act,HIPAA),HIPAA 包含了一系列規(guī)定來保障受保護(hù)健康信息(protected health information,PHI)的安全性和隱私性,PHI 涉及到年齡、聯(lián)系方式、社會(huì)保險(xiǎn)號(hào)等字段,HIPAA 適用于包括直接接觸病人并處理病人數(shù)據(jù)的醫(yī)院、醫(yī)療服務(wù)提供商、研究機(jī)構(gòu)和保險(xiǎn)公司等主體.歐盟于2018年也出臺(tái)了通用數(shù)據(jù)保護(hù)條例(general data protection regulation,GDPR)用于個(gè)人敏感數(shù)據(jù)的保護(hù).我國(guó)對(duì)健康隱私的保護(hù)機(jī)制也在不斷地健全和完善.2021年1月1日實(shí)施的《中華人民共和國(guó)民法典》中定義了個(gè)人信息包括自然人的姓名、出生日期、身份證件號(hào)碼、生物識(shí)別信息、住址、電話號(hào)碼、電子郵箱、健康信息、行蹤信息等,同時(shí)要求醫(yī)療機(jī)構(gòu)及醫(yī)務(wù)人員應(yīng)當(dāng)對(duì)患者的隱私和個(gè)人信息保密.

雖然HL7、IHE、DICOM、openEHR 等標(biāo)準(zhǔn)的制定和實(shí)施,在技術(shù)層面上解決了醫(yī)療數(shù)據(jù)交換和流通的難題,但對(duì)于隱私問題的過分擔(dān)憂會(huì)嚴(yán)重阻礙對(duì)這些信息的挖掘利用和互操作[59],對(duì)醫(yī)療數(shù)據(jù)實(shí)現(xiàn)脫敏是一種解決思路.相關(guān)研究[60]已經(jīng)嘗試用機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的方式,自動(dòng)對(duì)患者個(gè)人醫(yī)療信息進(jìn)行PHI歸類判別,以代替?zhèn)鹘y(tǒng)的手動(dòng)或基于規(guī)則的專家系統(tǒng)來完成相應(yīng)工作.Catelli 等[54]嘗試將文本嵌入表示和BiLSTM+CRF 模型應(yīng)用于COVID-19 意大利語電子病歷數(shù)據(jù)集的去標(biāo)識(shí)化操作,其評(píng)測(cè)效果優(yōu)勢(shì)顯著,也展現(xiàn)出通過深度學(xué)習(xí)對(duì)醫(yī)療數(shù)據(jù)實(shí)現(xiàn)脫敏去標(biāo)識(shí)化后,共享醫(yī)療信息快速應(yīng)對(duì)公共衛(wèi)生事件的重要價(jià)值和意義.相信終有一天,公眾和社會(huì)對(duì)于患者健康數(shù)據(jù)的使用將會(huì)更加安全理性.

5 結(jié)束語

本文介紹了深度學(xué)習(xí)的原理和常見深度神經(jīng)網(wǎng)絡(luò)模型,結(jié)合實(shí)踐介紹了深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的影像和視頻處理、信號(hào)處理、自然語言處理等典型醫(yī)療數(shù)據(jù)的應(yīng)用,包含了科學(xué)研究和臨床應(yīng)用的最新研究進(jìn)展、研究熱點(diǎn)等問題,其中以醫(yī)學(xué)影像的研究成果最為顯著.本文還對(duì)深度學(xué)習(xí)在醫(yī)療領(lǐng)域中的應(yīng)用困難和挑戰(zhàn)進(jìn)行了討論,其中包括模型的解釋性、穩(wěn)定性等深度學(xué)習(xí)的固有難題,以及醫(yī)療領(lǐng)域標(biāo)注數(shù)據(jù)缺乏、樣本分布不均衡等行業(yè)特定問題,目前主流方法通過使用數(shù)據(jù)增強(qiáng)、遷移學(xué)習(xí)、課程學(xué)習(xí)等技術(shù)解決這類問題.同時(shí),面對(duì)大量存在的無標(biāo)注數(shù)據(jù)和弱標(biāo)注數(shù)據(jù),無監(jiān)督學(xué)習(xí)、弱監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等算法也有很大的研究?jī)r(jià)值.深度學(xué)習(xí)在醫(yī)療領(lǐng)域的應(yīng)用是一個(gè)交叉課題,需要多領(lǐng)域?qū)＜覅f(xié)作才能取得進(jìn)展,雖然數(shù)據(jù)交換在技術(shù)上不再困難,但考慮到隱私、監(jiān)管合規(guī)等因素,數(shù)據(jù)壁壘是目前發(fā)展的重要阻礙.

中國(guó)是一個(gè)幅員遼闊、人口眾多,同時(shí)醫(yī)療資源分布很不均衡的國(guó)家,伴隨著人口老齡化程度不斷地加深,醫(yī)療服務(wù)的供需矛盾將更加的尖銳,而運(yùn)用現(xiàn)代信息技術(shù)有助于解決醫(yī)療資源的分配和醫(yī)學(xué)知識(shí)技能的共享問題[10,56].近年來深度學(xué)習(xí)在醫(yī)學(xué)領(lǐng)域的應(yīng)用有著豐富的收獲,是一個(gè)極具意義的研究方向,但是距離臨床應(yīng)用還有很多問題亟待解決,期待深度學(xué)習(xí)技術(shù)能夠更快更好地造福于人類健康事業(yè).