黎 英

南寧師范大學(xué) 廣西高校科學(xué)計算與智能信息處理重點實驗室，南寧 530001

醫(yī)學(xué)圖像分析是計算機視覺的一個子領(lǐng)域，近年來深度學(xué)習(xí)因其能夠較好處理高維數(shù)據(jù)、無需手動選取特征、只需訓(xùn)練好權(quán)重就能較好完成特征提取和分類任務(wù)，在該領(lǐng)域得到廣泛而深入的應(yīng)用，但缺點是要訓(xùn)練的參數(shù)太多且需要大量樣本，而醫(yī)學(xué)圖像分析的一個重要問題是圖像數(shù)據(jù)集比較小，導(dǎo)致訓(xùn)練出來的模型不夠準確，影響臨床實際應(yīng)用。遷移學(xué)習(xí)是機器學(xué)習(xí)中的一種新的學(xué)習(xí)范式，可以解決醫(yī)學(xué)圖像分析領(lǐng)域的小數(shù)據(jù)集問題，因此近年來遷移學(xué)習(xí)逐漸應(yīng)用到醫(yī)學(xué)圖像分析的許多領(lǐng)域，如圖像分割、病變定位和病變模式識別等?？梢赃w移的知識包括數(shù)據(jù)、特征和模型，例如把阿爾茨海默癥源域的數(shù)據(jù)遷移到輕度認知功能障礙目標域，把大型公共圖像數(shù)據(jù)集ImageNet上訓(xùn)練的模型作為預(yù)訓(xùn)練模型遷移到乳腺良惡性病變分類任務(wù)目標域等。既可以在相似或相近的醫(yī)學(xué)圖像分析領(lǐng)域之間遷移知識，例如將一般肺炎圖像數(shù)據(jù)集上訓(xùn)練的檢測模型遷移到新冠肺炎檢測研究領(lǐng)域；也可以把公共領(lǐng)域的知識遷移到生物醫(yī)學(xué)研究領(lǐng)域，例如將ImageNet上訓(xùn)練的各種分類模型遷移到醫(yī)學(xué)圖像分析領(lǐng)域進行疾病檢測、分類和分割等。目前醫(yī)學(xué)圖像分析主要使用的遷移學(xué)習(xí)方法是基于樣本的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)、對抗式遷移學(xué)習(xí)、混合遷移學(xué)習(xí)。按照上述幾種遷移學(xué)習(xí)方法分別對醫(yī)學(xué)圖像分析的重要文獻進行梳理、分析和歸納，闡述各種遷移學(xué)習(xí)的機制、適用范圍、優(yōu)勢和局限性，以及如何具體應(yīng)用到醫(yī)學(xué)圖像分析的各種任務(wù)。詳細闡述了基于模型的遷移學(xué)習(xí)的應(yīng)用情況，重點闡述混合遷移學(xué)習(xí)及對抗式遷移學(xué)習(xí)的應(yīng)用情況。最后針對現(xiàn)有研究缺陷提出將來可能的研究方向，為遷移學(xué)習(xí)在該領(lǐng)域的深入研究提供參考。

1 遷移學(xué)習(xí)概述

遷移學(xué)習(xí)是數(shù)據(jù)科學(xué)界一種強大的研究方法，通過遷移已學(xué)到相關(guān)任務(wù)的知識來改進新任務(wù)的學(xué)習(xí)過程，特別是用于克服高度專業(yè)化但規(guī)模較小的數(shù)據(jù)集的局限性[1]。目前已經(jīng)出現(xiàn)的遷移學(xué)習(xí)方法主要包括：基于樣本的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)、同構(gòu)遷移學(xué)習(xí)、異構(gòu)遷移學(xué)習(xí)、對抗式遷移學(xué)習(xí)和自動遷移學(xué)習(xí)等。基于樣本的遷移學(xué)習(xí)和基于特征的遷移學(xué)習(xí)都屬于基于數(shù)據(jù)的遷移學(xué)習(xí)[2]?；跀?shù)據(jù)的遷移學(xué)習(xí)和基于模型的遷移學(xué)習(xí)等大多數(shù)遷移學(xué)習(xí)屬于同構(gòu)遷移學(xué)習(xí)，適用于當(dāng)源域和目標域數(shù)據(jù)具有相同或相近的表示結(jié)構(gòu)但服從不同概率分布的情況。同構(gòu)遷移學(xué)習(xí)的局限性在于只能借助同構(gòu)表示空間的源域來提高目標域的泛化能力。異構(gòu)遷移學(xué)習(xí)通過允許源域和目標域位于不可通約的特征空間或不同的標簽空間來進一步擴大遷移學(xué)習(xí)的適用范圍[1]，從而克服同構(gòu)遷移學(xué)習(xí)的缺陷。對抗式遷移學(xué)習(xí)[1-4]是生成對抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）和遷移學(xué)習(xí)結(jié)合的產(chǎn)物。GAN可以通過基于學(xué)習(xí)的數(shù)據(jù)擴展方法來生成或增強目標域數(shù)據(jù)，創(chuàng)造了額外的目標域數(shù)據(jù)，避免了傳統(tǒng)模型只學(xué)習(xí)源域有標簽樣本的權(quán)重。為了在目標域獲得良好的性能，目前研究者往往嘗試多種遷移學(xué)習(xí)算法，從中選擇效果較好的，然而計算代價高昂，不可能窮極所有算法，那么如何選擇比較適合目標域任務(wù)的遷移學(xué)習(xí)算法是亟待解決的問題。自動遷移學(xué)習(xí)[5]也稱為學(xué)習(xí)遷移，通過經(jīng)驗自動選擇遷移學(xué)習(xí)算法，是一種新的遷移學(xué)習(xí)框架，有助于解決遷移學(xué)習(xí)算法的選擇問題。目前遷移學(xué)習(xí)已經(jīng)廣泛應(yīng)用于隱私保護、計算機視覺、自然語言處理、對話系統(tǒng)、推薦系統(tǒng)、行為識別等領(lǐng)域。

2 基于數(shù)據(jù)的遷移學(xué)習(xí)

2.1 基于樣本的遷移學(xué)習(xí)

基于樣本的遷移學(xué)習(xí)是在源域和目標域數(shù)據(jù)具有相同特征的情況下，從源域中篩選出符合目標域數(shù)據(jù)的相似分布的樣本，用它們訓(xùn)練新模型以降低其偏差和方差[1]。傳統(tǒng)的方法是樣本加權(quán)方法，使用判別區(qū)分源數(shù)據(jù)和目標數(shù)據(jù)方法、核平均匹配方法、函數(shù)估計方法等來估計權(quán)重。這種加權(quán)方法應(yīng)用到腦部[6-7]和血管[8]圖像分析中。Cheng等[6]提出一種多模態(tài)流形正則化遷移學(xué)習(xí)方法，聯(lián)合利用來自另一個域的樣本，即阿爾茨海默癥患者和正常人及未標記樣本來提高輕度認知功能障礙的性能轉(zhuǎn)換預(yù)測。該研究在目標函數(shù)中使用基于核的最大平均偏差（Maximum Mean Discrepancy，MMD）準則來幫助消除輔助域和目標域之間的分布差異帶來的潛在負面影響；通過最小化目標函數(shù)可以學(xué)習(xí)多域、標記和未標記數(shù)據(jù)以及多模態(tài)數(shù)據(jù)之間收斂的公共權(quán)重矩陣。

樣本加權(quán)方法要計算源域和目標域的密度比，該值計算難度較大，因此有些研究采用其他方法來遷移樣本，包括使用多個分類器選擇樣本[9]、通過標記無標簽數(shù)據(jù)來獲得有標簽數(shù)據(jù)[10]、擴展目標域不同類之間的間隔再合并源域樣本[11]等。Yao等[11]提出了一種基于判別最小二乘回歸（Discriminant Least Squares Regression，DLSR）的歸納遷移學(xué)習(xí)方法，將其應(yīng)用于提高癲癇腦電信號識別的適應(yīng)性和準確性。該方法繼承了DLSR的優(yōu)點，通過擴展目標域不同類之間的間隔以更適合于分類場景，并同時使用目標域和源域的數(shù)據(jù)對模型進行訓(xùn)練以便獲得更好的性能。

雖然上述各類實現(xiàn)樣本遷移的方法都在一定程度上增加了目標域的樣本數(shù)量，但能夠遷移到目標域的樣本數(shù)量仍然受限于源域樣本數(shù)量，并且樣本加權(quán)方法還需要計算MMD及KL等距離量度；在源域和目標域數(shù)據(jù)都無標簽，及源域數(shù)據(jù)無標簽而目標域數(shù)據(jù)有標簽的情況下目前還無法使用樣本加權(quán)方法。

2.2 基于特征的遷移學(xué)習(xí)

基于特征的遷移學(xué)習(xí)要解決的是源域數(shù)據(jù)和目標域數(shù)據(jù)特征不重疊或者有部分特征重疊的問題。對于特征有重疊的情況，學(xué)習(xí)一對映射函數(shù)，將來自源域和目標域的數(shù)據(jù)映射到共同特征空間以減少域間差異性；對于不重疊的情況，找到兩個特征空間可能存在的某些轉(zhuǎn)換器來實現(xiàn)遷移學(xué)習(xí)。Cheng等[12]提出了一種域遷移支持向量機（Support Vector Machine，SVM）的遷移學(xué)習(xí)方法，對輕度認知損傷轉(zhuǎn)換物（Mild Cognitive Impairment Converters，MCI-C）和非輕度認知損傷轉(zhuǎn)換物（MCI Non-Converters，MCI-NC）進行分類。該方法使用跨域核學(xué)習(xí)來遷移輔助領(lǐng)域知識，首先將輔助域和目標域映射到再生核Hilbert空間（RKHS），然后用跨域核方法構(gòu)造一個新的核函數(shù)，減少輔助域和目標域數(shù)據(jù)分布的差異。將源域和目標域的數(shù)據(jù)從原始特征空間映射到新的特征空間的方法本質(zhì)上是建立源域和目標域的特征關(guān)聯(lián)，因此也可以采取其他方法，例如特征空間變換遷移學(xué)習(xí)[13]、尺度不變特征變換的遷移學(xué)習(xí)[14]等。使用不同的掃描儀或掃描參數(shù)獲取訓(xùn)練和測試圖像會導(dǎo)致訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間的特征表示不同，因此Opbroek等所做MR腦圖像分割研究中提出了一種特征空間變換（Feature-Space Transformation，F(xiàn)ST）方法來克服特征重構(gòu)中的這種差異。未標記的源-目標樣本對由使用源和目標掃描儀掃描的對象的圖像生成，然后將標記的訓(xùn)練樣本鏈接到它們最近的k個源樣本，并給出k個源樣本的中值變換，從而得到變換后的訓(xùn)練樣本[13]。

目前醫(yī)學(xué)圖像分析領(lǐng)域基于特征的遷移學(xué)習(xí)屬于源域和目標域有特征重疊的情況?；谔卣鞯倪w移學(xué)習(xí)適用范圍較廣，不管源域和目標域數(shù)據(jù)是否有標簽都能使用。然而，當(dāng)數(shù)據(jù)有標簽時，域不變性的度量值不易計算；當(dāng)數(shù)據(jù)無標簽時，學(xué)習(xí)跨域通用特征也較困難。

3 基于模型的遷移學(xué)習(xí)

基于模型的遷移學(xué)習(xí)是在模型層次上源任務(wù)和目標任務(wù)共享部分通用知識，包括模型參數(shù)、模型先驗知識和模型架構(gòu)，分為基于共享模型成分的知識遷移和基于正則化的知識遷移兩類。前者利用源域的模型成分或超參數(shù)來確定目標域模型；后者通過限制模型靈活性來防止模型過擬合[1]。目前醫(yī)學(xué)圖像分析領(lǐng)域主要用到的是第一類，被遷移的模型絕大多數(shù)是深度卷積神經(jīng)網(wǎng)絡(luò)（Deep Convolution Neural Network，DCNN），個別是貝葉斯框架等非神經(jīng)網(wǎng)絡(luò)。被遷移的DCNN有兩種，一種是現(xiàn)有的經(jīng)典網(wǎng)絡(luò)，主要是在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的DCNN，如Inception系列、GoogLeNet系列、MobileNet系列、ResNet系列、VGG系列、DenseNet系列、MatConvNet系 列、SqueezeNet、AlexNet、ENet和CAE（Convolutional Autoencoder，卷積自動編碼器）；另一種是研究者根據(jù)所研究任務(wù)設(shè)計的各種DCNN。被遷移模型有些進行了結(jié)構(gòu)調(diào)整，有些只是對參數(shù)進行微調(diào)，有些沒有進行任何微調(diào)就直接使用。結(jié)構(gòu)改變可以去掉某些層，可以去掉靠后的卷積層，也可以去掉某些完全連接（Full Connection，F(xiàn)C）層；參數(shù)微調(diào)是調(diào)整卷積層或FC層的參數(shù)?；谀Ｐ偷倪w移學(xué)習(xí)按照目標域任務(wù)可分為圖像分類、圖像分割、預(yù)測、目標檢測、圖像去噪等，具體如下所述。

3.1 圖像分類

在圖像分類任務(wù)的遷移學(xué)習(xí)中，遷移DCNN的卷積層到目標域中進行特征提取，分類則使用諸如SVM、隨機深林、決策樹、最近鄰等傳統(tǒng)方法來完成[15-31]，或者修改被遷移模型的FC層來完成[32-70]。使用傳統(tǒng)方法分類和修改FC層分類各有優(yōu)缺點，具體要使用哪種方法要根據(jù)所研究問題具體分析。根據(jù)分類實現(xiàn)方式把圖像分類遷移學(xué)習(xí)研究分為使用傳統(tǒng)分類方法和修改FC層分類兩種。

3.1.1 使用傳統(tǒng)分類方法

在ImageNet上預(yù)訓(xùn)練的DCNN的卷積層被遷移到新任務(wù)，卷積層沒有經(jīng)過參數(shù)調(diào)整而直接用來進行特征提取[15-22]。某些研究對所提取特征進行了再處理，包括：特征選擇和降維[15]、合并從醫(yī)學(xué)圖像提取的深層特征和從常規(guī)圖像提取的通用特征[16]、合并遷移模型提取的醫(yī)學(xué)圖像深層特征和傳統(tǒng)機器學(xué)習(xí)提取的圖像特征[17]、合并不同遷移模型提取的圖像特征[18]等。Deniz等[18]使用AlexNet和VGG16的FC6和FC7層分別提取乳腺癌組織病理圖像的深層特征，然后進行合并，再使用SVM進行乳腺腫瘤的良性和惡性分類。還有研究直接使用遷移模型提取的深度特征進行年齡相關(guān)性黃斑變性（AMD）分類[19]。這些研究驗證了從自然圖像中獲得深層特征的可移植性。然而，Trivizakis等[20]在同一個乳房X光片數(shù)據(jù)集上對比從頭訓(xùn)練的定制2D CNN和ImageNet上預(yù)訓(xùn)練的VGG19、DenseNet和NASNet各自提取圖像特征后經(jīng)由SVM進行分類，實驗結(jié)果表明從頭訓(xùn)練的CNN在兩個不同數(shù)據(jù)集上不同分類任務(wù)的AUC均明顯好于幾個遷移模型的AUC。這個結(jié)果說明遷移模型直接使用，不經(jīng)過調(diào)整且未在目標域再訓(xùn)練可能導(dǎo)致模型效果不理想。

把預(yù)訓(xùn)練模型的卷積層遷移到目標域，再使用目標域的數(shù)據(jù)再訓(xùn)練來調(diào)整參數(shù)，以便更好適應(yīng)目標域的特征提取任務(wù)。參數(shù)調(diào)整研究在腫瘤[22-26]、腦部[27-30]和肺炎[31]等圖像分析中都有應(yīng)用。某些研究對遷移模型提取的圖像特征沒有進一步處理，有些研究則進行了處理，例如合并遷移模型提取的腫瘤特征和基于解析提取的腫瘤特征[22]、合并遷移模型提取的肺癌特征和傳統(tǒng)特征[23]、用PCA對遷移模型提取的特征進行映射[24]等。在區(qū)分乳腺良惡性病變的任務(wù)中，Huynh等[22]比較了基于預(yù)訓(xùn)練的AlexNet提取圖像特征的支持向量機分類器和先前的計算機提取腫瘤特征的分類器，結(jié)果表明，這兩者性能相當(dāng)；預(yù)訓(xùn)練AlexNet經(jīng)過目標域數(shù)據(jù)集微調(diào)后提取的種類特征和基于解析提取的腫瘤特征合并后再用SVM分類，性能明顯優(yōu)于單獨使用兩種特征提取方法中的任何一種，可見遷移學(xué)習(xí)可以改進現(xiàn)有的計算機輔助診斷（CADx）方法，同時提供獨立的分類器，而不需要大的數(shù)據(jù)集。該研究表明預(yù)訓(xùn)練模型遷移到目標域后進行參數(shù)調(diào)整，至少能達到和從頭開始訓(xùn)練的模型相當(dāng)?shù)男阅?，說明參數(shù)調(diào)整是非常重要的。

3.1.2 修改FC層分類

在ImageNet上預(yù)訓(xùn)練的各種DCNN，它們最后的FC層是用來進行1 000個類的分類，因此這些預(yù)訓(xùn)練的DCNN遷移到目標域后，需要修改最后FC層的節(jié)點數(shù)或是增加新的FC層以適應(yīng)目標域的分類數(shù)量。根據(jù)遷移模型結(jié)構(gòu)的修改情況，把修改FC層分類任務(wù)的研究分為：增加新FC層[33-35]、替換原有FC層[36-40]、只修改最后FC層的節(jié)點數(shù)[41-70]。只修改最后FC層節(jié)點數(shù)的研究是最多的，因其對遷移模型的修改最少而又有一定效果。

（1）增加新FC層

增加新的FC層在腫瘤圖像分類中研究較多，其他疾病圖像分類研究較少。這里僅以乳房X光片分類為例。Samala等[33]使用一個為ImageNet LSVRC-2010競賽開發(fā)的預(yù)訓(xùn)練的DCNN作為遷移模型，在該網(wǎng)絡(luò)中添加了兩個額外的FC層，以便將1 000節(jié)點的FC層減少成2節(jié)點的softmax分類器，所有FC層的權(quán)重和偏差被隨機初始化，采用凍結(jié)不同卷積層策略以便對其進行參數(shù)微調(diào)，使用數(shù)字化屏幕膠片乳房X光片（SFMs）和數(shù)字化乳房X光片（DMs）對進行再次訓(xùn)練，用于對乳房X光片上的腫塊進行良性和惡性分類。

（2）替換原有FC層

替換原有FC層在肺部和腦部疾病圖像分析中都有應(yīng)用，這里僅舉肺部典型事例。Nishio等[36]去掉預(yù)訓(xùn)練的VGG-16的FC層，然后添加兩個節(jié)點數(shù)不同的FC層，在這兩個層之間應(yīng)用dropout，并在這兩個層后添加softmax層，將具有3個節(jié)點的FC層的輸出轉(zhuǎn)換為3個類的概率；然后凍結(jié)某些卷積層，其他卷積層參與微調(diào)，在患者的CT圖像數(shù)據(jù)集上進行再訓(xùn)練，用于良性結(jié)節(jié)、原發(fā)性肺癌和轉(zhuǎn)移性肺癌之間分類。

（3）只修改最后FC層的節(jié)點數(shù)

在修改最后FC層的研究中，有些研究調(diào)整了被遷移模型所有層的參數(shù)，包括卷積層和FC層等，以便獲得更適用于目標域的特征提取及更準確分類；有些研究只調(diào)整被遷移模型的所有FC層的參數(shù)，直接利用原有的卷積層進行特征提取，可能是源域和目標域的特征比較接近而只是分類任務(wù)不同；有些研究只調(diào)整最后FC層的參數(shù)。根據(jù)參數(shù)調(diào)整涉及的層，把修改最后FC層節(jié)點數(shù)的研究分為：調(diào)整所有層的參數(shù)[41-44]、調(diào)整FC層的參數(shù)[45-50]、調(diào)整卷積層的參數(shù)[51-70]。

①調(diào)整所有層的參數(shù)

調(diào)整所有層參數(shù)的研究在肺炎及肺部腫瘤圖像分析中都有應(yīng)用，這里僅以肺炎圖像分析為例。TAO等[41]提出一種稱為順序微調(diào)的遷移學(xué)習(xí)方法，用經(jīng)CT/X射線影像診斷為肺部疾病患者的支氣管鏡圖像對一個預(yù)訓(xùn)練的DenseNet進行再訓(xùn)練，依次從FC層到其之前的層對該模型進行微調(diào)；對于下一個epoch或一組epoch，還允許對前一個epoch中已經(jīng)微調(diào)的層之前的層進行微調(diào)，如此反復(fù)微調(diào)所有層直到符合要求，用來區(qū)分肺癌、結(jié)核病和正常人。

②調(diào)整FC層的參數(shù)

調(diào)整FC層參數(shù)包括調(diào)整所有FC層的參數(shù)、調(diào)整部分FC的參數(shù)和只調(diào)整最后FC層的參數(shù)，這些調(diào)整在腫瘤和皮膚病圖像分析中都有應(yīng)用，這里僅以調(diào)整部分FC層參數(shù)為例。在眼部疾病圖像分析研究中，Karri等[48]提出一個用于從光學(xué)相干斷層掃描（OCT）的視網(wǎng)膜圖像中識別老年性黃斑病變、糖尿病黃斑水腫和正常人的遷移學(xué)習(xí)方法。對預(yù)訓(xùn)練GoogLeNet的修改包括FC層有三個輸出、隨機初始化輔助分支中所有FC層和卷積層的權(quán)重、所有最后一層都從soft-max變?yōu)閘ogsoft-max；修改后的GoogLeNet使用adagrad優(yōu)化器而不是adam或隨機梯度下降（SGD）進行訓(xùn)練。實驗結(jié)果表明，與經(jīng)典學(xué)習(xí)相比，微調(diào)后的CNN可以有效地識別病變；對于訓(xùn)練數(shù)據(jù)有限的OCT圖像，在非醫(yī)學(xué)圖像上訓(xùn)練的模型可以進行微調(diào)。該研究只調(diào)整輔助分支中的所有FC層的參數(shù)，而不是所有FC層的參數(shù)。

③調(diào)整卷積層的參數(shù)

調(diào)整卷積層的參數(shù)在癌癥[51-55]、腦科[56-57]、骨科[58-59]、肺炎[60-63]、眼科[64-66]、肝臟[67-68]、皮膚病[69]、乳腺[70]等疾病圖像分析領(lǐng)域都有應(yīng)用。這里僅以癌癥圖像分析為例。陳道爭等[51]采用凍結(jié)全部卷積層和微調(diào)靠近頂部的深層卷積層兩種遷移學(xué)習(xí)策略，對比分析VGG16、VGG19和ResNet50這3種預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的肺結(jié)節(jié)分類性能，結(jié)果表明允許部分卷積層參與訓(xùn)練過程可以獲得更好的實驗結(jié)果。

3.2 圖像分割

按照被遷移模型的結(jié)構(gòu)和參數(shù)是否被調(diào)整分為兩類：調(diào)整結(jié)構(gòu)和參數(shù)、只調(diào)整參數(shù)。

3.2.1 調(diào)整結(jié)構(gòu)和參數(shù)

在胸部危險器官分割[71]、X射線圖像中的導(dǎo)管和導(dǎo)絲分割[72]屬于同時調(diào)整了結(jié)構(gòu)和參數(shù)。以危險胸部器分割為例來說明調(diào)整結(jié)構(gòu)和參數(shù)如何進行。Vu等[71]提出一種放射腫瘤學(xué)危險胸部器官自動分割的遷移學(xué)習(xí)方法，使用現(xiàn)有研究文獻的U-Net，對其編碼器部分使用未修改的VGG16，該模型基于ImageNet9進行訓(xùn)練。對向上路徑，用上采樣核和反卷積核映射下行路徑，將激活函數(shù)修改為泄漏校正線性單元（leaky ReLU）激活，在激活層之后使用了一個批處理規(guī)范化層和一個丟失層（dropout），目的是使網(wǎng)絡(luò)規(guī)則化并允許更快收斂而不過度擬合。使用患者的CT圖像對遷移模型進行再訓(xùn)練。該研究證明了使用非域遷移學(xué)習(xí)的二維U-Net模型可以實現(xiàn)精確的危險器官分割。

3.2.2 只調(diào)整參數(shù)

只調(diào)整參數(shù)在眼部血管分割[73-75]、腫瘤分割[76-78]、前列腺分割[79]、腦積水[80]、膝關(guān)節(jié)的半月板分割[81]和前交叉韌帶分割研究[82]中都有應(yīng)用，僅以眼部血管分割為例。糖尿病視網(wǎng)膜病變（Diabetic Retinopathy，DR）是糖尿病的一種微血管并發(fā)癥，毛細血管間面積量化為視網(wǎng)膜灌注的深入臨床分析提供了手段，因此Lo等[73]提出一種遷移學(xué)習(xí)方法對淺表毛細血管叢（Superficial Capillary Plexus，SCP）和深血管復(fù)合體（Deep Vascular Complex，DVC）的血管形態(tài)進行精確分割。使用U-Net結(jié)構(gòu)的變體，網(wǎng)絡(luò)初始權(quán)重來自前人研究，采用三重交叉驗證法對網(wǎng)絡(luò)超參數(shù)進行優(yōu)化；然后在兩個光學(xué)相干斷層掃描血管造影（Optical Coherence Tomography Angiography，OCT-A）數(shù)據(jù)集上進行訓(xùn)練以微調(diào)網(wǎng)絡(luò)參數(shù)。實驗結(jié)果表明，遷移學(xué)習(xí)減少了手工注釋圖像的數(shù)量，同時產(chǎn)生了高質(zhì)量的SCP和DVC自動分割，超過評分員的手動分割。

3.3 預(yù)測

按照被遷移模型的結(jié)構(gòu)和參數(shù)是否被調(diào)整分為兩類：調(diào)整結(jié)構(gòu)和參數(shù)、只調(diào)整參數(shù)。

3.3.1 調(diào)整結(jié)構(gòu)和參數(shù)

調(diào)整結(jié)構(gòu)和參數(shù)在腦部疾病[83-84]和肺癌圖像[85]分析中都有應(yīng)用，僅以腦部圖像為例進行說明。Chen等[84]開發(fā)了一個遷移學(xué)習(xí)增強卷積神經(jīng)網(wǎng)絡(luò)（TL-CNN）模型，用大腦結(jié)構(gòu)連接體二維圖像對2歲極早產(chǎn)兒的認知評估進行早期預(yù)測。該研究采用VGG19模型，先使用ImageNet預(yù)訓(xùn)練，然后分解模型，保留卷積層和池層的權(quán)重，為分類或回歸任務(wù)附加了一個輸出層，再在目標域中進行微調(diào)，最后將該模型應(yīng)用于認知缺陷分類和連續(xù)認知分數(shù)預(yù)測任務(wù)，利用在足月等效年齡獲得的大腦結(jié)構(gòu)連接體來預(yù)測2歲校正年齡時的認知結(jié)果；結(jié)果表明，TL-CNN比多個對等模型具有更好的性能。

3.3.2 只調(diào)整參數(shù)

基于MRI的腫瘤細胞密度（Tumor Cell Density，TCD）模型可以顯著提高膠質(zhì)母細胞瘤（GBM）的靶向治療效果，但由于患者間的變異性限制了許多模型方法的預(yù)測能力，因此Hu等[86]提出了一種遷移學(xué)習(xí)方法，利用貝葉斯框架將模型參數(shù)估計過程偏向于代表廣義模型的群體模式，遷移學(xué)習(xí)是使用每個患者自己的MRI和活檢數(shù)據(jù)來修改該廣義模型，以更適合個體患者。實驗結(jié)果表明，遷移學(xué)習(xí)模型改善了預(yù)測值與實際TCD之間的相關(guān)性，顯著提高了模型的預(yù)測能力。

3.4 目標檢測

目標檢測在腫瘤[87-88]和腦積水[89]圖像檢測中都有應(yīng)用，僅以腫瘤圖像檢測為例。Samala等[87]先使用乳腺X線片訓(xùn)練一個具有四個卷積層和三個完全連通層的DCNN，然后對這個預(yù)訓(xùn)練的DCNN，凍結(jié)前三個卷積層中的所有權(quán)重，僅隨機初始化最后一個卷積層和FC層，再使用數(shù)字乳腺斷層攝影（Digital Breast Tomosynthesis，DBT）的感興趣區(qū)域進行訓(xùn)練。訓(xùn)練后的DCNN被合并到基于DCNN的CAD系統(tǒng)中，檢查所有對象是否重疊，若兩個對象的邊界框的質(zhì)心相重疊則合并為一個對象。合并后的最終保留物體集與有經(jīng)驗的放射科醫(yī)生標記的參考腫塊位置進行比較，用來檢測乳腺腫塊。實驗結(jié)果表明，基于DCNN的CAD系統(tǒng)的靈敏度比基于特征的CAD系統(tǒng)高出8%，說明通過遷移DCNN可以將乳腺X光片圖像的模式信息遷移到DBT切片的腫塊檢測中。

3.5 圖像去噪

圖像去噪遷移學(xué)習(xí)在低劑量CT切片去噪[90]、掃描圖像去噪[91]、牙科CT圖像去噪[92]中都有應(yīng)用，僅以切片去噪為例。Shan等[90]提出一種遷移學(xué)習(xí)方法用于低劑量CT去噪。通過擴展預(yù)訓(xùn)練的2D CNN，將其參數(shù)遷移到一個初始的基于傳輸路徑的3D卷積編碼器-解碼器（Conveying Path-based Convolutional Encoder-decoder，CPCE）去噪模型，然后對其進行微調(diào)，以融合相鄰切片的3D空間信息。實驗結(jié)果表明，基于從2D到3D的遷移學(xué)習(xí)，與從頭訓(xùn)練相比，3D網(wǎng)絡(luò)收斂速度更快，去噪性能更好。

上述研究表明遷移模型到目標域后進行參數(shù)調(diào)整、結(jié)構(gòu)調(diào)整能有效提高模型精度。對于分類任務(wù)，調(diào)整卷積層能提取更準確的深層特征，調(diào)整FC層能夠更準確分類；對于其他任務(wù)，只調(diào)整參數(shù)或同時調(diào)整結(jié)構(gòu)和參數(shù)都能提高實驗效果?；谀Ｐ偷倪w移學(xué)習(xí)可以避免再次抽取訓(xùn)練數(shù)據(jù)或再對復(fù)雜的數(shù)據(jù)表示進行關(guān)系推理，是更高效的學(xué)習(xí)方式。然而，模型需要進行源域的預(yù)訓(xùn)練和目標域的再訓(xùn)練，增加了訓(xùn)練次數(shù)和訓(xùn)練時間；遷移模型到目標域后，采用何種模型結(jié)構(gòu)和參數(shù)調(diào)整策略對模型的精度產(chǎn)生重大影響，而如何快速選擇合適的調(diào)整策略還缺乏有效的解決辦法。

4 對抗式遷移學(xué)習(xí)

對抗式遷移學(xué)習(xí)有兩種方式，一種是基于樣本的遷移學(xué)習(xí)，由GAN生成目標域數(shù)據(jù)；另一種是基于特征的遷移學(xué)習(xí)，這種方式還可以分成兩類，一類是對抗式域適配器，使用有標簽的源域數(shù)據(jù)和沒有標簽的目標域數(shù)據(jù)來學(xué)習(xí)一個適用于兩個領(lǐng)域的識別分類器，另一類是對抗式特征學(xué)習(xí)，用大量無標簽的源域數(shù)據(jù)構(gòu)造高層抽象特征，再用少量有標簽的目標域數(shù)據(jù)學(xué)習(xí)一個分類器[1]。

通過基于樣本的遷移學(xué)習(xí)來實現(xiàn)對抗式遷移學(xué)習(xí)在全心切分中得到應(yīng)用。Liao等[4]提出了一種基于對抗訓(xùn)練的多模態(tài)遷移學(xué)習(xí)網(wǎng)絡(luò)的三維多模態(tài)全心切分方法，該網(wǎng)絡(luò)將源域（MRI域）遷移到目標域（CT域），通過GAN重建MRI圖像，并通過鑒別器網(wǎng)絡(luò)優(yōu)化重建的MRI圖像，將MRI圖像與CT圖像進行融合，并在對抗性訓(xùn)練中引入加權(quán)系數(shù)來分配Dice系數(shù)損失與發(fā)生器損失的比例，還提出了一種新的損失函數(shù)，既能保證圖像從MRI域正確地遷移到CT域，又能利用遷移的域?qū)崿F(xiàn)準確分割。

通過基于特征的遷移學(xué)習(xí)來實現(xiàn)對抗式遷移學(xué)習(xí)在醫(yī)學(xué)圖像融合中得到應(yīng)用。為解決使用改進生成對抗網(wǎng)絡(luò)（WGAN-GP）的數(shù)據(jù)增強方法用于醫(yī)學(xué)圖像融合效果差的問題，肖兒良等[93]提出一種基于遷移學(xué)習(xí)的改進WGAN-GP模型（Transfer-WGAN-GP），用來融合計算機斷層成像（CT）與T2加權(quán)磁共振成像（MR-T2）。該模型從紅外與可見光圖像的融合過程中學(xué)習(xí)特征映射，利用改進WGAN-GP損失函數(shù)優(yōu)化網(wǎng)絡(luò)的生成器與鑒別器；將網(wǎng)絡(luò)的初始化參數(shù)經(jīng)過微調(diào)并遷移到CT與MR-T2的圖像融合網(wǎng)絡(luò)再訓(xùn)練，得到包含兩種源圖像的語義信息融合圖像；實驗結(jié)果表明，與原有數(shù)據(jù)增強方法相比，Transfer-WGAN-GP能夠得到更高質(zhì)量的融合圖像。

對抗式遷移學(xué)習(xí)適用范圍較廣，無論源域和目標域數(shù)據(jù)是否有標簽都能使用，使用參數(shù)化網(wǎng)絡(luò)度量域之間的差異，無需計算MMD和KL散度等距離。然而，該遷移學(xué)習(xí)方法也有局限性，例如難以學(xué)習(xí)高維和多模態(tài)數(shù)據(jù)的內(nèi)在結(jié)構(gòu)；在某些區(qū)域模型無法生成樣本時可能會崩潰、最小-最大博弈難以達到平衡、可能生成不切實際的樣本[1]。

5 混合遷移學(xué)習(xí)

混合知識遷移是通過使用多種遷移學(xué)習(xí)方法來遷移兩種以上的知識，包括樣本、特征和模型，遷移特征最終表現(xiàn)為遷移了樣本。使用基于數(shù)據(jù)的遷移學(xué)習(xí)或?qū)故竭w移學(xué)習(xí)來遷移數(shù)據(jù)，使用基于模型的遷移學(xué)習(xí)來模型。混合遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中的應(yīng)用具體如下。

在基于特征和模型的混合遷移學(xué)習(xí)中，Gu等[94]提出了兩種新的跨域皮膚病識別方法，用于醫(yī)學(xué)影像分析和診斷各種皮膚疾病，以解決深度學(xué)習(xí)模型由于域的轉(zhuǎn)移而不能很好地推廣到來自不同群體數(shù)據(jù)的問題。該研究采用基于模型的遷移學(xué)習(xí)方法，從一個在ImageNet上預(yù)先訓(xùn)練的全監(jiān)督DCNN分類器出發(fā)，通過在兩個皮膚病數(shù)據(jù)集上對該網(wǎng)絡(luò)進行微調(diào)，探索了一種兩步漸進式遷移學(xué)習(xí)技術(shù)。該研究還采用了基于特征表示的遷移學(xué)習(xí)，提出采用對抗學(xué)習(xí)作為一種域自適應(yīng)技術(shù)，從源域到目標域進行不變屬性轉(zhuǎn)換，以提高識別性能。

基于樣本和模型的混合遷移學(xué)習(xí)被應(yīng)用到阿爾茨海默病診斷[9]、全心臟切分[5]、間質(zhì)性肺病病理模式分類[95]。黃盛等[95]提出一種混合遷移學(xué)習(xí)方法用于間質(zhì)性肺病病理模式分類。在特征提取階段，將肺內(nèi)大量可用的無標簽區(qū)域作為源域數(shù)據(jù)，這是基于樣本的遷移學(xué)習(xí)；將ResNet-18改進后作為特征提取模型，在無標簽樣本上進行預(yù)訓(xùn)練，再將預(yù)訓(xùn)練好的模型在目標域的訓(xùn)練集上進行微調(diào)，這是基于模型的遷移學(xué)習(xí)。在分類階段，用一個三層卷積神經(jīng)網(wǎng)絡(luò)作為辨別器，采用對抗訓(xùn)練的思想，在訓(xùn)練中加入了假樣本。實驗結(jié)果表明，該研究提出的遷移學(xué)習(xí)算法有效利用了肺內(nèi)無標簽數(shù)據(jù)，提高了模型的分類效率[95]。

基于對抗式遷移學(xué)習(xí)和基于模型的混合遷移學(xué)習(xí)中，Hegazy等[92]提出了一種基于GAN的牙科CT圖像去噪遷移學(xué)習(xí)方法，利用5 100對高劑量和低劑量人體胸部和腹部CT圖像，預(yù)訓(xùn)練了一個具有Wasserstein損失函數(shù)（WGAN）的GAN，采用了五級U-Net結(jié)構(gòu)來提高GAN的生成網(wǎng)絡(luò)計算效率。在訓(xùn)練了所提出的U-WGAN之后，用兩個不同的顱骨模型的3 006對牙齒CT圖像對網(wǎng)絡(luò)進行了微調(diào)，該微調(diào)過程在量化指標方面提高了網(wǎng)絡(luò)性能，同時也改善了處理后圖像的視覺外觀。

混合遷移學(xué)習(xí)可以同時遷移兩種以上知識到目標域，和單一的遷移學(xué)習(xí)相比，能從多個方面提高模型的訓(xùn)練效果，從而提高模型精度。然而，混合遷移學(xué)習(xí)同時使用兩種以上的遷移學(xué)習(xí)方法，增加了問題解決的難度和復(fù)雜性。

6 醫(yī)學(xué)圖像分析中的遷移學(xué)習(xí)方法的分析及比較

醫(yī)學(xué)圖像分析領(lǐng)域目前應(yīng)用最多的是基于模型的遷移學(xué)習(xí)，其在圖像分析各種任務(wù)中都有應(yīng)用，在圖像分類任務(wù)中應(yīng)用最多。主要原因是有現(xiàn)成的預(yù)訓(xùn)練模型可用，即在ImageNet上訓(xùn)練的各種經(jīng)典DCNN，它們都有較高的分類精度，這樣就避免了對模型進行預(yù)訓(xùn)練。在分類任務(wù)中，通過修改模型的FC層進行分類的研究遠比使用SVM等進行分類要多，主要是用一個模型完成特征提取和分類比較方便和省力。基于數(shù)據(jù)的遷移學(xué)習(xí)應(yīng)用較少，因為各種量度的計算比較繁復(fù)。對抗式遷移學(xué)習(xí)是新崛起的方法，雖然存在模型不易訓(xùn)練等局限性，目前還處于初步應(yīng)用階段，但已經(jīng)顯示出其高效生成樣本的優(yōu)勢?；旌线w移學(xué)習(xí)也處于初步應(yīng)用階段，因其受到其他遷移學(xué)習(xí)方法應(yīng)用情況的影響，并且同時使用多種遷移學(xué)習(xí)方法也增加了解決問題的難度和復(fù)雜性，因而混合遷移學(xué)習(xí)也還未得到廣泛應(yīng)用。幾種遷移學(xué)習(xí)方法都有各自遷移知識的機制、適用范圍、優(yōu)勢和局限性，具體如表1所示。

表1 幾種遷移學(xué)習(xí)的比較Table 1 Comparison of several kinds of transfer learning

7 總結(jié)與展望

首先對當(dāng)前主要遷移學(xué)習(xí)方法的優(yōu)缺點及各方法之間的關(guān)系進行了概述說明，然后分別從基于樣本的遷移學(xué)習(xí)、基于特征的遷移學(xué)習(xí)、基于模型的遷移學(xué)習(xí)、對抗式遷移學(xué)習(xí)和混合遷移學(xué)習(xí)對醫(yī)學(xué)圖像分析文獻進行分析及總結(jié)，最后對上述幾種遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中的優(yōu)勢、局限性及適用場景進行了總結(jié)和對比分析，脈絡(luò)清晰地展現(xiàn)了遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中的應(yīng)用研究情況。雖然目前遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中得到廣泛應(yīng)用，但還存在一些問題，具體如下。

（1）醫(yī)學(xué)圖像樣本不充足。樣本小影響被訓(xùn)練模型的準確率，現(xiàn)有遷移學(xué)習(xí)通過基于樣本的遷移學(xué)習(xí)和基于特征的遷移學(xué)習(xí)把源域合適的樣本遷移到目標域，但這兩種方法能夠遷移的樣本數(shù)量有限，并受限于源域樣本數(shù)量。對抗式遷移學(xué)習(xí)通過基于學(xué)習(xí)的數(shù)據(jù)擴展方法來增加樣本，能夠高效生成大量樣本，且不受源域樣本數(shù)量影響，從而可以大幅度提高樣本數(shù)量。目前該方法在醫(yī)學(xué)圖像分析中還只是初步應(yīng)用，還未得到充分而廣泛的應(yīng)用，但是該方法優(yōu)勢明顯，潛力巨大，因而有望成為該研究領(lǐng)域的熱點，是未來研究的一個重要方向。

（2）可以同時遷移的知識種類還比較單一。目前基于模型的遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中應(yīng)用最為廣泛，基于樣本的遷移學(xué)習(xí)和基于特征的遷移學(xué)習(xí)應(yīng)用較少，同時使用多種遷移學(xué)習(xí)方法的情況較少，導(dǎo)致同時從源域到目標域遷移的知識種類單一。如果能夠同時遷移多種知識到目標域，那么將從多個方面提高目標域模型訓(xùn)練效果?；旌线w移學(xué)習(xí)能夠同時遷移多種知識，雖然該方法目前在醫(yī)學(xué)圖像分析中的應(yīng)用還處于初級階段，但是隨著對抗式遷移學(xué)習(xí)在醫(yī)學(xué)圖像分析中的應(yīng)用越來越深入，混合遷移學(xué)習(xí)在該領(lǐng)域也將隨之得到促進發(fā)展，因而也是未來研究可以重點考慮的方向之一。

（3）選擇最優(yōu)遷移學(xué)習(xí)算法難度大。由于計算代價昂貴，從眾多的遷移學(xué)習(xí)算法中選擇最適合研究問題的遷移學(xué)習(xí)算法是很困難的。現(xiàn)有基于遷移學(xué)習(xí)的醫(yī)學(xué)圖像分析研究中，通常采用若干種遷移學(xué)習(xí)算法同時進行實驗，再根據(jù)實驗結(jié)果選擇表現(xiàn)最好的算法。這種方法的缺點是用來比較的遷移學(xué)習(xí)算法數(shù)量較少，難以保證所選算法是最優(yōu)的，可能還存在其他遷移學(xué)習(xí)算法能夠達到更好的效果。自動遷移學(xué)習(xí)可以從經(jīng)驗中自動選擇遷移學(xué)習(xí)算法，有助于解決遷移學(xué)習(xí)算法的選擇問題，也是未來可能的研究方向之一。