郭艷芬，崔 喆，楊智鵬，彭 靜，胡金蓉

1.中國(guó)科學(xué)院 成都計(jì)算機(jī)應(yīng)用研究所，成都 610041

2.中國(guó)科學(xué)院大學(xué)，北京 100049

3.成都信息工程大學(xué) 計(jì)算機(jī)學(xué)院，成都 610225

隨著醫(yī)學(xué)成像設(shè)備的發(fā)展，對(duì)患者的圖像可以采集到含有準(zhǔn)確的解剖信息如計(jì)算機(jī)斷層掃描成像（Computed Tomography，CT）、磁共振成像（Magnetic Resonance Imaging，MRI），也可以采集具有功能信息的圖像，如正電子發(fā)射計(jì)算機(jī)掃描（Positron Emission Tomography，PET）、單光子發(fā)射計(jì)算機(jī)斷層成像（Single Photon Emission Computed Tomography，SPECT）。如何將多模態(tài)的信息準(zhǔn)確地融合到同一圖像中，幫助醫(yī)生從各個(gè)角度觀察病灶和結(jié)構(gòu)，這對(duì)于病灶檢測(cè)、臨床診斷、手術(shù)規(guī)劃、手術(shù)導(dǎo)航、療效評(píng)估等有著廣泛的應(yīng)用價(jià)值[1-4]。圖像配準(zhǔn)的作用是比較或融合同一對(duì)象的多模態(tài)影像，尋找最優(yōu)空間變換，使兩幅醫(yī)學(xué)影像的對(duì)應(yīng)點(diǎn)在給定相似性度量下實(shí)現(xiàn)空間位置和解剖信息一致[5]，從而得到信息融合后的醫(yī)學(xué)影像。

基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法相較于傳統(tǒng)機(jī)器學(xué)習(xí)的配準(zhǔn)方法，具有很大的優(yōu)勢(shì)與潛力，近幾年來(lái)有越來(lái)越多的研究人員開(kāi)展此項(xiàng)工作，且有不少相關(guān)的工作發(fā)表。目前基于深度學(xué)習(xí)進(jìn)行醫(yī)學(xué)圖像配準(zhǔn)的方法主要分為三類[6-7]：（1）結(jié)合傳統(tǒng)配準(zhǔn)方法的深度迭代配準(zhǔn)。其基本思想是在傳統(tǒng)配準(zhǔn)方法中嵌入神經(jīng)網(wǎng)絡(luò)來(lái)提取特征或者學(xué)習(xí)相似性測(cè)度，不斷迭代優(yōu)化目標(biāo)函數(shù)。（2）監(jiān)督或弱監(jiān)督學(xué)習(xí)。在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時(shí)，需要提供訓(xùn)練樣本所需要的相應(yīng)標(biāo)簽，即真實(shí)形變場(chǎng)（Ground Truth），然后利用預(yù)測(cè)的形變場(chǎng)對(duì)移動(dòng)圖像（Moving Image）進(jìn)行插值，得到配準(zhǔn)圖像。（3）無(wú)監(jiān)督學(xué)習(xí)。不同于監(jiān)督學(xué)習(xí)，僅需要配準(zhǔn)網(wǎng)絡(luò)作用于輸入圖像，獲得形變場(chǎng)，對(duì)移動(dòng)圖像進(jìn)行變形插值，即得配準(zhǔn)圖像。目前基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)關(guān)鍵技術(shù)如圖1所示。

圖1 深度學(xué)習(xí)用于醫(yī)學(xué)圖像配準(zhǔn)的方法概覽Fig.1 Overview of deep learning methods used for medical image registration

通過(guò)在Web of Science、CNKI、Google Scholar 等數(shù)據(jù)庫(kù)中檢索到的學(xué)術(shù)文獻(xiàn)，對(duì)近年來(lái)基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)研究趨勢(shì)做了統(tǒng)計(jì)。從圖2可以看出，該領(lǐng)域的研究逐漸從部分依靠深度學(xué)習(xí)（深度迭代配準(zhǔn)）到完全依靠深度學(xué)習(xí)（即端到端的無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)框架），實(shí)現(xiàn)了配準(zhǔn)任務(wù)的方向轉(zhuǎn)變，深度學(xué)習(xí)在醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域發(fā)揮越來(lái)越大的作用與潛能。從監(jiān)督學(xué)習(xí)方法被提出后，基于深度學(xué)習(xí)的配準(zhǔn)研究文獻(xiàn)數(shù)量飛速增長(zhǎng)，深度學(xué)習(xí)開(kāi)始在醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域發(fā)揮真正的優(yōu)勢(shì)；此后，面對(duì)大量無(wú)標(biāo)注的醫(yī)學(xué)原始圖像及訓(xùn)練數(shù)據(jù)集匱乏的問(wèn)題，大量學(xué)者開(kāi)始邁向無(wú)監(jiān)督學(xué)習(xí)領(lǐng)域的配準(zhǔn)方法研究。

圖2 近年來(lái)基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)的方法研究趨勢(shì)Fig.2 Research trend of medical image registration methods based on deep learning

1 傳統(tǒng)機(jī)器學(xué)習(xí)方法下的圖像配準(zhǔn)技術(shù)

機(jī)器學(xué)習(xí)[8]是一門多領(lǐng)域交叉學(xué)科，涵蓋概率論、統(tǒng)計(jì)學(xué)、近似理論和復(fù)雜算法等多門學(xué)科，其主要研究對(duì)象是人工智能，致力于真實(shí)實(shí)時(shí)的模擬人腦的學(xué)習(xí)方式，在經(jīng)驗(yàn)學(xué)習(xí)中改善算法性能。隨著醫(yī)學(xué)圖像數(shù)據(jù)量的快速增長(zhǎng)和處理任務(wù)復(fù)雜度的提升，機(jī)器學(xué)習(xí)作為一種有效的數(shù)據(jù)分析技術(shù)，被廣泛應(yīng)用于醫(yī)學(xué)圖像分析[9]，如疾病檢測(cè)、診斷與評(píng)估、圖像配準(zhǔn)與分割等[10]。傳統(tǒng)機(jī)器學(xué)習(xí)解決醫(yī)學(xué)圖像任務(wù)常用算法有決策樹(shù)[11]、隨機(jī)森林[12]、支持向量機(jī)（Support Vector Machine，SVM）[13]、模糊均值[14]、貝葉斯學(xué)習(xí)[15]等，該類方法的局限性有兩點(diǎn)：一是需要結(jié)合先驗(yàn)知識(shí)進(jìn)行特征設(shè)計(jì)，如心臟分割、冠脈分割；二是處理高維特征數(shù)據(jù)時(shí)會(huì)產(chǎn)生維數(shù)災(zāi)難。

Huang等[16]提出一種基于決策樹(shù)的快速圖像插值算法來(lái)預(yù)測(cè)輸入的高分辨率圖像塊，但需要預(yù)先進(jìn)行訓(xùn)練，算法時(shí)間成本較高。Ma 等[17]構(gòu)造了一個(gè)新的二階光滑支持向量機(jī)模型，結(jié)合牽引果蠅算法與其結(jié)合起來(lái)，建立配準(zhǔn)變化模型估計(jì)關(guān)系，能夠很好地估計(jì)固定圖像和待配準(zhǔn)圖像之間的高維特征向量關(guān)系。Xiang等[18]將字典學(xué)習(xí)和結(jié)構(gòu)聚類結(jié)合在統(tǒng)一的變分框架中，發(fā)現(xiàn)了二者的權(quán)衡關(guān)系，取得良好的插值效果，但該算法的時(shí)間開(kāi)銷較大。傳統(tǒng)機(jī)器學(xué)習(xí)方法需要訓(xùn)練數(shù)據(jù)，且先驗(yàn)知識(shí)的規(guī)范性直接影響到模型的性能。針對(duì)這些問(wèn)題，機(jī)器學(xué)習(xí)技術(shù)研究延伸到了深度學(xué)習(xí)方向。

2 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)技術(shù)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)重要分支，能通過(guò)原始數(shù)據(jù)直接提取特征，且提取的特征更高維、更抽象。隨著其在圖像處理領(lǐng)域中的廣泛應(yīng)用，已在生物醫(yī)學(xué)圖像處理中的器官分割、病變檢測(cè)與分類、治療計(jì)劃等領(lǐng)域取得不錯(cuò)的進(jìn)展；基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法相較于傳統(tǒng)機(jī)器學(xué)習(xí)的配準(zhǔn)方法，具有很大的優(yōu)勢(shì)與潛力[19-23]。在引入深度學(xué)習(xí)初期，大多配準(zhǔn)方法是利用神經(jīng)網(wǎng)絡(luò)提取特征或者學(xué)習(xí)相似性測(cè)度，然后結(jié)合傳統(tǒng)的配準(zhǔn)方法獲得配準(zhǔn)圖像。之后，為了獲得越來(lái)越復(fù)雜的圖像特征，學(xué)習(xí)到特定任務(wù)的特征并追求更快的配準(zhǔn)速度，基于監(jiān)督或無(wú)監(jiān)督的生成對(duì)抗網(wǎng)絡(luò)成為圖像配準(zhǔn)領(lǐng)域的研究熱點(diǎn)。

2.1 深度迭代配準(zhǔn)

基于深度迭代優(yōu)化配準(zhǔn)是深度學(xué)習(xí)應(yīng)用于醫(yī)學(xué)圖像配準(zhǔn)早期時(shí)，對(duì)迭代算法的直接擴(kuò)展，其思想是利用神經(jīng)網(wǎng)絡(luò)提取特征描述子，或使用深度學(xué)習(xí)代替?zhèn)鹘y(tǒng)配準(zhǔn)算法中的相似性度量函數(shù)。常用的配準(zhǔn)方法有兩種：一是基于特征點(diǎn)，需要提取特征、匹配特征，通過(guò)擬合或插值算法得到形變場(chǎng)；二是基于特征描述子。Yang等[24]用預(yù)訓(xùn)練的VGG 網(wǎng)絡(luò)生成特征描述子，該描述子的性能優(yōu)于SIFT 探測(cè)器，同時(shí)保留卷積信息和局部特征。Wu 等[25]構(gòu)建雙層的卷積網(wǎng)絡(luò)，選擇大量的關(guān)鍵點(diǎn)得到patch 的層次化特征，用學(xué)習(xí)到的數(shù)據(jù)自適應(yīng)特征代替人工設(shè)計(jì)的特征進(jìn)行配準(zhǔn)。Cheng等[26]提出一種新的深度相似性學(xué)習(xí)方法，訓(xùn)練分類器來(lái)學(xué)習(xí)兩個(gè)圖像patch塊的對(duì)應(yīng)特征點(diǎn)。將分類輸出轉(zhuǎn)化為聯(lián)系的概率值作為相似性測(cè)度的衡量依據(jù)。Simonovsky 等[27]提出使用基于CNN 的相似性度量方法，采用梯度下降法迭代更新形變場(chǎng)的參數(shù)。該方法用于多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)，為基于增強(qiáng)學(xué)習(xí)的多模態(tài)配準(zhǔn)奠定了基礎(chǔ)?；谏疃葘W(xué)習(xí)網(wǎng)絡(luò)估計(jì)兩幅圖像的相似性度量，驅(qū)動(dòng)迭代優(yōu)化，并沒(méi)有充分發(fā)揮深度學(xué)習(xí)的優(yōu)勢(shì)；相較于傳統(tǒng)方法提高了配準(zhǔn)效率，但仍然難以實(shí)現(xiàn)實(shí)時(shí)配準(zhǔn)。

2.2 監(jiān)督學(xué)習(xí)配準(zhǔn)

監(jiān)督學(xué)習(xí)配準(zhǔn)算法需要在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時(shí)提供訓(xùn)練樣本的標(biāo)簽，即真實(shí)形變場(chǎng)。獲取標(biāo)簽的方式是利用傳統(tǒng)的迭代優(yōu)化配準(zhǔn)，將得到的形變場(chǎng)作為訓(xùn)練標(biāo)簽數(shù)據(jù)[28-29]，或是將模擬形變場(chǎng)作為標(biāo)簽數(shù)據(jù)[30-31]。引入神經(jīng)網(wǎng)絡(luò)執(zhí)行配準(zhǔn)過(guò)程，大大提高了配準(zhǔn)的速度?；诒O(jiān)督學(xué)習(xí)的配準(zhǔn)，需要在訓(xùn)練學(xué)習(xí)網(wǎng)絡(luò)時(shí)，提供與配準(zhǔn)對(duì)相對(duì)應(yīng)的真實(shí)變形場(chǎng)（Ground Truth），其框架如圖3所示。

圖3 基于監(jiān)督學(xué)習(xí)的配準(zhǔn)框架Fig.3 Image registration framework based on supervised learning

2.2.1 全監(jiān)督學(xué)習(xí)配準(zhǔn)

Chee 等[32]采用仿射圖像配準(zhǔn)網(wǎng)絡(luò)（AIRNet）設(shè)計(jì)，用于直接估計(jì)三維腦MR的轉(zhuǎn)換參數(shù)，并用MSE對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，結(jié)果表明該方法對(duì)單模態(tài)和多模態(tài)配準(zhǔn)性能均優(yōu)于迭代算法。Sloan等[33]利用CNN網(wǎng)絡(luò)對(duì)單模態(tài)和多模態(tài)T1 和T2 加權(quán)腦MR 圖像配準(zhǔn)，在訓(xùn)練過(guò)程中加入學(xué)習(xí)擬一致性的學(xué)習(xí)空間變換進(jìn)行回歸；單模態(tài)配準(zhǔn)共享卷積層參數(shù)，用于提取圖像底層特征；多模態(tài)配準(zhǔn)分別學(xué)習(xí)這些參數(shù)。實(shí)驗(yàn)結(jié)果表明與B 樣條方法相比配準(zhǔn)性能更優(yōu)越。

2.2.2 弱監(jiān)督學(xué)習(xí)配準(zhǔn)

由于監(jiān)督學(xué)習(xí)對(duì)訓(xùn)練標(biāo)簽數(shù)據(jù)的依賴，研究學(xué)者提出了弱監(jiān)督學(xué)習(xí)的配準(zhǔn)方法。由于醫(yī)學(xué)圖像數(shù)據(jù)收集困難且對(duì)數(shù)據(jù)標(biāo)注要求高，弱監(jiān)督學(xué)習(xí)事先分割出關(guān)鍵部位，如臟器部分、血管、導(dǎo)管或其他特殊結(jié)構(gòu)的關(guān)鍵點(diǎn)等作為標(biāo)簽，選擇含有解剖信息的標(biāo)簽作為目標(biāo)函數(shù)；可利用有限的標(biāo)簽數(shù)據(jù)進(jìn)行醫(yī)學(xué)圖像的處理，進(jìn)而實(shí)現(xiàn)疾病的分類、病灶的定位及分割多種任務(wù)[34-35]。Hu等[36]提出一個(gè)新的弱監(jiān)督配準(zhǔn)網(wǎng)絡(luò)結(jié)構(gòu)，在不同分辨率的特征層上預(yù)測(cè)形變場(chǎng)，并求和最終得到從低層的全局信息到高層的局部信息，證明了對(duì)稀疏標(biāo)注圖像進(jìn)行非迭代預(yù)測(cè)的可行性。Hu[37]團(tuán)隊(duì)又引入GAN的思想對(duì)形變場(chǎng)正則項(xiàng)增加一個(gè)判別器，用于判斷生成器生成的局部形變場(chǎng)真實(shí)性。Blendowski 等[38]提出一種弱監(jiān)督的方法來(lái)學(xué)習(xí)領(lǐng)域特定的傳統(tǒng)指標(biāo)的集合，將學(xué)習(xí)到的匹配準(zhǔn)則集成到優(yōu)化框架中，形成基于解剖結(jié)構(gòu)的空間變化相似度量函數(shù)的多度量算法。

2.3 無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)

監(jiān)督學(xué)習(xí)的方法問(wèn)題在于將真實(shí)的形變場(chǎng)作為金標(biāo)準(zhǔn)，對(duì)金標(biāo)準(zhǔn)的依賴大，而真實(shí)的形變場(chǎng)難以得到，這成為困難監(jiān)督學(xué)習(xí)方法的一個(gè)難題。由于醫(yī)學(xué)圖像數(shù)據(jù)集的特殊性，無(wú)監(jiān)督學(xué)習(xí)的配準(zhǔn)方法能夠利用臨床中廣泛的原始數(shù)據(jù)且無(wú)需標(biāo)注（即真實(shí)的形變場(chǎng)）訓(xùn)練各種神經(jīng)網(wǎng)絡(luò)，構(gòu)建回歸模型以生成變換參數(shù)[39-41]。無(wú)監(jiān)督學(xué)習(xí)的方法分為基于圖像相似性測(cè)度和基于特征學(xué)習(xí)兩種。圖4為基于相似性測(cè)度的無(wú)監(jiān)督學(xué)習(xí)框架。

圖4 基于非監(jiān)督學(xué)習(xí)的配準(zhǔn)框架Fig.4 Image registration framework based on unsupervised learning

Bob等[42]首次提出基于端到端的無(wú)監(jiān)督形變配準(zhǔn)網(wǎng)絡(luò)（Deformable Image Registration Network，DIRNet），并用于MNIST 和SCD 數(shù)據(jù)集，配準(zhǔn)效果優(yōu)于監(jiān)督學(xué)習(xí)方法。Zhao等[43]提出一種深度遞歸級(jí)聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)，在肝臟CT圖像和腦MRI圖像上都做了算法評(píng)測(cè)，提出一種shared-weight級(jí)聯(lián)技術(shù)，可以直接增加遞歸深度并提高準(zhǔn)確率。Kori等[44]提出一個(gè)無(wú)監(jiān)督的圖像配準(zhǔn)框架，使用預(yù)訓(xùn)練網(wǎng)絡(luò)作為特征提取器，對(duì)二維T1和T2加權(quán)腦MR進(jìn)行多模態(tài)配準(zhǔn)和仿射變換參數(shù)回歸。

生成對(duì)抗網(wǎng)絡(luò)（Generative Adversarial Network，GAN）是一種無(wú)監(jiān)督的訓(xùn)練方法，通過(guò)模型中生成器和判別器的相互博弈學(xué)習(xí)產(chǎn)生輸出。GAN具有強(qiáng)大的圖像生成能力，可以幫助解決隱私性問(wèn)題和訓(xùn)練樣本不足的問(wèn)題[45]。自Goodfellow提出后，開(kāi)始廣泛應(yīng)用于醫(yī)學(xué)圖像處理領(lǐng)域。GAN[46]在醫(yī)學(xué)圖像中的應(yīng)用方式分為兩種，一種是利用生成器來(lái)幫助探索和發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)的潛在結(jié)構(gòu)和學(xué)習(xí)生成新的樣本，用以解決數(shù)據(jù)缺乏和病人隱私問(wèn)題。另一種方式是利用判別器進(jìn)行分類或是疾病區(qū)域的檢測(cè)。生成對(duì)抗網(wǎng)絡(luò)的模型如圖5所示。

圖5 生成對(duì)抗網(wǎng)絡(luò)模型Fig.5 Generative adversarial network

GAN 的判別器D 和生成器G 本質(zhì)為神經(jīng)網(wǎng)絡(luò)，為了引入對(duì)抗損失，通過(guò)對(duì)抗訓(xùn)練的方式讓生成器能夠生成高質(zhì)量的圖片。對(duì)抗學(xué)習(xí)可以通過(guò)判別函數(shù)和生成函數(shù)之間的目標(biāo)函數(shù)的極大極小值來(lái)實(shí)現(xiàn)，對(duì)抗的目標(biāo)函數(shù)V(D,G)可以表示為[47]：

其中，D是判別器函數(shù)，G是生成器函數(shù)，z為隨機(jī)向量，x為圖像數(shù)據(jù)，E(?)表示分布函數(shù)的期望值，Pdata(x)代表真實(shí)樣本的分布，Pnoise(z)是定義在低維的噪聲分布。式（1）同時(shí)極大化判別器D 的判斷能力，極小化生成器G的輸出判斷為偽造的概率。

Fan 等[48]提出基于GAN 的無(wú)監(jiān)督配準(zhǔn)模型，無(wú)需指定圖像間的相似性度量指標(biāo)，用生成器來(lái)學(xué)習(xí)形變場(chǎng)，用判別器來(lái)衡量輸入的一組圖像對(duì)的相似性。Mahapatra等[49]利用GANs進(jìn)行多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)，聯(lián)合使用條件損失與循環(huán)一致性損失改進(jìn)損失函數(shù)，消除了傳統(tǒng)方法耗時(shí)的迭代，直接生成有形變場(chǎng)的配準(zhǔn)圖像，以獲得更加真實(shí)、平滑的配準(zhǔn)圖像。GAN是近年來(lái)富有前景的深度學(xué)習(xí)模型之一。

3 深度學(xué)習(xí)技術(shù)下的醫(yī)學(xué)圖像配準(zhǔn)關(guān)鍵問(wèn)題

3.1 多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)

臨床診療中，對(duì)同一患者的不同成像設(shè)備獲得的多模態(tài)醫(yī)學(xué)圖像進(jìn)行配準(zhǔn)，是圖像融合、分割的關(guān)鍵前提。其可以利用不同模態(tài)成像信息互補(bǔ)的優(yōu)勢(shì)，獲取不同角度的信息，從而輔助醫(yī)生進(jìn)行更精確的診斷和治療。但由于不同成像設(shè)備的成像模式具有高度特異性，以及成像過(guò)程中患者體位以及圖像采集時(shí)間、傳輸存儲(chǔ)等影響，不同模態(tài)的圖像內(nèi)容差異性較大，圖像間的位移較大，解決該問(wèn)題的最佳途徑是多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)技術(shù)。

在多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)過(guò)程中，由個(gè)體之間的生理差異以及占位性病變所導(dǎo)致的大形變問(wèn)題是不可避免的[50]。大形變的圖像配準(zhǔn)對(duì)計(jì)算解剖學(xué)有重要的研究?jī)r(jià)值和應(yīng)用意義，已成為配準(zhǔn)算法的研究重點(diǎn)[51]。隨著深度學(xué)習(xí)技術(shù)在單模態(tài)醫(yī)學(xué)圖像配準(zhǔn)中的應(yīng)用和多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)任務(wù)日益增長(zhǎng)的需求，Yan 等[52]首次引入GAN來(lái)進(jìn)行多模態(tài)醫(yī)學(xué)圖像的配準(zhǔn)，在基于wGAN結(jié)構(gòu)的基礎(chǔ)上，用生成器和判別器分別獲得轉(zhuǎn)移矩陣的參數(shù)和該參數(shù)準(zhǔn)確性的度量網(wǎng)絡(luò)。為降低訓(xùn)練難度，該算法僅考慮剛性配準(zhǔn)，并將三維圖像作為多通道的二維圖像，三維圖像的轉(zhuǎn)移矩陣參數(shù)僅局限于軸向視角。Tanner 等[53]基于cycle-GAN 結(jié)構(gòu)，將參考圖像和浮動(dòng)圖像互相轉(zhuǎn)化，并結(jié)合在非剛性配準(zhǔn)中使用的兩種距離測(cè)度算子NMI和MIND作為損失函數(shù)，來(lái)緩解二者空間不匹配的問(wèn)題，取得了不錯(cuò)的配準(zhǔn)效果。Fan 等[48]基于GAN 模型的無(wú)監(jiān)督對(duì)抗相似網(wǎng)絡(luò)，采用判別網(wǎng)絡(luò)的反饋?zhàn)鳛橛?xùn)練配準(zhǔn)網(wǎng)絡(luò)，判斷配準(zhǔn)圖像是否足夠相似，從而取消了標(biāo)簽數(shù)據(jù)的需求，但值得注意的，該方法僅能處理單一模態(tài)的圖像配準(zhǔn)。對(duì)于多模態(tài)圖像配準(zhǔn)而言，不同模態(tài)的圖像內(nèi)容差異性較大，圖像間的位移較大，以及缺少圖像真值，使得GAN 更難以模擬配準(zhǔn)圖像的數(shù)據(jù)分布，也是基于GAN 的多模態(tài)圖像配準(zhǔn)亟需解決的重要問(wèn)題。

近來(lái)，Blendowski等[54]采用一種端到端的弱監(jiān)督學(xué)習(xí)方法提取特征，并對(duì)CT 和MRI 圖像進(jìn)行配準(zhǔn)；實(shí)驗(yàn)中通過(guò)弱監(jiān)督標(biāo)簽驅(qū)動(dòng)損失產(chǎn)生的梯度信號(hào)來(lái)訓(xùn)練FeatCNN和提取特征，然后進(jìn)行迭代配準(zhǔn)。Arar等[55]提出基于無(wú)監(jiān)督圖像翻譯方法，對(duì)多模態(tài)圖像進(jìn)行翻譯和空間配準(zhǔn)，實(shí)驗(yàn)中用生成對(duì)抗學(xué)習(xí)的方法同時(shí)訓(xùn)練了配準(zhǔn)網(wǎng)絡(luò)和圖像翻譯網(wǎng)絡(luò)，這樣可以保證圖像翻譯的準(zhǔn)確性和得到平滑的形變場(chǎng)。Guo 等[56]提出一種由N個(gè)連續(xù)網(wǎng)絡(luò)組成的由粗到細(xì)多級(jí)配準(zhǔn)（MSReg）框架，用基于配準(zhǔn)誤差的誤差標(biāo)度方法生成不同的訓(xùn)練數(shù)據(jù)分布，使得網(wǎng)絡(luò)在不同的錯(cuò)誤級(jí)別上也表現(xiàn)良好，從而提高配準(zhǔn)精度。

3.2 醫(yī)學(xué)圖像配準(zhǔn)中的小樣本學(xué)習(xí)

深度學(xué)習(xí)就是從數(shù)據(jù)中學(xué)習(xí)，其關(guān)鍵技術(shù)之一是海量標(biāo)注數(shù)據(jù)的支持，但在醫(yī)學(xué)圖像研究領(lǐng)域，樣本的稀缺及標(biāo)注的訓(xùn)練數(shù)據(jù)匱乏是困擾該領(lǐng)域的一大難題。而小樣本學(xué)習(xí)[57]（Few-Shot Learning，F(xiàn)SL）只需要少量的樣本，就能訓(xùn)練出良好的模型，為該領(lǐng)域的研究提供了一個(gè)新思路。在醫(yī)學(xué)圖像配準(zhǔn)中，F(xiàn)SL 利用先驗(yàn)知識(shí)，能夠快速泛化至僅包含少量監(jiān)督數(shù)據(jù)的樣本新任務(wù)，常用的方法有基于數(shù)據(jù)增強(qiáng)的方法、基于模型改進(jìn)的方法和基于算法優(yōu)化的方法[58]。

近年來(lái)小樣本學(xué)習(xí)逐漸成為當(dāng)前的熱點(diǎn)研究問(wèn)題，一些新的基于小樣本的學(xué)習(xí)方案被證明可以解決該問(wèn)題。如半監(jiān)督學(xué)習(xí)、無(wú)監(jiān)督學(xué)習(xí)、遷移學(xué)習(xí)[59]、圖像生成方法等基于數(shù)據(jù)增強(qiáng)的方法；多任務(wù)學(xué)習(xí)、度量學(xué)習(xí)及記憶模型等提升模型泛化性的方法；元學(xué)習(xí)、模型微調(diào)等從算法優(yōu)化角度解決小樣本問(wèn)題的方法。常用的小樣本學(xué)習(xí)方法如基于GAN、遷移學(xué)習(xí)的數(shù)據(jù)生成方法；用于特征提取的SiameseNetwork[60]和MatchNetwork[61]都能在不改變網(wǎng)絡(luò)模型的前提下對(duì)未知類別生成標(biāo)簽；基于MetaNetwork[62]和Finetune 的權(quán)重更新來(lái)學(xué)習(xí)任務(wù)間的泛化信息。這些方法在醫(yī)學(xué)圖像目標(biāo)檢測(cè)、分類和分割中取得一定成效，但是在醫(yī)學(xué)配準(zhǔn)研究中，目前成果較少。

4 研究現(xiàn)狀比較分析

醫(yī)學(xué)圖像配準(zhǔn)是公認(rèn)難度較大的圖像處理技術(shù)，從傳統(tǒng)方法到監(jiān)督學(xué)習(xí)，大量的無(wú)標(biāo)注醫(yī)學(xué)原始數(shù)據(jù)，沒(méi)有金標(biāo)準(zhǔn)成為制約該研究方向發(fā)展的重要因素。綜上所述的傳統(tǒng)醫(yī)學(xué)圖像配準(zhǔn)和基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法，其主要思想和缺點(diǎn)難點(diǎn)如圖6所示。

圖6 醫(yī)學(xué)圖像配準(zhǔn)方法——傳統(tǒng)和深度學(xué)習(xí)Fig.6 Comparison of medical image registration methods

傳統(tǒng)配準(zhǔn)方法的迭代時(shí)間較長(zhǎng)，昂貴的時(shí)間成本和較低的計(jì)算效率給實(shí)際臨床應(yīng)用帶來(lái)了不便。利用深度學(xué)習(xí)技術(shù)的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)相似性測(cè)度，驅(qū)動(dòng)迭代優(yōu)化，大大縮減了傳統(tǒng)方法的迭代時(shí)間，這是學(xué)者最初利用深度學(xué)習(xí)技術(shù)解決醫(yī)學(xué)圖像配準(zhǔn)問(wèn)題的關(guān)鍵因素，但是迭代優(yōu)化過(guò)程本身耗費(fèi)的時(shí)間仍然無(wú)法實(shí)現(xiàn)實(shí)時(shí)配準(zhǔn)。因此通過(guò)神經(jīng)網(wǎng)絡(luò)直接從原始圖像中回歸變換參數(shù)，模擬形變場(chǎng)作為標(biāo)簽的監(jiān)督學(xué)習(xí)開(kāi)始出現(xiàn)，它極大地縮短了配準(zhǔn)時(shí)間，但其缺點(diǎn)是配準(zhǔn)質(zhì)量對(duì)金標(biāo)準(zhǔn)的依賴大，且從實(shí)際待配準(zhǔn)的圖像中難以獲得高質(zhì)量的金標(biāo)準(zhǔn)。

為了降低對(duì)金標(biāo)準(zhǔn)的依賴，研究學(xué)者又提出弱監(jiān)督學(xué)習(xí)的概念，采用解剖標(biāo)簽的相似性測(cè)度作為目標(biāo)函數(shù)，代替圖像的相似度，從而弱化配準(zhǔn)模型對(duì)于金標(biāo)準(zhǔn)的依賴。但是，該方法在前期仍然需要大量的數(shù)據(jù)標(biāo)注，并未完全消除網(wǎng)絡(luò)配準(zhǔn)模型對(duì)金標(biāo)準(zhǔn)的依賴。因此，研究學(xué)者提出了利用深度回歸網(wǎng)絡(luò)直接估計(jì)變換參數(shù)的無(wú)監(jiān)督配準(zhǔn)框架。該方法無(wú)需標(biāo)注圖像，將配準(zhǔn)對(duì)輸入網(wǎng)絡(luò)，獲得形變場(chǎng)，利用可導(dǎo)的空間變換網(wǎng)絡(luò)，在訓(xùn)練時(shí)計(jì)算圖像相似度損失函數(shù)并不斷優(yōu)化。從研究結(jié)果來(lái)看，無(wú)監(jiān)督學(xué)習(xí)配準(zhǔn)采用圖像相似度損失和正則化損失來(lái)代替監(jiān)督學(xué)習(xí)的誤差損失和標(biāo)簽相似度損失，取得了更高的配準(zhǔn)精度，且其構(gòu)建的端到端的網(wǎng)絡(luò)結(jié)構(gòu)提高了計(jì)算效率。為了學(xué)習(xí)到更加真實(shí)可靠的光滑形變場(chǎng)，相似度損失和正則化損失函數(shù)的設(shè)計(jì)和改進(jìn)是未來(lái)研究的一個(gè)難點(diǎn)。此外，目前基于無(wú)監(jiān)督學(xué)習(xí)的方法大多集中于單模態(tài)圖像配準(zhǔn)，鑒于多模態(tài)圖像間的巨大差異，無(wú)監(jiān)督學(xué)習(xí)的相似度損失函數(shù)計(jì)算仍是亟待解決的難題。表1 比較分析了基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法的優(yōu)勢(shì)與局限。

表1 基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法比較Table 1 Comparison of medical image registration methods based on deep learning

5 總結(jié)與展望

近年來(lái)，基于深度學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法得到了迅猛發(fā)展，本文總結(jié)了從傳統(tǒng)方法到基于深度學(xué)習(xí)技術(shù)的發(fā)展歷程。鑒于現(xiàn)代醫(yī)學(xué)圖像處理對(duì)精準(zhǔn)化與智能化醫(yī)療要求的不斷提高，少樣本數(shù)據(jù)帶來(lái)的訓(xùn)練數(shù)據(jù)集匱乏問(wèn)題，借助極少的監(jiān)督或采用無(wú)監(jiān)督學(xué)習(xí)實(shí)現(xiàn)醫(yī)學(xué)圖像配準(zhǔn)任務(wù)，成為研究的主流方向。從學(xué)者的研究趨勢(shì)來(lái)看，無(wú)論是對(duì)數(shù)據(jù)的要求、配準(zhǔn)精度，還是計(jì)算效率，無(wú)監(jiān)督學(xué)習(xí)因其不依賴金標(biāo)準(zhǔn)和解剖標(biāo)簽，無(wú)需大量精確標(biāo)注的數(shù)據(jù)，采用端到端的網(wǎng)絡(luò)配準(zhǔn)框架就可以自動(dòng)執(zhí)行需要的任務(wù)而得到追捧。而研究并不止于此，基于無(wú)監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像配準(zhǔn)方法同樣面臨著一些研究難點(diǎn)和挑戰(zhàn)，主要表現(xiàn)為：可解釋性、跨模態(tài)多樣性和可重復(fù)可擴(kuò)展性。

（1）可解釋性。由于深度學(xué)習(xí)類似黑箱模型，且現(xiàn)有基于無(wú)監(jiān)督學(xué)習(xí)的配準(zhǔn)方法是基于數(shù)據(jù)驅(qū)動(dòng)，但醫(yī)學(xué)圖像領(lǐng)域?qū)δＰ偷目山忉屝砸筝^高，在未來(lái)工作中需要在模型中考慮領(lǐng)域?qū)＜抑R(shí)，充分利用患者其他維度的信息。Luo 等[63]通過(guò)對(duì)公共數(shù)據(jù)集的篩選研究表明，數(shù)據(jù)標(biāo)注的準(zhǔn)確性、配準(zhǔn)的有效性都是未來(lái)基于數(shù)據(jù)驅(qū)動(dòng)配準(zhǔn)方法研究的重要方向。

（2）跨模態(tài)多樣性。由于不同模態(tài)間數(shù)據(jù)的多樣性，而多模態(tài)的關(guān)鍵特性是互補(bǔ)性和唯一性，跨模態(tài)數(shù)據(jù)集的巨大差異使得圖像相似性測(cè)度損失計(jì)算變得困難[50-51]?，F(xiàn)有多模態(tài)圖像，如何設(shè)計(jì)有效的跨模態(tài)圖像相似測(cè)度損失函數(shù)和正則化損失，以提高多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)的準(zhǔn)確性和魯棒性，是跨模態(tài)圖像配準(zhǔn)亟需階段的重要問(wèn)題。此外，臨床的文本數(shù)據(jù)（含結(jié)構(gòu)化的檢驗(yàn)數(shù)據(jù)和非結(jié)構(gòu)化文本數(shù)據(jù)）也是多模態(tài)醫(yī)學(xué)數(shù)據(jù)的一個(gè)來(lái)源，如何綜合利用這些信息為配準(zhǔn)任務(wù)所用也是值得研究的方向。

（3）可重復(fù)可擴(kuò)展性?，F(xiàn)有配準(zhǔn)方法多為某個(gè)單一任務(wù)設(shè)計(jì)了特殊的網(wǎng)絡(luò)結(jié)構(gòu)，使用了合適的超參數(shù)優(yōu)化方法，并取得了優(yōu)異的性能，但模型的跨中心泛化性不高。但當(dāng)將其應(yīng)用于其他任務(wù)或者來(lái)自不同醫(yī)院的數(shù)據(jù)時(shí)，其功能和性能差強(qiáng)人意。同一算法遷移的時(shí)候會(huì)改變底層的組織結(jié)構(gòu)，這對(duì)醫(yī)療領(lǐng)域的影響具有很大挑戰(zhàn)性[64]，如何自適應(yīng)地提升算法來(lái)泛化配準(zhǔn)任務(wù)，提高其可重復(fù)可擴(kuò)展性，也是未來(lái)醫(yī)學(xué)圖像配準(zhǔn)技術(shù)研究的一個(gè)方向。

（4）小樣本數(shù)據(jù)準(zhǔn)確度。醫(yī)學(xué)圖像數(shù)據(jù)主要面臨兩大難題[65]：標(biāo)注稀缺和弱標(biāo)簽。有學(xué)者整合多個(gè)醫(yī)學(xué)比賽數(shù)據(jù)，構(gòu)建3D 醫(yī)學(xué)影像的ImageNet 數(shù)據(jù)集，開(kāi)源共享數(shù)據(jù)，將預(yù)訓(xùn)練模型Med3D[66]遷移到其他任務(wù)中，且模型性能不錯(cuò)。遷移學(xué)習(xí)過(guò)程可能丟失醫(yī)學(xué)數(shù)據(jù)的組織信息，域自適應(yīng)學(xué)習(xí)的方法能緩解遷移學(xué)習(xí)的可能存在的風(fēng)險(xiǎn)，但醫(yī)療健康是一個(gè)嚴(yán)謹(jǐn)?shù)膱?chǎng)景，任何診斷建議都會(huì)對(duì)患者健康產(chǎn)生直接的影響，因此，不斷提高小樣本醫(yī)學(xué)影像處理的準(zhǔn)確性是一直追求的目標(biāo)。

隨著深度學(xué)習(xí)技術(shù)研究的不斷深入，其在醫(yī)學(xué)圖像配準(zhǔn)領(lǐng)域也日益發(fā)揮著愈來(lái)愈重的作用；總的來(lái)說(shuō)，無(wú)監(jiān)督深度學(xué)習(xí)和小樣本學(xué)習(xí)是該領(lǐng)域具有前景的方向之一。