李明漾,王慶鳳,陳立偉,黃 俊,周 瑩

(1.西南科技大學(xué) 計算機科學(xué)與技術(shù)學(xué)院,四川 綿陽 621000;2.綿陽市中心醫(yī)院 放射科,四川 綿陽 621000)

0 引 言

肝臟作為人體非常重要的器官發(fā)病率非常高,肝臟是容易病變產(chǎn)生腫瘤的高發(fā)部位,肝癌屬于惡性腫瘤,死亡率極高。目前計算機斷層掃描(Computed Tomography,CT)已經(jīng)成為了醫(yī)學(xué)成像的主要方法之一,快速精準(zhǔn)地從CT圖像中分割出肝臟區(qū)域?qū)︶t(yī)生診斷肝癌、定性分析以及制定治療方案具有重要意義,肝臟分割結(jié)果可以為醫(yī)生臨床診斷提供可靠的診斷依據(jù)。目前臨床診斷中,基于CT圖像對肝臟的分割是由經(jīng)驗豐富的醫(yī)生手動進行,分割結(jié)果容易受醫(yī)生主觀判斷和分析的影響,增加誤判或漏判的可能性。

近幾年,研究人員提出了一些基于深度學(xué)習(xí)的醫(yī)學(xué)圖像分割方法,在肝臟分割領(lǐng)域中取得了顯著成果,分割精度大大提高。現(xiàn)有大多數(shù)方法使用以深度卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法,它們主要是采用全監(jiān)督的設(shè)置來完成肝臟CT圖像分割任務(wù),作為全監(jiān)督學(xué)習(xí)的一個重要特性,其性能在很大程度上依賴于足夠數(shù)量的標(biāo)記數(shù)據(jù)。然而在醫(yī)學(xué)領(lǐng)域標(biāo)注可靠的注釋圖像非常耗時耗力。據(jù)統(tǒng)計,手動分割一個肝臟序列平均需要30 min[1]。標(biāo)記數(shù)據(jù)的缺乏引導(dǎo)了許多研究者對注釋效率的研究,例如弱監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等。由于獲取少量帶有標(biāo)記數(shù)據(jù)和大量未標(biāo)記數(shù)據(jù)在臨床上是可行的,所以該文將基于半監(jiān)督學(xué)習(xí)的方法分割肝臟CT圖像。

主要貢獻:為了解決醫(yī)學(xué)圖像中肝臟標(biāo)注數(shù)據(jù)缺乏的問題,提出了一種基于跨任務(wù)一致性的半監(jiān)督肝臟CT圖像分割方法。該方法具有多解碼器的網(wǎng)絡(luò)模型以增加模型擾動的多樣性,同時引入輔助預(yù)測任務(wù)學(xué)習(xí)肝臟的幾何信息提高模型分割性能。

1 相關(guān)工作

基于深度學(xué)習(xí)的圖像分割已經(jīng)在醫(yī)學(xué)圖像領(lǐng)域取得了顯著的成功,所以首先需要回顧一些經(jīng)典的醫(yī)學(xué)圖像分割方法和基于半監(jiān)督學(xué)習(xí)的醫(yī)學(xué)圖像分割方法。

1.1 用于醫(yī)學(xué)圖像分割的深度學(xué)習(xí)方法

深度神經(jīng)網(wǎng)絡(luò)對醫(yī)學(xué)圖像分割獲得了較好的效果,許多優(yōu)秀的醫(yī)學(xué)圖像分割算法已經(jīng)得到了廣泛的應(yīng)用。全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[2]是醫(yī)學(xué)圖像分割領(lǐng)域中極其重要的一部分,FCN能夠提取圖像中目標(biāo)區(qū)域的高層次特征與低層次特征并將兩者進行結(jié)合,實現(xiàn)了圖像的自動分割。U-Net[3]已經(jīng)成為一種經(jīng)典醫(yī)學(xué)圖像分割框架,具有編碼-解碼結(jié)構(gòu)成對稱形狀,并能夠通過跳躍連接將編碼器和解碼器得到的不同分辨率的特征信息進行融合。He等人[4]引入了殘差結(jié)構(gòu)思想,提出了ResNet用于醫(yī)學(xué)圖像分割,該結(jié)構(gòu)將輸入特征圖與輸出特征圖進行特征融合,在增加網(wǎng)絡(luò)深度的同時避免了梯度爆炸或消失等問題。李秀華等人[5]將U-Net中編碼階段采用混合空洞卷積替換原始卷積并在跳躍連接中添加注意力機制,改進后提高了肝臟腫瘤分割精度。Cicek等人[6]將U-Net擴展到3D醫(yī)學(xué)圖像分割領(lǐng)域用于體積分割,其思想是采用3D卷積核提取特征,捕獲圖像豐富的空間信息。戴振暉等人[7]通過在3DU-Net添加殘差塊并結(jié)合Transformer模塊提出了Res-Swim-UNet模型,實現(xiàn)了肝臟及腫瘤的自動分割。Milletari等人[8]提出了V-Net,他們將殘差結(jié)構(gòu)與3DU-Net結(jié)合并將下采樣的池化操作用步長為2的卷積代替,上采樣使用轉(zhuǎn)置卷積,并使用3D圖像輸入網(wǎng)絡(luò)模型。張宇嘯等人[9]提出了一種輕量級V-Net并結(jié)合深監(jiān)督策略的肝臟及腫瘤分割算法,在減少模型的參數(shù)量和計算量的同時提高了分割精度。

1.2 半監(jiān)督醫(yī)學(xué)圖像分割

半監(jiān)督學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域已經(jīng)得到了廣泛的研究和應(yīng)用。半監(jiān)督學(xué)習(xí)方法是需要將標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)都用來訓(xùn)練模型,目的是充分利用無標(biāo)記數(shù)據(jù)來提高模型性能。Bai等人[10]采用了自訓(xùn)練式半監(jiān)督學(xué)習(xí)的思想,利用標(biāo)記數(shù)據(jù)訓(xùn)練初始模型,然后利用訓(xùn)練好的初始模型預(yù)測未標(biāo)記數(shù)據(jù)生成偽標(biāo)簽,挑選出高質(zhì)量偽標(biāo)簽從而擴展帶標(biāo)記的數(shù)據(jù)集。劉清清等人[11]提出的自訓(xùn)練式半監(jiān)督肝臟分割框架是通過改進的注意力模塊的3D scSE-Unet作為分割網(wǎng)絡(luò)進行循環(huán)迭代訓(xùn)練。另外一種基于圖的算法假設(shè)兩個相似的樣本具有相同的輸出[12]。對抗性學(xué)習(xí)也是半監(jiān)督學(xué)習(xí)的一種流行方法。Fang等人[13]通過結(jié)合對抗性訓(xùn)練策略區(qū)分像素是來自預(yù)測分割結(jié)果還是標(biāo)簽樣本。Zhang等人[14]采用對抗性學(xué)習(xí)使注釋圖像與未注釋圖像產(chǎn)生相似的分割輸出。

最近,越來越多的基于一致性正則化的半監(jiān)督學(xué)習(xí)方法用來進行醫(yī)學(xué)圖像分割。其利用未標(biāo)記數(shù)據(jù)的主要思想是基于假設(shè),即通過將輸入數(shù)據(jù)添加小擾動,模型輸出產(chǎn)生的預(yù)測結(jié)果應(yīng)該是一致的。例如,Sohn等人[15]在執(zhí)行訓(xùn)練樣本強弱條件下,檢驗數(shù)據(jù)擾動預(yù)測的一致性。Laine等人[16]提出的π模型方法簡單有效,為了執(zhí)行可靠的預(yù)測,通過時間集合策略用前幾個時期的預(yù)測來擴展π模型。Tarvainen等人[17]提出了均值教師模型(MT),使用教師模型來產(chǎn)生學(xué)生學(xué)習(xí)時的目標(biāo),學(xué)生模型利用教師模型產(chǎn)生的目標(biāo)學(xué)習(xí),并討論模型參數(shù)一致性。Yu等人[18]進一步在MT模型中引入不確定性估計指導(dǎo)學(xué)習(xí)。楊星宇等人[19]提出了一種多時期一致的半監(jiān)督模型(MPC-MT)實現(xiàn)無造影劑圖像的肝臟腫瘤分割,其思想是基于均值教師模型,該模型在多時期磁共振圖像之間建立一致性正則化。Li等人[20]提出的SASSNet模型引入了帶符號距離圖(SMD)[21],進一步學(xué)習(xí)器官的幾何形狀信息。Luo 等人[22]提出了基于雙任務(wù)一致性的半監(jiān)督學(xué)習(xí)框架,通過在分割任務(wù)和水平集函數(shù)回歸任務(wù)之間建立一致性正則化約束,實現(xiàn)了任務(wù)級的正則化。與以往的方法不同,該文提出的半監(jiān)督學(xué)習(xí)框架包含多個解碼器,同時添加輔助回歸任務(wù)學(xué)習(xí)肝臟的幾何形狀信息。該框架在主副解碼器的不同任務(wù)之間執(zhí)行跨任務(wù)一致性正則化以利用大量未標(biāo)記數(shù)據(jù),提高模型分割肝臟的性能。

2 文中方法

2.1 模型框架

本節(jié)將介紹提出的基于跨任務(wù)一致性的半監(jiān)督肝臟分割模型框架,總體結(jié)構(gòu)如圖1所示。該文采用V-Net作為基礎(chǔ)網(wǎng)絡(luò)。它由一個共享編碼器、一個主解碼器和兩個副解碼器組成,每個解碼器有兩種預(yù)測任務(wù)。這三個解碼器在結(jié)構(gòu)上是相同的,僅僅在上采樣方法上不同。定義副解碼器D1,D3的上采樣方法分別采用三線性插值、最近插值。主解碼器D2的上采樣方法與V-Net保持一致,采用轉(zhuǎn)置卷積。在主副解碼器中使用Dropout層以實現(xiàn)模型層面的擾動。

圖1 基于跨任務(wù)一致性的半監(jiān)督學(xué)習(xí)肝臟分割框架

2.2 跨任務(wù)一致性正則化

在一般的基于一致性的半監(jiān)督學(xué)習(xí)方法中,一致性損失設(shè)計用于數(shù)據(jù)級上的平滑預(yù)測。與之前方法不同,該文利用預(yù)測回歸任務(wù)得到的有符號距離圖(SDM)訓(xùn)練網(wǎng)絡(luò)模型,該任務(wù)可以使模型學(xué)習(xí)目標(biāo)特征的幾何輪廓信息,其中回歸任務(wù)預(yù)測的SMD可由解碼器后添加一個1×1×1卷積塊和Tanh激活函數(shù)實現(xiàn)?？梢酝ㄟ^T(·)轉(zhuǎn)換函數(shù)將分割標(biāo)簽轉(zhuǎn)換成SMD,轉(zhuǎn)換函數(shù)定義如下:

(1)

在SMD中的每個點(體素)表示其之間的距離和最近邊界,所以‖x-y‖2表示體素x,y之間的歐氏距離,?C表示目標(biāo)對象的表面,SMD中點的值為0則表示位于目標(biāo)對象的表面。Cin和Cout分別表示為目標(biāo)對象的內(nèi)部和外部。對于目標(biāo)對象的內(nèi)部區(qū)域體素取負(fù)值,外部區(qū)域取值反之。由于有符號距離圖(SMD)與像素分割概率圖不在同一個域內(nèi),且轉(zhuǎn)換式不可微的性質(zhì),為了建立主副解碼器之間的跨任務(wù)一致性,該文將SMD通過T-1(·)函數(shù)轉(zhuǎn)換成近似的像素分割概率圖。采用Luo等人[22]提出的方法中的平滑近似函數(shù)來實現(xiàn)轉(zhuǎn)換,轉(zhuǎn)換公式定義為:

(2)

其中,z是體素x的有符號距離圖的距離值,k是一個超參數(shù)盡可能地設(shè)置較大的值來近似變換接近分割真實值。此公式的目的是將SDM映射到與像素分割概率圖同一域內(nèi),SDM變換成近似分割概率圖使得建立跨任務(wù)一致性正則化有意義。

2.3 半監(jiān)督訓(xùn)練損失函數(shù)

在上述半監(jiān)督學(xué)習(xí)方法描述中,如圖1所示,文中的損失函數(shù)由無監(jiān)督損失Lmrc和監(jiān)督損失Lsup組成。對于監(jiān)督損失:文中方法的監(jiān)督損失由標(biāo)記圖像集合Dl上對應(yīng)在主副解碼器的雙任務(wù)優(yōu)化目標(biāo)組成,采用Dice loss和Cross-entropy loss作為三個解碼器像素級分割預(yù)測任務(wù)的混合監(jiān)督損失,計算如下:

(3)

式中,fseg表示像素級分割圖,Y表示分割標(biāo)簽圖像。

該文引入的回歸任務(wù)作為模型中的重要部分,也將計算SDM產(chǎn)生的預(yù)測誤差,其監(jiān)督損失定義如下:

(4)

式中,fsdm表示有符號距離圖(SDM),T(y)是分割標(biāo)簽圖像Y通過T(·)函數(shù)轉(zhuǎn)換成的符號距離圖真實標(biāo)簽?？偟谋O(jiān)督損失由以上兩個部分的損失加權(quán)求和所得。

Lsup=Lseg+λLsdm

(5)

式中,λ是平衡分割任務(wù)和回歸任務(wù)損失項中的權(quán)重系數(shù),將其設(shè)置為0.3。對于整體訓(xùn)練集D的無監(jiān)督損失:模型在主副解碼器上采樣操作的不同以及Dropout層的作用,形成了模型擾動,在主解碼器與副解碼器之間建立跨任務(wù)一致性損失,使模型能夠利用大量未標(biāo)記數(shù)據(jù)進行學(xué)習(xí)。在訓(xùn)練過程中,在主解碼器D2的像素級分割圖和副解碼器D1,D3輸出的有符號距離圖,以及主解碼器的有符號距離圖和副解碼器D1,D3輸出的像素級分割圖之間建立一致性約束進行優(yōu)化,具體一致性無監(jiān)督損失計算如下:

(6)

Ltotal=Lsup+λ2Lmrc

(7)

繼前面的研究工作,該文采用高斯升溫函數(shù)策略λ2=0.1×e-5(1-t/tmax)來控制監(jiān)督損失和無監(jiān)督的一致性損失之間的平衡。t表示當(dāng)前訓(xùn)練步驟,tmax表示最大訓(xùn)練步驟。高斯升溫函數(shù)可以使模型在訓(xùn)練時更加高效,因為在訓(xùn)練的前期階段模型預(yù)測結(jié)果相對來說可靠度低。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集及預(yù)處理

該文采用肝臟腫瘤分割公開挑戰(zhàn)賽LiTS2017數(shù)據(jù)集進行方法驗證,該數(shù)據(jù)集包含131例含有肝臟部位CT掃描圖像,并且由3名放射科醫(yī)生手動注釋標(biāo)簽。在數(shù)據(jù)集中隨機挑選104例CT圖像用于訓(xùn)練,剩余27例CT圖像用于測試。最后,對數(shù)據(jù)集做預(yù)處理操作,將原始圖像的CT值(HU)調(diào)整到[-200,200]的范圍,并歸一化到[0,1]。為了降低計算機性能的要求,去除大量無關(guān)背景,將原始圖像進行中心裁剪,最終得到尺寸大小為256×256×256的CT圖像。

3.2 實施細(xì)節(jié)及評價指標(biāo)

文中的實驗是基于Pytorch框架實現(xiàn)。實驗使用24 GB內(nèi)存的NVIDIA RTX 3090 GPU進行訓(xùn)練。該網(wǎng)絡(luò)框架采用SGD優(yōu)化器經(jīng)過6 000次的迭代訓(xùn)練,將初始學(xué)習(xí)率設(shè)置為0.01,每經(jīng)過2 500次迭代學(xué)習(xí)率衰減0.1,每次迭代的Batch size設(shè)置為4,其中包含兩個標(biāo)記圖像和兩個未標(biāo)記圖像。該文將采用以下評價指標(biāo)來驗證提出方法的有效性:Dice相似系數(shù)(Dice Similarity Coefficient)、Jaccard系數(shù)(Jaccard Coefficient)和平均表面距離(Average Surface Distance,ASD)。各項評價指標(biāo)計算公式如下:

(8)

(9)

(10)

式中,TP(True Positive)表示肝臟分割像素正確分類的預(yù)測結(jié)果;FP(False Positive)表示肝臟分割像素錯誤的預(yù)測結(jié)果;FN(False Positive)表示預(yù)測像素分割結(jié)果分類為肝臟實際為背景的像素;Aseg表示預(yù)測分割結(jié)果的邊界;Agt表示真實分割標(biāo)簽的邊界;p1,p2表示邊界上的像素點。

3.3 對比實驗與定量分析

該文在LiTS2017數(shù)據(jù)集上驗證了該方法的有效性。與UA-MT[18],SASSNet[20],DTC[22],SMTL[23]等半監(jiān)督方法進行比較。上述半監(jiān)督方法都是以V-Net模型作為主干網(wǎng)絡(luò),為了體現(xiàn)與其他半監(jiān)督方法對比的有效性,控制變量,文中半監(jiān)督框架也采用V-Net網(wǎng)絡(luò)模型作為基礎(chǔ)網(wǎng)絡(luò)。該框架在V-Net基礎(chǔ)上添加了兩個并行解碼器以增加模型擾動的多樣性。同時以上所述的半監(jiān)督方法都是在標(biāo)記數(shù)據(jù)和未標(biāo)記數(shù)據(jù)設(shè)置數(shù)量相同比例下進行比較,在LiTS訓(xùn)練集樣本中分別設(shè)置10%帶標(biāo)注樣本和20%帶標(biāo)注樣本的實驗組,如表1和表2所示,其中V-Net[8]方法采用全監(jiān)督設(shè)置進行訓(xùn)練作為基線對比。

表1 在10%標(biāo)記數(shù)據(jù)訓(xùn)練下與其他半監(jiān)督方法的對比實驗

表2 在20%標(biāo)記數(shù)據(jù)訓(xùn)練下與其他半監(jiān)督方法的對比實驗

首先,通過表1和表2的實驗結(jié)果可知,所有的半監(jiān)督方法與利用相同標(biāo)記數(shù)據(jù)數(shù)量設(shè)置下的全監(jiān)督V-Net方法相比都得到了更優(yōu)的分割結(jié)果,達到不錯的性能增益。其中表1顯示了使用10%標(biāo)記數(shù)據(jù)訓(xùn)練時, SASSNet,UA-MT,DTC的Dice系數(shù)、Jaccard系數(shù)、ASD比較接近,性能增益不明顯,其中SMTL在ASD評判標(biāo)準(zhǔn)中表現(xiàn)最好。文中方法在Dice系數(shù)和Jaccard系數(shù)評判標(biāo)準(zhǔn)上達到了93.13%和87.43%,相比于V-Net[8]方法全監(jiān)督設(shè)置下,該方法通過利用未標(biāo)記數(shù)據(jù)訓(xùn)練模型將Dice系數(shù)提高了4.41百分點,Jaccard系數(shù)提高了6.34百分點。表2顯示了在使用20%標(biāo)記數(shù)據(jù)訓(xùn)練時,文中方法在Dice系數(shù)和Jaccard系數(shù)相比其他半監(jiān)督方法產(chǎn)生分割精度增益更明顯。該方法相比SMTL將Dice系數(shù)提高了1.34百分點,Jaccard系數(shù)提高了2.38百分點,且在ASD評判標(biāo)準(zhǔn)下比UA-MT,SASSNet,DTC擁有更優(yōu)的分割結(jié)果。

綜合兩個表格實驗結(jié)果表明,文中方法的分割結(jié)果和真實結(jié)果擁有更高的重疊率和相似度,在Dice和Jaccard評價標(biāo)準(zhǔn)上都優(yōu)于其他半監(jiān)督方法。增加了輔助任務(wù)使模型在肝臟的某些邊界區(qū)域能夠產(chǎn)生更好的分割結(jié)果,并且添加兩個并行解碼器建立一致性約束能充分利用未標(biāo)記數(shù)據(jù)學(xué)習(xí),提高分割結(jié)果質(zhì)量。值得一提的是,文中方法在僅使用20%帶標(biāo)記數(shù)據(jù)時就能達到接近100%帶標(biāo)記數(shù)據(jù)全監(jiān)督訓(xùn)練時分割結(jié)果的Dice,Jaccard精度,證明了該方法能夠有效地利用大量無標(biāo)記數(shù)據(jù)獲取信息,提高分割性能。

3.4 實驗結(jié)果可視化

最終,隨機選取兩名代表性患者的分割結(jié)果進行可視化分析。圖2展示了患者在V-Net網(wǎng)絡(luò)使用不同標(biāo)記樣本數(shù)量全監(jiān)督設(shè)置下的分割結(jié)果與文中方法分割結(jié)果的2D可視化對比。

圖2 與V-Net基礎(chǔ)網(wǎng)絡(luò)在不同標(biāo)記數(shù)量的全監(jiān)督設(shè)置下對比

其中(a)是原始圖像,(b)專家標(biāo)簽,(c)和(d)分別是V-Net網(wǎng)絡(luò)使用20%和100%標(biāo)記數(shù)據(jù)在全監(jiān)督情況下的分割結(jié)果,(e)是文中方法可視化結(jié)果。在使用相同標(biāo)記數(shù)據(jù)數(shù)量訓(xùn)練網(wǎng)絡(luò)模型的情況下,提出的半監(jiān)督方法明顯比全監(jiān)督設(shè)置下的分割結(jié)果更好,尤其對肝臟的邊界區(qū)域分割更準(zhǔn)確更接近于真實標(biāo)簽,甚至部分細(xì)節(jié)更優(yōu)于100%標(biāo)記數(shù)據(jù)全監(jiān)督設(shè)置下的分割結(jié)果。這是因為引入的輔助預(yù)測任務(wù)來學(xué)習(xí)肝臟的全局幾何信息,它能夠使模型學(xué)習(xí)到更多的肝臟邊界信息,從而提高模型的分割性能。

4 結(jié)束語

提出了一種基于跨任務(wù)一致性的半監(jiān)督肝臟分割方法。該方法以V-Net作為基礎(chǔ)網(wǎng)絡(luò),添加兩個副解碼器以形成一定程度上的模型擾動,同時在每個解碼器引入回歸任務(wù),利用主副解碼器之間跨任務(wù)一致性約束建立損失函數(shù),從而使模型能夠利用大量無標(biāo)記數(shù)據(jù)學(xué)習(xí)。同時,該方法與其他半監(jiān)督方法相比,在LiTS數(shù)據(jù)集上肝臟分割結(jié)果精度更優(yōu),并且在僅使用20%帶標(biāo)記數(shù)據(jù)的情況下,肝臟分割結(jié)果在Dice和Jaccard的評價指標(biāo)幾乎接近100%帶標(biāo)記數(shù)據(jù)全監(jiān)督設(shè)置下的分割結(jié)果。這意味著該方法在實用性方面具有一定優(yōu)勢。