吳倩倩，周蕾蕾，王思雨，劉成友，程龍，田書暢，蔣紅兵,3△

(1. 南京醫(yī)科大學(xué)附屬南京醫(yī)院(南京市第一醫(yī)院)臨床醫(yī)學(xué)工程處，南京 210006；2. 南京醫(yī)科大學(xué)附屬南京醫(yī)院(南京市第一醫(yī)院)醫(yī)學(xué)影像科，南京 210006；3.南京市急救中心，南京 210003)

1 引 言

腎腫瘤是泌尿系統(tǒng)常見腫瘤之一[1]。據(jù)統(tǒng)計(jì)，全球每年有34～40萬名患者被診斷為腎腫瘤，另有13～17萬名患者因其死亡[2]。在臨床治療中，準(zhǔn)確判斷腎臟及病變區(qū)域?qū)Σ∏樵\斷、功能評估等非常關(guān)鍵[3]，腎腫瘤的精確分割更是手術(shù)方案制定及預(yù)后評價(jià)的重要基礎(chǔ)。近年來影像學(xué)技術(shù)不斷發(fā)展，增強(qiáng)CT被廣泛用于腹部腫瘤診斷，其不僅能夠提供病灶形態(tài)學(xué)信息，而且能夠反映血供情況及病灶強(qiáng)化程度，有利于輔助影像醫(yī)師進(jìn)一步鑒別診斷[4]。增強(qiáng)CT對腎臟病變的檢測和表征更是具有高敏感性和特異性，是腎腫瘤檢出與診斷的常用影像學(xué)方法之一[5]。然而腎臟解剖形狀的不規(guī)則性、組織密度的不均勻性[6]，使得其解剖結(jié)構(gòu)的邊界變得不確定、不連續(xù)。此外，CT圖像中腹部灰度和紋理分布相似的組織器官可能與腎臟組織發(fā)生部分重疊[7]。因此，快速精確分割腎臟組織仍是醫(yī)學(xué)圖像處理領(lǐng)域中一個(gè)具有挑戰(zhàn)性的問題。

近年來，國內(nèi)外學(xué)者在醫(yī)學(xué)圖像腎臟處理方面做了很多研究與貢獻(xiàn)，對其分割方法大致可分為傳統(tǒng)方法與深度學(xué)習(xí)方法兩類。傳統(tǒng)方法多為利用圖像信息與先驗(yàn)知識(shí)以實(shí)現(xiàn)圖像分割。Al-Shamasneh等[8]提出一種基于能量最小化的新型Mittag-Leffler函數(shù)用于腎臟分割，分割結(jié)果較傳統(tǒng)能量函數(shù)分割有很大改進(jìn)，但分割結(jié)果圖上增加了許多噪聲點(diǎn)，不利于臨床醫(yī)師判斷。Kronman等[9]提出的Robust-Seed可在不影響分割精度的情況下，自動(dòng)減少基于種子的分割方法相對于種子位置的可變性，但該方法僅適用于單個(gè)用戶定義的種子，且假設(shè)初始種子位于目標(biāo)結(jié)構(gòu)內(nèi)，而這并不符合自動(dòng)種子算法的定義。除此之外，傳統(tǒng)方法對于描繪放射圖像中模糊的器官邊界能力也有限，容易出現(xiàn)圖像噪聲和偽影，導(dǎo)致邊界的缺失或彌散[10]。

與傳統(tǒng)分割方法不同，深度學(xué)習(xí)算法能夠通過自主學(xué)習(xí)從輸入數(shù)據(jù)中提取復(fù)雜的特征層次結(jié)構(gòu)[11]，多將卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)與圖形處理單元及大型訓(xùn)練數(shù)據(jù)集相結(jié)合，不僅能以秒級的運(yùn)行時(shí)間快速處理數(shù)據(jù)，更是激發(fā)了計(jì)算機(jī)視覺能力的巨大進(jìn)步，目前已成為醫(yī)學(xué)圖像分析和計(jì)算機(jī)輔助診斷系統(tǒng)中的關(guān)鍵步驟[12]，且廣泛應(yīng)用于腎腫瘤分類[13-14]以及腎組織分割[15-17]等領(lǐng)域。Efremova等[15]利用CNN進(jìn)行腎臟與腎臟腫瘤分割，采用KiTS19數(shù)據(jù)集測試，最終整體的分割準(zhǔn)確性較高，Dice為0.819，但腫瘤Dice僅為0.674，仍有提升空間；Reddy等[16]對U-Net網(wǎng)絡(luò)及訓(xùn)練超參數(shù)進(jìn)行微調(diào)，應(yīng)用于腹部CT圖像的腎臟分割，腎臟與腫瘤整體分割Dice為0.83，但該研究未進(jìn)一步實(shí)現(xiàn)腎臟與腎臟腫瘤分割；Vu等[17]將整個(gè)腎臟與腫瘤區(qū)域、單個(gè)腫瘤區(qū)域分別作為標(biāo)簽輸入U(xiǎn)-Net，最后將分割結(jié)果進(jìn)行融合得到腎臟與腫瘤分割模型，該模型對腎臟分割的準(zhǔn)確率較高，但腫瘤Dice僅為0.408。因此，利用深度學(xué)習(xí)的方法進(jìn)行腎臟組織分割，尤其是腎腫瘤分割仍是一項(xiàng)具有挑戰(zhàn)性的工作。

本研究提出一種基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的增強(qiáng)CT圖像腎臟及腎臟腫瘤定位與分割的方法。一級模型實(shí)現(xiàn)正常腎與腫瘤腎的定位，二級模型進(jìn)一步實(shí)現(xiàn)腎臟及腎臟腫瘤的精細(xì)分割。對比實(shí)驗(yàn)表明，該模型能較準(zhǔn)確定位且分割腎臟及腎臟腫瘤，分割的定量指標(biāo)優(yōu)于其直接進(jìn)行分割的網(wǎng)絡(luò)模型。

2 資料與方法

2.1 實(shí)驗(yàn)數(shù)據(jù)

本研究數(shù)據(jù)由兩部分組成。KiTS19數(shù)據(jù)集：該數(shù)據(jù)庫公開了2010年至2018年在明尼蘇達(dá)大學(xué)醫(yī)學(xué)中心接受一個(gè)或多個(gè)腎腫瘤的部分或根治性腎切除術(shù)210例患者的術(shù)前動(dòng)脈期腹部CT圖像，并提供全腎和腎腫瘤的輪廓標(biāo)簽。所有患者均進(jìn)行仰臥圖像采集，圖像的高度寬度來源患者的左前方(除第160例圖像大小為796×512外，其余均為512×512)，層數(shù)對應(yīng)于軸向視圖，層索引從上到下增加，層厚度范圍1～5 mm。本研究去除了其中63例(臨床信息缺失26例，圖像質(zhì)量影像診斷20例，標(biāo)簽錯(cuò)誤17例)，將剩余147例納入研究。本院腎腫瘤數(shù)據(jù)集(our hospital images，OHI)：回顧性收集南京市第一醫(yī)院2018年12月至2019年10月行腹部增強(qiáng)CT檢查且定性為占位性病變患者圖像，共40例。Philips lngenuity128、聯(lián)影uCT760螺旋CT機(jī)進(jìn)行腹部掃描，使用高壓注射器靜脈團(tuán)注非離子型碘對比劑，劑量為1.5～2 mL/kg，注射速度 2.5～3.0 mL/s，并用對比劑自動(dòng)觸發(fā)技術(shù)。所有患者都進(jìn)行仰臥圖像采集，圖像的高度寬度來源患者的左前方(圖像大小為512×512)，掃描層厚5 mm。由3名影像醫(yī)師使用ITK-SNAP軟件完成全腎、腎腫瘤的手動(dòng)勾畫。數(shù)據(jù)集具體信息見表1。

2.2 圖像預(yù)處理

在輸入模型前，首先通過編程將所有DICOM格式圖像的窗寬、窗位分別調(diào)整為300、25 Hu，使腎臟成像清晰，有助于突出顯示腫瘤結(jié)構(gòu)及邊界；然后將圖像批量換為PNG格式并手動(dòng)去除不含腎臟及腎臟腫瘤的片層，將圖像大小調(diào)整為256×256，數(shù)據(jù)歸一化以提高訓(xùn)練效率。輸入一級模型與二級模型的數(shù)據(jù)集分別進(jìn)行如下預(yù)處理：

2.2.1一級模型數(shù)據(jù)集 將標(biāo)簽圖像感興趣區(qū)(region of interests，ROI)進(jìn)行放大，見圖1(a)，以保證腎臟及腎臟腫瘤邊界輸入的完整性，其中C點(diǎn)坐標(biāo)為(x，y)，D為(x+w，y+h)，A、B分別為0.98(x，y)、1.02(x+w，y+h)，以A、B兩點(diǎn)為對角線所在矩形即為擴(kuò)大后輸入的標(biāo)簽圖像ROI大小。

2.2.2二級模型數(shù)據(jù)集 首先簡單修正一級模型定位結(jié)果使腎臟和腫瘤完全包含在框內(nèi)，然后分別截取左右腎并將其調(diào)整至256×256(長邊放大至256，短邊依照原標(biāo)簽框按比例調(diào)整，其余區(qū)域填充為黑色，見圖1(b))。既充分地利用了圖像特征，同時(shí)又能最大限度發(fā)揮網(wǎng)絡(luò)性能。

2.3 模型結(jié)構(gòu)

本研究的基本網(wǎng)絡(luò)選用目前主流醫(yī)學(xué)圖像分割網(wǎng)絡(luò)U-Net[18]、Attention U-Net[19]以及Res U-Net[20]。U-Net是一種編碼器-解碼器結(jié)構(gòu)，編碼器逐漸減少池化層空間維度，解碼器逐步恢復(fù)圖像細(xì)節(jié)與空間維度，二者之間的跳躍連接提高了數(shù)據(jù)利用率，使之運(yùn)用少量樣本即可實(shí)現(xiàn)端到端的訓(xùn)練[21]；Attention U-Net將注意力機(jī)制引入U(xiǎn)-Net中，使得模型在訓(xùn)練過程中著重學(xué)習(xí)對特定任務(wù)有用的顯著特征；Res U-Net則是在U-Net中加入了殘差連接，將編碼器與解碼器直接相連保留了不同層信息，同時(shí)在一定程度上減少了處理時(shí)間。目前很多網(wǎng)絡(luò)[22-25]也是基于三者的變體。

本研究設(shè)計(jì)的腎臟及腎臟腫瘤定位和分割的級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)模型，分別以上述三種網(wǎng)絡(luò)為基本結(jié)構(gòu)，即一級定位模型與二級分割模型的組合方式分別為Attention U-Net + Attention U-Net、Res U-Net + Res U-Net、U-Net + U-Net。同時(shí)，為驗(yàn)證級聯(lián)模型分割性能是否更優(yōu)，使用增強(qiáng)CT圖像原圖直接對Attention U-Net、Res U-Net、U-Net分別進(jìn)行訓(xùn)練，并測試其分割效果。

級聯(lián)模型整體定位分割流程，見圖2。將預(yù)處理后的數(shù)據(jù)，輸入至一級模型完成正常腎及腫瘤腎的定位與檢測(正常腎以綠色框顯示，腫瘤腎以紅色框顯示)；再從一級模型定位結(jié)果中截取左右腎并適當(dāng)調(diào)整尺寸后，輸入至二級模型實(shí)現(xiàn)腎臟與腎臟腫瘤的進(jìn)一步精細(xì)分割(腎臟正常區(qū)域以綠色標(biāo)記，腫瘤以紅色標(biāo)記)。

2.4 模型的訓(xùn)練與驗(yàn)證

隨機(jī)選取KiTS19數(shù)據(jù)集的85%為訓(xùn)練集(123例，9 806張切片)，15%(24例，2 134張切片)及OHI數(shù)據(jù)集(40例，912張切片)為測試集，同一數(shù)據(jù)集中包含同一患者所有片層。對所有模型，超參數(shù)設(shè)置如下：batch_size為16，使用Adam優(yōu)化器，學(xué)習(xí)率為10-3，loss值采用BCEWithLogitsLoss(Bloss)計(jì)算，公式如下：

圖2 級聯(lián)神經(jīng)網(wǎng)絡(luò)模型整體流程

Bloss=-[ylog(σ(x))+(1-y)log(1-σ(x))]

(1)

(2)

其中，x為預(yù)測結(jié)果，y為金標(biāo)準(zhǔn)。

采用Early-Stopping技術(shù)控制迭代停止，設(shè)置為當(dāng)test loss在連續(xù)7個(gè)epoch內(nèi)增長或epoch為200時(shí)，停止訓(xùn)練，認(rèn)為模型收斂。實(shí)驗(yàn)所用計(jì)算環(huán)境如下：Intel(R) Core(TM) i9-10920 CPU @ 3.50 GHz (12核，2線程/核，64 GB內(nèi)存)，系統(tǒng)為Ubuntu16.04。在該系統(tǒng)上搭建兩塊RTX 3090顯卡(顯存為24 G/塊)，并行計(jì)算架構(gòu)加速計(jì)算。構(gòu)建系統(tǒng)開發(fā)語言環(huán)境和深度學(xué)習(xí)框架，python版本為3.7.5，采用pytorch1.7.1框架。

2.5 評價(jià)方法和指標(biāo)

一級模型定位以IOU(intersection over union,IOU)大于0.5為分類閾值，即當(dāng)IOU>0.5時(shí)，視為定位預(yù)測成功，然后再在此基礎(chǔ)上進(jìn)一步采用準(zhǔn)確率(precision，P)、召回率(recall，R)、F1得分(F1_Score)評估定位準(zhǔn)確性；采用Dice、體積相似度(volume similarity，VS)評估二級模型腎臟與腫瘤分割的準(zhǔn)確度。具體公式如下：

(3)

(4)

(5)

(6)

(7)

(8)

其中，A表示模型分割結(jié)果中的腎臟(腎腫瘤)，B表示影像醫(yī)師標(biāo)定圖像中的腎臟(腎腫瘤)，TP表示正確檢測腫瘤腎，F(xiàn)P表示將正常腎預(yù)測為腫瘤腎，F(xiàn)N表示將腫瘤腎預(yù)測為正常腎。評價(jià)指標(biāo)中，P表示正確檢測為腫瘤腎的樣本占所有預(yù)測為腫瘤腎樣本的比例；R表示正確檢測為腫瘤腎的樣本占所有實(shí)際為腫瘤腎樣本的比例；F1_Score同時(shí)考慮P和R，當(dāng)F1_Score較高時(shí)，說明模型預(yù)測結(jié)果較好；Dice越大，代表模型預(yù)測結(jié)果越接近金標(biāo)準(zhǔn)，即分割越準(zhǔn)確；VS則是將Dice中的“與”操作用減法替代，以此代表錯(cuò)誤率，數(shù)值越小，分割誤差越小。

3 結(jié)果與分析

3.1 一級模型定位結(jié)果

一級模型在KiTS19、OHI及二者整體測試集中的腎臟定位結(jié)果見表2。由測試結(jié)果可見，U-Net模型的整體Precision最高，為97.67(KiTS19：98.28；OHI：96.10)；整體最高Recall=90.42(KiTS19：95.34；OHI：81.76)，F(xiàn)1_Score=90.77(KiTS19：92.46；OHI：87.48)，均在Res U-Net模型中獲得。圖3展示了同一片層在三種不同網(wǎng)絡(luò)級聯(lián)模型上測試的定位結(jié)果。由圖3可見，一級模型可以實(shí)現(xiàn)正常及含腫瘤腎臟的基本定位，但因部分腫瘤直徑較小或位置靠近片層兩端，模型容易將其誤識(shí)為正常腎臟(圖4(a)紅色箭頭處)，導(dǎo)致假陰性率較高；或因腎臟與腎腫瘤較為相似，從而產(chǎn)生少數(shù)假陽性結(jié)果(圖4(b)紅色框)，影響了模型整體的準(zhǔn)確性。從評價(jià)結(jié)果可見，OHI測試集Recall較低，導(dǎo)致F1_Score較低，原因可能為訓(xùn)練集包含腫瘤類型不夠廣泛，或同一類型腫瘤數(shù)量較少所致。除此之外，從理論上分析，引入注意力機(jī)制的Attention U-Net精度應(yīng)當(dāng)更高，但結(jié)果并非如此，分析原因可能如下：(1)注意力機(jī)制并不適合本研究數(shù)據(jù)集；(2)本研究數(shù)據(jù)量對于Attention U-Net要求的數(shù)據(jù)量來說偏少；(3)一級模型訓(xùn)練集標(biāo)簽包含少量周圍組織器官，即背景區(qū)域也包含在目標(biāo)區(qū)域內(nèi)，而注意力機(jī)制在模型訓(xùn)練過程中會(huì)將目標(biāo)區(qū)域的值放大，從而對分割精度產(chǎn)生了一定影響。

表2 不同級聯(lián)模型在KiTS19和OHI測試集上定位結(jié)果

注：左右兩列分別為KiTS19和OHI數(shù)據(jù)集(圖中標(biāo)示詳見電子版彩圖)。

3.2 二級模型分割結(jié)果

測試集在不同網(wǎng)絡(luò)模型及所提出級聯(lián)模型的分割Dice、VS值見表3。由表可知，U-Net + U-Net級聯(lián)模型的腎臟及腫瘤整體Dice最高(0.929)，與直接利用U-Net分割相比提升了9.55%；Attention U-Net + Attention U-Net級聯(lián)模型的腎臟、腫瘤Dice均最高(分別為0.895、0.764)，相較于Attention U-Net直接分割分別提高了5.29%、12.68%；U-Net + U-Net級聯(lián)模型的整體、腎臟VS最小(分別為0.085、0.016)，效果最優(yōu)，對腫瘤的最優(yōu)VS值在Attention U-Net + Attention U-Net級聯(lián)模型中獲得(0.009)。由此可見，經(jīng)過一級模型的定位處理，提升了網(wǎng)絡(luò)對輸入特征圖的感受野，捕獲了更多的圖像特征，使得二級模型的性能相較于直接利用Attention U-Net、Res U-Net、U-Net對圖像進(jìn)行分割有了明顯的提升，準(zhǔn)確度更高。圖5分別展示了不同模型在KiTS19和OHI測試集的部分分割結(jié)果，將腫瘤部分與臨床醫(yī)師勾畫標(biāo)準(zhǔn)對比，本研究提出模型分割結(jié)果與醫(yī)生做出診斷的大小、形狀相似度較高，能夠基本實(shí)現(xiàn)腎臟腫瘤的邊界勾畫，且分割精度較高，測試集在提出的級聯(lián)模型均有較好的表現(xiàn)，有利于輔助醫(yī)生進(jìn)行腎臟器官的疾病診斷與治療。

注：圖中標(biāo)示詳見電子版彩圖。

表3 不同CNN模型在測試集上的Dice、VS值

注：左右兩列分別為KiTS19和OHI數(shù)據(jù)集。紅色為模型分割腫瘤邊界，藍(lán)色為醫(yī)師勾畫相應(yīng)邊界(圖中標(biāo)示詳見電子版彩圖)。圖5 二級模型分割結(jié)果

4 結(jié)論

由于相鄰器官灰度相似性、不同個(gè)體之間的腎臟差異等[26]，在腹部增強(qiáng)CT圖像中分割腎臟及腎臟腫瘤一直是腎臟分割研究的關(guān)鍵及難點(diǎn)。為解決該問題，本研究提出了基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)腎臟及腎臟腫瘤定位與分割模型，該級聯(lián)模型相對于應(yīng)用基礎(chǔ)網(wǎng)絡(luò)直接分割病灶而言，準(zhǔn)確度更高。一級模型可基本識(shí)別定位正常腎及腫瘤腎，二級模型進(jìn)一步實(shí)現(xiàn)了對腎臟及腫瘤精細(xì)分割。實(shí)驗(yàn)結(jié)果表明，與Efremova等[15]、Vu等[17]提出模型相比，本研究的級聯(lián)模型不僅提高了腎臟與腫瘤整體的Dice，而且進(jìn)一步提升了腫瘤分割準(zhǔn)確度。綜上所述，本研究所提出的級聯(lián)模型充分利用了圖像特征及U-Net性能，實(shí)現(xiàn)了正常腎與腫瘤腎的準(zhǔn)確定位、腎臟及腎臟腫瘤的精確分割，有助于臨床醫(yī)師確定腫瘤位置及形態(tài)，為臨床腎臟疾病診斷提供依據(jù)，具有實(shí)際研究意義及臨床應(yīng)用價(jià)值。本研究提出的級聯(lián)模型仍有一些不足之處，例如病灶邊緣片層的感興趣區(qū)或直徑較小病灶識(shí)別、分割難度較高，還需對模型進(jìn)一步改進(jìn)并優(yōu)化算法。另外也發(fā)現(xiàn)，不同醫(yī)師對小病灶判定不相同，導(dǎo)致模型訓(xùn)練集標(biāo)簽勾畫不一致，對模型的訓(xùn)練有一定影響，故還需進(jìn)一步規(guī)范標(biāo)準(zhǔn)。