徐勝舟,程時(shí)宇

(中南民族大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院, 武漢 430074)

乳腺癌是全球女性最常見(jiàn)的惡性腫瘤[1], 也是我國(guó)增長(zhǎng)幅度最大的惡性腫瘤之一, 堪稱(chēng)“女性殺手”[2]. 目前, 早期檢查早期發(fā)現(xiàn)仍是提高乳腺癌患者生存率最有效的途徑. 乳腺X線(xiàn)攝影檢查是當(dāng)前最常用的乳腺癌早期診斷方法. 全世界每天都有大量的乳腺X線(xiàn)攝片生成. 乳腺X線(xiàn)攝片中腫塊的分割是對(duì)乳腺癌進(jìn)一步定量分析的關(guān)鍵. 然而, 由于乳腺X線(xiàn)攝片是對(duì)三維的乳腺組織進(jìn)行二維成像, 圖像中腫塊周?chē)赡艽嬖诰哂蓄?lèi)似于腫塊灰度分布的其他正常的致密組織, 對(duì)腫塊圖像分割造成干擾. 另外, 眾多病例中乳腺腫塊大小和形態(tài)各不相同, 形狀各異, 對(duì)比度不清晰, 這些都給腫塊圖像分割造成了困難.

學(xué)者們對(duì)乳腺腫塊圖像分割進(jìn)行了廣泛研究, 并提出了許多分割算法. 這些算法大致可以分為兩大類(lèi)：傳統(tǒng)分割算法和基于深度學(xué)習(xí)的分割算法. 其中, 傳統(tǒng)算法又可以分為基于區(qū)域的算法、基于邊界的算法以及混合分割算法. 基于區(qū)域的腫塊圖像分割算法尋找適合一定條件的區(qū)域作為腫塊區(qū)域, 主要有區(qū)域增長(zhǎng)算法[3,4]、分水嶺算法[5,6]以及形態(tài)學(xué)濾波方法[7]; 基于邊界的分割算法則是搜索一條代表腫塊輪廓的最佳路徑, 主要有基于活動(dòng)輪廓模型[8,9]和動(dòng)態(tài)規(guī)劃[10,11]的算法; 由于單一的一種算法很難取得理想的腫塊輪廓, 因此許多學(xué)者將多種分割算法結(jié)合起來(lái)應(yīng)用于腫塊圖像分割[10,12,13]. 然而, 所有這些傳統(tǒng)的圖像分割算法都依賴(lài)于腫塊圖像的某些特征, 如灰度、梯度或者形狀信息等.

近年來(lái), 深度學(xué)習(xí)在目標(biāo)檢測(cè)、圖像識(shí)別等應(yīng)用領(lǐng)域獲得了很大進(jìn)展, 成為當(dāng)前的研究熱點(diǎn)之一. 一些學(xué)者也將深度學(xué)習(xí)運(yùn)用于乳腺腫塊圖像的分割上. Dhungel等人結(jié)合多種基于深度學(xué)習(xí)的勢(shì)函數(shù)、高斯混合模型以及腫塊形狀的先驗(yàn)信息進(jìn)行腫塊圖像分割[14], 他們還利用深度卷積和深度信任網(wǎng)絡(luò)作為勢(shì)函數(shù)以構(gòu)建腫塊的預(yù)測(cè)模型[15], 其不足之處在于分階段的訓(xùn)練過(guò)程中容易產(chǎn)生過(guò)擬合現(xiàn)象. 全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Networks, FCNs)能夠結(jié)合深層全局語(yǔ)義信息和淺層局部細(xì)節(jié)信息, 深層信息經(jīng)過(guò)多次下采樣后能夠提供分割目標(biāo)與其環(huán)境之間的關(guān)系特征. 淺層信息能夠?yàn)榉指钐峁└泳?xì)的局部特征, 如梯度等. 考慮到乳腺腫塊的形狀和外觀(guān)先驗(yàn)信息在腫塊圖像分割過(guò)程中有重要作用, Zhu等人在DDSM-BCRP[16]和INbreast[17]數(shù)據(jù)庫(kù)中分別估計(jì)了一個(gè)先驗(yàn)形狀參數(shù)并將其作為FCN網(wǎng)絡(luò)最后一層的偏置參數(shù). 但是值得注意的是, 不論DDSM-BCRP還是INbreast數(shù)據(jù)庫(kù)中, 每一個(gè)腫塊的形狀都各不相同, 通用的先驗(yàn)形狀信息并不適用于具體的腫塊個(gè)體. U-Net作為全卷積神經(jīng)網(wǎng)絡(luò)的一種改進(jìn)型深度網(wǎng)絡(luò), 它除了繼承FCN的編碼解碼結(jié)構(gòu)之外, 更重要的是下采樣與上采樣之間的同層分辨率級(jí)聯(lián), 即兩邊的特征圖的合并, 這個(gè)操作改善了采樣信息不全的情況, 使得U-Net的效果大大增強(qiáng). 因此, U-Net一經(jīng)提出, 便在醫(yī)學(xué)圖像分割問(wèn)題上表現(xiàn)出相對(duì)其他網(wǎng)絡(luò)的明顯優(yōu)勢(shì). 本文的全卷積神經(jīng)網(wǎng)絡(luò)具有與U-Net類(lèi)似的U型結(jié)構(gòu)并根據(jù)乳腺腫塊圖像分割任務(wù)的特點(diǎn)加以改進(jìn).

由于訓(xùn)練一個(gè)復(fù)雜的神經(jīng)網(wǎng)絡(luò)是非常費(fèi)時(shí)費(fèi)力的過(guò)程, 往往需要大量的標(biāo)記過(guò)的訓(xùn)練數(shù)據(jù), 以及繁長(zhǎng)的訓(xùn)練時(shí)間才能訓(xùn)練出一個(gè)好的模型. 如果兩個(gè)任務(wù)存在一定的相關(guān)性, 如已經(jīng)訓(xùn)練好的醫(yī)學(xué)圖像分割模型, 現(xiàn)在需要完成對(duì)乳腺腫塊圖像的分割, 則無(wú)需從頭開(kāi)始訓(xùn)練新模型, 可以將原模型中的一些權(quán)值和中間層遷移到新模型中, 這樣就大大降低了人力和物力.

為進(jìn)一步提高乳腺腫塊圖像分割的精度, 本文提出一種基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)的乳腺腫塊圖像分割方法.

1 腫塊圖像分割算法

1.1 算法原理

從本質(zhì)上來(lái)講, 利用全卷積神經(jīng)網(wǎng)絡(luò)對(duì)乳腺圖像中的腫塊進(jìn)行分割是一個(gè)圖像分類(lèi)的過(guò)程, 其實(shí)就是對(duì)輸入的圖像進(jìn)行一系列的卷積和池化操作, 得到一幅與輸入圖像大小相同的特征圖. 該特征圖的每個(gè)坐標(biāo)位置的像素具有兩個(gè)通道, 分別代表了該位置上的像素屬于腫塊的概率以及屬于背景的概率, 以此判斷每個(gè)像素屬于腫塊或是背景區(qū)域.

通常深度學(xué)習(xí)需要在大量標(biāo)注圖像上進(jìn)行訓(xùn)練以達(dá)到理想的分割效果. 但是由于標(biāo)注好的乳腺X線(xiàn)攝片數(shù)量非常有限, 目前, 國(guó)內(nèi)尚無(wú)專(zhuān)門(mén)用于乳腺腫塊圖像分割的公用數(shù)據(jù)庫(kù). 為全面評(píng)估腫塊圖像分割算法的性能, 本文采用美國(guó)南弗羅里達(dá)大學(xué)的The Digital Databse for Screening Mammography (DDSM)[16]. 我們從該數(shù)據(jù)庫(kù)中整理挑選出483幅包含腫塊的乳腺X線(xiàn)攝片. 由于其數(shù)量仍相對(duì)有限, 因此需要使用遷移學(xué)習(xí)微調(diào)已經(jīng)訓(xùn)練好的模型參數(shù), 將其用于乳腺X線(xiàn)攝片中腫塊圖像的分割, 這樣可以在降低訓(xùn)練代價(jià)的同時(shí)取得理想的分割結(jié)果.

1.2 算法模型

本文首先利用在子采樣后的乳腺X線(xiàn)攝片上進(jìn)行腫塊檢測(cè)的結(jié)果, 以檢測(cè)到的腫塊區(qū)域的重心為中心, 提取大小為128×128像素的矩形感興趣區(qū)域(Region of Interest, ROI)作為全卷積網(wǎng)絡(luò)的輸入圖像, 經(jīng)過(guò)如圖1所示的深度學(xué)習(xí)網(wǎng)絡(luò)后, 得到具有相同大小的代表腫塊圖像分割結(jié)果的二值圖像.

圖1 腫塊圖像分割網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 The network structure diagram of mass image segmentation

圖1所示的乳腺腫塊圖像分割網(wǎng)絡(luò)模型由左側(cè)向下的收縮路徑和右側(cè)向上的擴(kuò)展路徑構(gòu)成, 形成一個(gè)U形的網(wǎng)絡(luò)結(jié)構(gòu). 長(zhǎng)方條左下角的數(shù)字代表了這層特征的大小, 長(zhǎng)方條上方的數(shù)字代表了這一層的特征(feature map)的數(shù)量, 黑色向右的箭頭代表了卷積、歸一化和(修正線(xiàn)性單元)激活, 灰色向右箭頭代表了信息復(fù)制, 黑色向下箭頭代表2×2的下采樣操作, 黑色向上箭頭則代表了2×2的上采樣操作, 網(wǎng)絡(luò)右半部分的白色長(zhǎng)方條和灰色長(zhǎng)方條的拼接是在第三維度上進(jìn)行的. 網(wǎng)絡(luò)的輸入層為128×128大小的感興趣區(qū)域單通道圖像, 網(wǎng)絡(luò)的輸出層(最后一層)的2個(gè)feature map具有相同的像素大小, 它們分別代表了圖像各像素屬于腫塊或背景的概率的大小, 如果屬于腫塊的概率大于屬于背景的概率, 則認(rèn)為該像素屬于腫塊；反之則屬于背景. 從圖1可以看出, 網(wǎng)絡(luò)的收縮路徑和擴(kuò)展路徑都由三步構(gòu)成, 在收縮路徑中, 每一步特征圖的數(shù)量會(huì)翻倍而每幅特征圖的行列數(shù)則減半；相反地, 在擴(kuò)展路徑中, 每一步的特征圖數(shù)量會(huì)減半而每幅特征圖的行列數(shù)則翻倍, 最后得到的輸出圖像與輸入圖像尺寸一致. 收縮路徑和擴(kuò)展路徑中的每一步均由兩次卷積、歸一化和修正線(xiàn)性單元激活組成, 其中卷積采用的卷積核大小為3×3像素, 步長(zhǎng)和填充為1. 擴(kuò)展路徑中每次卷積之前, 現(xiàn)有的特征圖與收縮路徑中對(duì)應(yīng)特征圖在第三維度上合并形成新的特征圖(新特征圖的數(shù)量是原特征圖的2倍).

1.3 數(shù)據(jù)增強(qiáng)

與其他深度學(xué)習(xí)方法類(lèi)似, 數(shù)據(jù)增強(qiáng)可以有效降低由于數(shù)據(jù)量不足而導(dǎo)致的過(guò)擬合現(xiàn)象, 還能夠有效提高模型的訓(xùn)練效果, 尤其是對(duì)于像乳腺X線(xiàn)攝片訓(xùn)練樣本缺乏的情況. 本文中所采取的數(shù)據(jù)增強(qiáng)策略包括對(duì)原圖像進(jìn)行水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、旋轉(zhuǎn)90度、旋轉(zhuǎn)180度和旋轉(zhuǎn)270度(如圖2所示). 通過(guò)這些增強(qiáng)操作后的訓(xùn)練樣本數(shù)是原樣本數(shù)的6倍.

對(duì)分割結(jié)果的評(píng)估則采取了兩類(lèi)評(píng)估指標(biāo), 一類(lèi)是從分割區(qū)域與醫(yī)生圈畫(huà)的金標(biāo)準(zhǔn)區(qū)域之間的重疊關(guān)系進(jìn)行度量, 主要包括Dice相似系數(shù)DSC(Dice Similarity Coefficient)、區(qū)域重疊率AOM(Area Overlap Measure)、區(qū)域欠分割率AUM(Area Under-segmentation Measure)、區(qū)域過(guò)分割率AVM(Area Over-segmentation measure); 另一類(lèi)則是從分割區(qū)域的輪廓與金標(biāo)準(zhǔn)區(qū)域的輪廓之間的距離關(guān)系進(jìn)行度量, 主要包括Hausdorff距離(HD). 假設(shè)Aseg代表分割模型得到的腫塊區(qū)域, 而Ags則代表對(duì)應(yīng)的金標(biāo)準(zhǔn)區(qū)域, 即放射科醫(yī)師手工圈畫(huà)的腫塊區(qū)域, 則DSC、AOM、AUM和AVM的定義分別如下：

(1)

(2)

(3)

(4)

它們的值均介于0到1之間, 其中DSC和AOM的值越大, 說(shuō)明分割結(jié)果越接近金標(biāo)準(zhǔn), 而AUM和AVM的值越小, 說(shuō)明分割結(jié)果相對(duì)于金標(biāo)準(zhǔn)區(qū)域之間的差異越小. 其中DSC強(qiáng)調(diào)目標(biāo)的整體識(shí)別準(zhǔn)確率, 它被用作全卷積神經(jīng)網(wǎng)絡(luò)模型的損失函數(shù).

圖2 數(shù)據(jù)增強(qiáng)Fig.2 Data augmentation

HD度量則是反映分割模型得到的腫塊邊界和放射科醫(yī)師手工圈畫(huà)的邊界的對(duì)應(yīng)像素點(diǎn)之間的距離情況. 假設(shè)分割算法得到的邊界由m個(gè)像素構(gòu)成, 可表示為P={p1,p2,…，pm}; 放射科醫(yī)師手工圈畫(huà)的邊界由n個(gè)像素構(gòu)成, 可表示為Q={q1,q2,…，qn};d(pi,Q)表示邊界P上任意一點(diǎn)pi到邊界Q上所有像素點(diǎn)的距離的最小值, 則HD可以定義如下：

HD(P,Q)=

(5)

2 實(shí)驗(yàn)結(jié)果及分析

本文的全卷積網(wǎng)絡(luò)模型是在Caffe上實(shí)現(xiàn)并采用隨機(jī)梯度下降優(yōu)化器進(jìn)行訓(xùn)練的. 在訓(xùn)練過(guò)程中, 動(dòng)量值、學(xué)習(xí)率、權(quán)重衰減和最大迭代次數(shù)等超參的值采用遷移學(xué)習(xí)的方法在U-Net網(wǎng)絡(luò)的參數(shù)值基礎(chǔ)上做微調(diào), 分別設(shè)置為0.9, 0.001, 0.00005和14000. 為了避免過(guò)擬合, 網(wǎng)絡(luò)中的兩個(gè)連續(xù)卷積層之間使用0.2的淘汰率. 為全面評(píng)估腫塊圖像分割算法的性能, 本文在483幅來(lái)自DDSM數(shù)據(jù)集的乳腺腫塊ROI上進(jìn)行腫塊圖像分割對(duì)比實(shí)驗(yàn). 其中400幅圖像用作訓(xùn)練樣本來(lái)訓(xùn)練全卷積網(wǎng)絡(luò)模型, 剩余的83幅圖像則作為測(cè)試圖像. 對(duì)比算法包括Xu等人的標(biāo)記控制分水嶺算法[5]以及Song等人的模板匹配和動(dòng)態(tài)規(guī)劃算法[10]. 所有算法都在相同的測(cè)試樣本上進(jìn)行測(cè)試.

圖3展示了標(biāo)記控制分水嶺算法、模板匹配和動(dòng)態(tài)規(guī)劃算法以及本文分割算法在四幅腫塊圖像上的分割結(jié)果. 其中深色線(xiàn)條代表放射科醫(yī)師圈畫(huà)的腫塊輪廓, 即金標(biāo)準(zhǔn)區(qū)域, 而淺色線(xiàn)條則是分割算法得到的分割結(jié)果. 從圖中可以明顯看出, 本文算法的分割結(jié)果更接近金標(biāo)準(zhǔn).

為了定量分析腫塊圖像分割結(jié)果, 表1給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法的各個(gè)度量值的平均值, 從表中可以看出, 本文算法的DSC、AOM值均高于另外兩種算法, 而AUM、AVM和HD值則相對(duì)較低. 因此, 本文算法的分割精度要優(yōu)于另外兩種分割算法.

圖3 腫塊圖像分割結(jié)果Fig.3 Mass image segmentation results

DSCAOMAUMAVMHD0.8220.7180.1650.10711.0400.8450.7400.1480.1339.1460.8940.8110.0870.1127.257

圖4給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法在度量值DSC上的箱形圖, 從圖中可以看出, 本文算法的上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要高于另外兩種算法. 因此, 本文算法的分割結(jié)果的整體分布要優(yōu)于另外兩種算法.

圖4 DSC值箱形圖比較Fig.4 DSC values comparison by box plot

類(lèi)似地, 對(duì)于度量值A(chǔ)OM, 圖5給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法的散點(diǎn)圖, 從圖中可以看出, 在AOM值低于0.4的較差的分割結(jié)果上, 3種算法的表現(xiàn)基本相同, 但是在較好的分割結(jié)果上(如AOM值高于0.6), 本文算法分割率要明顯高于另外兩種算法.

圖5 AOM值散點(diǎn)圖比較Fig.5 AOM values comparison by scatter plot

圖4和圖5是各種算法在基于區(qū)域的度量方法上的表現(xiàn), 圖6給出了本文算法、標(biāo)記控制分水嶺算法以及模板匹配和動(dòng)態(tài)規(guī)劃算法在基于邊界的度量方法HD上的表現(xiàn). 從圖中可以看出, 本文算法的上邊緣、上四分位數(shù)、中位數(shù)、下四分位數(shù)和下邊緣均要低于另外兩種算法, 即本文算法得到的腫塊輪廓整體上更接近醫(yī)生圈畫(huà)的金標(biāo)準(zhǔn)區(qū)域.

圖6 HD值箱形圖比較Fig.6 HD values comparison by box plot

3 結(jié)語(yǔ)

為了提高乳腺腫塊圖像分割的精度, 本文設(shè)計(jì)了一種基于全卷積網(wǎng)絡(luò)遷移學(xué)習(xí)的乳腺腫塊圖像分割模型. 首先構(gòu)造一種由收縮路徑和擴(kuò)展路徑組成的全卷積神經(jīng)網(wǎng)絡(luò), 然后利用遷移學(xué)習(xí)網(wǎng)絡(luò)模型載入?yún)?shù), 并對(duì)DDSM數(shù)據(jù)庫(kù)中的483幅圖像中的400幅圖像進(jìn)行數(shù)據(jù)增強(qiáng)后作為訓(xùn)練樣本集對(duì)分割模型進(jìn)行訓(xùn)練, 最后在訓(xùn)練好的模型上對(duì)剩余的83幅圖像進(jìn)行分割測(cè)試. 實(shí)驗(yàn)結(jié)果表明, 本文設(shè)計(jì)的基于全卷積神經(jīng)網(wǎng)絡(luò)遷移學(xué)習(xí)方法的分割效果明顯優(yōu)于傳統(tǒng)分割算法.