李淵強，吳宇靂，楊孝平

1.南京理工大學(xué)理學(xué)院，江蘇南京210094；2.南京大學(xué)數(shù)學(xué)系，江蘇南京210094

前言

肝腫瘤是世界范圍內(nèi)最常見的癌癥之一，且近年來發(fā)病率越來越高［1］。對于癌癥，早期診斷和治療是提高生存率的關(guān)鍵，醫(yī)學(xué)影像學(xué)技術(shù)對此提供了很大的幫助。在許多不同的成像方式中，計算機斷層掃描（Computed Tomography,CT）因能提供相對較高分辨率的解剖學(xué)信息而被廣泛應(yīng)用于肝臟疾病的診斷。從CT圖像中對肝臟和腫瘤進行三維分割是肝癌早期診斷、規(guī)劃治療和監(jiān)測的重要前提。然而，在臨床實踐中，醫(yī)師常通過人工交互的方法來分割肝腫瘤，人工分割不僅數(shù)據(jù)量大、費時費力，而且不同醫(yī)師對同一病例的診斷分割是有差異的。由于對精確、有效的腫瘤描繪的需要，使得發(fā)展半自動或自動的腫瘤精準分割方法尤為迫切。

對于肝腫瘤，不同病人的腫瘤在形狀、大小和位置方面有較大的差異，此外，大部分腫瘤與周圍正常肝組織的對比度較低、邊界模糊，這導(dǎo)致三維肝腫瘤分割仍然是一項具有挑戰(zhàn)性的任務(wù)。目前提出的肝腫瘤分割方法主要包括聚類、圖割、水平集以及機器學(xué)習(xí)，且較多方法基于二維分割。Anter等［2］提出一種自適應(yīng)區(qū)域生長的腫瘤自動分割方法，應(yīng)用帶標記點的分水嶺算法檢測區(qū)域生長的初始種子點。也有研究者提出一種基于隨機游走的監(jiān)督學(xué)習(xí)方法，用于肝腫瘤自動分割［3］。主動輪廓模型，如水平集算法，也是常用的分割技術(shù)。但是，為了獲得精確的分割結(jié)果，需要較好的初始化和能量函數(shù)，特別是對于具有不均勻灰度和弱邊界的腫瘤。Li等［4］提出結(jié)合先驗信息的水平集模型來分割腫瘤。Wu等［5］使用改進的模糊聚類方法以及圖割來實現(xiàn)肝腫瘤的半自動分割。深層卷積神經(jīng)網(wǎng)絡(luò)被提出以來，在解決目標識別、分類和分割等計算機視覺任務(wù)方面已經(jīng)得到科學(xué)技術(shù)界的廣泛關(guān)注，最重要的是，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)被證明其對于變化的圖像外觀是高度魯棒的，Chlebus等［6］提出基于深度學(xué)習(xí)的肝腫瘤自動分割算法，并用形狀約束模型進行后處理。在神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，為了得到更加精準的分割結(jié)果，也采用了基于形狀先驗的后處理方法［7］。為了通過輸入圖像的信息量來確保分割精度，Christ等［8］同時將MR圖像作為網(wǎng)絡(luò)輸入，增加腫瘤的信息，Sun等［9］等采用不同期的CT圖像同時作為輸入來增加腫瘤的信息。Li等［10］提出一種二維和三維結(jié)合的分割方法，在利用三維空間信息同時通過二維分割實現(xiàn)精細分割。為了保證分割精度，Baazaoui等［11］提出一種基于熵的半自動分割方法，可以分割單個和多個病灶。本研究提出級聯(lián)式的深度學(xué)習(xí)模型來自動分割肝腫瘤，不需要進行其他后處理就可以實現(xiàn)腫瘤的全自動分割，并且網(wǎng)絡(luò)模型參數(shù)較少，有利于實際應(yīng)用。本研究主要針對提出的網(wǎng)絡(luò)框架，包括定位網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，以及實驗結(jié)果進行分析。

1 方法

1.1 全卷積神經(jīng)網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)是一種特殊的深度學(xué)習(xí)模型，通過深層的非線性神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)實現(xiàn)任意復(fù)雜函數(shù)的逼近。深度神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)多層信息表示，利用低層的特征構(gòu)建高層的特征，以級聯(lián)方式形成深層特征。

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)包括卷積層、池化層和全連接層，其中卷積層運算如式（1）所示。

其中，Xl為第l層輸出；Wl,l+1為權(quán)重參數(shù)；Bl為偏置量；f表示激活函數(shù)；*表示卷積操作。

卷積層用來提取圖像特征，并通過權(quán)值共享的形式減少網(wǎng)絡(luò)參數(shù)；池化層通過下采樣的方式整合特征，減少參數(shù)，在一定程度上保持特征平移和旋轉(zhuǎn)不變性；全連接層可以將二維特征圖轉(zhuǎn)變成一維特征向量，并且可以改變向量長度。傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對一個像素進行分類，需要將以該像素為中心的像素塊作為網(wǎng)絡(luò)輸入進行訓(xùn)練和測試，這種方法需要不斷滑動窗口選取像素塊，需要較大的存儲空間，而且對整張圖像分類是需要遍歷所有的像素點，計算效率低下，此外，像素塊的大小影像了感受野的大小，通常像素塊會比整張圖像小很多，這會導(dǎo)致像素塊只能提取局部特征，造成最終結(jié)果不準確。

Long等［12］提出把全卷積神經(jīng)網(wǎng)絡(luò)用于圖像語義分割，在圖像分割應(yīng)用中，全卷積神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)端對端訓(xùn)練，在不添加預(yù)處理的情況下也可以達到較高的精度。他們工作的主要思想是用完全卷積層替換傳統(tǒng)卷積網(wǎng)絡(luò)最后的全連接層，使得最后的卷積層特征圖可以通過反卷積被放大到輸入圖像大小。和傳統(tǒng)的卷積網(wǎng)絡(luò)結(jié)構(gòu)相比，全卷積神經(jīng)網(wǎng)絡(luò)可以實現(xiàn)整張圖像像素級的預(yù)測而不是基于像素塊進行分類。Ronneberger等［13］針對圖像分割提出U-Net結(jié)構(gòu)，其在神經(jīng)網(wǎng)絡(luò)的不同隱層之間增加了跳躍連接，使得深層網(wǎng)絡(luò)可以應(yīng)用淺層網(wǎng)絡(luò)特征，利用語義和空間信息進行訓(xùn)練，結(jié)合了圖像的淺層特征和深層特征，并通過先下采樣后上采樣的結(jié)構(gòu)減少了網(wǎng)絡(luò)計算，加快了訓(xùn)練時間。?i?ek 等［14］將 U-net用于3D數(shù)據(jù)的分割，更好地保留了數(shù)據(jù)的空間信息。

1.2 肝臟分割

在U-Net網(wǎng)絡(luò)結(jié)構(gòu)中，對圖像分割過程中會對圖像先下采樣，然后再上采樣，通過池化層降低分辨率和損失原圖信息的方式擴大感受野，這樣必然會造成信息的丟失，導(dǎo)致最終分割精度不足。但是不使用池化層會導(dǎo)致感受野變小，模型學(xué)習(xí)不到全局信息。為了能有效擴大感受野而不增加計算量，Yu等［15］提出擴張卷積，在不降低圖像分辨率的情況下可以有效擴大感受野，避免信息丟失。擴張卷積的結(jié)構(gòu)如圖1a所示，左側(cè)為標準卷積核，擴張率為1；右側(cè)為擴張率為2的擴張卷積核，即在標準卷積核中根據(jù)擴張率添加0，增大卷積核大小，以此來增大卷積操作后特征圖的感受野?？梢钥闯鼍矸e操作計算量是不變的，而且經(jīng)過擴張卷積操作后，感受野相對于標準卷積操作擴大了。

一般理論上認為網(wǎng)絡(luò)層數(shù)越多，提取細節(jié)和抽象能力越強，但是實驗發(fā)現(xiàn)層數(shù)越多，越容易出現(xiàn)梯度爆炸或梯度消失的情況，雖然正則化可以解決這個問題，但是會導(dǎo)致網(wǎng)絡(luò)退化，網(wǎng)絡(luò)層數(shù)增多，準確度反而下降。He等［16］提出殘差網(wǎng)絡(luò)解決這個問題，其基本思想是在標準的前饋神經(jīng)網(wǎng)絡(luò)上添加一個跳過這些層的連接，殘差結(jié)構(gòu)塊如圖1b所示，其中Conv為卷積操作，一般殘差塊可以包含多個卷積層，而本研究提出的網(wǎng)絡(luò)中每個殘差塊包含兩個擴張卷積層。結(jié)合以上對全卷積神經(jīng)網(wǎng)絡(luò)的改進以及高分辨率網(wǎng)絡(luò) HighResNet［17-18］的成功應(yīng)用，本研究提出肝臟分割網(wǎng)絡(luò)結(jié)構(gòu)。

圖1 網(wǎng)絡(luò)模塊Fig.1 Network module

肝臟分割網(wǎng)絡(luò)模型是基于三維數(shù)據(jù)構(gòu)建的，相比于二維分割，三維分割能更有效地利用空間信息，使分割結(jié)果更加精準。因為CT原始數(shù)據(jù)大小為512×512×N，直接將原圖作為輸入計算所需內(nèi)存會很大，故在此，首先將數(shù)據(jù)縮放成64×64×64大小作為網(wǎng)絡(luò)輸入。在肝臟分割網(wǎng)絡(luò)中，一共使用了3種不同擴張率的殘差塊，擴張率分別為1、2、4。所提出的網(wǎng)絡(luò)結(jié)構(gòu)一共21層，結(jié)構(gòu)如表1所示，其中第一層是標準的卷積層，接下來是殘差塊，每一個殘差塊由兩個相同擴張率的卷積層構(gòu)成，Conv2和Conv3是標準的卷積層。在網(wǎng)絡(luò)中一共使用了9個殘差塊，通過擴張卷積的方式增大感受野，而不需要對圖像進行下采樣，在保證信息不丟失的同時集成了全局信息。通過網(wǎng)絡(luò)分割結(jié)果即可確定肝臟在CT圖像中的位置。

1.3 腫瘤分割

與肝臟分割相比，腫瘤的特異性更強，不同病人之間的差異性也更大，為了減少腹部其他臟器的干擾，通過肝臟定位分割結(jié)果可以將肝臟區(qū)域提取出來，只在較小的肝臟區(qū)域內(nèi)分割腫瘤。在實驗中發(fā)現(xiàn)直接在肝臟區(qū)域做二分類分割腫瘤效果不好，因此，采用三分類方式對數(shù)據(jù)進行標注，分為背景、正常肝組織和腫瘤這3部分，并對網(wǎng)絡(luò)結(jié)構(gòu)重新進行設(shè)計，與分割成兩類相比，精度得到了較大的提升。

表1 肝臟分割網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Structural parameters of liver segmentation network

與肝臟分割類似，提取肝臟區(qū)域后縮放成64×64×64大小作為腫瘤分割網(wǎng)絡(luò)的輸入，這樣可以有效減少所需內(nèi)存，腫瘤分割網(wǎng)絡(luò)結(jié)構(gòu)如表2所示，網(wǎng)絡(luò)結(jié)構(gòu)一共19層，采用4種不同擴張率，一共8個ResBlock模塊，相比肝臟分割網(wǎng)絡(luò)使用了更大的擴張率，這是因為腫瘤在位置、大小和形狀方面都有較強的特異性，需要更多的信息來精準分割，使用大的擴張卷積能有效擴大感受野，應(yīng)用到全局特征分割腫瘤。

表2 肝腫瘤分割網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.2 Structural parameters of liver tumor segmentation network

2 實驗結(jié)果和評價

在實驗中所用數(shù)據(jù)來自南京大學(xué)附屬鼓樓醫(yī)院和2017年MICCAI公開比賽LiverTumor Segmentation Challenge（LiTS），該比賽數(shù)據(jù)集為評價肝臟和肝腫瘤分割的公認標準數(shù)據(jù)集，其中訓(xùn)練集包括130個數(shù)據(jù)，并且公開了由專家勾勒的肝臟和腫瘤的金標準；測試集包括70個數(shù)據(jù)，未公開金標準，可通過上傳分割結(jié)果進行評分。

在CT圖像中，像素點CT值范圍為［-1 000,1 000］，但是軟組織CT值約為［20,70］，為了減少干擾，需要對數(shù)據(jù)進行預(yù)處理。根據(jù)臨床經(jīng)驗，選取CT值［-160,240］部分區(qū)域，即窗位為40，窗寬為400，令CT值小于-160的像素值等于-160，大于240的等于240，然后將像素值線性壓縮到［0,255］，這樣既保留肝臟區(qū)域信息，也能有效去除其他組織干擾。因為深度學(xué)習(xí)是以數(shù)據(jù)驅(qū)動的學(xué)習(xí)模型，因此數(shù)據(jù)量的大小對于模型訓(xùn)練極為重要。對于醫(yī)學(xué)圖像，數(shù)據(jù)獲取是比較難的，為了增加訓(xùn)練數(shù)據(jù)集，本實驗采用隨機截取、旋轉(zhuǎn)以及白化的方式進行數(shù)據(jù)增廣。

在網(wǎng)絡(luò)訓(xùn)練過程中所使用的損失函數(shù)為：

Dice計算公式如式（3）所示，體積重疊誤差（Volume Overlap Error，VOE）如式（4）所示：

其中，A、B分別為數(shù)據(jù)金標準和算法分割結(jié)果。Dice主要作為分割問題的評判標準，用作損失函數(shù)，有利于提升分割精度。在第一步肝臟分割中，肝臟分割結(jié)果平均Dice分數(shù)為0.924，肝臟分割結(jié)果在邊界上略有不足，但對于定位肝臟已經(jīng)足夠了。在肝臟分割結(jié)果上向各個方向擴張25個像素以保證提取到所有肝臟區(qū)域，然后將此區(qū)域作為腫瘤分割網(wǎng)絡(luò)的輸入進行腫瘤分割，最后根據(jù)肝臟定位坐標可以將腫瘤分割結(jié)果放到原圖對應(yīng)位置。

為了定量分析腫瘤分割結(jié)果，采用Dice及體積重疊誤差進行分析，結(jié)果見表3。相比于文獻［19］、［20］，本研究提出方法有較高的Dice分數(shù)，為0.663，且網(wǎng)絡(luò)結(jié)構(gòu)較簡單，參數(shù)量少，可以在20 s內(nèi)完成腫瘤的三維分割。

表3 腫瘤分割結(jié)果比較Tab.3 Comparison of tumor segmentation results

為了進一步驗證本研究提出的網(wǎng)絡(luò)的穩(wěn)定性，對鼓樓醫(yī)院提供的數(shù)據(jù)進行分割，醫(yī)院的數(shù)據(jù)由多名醫(yī)師共同進行標定。分割結(jié)果的平均Dice分數(shù)為0.71。圖2展示了一個分割病例，第一張為原圖；第二張為二維分割結(jié)果，其中紅色為金標準，綠色為分割結(jié)果；第三張和第四張分別為金標準和分割結(jié)果的三維重建結(jié)果。可以看出，網(wǎng)絡(luò)分割結(jié)果只是在邊緣細節(jié)與金標準有差異，整體腫瘤分割是準確的，這對醫(yī)生有較大的參考價值。

3 總結(jié)

本研究提出一種級聯(lián)式的三維卷積神經(jīng)網(wǎng)絡(luò)框架進行肝腫瘤分割。通過級聯(lián)式的網(wǎng)絡(luò)首先對肝臟進行定位，然后在肝臟區(qū)域中進行腫瘤分割，能有效避免其他器官的干擾并減少計算時間。在網(wǎng)絡(luò)結(jié)構(gòu)中使用擴張卷積，使得網(wǎng)絡(luò)架構(gòu)不需要進行下采樣，避免信息損失，能有效利用全局信息，有更高的效率。此外，該網(wǎng)絡(luò)模型無需后處理，直接對三維數(shù)據(jù)體進行分割，相比于二維分割及人工交互式分割，三維分割能有效減少人工操作復(fù)雜度，實現(xiàn)腫瘤的快速分割。實驗結(jié)果也證實了本模型對肝腫瘤分割的有效性。

醫(yī)學(xué)圖像數(shù)據(jù)采集困難，本實驗采用數(shù)據(jù)量較少，并且未對腫瘤種類進行分類，后期可以繼續(xù)增加數(shù)據(jù)量，對腫瘤進行分類，以進一步完善模型，達到更高的分割精度。

圖2 腫瘤分割圖像對照Fig.2 Comparison of tumor segmentation images