胥 陽(yáng)，佘青山*，楊 勇，張建海

(1.杭州電子科技大學(xué)自動(dòng)化學(xué)院(人工智能學(xué)院)，浙江 杭州 310018；2.浙江省腦機(jī)協(xié)同智能重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310018)

癌癥是對(duì)人生命健康的一大威脅，其中，肺癌是一種發(fā)病率與致死率較高的癌癥[1]。肺癌的癥狀在早期并不明顯，當(dāng)發(fā)現(xiàn)較為明顯的癥狀時(shí)，病人的肺癌已到中后期，此時(shí)病人的肺癌治愈率已大幅降低，基本無(wú)法治愈。因此，在肺癌的早期發(fā)現(xiàn)肺癌的癥狀并治愈肺癌顯得十分重要。在肺癌早期，肺癌的癥狀以肺部出現(xiàn)結(jié)節(jié)為特征，這些結(jié)節(jié)的大小不一；其形狀也各不相同，有實(shí)性結(jié)節(jié)、部分實(shí)性結(jié)節(jié)、磨玻璃結(jié)節(jié)；結(jié)節(jié)的位置也不一定，有的在肺內(nèi)部與其他組織沒(méi)有接觸，有的附著在肺內(nèi)部的血管與組織上，有的在肺的內(nèi)表面上。醫(yī)學(xué)上對(duì)肺結(jié)節(jié)的檢測(cè)多使用計(jì)算機(jī)斷層掃描(Computed Tomography，CT)[2]來(lái)對(duì)肺部成像，再由有經(jīng)驗(yàn)的醫(yī)師查看肺部的CT 圖像判斷病人肺部是否含有結(jié)節(jié)。由于CT掃描的成像特點(diǎn)是會(huì)形成大量的肺部掃描切片，查看肺部的CT 成像對(duì)醫(yī)師來(lái)說(shuō)是一個(gè)很大的挑戰(zhàn)[3]。

隨著計(jì)算機(jī)技術(shù)的發(fā)展，計(jì)算機(jī)輔助診斷(Computer Aided Diagnosis，CAD)[4]應(yīng)運(yùn)而生，計(jì)算機(jī)輔助診斷系統(tǒng)通過(guò)運(yùn)行特定程序幫助醫(yī)生查看CT 圖像，緩解了醫(yī)生負(fù)擔(dān)[5]。隨著深度學(xué)習(xí)技術(shù)的發(fā)展，以及深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域的進(jìn)步[6-11]，使用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)[6]分析醫(yī)學(xué)圖像已成為一種趨勢(shì)[12-13]。在使用深度學(xué)習(xí)檢測(cè)肺結(jié)節(jié)的領(lǐng)域，已有許多學(xué)者提出了很多優(yōu)秀的方法，這些方法在結(jié)構(gòu)上可以大體分為兩大類:一類是端到端的，利用單個(gè)網(wǎng)絡(luò)完成對(duì)CT 圖像中肺結(jié)節(jié)的檢測(cè)；另一類是使用兩個(gè)網(wǎng)絡(luò)，第一個(gè)網(wǎng)絡(luò)檢測(cè)肺結(jié)節(jié)，由于單個(gè)網(wǎng)絡(luò)檢測(cè)出的肺結(jié)節(jié)含有較多的假陽(yáng)結(jié)節(jié)，然后通過(guò)第二個(gè)網(wǎng)絡(luò)去掉這些假陽(yáng)結(jié)節(jié)，降低結(jié)果的假陽(yáng)性[14]。鑒于CT圖像的3 維特性，許多方法使用3D CNN 檢測(cè)肺結(jié)節(jié)。對(duì)比研究表明，基于3D CNN 的檢測(cè)肺結(jié)節(jié)方法在精度上優(yōu)于2D CNN 方法[15]。Setio 等[16]提出一種多個(gè)視角的肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)，將肺結(jié)節(jié)不同方向的2 維切片輸入網(wǎng)絡(luò)，將結(jié)果融合輸出以檢測(cè)肺結(jié)節(jié)。Song 等[17]提出的中心匹配策略的肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)，無(wú)需設(shè)計(jì)邊界框的參數(shù)，可以自動(dòng)檢測(cè)肺結(jié)節(jié)的大小與位置。Kim 等[18]提出一種端到端的多尺度漸進(jìn)方法，通過(guò)學(xué)習(xí)肺結(jié)節(jié)不同上下文級(jí)別的多尺度特征檢測(cè)肺結(jié)節(jié)。Ding 等[19]提出使用Faster R-CNN 算法檢測(cè)肺結(jié)節(jié)，在網(wǎng)絡(luò)中加入反卷積結(jié)構(gòu)，檢測(cè)CT 掃描軸向切片上的肺結(jié)節(jié)。Zhu等[20]提出了一個(gè)端到端的一階段的肺結(jié)節(jié)檢測(cè)模型，通過(guò)在U-Net 框架上融入提出的雙路模塊檢測(cè)肺結(jié)節(jié)。Liao 等[5]引入泄露噪聲或門(Leaky Noisy-OR Gate)的機(jī)制檢測(cè)肺結(jié)節(jié)，基于檢測(cè)結(jié)果的置信度選擇前五個(gè)結(jié)節(jié)，并通過(guò)區(qū)域建議網(wǎng)絡(luò)得出結(jié)節(jié)信息。Harsono 等[21]提出了結(jié)合遷移學(xué)習(xí)得到的RetinaNet 網(wǎng)絡(luò)，用于肺結(jié)節(jié)檢測(cè)與分類。

以這些檢測(cè)網(wǎng)絡(luò)為代表的肺結(jié)節(jié)檢測(cè)方法，在計(jì)算機(jī)輔助診斷肺結(jié)節(jié)方面都取得了較好的進(jìn)步，但這些肺結(jié)節(jié)檢測(cè)方法多為順序堆疊卷積核的卷積網(wǎng)絡(luò)，在檢測(cè)網(wǎng)絡(luò)中沒(méi)有實(shí)現(xiàn)對(duì)肺結(jié)節(jié)特征的復(fù)用，并且不同深度間的特征沒(méi)有信息交流，從而對(duì)肺結(jié)節(jié)檢測(cè)準(zhǔn)確率低[22]。對(duì)此，本文提出基于密集殘差連接的肺結(jié)節(jié)檢測(cè)模型。本模型在3D U-Net 網(wǎng)絡(luò)[23]中引入密集連接、殘差連接與注意力機(jī)制[24]，實(shí)現(xiàn)檢測(cè)網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)特征的充分利用，實(shí)現(xiàn)對(duì)肺結(jié)節(jié)特征的多尺度提取，提高對(duì)結(jié)節(jié)特征的利用效率，從而提高肺結(jié)節(jié)的檢測(cè)精度，解決肺結(jié)節(jié)檢測(cè)結(jié)果假陽(yáng)率高的問(wèn)題。

1 數(shù)據(jù)集與方法

1.1 數(shù)據(jù)集

本文實(shí)驗(yàn)選擇的數(shù)據(jù)集為L(zhǎng)UNA16 數(shù)據(jù)集[25]。LUNA16 數(shù)據(jù)集包含888 份CT 圖像與1 186 個(gè)有標(biāo)注結(jié)節(jié)，這些結(jié)節(jié)標(biāo)注文件由3 到4 位醫(yī)生共同認(rèn)定。數(shù)據(jù)集中CT 圖像的切片厚度小于2.5 mm，分辨率為0.46 mm～0.98 mm。此數(shù)據(jù)集中，結(jié)節(jié)的直徑分布為3 到30 mm，但多集中于3 mm～10 mm 內(nèi)。

1.1.1 數(shù)據(jù)集預(yù)處理

數(shù)據(jù)集中原始的肺部CT 掃描圖像中不僅包含肺結(jié)節(jié)檢測(cè)區(qū)域的肺實(shí)質(zhì)，同時(shí)還包括肺部周圍的其他無(wú)關(guān)組織。為節(jié)約計(jì)算資源，提高檢測(cè)效率，在檢測(cè)結(jié)節(jié)之前需要利用圖像形態(tài)學(xué)的方法將關(guān)組織去除。處理肺實(shí)質(zhì)包括以下幾個(gè)步驟:

步驟1 由于模型檢測(cè)所用到的CT 圖像是由不同掃描儀器得到，為了消除不同CT 圖像間的差異，重采樣所有CT 圖像的體素到1 mm×1 mm×1 mm。

步驟2 根據(jù)人體組織CT 掃描成像的特點(diǎn)，將CT 圖像的亨氏單位(Hounsfield Unit，HU)閾值按數(shù)值保留[-1200，600]區(qū)間的數(shù)據(jù)，超出此區(qū)間的體素則一律填充-1 200 或600。將圖像8 位數(shù)字圖像數(shù)據(jù)歸一化到0 到255。

步驟3 將CT 圖像對(duì)應(yīng)掩碼膨脹，對(duì)CT 圖像使用新掩碼后，將掩碼外數(shù)據(jù)統(tǒng)一設(shè)置為170，表示肺實(shí)質(zhì)的外部為水。

步驟4 得到處理后的肺實(shí)質(zhì)，以*.npy 文件形式保存。

肺實(shí)質(zhì)處理前后CT 圖像變化的一個(gè)例子如圖1所示。圖1 中，第一行為原始的CT 圖像，第二行為處理后的CT 圖像?？梢钥闯?，在經(jīng)過(guò)了一系列處理后，CT 圖像去除了肺實(shí)質(zhì)以外的無(wú)關(guān)區(qū)域與組織，同時(shí)增強(qiáng)了肺實(shí)質(zhì)內(nèi)部細(xì)節(jié)，使得CT 圖像更加清晰，便于檢測(cè)。

圖1 肺實(shí)質(zhì)處理前后對(duì)比圖

1.2 基于密集連接的肺結(jié)節(jié)檢測(cè)方法

在基于深度學(xué)習(xí)的肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)中，大多為全卷積網(wǎng)絡(luò)，網(wǎng)絡(luò)使用卷積核對(duì)特征圖卷積得出需要的結(jié)節(jié)信息。肺結(jié)節(jié)檢測(cè)模型多以U-Net 網(wǎng)絡(luò)為主干，采用卷積與下采樣，逐步提取低維到高維的特征，利用轉(zhuǎn)置卷積將特征圖恢復(fù)到適合的尺寸，最后得出對(duì)應(yīng)的結(jié)節(jié)信息。然而這種模型計(jì)算量大并且不能復(fù)用網(wǎng)絡(luò)中大量的肺結(jié)特征，同時(shí)，堆疊普通卷積核在模型網(wǎng)絡(luò)深度很深時(shí)會(huì)出現(xiàn)梯度消失的問(wèn)題[22]，這會(huì)導(dǎo)致網(wǎng)絡(luò)無(wú)法進(jìn)行反向傳播，無(wú)法訓(xùn)練。He 等[26]在 2016 年提出殘差網(wǎng)絡(luò)(Residual Network，ResNet)模型，模型的核心思想為在普通卷積層前后增加一路快捷連接，卷積層的輸出與快捷連接的輸出在元素層面相加作為ResNet 的輸出，通過(guò)增加快捷連接通路，在原有的卷積層出現(xiàn)梯度消失的情況下網(wǎng)絡(luò)仍然能夠傳播。但是ResNet 的殘差連接依舊是對(duì)輸入的特征采取順序操作，沒(méi)有能夠充分地利用不同深度的特征。Huang 等[27]在2017 年提出一個(gè)全新的名為密集網(wǎng)絡(luò)(Densely Connected Convolutional Network，DenseNet)的網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)可以將各個(gè)層的特征利用起來(lái)，使用拼接操作將之前各個(gè)層的特征作為下一層的輸入，這種方式充分地利用不同層的特征，其數(shù)學(xué)表達(dá)為

式中:hi[·]表示第i層的拼接操作，xi，i＝1，2，…，n表示特征圖。

鑒于密集連接與殘差連接各自的優(yōu)點(diǎn)，本文提出結(jié)合密集連接與殘差連接同時(shí)融入注意力機(jī)制的密集殘差模塊。

1.2.1 密集殘差模塊

為了提高網(wǎng)絡(luò)中對(duì)結(jié)節(jié)特征的利用效率，本文提出了一個(gè)由密集連接、殘差連接與注意力機(jī)制構(gòu)成的網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。在主干通路上有3 組3D 卷積，卷積核大小為3，每組卷積塊包含卷積層、歸一化層與線性整流單元(Rectified Linear Units，ReLU)。3 組卷積塊采用密集連接的方式輸入，卷積塊之前各層卷積塊的輸出拼接后作為下一個(gè)卷積塊的輸入，圖中曲線箭頭表示各個(gè)層的特征圖。三個(gè)卷積塊后是注意力結(jié)構(gòu)，注意力結(jié)構(gòu)可以對(duì)特征圖進(jìn)行權(quán)重分配，增加與結(jié)節(jié)檢測(cè)相關(guān)的特征圖的權(quán)重，減小與結(jié)節(jié)檢測(cè)無(wú)關(guān)的特征圖的權(quán)重。經(jīng)過(guò)權(quán)重分配的特征圖與傳入密集模塊的初始特征圖在元素層面相加后作為密集模塊的輸出。

圖2 密集殘差模塊

密集模塊中的注意力結(jié)構(gòu)具體見圖3，在通道維度上使用全局平均池化(Global Average Pooling，GAP)壓縮輸入的特征圖到通道維度的向量，然后經(jīng)過(guò)兩層全連接層(Fully Connected Layers，F(xiàn)C)學(xué)習(xí)得到注意力系數(shù)，使用Sigmoid 激活函數(shù)將系數(shù)映射到0 到1 的范圍，最后得到一組與輸入特征圖通道數(shù)對(duì)應(yīng)的注意力系數(shù)。注意力系數(shù)與輸入的特征圖在通道維度相乘，得到注意力權(quán)重分配后的特征圖。

1.2.2 肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)

肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示，網(wǎng)絡(luò)的主要部分可分為數(shù)據(jù)預(yù)處理、特征提取與檢測(cè)。特征圖左下角為特征圖大小，右上角為通道數(shù)。由于檢測(cè)的CT 圖片的通道數(shù)為1，不便于深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行特征提取，利用數(shù)據(jù)預(yù)處理塊提升通道，便于后續(xù)提取特征。特征提取模塊利用搭建的針對(duì)性的網(wǎng)絡(luò)結(jié)構(gòu)提取結(jié)節(jié)特征。檢測(cè)模塊可以輸出特定的數(shù)據(jù)格式，得到輸入CT 圖像中肺結(jié)節(jié)位置與概率信息。

圖4 肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)

如圖4 所示，網(wǎng)絡(luò)的輸入是在肺實(shí)質(zhì)中截取的包含肺結(jié)節(jié)的3 維CT 圖像塊，圖像塊的邊長(zhǎng)為96。數(shù)據(jù)預(yù)處理塊包含2 個(gè)核大小為3 的3D 卷積層，兩個(gè)卷積層的層數(shù)都為24。特征提取模塊在傳統(tǒng)的3D U-Net 網(wǎng)絡(luò)即編碼解碼結(jié)構(gòu)的基礎(chǔ)上改進(jìn)，使用1.2.1 提出的密集殘差模塊代替普通卷積塊。

編碼部分由4 個(gè)核大小為2 的3D 最大池化層與4 組密集殘差模塊交錯(cuò)排列組成，前兩組分別包含2 個(gè)密集殘差塊，后兩組分別包含3 個(gè)密集殘差塊。解碼部分為兩組核大小為2 的3D 轉(zhuǎn)置卷積層與2 組密集殘差組交錯(cuò)排列，兩組密集殘差組中均包含2 個(gè)密集殘差塊。采用跳躍連接方式連接編碼部分與解碼部分，在編碼部分的第二組與第三組密集殘差模塊的輸出與解碼部分的第二組與第一組轉(zhuǎn)置卷積層輸出拼接。同時(shí)為了融合網(wǎng)絡(luò)中的不同深度與尺度的特征信息，在跳躍連接處設(shè)置特征信息增強(qiáng)機(jī)制，具體為編碼部分第二組密集殘差模塊的輸出與第三組密集殘差模塊的輸出經(jīng)轉(zhuǎn)置卷積后拼接，然后經(jīng)過(guò)一包含3 個(gè)密集殘差塊的密集殘差組，共同作為第二組密集殘差模塊的跳躍連接與解碼部分相連接。特征提取模塊后接Dropout 操作，以0.5的概率對(duì)網(wǎng)絡(luò)隨機(jī)失活以降低網(wǎng)絡(luò)過(guò)擬合。檢測(cè)模塊包含兩個(gè)核大小為1 的3D 卷積層，通道數(shù)為64與15。受區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network，RPN)[10]啟發(fā)，在網(wǎng)絡(luò)中，特征圖的每個(gè)位置上都有3 個(gè)不同大小的邊界框，邊界框的長(zhǎng)度根據(jù)結(jié)節(jié)直徑的分布確定，分別為5 mm、10mm 和20 mm[28]。輸出的結(jié)果為輸入檢測(cè)網(wǎng)絡(luò)的特征圖中包含結(jié)節(jié)的位置坐標(biāo)與概率，分別為結(jié)節(jié)的概率p與結(jié)節(jié)在CT圖像中坐標(biāo)(x，y，z)與直徑大小d。

1.2.3 損失函數(shù)

本結(jié)節(jié)檢測(cè)模型的損失計(jì)算包含兩個(gè)部分，一是檢測(cè)區(qū)域內(nèi)是否包含結(jié)節(jié)，即預(yù)測(cè)肺結(jié)節(jié)概率p的損失，采用分類損失，二是檢測(cè)區(qū)域內(nèi)結(jié)節(jié)的位置(x，y，z)與結(jié)節(jié)直徑d的回歸損失。在本模型中，使用檢測(cè)區(qū)域與標(biāo)注結(jié)節(jié)區(qū)域的交并比(Intersection over Union，IoU)[29]區(qū)分正負(fù)樣本，如果兩者區(qū)域的交并比大于0.5，標(biāo)記為正，如果兩者區(qū)域的交并比小于0.02，標(biāo)記為負(fù)，其余則被忽略不被標(biāo)記。分類損失采用二值交叉熵?fù)p失函數(shù)，回歸損失采用Smooth L1 損失函數(shù)。

分類損失函數(shù)定義為:

式中:p表示模型預(yù)測(cè)的概率，p*表示標(biāo)簽的分類概率。當(dāng)為正樣本標(biāo)簽時(shí)p*＝1，負(fù)樣本標(biāo)簽時(shí)p*＝0。

回歸損失定義如下:

式中:L(ti，)表示Smooth L1 損失函數(shù)。

Smooth L1 損失函數(shù)定義如下:

式中:ti表示模型預(yù)測(cè)的結(jié)節(jié)回歸坐標(biāo)組t中參數(shù)，表示標(biāo)簽標(biāo)注的結(jié)節(jié)回歸坐標(biāo)組t*中參數(shù)。

t與t*分別為預(yù)測(cè)的結(jié)節(jié)回歸坐標(biāo)組與標(biāo)注的結(jié)節(jié)回歸坐標(biāo)組，定義如下:

式中:(x，y，z，d)表示模型預(yù)測(cè)的結(jié)節(jié)3 維位置信息與直徑，(x*，y*，z*，d*)為標(biāo)簽中標(biāo)注的結(jié)節(jié)3 維位置信息與直徑，(xa，ya，za，da)為邊界框的3 維位置信息與直徑。

模型的總損失為:

式中:Lcls表示分類損失，Lreg表示回歸損失。

2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果

2.1 實(shí)驗(yàn)設(shè)計(jì)

2.1.1 實(shí)驗(yàn)數(shù)據(jù)處理

CT 圖像的數(shù)據(jù)量十分龐大，如果一次將整個(gè)CT 圖像輸入網(wǎng)絡(luò)，對(duì)顯存的消耗很大。本次實(shí)驗(yàn)在訓(xùn)練階段選擇截取較小的包含結(jié)節(jié)的立方塊輸入網(wǎng)絡(luò)，在保證檢測(cè)精度的同時(shí)減少對(duì)硬件消耗。具體做法為以數(shù)據(jù)集標(biāo)注文件的結(jié)節(jié)坐標(biāo)為中心，截取邊長(zhǎng)為96 的立方塊作為正樣本。在CT 圖像內(nèi)的非肺結(jié)節(jié)區(qū)域，截取同樣尺寸的立方塊作為負(fù)樣本。為了解決數(shù)據(jù)的正負(fù)樣本不平衡的問(wèn)題，對(duì)正樣本進(jìn)行隨機(jī)偏置，在0～360°內(nèi)隨機(jī)翻轉(zhuǎn)和以0.75～1.25 之間系數(shù)進(jìn)行縮放作為數(shù)據(jù)增強(qiáng)手段擴(kuò)充正樣本；同時(shí)為了平衡數(shù)據(jù)集中結(jié)節(jié)多為小結(jié)節(jié)的問(wèn)題，對(duì)直徑在10 mm～20 mm 和20 mm 以上的結(jié)節(jié)進(jìn)行直接復(fù)制的方式，擴(kuò)充中直徑結(jié)節(jié)與大直徑結(jié)節(jié)的數(shù)量，平衡結(jié)節(jié)的直徑分布。在模型的測(cè)試階段，CT 圖像中依次截取邊長(zhǎng)為128 的小立方塊輸入網(wǎng)絡(luò)。為了不遺漏可能出現(xiàn)在立方塊邊界的結(jié)節(jié)，每個(gè)立方塊間重疊16 個(gè)像素。最后將得到的結(jié)果按立方塊的位置還原到原來(lái)CT 圖像中。在檢測(cè)階段，使用非極大值抑制(Non-Maximum Suppression，NMS)[30]得到最優(yōu)的預(yù)測(cè)結(jié)果。

2.1.2 實(shí)驗(yàn)設(shè)置

本實(shí)驗(yàn)所用的操作系統(tǒng)為Ubuntu18.04 系統(tǒng)，CPU 為Intel(R)Xeon(R)Gold 6154，內(nèi)存為64 GB，顯卡為3 塊顯存為12 GB 的NVIDIA TITAN V 顯卡。網(wǎng)絡(luò)模型使用 Python3.6 搭建，框架為Pytorch1.1。優(yōu)化方法選擇隨機(jī)梯度下降，初始學(xué)習(xí)率為0.01，權(quán)重衰減為1×10-4，批大小為18，模型迭代次數(shù)為100 次。為了加速訓(xùn)練，減小在損失全局最優(yōu)點(diǎn)處的震蕩，在訓(xùn)練過(guò)程中逐步減小學(xué)習(xí)率，具體為在訓(xùn)練的前1/3 輪時(shí)學(xué)習(xí)率為0.01，在1/3 到2/3 輪時(shí)，設(shè)置學(xué)習(xí)率為0.001，之后學(xué)習(xí)率為0.000 1。

由于LUNA16 數(shù)據(jù)集分為10 個(gè)子集，故訓(xùn)練與測(cè)試使用10 折交叉驗(yàn)證法。選擇子集9 為測(cè)試集，子集0 到8 作為訓(xùn)練集，然后是子集8 為測(cè)試集，其余子集為訓(xùn)練集，依次類推。將所有子集的測(cè)試結(jié)果匯總，得到最終結(jié)果。

2.1.3 評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)選擇無(wú)限制受試者操作特征(Free-Response Receiver Operating Characteristic，F(xiàn)ROC)[25]驗(yàn)證模型性能。該曲線的橫坐標(biāo)為結(jié)節(jié)檢測(cè)的假陽(yáng)率，以0.125、0.25、0.5、1、2、4、8 這七個(gè)假陽(yáng)率點(diǎn)為代表?？v坐標(biāo)為結(jié)節(jié)檢測(cè)的敏感度，即預(yù)測(cè)結(jié)節(jié)的正樣本數(shù)占數(shù)據(jù)集總正樣本數(shù)的比重。在FROC 曲線中，七個(gè)假陽(yáng)率點(diǎn)上敏感度的平均值稱為競(jìng)爭(zhēng)性能指標(biāo)(Challenge Performance Metric，CPM)[25]。計(jì)算公式為:

式中:s表示對(duì)應(yīng)下標(biāo)位置上的敏感度。

2.2 結(jié)果

2.2.1 方法對(duì)比

為了驗(yàn)證本文提出的模型檢測(cè)肺結(jié)節(jié)的有效性，現(xiàn)將本文提出的方法與近年來(lái)具有代表性的肺結(jié)節(jié)檢測(cè)方法進(jìn)行比較。表1 記錄了不同的檢測(cè)模型在LUNA16 數(shù)據(jù)集上的檢測(cè)結(jié)果，具體為在0.125、0.25、0.5、1、2、4、8 這7 個(gè)假陽(yáng)性上的敏感度，以及它們的平均值(CPM)。

表1 與其他肺結(jié)節(jié)檢測(cè)模型對(duì)比

從表1 可以看出，本文提出的模型在LUNA16數(shù)據(jù)集上的檢測(cè)結(jié)果在目前具有代表性的肺結(jié)節(jié)檢測(cè)模型中取得較好的結(jié)果，在0.125、0.25、0.5、1、2、4、8 這7 個(gè)假陽(yáng)性上的平均敏感度大幅領(lǐng)先對(duì)比的其他同類型模型，僅次于張福玲等[28]在2021 年提出的模型。張福玲等提出肺結(jié)節(jié)檢測(cè)模型在特征的解碼路徑上使用特征金字塔的方式將不同深度與尺寸的特征融合在一起，共同作為檢測(cè)結(jié)果由預(yù)測(cè)層輸出。本文提出的模型在特征解碼后只將最后的特征圖由預(yù)測(cè)層輸出，雖然模型中有將不同深度與尺度的特征圖進(jìn)行融合的機(jī)制，從最后的結(jié)果看沒(méi)有張福玲等提出的模型效果好。這表明該模型仍有需要提高之處。

2.2.2 結(jié)果可視化

為了更加直觀展現(xiàn)肺結(jié)節(jié)檢測(cè)，圖5 展示密集殘差檢測(cè)模型對(duì)肺部CT 圖像的檢測(cè)結(jié)果。選擇結(jié)節(jié)中心所在的橫斷面展示結(jié)果，以矩形邊框定位結(jié)節(jié)。圖5 中的第一行為檢測(cè)結(jié)果中的真陽(yáng)性結(jié)節(jié)，第二行為假陽(yáng)性結(jié)節(jié)，假陽(yáng)性結(jié)節(jié)具有與真陽(yáng)性結(jié)節(jié)相似特征。從圖中看出，本文提出的檢測(cè)方法可以有效檢測(cè)出多種大小與不同形狀的肺結(jié)節(jié)，對(duì)在肺實(shí)質(zhì)中不同位置處的結(jié)節(jié)均具有較好檢測(cè)能力，對(duì)實(shí)性結(jié)節(jié)與部分實(shí)性結(jié)節(jié)檢測(cè)結(jié)果較好。

圖5 肺結(jié)節(jié)檢測(cè)結(jié)果圖

2.2.3 消融實(shí)驗(yàn)

為驗(yàn)證提出的跳躍連接信息增強(qiáng)機(jī)制、密集連接與注意力機(jī)制對(duì)肺結(jié)節(jié)檢測(cè)性能的提升，在LUNA16 數(shù)據(jù)集上進(jìn)行消融實(shí)驗(yàn)。在基線方法的基礎(chǔ)上依次加入改進(jìn)措施進(jìn)行比較，數(shù)據(jù)處理與實(shí)驗(yàn)設(shè)置均同2.1.1 與2.1.2，實(shí)驗(yàn)結(jié)果如表2 所示。消融實(shí)驗(yàn)具體為:①model1:基線方法，普通殘差3D UNet，網(wǎng)絡(luò)層數(shù)同1.2.2，在編碼解碼部分間使用直接跳躍連接的模型；②model2:在model1 模型的編碼解碼部分間使用轉(zhuǎn)置卷積信息增強(qiáng)，融合不同尺度的特征；③model3:在model2 模型的基礎(chǔ)上在殘差單元后加入注意力機(jī)制；④model4:使用本文提出的密集殘差肺結(jié)節(jié)檢測(cè)模型。

表2 消融實(shí)驗(yàn)對(duì)比

圖6 所示為消融實(shí)驗(yàn)結(jié)果的FROC 曲線，方塊線為model1 模型的FROC 的結(jié)果，圓形線為model2模型的FROC 的結(jié)果，上三角形線則是model3 模型的FROC 的結(jié)果，下三角形線則是model4 模型的FROC 的結(jié)果。

圖6 消融實(shí)驗(yàn)的FROC 曲線

結(jié)合表2 與圖6 可以看出，model2 相比model1在7 個(gè)不同的假陽(yáng)率點(diǎn)處的敏感度均有提升，尤其在1、2、4、8 這4 個(gè)點(diǎn)上的提升較為明顯，其平均敏感度提升了1.5%。這表明，在model2 跳躍連接處中新增的用于連接不同深度與尺度特征的信息增強(qiáng)機(jī)制對(duì)模型的性能起到了不小的提升。model3 相對(duì)于model2 在7 個(gè)不同假陽(yáng)性點(diǎn)處的敏感度也有相當(dāng)?shù)奶嵘?，?.25、0.5、1、2、4、8 這6 個(gè)點(diǎn)上提升明顯，其平均敏感度提升了2.5%。這表明利用在模型中加入注意力機(jī)制可以有效提取肺結(jié)節(jié)的特征信息，進(jìn)而提升檢測(cè)模型的性能。model4 相對(duì)于model3 在0.125、0.25、0.5 這3 個(gè)點(diǎn)上提升明顯，其平均敏感度提升了1.4%。這表明利用在模型中加入密集連接有助于提取肺結(jié)節(jié)的特征信息，提升檢測(cè)模型的性能。

3 討論

本研究提出了一個(gè)新的深度學(xué)習(xí)模型檢測(cè)CT圖像中的肺結(jié)節(jié)，模型以3D U-Net 網(wǎng)絡(luò)為主干網(wǎng)絡(luò)，引入密集連接、殘差連接和注意力機(jī)制，以端到端的方式檢測(cè)肺結(jié)節(jié)。模型在LUNA16 數(shù)據(jù)集上進(jìn)行了一系列實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，所提出的模型可以較好地檢測(cè)CT 圖像中的肺結(jié)節(jié)。

利用深度學(xué)習(xí)檢測(cè)肺結(jié)節(jié)已取得許多進(jìn)展[14]，但大多數(shù)檢測(cè)網(wǎng)絡(luò)通過(guò)順序增加卷積核增強(qiáng)網(wǎng)絡(luò)對(duì)特征的提取能力，網(wǎng)絡(luò)的結(jié)構(gòu)與參數(shù)增加同時(shí)存在大量特征，導(dǎo)致訓(xùn)練難度增大[22]。本研究在基線模型中引入密集連接與殘差連接，對(duì)網(wǎng)絡(luò)中大量的肺結(jié)節(jié)特征復(fù)用，同時(shí)可以實(shí)現(xiàn)不同深度上的特征之間的信息交流，從而更加全面地提取肺結(jié)節(jié)特征信息。不同的特征圖對(duì)于檢測(cè)肺結(jié)節(jié)的重要性不同，為了更好地檢測(cè)肺結(jié)節(jié)，提升模型檢測(cè)能力，本研究在模型中引入注意力機(jī)制，通過(guò)對(duì)特征圖一系列操作，對(duì)不同特征圖賦予不同權(quán)重，增強(qiáng)模型對(duì)與肺結(jié)節(jié)有關(guān)的特征的提取。為了整體網(wǎng)絡(luò)框架下實(shí)現(xiàn)不同深度與尺度特征的交流融合，在網(wǎng)絡(luò)編碼與解碼部分間通過(guò)轉(zhuǎn)置卷積與拼接操作實(shí)現(xiàn)網(wǎng)絡(luò)不同深度與尺度間特征的交流，增強(qiáng)模型對(duì)肺結(jié)節(jié)的檢測(cè)能力。為驗(yàn)證模型對(duì)肺結(jié)節(jié)的檢測(cè)性能，在LUNA16數(shù)據(jù)集上，以10 倍交叉驗(yàn)證實(shí)驗(yàn)。在表2 中通過(guò)與基線模型的對(duì)比實(shí)驗(yàn)結(jié)果可以得出，所提出的幾處改進(jìn)均可增強(qiáng)模型對(duì)肺結(jié)節(jié)的檢測(cè)性能，提升模型對(duì)肺結(jié)節(jié)的敏感度。表1 中通過(guò)與其他表現(xiàn)出色的肺結(jié)節(jié)檢測(cè)模型的對(duì)比，所提出的密集殘差肺結(jié)節(jié)檢測(cè)模型可以對(duì)肺部CT 圖像中的肺結(jié)節(jié)取得較好的結(jié)果。本研究提出的密集殘差模型對(duì)肺結(jié)節(jié)的敏感度稍遜于張福玲等[28]提出的模型，主要在于其提出的模型中對(duì)肺結(jié)節(jié)特征使用特征金字塔機(jī)制，將不同尺度的特征圖共同作為輸出，這樣可以融合不同層次的特征圖，而本文提出模型只將最頂層特征作為輸出，會(huì)忽略一些細(xì)節(jié)信息，這種設(shè)計(jì)可在之后的研究中探討借鑒。

CT 圖像的數(shù)據(jù)標(biāo)注依賴于有經(jīng)驗(yàn)的醫(yī)師，這使得有標(biāo)注的CT 圖像數(shù)據(jù)收集困難，訓(xùn)練樣本較少。遷移學(xué)習(xí)可以通過(guò)在大樣本數(shù)據(jù)集上預(yù)訓(xùn)練得到具有一定特征提取能力的網(wǎng)絡(luò)，在小樣本的醫(yī)學(xué)圖像數(shù)據(jù)上小規(guī)模訓(xùn)練便可實(shí)現(xiàn)較好的檢測(cè)能力。未來(lái)的研究將探討通過(guò)遷移學(xué)習(xí)實(shí)現(xiàn)CT 圖像數(shù)據(jù)的檢測(cè)。

4 結(jié)論

本研究提出了一種密集殘差肺結(jié)節(jié)檢測(cè)方法，在3D U-Net 基礎(chǔ)上引入密集連接、殘差連接與注意力機(jī)制，較好實(shí)現(xiàn)了對(duì)CT 圖像中的肺結(jié)節(jié)的檢測(cè)與定位。大多數(shù)的肺結(jié)節(jié)檢測(cè)方法，通過(guò)順序堆疊卷積核構(gòu)建網(wǎng)絡(luò)，沒(méi)有充分利用網(wǎng)絡(luò)中的特征，同時(shí)不同層間的特征沒(méi)有信息交流，對(duì)肺結(jié)節(jié)檢測(cè)不夠精確。對(duì)此，本研究在網(wǎng)絡(luò)中引入密集連接、殘差連接與注意力機(jī)制改進(jìn)檢測(cè)網(wǎng)絡(luò)，同時(shí)在跳躍連接中融合不同尺度的特征。實(shí)驗(yàn)結(jié)果表明，本研究相對(duì)于原始方法的幾處改進(jìn)可以增強(qiáng)網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)敏感性，平均敏感度提高了5.5%，與其他結(jié)節(jié)檢測(cè)算法相比，也取得了較好表現(xiàn)。

在未來(lái)工作中，針對(duì)有標(biāo)注肺結(jié)節(jié)數(shù)據(jù)較少的問(wèn)題，將結(jié)合遷移學(xué)習(xí)，將深度學(xué)習(xí)模型從其他領(lǐng)域圖像數(shù)據(jù)中學(xué)習(xí)到的檢測(cè)知識(shí)，運(yùn)用到肺結(jié)節(jié)檢測(cè)中，進(jìn)一步提高結(jié)節(jié)檢測(cè)精確度[34]。