宮 霞 吳衛(wèi)華

(上海市胸科醫(yī)院 上海 200030) (上海交通大學(xué)附屬胸科醫(yī)院 上海 200030)

0 引 言

超聲成像具有成本低、便攜性、無(wú)創(chuàng)傷和無(wú)輻射等優(yōu)點(diǎn),在現(xiàn)代醫(yī)學(xué)檢測(cè)中應(yīng)用廣泛;對(duì)超聲圖像結(jié)果準(zhǔn)確性取決于操作者的經(jīng)驗(yàn),具有很大的主觀(guān)性[1-2],比較耗時(shí)。近年來(lái)隨著深度學(xué)習(xí)技術(shù)的發(fā)展,在醫(yī)療影像智能輔助診斷上的應(yīng)用越來(lái)越廣,例如圖像分類(lèi)[3]、分割和目標(biāo)檢測(cè)[4]等領(lǐng)域,通過(guò)人工標(biāo)注好的數(shù)據(jù),訓(xùn)練出模型的診斷精度都優(yōu)于人類(lèi)[5],極大提高了醫(yī)生的診斷效率和準(zhǔn)確性。因此,將深度學(xué)習(xí)應(yīng)用于超聲圖像分割與分類(lèi),區(qū)分肺癌轉(zhuǎn)移性淋巴結(jié)病變和良性病變具有重要的臨床應(yīng)用前景,超聲圖像分析具有強(qiáng)大的理論基礎(chǔ)支撐。超聲圖像分辨率較CT、MRI低,圖像存在大量偽影和噪聲,其自身的局限性導(dǎo)致分類(lèi)效果難以提升,文獻(xiàn)[6]提出了一種綜合利用B型超聲和超聲造影視頻來(lái)提高分類(lèi)精度的網(wǎng)絡(luò)模型,深度學(xué)習(xí)技術(shù)應(yīng)用于超聲圖像分析發(fā)展空間大,具有重要的理論意義和實(shí)際應(yīng)用價(jià)值。

鎖骨上淋巴結(jié)轉(zhuǎn)移對(duì)肺癌轉(zhuǎn)移鑒別診斷非常關(guān)鍵,有無(wú)淋巴結(jié)的轉(zhuǎn)移直接關(guān)聯(lián)到肺癌的分期、手術(shù)方式以及預(yù)后等,通過(guò)深度學(xué)習(xí)對(duì)肺癌患者頸部淋巴結(jié)超聲圖像分割對(duì)正確診斷肺癌轉(zhuǎn)移具有重要意義。目前常見(jiàn)的應(yīng)用于超聲圖像分割的深度學(xué)習(xí)模型FCN(Fully Convolutional Networks)[7]、UNet[8]、MaskRcnn[9]和UNet改進(jìn)版等,其中UNet使用最為廣泛,衍生的網(wǎng)絡(luò)包括V-Net[10]、W-Net[11]、M-Net[12]、Y-net[13]和FPD-M-net[14]。文獻(xiàn)[15]提出一種基于改進(jìn)U-net網(wǎng)絡(luò)的甲狀腺結(jié)節(jié)超聲圖像分割方法,利用帶有注意力模塊的跳躍長(zhǎng)連接部分對(duì)特征張量進(jìn)行邊緣輪廓保持操作。

1 相關(guān)工作

UNet[8]網(wǎng)絡(luò)利用了神經(jīng)網(wǎng)絡(luò)內(nèi)在的多尺度特性,淺層輸出保存了空域細(xì)節(jié)信息,深層輸出保存了相對(duì)抽象的語(yǔ)義信息,利用底層信息補(bǔ)充高層信息,適用于醫(yī)學(xué)圖像分割、自然圖像生成,在醫(yī)學(xué)圖像分割比RPN和FCN網(wǎng)絡(luò)有更好的分割精確度。文獻(xiàn)[16]提出了一種改進(jìn)UNet卷積網(wǎng)絡(luò),卷積塊采用了inception block,網(wǎng)絡(luò)將噪聲激勵(lì)函數(shù)NHReLU和NHSeLU(Noisy Hard SeLU function)代替ReLU和NReLU(Noisy Rectified Linear Unit functions)噪聲激勵(lì)函數(shù);網(wǎng)絡(luò)在兩個(gè)尺度上預(yù)測(cè)輸出,而不是只在上采樣最后層輸出,這樣很好處理了超聲圖像中標(biāo)注區(qū)域尺寸變化的問(wèn)題,提高對(duì)淋巴結(jié)超聲圖像分割效果,達(dá)到了0.89。CE-Net[17]是一篇將空洞卷積和金字塔池化結(jié)合,專(zhuān)門(mén)用于2D醫(yī)學(xué)圖像分割任務(wù)。Fabian等[18]提出的nnUNet是基于UNet和3D UNet的醫(yī)學(xué)影像分割算法框架。R2UNet[19]全稱(chēng)叫作Recurrent Residual CNN-based UNet,其融合了UNet、ResNet、RCNN的結(jié)構(gòu),在視網(wǎng)膜、肺和血管等多個(gè)醫(yī)學(xué)影像分割任務(wù)上都取得很好的實(shí)驗(yàn)結(jié)果。Zhou等[20]提出的UNet++可以用于語(yǔ)義分割和實(shí)例分割,主要包括:通過(guò)不同深度的UNet的有效集成來(lái)緩解未知的網(wǎng)絡(luò)深度,這些UNet可以部分共享一個(gè)編碼器,并且可以通過(guò)深度監(jiān)督[21]同時(shí)進(jìn)行共同學(xué)習(xí);重新設(shè)計(jì)跳接以在解碼器子網(wǎng)絡(luò)上聚合語(yǔ)義尺度不同的特征,從而產(chǎn)生高度靈活的特征融合方案;設(shè)計(jì)一種剪枝方案以加快UNet++的推理速度。UNet3+[22]是基于UNet和UNet++基礎(chǔ)上提出的,它改進(jìn)了UNet++沒(méi)有直接從多尺度信息中提取足夠多的信息的缺陷,UNet3+利用了全尺度的跳躍連接和深度監(jiān)督。UNet3+中,可以從全尺度捕獲細(xì)粒度的細(xì)節(jié)和粗粒度的語(yǔ)義。為了進(jìn)一步從全尺寸的聚合特征圖中學(xué)習(xí)層次表示法,每個(gè)邊的輸出都與一個(gè)混合損失函數(shù)相連接,這有助于精確分割,特別是對(duì)于在醫(yī)學(xué)圖像體積中出現(xiàn)不同尺度的器官。

注意力UNet[23]分為Hard Attention和Soft Attention,增加了Attention的機(jī)制,即注意力門(mén)(Attention Gate,AG)模型,通過(guò)自動(dòng)學(xué)習(xí)參數(shù)來(lái)調(diào)整激活值。訓(xùn)練時(shí)能抑制模型學(xué)習(xí)與任務(wù)無(wú)關(guān)的部分,同時(shí)增加與任務(wù)有關(guān)的特征。AG接在每個(gè)跳躍連接的末端,對(duì)提取的feature實(shí)現(xiàn)Attention機(jī)制。加權(quán)的Res-UNet注意力機(jī)制[24]是通過(guò)將模型的最后一層的特征圖與注意掩模相乘來(lái)實(shí)現(xiàn)的。利用這種加權(quán)注意機(jī)制,模型將只關(guān)注目標(biāo)ROI區(qū)域,拋棄無(wú)關(guān)的噪聲背景。PsP-Net[25]認(rèn)為傳統(tǒng)的交叉熵?fù)p失不適合小目標(biāo)的醫(yī)學(xué)圖像,對(duì)損失函數(shù)進(jìn)行了改進(jìn),選用Dice損失函數(shù)和Reg正則化損失函數(shù)結(jié)合。

上述的分割網(wǎng)絡(luò)的分割精度低,對(duì)小目標(biāo)檢測(cè)、小樣本訓(xùn)練存在缺陷,為此本文改進(jìn)了注意力UNet網(wǎng)絡(luò)結(jié)構(gòu),引入了新的激勵(lì)函數(shù)、圖像多尺度輸入和適合小目標(biāo)檢測(cè)的損失函數(shù)。

2 方法設(shè)計(jì)

2.1 改進(jìn)注意力UNet

改進(jìn)的注意力UNet網(wǎng)絡(luò)(A2R2UNet)是在注意力R2UNet基礎(chǔ)上實(shí)現(xiàn)的,其結(jié)構(gòu)與標(biāo)準(zhǔn)UNet基本相同,區(qū)別在于增加了循環(huán)殘差模塊和注意力模塊。循環(huán)殘差模塊在考慮前面時(shí)間步的狀態(tài)特征的同時(shí),使得網(wǎng)絡(luò)層數(shù)更深,進(jìn)而提取更加豐富的特征,注意力機(jī)制使得網(wǎng)絡(luò)更能提取感興趣區(qū)域。首先,x和g都被送入到1×1卷積中,將它們變?yōu)橄嗤瑪?shù)量的通道數(shù),在上采樣操作后(特征圖大小相同)將x和g累加;然后,依次通過(guò)NHReLU激活函數(shù)、1×1的卷積、sigmoid,得到一個(gè)0到1的權(quán)重值;最后,注意力權(quán)重值與上采樣特征圖相乘,產(chǎn)生這個(gè)注意力塊的最終輸出。為了更好地提取局部特征,網(wǎng)絡(luò)的輸入圖像為多尺寸,每一個(gè)尺度的輸入對(duì)應(yīng)各自的卷積層,其模型結(jié)構(gòu)如圖1所示,圖中的輸入圖像分為四個(gè)尺度,每個(gè)尺度在本層使用conv和pooling,提取的特征分別作為下采樣和右側(cè)注意力門(mén)的輸入,該輸出特征與上采樣進(jìn)行concatenate操作。

圖1 A2R2UNet網(wǎng)絡(luò)結(jié)構(gòu)

2.2 數(shù)據(jù)增強(qiáng)方法

數(shù)據(jù)增強(qiáng)(Data Augmentation)是在收集數(shù)據(jù)準(zhǔn)備微調(diào)深度學(xué)習(xí)模型時(shí),經(jīng)常會(huì)遇到某些分類(lèi)數(shù)據(jù)嚴(yán)重不足的情況,為了防止過(guò)擬合,在對(duì)預(yù)訓(xùn)練的網(wǎng)絡(luò)模型參數(shù)進(jìn)行微調(diào)之前,采用的一種技術(shù)。文獻(xiàn)[26]結(jié)合了GAN和UNet,提出了生成對(duì)抗UNet,該模型是無(wú)域的,可以泛化到各種醫(yī)學(xué)圖像增廣。通過(guò)實(shí)驗(yàn),該方法對(duì)頸部淋巴結(jié)超聲圖像數(shù)據(jù)增強(qiáng)效果有效。第20個(gè)epoch訓(xùn)練結(jié)果如圖2所示。

圖2 數(shù)據(jù)增強(qiáng)訓(xùn)練結(jié)果

2.3 損失函數(shù)改進(jìn)

(1) Dice損失函數(shù)。Dice loss來(lái)于Dice系數(shù),是一種用于評(píng)估兩個(gè)樣本之間相似性度量的函數(shù),取值范圍為0～1,值越大表示兩個(gè)值的相似度越高,計(jì)算公式如下:

(1)

式中:N是像素個(gè)數(shù),p(k,i)∈[0,1]為類(lèi)別k類(lèi)在第i個(gè)像素相應(yīng)的預(yù)測(cè)概率值,g(k,i)∈[0,1]為類(lèi)別k在第i個(gè)像素的真實(shí)值(GT),K是類(lèi)別數(shù)。

(2) Generalized Dice損失函數(shù)。Dice loss對(duì)小目標(biāo)分割誤差較大,因?yàn)槿绻∧繕?biāo)有部分像素預(yù)測(cè)錯(cuò)誤,那么Dice值會(huì)大幅度的變動(dòng),從而導(dǎo)致梯度變化劇烈,訓(xùn)練不穩(wěn)定。當(dāng)病灶分割有多個(gè)區(qū)域時(shí),使用Generalized Dice loss,其計(jì)算公式如下:

(2)

(3) Focal Loss。Focal Loss函數(shù)是對(duì)標(biāo)準(zhǔn)交叉熵?fù)p失函數(shù)的改進(jìn),通過(guò)增加難分類(lèi)樣本的權(quán)重,使得模型在訓(xùn)練時(shí)更專(zhuān)注于難分類(lèi)的樣本,公式如下:

(3)

因此,得出總損失函數(shù)為:

L=LGDice+LRg+λLFocal

(4)

式中:λ是LFocal的權(quán)重,根據(jù)驗(yàn)證集其取值為0、0.1、0.5或1;LRg表示正則化損失。式(4)損失函數(shù)可以避免在數(shù)據(jù)不平衡時(shí),組合Loss會(huì)退化為Dice Loss,同時(shí)對(duì)小目標(biāo)有較好的分割效果。

3 實(shí)證分析

本研究采集上海市胸科醫(yī)院超聲科360例肺癌患者的420幅淋巴結(jié)超聲圖像,其中男性200例,淋巴結(jié)300個(gè),女性210例,淋巴結(jié)295個(gè)。所有淋巴結(jié)均進(jìn)行針吸細(xì)胞學(xué)及細(xì)針穿刺活檢檢查,所有超聲診斷結(jié)果均與病理結(jié)果相對(duì)照。論文中的數(shù)據(jù)增強(qiáng)的方法是旋轉(zhuǎn)(90°、180°、270°、小于90°)、隨機(jī)水平翻轉(zhuǎn)、隨機(jī)豎直翻轉(zhuǎn)、cutout和對(duì)抗生成網(wǎng)絡(luò)生成數(shù)據(jù),共4 545幅。實(shí)驗(yàn)環(huán)境基于深度學(xué)習(xí)PyTorch框架,操作系統(tǒng)為Ubuntu 18.04,處理器為Intel i7-8700K,內(nèi)存32 GB,顯卡為11 GB顯存的NVIDIA RTX 1080Ti。

數(shù)據(jù)集按照8∶1∶1劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,采用Adam優(yōu)化器,用來(lái)訓(xùn)練的圖像、UNet下采樣和上采樣卷積層指標(biāo)明確,使用Dice系數(shù)來(lái)評(píng)估圖像分割結(jié)果和原標(biāo)簽數(shù)據(jù)的相似程度。

通過(guò)圖3-圖5分析,NHReLU UNet網(wǎng)絡(luò)Dice系數(shù)低于0.9,注意力UNet網(wǎng)絡(luò)Dice系數(shù)為0.91,本文提出的A2R2UNet Dice系數(shù)達(dá)0.94。因此,通過(guò)實(shí)驗(yàn)得出,A2R2UNet分割效果好于注意力UNet和NHReLU UNet,為下一階段良惡性的分類(lèi)提供了可靠的數(shù)據(jù)支持。

圖3 NHReLU Dice系數(shù)和損失函數(shù)

圖4 注意力UNet網(wǎng)絡(luò)Dice系數(shù)和損失函數(shù)

圖5 A2R2UNet網(wǎng)絡(luò)Dice系數(shù)和損失函數(shù)

圖6列出了UNet、AUNet、R2AttUNet和A2R2UNet模型對(duì)淋巴結(jié)病灶分割結(jié)果,第一列為原超聲圖像,第二列為預(yù)測(cè)結(jié)果,第三列為人工標(biāo)注病灶區(qū)域,預(yù)測(cè)病灶區(qū)域與人工標(biāo)注的一致。激勵(lì)函數(shù)、多尺度輸入和損失函數(shù)改進(jìn),使得新模型針對(duì)小樣本、小目標(biāo)分割邊界更加清晰,對(duì)病灶的細(xì)節(jié)信息分割更加精確。

圖6 不同網(wǎng)絡(luò)結(jié)構(gòu)淋巴結(jié)病灶分割

表1列出了不同網(wǎng)絡(luò)結(jié)構(gòu)在平均IOU、Dice系數(shù)和Acc三個(gè)指標(biāo)上的比較,可以看出本文提出的方法最優(yōu),在MIOU上A2R2UNet較UNet網(wǎng)絡(luò)提升了12%,Dice系數(shù)提升了11%,Acc提升了3%。同樣,與其余對(duì)比算法相比,本文的模型在各項(xiàng)指標(biāo)上也均有較大改進(jìn)。

表1 不同網(wǎng)絡(luò)結(jié)構(gòu)量化指標(biāo)比較

A2R2UNet網(wǎng)絡(luò)增加了循環(huán)殘差和注意力模塊,因此,較其他UNet網(wǎng)絡(luò)在參數(shù)和計(jì)算資源消耗上都要大,如表2所示?？赏ㄟ^(guò)增加GPU數(shù)量進(jìn)一步提高實(shí)時(shí)性。

表2 不同網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)和比較

4 結(jié) 語(yǔ)

本文基于注意力UNet網(wǎng)絡(luò)分割超聲圖像,引入了新激勵(lì)函數(shù)、多尺度輸入改進(jìn)了網(wǎng)絡(luò)結(jié)構(gòu),為了提高小目標(biāo)分割性能和小樣本訓(xùn)練模型,改進(jìn)了損失函數(shù),防止網(wǎng)絡(luò)的過(guò)擬合;采用了數(shù)據(jù)增強(qiáng)和生成對(duì)抗UNet擴(kuò)充訓(xùn)練數(shù)據(jù),實(shí)驗(yàn)結(jié)果表明該網(wǎng)絡(luò)提高了Dice系數(shù)。對(duì)超聲圖像分割出來(lái)的區(qū)域,需要分類(lèi)網(wǎng)絡(luò)進(jìn)一步預(yù)測(cè)淋巴結(jié)病灶區(qū)域的良惡性。同時(shí),在本文基礎(chǔ)上,改進(jìn)損失函數(shù)、對(duì)UNet++網(wǎng)絡(luò)引入注意力機(jī)制等方法值得今后進(jìn)一步研究。UNet++網(wǎng)絡(luò)在參數(shù)和計(jì)算資源消耗上都優(yōu)于R2AttUnet,因此,對(duì)該網(wǎng)絡(luò)的優(yōu)化將在準(zhǔn)確率和實(shí)時(shí)性上都有提高。