申文靜,叢金玉,班楷第,王蘋(píng)蘋(píng),劉坤孟,司興勇,魏本征△

(1.山東中醫(yī)藥大學(xué) 醫(yī)學(xué)人工智能研究中心,青島266112;2.山東中醫(yī)藥大學(xué) 青島中醫(yī)藥科學(xué)院,青島 266112)

0 引言

乳腺癌是女性最常見(jiàn)的惡性腫瘤之一[1]。據(jù)國(guó)際衛(wèi)生組織癌癥研究機(jī)構(gòu)最新發(fā)布的統(tǒng)計(jì)數(shù)據(jù),全球女性乳腺癌新發(fā)病例數(shù)高達(dá)226萬(wàn),并且仍以3%～4%的速度逐年上升[2]。隨著醫(yī)學(xué)水平的進(jìn)步,乳腺癌早期患者的生存率顯著提高,但對(duì)于晚期乳腺癌治療,目前臨床缺乏有效方法,五年生存率低。因此,乳腺癌的早篩、早診和早治對(duì)延長(zhǎng)患者生存時(shí)間,提高患者生活質(zhì)量具有重要意義[3]。

腫塊和鈣化是早期乳腺癌檢測(cè)中兩個(gè)最重要的特征表現(xiàn),常見(jiàn)的診斷方法有超聲、核磁共振及鉬靶檢查等[4]。其中,鉬靶可顯示腫塊的大小和周?chē)∽兦闆r、形態(tài)等信息[5]。不同于CT等成像設(shè)備,鉬靶對(duì)鈣化的敏感度較高[6],可識(shí)別微小鈣化區(qū)域[7]。目前,臨床上主要依靠放射科醫(yī)生對(duì)乳腺鉬靶圖像中的腫塊和鈣化點(diǎn)進(jìn)行分割(見(jiàn)圖1),耗時(shí)費(fèi)力且分割精度受醫(yī)生經(jīng)驗(yàn)影響,易出現(xiàn)漏診、誤診等現(xiàn)象[8-9]。隨著人工智能的發(fā)展,基于深度學(xué)習(xí)的乳腺腫塊和鈣化全自動(dòng)分割應(yīng)用廣泛。該方法可幫助醫(yī)生快速確定病變范圍,提高診斷效率,為臨床檢測(cè)提供準(zhǔn)確可靠的解決方案,具有重要的現(xiàn)實(shí)意義。

注:紅色標(biāo)記部分表示病灶區(qū)域

U形的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)可提高特征信息的利用率,在醫(yī)學(xué)圖像分割中表現(xiàn)出較好的性能[10]。此外,融合注意力機(jī)制的模型可確定視覺(jué)探索區(qū)域,并發(fā)現(xiàn)特定的放射異常,能有效捕捉乳腺癌分割和定位的關(guān)鍵線索,增強(qiáng)對(duì)病灶區(qū)域及邊緣細(xì)節(jié)信息的關(guān)注,在癌癥病灶分割中取得了顯著成績(jī)。

基于此,Chen等[11]引入混合自適應(yīng)注意力模塊取代傳統(tǒng)的卷積運(yùn)算,使其在不同感受野下捕捉更多的特征,有效提高了特征利用率。Umer等[12]設(shè)計(jì)了雙解碼注意力機(jī)制用于實(shí)現(xiàn)乳腺癌病變區(qū)域的自動(dòng)分割。Lou等[13]通過(guò)自適應(yīng)地減少編碼器和解碼器特征之間的語(yǔ)義間隙,利用語(yǔ)義交互增強(qiáng)上下文關(guān)系,改進(jìn)U形CNN,進(jìn)一步提高了分割性能。Farooq等[14]提出基于殘差注意力的自集成模型用于乳腺腫瘤檢測(cè),有效克服了乳腺腫瘤低視覺(jué)對(duì)比度、邊界不清及乳腺病變形狀和大小多樣性等問(wèn)題。Zhong等[15]提出將雙邊跳躍連接和全尺度注意力機(jī)制引入U(xiǎn)-Net網(wǎng)絡(luò),通過(guò)融合多尺度特征,有效提高了腫瘤分割精度。Ru等[16]提出一種注意力引導(dǎo)神經(jīng)常微分方程網(wǎng)絡(luò),該網(wǎng)絡(luò)使用常微分方程塊組成編碼器-解碼器網(wǎng)絡(luò),使用注意力模塊生成更精細(xì)的特征信息,提高了乳腺腫瘤的分割性能。Yang等[17]將CNN和Swin Transformer連接作為特征提取主干,構(gòu)建金字塔結(jié)構(gòu)網(wǎng)絡(luò),引入交互式通道注意力模塊,用于強(qiáng)調(diào)重要的特征區(qū)域;補(bǔ)充特征融合模塊用于在特征融合過(guò)程中補(bǔ)充特征,有效提高了算法分割性能。褚張晴晴等[18]提出了一種改進(jìn)的U-Net模型,通過(guò)在跳躍連接中設(shè)計(jì)特征融合模塊以融合不同層次的特征信息,并將改進(jìn)的三維坐標(biāo)注意力引入編碼器網(wǎng)絡(luò)以獲得腫瘤的精確位置。Fu等[19]提出了基于注意力的主動(dòng)學(xué)習(xí)框架用于乳腺癌圖像分割。Iqbal等[20]設(shè)計(jì)了U形金字塔擴(kuò)張融合網(wǎng)絡(luò),取得了較為準(zhǔn)確的分割效果。

盡管將各種注意力機(jī)制引入到U型網(wǎng)絡(luò)中,使腫瘤分割精度得到了有效提升。但當(dāng)前深度學(xué)習(xí)方法無(wú)法同時(shí)檢測(cè)乳腺腫塊和鈣化,且現(xiàn)有模型仍存在特征利用不充分、細(xì)節(jié)信息丟失等問(wèn)題,導(dǎo)致分割精度不理想。為此,本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導(dǎo)分割算法,以充分提取和利用圖像特征,實(shí)現(xiàn)乳腺癌病變區(qū)域的精確分割。

1 算法設(shè)計(jì)

1.1 融合自注意力的乳腺癌鉬靶圖像特征引導(dǎo)分割網(wǎng)絡(luò)

本研究算法框架采用由編碼器和解碼器組成的U型網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò),見(jiàn)圖2。其中,編碼器通過(guò)卷積層提取高級(jí)語(yǔ)義特征信息,解碼器利用跳躍連接,引入來(lái)自編碼器的高分辨率特征圖,恢復(fù)圖像丟失的細(xì)節(jié)信息。

圖2 算法框架圖

特征引導(dǎo)注意網(wǎng)絡(luò)(feature guided attention network,FGA-Net)以腫塊和鈣化兩類乳腺癌鉬靶圖像作為輸入,網(wǎng)絡(luò)輸入圖像大小為512×512。為獲取豐富的特征信息,骨干網(wǎng)絡(luò)卷積層均由兩個(gè)3*3卷積層的重復(fù)應(yīng)用組成,每個(gè)卷積層后為批歸一化處理和ReLU激活函數(shù)層。特征提取模塊共由4個(gè)編碼塊組成,在每個(gè)編碼塊后,通過(guò)步長(zhǎng)為2的最大池化對(duì)特征圖進(jìn)行下采樣,增加輸出通道數(shù)量,擴(kuò)大感受野,獲得高分辨率特征圖。解碼部分有4個(gè)解碼塊,每個(gè)解碼塊由卷積序列和特征引導(dǎo)注意模塊組成,用于對(duì)來(lái)自特征提取模塊的相應(yīng)特征圖和解碼塊的輸出特征圖的總和進(jìn)行上采樣操作,最后使用1*1卷積進(jìn)行降維,還原到圖像輸入時(shí)的大小。

1.2 特征引導(dǎo)注意模塊

為增強(qiáng)通道間的依賴關(guān)系,提高分割精度。本研究在解碼塊中加入了特征引導(dǎo)注意模塊,該模塊由自注意力機(jī)制和特征引導(dǎo)模塊組成。自注意力機(jī)制可更多地關(guān)注到輸入中的關(guān)鍵信息及不同通道間的相關(guān)性,能夠充分利用全局信息獲得更好的模型訓(xùn)練結(jié)果,增強(qiáng)對(duì)病灶區(qū)域邊緣信息的關(guān)注度,使邊界分割更加清晰。此外,采用特征引導(dǎo)模塊能夠使網(wǎng)絡(luò)關(guān)注圖像中腫塊和鈣化區(qū)域特征信息的不同,有利于進(jìn)一步提升分割精度。

首先,特征引導(dǎo)注意模塊將編碼部分的輸出作為輸入x,通過(guò)Attention操作,篩選出重要特征信息。權(quán)重占比越大,說(shuō)明特征信息越重要,Value是權(quán)重對(duì)應(yīng)的信息。對(duì)于每個(gè)向量x′分別與需要學(xué)習(xí)的權(quán)重矩陣Wq、Wk和Wv相乘,得到Q、K和V;通過(guò)Q和K點(diǎn)乘的方式,計(jì)算每?jī)蓚€(gè)輸入向量的相關(guān)性,得到A;接著對(duì)A進(jìn)行Softmax操作得到A′,即各樣本與各信息間相關(guān)或相似程度的分布;利用A′和V點(diǎn)乘計(jì)算每個(gè)輸入向量x′對(duì)應(yīng)的Attention層的輸出向量;最終輸出信息的加權(quán)和Att(Q,K,V)。Attention的計(jì)算如下:

(1)

然后,通過(guò)一個(gè)卷積層操作(大小為3*3),再依次通過(guò)全局平均池化(GAP)層、全連接層(FC)、Sigmoid激活層,與另一組直接來(lái)自3*3卷積的輸出特征進(jìn)行點(diǎn)乘操作,用于將前面提取到的信息進(jìn)行整合。最終,得到輸出特征圖y。

1.3 損失函數(shù)

為計(jì)算網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與真實(shí)值的差異,本研究使用交叉熵?fù)p失函數(shù)計(jì)算損失:

loss(x,class)=-x[class]+log (∑jexp(x[j]))

(2)

其中,x表示樣本,class表示類別信息,該分割網(wǎng)絡(luò)目的是將病變區(qū)域與背景進(jìn)行區(qū)分,因此,設(shè)置為二分類。

2 實(shí)驗(yàn)

本研究在深度學(xué)習(xí)框架Pytorch中進(jìn)行實(shí)驗(yàn),并在NVIDIA GeForce RTX 2070上運(yùn)行。實(shí)驗(yàn)初始學(xué)習(xí)率設(shè)置為0.000 1,迭代次數(shù)設(shè)置為40。實(shí)驗(yàn)圖像在輸入模型前采用水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、鏡像和隨機(jī)旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方法,以在一定程度上避免過(guò)擬合,提高模型的泛化能力。

2.1 數(shù)據(jù)集

本研究分別在INBreast1和DDSM乳腺鉬靶圖像數(shù)據(jù)庫(kù)上對(duì)FGA-Net進(jìn)行評(píng)估。由于公開(kāi)的INBreast[21]數(shù)據(jù)庫(kù)中標(biāo)注數(shù)據(jù)太少,因此,加入了來(lái)自山東中醫(yī)藥大學(xué)第二附屬醫(yī)院的部分自有數(shù)據(jù)集,組成本研究所使用的INBreast1數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)包含151例腫塊病例和85例鈣化病例,本研究分別從腫塊病例和鈣化病例中選擇了529張和324張標(biāo)簽較為準(zhǔn)確的乳房鉬靶圖像進(jìn)行實(shí)驗(yàn)。由于未收集到來(lái)自DDSM公開(kāi)數(shù)據(jù)庫(kù)的鈣化病例,本研究?jī)H使用從DDSM數(shù)據(jù)庫(kù)獲取的826例腫塊病例,共3 103張乳房鉬靶圖像進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)中將不同數(shù)據(jù)集均按8∶1∶1的比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,分別用于模型的訓(xùn)練、驗(yàn)證與測(cè)試。

2.2 評(píng)價(jià)指標(biāo)

為有效評(píng)估算法性能,本研究使用為準(zhǔn)確率(Accuracy),交并比(IoU)和Dice系數(shù)作為評(píng)價(jià)指標(biāo),計(jì)算如下:

(3)

(4)

(5)

其中,TP表示正確預(yù)測(cè)為病灶的像素?cái)?shù),FP表示錯(cuò)誤預(yù)測(cè)為病灶的像素?cái)?shù),FN表示錯(cuò)誤預(yù)測(cè)為周?chē)M織的像素?cái)?shù),TN表示正確預(yù)測(cè)為周?chē)M織的像素?cái)?shù)。Dice系數(shù)越高,則網(wǎng)絡(luò)預(yù)測(cè)結(jié)果的準(zhǔn)確率越高。

2.3 結(jié)果與分析

本研究基于DDSM和INBreast1數(shù)據(jù)庫(kù)進(jìn)行消融實(shí)驗(yàn),并與目前性能較好的幾種典型分割網(wǎng)絡(luò)進(jìn)行對(duì)比,驗(yàn)證該網(wǎng)絡(luò)的性能。

2.3.1對(duì)比實(shí)驗(yàn) 為驗(yàn)證本研究所提出的網(wǎng)絡(luò)的有效性,本研究與U-Net及其3種經(jīng)典的、性能較好的改進(jìn)算法進(jìn)行了比較。

基于INBreast1對(duì)比實(shí)驗(yàn)結(jié)果見(jiàn)表1、2。實(shí)驗(yàn)結(jié)果表明,本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.998、0.946和0.971,在完成35輪訓(xùn)練后,模型已趨于穩(wěn)定;鈣化分割的Acc、mIoU和mDice分別為0.996、0.817和0.888,在完成15輪訓(xùn)練后,模型已趨于穩(wěn)定。訓(xùn)練集與驗(yàn)證集loss值變化隨訓(xùn)練輪數(shù)變化見(jiàn)圖3、4。與U-Net基礎(chǔ)網(wǎng)絡(luò)相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.7%、10.4%和10.2%;在鈣化分割中Acc、mIoU和mDice分別提高了0.2%、15%和13.8%,分割效果均有顯著提升。相較于U-Net+Attention、Res-UNet和Swin-UNet網(wǎng)絡(luò),本研究模型在腫塊分割中Acc分別提高了0.7%、0.5%和1.6%;mIoU分別提高了18.6%、8.3%和12.2%;mDice分別提高了12.7%、5.9%和6.5%。在鈣化分割中Acc分別提高了0.1%、0.7%和0.5%;mIoU分別提高了6.7%、4.2%和6.4%;mDice分別提高了5.5%、3.2%和7.4%。表明FGA-Net可有效分割乳腺癌病變區(qū)域。

表1 INBreast1數(shù)據(jù)庫(kù)腫塊分割對(duì)比實(shí)驗(yàn)結(jié)果

表2 INBreast1數(shù)據(jù)庫(kù)鈣化分割對(duì)比實(shí)驗(yàn)結(jié)果

圖3 INBreast1腫塊數(shù)據(jù)訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集loss變化

圖4 INBreast1鈣化數(shù)據(jù)訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集loss變化

基于DDSM數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果見(jiàn)表3。本研究模型的腫塊分割的Acc、mIoU和mDice分別為0.999、0.848和0.911,在完成15輪訓(xùn)練后,模型已趨于穩(wěn)定。訓(xùn)練集與驗(yàn)證集損失值變化隨訓(xùn)練輪數(shù)變化見(jiàn)圖5。與U-Net基礎(chǔ)網(wǎng)絡(luò)相比,本研究模型在腫塊分割中Acc、mIoU和mDice分別提高了0.9%、10.3%和10.3%,分割效果顯著提高。相較U-Net+Attention、Res-Unet和Swin-Unet網(wǎng)絡(luò),本研究模型在腫塊分割中Acc分別提高了2.7%、0.8%和0.4%;mIoU分別提高了23%、4.2%和9.6%;mDice分別提高了21%、2.9%和7.9%。說(shuō)明FGA-Net可更好地用于整個(gè)乳腺鉬靶圖像的病變分割,實(shí)現(xiàn)更高的分割精度。

表3 DDSM數(shù)據(jù)庫(kù)腫塊分割對(duì)比實(shí)驗(yàn)結(jié)果

圖5 DDSM腫塊數(shù)據(jù)訓(xùn)練過(guò)程中訓(xùn)練集和驗(yàn)證集loss變化

由表1、2、3可知,相比于U-Net、U-Net+Attention和Res-Unet模型,本研究模型增加了計(jì)算復(fù)雜度,但分割結(jié)果有明顯提升;相較于Swin-Unet模型,本研究模型參數(shù)更少且分割效果更好。表明FGA-Net雖然在診斷效率上不具備優(yōu)勢(shì),但在分割精度上相比經(jīng)典網(wǎng)絡(luò)模型得到了顯著提升。

為更直觀地觀察網(wǎng)絡(luò)分割效果的優(yōu)越性,本研究對(duì)不同算法的分割結(jié)果進(jìn)行了可視化處理,見(jiàn)圖6。由于圖像中鈣化區(qū)域較小,不易觀察,圖中鈣化分割結(jié)果使用乳腺鉬靶圖像為背景進(jìn)行表示,并將預(yù)測(cè)區(qū)域用紅色標(biāo)記,人工標(biāo)記區(qū)域用綠色標(biāo)記。由圖6可知,本研究網(wǎng)絡(luò)分割腫塊時(shí)可避免將圖像中的鈣化誤判為腫塊,且能夠使腫塊邊緣更加平滑;在分割鈣化時(shí),能夠較準(zhǔn)確地識(shí)別鈣化和周?chē)M織,不受纖維腺組織的互相重疊和遮擋的影響。由此可見(jiàn),本研究算法在腫塊和鈣化分割中均表現(xiàn)出了優(yōu)良性能,分割精度得到了有效提升,整體分割效果優(yōu)于其他經(jīng)典分割模型。

注:紅色表示預(yù)測(cè)區(qū)域,綠色表示人工標(biāo)記區(qū)域

2.3.2消融實(shí)驗(yàn) 為驗(yàn)證各模塊的有效性,消融實(shí)驗(yàn)分別在DDSM和INBreast1數(shù)據(jù)集上進(jìn)行,各包括4組實(shí)驗(yàn)。A組實(shí)驗(yàn)用于驗(yàn)證基礎(chǔ)網(wǎng)絡(luò)對(duì)于乳腺腫塊和鈣化的分割效果;B組實(shí)驗(yàn)用于驗(yàn)證向基礎(chǔ)網(wǎng)絡(luò)中添加自注意力機(jī)制后的分割效果;C組實(shí)驗(yàn)用于驗(yàn)證向基礎(chǔ)網(wǎng)絡(luò)中加入特征引導(dǎo)模塊后的分割效果;D組實(shí)驗(yàn)用于驗(yàn)證同時(shí)增加自注意力模塊和特征引導(dǎo)模塊(即本研究提出的特征引導(dǎo)注意網(wǎng)絡(luò))后網(wǎng)絡(luò)所達(dá)到的分割效果。

消融實(shí)驗(yàn)結(jié)果見(jiàn)表4、5、6。在表4中,對(duì)比A組和B組的分割結(jié)果發(fā)現(xiàn),自注意力模塊的引入,提升了模型的分割效果,Acc、mIoU和mDice分別提高了0.3%、6.3%和4%。C組在A組的基礎(chǔ)上添加特征引導(dǎo)模塊。對(duì)比A組和C組的分割結(jié)果發(fā)現(xiàn),添加特征引導(dǎo)模塊后,分割效果也具有一定提升,觀察到Acc、mIoU和mDice分別提高了0.2%、1.1%和1.3%。在表5中,與A組相比,加入自注意力的B組Acc雖降低了0.2%,但mIoU和mDice卻有明顯提升,分別提高了2.1%和0.8%;加入特征引導(dǎo)模塊的C組Acc也存在小幅降低,但mIoU和mDice仍然有一定的提升,分別提高了1.5%和0.2%。在表6中,與A組相比,加入自注意力的B組Acc、mIoU和mDice均有上升,分別上升了0.3%、3.7%和2.7%;加入特征引導(dǎo)模塊的C組僅Acc降低了0.3%,mIoU和mDice分別提高了2.1%和1.2%。通過(guò)對(duì)比發(fā)現(xiàn),添加特征引導(dǎo)模塊提升的分割效果低于添加自注意力。對(duì)比A、B、C和D四組實(shí)驗(yàn)結(jié)果發(fā)現(xiàn),本模型在乳腺腫塊和鈣化類型上取得了較好的分割效果。由表4、5、6可知,相較于骨干網(wǎng)絡(luò),本研究模型由Acc分別提高了0.6%、0.2%和0.5%;mIoU分別提高了8.1%、3.3%和5.3%;mDice分別提高了4.9%、2.0%和5.5%。說(shuō)明自注意力模塊和特征引導(dǎo)模塊均對(duì)于乳腺腫塊和鈣化分割具有有效性,兩者的組合模塊可進(jìn)一步提升乳腺腫瘤的分割精度。

表4 INBreast1數(shù)據(jù)庫(kù)腫塊分割消融實(shí)驗(yàn)結(jié)果

表5 INBreast1數(shù)據(jù)庫(kù)鈣化分割消融實(shí)驗(yàn)結(jié)果

表6 DDSM數(shù)據(jù)庫(kù)腫塊分割消融實(shí)驗(yàn)結(jié)果

此外,由表4、5、6可知,D組模型的參數(shù)大小為62.71 M,遠(yuǎn)高于A組和B組模型,略高于C組模型,表明本研究模型產(chǎn)生的參數(shù)量較高,訓(xùn)練速度較慢,但分割結(jié)果明顯高于其他三組。綜上所述,FGA-Net雖增加了計(jì)算負(fù)擔(dān),但在分割精度上相比其他三組模型得到了有效改進(jìn)。

3 結(jié)論

本研究提出了一種融合自注意力的乳腺癌鉬靶圖像特征引導(dǎo)分割算法,主要包含提取和學(xué)習(xí)特征信息的編碼器網(wǎng)絡(luò)和用于關(guān)注腫瘤區(qū)域和恢復(fù)邊緣細(xì)節(jié)特征的解碼器網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果表明,該算法可有效提高乳腺癌腫瘤的分割效果,對(duì)乳腺癌患者的早期檢測(cè)和治療有重要意義。但本研究模型也存在不足,相比其他模型,增加了計(jì)算負(fù)擔(dān),在一定程度上降低了診斷效率。如何在追求高分割精度的同時(shí),遵循輕量型設(shè)計(jì)是后續(xù)的研究重點(diǎn)。