国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

位置感知循環(huán)卷積與多尺度輸入的視網(wǎng)膜血管分割方法

2023-11-20 11:00:50江中川
計算機工程與應用 2023年21期
關鍵詞:集上視網(wǎng)膜注意力

江中川,吳 云

1.公共大數(shù)據(jù)國家重點實驗室,貴陽 550025

2.貴州大學 計算機科學與技術學院,貴陽 550025

視網(wǎng)膜是負責中央和外周視覺的光敏組織,而視網(wǎng)膜血管滋養(yǎng)和清潔視覺系統(tǒng)。視網(wǎng)膜血管形態(tài)的任何變化或損害都可能導致眼科和心血管疾病,如糖尿病視網(wǎng)膜病變(DR)、黃斑水腫(ME)、青光眼、白內障和高血壓[1-2]。視網(wǎng)膜圖像分割可以幫助臨床醫(yī)生通過研究視網(wǎng)膜血管的變化來發(fā)現(xiàn)病變。這種早期檢測可以幫助預防失明和許多其他視力障礙或以視網(wǎng)膜病變?yōu)樘卣鞯募膊。ㄈ鏒R)。不幸的是,由于視網(wǎng)膜眼底圖像的噪聲、對比度變化、光照不均勻以及血管的外觀、形狀、大小、位置和形狀的變化等復雜因素的影響,檢測是一個具有挑戰(zhàn)性的任務。

在早期,視網(wǎng)膜眼底圖像的篩查主要靠專家手工選擇,但是這種方式過于費時、費力,且依賴專家的處理經(jīng)驗,因此難以得到推廣。因此,自動化的視網(wǎng)膜血管分割方法成為提高眼科相關疾病診斷、早期發(fā)現(xiàn)和及時治療的合適篩查手段。

傳統(tǒng)的用于視網(wǎng)膜血管分割的無監(jiān)督學習方法有:基于閾值方法[3]、匹配濾波方法[4]、數(shù)學形態(tài)學方法[5]和基于模型方法等[6],這些方法主要利用眼底圖像特性與血管特征來對分割目標進行提取,相比傳統(tǒng)人工篩查的方式,具有耗時少,分割快的特點。但這些方法依賴于該領域的專家知識、數(shù)學運算和手工設計的特征提取策略來確定特征與預后的關系,這使得這些方法效率低下,無法進行準確的臨床診斷[7]。

近年來,隨著深度學習在計算機視覺方向的廣泛應用,如圖像分類、圖像分割、圖像去噪等,以卷積神經(jīng)網(wǎng)絡為核心的深度學習方法開始在視網(wǎng)膜血管分割領域嶄露頭角,取得了不錯的效果。Long 等人[8]提出FCN(fully convolutional networks),使用卷積層代替全連接層,同時,為解決卷積和池化導致圖像尺寸的變小,使用上采樣方式對圖像尺寸進行恢復,但分割結果較為粗糙、準確度較低。Ronneberger等人[9]提出U-Net,在FCN基礎上進行了改進,使用了一個編碼器-解碼器對稱的U形網(wǎng)絡,并在同層級的編碼器和解碼器之間使用了跳躍連接,通過連接上下文信息和定位信息來恢復丟失的空間信息,從而獲得精確分割結果輸出。Zhou 等人[10]使用了密集跳躍連接,并在跳躍路徑中引入了卷積,來減少編碼器與解碼器之間的特征誤差。Yue 等人[11]在U-Net 中使用了多尺度輸入層和密集塊,使網(wǎng)絡能夠利用更豐富的空間上下文信息。Oktay 等人[12]提出Att U-Net,通過引入門控注意力機制來加強分割目標特征的學習,忽略不重要的特征。

但由于眼底圖像成像復雜,噪聲干擾較多,微小血管分布不均等因素,這些分割方法難以準確分割血管邊界,且泛化性不足、網(wǎng)絡容易退化。本文提出MPR-Net(multi-scale parc residual-Net,MPR-Net),首先在編碼路徑中引入位置感知循環(huán)卷積(ParC)[13]與ECA 注意力[14]來獲取更大的感受野與精確的位置信息,加強對血管特征的獲取能力;然后通過多分辨率輸入來提供更豐富的原始特征信息,避免因層疊化的下采樣操作丟失過多的血管細節(jié)信息與網(wǎng)絡退化;最后在跳躍連接中使用殘差雙注意力模塊來抑制會對分割目標產(chǎn)生干擾的噪聲與多余特征表達,達到精確分割視網(wǎng)膜血管的目的。本文的主要貢獻如下:

(1)提出MPR-Net用于視網(wǎng)膜血管分割。MPR-Net通過結合ParC-ECA模塊與多尺度輸入模塊充分提取目標血管特征與位置信息,并避免血管細節(jié)信息丟失與網(wǎng)絡退化問題。

(2)為抑制多余噪聲的干擾并提升最終分割精度,在網(wǎng)絡跳躍連接中提出殘差雙注意力模塊來加強網(wǎng)絡對分割血管特征的學習,實現(xiàn)了更高的視網(wǎng)膜血管分割精度。

1 相關工作

1.1 卷積操作

CNN網(wǎng)絡中的卷積,也稱為濾波器,是由一組具有固定窗口大小且?guī)Э蓪W習參數(shù)(learnable paramerters)的卷積核所組成,可用于提取特征,是CNN網(wǎng)絡中最核心的組件。CNN的卷積層通過卷積操作提取輸入的不同特征,第1 層卷積層提取低級特征如邊緣、線條、角落,更高層的卷積層提取更高級的特征[15]。傳統(tǒng)卷積操作雖然能較好地提取圖像局部精細特征,但受限于卷積操作局限性,感受野較小,無法獲得更豐富地上下文信息,導致在視網(wǎng)膜血管分割等任務中表現(xiàn)不佳。

為了克服普通卷積感受野過小的缺點,Yu等人[16]提出了空洞卷積,在常規(guī)卷積的基礎上引入空洞的概念,使得網(wǎng)絡能夠同等卷積核的情況下擴大網(wǎng)絡的感受野,并動態(tài)控制卷積核之間的間隔。通過使用空洞卷積,可以在不改變特征圖的尺寸和不引入額外參數(shù)計算量的情況下,有效加大感受野,這在圖像分割、分類等任務中尤其重要。不過空洞卷積會引起網(wǎng)格效應,導致卷積核計算不連續(xù),這對視網(wǎng)膜血管這樣的細小目標分割任務來說是嚴重的問題。

Dai等人[17]提出了可變形卷積,極大改進了CNN提取不變性特征的能力??勺冃尉矸e將學習到的偏移量加入到標準卷積中的網(wǎng)格采樣位置上,使標準卷積的采樣位置發(fā)生變形,形成自適應變化的能力[18]。但可變形卷積的小目標特征提取能力較弱,且過多使用可變形卷積可能會導致過擬合問題[19],不能較好地應用到視網(wǎng)膜血管分割任務中。

1.2 視網(wǎng)膜血管分割

隨著深度學習方法在醫(yī)學圖像分割領域的廣泛應用與優(yōu)異表現(xiàn),基于深度學習技術的視網(wǎng)膜血管分割方法逐漸取代傳統(tǒng)分割方法,類U-Net網(wǎng)絡及其變體開始成為這一領域的主流。對于典型的U-Net網(wǎng)絡而言,來自淺層的特征包含豐富的空間細節(jié),而深層網(wǎng)絡層包含豐富的抽象語義信息,多尺度的信息流與特征塊融合能顯著提高網(wǎng)絡性能,Zhuang等人[20]提出LadderNet,LadderNet通過有多對編碼器-解碼器分支,并且在每一層的每一對相鄰的解碼器分支和解碼器分支之間都設置了跳躍連接,在視網(wǎng)膜血管分割任務中取得了顯著優(yōu)于U-Net 的成績。Zhou 等人[21]提出SEGAN,SEGAN 結合對抗生成網(wǎng)絡、多尺度特征細化塊與注意力機制來捕捉微小視網(wǎng)膜血管形態(tài)信息,提升分割精度。Guo 等人[22]提出CSGNet,利用多尺度和多方向特征模塊來學習語義豐富的低級特征和保留細節(jié)信息的高級特征,實現(xiàn)了更好的分割性能。但目前的主流視網(wǎng)膜血管分割方法均存在網(wǎng)絡退化、血管細節(jié)容易丟失的問題,特別是在微小血管和低對比度血管上的分割性能較差。

2 本文方法

2.1 本文網(wǎng)絡結構

在視網(wǎng)膜血管圖像中,眼底血管常呈現(xiàn)不同的形狀和大小,中央凹周圍的血管似乎更厚,當它們分叉時變得更薄,形成復雜的輪廓[23]。為了在提高分割的準確性與特征利用率,本文提出MPR-Net,其網(wǎng)絡結構圖如圖1所示。

圖1 MPR-Net網(wǎng)絡結構圖Fig.1 MPR-Net network architecture

在編碼路徑中,網(wǎng)絡在U-Net 的基礎上提出了ParC-ECA 模塊來進一步提取特征,模塊引入了位置感知循環(huán)卷積來提高全局特征利用率與提取能力,為鼓勵淺層次特征的融合與深層次特征的競爭,減少以往注意力機制壓縮降維對于學習通道之間的依賴關系影響,模塊中應用了ECA注意力機制來抑制會對分割血管形態(tài)產(chǎn)生干擾的特征表達并加強對目標特征的學習。同時網(wǎng)絡在下采樣過程中結合多尺度輸入模塊來找回因層疊化的下采樣操作而損失的細節(jié)信息,對于給定的輸入大小為48×48 的原始圖像,分別經(jīng)過3 個多尺度輸入模塊,得到大小分別為24×24、12×12 和6×6 的圖像,并將這些圖像與相應編碼級別的特征向量相加,得到編碼路徑最終的特征圖。

在解碼路徑中,使用U-Net中的跳躍連接來連接同一層級中的編碼器與解碼器,使網(wǎng)絡學習到粗、細粒度特征的位置信息和全局語義信息之間的關系,下采樣后的特征圖在經(jīng)過3 次上采樣操作后經(jīng)過一個Conv Block 來調整輸出通道數(shù)以得到分割結果圖,這樣做是因為需要預測的像素有兩種類別,分別對應血管前景區(qū)域和黑色背景區(qū)域。

2.2 ParC-ECA模塊

在原始U-Net 中,使用3×3 的卷積塊來對圖像進行特征提取,但傳統(tǒng)卷積操作盡管有著出色的平移不變性與局部細節(jié)特征提取能力,但缺乏全局特征學習能力與較大的感受野,而單純的堆疊下采樣模塊雖能逐步擴大感受野,但也會帶來細節(jié)特征丟失的問題,對類似視網(wǎng)膜血管這樣的細小目標分割任務尤為不利。為了克服這一問題,本文將結合傳統(tǒng)卷積、位置感知循環(huán)卷積(ParC)、ECA注意力機制來提取血管局部-全局特征,使得網(wǎng)絡有著更好的特征提取能力,在保留對微小血管形態(tài)特征關注能力的同時,增強對全局特征的關注能力,ParC-ECA Block的內部示意圖如圖2所示。

圖2 ParC-ECA模塊Fig.2 ParC-ECA block

對于輸入特征圖x∈RH′×W′×C′,先經(jīng)過一個3×3卷積塊、BN 層(batch normalization)、Relu 激活函數(shù)來對輸入特征圖中血管特征進行預提取,在對預提取后的特征在橫、縱兩個方向上進行循環(huán)卷積操作,此過程如圖2(b)部分所示,其中ParC-V是垂直方向的,另一種是水平方向的ParC(ParC-H)。ParC-V 和ParC-H 的接收域分別覆蓋同一列和同一行中的所有像素。聯(lián)合使用ParC-V和ParC-H可以從所有輸入像素中提取全局特征。

以垂直方向上的ParC-V 為例,在位置(i,j)處的特征計算方法如公式(1)所示:

其中,pev表示實例位置嵌入,用于保持輸出特征對空間位置的敏感。雖然循環(huán)卷積可以提取全局特征,但它會干擾原始輸入的空間結構。對于分類,保持空間結構可能不是一個大問題。對于視網(wǎng)膜血管分割這種對位置信息十分敏感的任務,保持空間結構確實很重要。

而在Vision Transformer 中通過嵌入位置編碼模塊便能有效地記憶輸入特征圖的空間結構信息,因此,在循環(huán)卷積計算過程中,引入pe來保持空間結構不被擾動。而且相較于Transformer中復雜的二次計算來獲取全局特征,ParC 循環(huán)卷積在大大降低計算復雜度的同時,能夠從全局空間提取全局特征和像素之間的交互信息。

同理可得水平方向上ParC-H計算方法為:

在分別使用水平方向與垂直方向的循環(huán)卷積來計算完特征后,將其在通道維度進行拼接,便完成了對全局特征的提取,但視網(wǎng)膜血管分割任務對于細節(jié)特征信息要求較高,因此繼續(xù)使用3×3卷積塊來進一步細化特征,加強局部特征的表達。

在交替使用傳統(tǒng)卷積與循環(huán)卷積對輸入特征圖的局部、全局特征提取后,為鼓勵淺層次特征的融合與深層次特征的競爭,模塊使用ECA 注意力來進行特征過濾,相較于以往卷積模塊通常使用的SE 通道信息注意力[24],ECA 注意力避免了SE 通道注意力需要降維來進行跨通道交互的弊端。

如圖3所示,ECA注意力使用不降維的GAP聚合卷積特征后,首先自適應確定核大小k,然后進行一維卷積,再通過Sigmoid 激活函數(shù)學習通道方向上的注意力,有效地捕獲了各通道之間的依賴,最終輸出經(jīng)過過濾后的特征圖x∈RH′×W′×C′。

圖3 ECA注意力模塊Fig.3 ECA attention block

2.3 多尺度輸入模塊

在U-Net網(wǎng)絡及各種變體中,多級下采樣操作是擴大感受野、提取圖像全局、局部特征與位置信息的常用手段,但原始圖像在經(jīng)過多次下采樣的過程中,類似微小血管的形態(tài)分布特征與精確位置信息會發(fā)生丟失,降低網(wǎng)絡特征提取的效果。本文在網(wǎng)絡下采樣過程中,通過數(shù)個多尺度輸入模塊,對編碼器每一層級提取后的特征進行加強,避免因細節(jié)丟失而導致的分割精度降低。

多尺度輸入模塊設計如圖4所示,對于原始特征圖x∈RH×W×C,根據(jù)不同編碼層級的特征圖尺寸,經(jīng)過相應大小的池化層,然后使用3×3的卷積塊來細化經(jīng)過最大池化后的特征,最終使用BN層進行批標準化,獲得校準后的輸出。

圖4 多尺度輸入模塊Fig.4 Multi-scale input module

2.4 殘差雙注意力模塊

眼底血管分布較為不均,其中血管分支紋路較為多變,在下采樣過程中極易丟失這部分血管細節(jié)特征信息,為提高分割準確率,本文在原始U-Net 跳躍連接的基礎上,結合空間、通道注意力機制與殘差連接思想,提出殘差雙注意力模塊,來對每一層級跳躍連接中的特征進行細化與過濾,通過卷積操作與注意力機制來強化血管的邊緣特征并抑制那些會對血管分割產(chǎn)生干擾的噪聲信息。

殘差雙注意力模塊設計如圖5所示,對于輸入特征圖x∈RH′×W′×C′,使用兩個3×3 卷積塊、BN 層(batch normalization)、Relu激活函數(shù)來對微小血管特征進行強化學習,然后將處理后的特征圖通過CBAM模塊[25]來對潛在噪聲干擾進行抑制,并提升那些會包含分割目標類別特征的通道權重,使得血管特征更加突出,加強跳躍連接的效果,最終結合殘差連接的思想,將輸入特征圖x∈RH′×W′×C′與經(jīng)過權重計算后的特征執(zhí)行相加操作,得到經(jīng)過模塊處理后的特征圖x∈RH′×W′×C′。

圖5 殘差雙重注意力模塊Fig.5 Residual spatial channel attention block

CBAM模塊結合了通道(Channel)注意力機制和空間(Spatial)注意力機制,在維度和空間兩個方向上對輸入特征進行了權重計算,實現(xiàn)了通道注意力與空間注意力的雙機制。模塊的結構圖如圖6所示,先將輸入特征F經(jīng)過通道注意力模塊得到模塊輸出Fc,再將輸出Fc輸入空間注意力模塊得到最終的輸出F′。

圖6 CBAM模塊Fig.6 CBAM module

通道注意力模塊如圖7所示,輸入特征圖F分別經(jīng)過全局平均池化和全局最大池化,生成兩個大小為(C′,1,1)的權重向量,將這兩個權重向量送入同一個共享參數(shù)的MLP 網(wǎng)絡,并將經(jīng)過此網(wǎng)絡映射后的兩個權重相加,經(jīng)過一個Sigmoid 激活函數(shù)后與原輸入特征圖F相乘,得到通道注意力模塊的輸出Fc。

圖7 通道注意力模塊Fig.7 Channel attention module

空間注意力模塊如圖8 所示,輸入特征圖Fc分別經(jīng)過全局平均池化和全局最大池化,生成兩個大小為(1,H,W)的權重向量,將這兩個特征圖在維度方向進行堆疊,形成特征圖空間權重,并通過一個卷積層來將堆疊后的特征圖變成特征空間權重,經(jīng)過一個Sigmoid 激活函數(shù)后與輸入特征圖Fc相乘,得到模塊的最終輸出F′。

圖8 空間注意力模塊Fig.8 Spatial attention module

3 實驗結果與分析

3.1 實驗數(shù)據(jù)集

CHASE_DB1 數(shù)據(jù)集[26]:CHASE_DB1 是一個包含28 張30°視場FOV 下的彩色視網(wǎng)膜圖像,大小為999×960,每一幅圖像都由兩個這方面的專家進行人工注釋。在本文實驗中,將按照8∶1∶1的比例將圖片劃分為訓練集、驗證集與測試集。

Drive 數(shù)據(jù)集[27]:Drive 是一個用于視網(wǎng)膜血管分割的彩色視網(wǎng)膜圖像數(shù)據(jù)集,它由40張照片組成,大小為565×584,其中7 張顯示出輕度早期糖尿病視網(wǎng)膜病變跡象。每幅圖像都由2 位不同專家的手工標注,如圖9所示。在本文實驗中,將按照8∶1∶1的比例將圖片劃分為訓練集、驗證集與測試集。

圖9 DRIVE數(shù)據(jù)集部分圖像Fig.9 Partial image of DRIVE

3.2 數(shù)據(jù)預處理

原始的視網(wǎng)膜圖像對比度較低,血管分布不明顯,且噪聲干擾較多,對視網(wǎng)膜血管分割任務有一定的影響,會降低分割的精確度。因此在將數(shù)據(jù)集圖片輸入網(wǎng)絡模型之前,會對其進行預處理,包括(1)灰度轉換;(2)圖像標準化;(3)對比度受限自適應直方圖均衡化;(4)伽馬校正。在完成前幾個步驟之后,由于Drive數(shù)據(jù)集與CHASE_DB1數(shù)據(jù)集提供的訓練圖片較少,不能很好地提高網(wǎng)絡的泛化性,需要對圖片進行切片擴充操作[28]:使用48×48大小的窗口隨機切分經(jīng)過預處理之后的眼底圖片和相對應的金標準,并對切分好的視網(wǎng)膜圖片進行隨機翻轉,共切分出24 830 張訓練圖片,部分切片后的圖片如圖10所示。

圖10 部分切片后的圖像及其對應的金標準Fig.10 Partial slice image and corresponding gold standard

在測試階段,使用同樣大小的滑動窗口來對測試圖片進行切分,并在推理完成后將切分后的預測圖片進行還原拼接,得到最終分割結果。

3.3 評價指標

在圖像分割任務中,準確率(ACC)、特異性(SP)、靈敏度(SE)、F1-score和受試者工作特征曲線ROC下的面積(AUC)五個指標常作為評價模型分割結果優(yōu)劣的標準,本文也將其作為評價指標,其公式如表1所示。

表1 評價指標的公式Table 1 Formula of evaluation index

其中,真陽性TP為正確分類的血管像素個數(shù),真陰性TN正確分類的背景點像素個數(shù),假陽性FP為背景像素誤分成血管像素的個數(shù),假陰性FN 為血管像素誤分成背景像素的個數(shù)。

3.4 實驗設置

本文所有的實驗代碼都是在PyTorch 1.11.0 框架中實現(xiàn)的,在訓練與測試階段,模型運行在一個包含NVIDIA GeForce RTX 2080Ti、32 GB 內 存、3700x CPU、Ubuntu 20.04操作系統(tǒng)的實驗平臺上。在訓練中使用AdamW作為優(yōu)化器并采用余弦退火學習率優(yōu)化算法來讓模型有更好的性能表現(xiàn),其中初始學習速率為1E-5,最終學習速率為1E-6,批量大小設置為64,epoch輪數(shù)設置為50,細節(jié)參數(shù)設置如表2所示。

表2 訓練參數(shù)設置Table 2 Training parameter setting

3.5 實驗結果

為了驗證本文所提出方法在視網(wǎng)膜血管分割上的有效性和可行性,在DRIVE 和CHASE_DB1 兩個常用公開數(shù)據(jù)集上對MPR-Net 與其他表現(xiàn)優(yōu)異的基于深度學習的分割方法進行比較,比較結果如表3和表4所示,其中最優(yōu)指標加粗表示。

表3 MPR-Net與其他方法在DRIVE數(shù)據(jù)集上的比較Table 3 Comparison between MPR-Net with other methods on DRIVE 單位:%

表4 MPR-Net與其他方法在CHASE_DB1數(shù)據(jù)集上的比較Table 4 Comparison between MPR-Net with other methods on CHASE_DB1 單位:%

由表3、表4可以看出,本文所提出方法在兩個不同眼底圖像數(shù)據(jù)集上表現(xiàn)優(yōu)異,在眼底血管分割性能上強于其他分割網(wǎng)絡模型,在DRIVE數(shù)據(jù)集上,MPR-Net的F1-score 系數(shù)、ACC 系數(shù)、AUC 系數(shù)三個主要指標均已達到最優(yōu)并相較于次優(yōu)的模型分別提高了0.10、0.15、0.13個百分點。在CHASE_DB1數(shù)據(jù)集上,MPR-Net的F1-score 系數(shù)、SP 系數(shù)、AUC 系數(shù)三個主要指標達到最優(yōu),相較于次優(yōu)的模型分別提高了1.21、0.14、0.09 個百分點。

圖11是使用典型視網(wǎng)膜分割方法與本文方法的對比圖,可以看出本文方法相較U-Net、LadderNet 在圖像微小血管分割方面有更好的表現(xiàn),特別是微小血管的鏈接處與分叉末梢,由圖11可以看出,U-Net、LadderNet在分割這些區(qū)域時,有較為嚴重的血管斷裂現(xiàn)象,且血管邊界模糊。本文提出的方法則極大地改善了分割時微小血管斷裂的現(xiàn)象,并保留了清晰光滑的血管邊界。同時在對比度較低、受偽影干擾較多的區(qū)域,依舊能精確定位血管位置,正確區(qū)分背景與分割目標,這說明本文提出的方法在處理視網(wǎng)膜血管分割任務時具有較強的魯棒性與泛化性。模型中的ParC-ECA模塊能改善傳統(tǒng)卷積塊在微小血管目標特征提取方面存在的不足。該模塊中的ParC(位置敏感循環(huán)卷積)可以同時獲得全局感受野和位置敏感特征,從而挖掘視網(wǎng)膜血管圖像中容易丟失的位置特征信息。而ECA注意力機制可以進一步增強模型對分割目標的關注度,從而提升分割性能。同時多尺度輸入模塊能避免分割過程中因多重下采樣導致的血管細節(jié)丟失,在每一層級對目標特征信息進行補充。同時模型在跳躍連接中使用了RSCA 殘差雙注意力模塊來避免多余噪聲對定位血管邊界的干擾,在跳躍連接中對分割目標關鍵信息進行重校準,由圖11 可以看出,本文方法能保留更多微小血管形態(tài)特征,血管丟失的情況更少。

圖12展示了本文方法在DRIVE數(shù)據(jù)集與CHASE_DB1數(shù)據(jù)集上的ROC曲線圖,其中圖12(a)部分表示本文方法在DRIVE數(shù)據(jù)集上的ROC曲線,(b)部分則表示本文方法在CHASE_DB1數(shù)據(jù)集上的ROC曲線。ROC曲線反映了假陽性樣本(FPR)和真陽性樣本(TPR)之間的關系,其中AUC(area under curve)被定義為ROC 曲線下與坐標軸圍成的面積,當AUC 的值越貼近1 說明模型的性能越好,本文方法在2 個數(shù)據(jù)集上的AUC 值分別為0.984 3 和0.988 1,相對于其他主流分割方法均有所提高。

圖12 本文方法在兩個數(shù)據(jù)集上的ROC曲線圖Fig.12 ROC curves of proposed method on two datasets

在視網(wǎng)膜血管分割任務中,模型常常會出現(xiàn)網(wǎng)絡過擬合與退化問題,本文在數(shù)據(jù)處理時對兩個數(shù)據(jù)集進行了數(shù)據(jù)增強與切片擴充,防止因數(shù)據(jù)樣本不足而導致的過擬合問題,同時網(wǎng)絡在編碼路徑中每一層級都通過多尺度輸入模塊對輸入特征進行加強,使得網(wǎng)絡的泛化性與健壯性得到提升,避免網(wǎng)絡性能隨著訓練反而出現(xiàn)退化。

3.6 消融實驗

為進一步驗證MPR-Net中各模塊的有效性,本文將在公共數(shù)據(jù)集DRIVE、CHASE_DB1 上進行消融實驗,結果如表5、表6所示,其中最優(yōu)指標加粗表示。

表5 MPR-Net在DRIVE數(shù)據(jù)集上的消融實驗結果Table 5 Results of ablation experiments on DRIVE單位:%

表6 MPR-Net在CHASE_DB1數(shù)據(jù)集上的消融實驗結果Table 6 Results of ablation experiments on CHASE_DB1單位:%

由表5 可知,在DRIVE 數(shù)據(jù)集上,在原始U-Net 網(wǎng)絡的基礎上,將DoubleConv Block 替換為ParC-ECA Block 后,F(xiàn)1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)都分別上升了2.86、0.45、1.03、0.41、0.51 個百分點,這說明了相較于基于傳統(tǒng)卷積塊的網(wǎng)絡,融合普通卷積、位置感知循環(huán)卷積與ECA注意力的ParC-ECA Block能更好地提取圖像的全局、局部特征,包括微小血管的形態(tài)與位置信息。在以U-Net為基礎的網(wǎng)絡上添加RSCA 殘差雙注意力模塊則在F1-score、ACC系數(shù)上有較大提升,表明RSCA模塊通過對跳躍連接中的特征進行雙注意力校準與殘差連接能有效過濾那些背景噪聲的干擾,提升分割準確性。在U-Net網(wǎng)絡上添加Multi-Scale Input 多尺度輸入模塊能有效提升F1-score、ACC 系數(shù)、SP 系數(shù)、AUC 系數(shù),在每一層級上對輸入特征進行加強,找回因下采樣過程中丟失的細節(jié)信息,避免網(wǎng)絡退化。在分別完成各模塊對網(wǎng)絡的影響測試后,將ParC-ECA Block、Multi-Scale Input 多尺度輸入模塊、RSCA殘差雙注意力模塊與U-Net進行整合,即MPR-Net,F(xiàn)1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)相較于基線U-Net 模型,分別提高了3.31、0.6、4.99、0.09 和0.54 個百分點,說明了本文提出方法的有效性。

表6 數(shù)據(jù)顯示,在CHASE_DB1 數(shù)據(jù)集上,增加了各個模塊的基線網(wǎng)絡評價指標較原始U-Net 均有所提升,而融合各個模塊的MPR-Net 網(wǎng)絡模型在F1-score、ACC 系數(shù)、SE 敏感性系數(shù)、SP 特異性系數(shù)、AUC 系數(shù)上,較之基線U-Net 模型分別提高了5.56、1.06、2.09、0.41 和0.77 個百分點。可以看出,本文提出的方法,改進了以往基于深度學習方法在視網(wǎng)膜血管分割中常見的血管位置信息丟失、受噪聲干擾大、網(wǎng)絡退化的問題,并在各項評價指標中對比其他先進模型均有一定領先,能較好地完成視網(wǎng)膜血管分割任務。

4 結束語

針對視網(wǎng)膜眼底圖像血管分割精度低的問題,本文提出一種結合位置感知循環(huán)卷積、多尺度輸入的視網(wǎng)膜血管分割方法。在編碼路徑上使用具有位置感知循環(huán)卷積、普通卷積與ECA注意力的ParC-ECA模塊來提取視網(wǎng)膜血管全局、局部特征信息并結合多尺度輸入模塊來找回因多次下采樣操作丟失的細節(jié)特征;在跳躍連接中使用殘差雙注意力模塊來抑制對會分割結果造成干擾的特征表達、加強對微小血管特征的學習,提高網(wǎng)絡精確分割視網(wǎng)膜血管的能力。實驗結果表明,本文方法在視網(wǎng)膜血管分割任務中有較好的表現(xiàn),優(yōu)于現(xiàn)有方法,不僅具有較好的魯棒性與泛化性,而且對微小血管也有較高的定位分割能力。但模型中多尺度輸入模塊對編碼路徑中每一層級特征融合方式仍有改進的空間,在后續(xù)的工作中,將嘗試繼續(xù)改進此方法,使其在視網(wǎng)膜血管分割中有更好的表現(xiàn)。

猜你喜歡
集上視網(wǎng)膜注意力
深度學習在糖尿病視網(wǎng)膜病變診療中的應用
讓注意力“飛”回來
家族性滲出性玻璃體視網(wǎng)膜病變合并孔源性視網(wǎng)膜脫離1例
高度近視視網(wǎng)膜微循環(huán)改變研究進展
Cookie-Cutter集上的Gibbs測度
鏈完備偏序集上廣義向量均衡問題解映射的保序性
復扇形指標集上的分布混沌
“揚眼”APP:讓注意力“變現(xiàn)”
傳媒評論(2017年3期)2017-06-13 09:18:10
復明片治療糖尿病視網(wǎng)膜病變視網(wǎng)膜光凝術后臨床觀察
A Beautiful Way Of Looking At Things
胶南市| 广安市| 博湖县| 图们市| 双辽市| 赤水市| 将乐县| 昭苏县| 咸宁市| 滦平县| 金堂县| 黔南| 名山县| 深泽县| 和林格尔县| 德钦县| 沁水县| 木兰县| 临漳县| 关岭| 米脂县| 红河县| 思南县| 津南区| 邢台市| 元阳县| 清丰县| 唐海县| 前郭尔| 常德市| 英超| 余干县| 富蕴县| 安乡县| 宝清县| 东兴市| 巩留县| 朝阳市| 珲春市| 济南市| 阳信县|