鄭麗萍 張?zhí)焓? 曹珂崯

摘? 要：彩色眼底圖像的視網(wǎng)膜血管分析可以幫助醫(yī)生診斷許多眼科和全身性疾病，具有十分重要的臨床意義。為進一步提高視網(wǎng)膜血管的分割效果，文章提出一個基于注意力U-Net網(wǎng)絡(luò)的視網(wǎng)膜血管分割方法，該方法使用U-Net結(jié)合通道注意力機制以提高分割準確率，在公開數(shù)據(jù)集DRIVE的靈敏度、特異性和準確率分別為0.772 6，0.984 7和0.966 0，優(yōu)于現(xiàn)有的許多方法。

關(guān)鍵詞：注意力；U-Net；血管分割

中圖分類號：TP391.4? 文獻標識碼：A? 文章編號：2096-4706（2023）06-0065-04

Segmentation of Retinal Vascular in Color Fundus Images Based on Attention U-Net Network

ZHENG Liping， ZHANG Tianshu， CAO Keyin

（Jiangsu Vocational College of Electronics and Information， Huaian? 223001， China）

Abstract： Retinal vascular analysis of color fundus images can help doctors diagnose many ophthalmic and systemic diseases， which is of great clinical significance. To further improve the segmentation effect of retinal vascular， this paper proposes a retinal vascular segmentation method based on attention U-Net network， which uses U-Net and channel attention mechanism to improve segmentation accuracy， The sensitivity， specificity and accuracy of DRIVE in the open dataset are 0.772 6， 0.984 7 and 0.966 0 respectively， which are superior to many existing methods.

Keywords： attention; U-Net; vascular segmentation

0? 引? 言

眼睛是人類接受外部信息的重要器官之一，而隨著年齡的增長各種眼科疾病的發(fā)病率會顯著上升。眼底的視網(wǎng)膜血管是人類全身血管系統(tǒng)中唯一可以無創(chuàng)觀察到的部分，視網(wǎng)膜血管的變化不僅可以觀察到各種眼科致盲疾病，還可以診斷身體各種全身性疾病，例如糖尿病[1]。彩色眼底圖像的視網(wǎng)膜血管分割可以幫助醫(yī)生細致的觀察到視網(wǎng)膜的寬度和分叉形態(tài)的變化，這有助于對各種眼科和全身性疾病的前期診斷[2]，避免疾病進一步惡化。因此，使用圖像處理技術(shù)對彩色眼底圖像進行視網(wǎng)膜血管分割具有重要的臨床意義和研究價值。圖1（a）為正常彩色眼底圖，圖1（b）為早期糖尿病彩色眼底病變圖，圖1（c）為手動正常彩色眼底血管分割圖像。

近年來，許多國內(nèi)外學(xué)者進行了大量彩色眼底圖像視網(wǎng)膜血管分割的研究，其中根據(jù)是否需要先驗的標簽信息可以分為有監(jiān)督的分割方法和無監(jiān)督的分割方法兩類。無監(jiān)督的視網(wǎng)膜血管分割方法不需要提供額外的標簽信息，Zhang等人[3]協(xié)同使用匹配濾波對視網(wǎng)膜血管進行分割，該方法協(xié)同使用局部和全局特征，在當時取得了不錯的效果。Fraz等人[4]使用4個不同方向的高斯濾波得到中心線，然后使用頂帽變換增加血管信息，最后，選出候選區(qū)域并以血管中心線上的點初始點，在候選區(qū)域使用區(qū)域生長法不停填充血管。無監(jiān)督的方法雖然在前期可以減少制作標簽的工作量，但其分割效果受到的選取人工特征的影響較大，并且泛化能力較弱。

有監(jiān)督的方法需要在前期訓(xùn)練提供相應(yīng)的標簽信息，現(xiàn)在主流的有監(jiān)督的分割方法主要是基于深度學(xué)習的算法，Almo等人[5]利用U-Net[6]、殘差網(wǎng)絡(luò)和遞歸卷積神經(jīng)網(wǎng)絡(luò)創(chuàng)建RU-Net和R2U-Net，在視網(wǎng)膜血管分割任務(wù)上表現(xiàn)出優(yōu)秀的性能。Soomro等人[7]設(shè)計了一個全卷積神經(jīng)網(wǎng)絡(luò)進行精細視網(wǎng)膜血管分割，該方法包括預(yù)處理和后處理的過程，預(yù)處理用來處理照明不均勻，而后處理步驟用于去除背景噪聲像素。孟嫻靜等人[8]改進了SegNet[9]進行眼底圖像的視網(wǎng)膜血管分割，他們根據(jù)數(shù)據(jù)特征設(shè)計了不同的編碼塊和解碼塊，并在解碼的最后階段結(jié)合不同尺度的特征以提高網(wǎng)絡(luò)的性能。進一步的研究使用深度學(xué)習中卷積神經(jīng)網(wǎng)絡(luò)結(jié)合注意力機制進行視網(wǎng)膜血管分割，表現(xiàn)也十分出色，陳林等人[10]構(gòu)建了一個基于殘差模塊與CBAM注意力機制模塊的混合編-解碼網(wǎng)絡(luò)，在DRIVE、STARE和CHASE_DB1數(shù)據(jù)集上都取得了不錯的效果，鄧小波等人[11]設(shè)計了一個雙通路卷積神經(jīng)網(wǎng)絡(luò)DPCA-Net分割視網(wǎng)膜血管，其中網(wǎng)絡(luò)的主路徑和次路徑都融合了通道注意力機制來自適應(yīng)預(yù)測潛在的關(guān)鍵特征，它在DRIVE數(shù)據(jù)集上取得了95.58%的準確率。

綜上，本文構(gòu)建一個基于注意力U-Net網(wǎng)絡(luò)[6]用于實現(xiàn)彩色眼底圖像的視網(wǎng)膜血管分割，進一步提高了視網(wǎng)膜血管分割的準確性。我們通過實驗驗證本文提出方法的有效性，在DRIVE數(shù)據(jù)集[12]上Se為0.772 6，Sp為0.984 7，Acc為0.966 0，優(yōu)于現(xiàn)有的許多方法。

1? 相關(guān)方法

本文采用一個基于注意力U-Net網(wǎng)絡(luò)用來完成彩色眼底圖像的視網(wǎng)膜血管分割，整體網(wǎng)絡(luò)主要包骨干網(wǎng)絡(luò)U-Net和通道注意力機制兩個部分。

1.1? U-Net

U-Net[6]是由Ronneberger等人創(chuàng)建的像素級分類網(wǎng)絡(luò)，它常被用在生物醫(yī)學(xué)圖像處理當中，本文采用U-Net作為彩色眼底圖像的視網(wǎng)膜分割任務(wù)的骨干網(wǎng)絡(luò)。U-Net的網(wǎng)絡(luò)結(jié)構(gòu)[6]如圖2所示，從圖中可以看出U-Net分為左邊的編碼階段和右邊的解碼階段兩個階段，編碼階段是由交替的卷積層（conv3×3，ReLu）和下采樣層（max pooling 2×2）組成，編碼階段用來提取圖像的高級語義信息，解碼階段則是由卷積層（conv3×3，ReLu）和上采樣層（up-conv 2×2）交替組成，編碼階段把編碼階段提取到的特征圖還原到原圖大小，編碼階段和解碼階段對應(yīng)的層存在跳層連接（copy and crop），它可以結(jié)合淺層信息和深層信息，降低編碼階段的下采樣所帶來的信息損失。

1.2? 通道注意力機制模塊

在彩色眼底圖像的視網(wǎng)膜分割任務(wù)當中，每一個通道的圖像都包含不同比重的視網(wǎng)膜血管信息，因此本文在骨干網(wǎng)絡(luò)的基礎(chǔ)上建立通道注意力機制模塊，它用來自適應(yīng)的給不同的通道賦予不同的權(quán)重，即包含視網(wǎng)膜血管信息多的通道分配的權(quán)重就大，以此讓U-Net的注意力聚焦到圖像中“那些”是視網(wǎng)膜血管的部分，增加最終網(wǎng)絡(luò)的分割效果。

本文創(chuàng)建的通道注意力機制模塊如圖3所示，特征圖進入通道注意力機制模塊時首先經(jīng)過一個最大池化與平均池化的concat操作，隨后進入一個兩層的感知機，在感知機中第一層神經(jīng)元數(shù)為原通道數(shù)/16，第二層神經(jīng)元數(shù)為原通道數(shù)，最后通過一個sigmoid函數(shù)并乘以原特征圖得到通道注意力，經(jīng)過本文的通道注意力機制后原特征圖的通道數(shù)和大小都沒有改變，這使得本文的通道注意力機制可以方便地嵌入到各種骨干網(wǎng)絡(luò)當中。

最終本文所使用的網(wǎng)絡(luò)是U-Net結(jié)合通道注意力機制模塊，我們在U-Net的編碼每個下采樣層之前和解碼階段的和每個上采樣層之后放入了通道注意力機制模塊，以改善模型的分割效果。

2? 數(shù)據(jù)集

2.1? 數(shù)據(jù)集介紹

本文采用視網(wǎng)膜血管公開數(shù)據(jù)集DRIVE[12]作為本文實驗用數(shù)據(jù)集，DRIVE數(shù)據(jù)集是2004年Niemeijer團隊為了篩選荷蘭糖尿病患者的視網(wǎng)膜病變工作而建立的彩色眼底圖像數(shù)據(jù)集[13]，該數(shù)據(jù)集包括40張彩色視網(wǎng)膜圖像，其中7張圖像是早期糖尿病視網(wǎng)膜病變的，另外33張是正常人的彩色眼底圖像，每張圖的分辨率為565×584。DRIVE數(shù)據(jù)集本身就區(qū)分了訓(xùn)練集和測試集，訓(xùn)練集和測試集分別為20張不同的彩色眼底圖像，且每張圖像都配有專家手動分割的血管標簽圖像。

2.2? 數(shù)據(jù)預(yù)處理方法

彩色眼底圖像由專業(yè)團隊專門采集而來，但由于受到相機的性能、光照和病人眼底病例結(jié)構(gòu)的不同等影響，這將導(dǎo)致每張圖的質(zhì)量大不相同，并且由于DRIVE的訓(xùn)練集只有20張圖像，對于深度學(xué)習訓(xùn)練來說數(shù)據(jù)相對較少，以上原因都會進一步會影響到網(wǎng)絡(luò)的最終效果，因此在網(wǎng)絡(luò)訓(xùn)練之前需要對所有訓(xùn)練用的圖像進行預(yù)處理和數(shù)據(jù)增強操作。

2.2.1? 分割通道

DRIVE數(shù)據(jù)集所采集的圖像是R、G、B三通道的圖像，然而這三個通道中含有一些無用信息。圖4中（b）（c）和（d）分別為分割原圖的R、G、B三通道的圖像，可以從圖中觀察到G通道可以更清楚地看到眼底的各種細節(jié)，例如血管和滲出物。R通道圖像和B通道圖像則存在大量的噪聲，有些眼底的細節(jié)特征消失。因此，最終本文選用G通道圖像作為最終訓(xùn)練的圖像。

2.2.2? 數(shù)據(jù)增強

DRIVE的訓(xùn)練集只有20張圖像，而深度學(xué)習需要大量數(shù)據(jù)進行訓(xùn)練才能有良好的效果，因此我們在原訓(xùn)練集的基礎(chǔ)上進行了旋轉(zhuǎn)和翻轉(zhuǎn)的數(shù)據(jù)增強操作以增加訓(xùn)練集的數(shù)據(jù)量，數(shù)據(jù)增強的結(jié)果如圖5所示，最終我們把訓(xùn)練集變成了原本的6倍一共120張圖像。

3? 實驗與結(jié)果

3.1? 實驗環(huán)境

本實驗基于PyTorch深度學(xué)習框架對網(wǎng)絡(luò)進行訓(xùn)練和測試，實驗環(huán)境為Windows 10、Cpu Intel Core i3-10100F、DDR4 3200 MHz和NVIDIA GPU 1080TI。

3.2? 評價指標

為了驗證我們所提出方法的有效性，本文采用靈敏度（Sensitivity， Se），特異性（Specificity， Sp）和準確率（Accuracy， Acc）作為網(wǎng)絡(luò)的評價指標來評價算法的性能，其中Se代表分割正確的血管點占總正確血管點的比例，Sp代表分割正確的背景點占總正確背景點的比例，Acc代表分割正確的像素點占整個圖像像素點的比例，三個指標的計算公式為：

（1）

（2）

（3）

三個公式中參數(shù)含義如下：

（1）真陽性（TP）：血管點被正確分為血管點。

（2）假陰性（FN）：血管點被錯誤的分為非血管點。

（3）假陽性（FP）：非血管點被錯誤的分為血管點。

（4）真陰性（TN）：非血管點被正確的分類為非血管點。

3.3? 實驗結(jié)果與分析

本文首先對DRIVE的測試集進行測試，測試結(jié)果如圖6所示，其中第一列為原圖像，第二列為專家手工標注的圖像，第三列是網(wǎng)絡(luò)預(yù)測的結(jié)果，從圖像中可以看出本文提出的方法可以有效分割出圖像中的視網(wǎng)膜血管，為相關(guān)疾病的診斷提供參考。

為了進一步驗證本文提出方法的有效性，本文與目前先進的算法在DRIVE數(shù)據(jù)集上的結(jié)果進行對比，如表1所示。從實驗結(jié)果可以看出，本文提出的方法的Acc與Sp是這些方法中最高的，分別為0.966 0和0.984 7，Se為0.772 6僅低于ALom[14]所提出的方法，這說明本文提出的方法可以有效地分割出彩色眼底圖像的視網(wǎng)膜血管。

4? 結(jié)? 論

本文構(gòu)建了一個注意力機U-Net網(wǎng)絡(luò)用于分割彩色眼底圖像的視網(wǎng)膜血管。首先對DRIVE數(shù)據(jù)集進行預(yù)處理，本文采用分割通道的方式取出彩色眼底圖像G通道圖像作為網(wǎng)絡(luò)的輸入圖像，隨后對訓(xùn)練集進行數(shù)據(jù)增強的操作以增加數(shù)據(jù)量，隨后構(gòu)建通道注意力機制結(jié)合U-Net網(wǎng)絡(luò)進一步提高視網(wǎng)膜分割效果，實驗結(jié)果表明，本文提出的方法優(yōu)于目前的許多方法。

參考文獻：

[1] 朱承璋，鄒北驥，向遙，等.彩色眼底圖像視網(wǎng)膜血管分割方法研究進展 [J].計算機輔助設(shè)計與圖形學(xué)學(xué)報，2015，27（11）：2046-2057.

[2] BAKER M L，HAND P J，WANG J J，et al. Retinal Signs and Stroke：Revisiting the Link Between the Eye and Brain [J].Stroke，2008，39：1371-1379.

[3] ZHANG Y P，HSU W，LEE M L. Detection of Retinal Blood Vessels Based on Nonlinear Projections [J].Journal of Signal Processing Systems，2009，55：103-112.

[4] FRAZ M M，BARMAN S A，REMAGNINO P，et al. An approach to localize the retinal blood vessels using bit planes and centerline detection [J].Computer Methods Programs in Biomedicine，2012，108（2）：600-616.

[5] ALOM M Z，YAKOPCIC C，HASAN M，et al. Recurrent residual U-Net for medical image segmentation [J/OL].Journal of Medical Imaging，2019，6（1）[2022-10-18].https：//www.zhangqiaokeyan.com/academic-journal-foreign-pmc_journal-medical-imaging_thesis/040006256846.html.

[6] RONNEBERGER O，F(xiàn)ISCHER P，BROX T. U-Net：Convolutional Networks for Biomedical Image Segmentation [J/OL].arXiv：1505.04597 [cs.CV].[2022-10-19].https：//arxiv.org/abs/1505.04597.

[7] SOOMRO T A，AFIFI A J，GAO J B，et al. Boosting Sensitivity of a Retinal Vessel Segmentation Algorithm with Convolutional Neural Network [C]//2017 International Conference on Digital Image Computing：Techniques and Applications （DICTA）.Sydney：IEEE，2017：1-8.

[8] 孟嫻靜，李菁，呂曉琪，等.基于改進SegNet的眼底圖像血管分割 [J].計算機工程與設(shè)計，2020，41（11）：3148-3153.

[9] BADRINARAYANAN V，KENDALL A，CIPOLLA R. SegNet：A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（12）：2481-2495.

[10] 陳林，陳亞軍，沈銳.基于殘差卷積注意力網(wǎng)絡(luò)的視網(wǎng)膜血管分割算法 [J].內(nèi)江師范學(xué)院學(xué)報，2021，36（2）：49-55.

[11] 鄧小波，劉奇，陳曦，等.基于通道注意力雙路徑架構(gòu)網(wǎng)絡(luò)分割視網(wǎng)膜血管 [J].中國醫(yī)學(xué)影像技術(shù)，2021，37（10）：1543-1547.

[12] STAAL J，ABR?MOFF M D，NIEMEIJER M，et al. Ridge-based vessel segmentation in color images of the retina [J].IEEE Transactions on Medical Imaging，2004，23（4）：501-509.

[13] NIEMEIJER M，STAAL J，GINNEKEN B V，et al. Comparative study of retinal vessel segmentation methods on a new publicly available database [EB/OL].[2022-10-18].https：//www.spiedigitallibrary.org/conference-proceedings-of-spie/5370/1/Comparative-study-of-retinal-vessel-segmentation-methods-on-a-new/10.1117/12.535349.short.

[14] ALOM M Z，HASAN M，YAKOPCIC C，et al. Recurrent Residual Convolutional Neural Network based on U-Net （R2U-Net） for Medical Image Segmentation [J/OL].arXiv：1802.06955 [cs.CV].[2022-10-18].https：//arxiv.org/abs/1802.06955v2.

[15] LISKOWSKI P，KRAWIEC K. Segmenting Retinal Blood Vessels With Deep Neural Networks [J].IEEE Transactions on Medical Imaging，2016，35（11）：2369-2380.

[16] LI Q L，F(xiàn)ENG B W，XIE L P，et al. A Cross-Modality Learning Approach for Vessel Segmentation in Retinal Images [J].IEEE Transactions on Medical Imaging，2016，35（1）：109-118.

[17] YAN Z Q，YANG X，CHENG K T. Joint Segment-Level and Pixel-Wise Losses for Deep Learning Based Retinal Vessel Segmentation [J].IEEE Transactions on Biomedical Engineering，2018，65（9）：1912-1923.

作者簡介：鄭麗萍（1980—），女，漢族，河南開封人，講師，工程師，碩士，研究方向：計算機視覺等；張?zhí)焓妫?995—），男，漢族，河南商丘人，助教，碩士，研究方向：計算機視覺；曹珂崯（1994—），男，漢族，山東菏澤人，助教，碩士，研究方向：數(shù)據(jù)分析。

收稿日期：2022-11-15

基金項目：淮安市創(chuàng)新服務(wù)能力建設(shè)計劃-重點實驗室建設(shè)項目（HAP201904）