蔣晨皓馬玉良祝真濱

(杭州電子科技大學(xué)自動(dòng)化學(xué)院，浙江 杭州 310018)

視網(wǎng)膜血管是眼底圖像中可以檢測(cè)到的主要解剖結(jié)構(gòu)，其結(jié)構(gòu)和特征變化反映了白內(nèi)障、糖尿病性視網(wǎng)膜病變(DR)、高血壓等疾病的影響[1]。因此醫(yī)學(xué)上一般通過(guò)檢查視網(wǎng)膜結(jié)構(gòu)和血管變化來(lái)初步了解患者的健康狀況，有利于輔助醫(yī)生完成對(duì)相關(guān)病癥的初步診斷。提取視網(wǎng)膜血管的基本特征，例如直徑、長(zhǎng)度、連通性等，對(duì)于篩選、評(píng)估和診斷眼部以及人體其他部位的病變程度具有重大意義。但是由于視網(wǎng)膜血管存在分布隨機(jī)性強(qiáng)、細(xì)小分叉多、直徑大小不一等特點(diǎn)，且醫(yī)學(xué)影像設(shè)備檢測(cè)性能和醫(yī)學(xué)分割人員的專業(yè)知識(shí)、分割水準(zhǔn)均存在局限性和不穩(wěn)定性，人工分割血管的難度較大、效率較低并且受到軟硬件多方面的限制。在計(jì)算機(jī)技術(shù)的不斷進(jìn)步和發(fā)展、臨床需求的日益強(qiáng)烈等因素的推動(dòng)下，視網(wǎng)膜血管自動(dòng)分割技術(shù)應(yīng)運(yùn)而生。

目前視網(wǎng)膜血管分割的常用算法可分為有監(jiān)督學(xué)習(xí)算法和無(wú)監(jiān)督學(xué)習(xí)算法兩大類。有監(jiān)督學(xué)習(xí)算法可細(xì)分為基于支持向量機(jī)和部分集成算法的機(jī)器學(xué)習(xí)一般算法、基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法等。該類方法通常需要大量人工分割、標(biāo)注的視網(wǎng)膜血管圖像作為數(shù)據(jù)集，而且一般需要較長(zhǎng)的模型訓(xùn)練時(shí)間，但其準(zhǔn)確率較高，且在模型微調(diào)后可用于不同數(shù)據(jù)集，可移植性和泛化能力較強(qiáng)。而包括聚類方法、匹配濾波方法、數(shù)學(xué)形態(tài)學(xué)方法、血管跟蹤方法等無(wú)監(jiān)督學(xué)習(xí)算法無(wú)需人工標(biāo)注的圖像數(shù)據(jù)集，但是需要人為對(duì)分類后的不同簇進(jìn)行類別標(biāo)記工作，且存在分類偏好性較強(qiáng)、模型精度較不穩(wěn)定等問(wèn)題。經(jīng)過(guò)幾年來(lái)不同研究者們的推動(dòng)，兩類方法的分類性能、實(shí)用性均有所突破和創(chuàng)新。

在無(wú)監(jiān)督學(xué)習(xí)算法中，文獻(xiàn)[1]提出了一種以Fréchet概率密度函數(shù)為核的新型匹配濾波器方法，較好地實(shí)現(xiàn)了血管輪廓與Fréchet模板的匹配。文獻(xiàn)[2]提出了一種結(jié)合匹配濾波和模糊C均值聚類的視網(wǎng)膜血管分割方法，該算法采用對(duì)比度受限的自適應(yīng)直方圖均衡化方法增強(qiáng)圖像的對(duì)比度，再使用Gabor和Frangi濾波去除圖像的噪聲和背景，然后通過(guò)模糊C均值提取初始血管網(wǎng)絡(luò)，運(yùn)用綜合水平集方法進(jìn)一步細(xì)化分割。該算法取得了較好的敏感性和特異性，但是遺漏了部分細(xì)小血管。文獻(xiàn)[3]提出了一種多尺度2D Gabor小波的自動(dòng)分割方法，該算法采用不同尺度的2D Gabor小波對(duì)視網(wǎng)膜圖像進(jìn)行變換，通過(guò)形態(tài)學(xué)重構(gòu)準(zhǔn)確提取血管骨架，應(yīng)用區(qū)域生長(zhǎng)法精確分割細(xì)小血管，最后用后處理結(jié)合粗細(xì)血管，減少細(xì)小血管的信息丟失和背景像素點(diǎn)的誤分割。該算法實(shí)現(xiàn)了較為平滑的血管分割效果，但是對(duì)于低對(duì)比度下的血管分割效果較差，分割靈敏度較低，同時(shí)和文獻(xiàn)[2]一樣，對(duì)于細(xì)小血管的分割遺漏較多。文獻(xiàn)[4]提出了一種基于灰度-梯度共生矩陣的視網(wǎng)膜血管分割方法，該算法使用二維匹配濾波預(yù)處理以增強(qiáng)血管的灰度，結(jié)合圖像的灰度和梯度信息使用了灰度-梯度共生矩陣的最大熵閾值化方法。該算法對(duì)于管徑急劇變化及血管高度扭曲的視網(wǎng)膜血管圖像分割效果較差，血管分叉部位的分割時(shí)常出現(xiàn)斷點(diǎn)。

而對(duì)于有監(jiān)督學(xué)習(xí)算法，文獻(xiàn)[5]提出了一種新穎的圖搜索元啟發(fā)式分割方法。該方法先將復(fù)雜的血管樹分為包含動(dòng)脈和靜脈的多個(gè)子樹，并通過(guò)隨機(jī)森林分類器訓(xùn)練得出結(jié)果。但是因?yàn)檠芫W(wǎng)絡(luò)圖形表示以及分類器性能的有限性，該算法破壞了部分血管的連通性和完整性。文獻(xiàn)[6]將遷移學(xué)習(xí)和傳統(tǒng)UNet相結(jié)合，使用ImageNet數(shù)據(jù)集預(yù)訓(xùn)練好的權(quán)重對(duì)網(wǎng)絡(luò)進(jìn)行初始化，并且通過(guò)BCE和Jaccard兩種損失函數(shù)來(lái)聯(lián)合優(yōu)化模型，該模型對(duì)于細(xì)小血管分割的靈敏度較好，但是整體的分割準(zhǔn)確率一般。文獻(xiàn)[7]提出的算法將傳統(tǒng)UNet雙卷積結(jié)構(gòu)輸出的不同尺寸特征圖進(jìn)行稠密連接，取代普通的跳躍連接，貫穿上下采樣的整個(gè)過(guò)程，較好地提升了整體血管分割的準(zhǔn)確性、減短了訓(xùn)練耗時(shí)，但是模型對(duì)于細(xì)小血管病灶的靈敏度度較為欠缺，對(duì)于光照不均勻血管圖像的適應(yīng)能力較差。文獻(xiàn)[8]在UNet基礎(chǔ)上提出了CENet，該算法將空洞卷積和Inception-ResNet-V2相融合提出了DAC Block，通過(guò)增大感受野獲取更多高層的語(yǔ)義信息，同時(shí)仿照PSPNet構(gòu)建了RMP Block，結(jié)合不同尺度的空間信息，一定程度上緩解了UNet因?yàn)檫B續(xù)的卷積和池化操作導(dǎo)致的血管細(xì)節(jié)信息丟失問(wèn)題。文獻(xiàn)[9]在預(yù)處理上結(jié)合鄰域知識(shí)引入光長(zhǎng)補(bǔ)償，對(duì)血管圖像進(jìn)行光照校正。將血管分割與動(dòng)靜脈分割結(jié)合作為multi-task，結(jié)合空域激活機(jī)制設(shè)計(jì)了multi-task output block以替代UNet的原始輸出模塊，利用相對(duì)簡(jiǎn)單的血管分割結(jié)果提升動(dòng)脈分割的結(jié)果，有利于提升毛細(xì)血管的檢測(cè)性能。文獻(xiàn)[10]提出了一種結(jié)合了UNet、Bi-directional ConvLSTM、稠密連接機(jī)制的醫(yī)學(xué)圖像分割算法，該算法使用雙向BConvLSTM取代了U-Net的跳躍連接中簡(jiǎn)單的拼接操作，并且在解碼部分的最后一層卷積使用稠密連接的卷積層，實(shí)現(xiàn)了血管特征的傳播和復(fù)用，該算法對(duì)于血管基本結(jié)構(gòu)的分割性能較好，模型泛化能力較強(qiáng)，但是網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜，網(wǎng)絡(luò)參數(shù)量較多。文獻(xiàn)[11]提出了一種基于注意力機(jī)制的全注意力網(wǎng)絡(luò)，通過(guò)雙向注意力模塊獲取水平和垂直方向上密集的血管上下文信息。文獻(xiàn)[12]提出了一種全局上下文的醫(yī)學(xué)圖像分割方法，該算法由編碼和解碼模塊組成，解碼模塊由全局上下文注意GCA模塊和擠壓激勵(lì)金字塔池SEPP模塊組成，GCA模塊將低級(jí)特征和高層特征連接起來(lái)以產(chǎn)生更具代表性的功能，SEPP模塊則增加了感受野的大小和多尺度特征融合的能力，并且設(shè)計(jì)了加權(quán)交叉熵?fù)p失來(lái)更好地平衡分割區(qū)域和未分割區(qū)域，達(dá)到更優(yōu)的分割性能。文獻(xiàn)[13]提出了一種基于多特征和多分類器的視網(wǎng)膜分割算法，該算法結(jié)合對(duì)比度增強(qiáng)強(qiáng)度、B-COSFIRE濾波器響應(yīng)、線條強(qiáng)度以及融合的灰色投票結(jié)果和2D-Gabor濾波器結(jié)果來(lái)構(gòu)建特征向量，再將決策樹和AdaBoost算法分類器結(jié)果進(jìn)行融合。該算法結(jié)合了血管的多元特征，取得了較好的血管分類準(zhǔn)確度和靈敏度。文獻(xiàn)[14]將視網(wǎng)膜血管分割工作分為厚血管分割、薄血管分割和血管融合三個(gè)部分，該算法對(duì)厚血管和薄血管進(jìn)行單獨(dú)的分割而獲得更好的判別特征，并在血管融合階段通過(guò)進(jìn)一步識(shí)別非血管像素并改善總體血管厚度一致性來(lái)改善結(jié)果，分割模型由用于粗血管分割的ThickSegmenter、用于細(xì)血管分割的ThinSegmenter和用于血管融合的FusionSegmenter三部分組成，但是由于血管細(xì)節(jié)信息的丟失過(guò)多，算法效果較為一般。文獻(xiàn)[15]提出一種結(jié)合短連接和密集塊的深度卷積對(duì)抗網(wǎng)絡(luò)算法，該算法仍然采用U型編碼譯碼結(jié)構(gòu)，并在卷積塊之間增加了短連接塊，防止深度卷積網(wǎng)絡(luò)造成梯度色散。鑒別器全部由卷積塊組成，同文獻(xiàn)[7，10]一樣在卷積網(wǎng)絡(luò)的中間添加密集連接結(jié)構(gòu)，加強(qiáng)特征的傳播，提高網(wǎng)絡(luò)的鑒別能力。算法稠密連接的緊密程度不如文獻(xiàn)[8]，但是分割結(jié)果的準(zhǔn)確率和靈敏度卻優(yōu)于文獻(xiàn)[7]。

為了解決上述文獻(xiàn)中對(duì)于血管分割無(wú)法兼顧準(zhǔn)確率和靈敏度以及網(wǎng)絡(luò)參數(shù)較多的問(wèn)題，提出了一種基于PSPNet改進(jìn)UNet的輕量級(jí)視網(wǎng)膜血管分割算法，該算法由金字塔解析結(jié)構(gòu)、UNet編碼解碼結(jié)構(gòu)、稠密連接、DropBlock正則化方法和空間注意力機(jī)制等部分組成，用來(lái)實(shí)現(xiàn)視網(wǎng)膜血管的高效準(zhǔn)確分割。相較于傳統(tǒng)的監(jiān)督學(xué)習(xí)和無(wú)監(jiān)督學(xué)習(xí)方法，本文提出的算法在分割綜合性能、泛化能力以及訓(xùn)練效率上都有明顯的提升。

1 研究方法

1.1 預(yù)處理

本文將數(shù)據(jù)集中的圖像都轉(zhuǎn)換為576×576像素的大小，并選用了原圖像的綠色通道作為預(yù)處理的輸入圖像，由圖1可知，相比于原始RGB三通道、紅色通道以及藍(lán)色通道而言，綠色通道呈現(xiàn)出的血管與圖像背景的對(duì)比度更好，血管結(jié)構(gòu)更清晰。

圖1 彩色眼底圖像和不同通道

為了進(jìn)一步提升圖像的對(duì)比度，改善圖像整體較暗的問(wèn)題，使得血管特征更便于模型進(jìn)行分割預(yù)測(cè)，使用了對(duì)比度受限的自適應(yīng)直方圖均衡化方法(Contrast Limited Adaptive Histogram Equalization，CLAHE)增強(qiáng)血管部分與無(wú)血管部分的對(duì)比度，將血管的基本骨架和細(xì)小分叉更清晰地呈現(xiàn)出來(lái)。為了解決訓(xùn)練集樣本過(guò)少不利于提高模型通用性的問(wèn)題，分別使用了隨機(jī)角度旋轉(zhuǎn)、色彩抖動(dòng)、添加Drop-Block噪聲、隨機(jī)翻轉(zhuǎn)方法對(duì)原始訓(xùn)練集進(jìn)行數(shù)據(jù)擴(kuò)增。針對(duì)DRIVE數(shù)據(jù)集，先將訓(xùn)練集復(fù)制5次，每組都包含訓(xùn)練集中全部20張圖像，第1組只進(jìn)行隨機(jī)角度旋轉(zhuǎn)，第2組只進(jìn)行色彩抖動(dòng)，第3組只添加DropBlock噪聲，第4組只進(jìn)行隨機(jī)翻轉(zhuǎn)，第5組則對(duì)每張圖像集中使用上述四種方法進(jìn)行數(shù)據(jù)擴(kuò)增。針對(duì)STARE數(shù)據(jù)集，則先將訓(xùn)練集復(fù)制10次，每?jī)山M為一個(gè)單位，重復(fù)上述操作。

其中，添加DropBlock噪聲的方法運(yùn)用了卷積神經(jīng)網(wǎng)絡(luò)中DropBlock正則化的思想。本文算法先隨機(jī)生成圖像的一個(gè)有效坐標(biāo)，將以該點(diǎn)為中心的N×N個(gè)像素點(diǎn)的值都轉(zhuǎn)換為255。該方法根據(jù)卷積的特點(diǎn)，通過(guò)遮擋部分可使用卷積獲得的語(yǔ)義信息來(lái)激勵(lì)網(wǎng)絡(luò)自主學(xué)習(xí)，提高網(wǎng)絡(luò)對(duì)于細(xì)小血管結(jié)構(gòu)的分割能力和整體泛化能力。最后，經(jīng)數(shù)據(jù)擴(kuò)增處理后的部分圖像如圖2所示，總共生成100張除了原始圖像以外的增強(qiáng)圖像。

圖2 CLAHE和數(shù)據(jù)擴(kuò)增后

本文將數(shù)據(jù)擴(kuò)增處理后的100張圖像作為訓(xùn)練集，未經(jīng)數(shù)據(jù)擴(kuò)增處理(僅僅提取綠色通道、使用直方圖均衡化)的原始圖像作為驗(yàn)證集。為了提取到更精細(xì)的血管特征，本文將擴(kuò)增后數(shù)據(jù)集的每張圖像分為81個(gè)不重復(fù)的分辨率為64×64像素的patch，把小尺寸的patch作為網(wǎng)絡(luò)的初始輸入進(jìn)行訓(xùn)練，網(wǎng)絡(luò)輸出相應(yīng)也為64×64像素大小，最后通過(guò)patch的拼接以及圖像閾值處理獲得最終的二值分割結(jié)果。

1.2 密集連接卷積模塊

本文用圖3所示的密集連接的三卷積層代替了傳統(tǒng)UNet編解碼器雙卷積層結(jié)構(gòu)。而在DenseNet中，每一層隱藏層的輸入采用前面所有層輸出的集合，增強(qiáng)前層與后層之間的聯(lián)系，這樣網(wǎng)絡(luò)中如果有N個(gè)隱藏層就存在N×(N＋1)/2個(gè)連接，有利于緩解梯度消失。DenseNet能綜合利用靠近輸入層中具有低復(fù)雜度的特征，使得網(wǎng)絡(luò)更容易得到一個(gè)具有更好泛化性能的決策函數(shù)。本文借鑒了DenseNet的稠密連接思路，在其基礎(chǔ)結(jié)構(gòu)之上，加入了DropBlock層和批歸一化層(BN)，并且相對(duì)應(yīng)地調(diào)整了密集連接的具體方式。如圖4所示，DropBlock是Dropout的結(jié)構(gòu)化形式，防止卷積神經(jīng)網(wǎng)絡(luò)過(guò)擬合效果更佳，特別是針對(duì)于語(yǔ)義分割問(wèn)題。DropBlock和Dropout的主要區(qū)別在于，DropBlock從一層的feature map中丟棄卷積狀的連續(xù)區(qū)域，一定程度上等同于舍棄了部分語(yǔ)義特征，而Dropout丟棄的是隨機(jī)且相對(duì)獨(dú)立的特征單元。使用DropBlock的模型更容易適應(yīng)不同的語(yǔ)義分割場(chǎng)景，魯棒性和靈敏度更強(qiáng)，比如應(yīng)對(duì)視網(wǎng)膜血管分割中經(jīng)常出現(xiàn)的圖像某塊區(qū)域亮度不足、清晰度較差以及血管細(xì)小分叉難以捕捉等情形時(shí)，模型更容易學(xué)習(xí)到較完整的血管結(jié)構(gòu)以及細(xì)小血管的分叉特征。BN層用于保持輸入輸出數(shù)據(jù)分布的穩(wěn)定性，減少對(duì)于初始輸入數(shù)據(jù)的依賴性。本文密集連接卷積塊包括了三個(gè)子卷積結(jié)構(gòu)，每一個(gè)都由3×3-Conv、DropBlock、BN、ReLU順序組成；將每個(gè)子結(jié)構(gòu)BN層的輸出加入到接下來(lái)N個(gè)子結(jié)構(gòu)的ReLU層的輸入集合中，這一做法有利于減緩由于數(shù)據(jù)的分布逐漸向非線性函數(shù)的兩端靠攏帶來(lái)的梯度消失問(wèn)題，而不同BN層輸出的集合結(jié)合了多層次的歸一化后的特征，較好地提升了梯度下降的速度，使得模型可以用較少的迭代次數(shù)尋找到更接近最優(yōu)解的局部最優(yōu)解；再將經(jīng)過(guò)DropBlock隨機(jī)丟棄語(yǔ)義特征后的不同數(shù)據(jù)仿射變換至一個(gè)分布穩(wěn)定的特征空間中，有利于增強(qiáng)梯度下降的穩(wěn)定性、加快收斂速度；除此之外，本文還用1×1-Conv對(duì)輸入集合進(jìn)行特征映射，不僅降低特征維度和網(wǎng)絡(luò)參數(shù)量，還能夠?qū)崿F(xiàn)跨通道的信息交互，結(jié)合各個(gè)通道的特征信息；最后再輸入到ReLU層。

圖3 密集連接卷積結(jié)構(gòu)

圖4 Dropout(左)和DropBlock(右)

1.3 PSP金字塔池化模塊

眾所周知，全局平均池化(AvgPool)作為全局上下文先驗(yàn)是一種很好的基線模型，被成功地應(yīng)用于語(yǔ)義分割[16]。原始的PSPNet先使用預(yù)訓(xùn)練的Res-Net101和空洞卷積來(lái)提取特征圖，再將特征圖經(jīng)過(guò)PSP Module融合局部和全局的上下文信息，最后通過(guò)一個(gè)卷積層獲得輸出。而本文以UNet為基礎(chǔ)框架應(yīng)用PSP Module，并根據(jù)視網(wǎng)膜圖像的尺寸特征，改進(jìn)了PSPNet的結(jié)構(gòu)并提出了如圖5所示的金字塔池化模塊(以16×64×64的輸入為例)。首先利用全局平均池化，將輸入特征映射到1×1、2×2、4×4、8×8四個(gè)不同的金字塔尺度；再利用1×1-Conv進(jìn)行特征提取，對(duì)每個(gè)金字塔尺度特征的內(nèi)部進(jìn)行跨通道的信息傳遞；然后運(yùn)用雙線性插值將低維特征圖上采樣到與原始輸入特征圖相同大小，以便于多層次特征的通道連接。最后將不同層次的特征以及原始的輸入特征連接為最終的金字塔池全局特征，并通過(guò)1×1-Conv將金字塔全局特征映射為原始輸入特征的大小。該結(jié)構(gòu)通過(guò)全局平均池化，構(gòu)造了四種尺度的感受野以檢測(cè)不同大小的血管特征，充分結(jié)合了上下文的有效信息進(jìn)行合理分割，盡可能減少了血管分割的基礎(chǔ)性錯(cuò)誤，保證了視網(wǎng)膜血管基本骨架的分割完整性，明確了部分細(xì)小血管及其分叉的區(qū)域信息以及大致的分割方向。同時(shí)，本文將該結(jié)構(gòu)應(yīng)用在密集卷積模塊后，對(duì)每次提取后的特征圖都進(jìn)行局部和全局信息的整理和融合。

圖5 金字塔池化結(jié)構(gòu)

1.4 空間注意力跳躍連接

空間注意力機(jī)制作為卷積神經(jīng)網(wǎng)絡(luò)注意模塊的重要部分，可用于分類、分割和檢測(cè)?？臻g注意力機(jī)制利用特征之間的空間關(guān)系來(lái)生成空間注意力圖，賦予每個(gè)特征單元以不同的權(quán)值來(lái)表示該區(qū)域血管特征的密集性和結(jié)構(gòu)性。為了計(jì)算空間注意力，如圖6所示，該結(jié)構(gòu)先對(duì)于輸入特征:F∈RH×W×C的通道軸分別進(jìn)行平均池化(AvgPool)和最大池化(MaxPool)操作，再 將 輸 出 的 兩 個(gè) 特 征 圖(FMp∈RH×W×1、FAp∈RH×W×1)進(jìn)行連接以獲得有效的特征描述的空間信息，然后用3×3-Conv對(duì)于級(jí)聯(lián)特征描述圖進(jìn)行特征提取，最后通過(guò)Sigmoid激活函數(shù)生成空間注意力分布圖MS(F)∈RH×W×1，并與輸入特征圖相乘獲得新的特征輸出FS∈RH×W×C。計(jì)算公式如下所示:

圖6 空間注意力機(jī)制

式中:σ符號(hào)代表了包括拼接用3×3卷積進(jìn)行特征提取，使用Sigmoid函數(shù)等將FMP和FAP轉(zhuǎn)換成空間注意力圖的一系列操作。

空間注意力機(jī)制將原始特征映射到另一個(gè)特征空間，保留并強(qiáng)化了原始特征的關(guān)鍵信息。由于該結(jié)構(gòu)具有旋轉(zhuǎn)、縮放變換的功能，所以同一血管特征即使經(jīng)過(guò)不同位置變換，模型提取出的血管結(jié)構(gòu)也相同。結(jié)合空間注意力分布圖，模型對(duì)于關(guān)鍵信息的關(guān)注度相應(yīng)提高。本文主要將空間注意力機(jī)制和UNet跳躍連接相結(jié)合，將尺寸相同但包含語(yǔ)義信息不同的特征先進(jìn)行通道融合；再將融合后的輸出通過(guò)空間注意力機(jī)制進(jìn)行關(guān)鍵性分析，收集更多通道的有效描述信息；本文利用感受野較小的3×3-Conv連續(xù)檢索細(xì)小血管的關(guān)鍵信息，提升細(xì)小血管的分割關(guān)注度，從而提高網(wǎng)絡(luò)對(duì)于血管細(xì)節(jié)特征的分割靈敏性。

1.5 PDA-UNet基本網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的PDA-UNet的基本網(wǎng)絡(luò)結(jié)構(gòu)如圖7所示，PDA-UNet由編碼器和解碼器兩部分組成。編碼器遵循典型的卷積結(jié)構(gòu)，它由一個(gè)密集連接卷積結(jié)構(gòu)和一個(gè)PSP金字塔池化結(jié)構(gòu)組成，再通過(guò)2×2的最大池化操作進(jìn)行下采樣，并且將特征通道加倍，各部分特征通道數(shù)分別為16、32、64、128。解碼器將特征先通過(guò)2×2的轉(zhuǎn)置卷積進(jìn)行上采樣，壓縮特征通道，再將壓縮后的特征與編碼器中通道數(shù)相同的特征進(jìn)行跳躍連接，然后利用空間注意力機(jī)制進(jìn)行特征映射、提取出關(guān)鍵信息，并通過(guò)密集連接卷積結(jié)構(gòu)和金字塔池化結(jié)構(gòu)提取血管特征。最后使用Sigmoid激活函數(shù)輸出每個(gè)特征單元的激活值。

圖7 PDA-UNet網(wǎng)絡(luò)結(jié)構(gòu)

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)集

為了驗(yàn)證算法的有效性，本文選用了常用的公開數(shù)據(jù)集DRIVE和STARE來(lái)進(jìn)行訓(xùn)練和測(cè)試。DRIVE數(shù)據(jù)集來(lái)自于荷蘭糖尿病視網(wǎng)膜病變篩查計(jì)劃，包括了40張彩色視網(wǎng)膜眼底圖像，標(biāo)號(hào)21～40的圖像作為訓(xùn)練集，標(biāo)號(hào)1～20的圖像作為測(cè)試集，每張圖像分辨率為584×565像素；STARE數(shù)據(jù)集來(lái)自于兒童心臟和健康研究，包含了20張彩色視網(wǎng)膜眼底圖像，分辨率為605×700像素，該數(shù)據(jù)集沒(méi)有官方給定的訓(xùn)練集和測(cè)試集，本文為了方便對(duì)比，將標(biāo)號(hào)1～10的圖像作為訓(xùn)練集，標(biāo)號(hào)11～20的圖像作為測(cè)試集，且使用manual1作為訓(xùn)練標(biāo)簽。以上兩個(gè)數(shù)據(jù)集都含有兩組由兩位專業(yè)醫(yī)生手動(dòng)分割的視網(wǎng)膜血管圖像標(biāo)簽。

2.2 實(shí)驗(yàn)細(xì)節(jié)

在DRIVE數(shù)據(jù)集和STARE數(shù)據(jù)集的實(shí)驗(yàn)過(guò)程中，本文設(shè)置的batch size為81(81個(gè)64×64像素的patch，即保持與原始圖像576×576像素相同)；采用的損失函數(shù)是二元交叉熵?fù)p失函數(shù)(binary cross entropy loss)，使用的優(yōu)化器是Adam優(yōu)化器；考慮到本文訓(xùn)練使用的單個(gè)path大小為64×64像素的小尺寸圖，對(duì)于所有DropBlock設(shè)置其保留率為0.75，丟棄塊尺寸為3×3像素；對(duì)于空間注意力機(jī)制設(shè)置其卷積尺寸為3×3像素；訓(xùn)練迭代次數(shù)(Epoch)設(shè)置為100，使用的固定學(xué)習(xí)率為0.01，設(shè)置early stop＝25。

該實(shí)驗(yàn)的代碼實(shí)現(xiàn)基于深度學(xué)習(xí)框架Pytorch，所有實(shí)驗(yàn)都是在單塊NVIDIA GeForce GTX1050(顯存為4GB)顯卡上運(yùn)行。因?yàn)镻DA-UNet是一個(gè)輕量級(jí)的網(wǎng)絡(luò)，其輸入的特征通道數(shù)較少，使得整體網(wǎng)絡(luò)的參數(shù)都較少，所以本實(shí)驗(yàn)的訓(xùn)練時(shí)間控制在3 h以內(nèi)。

2.3 評(píng)價(jià)指標(biāo)

為了評(píng)價(jià)該算法的性能，本文使用了4種常見(jiàn)的評(píng)價(jià)指標(biāo)，分別是準(zhǔn)確度(ACC)，靈敏度(SE)，特異性(SP)，F(xiàn)1值(F1-score)，其計(jì)算公式如表1所示:

表1 評(píng)價(jià)指標(biāo)

其中TP(真陽(yáng)性)表示分割正確的血管點(diǎn)，TN(真陰性)表示分割正確的背景點(diǎn)，F(xiàn)P(假陽(yáng)性)表示分割錯(cuò)誤的背景點(diǎn)，F(xiàn)N(假陰性)表示分割錯(cuò)誤的血管點(diǎn)。準(zhǔn)確度(ACC)表示算法分割的精確度，衡量的是分割結(jié)果和真實(shí)標(biāo)簽之間的差異；靈敏度(SE)表示血管和背影的分割程度，體現(xiàn)的是算法對(duì)于細(xì)小血管的分割情況，更高的靈敏度意味著算法分割出了更多的細(xì)小血管；特異性(SP)表示識(shí)別背景元素的能力；F1值(F1-score)表示算法分割血管的綜合性能。

2.4 實(shí)驗(yàn)結(jié)果及分析

為了說(shuō)明本文提出的PDA-UNet的分割效果，本文在表2、表3中列舉了近幾年來(lái)不同文獻(xiàn)在DRIVE、STARE數(shù) 據(jù) 集 上 的 分 割 結(jié) 果[10，17-25]。從表2中可知，在DRIVE數(shù)據(jù)集上，本文相較于傳統(tǒng)UNet，分割結(jié)果的各項(xiàng)指標(biāo)均有一定提升，特別是在靈敏度和F1-score上，分別提升了3.36%和1.99%；文獻(xiàn)[17]、文獻(xiàn)[18]方法的分割準(zhǔn)確度以及F1-score都和本文相近，但是靈敏度差距較大，算法對(duì)于細(xì)小血管的分割情況較差；而文獻(xiàn)[19]在分割靈敏度、特異性、F1-score上均達(dá)到本文相近水平，但是在精確度上還存在改進(jìn)空間。從表3中可知，在STARE數(shù)據(jù)集上，本文算法相較于傳統(tǒng)UNet，在靈敏度和F1-score上的提升分別達(dá)到了11.65%和4.05%；與其他文獻(xiàn)相比，本文算法的分割結(jié)果在保證了準(zhǔn)確度和特異性的同時(shí)，達(dá)到了較優(yōu)的分割靈敏度和F1-score。本文選擇DRIVE數(shù)據(jù)集測(cè)試集中標(biāo)號(hào)為19＿test的圖像來(lái)顯示分割結(jié)果，如圖8所示。傳統(tǒng)UNet基本實(shí)現(xiàn)了對(duì)于血管基本骨架的分割，但是由于傳統(tǒng)UNet連續(xù)卷積和池化操作導(dǎo)致了特征丟失，使其在細(xì)小血管分叉和連接處的分割效果與本文分割結(jié)果相形見(jiàn)絀。文獻(xiàn)[19]、文獻(xiàn)[24]與本文的分割效果相近，但是文獻(xiàn)[19]對(duì)于細(xì)小血管的分割存在部分遺漏的問(wèn)題，文獻(xiàn)[24]對(duì)于血管分叉的敏感性上與本文相比仍顯不足。

圖8 DRIVE數(shù)據(jù)集上不同方法的比較

表2 DRIVE數(shù)據(jù)集分割結(jié)果比較

表3 STARE數(shù)據(jù)集分割結(jié)果比較

如圖9所示，本文選擇了STARE數(shù)據(jù)集中標(biāo)號(hào)為12的圖像的分割結(jié)果進(jìn)行對(duì)比，傳統(tǒng)UNet忽略了部分粗血管的基本結(jié)構(gòu)，沒(méi)有保證視網(wǎng)膜血管的完整性，且細(xì)節(jié)存在較多的漏分、誤分問(wèn)題；文獻(xiàn)[20]和文獻(xiàn)[24]雖然保證了基本的血管脈絡(luò)，但是對(duì)部分粗血管分叉為多個(gè)細(xì)小血管的情況分割結(jié)果不清晰，不能還原血管的真實(shí)長(zhǎng)度和連接情況，與本文的分割效果相比仍存在一定差距。相比于現(xiàn)有的分割方法，本文所提出的PDA-UNet既完好地保留了粗血管的形狀和連通性，又?jǐn)U展了網(wǎng)絡(luò)對(duì)于細(xì)小血管分叉的敏感性和一定的分割精準(zhǔn)性，在兩個(gè)公開數(shù)據(jù)集上均有優(yōu)秀的分割表現(xiàn)。

圖9 STARE數(shù)據(jù)集上不同方法的比較

4 結(jié)論

本文提出了一種基于PSPNet改進(jìn)UNet的輕量級(jí)視網(wǎng)膜分割算法——PDA-UNet。在數(shù)據(jù)預(yù)處理上，為了鍛煉模型的魯棒性，本文借助DropBlock正則化的思路，采用隨機(jī)丟棄部分結(jié)構(gòu)化語(yǔ)義信息的方式對(duì)數(shù)據(jù)進(jìn)行增強(qiáng)。在模型構(gòu)建上，為了融合多層次的語(yǔ)義特征、充分利用特征信息，本文用基于DenseNet的密集連接卷積塊代替?zhèn)鹘y(tǒng)UNet的雙卷積結(jié)構(gòu)；然后用隨機(jī)丟棄塊狀信息的DropBlock取代隨機(jī)丟棄像素級(jí)信息的Dropout，激勵(lì)網(wǎng)絡(luò)結(jié)合多種不同的特征來(lái)學(xué)習(xí)血管的基本結(jié)構(gòu)，盡可能多地預(yù)測(cè)出光照不均處血管的脈絡(luò)；再將PSPNet中的金字塔解析池化結(jié)構(gòu)應(yīng)用至密集連接卷積塊，在不同層級(jí)對(duì)特征信息進(jìn)行循環(huán)利用，實(shí)現(xiàn)全局信息和局部信息的融合；最后將空間注意力機(jī)制和傳統(tǒng)UNet跳躍連接聯(lián)系起來(lái)，使得模型聚焦于細(xì)小血管的基本特征。實(shí)驗(yàn)結(jié)果表明，本文提出的PDA-UNet在兩個(gè)公開數(shù)據(jù)集——DRIVE和STARE上的準(zhǔn)確率、靈敏度、特異性、F1-score分別達(dá)到0.959 0、0.832 4、0.977 1、0.832 8和0.969 1、0.851 0、0.982 4、0.843 2，其中在靈敏度和F1-score這兩項(xiàng)指標(biāo)上本文所提方法與文獻(xiàn)相比有較大的提升，實(shí)驗(yàn)證明本文算法通過(guò)對(duì)于小尺寸圖像輸入(64×64)中有限信息的重復(fù)利用，在實(shí)現(xiàn)較好分割效果的同時(shí)減少了參數(shù)量，既提高了網(wǎng)絡(luò)的訓(xùn)練效率，又完整地勾勒出了血管的基本結(jié)構(gòu)、優(yōu)化了對(duì)于細(xì)小血管的分割性能。由于本文沒(méi)有對(duì)數(shù)據(jù)集進(jìn)行過(guò)多的預(yù)處理，圖像基本的清晰度和亮度在一定程度上限制了模型的分割效果。同時(shí)使用DropBlock會(huì)出現(xiàn)部分細(xì)小血管信息缺失，導(dǎo)致部分血管被誤分為背景。而過(guò)多跳躍連接的使用容易導(dǎo)致分割邊界不清晰、血管過(guò)度分割。因此，如何通過(guò)更加細(xì)致的預(yù)處理提升圖像的分割質(zhì)量、構(gòu)建自適應(yīng)的DropBlock、減少跳躍連接的依賴性使用，提高模型在面對(duì)不同分割任務(wù)時(shí)的適應(yīng)度將會(huì)是未來(lái)一個(gè)不錯(cuò)的研究方向。