鄒北驥，易博松，劉晴?

（1.中南大學(xué)自動(dòng)化學(xué)院，湖南長沙 410083；2.中南大學(xué)計(jì)算機(jī)學(xué)院，湖南長沙 410083；3.湖南省機(jī)器視覺與智慧醫(yī)療工程技術(shù)研究中心，湖南長沙 410083）

糖尿病性視網(wǎng)膜病變是糖尿病的微血管主要并發(fā)癥之一，也是主要的致盲疾病之一[1].據(jù)估計(jì)，到2030 年全世界將有約3.6 億人罹患糖尿病.我國目前的糖尿病患病率為9.7%，約有9 400 萬人罹患糖尿病[1].臨床上視網(wǎng)膜新生血管的出現(xiàn)是非增殖期糖尿病性視網(wǎng)膜病變惡化至增殖期糖尿病性視網(wǎng)膜病變的主要標(biāo)志，也是醫(yī)生是否需要對(duì)患者立刻進(jìn)行積極治療的關(guān)鍵判斷依據(jù)[1-2].

目前已有的對(duì)于視網(wǎng)膜新生血管的檢測(cè)方法主要是通過傳統(tǒng)圖像處理方法對(duì)彩色眼底圖中的新生血管進(jìn)行分割，去除背景和大部分圖像噪聲，只提取血管圖像，再使用機(jī)器學(xué)習(xí)方法訓(xùn)練分類器并對(duì)眼底圖像全局或者特定區(qū)域的血管進(jìn)行分類以達(dá)到新生血管檢測(cè)的目的.

Agurto 等[3]將AM-FM 算法用于檢測(cè)正常和非正常的血管，以此篩查糖尿病性視網(wǎng)膜病.Goatman 等[4]直接提取血管的形狀、位置、方向、密度等特征，并使用支持向量機(jī)（Support Vector Machine，SVM）分類器來區(qū)分正常和非正常血管.Hassan 等[5]選擇固定大小區(qū)域里的血管數(shù)目和血管所占面積作為特征來檢測(cè)新生血管.Maryam[6]證明了在各種描述新生血管的特征中，Gabor 濾波器方法能實(shí)現(xiàn)最好的特異性和較好的敏感性.Welikala 等[7]分別從標(biāo)準(zhǔn)線性算子和修正線性算子生成的二值化的血管圖中提取兩組不同的特征集，并提出了一個(gè)基于SVM 的雙重分類系統(tǒng)用于正常血管和新生血管的分類.Gupta 等[8]提出將視網(wǎng)膜圖像拆分成小塊來檢測(cè)，提取小塊的紋理特征和灰度特征等525 個(gè)特征，使用隨機(jī)森林分類器來訓(xùn)練并進(jìn)行血管的分類.Pujitha 等[9]提出了一種半監(jiān)督方法來解決訓(xùn)練數(shù)據(jù)量不夠的問題.對(duì)于含有新生血管的小片段，使用Gabor 濾波器來提取特征，通過在特征空間中使用領(lǐng)域信息，將特征融合在基于共同訓(xùn)練的半監(jiān)督的框架中來分類.Yu 等[10]提出通過對(duì)新生血管候選區(qū)域進(jìn)行再次篩選并使用SVM分類新生血管和普通血管.

近年來，U 形網(wǎng)絡(luò)[11]在醫(yī)學(xué)圖像分割任務(wù)上獲得了巨大的成功.在彩色眼底圖像普通血管分割任務(wù)上，相比于傳統(tǒng)方法，U 形網(wǎng)絡(luò)能夠?qū)崿F(xiàn)更好的分割性能[12].但與常規(guī)血管不同的是，視網(wǎng)膜新生血管在形態(tài)上更加細(xì)小[1]，分割和檢測(cè)的難度均比常規(guī)血管大.

針對(duì)新生血管較難檢測(cè)的問題，為了提升檢測(cè)的準(zhǔn)確率，本文提出一種改進(jìn)U 形網(wǎng)絡(luò)的眼底圖像血管分割算法，使之能更好地分割出常規(guī)血管和新生血管，方便后續(xù)新生血管的檢測(cè).具體地，本文首先設(shè)計(jì)了一種改進(jìn)型的U 形網(wǎng)絡(luò)用于新生血管和常規(guī)血管分割.然后使用一個(gè)滑動(dòng)窗口對(duì)分割后的新生血管圖像進(jìn)行完整遍歷，使用SVM 對(duì)每一個(gè)窗口生成的子圖像內(nèi)的血管圖像按照特征信息進(jìn)行分類，分類成普通血管或新生血管以完成檢測(cè).使用MESSIDOR 數(shù)據(jù)集和Kaggle 數(shù)據(jù)集進(jìn)行方法的訓(xùn)練和測(cè)試.實(shí)驗(yàn)證明，改進(jìn)型U 形網(wǎng)絡(luò)對(duì)新生血管的分割精度高于原始U 形網(wǎng)絡(luò)，本文提出的新生血管檢測(cè)方法可以準(zhǔn)確地對(duì)新生血管進(jìn)行檢測(cè).

1 方 法

本文提出的新生血管檢測(cè)方法流程如圖1 所示.首先對(duì)眼底圖像的綠色通道圖像進(jìn)行預(yù)處理，預(yù)處理操作包括對(duì)比度受限的自適應(yīng)直方圖均衡化和伽馬變換，接著使用改進(jìn)的U 形網(wǎng)絡(luò)進(jìn)行血管分割.然后使用滑動(dòng)窗口對(duì)分割出來的血管圖像進(jìn)行遍歷，使用SVM 對(duì)每個(gè)窗口中的血管圖像提取特征并分類，最后統(tǒng)計(jì)分類結(jié)果，根據(jù)分類結(jié)果確定該圖是否檢測(cè)到新生血管.

1.1 預(yù)處理

彩色眼底圖像在綠色通道中整體對(duì)比度最高，細(xì)節(jié)損失最少，相較原圖可以更好地表現(xiàn)整體血管結(jié)構(gòu)[10]，因此，本文后續(xù)實(shí)驗(yàn)操作都將在彩色眼底圖的綠色通道上完成.

在針對(duì)彩色眼底圖的視網(wǎng)膜新生血管處理中，新生血管像素所占整張眼底圖像素的比例非常低，使用形態(tài)學(xué)方法進(jìn)行預(yù)處理會(huì)導(dǎo)致大量新生血管像素丟失，嚴(yán)重影響實(shí)驗(yàn)結(jié)果.為了保證眼底圖中新生血管結(jié)構(gòu)的信息完整，本文采用對(duì)比度受限的自適應(yīng)直方圖均衡化方法[10]和伽馬變換方法[10]來對(duì)眼底圖進(jìn)行增強(qiáng)，改善圖像低對(duì)比度的情況，同時(shí)將對(duì)新生血管像素的影響降到最小.

圖1 本文方法流程Fig.1 The method flow of this study

1.2 血管分割

為了提高對(duì)新生血管分割的準(zhǔn)確率，本文設(shè)計(jì)了一種改進(jìn)型U 形網(wǎng)絡(luò)并使用該網(wǎng)絡(luò)分割新生血管.本文設(shè)計(jì)的改進(jìn)型U 形網(wǎng)絡(luò)在原始U 形網(wǎng)絡(luò)的基礎(chǔ)上，引入了改進(jìn)的殘差模塊（Improved ResBlock）[13]和金字塔場(chǎng)景解析（Pyramid Scene Parsing，PSP）池化模塊[14]，可以實(shí)現(xiàn)對(duì)新生血管圖像的語義分割，即將視覺輸入分為不同的語義可解釋類別，把同類的像素用同一種顏色進(jìn)行標(biāo)記，每一種分類類別都具有對(duì)應(yīng)的現(xiàn)實(shí)意義.在本文中，白色像素對(duì)應(yīng)血管，黑色像素對(duì)應(yīng)著除血管外的所有背景信息.同時(shí)本文在所有卷積層之后執(zhí)行批歸一化操作，將每個(gè)批次的輸入進(jìn)行歸一化處理，使模型在訓(xùn)練過程中更易于優(yōu)化，同時(shí)降低模型過擬合的風(fēng)險(xiǎn).本文設(shè)計(jì)的改進(jìn)U 形網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示.

該網(wǎng)絡(luò)由下采樣路徑和上采樣路徑組成，其下采樣路徑通過下采樣操作逐漸減少圖像的空間維度，而上采樣路徑通過上采樣操作逐步修復(fù)圖像的細(xì)節(jié)和空間維度.對(duì)于下采樣路徑和上采樣路徑中的每一個(gè)卷積層級(jí)，使用融合模塊實(shí)現(xiàn)對(duì)應(yīng)層級(jí)的圖像輸出特征的拼接，使網(wǎng)絡(luò)可以利用不同層級(jí)的圖像特征信息.

圖2 改進(jìn)U 形網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Improved U-shaped network structure

為了緩解網(wǎng)絡(luò)層數(shù)加深而引發(fā)的梯度消失問題[13]，在原始U 形網(wǎng)絡(luò)每個(gè)卷積層之間，引入一系列的殘差模塊.為了提高網(wǎng)絡(luò)的感受野，使網(wǎng)絡(luò)更好地捕捉上下文信息，在每一個(gè)殘差模塊中，除了已經(jīng)存在的兩個(gè)普通卷積的分支，本文設(shè)計(jì)的殘差模塊將額外引入一組空洞卷積分支[15].改進(jìn)的殘差模塊結(jié)構(gòu)圖如圖3 所示.

為了在網(wǎng)絡(luò)中引入更多的上下文信息，進(jìn)一步融合網(wǎng)絡(luò)多尺度特征，本文在上采樣路徑和下采樣路徑之間引入了PSP 池化模塊.該模塊將輸入從通道維度平均劃分為4 個(gè)層級(jí)，針對(duì)劃分后的4 個(gè)層級(jí)，分別對(duì)其使用1×1、2×2、3×3、6×6 尺寸的池化核進(jìn)行池化操作.在每組池化的結(jié)果之后，采用原始特征數(shù)量1/4 的1×1 卷積實(shí)現(xiàn)特征維度的縮減，最終在4 組池化后的特征上采樣到與輸入特征相同的尺寸，并進(jìn)行特征的拼接，融合多尺度特征.本文采用的PSP 池化模塊的結(jié)構(gòu)圖如圖4 所示.

圖3 改進(jìn)的殘差模塊結(jié)構(gòu)Fig.3 Improved residual module structure

圖4 PSP 池化模塊結(jié)構(gòu)Fig.4 PSP pooling module structure

本網(wǎng)絡(luò)使用ReLU 函數(shù)作為網(wǎng)絡(luò)激活函數(shù).輸入的彩色眼底圖經(jīng)過改進(jìn)型U 形網(wǎng)絡(luò)的分割會(huì)輸出血管的二值圖，這些輸出圖像將用于新生血管的分類.

1.3 血管分類

在Yu 等[10]的研究中證明了，面對(duì)兩類樣本數(shù)量不均衡的情況下的新生血管二分類任務(wù)時(shí)，SVM 比卷積神經(jīng)網(wǎng)絡(luò)有著更強(qiáng)的分類能力，可以極大地提高分類的效率和準(zhǔn)確性.故本文使用SVM 對(duì)經(jīng)過分割的新生血管圖像進(jìn)行血管的分類.

在訓(xùn)練SVM 的過程中，本文設(shè)置了一個(gè)滑動(dòng)窗口，每個(gè)滑動(dòng)窗口大小為50×50 像素，按照從左至右，從上至下，步長為20 像素的順序?qū)π律軋D像進(jìn)行遍歷.計(jì)算每個(gè)窗口內(nèi)的血管特征信息，比對(duì)專家的標(biāo)定結(jié)果附上屬于新生血管或不屬于新生血管的標(biāo)簽，形成一個(gè)訓(xùn)練樣本.

結(jié)合本文的應(yīng)用場(chǎng)景和新生血管的形態(tài)特征，采用血管段彎曲度平均值、血管段彎曲度方差、血管寬度平均值、血管寬度方差、血管段長度平均值、血管段長度方差、血管面積、血管分支點(diǎn)個(gè)數(shù)和血管段個(gè)數(shù)等9 個(gè)參數(shù)作為樣本特征.

使用AngioTool 軟件可以批量地從窗口中提取以上特征值.AngioTool 是一款專業(yè)的血管分析工具，它可以快速并且準(zhǔn)確地測(cè)量一系列的血管形態(tài)學(xué)指標(biāo)和空間參數(shù).本文所選取的9 個(gè)特征值均可通過使用AngioTool 獲取.AngioTool 對(duì)血管圖像測(cè)量參數(shù)的效果如圖5 所示.

圖5 AngioTool 測(cè)量血管特征參數(shù)Fig.5 Measuring vascular characteristic parameters by AngioTool

在分類過程中，窗口每滑動(dòng)一次都會(huì)對(duì)當(dāng)前窗口區(qū)域內(nèi)的圖像進(jìn)行血管特征信息的計(jì)算，由訓(xùn)練好的SVM 給出分類結(jié)果，判斷該窗口圖像內(nèi)是否包含新生血管.

2 實(shí)驗(yàn)設(shè)置與實(shí)驗(yàn)結(jié)果

2.1 實(shí)驗(yàn)數(shù)據(jù)與實(shí)驗(yàn)設(shè)置

本文分別從MESSIDOR 數(shù)據(jù)集和Kaggle 數(shù)據(jù)集中各挑選了29 張和90 張共119 張包含新生血管的彩色眼底圖作為實(shí)驗(yàn)材料，并將圖片分辨率統(tǒng)一調(diào)整至1 024×1 024 像素.這119 張新生血管圖均由專家進(jìn)行了新生血管區(qū)域的標(biāo)定.

此外，本文還從Kaggle 數(shù)據(jù)集中隨機(jī)選取80 張正常的彩色眼底圖像，統(tǒng)一分辨率1 024×1 024 像素，作為負(fù)樣本參與檢驗(yàn)本方法中新生血管分類器的性能.

本文的改進(jìn)型U 形網(wǎng)絡(luò)和SVM 的訓(xùn)練和測(cè)試均使用Nvidia Titan Xp GPU，在Keras 深度學(xué)習(xí)框架上進(jìn)行.

對(duì)于改進(jìn)型U 形網(wǎng)絡(luò)的訓(xùn)練，為了避免訓(xùn)練數(shù)據(jù)過少而導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程中出現(xiàn)過擬合現(xiàn)象，本文從每一個(gè)訓(xùn)練集圖像中隨機(jī)提取等大小的10 000個(gè)圖像塊，38 張圖像，共380 000 個(gè)圖像塊參與訓(xùn)練，每一個(gè)圖像塊大小為48×48 像素.這38 張圖像均配有專家標(biāo)定的金標(biāo)準(zhǔn)圖像.

本文采用隨機(jī)梯度下降的優(yōu)化函數(shù)來對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行優(yōu)化，采用對(duì)數(shù)交叉熵代價(jià)函數(shù)作為損失函數(shù)來衡量網(wǎng)絡(luò)的分類誤差.學(xué)習(xí)率初始化為0.01，每次訓(xùn)練38 個(gè)圖像塊，共訓(xùn)練200 輪.

對(duì)于SVM 的訓(xùn)練，本文選取46 張新生血管圖像，共9 026 個(gè)帶標(biāo)簽的樣本（有效的窗口子圖像）參與訓(xùn)練.測(cè)試集數(shù)據(jù)由80 張正常眼底圖像和另外73張新生血管圖像組成.

在本文中，SVM 的C 參數(shù)值設(shè)為0.55.使用K折交叉驗(yàn)證方法，將訓(xùn)練數(shù)據(jù)隨機(jī)分為k 個(gè)較小的子集，并在每次迭代中對(duì)數(shù)據(jù)的k-1 部分訓(xùn)練模型.數(shù)據(jù)的其余部分用作驗(yàn)證和性能評(píng)估.該過程重復(fù)k 次，平均性能報(bào)告為總體性能.在本文中，k=10.

2.2 實(shí)驗(yàn)指標(biāo)

對(duì)于新生血管分割網(wǎng)絡(luò)的分割結(jié)果評(píng)估，其分割結(jié)果將會(huì)與專家標(biāo)注的金標(biāo)準(zhǔn)血管圖進(jìn)行比對(duì)，計(jì)算4 種統(tǒng)計(jì)指標(biāo)：真陰性（true negative，TN）、真陽性（true positive，TP）、假陰性（false negative，F(xiàn)N）和假陽性（false positive，F(xiàn)P）.TN 表示被正確地分為背景像素的像素點(diǎn)；TP 表示被正確地分為血管像素的像素點(diǎn)；FN 表示被錯(cuò)誤地分為血管像素的像素點(diǎn)；FP表示被錯(cuò)誤地分為背景像素的像素點(diǎn).

對(duì)于分類器的分類結(jié)果評(píng)估，其分類結(jié)果將會(huì)與專家標(biāo)注的診斷結(jié)果進(jìn)行比對(duì)，同樣計(jì)算4 種統(tǒng)計(jì)指標(biāo)：TN、TP、FN 和FP.如果存在一個(gè)窗口將當(dāng)前的圖像區(qū)域正確地分類為新生血管區(qū)域，則該圖像正確地檢測(cè)到了新生血管，計(jì)入TP；如果所有窗口都將當(dāng)前的圖像區(qū)域正確地分類為非新生血管，則該圖像正確地被分類為不含新生血管圖像，計(jì)入TN；如果一張不包含新生血管的圖像存在一個(gè)窗口將當(dāng)前區(qū)域的圖像錯(cuò)誤地分類為新生血管，則該圖像被錯(cuò)誤地分類為新生血管圖像，計(jì)入FN；如果一張包含新生血管的圖像的所有窗口都將當(dāng)前圖像區(qū)域錯(cuò)誤地分類為非新生血管，則該圖像被錯(cuò)誤地分類為不含新生血管的圖像，計(jì)入FP.

對(duì)于血管分割和血管分類兩個(gè)任務(wù)，通過這4種統(tǒng)計(jì)指標(biāo)，進(jìn)一步計(jì)算出3 個(gè)評(píng)估指標(biāo)：特異性（Specificity，Sp）、靈敏度（Sensitivity，Sn）、準(zhǔn)確率（Accuracy，Acc），這3 個(gè)評(píng)估指標(biāo)的計(jì)算方法為：

2.3 實(shí)驗(yàn)結(jié)果

改進(jìn)型U 形網(wǎng)絡(luò)對(duì)21 張含新生血管的眼底圖像進(jìn)行了分割測(cè)試，這21 張圖像均帶有專家標(biāo)注的血管金標(biāo)準(zhǔn)圖像.同樣地，使用原始U 形網(wǎng)絡(luò)對(duì)這21 張圖像進(jìn)行分割測(cè)試.兩個(gè)模型的分割結(jié)果對(duì)比見表1.兩種模型對(duì)新生血管分割的結(jié)果對(duì)比見圖6.

表1 分割結(jié)果與原始U 形網(wǎng)絡(luò)對(duì)比Tab.1 The segmentation results compared with the original U-shaped network

圖6 改進(jìn)型U 形網(wǎng)絡(luò)與原始U 形網(wǎng)絡(luò)對(duì)局部新生血管分割的結(jié)果對(duì)比Fig.6 Comparison of segmentation results of local neovascularization between improved U-shaped network and original U-shaped network

由圖6 可以看出，改進(jìn)型U 形網(wǎng)絡(luò)和原始U 型網(wǎng)絡(luò)對(duì)于普通血管的分割效果相近.但對(duì)于低對(duì)比度血管和細(xì)小血管的分割，改進(jìn)型U 形網(wǎng)絡(luò)效果明顯優(yōu)于原始U 形網(wǎng)絡(luò).

由表1 可知，本文提出的改進(jìn)型U 形網(wǎng)絡(luò)對(duì)新生血管的分割準(zhǔn)確率優(yōu)于原始U 形網(wǎng)絡(luò)，達(dá)到87.60%.改進(jìn)型U 形網(wǎng)絡(luò)對(duì)血管全局分割的效果見圖7.

圖7 改進(jìn)型U 形網(wǎng)絡(luò)對(duì)血管進(jìn)行全局分割效果圖Fig.7 Improved U-shaped network for global segmentation of blood vessels

分類器對(duì)153 張眼底圖像進(jìn)行了分類測(cè)試，這153 張圖像中有73 張圖像被專家標(biāo)注為含新生血管圖像，80 張正常眼底圖像.分類結(jié)果與其他新生血管檢測(cè)研究的對(duì)比見表2.

表2 分類結(jié)果與其他新生血管檢測(cè)研究對(duì)比Tab.2 Comparison of classification results with other neovascularization detection studies

從表2 可見，本文提出的方法最終取得了對(duì)新生血管分類準(zhǔn)確率95.96%、靈敏度91.10%、特異性97.16%的結(jié)果，對(duì)比其他已有研究結(jié)果，本文提出的方法在新生血管分類的準(zhǔn)確率和特異性上獲得了最優(yōu)的水平.

分類準(zhǔn)確率代表著分類器在進(jìn)行分類任務(wù)時(shí)，對(duì)多個(gè)標(biāo)簽的樣本分類的總體正確率.考慮到本文的實(shí)際情況是非新生血管標(biāo)簽數(shù)量遠(yuǎn)大于新生血管標(biāo)簽數(shù)量，說明本文提出的方法對(duì)非新生血管區(qū)域可以更好地分類.靈敏度在本文中代表著對(duì)新生血管區(qū)域分類的正確率，靈敏度越高，說明有更多的新生血管區(qū)域被正確地分類，有更少的非新生血管區(qū)域被錯(cuò)誤地分類成新生血管區(qū)域.特異性在本文中代表著對(duì)非新生血管區(qū)域分類的正確率，特異性越高，說明有更多的非新生血管區(qū)域被正確地分類，有更少的新生血管區(qū)域被錯(cuò)誤地分類成非新生血管區(qū)域.

本文提出的方法對(duì)非新生血管區(qū)域分類的效果極佳，有很高的特異性.這樣可以最大程度地避免在實(shí)際操作中將非新生血管區(qū)域誤診為新生血管.本文的方法在整體的準(zhǔn)確率上也取得了最優(yōu)的水平.綜合來看，本文提出的方法可以作為計(jì)算機(jī)輔助診斷方法輔助醫(yī)生進(jìn)行新生血管的檢測(cè).

3 結(jié)論

本文提出的改進(jìn)型U 形網(wǎng)絡(luò)對(duì)新生血管分割的效果優(yōu)于原始U 形網(wǎng)絡(luò)，可以較好地分割新生血管.本文提出的新生血管檢測(cè)方法相比目前文獻(xiàn)，在MESSIDOR 數(shù)據(jù)集和Kaggle 數(shù)據(jù)集上可以較好地檢測(cè)新生血管，且準(zhǔn)確率最高.

少量的新生血管圖像被本方法錯(cuò)誤分類，這是因?yàn)樾律懿⒉皇翘蔷W(wǎng)病在眼底圖上會(huì)出現(xiàn)的唯一病癥，其他病癥如出血、滲出等會(huì)覆蓋新生血管，干擾檢測(cè).

本文提出的方法可以用于計(jì)算機(jī)輔助診斷，幫助醫(yī)生做出決策.今后將構(gòu)建專門的新生血管圖像數(shù)據(jù)庫，進(jìn)一步優(yōu)化分割神經(jīng)網(wǎng)絡(luò)和新生血管分類器，尋找有效的噪聲消除方法，提高本方法對(duì)新生血管檢測(cè)的準(zhǔn)確率和魯棒性.