王家琦,劉俊彤,王培培,黎青青,盧小杰
基于相似度濾波算法的視網(wǎng)膜血管分割
*王家琦1,2,劉俊彤1,2,王培培1,2,黎青青1,2,盧小杰1,2
(1.皖南醫(yī)學(xué)院醫(yī)學(xué)信息學(xué)院,安徽,蕪湖 241002;2.皖南醫(yī)學(xué)院健康大數(shù)據(jù)挖掘與應(yīng)用研究中心,安徽,蕪湖 241002)
在計算機(jī)輔助眼底圖像視網(wǎng)膜血管分割中,基于匹配濾波算法的應(yīng)用非常廣泛。而傳統(tǒng)匹配濾波器算法存在分割細(xì)小血管效果較差、噪聲多以及視盤干擾等問題。本文提出一種相似度濾波算法的眼底圖像視網(wǎng)膜血管分割方法。首先用多層閾值和水平集算法提取視盤干擾區(qū)域,利用高斯模糊去除視盤干擾區(qū)域。然后采用相似度濾波運算對去除視盤干擾的彩色眼底圖像進(jìn)行處理。最后,將余弦相似度圖進(jìn)行二值化后與余弦相似度加強(qiáng)圖進(jìn)行區(qū)域連通性判斷,實現(xiàn)眼底圖像視網(wǎng)膜血管分割。結(jié)果表明,該算法能較好地分割細(xì)小血管以及去除視盤干擾,能更為準(zhǔn)確地提取眼底圖像視網(wǎng)膜血管。
醫(yī)學(xué)圖像處理;圖像分割;視網(wǎng)膜血管分割;匹配濾波;余弦相似度
計算機(jī)輔助分析眼底圖像視網(wǎng)膜血管的健康狀況,對當(dāng)前眼科疾病、糖尿病以及高血壓等心腦血管疾病的及時診斷具有非常重要的臨床參考意義[1,2]。目前眼底圖像的篩查和判斷仍然主要依賴于臨床醫(yī)生進(jìn)行人工定性分析,存在工作量大、主觀性強(qiáng)、容易出錯的問題。因此,為了提高臨床醫(yī)生的工作效率,采用計算機(jī)圖像識別與分析技術(shù)對眼底像視網(wǎng)膜血管進(jìn)行分割提取具有重要意義[3-4]。
近年來,視網(wǎng)膜血管分割技術(shù)發(fā)展迅猛,主要有監(jiān)督和非監(jiān)督方法兩大類[5]。在非監(jiān)督方法中,基于匹配濾波算法運用非常廣泛[6]。首次提出眼底圖像視網(wǎng)膜血管分割可采用匹配濾波算法的是Chaudhuri等[7],他們設(shè)計的二維匹配濾波器算法對多個方向的血管進(jìn)行分析,能有效提取視網(wǎng)膜血管。Cinsdikici等[8]在Chaudhuri的匹配濾波算法上進(jìn)行改進(jìn),用匹配濾波結(jié)合蟻群算法形成一種混合濾波算法,對彩色眼底圖像進(jìn)行分割處理。Hoover等[9]在匹配濾波算法的基礎(chǔ)上提出分段閾值探測算法,分析匹配濾波處理后的圖像,從而實現(xiàn)血管分割。Koukounis等[10]在Hoover算法的前期基礎(chǔ)上提出更高效的結(jié)構(gòu),使其更適應(yīng)大規(guī)模的眼底圖像篩查工作。然而,傳統(tǒng)的匹配濾波方法對細(xì)小的視網(wǎng)膜血管容易出現(xiàn)斷裂和漏檢,另外視盤干擾是傳統(tǒng)的匹配濾波方法普遍存在的問題。為了解決存在的問題,我們提出了一種基于相似度濾波的眼底圖像視網(wǎng)膜血管分割算法。首先利用多層閾值和水平集算法提取出視盤干擾區(qū)域,用高斯模糊去除視盤干擾區(qū)域。然后對去除視盤干擾的彩色眼底圖像進(jìn)行相似度濾波運算。最后將余弦相似度圖進(jìn)行二值化分割和余弦相似度加強(qiáng)圖進(jìn)行區(qū)域連通性判斷,實現(xiàn)眼底圖像視網(wǎng)膜血管分割。
本方法主要分成三個部分:去除視盤干擾,相似度濾波運算,血管分割。首先利用多層閾值算法[11]和傳統(tǒng)水平集算法標(biāo)記彩色眼底圖像視盤區(qū)域邊界,合并提取出視盤干擾區(qū)域,利用高斯模糊對視盤干擾區(qū)域進(jìn)行模糊運算。然后對去除視盤干擾的彩色眼底圖像進(jìn)行預(yù)處理,再分別進(jìn)行匹配濾波、小波變換和Frangi濾波,并對三種濾波結(jié)果進(jìn)行余弦相似度運算,得到余弦相似度加強(qiáng)圖。最后,將余弦相似度2進(jìn)行二值化分割,再和余弦相似度加強(qiáng)圖進(jìn)行區(qū)域連通性判斷,實現(xiàn)最終的眼底圖像視網(wǎng)膜血管分割。具體方法實現(xiàn)流程如圖1所示。
圖1 相似度濾波方法實現(xiàn)流程
2.1.1 視盤分割
用文獻(xiàn)[11]方法對視盤進(jìn)行快速定位分割,可得到結(jié)果如圖2(a)所示的視盤邊界標(biāo)記圖。再利用傳統(tǒng)水平集算法對視盤提取高亮區(qū)域,得到如圖2(b)所示的邊界標(biāo)記圖。在視盤邊界搜索兩種算法標(biāo)記的重合區(qū)域,即為如圖2(c)所示的視盤干擾區(qū)域。
圖2 定位視盤干擾邊界圖
2.1.2 去除視盤干擾
對眼底圖像視盤干擾區(qū)域,如圖2(c)中所標(biāo)記區(qū)域采用高斯模糊算法去邊界干擾。高斯模糊算法[12]作為一種數(shù)據(jù)平滑技術(shù),可應(yīng)用于圖像處理領(lǐng)域中,在二維空間中采用正態(tài)分布方程:
Fig.3 Two dimensional normal distribution function
圖4 去視盤干擾圖
將眼底圖像沿視盤干擾邊界區(qū)域進(jìn)行高斯模糊運算,得到去視盤邊界干擾結(jié)果圖,如圖4(b)所示。通過圖4中(a)視盤區(qū)域原圖與(b)去視盤邊界干擾圖對比可發(fā)現(xiàn),原來的視盤邊界干擾區(qū)域變模糊,有利于后續(xù)相似度濾波運算。
2.2.1 預(yù)處理
輸入圖5(a)中去除視盤干擾的彩色眼底圖像,分析RGB三通道圖像。通過肉眼觀察能明顯發(fā)現(xiàn)G通道中視網(wǎng)膜血管輪廓更清晰,因此實驗中采用G通道的眼底灰度圖像,如圖5(b)中所示。然后對G通道眼底圖像進(jìn)行增強(qiáng)處理,先進(jìn)行直方圖均衡化CLAHE[13-14],再進(jìn)行同態(tài)濾波運算[15],過程如圖5(c)、(d)所示。
圖5 圖像預(yù)處理
2.2.2 相似度濾波運算
首先,對增強(qiáng)后的圖像分別求匹配濾波、小波變換和frangi濾波運算,得出如圖6所示的三張?zhí)幚韴D。
圖6 三種濾波結(jié)果
然后,利用小波變換圖()與匹配濾波圖()、frangi濾波圖()求余弦相似度圖。小波變換圖()與匹配濾波圖()求余弦相似度[16]得到余弦相似度圖1(1),如圖7(a)所示。小波變換圖()與frangi濾波圖()求余弦相似度得到余弦相似度圖2(),如圖7(b)所示。余弦相似度用以衡量兩個向量間的夾角,因此兩個向量的值為:
其中,分子為向量A與向量B的點乘,分母為二者各自的L2范數(shù)相乘。由公式(2)可得的取值范圍為[-1,1],值越接近1表示A與B二者越相似。因此,小波變換圖()與匹配濾波圖()的余弦相似度圖為1,
小波變換圖()與frangi濾波圖()的余弦相似度圖為2,
最后,將相似度圖按權(quán)重再次求余弦相似度,得到余弦相似度加強(qiáng)圖為W,如圖7(c)中所示。
由于小波變換、匹配濾波和frangi濾波三種濾波方法在進(jìn)行圖像強(qiáng)化時的血管區(qū)域大體一致,而出現(xiàn)的噪聲干擾各不相同。因此采用余弦相似度方法計算圖像之間的相似圖,用以保留血管區(qū)域,濾除噪聲。通過觀察余弦相似度加強(qiáng)圖,不難發(fā)現(xiàn)算法除了濾除了部分干擾也進(jìn)一步加強(qiáng)了細(xì)小血管。
利用Otsu閾值分割法[17-18]對余弦相似度圖2進(jìn)行二值化,可初步得到視網(wǎng)膜血管分割圖。但是傳統(tǒng)Otsu閾值分割法得出的結(jié)果圖像中,主要是視網(wǎng)膜主血管,而視網(wǎng)膜細(xì)小血管部分存在斷裂和丟失現(xiàn)象。圖7(c)中的相似度濾波算法余弦相似度加強(qiáng)圖W,雖然能夠提取細(xì)小血管但也存在噪聲干擾。為此,本文采用區(qū)域連通性的搜索判斷來濾除W中存在的干擾噪聲。將Otsu視網(wǎng)膜血管分割圖作為視網(wǎng)膜血管網(wǎng)絡(luò)的主體部分,另外在W中選定象素周圍鄰域3×3的范圍,判斷是否至少有一個象素在Otsu視網(wǎng)膜主血管圖像中為主血管象素。如果有主血管像素,那么該W中選定象素認(rèn)定為血管點,否則認(rèn)定為噪聲點并濾除。如此循環(huán)遍歷搜索整個W,直到判定完成。通過區(qū)域連通性的搜索判定,可將W中位于視網(wǎng)膜血管主體周圍的小血管判定出來,濾除W中獨立的或與主血管沒有連通性的噪聲。得出如圖8(d)所示的視網(wǎng)膜血管分割圖,為本文算法的輸出結(jié)果。
通常用于判斷血管分割方法的性能指標(biāo)有靈敏度(SE)、特異度(SP)、準(zhǔn)確度(ACC)和ROC曲線等。將最終輸出的結(jié)果與金標(biāo)準(zhǔn)相比較存在四種情況,如表1中所示。
表1 四種分割結(jié)果
Table 1 Four segmentation results
分割對象分割正確的像素分割錯誤的像素 血管點真陽性(TP)假陽性(FP) 背景點真陰性(TN)假陰性(FN)
在表1中,TP表示預(yù)測和真實都為陽性,即真陽性;FP表示預(yù)測為陽性而真實為陰性,即假陽性;TN表示預(yù)測和真實都為陰性,即真陰性;FN表示預(yù)測為陰性而真實為陽性,即假陽性。為了得到有效的評價指標(biāo),利用以上四種參數(shù)可以得到準(zhǔn)確度、靈敏度和特異度三個指標(biāo)參數(shù),計算方法如表2所示。
表2 方法性能評估指標(biāo)
Table 2 Performance evaluation indexes of vascular segmentation method
性能評估指標(biāo)計算方法 靈敏度(SE)TP/(TP+FN) 特異度(SP)TN/(TN+FP) 準(zhǔn)確度(ACC)(TP+TN)/(TP+FP+TN+FN)
受試者工作特征曲線(receiver operating characteristic curve,簡稱ROC曲線)是衡量圖像分割方法性能的重要指標(biāo),ROC曲線越靠近坐標(biāo)軸左上角,視網(wǎng)膜分割結(jié)果越接近真實值。在ROC曲線中,AUC值亦可作為視網(wǎng)膜血管分割方法的性能評價指標(biāo)。AUC值表示ROC曲線右下方面積占整體面積的大小,其越接近1,表明分割方法效果越好。
本算法在DRIVE數(shù)據(jù)集[19]上實現(xiàn),與目前基于匹配濾波算法的方法進(jìn)行對比。方法1[7]是經(jīng)典匹配濾波器算法,目前的匹配濾波器算法都是在Chaudhuri的基礎(chǔ)上進(jìn)行優(yōu)化和改進(jìn)的。方法2[9]是在Chaudhuri基礎(chǔ)上的改進(jìn)算法,大大提升了經(jīng)典匹配濾波算法的效果。方法3[20]是現(xiàn)階段基于匹配濾波器算法中具有較高準(zhǔn)確率的算法。
本算法在DRIVE數(shù)據(jù)集上的SE、SP、ACC和AUC值分別為0.8439、0.9811、0.9618和0.9690,性能指標(biāo)對比如表3。使用多種性能指標(biāo)對算法進(jìn)行綜合評定,本文算法在四種評價指標(biāo)上明顯優(yōu)于傳統(tǒng)濾波算法(方法1,方法2),在特異度(SP)、準(zhǔn)確率(ACC)和AUC優(yōu)于混合濾波算法(方法3),在靈敏度(SE)上略低于混合濾波算法(方法3),但在整體性上本文算法性能更佳。
表3 在DRIVE數(shù)據(jù)集上的分割結(jié)果對比
Table 3 Compares the segmentation results on DRIVE data set
方法SESPACCAUC 方法1[7]0.66120.82110.90010.8138 方法2[9]0.77510.96670.94730.9452 方法3[20]0.85080.96920.96060.9501- 本文0.84390.98110.96180.9690
實驗結(jié)果對比如圖8所示,圖8(a)為初始彩色眼底圖像,圖8(b)為方法2結(jié)果,圖8(c)為方法3結(jié)果,圖8(d)為本文算法結(jié)果,圖8(e)為金標(biāo)準(zhǔn)。另外,圖8中第一、二行為A組實驗,第一行是完整的彩色眼底圖像和分割結(jié)果,第二行是細(xì)節(jié)區(qū)域和分割結(jié)果;第三、四行為B組實驗,第三行是完整的彩色眼底圖像和分割結(jié)果,第四行是視盤區(qū)域和分割結(jié)果。
方法2由于僅采用匹配濾波算法進(jìn)行處理以及分段閾值分割法的局限性,導(dǎo)致細(xì)小血管分割結(jié)果較差、噪聲干擾較多;另外,方法2未考慮去除視盤干擾區(qū)域。方法3采用B-COSFIRE和匹配濾波融合的混合濾波算法在一定程度上克服方法2中細(xì)小血管分割斷裂等問題;但是方法3仍未考慮去除視盤干擾區(qū)域。本文算法采用充分預(yù)處理技術(shù)去除原始圖像視盤干擾區(qū)域和加強(qiáng)血管;提出的相似度濾波算法能綜合三種不同濾波算法(匹配濾波、小波變換和frangi濾波)中的血管區(qū)域從而有助于加強(qiáng)細(xì)小血管;區(qū)域連通性判斷能在分割時濾除干擾噪聲。通過對比結(jié)果可知本文算法比改進(jìn)匹配濾波算法(方法2)在細(xì)節(jié)上分割效果更好、噪聲更少且去除了視盤干擾區(qū)域;與混合濾波算法(方法3)的相比在保證較好提取細(xì)小血管的同時去除了視盤干擾區(qū)域。因此,本算法結(jié)果更接近于金標(biāo)準(zhǔn)。
圖8 本文算法與目前匹配濾波算法的分割結(jié)果對比
本文提出了一種基于相似度濾波算法的眼底圖像視網(wǎng)膜血管分割方法。首先利用多閾值和水平集算法提取出視盤干擾區(qū)域,再用高斯模糊去除視盤干擾區(qū)域。然后對去除視盤干擾的彩色眼底圖像進(jìn)行相似度濾波運算。最后,將余弦相似度圖進(jìn)行二值化分割,利用二值圖對余弦相似度加強(qiáng)圖進(jìn)行區(qū)域連通性的搜索判斷,提取彩色眼底圖像視網(wǎng)膜血管。實驗結(jié)果顯示,本算法能夠有效提升彩色眼底圖像視網(wǎng)膜血管分割的準(zhǔn)確度,優(yōu)于目前的匹配濾波算法。但算法在分割有大面積病變的彩色眼底圖像時,仍然會有部分病變區(qū)域干擾的問題。在之后的研究工作中考慮結(jié)合深度學(xué)習(xí)算法,進(jìn)一步提高眼底圖像視網(wǎng)膜血管的精準(zhǔn)分割。
[1] Yusup Mehriban, Chen X Y. Epidemiology survey of visual loss[J]. International Journal of Ophthalmol,2012, 10(2): 304-307.
[2] Abramoff M D, Garvin M K, Sonka M. Retinal imaging and image analysis[J]. IEEE Reviews in Biomedical Engineering,2010, 3: 169-208.
[3] Sindhi C L, Aparna P, Rajan J. Recent advancements in retinal vessel segmentation[J]. Journal of Medical Systems,2017,41(4):70.
[4] Bhaskaranand M,Ramachandra C,Bhat S,et al. Automated diabetic retinopathy screening and monitoring using retinal fundus image analysis[J].Journal of Diabetes Science & Technology,2016,10(2):254-261.
[5] 曹新容,薛嵐燕,林嘉雯,等.基于匹配濾波和自動閾值的眼底血管分割方法[J].電子測量與儀器學(xué)報,2017,31(1):51-57.
[6] 朱承璋,鄒北驥,向遙,等.彩色眼底圖像視網(wǎng)膜血管分割方法研究進(jìn)展[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報,2015,27(11):34-45.
[7] Chaudhuri S, Chatterjee S. Detection of blood vessels in retinal images using two-dimensional matched filters[J].IEEE Transactions on Medical Imaginf,1989,8(3):263-269.
[8] Cinsdikici M G,Aydin D. Detection of blood vessels in ophthalmoscope images using MF/ant (matched filter/ant colony) algorithm[J]. Computer Methods & Programs in Biomedicine,2009,96(2): 85-95.
[9] Hoover A, Kouznetsova V, Goldbaum M. Locating blood vessels in retinal images by piecewise threshold probing of a matched filter response [J].IEEE Transactions on Medical Imaging,2000, 19(3):203-210.
[10] Koukounis D, Ttofis C, Papadopoulos A, et al. A high performance hardware architecture for portable, low-power retinal vessel segmentation [J].Integration, the VLSI Journal,2014,47(3):377- 386.
[11] Sanjeev Kubakaddi, Mila Kankanala. Automatic Segmentation of Optic Disc using Modified Multi-level Thresholding [C].IEEE International Conference,2014:124-130.
[12] Kostkova J, Flusser J, Pedone M. Combined Invariants to Gaussian Blur and Affine Transformation [C]. 2020 25th International Conference on Pattern Recognition (ICPR), 2021.
[13] Zuiderveld K. Contrast limited adaptive histogram equalization [M].Academic Press Professional, Inc.1994.
[14] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing,2000,9(5): 889-896.
[15] Matton S. Generation and coherent detection of terahertz radiation by photo mixing: dielectric media characterization[C]. 2005 Joint 30th International Conference on Infrared and Millimeter Waves and 13th International Conference on Terahertz Electronics,2005:419 -420.
[16] Gidaris S,Komodakis N.Dynamic few-shot visual learning without forgetting[C].2018 IEEE/ CVF Conference on Computer Vision and Pattern Recognition,2018:4367-4375.
[17] Bhandari A K, Kumar I V, Srinivas K. Cuttlefish algorithm based multilevel 3D otsu function for color image segmentation[J].IEEE Transactions on Instrumentation and Measurement,2020,69(5):1871- 1880.
[18] Song T,Li J,Han X, et al.A quick Otsu-Kmeans algorithm for the internal pipeline detection[C].2017 IEEE International Conference on Mechatronics and Automation (ICMA), 2017:193- 197.
[19] Drive.digital retinal images for vessel extraction[EB/OL].http://www.isi.uu.nl/Research/Databases/DRIVE, 2020-4-1.
[20] 董恒,葉楠,寇麗杰,等.基于B-COSFIRE的混合濾波視網(wǎng)膜血管分割算法[J].電子測量技術(shù),2020,43(16):156-160.
RETINAL VASCULAR SEGMENTATION BASED ON SIMILARITY FILTERING ALGORITHM
*WANG Jia-qi1,2, LIU Jun-tong1,2, WANG Pei-pei1,2, LI Qing-qing1,2, LU Xiao-jie1,2
2. School of Medical Information, Wannan Medical College, Wuhu, Anhui 241002, China; Research Center of Health Big Data Mining and Applications, Wannan Medical College, Wuhu, Anhui 241002, China)
In computer-aided retinal vascular segmentation of fundus images, matched filter algorithm is widely used. However, the traditional matched filter algorithm has some problems such as poor performance and optic disc interference. A similarity filter algorithm for retinal vascular segmentation in fundus images is proposed in this paper. Firstly, multi-level threshold and level set algorithm are used to extract optic disc interference regions, and Gaussian blur is used to remove optic disc interference region. Then the similarity filter algorithm is used to process the color fundus images without optic disc interference. Finally, the cosine similarity image is binarized and the cosine similarity enhancement image is combined to achieve retinal vascular segmentation in fundus images. The results show that the algorithm can better segment the small vessels and remove the interference of optic disc, and can extract retinal vessels in fundus images more accurately.
medical image processing; image segmentation; retinal vascular segmentation; matched filter; consine similarity
1674-8085(2021)06-0063-07
TP391.413
A
10.3969/j.issn.1674-8085.2022.01.011
2021-07-17;
2021-09-25
安徽高校科學(xué)研究項目(KJ2020A0618);皖南醫(yī)學(xué)院中青年科學(xué)基金 (WK202017)
*王家琦(1988-),女,安徽合肥人,助教,碩士,主要從事醫(yī)學(xué)圖像處理研究(E-mail:andawjq@163.com).