鄭紹華陳 健潘 林郭 健余 輪
①(福州大學物理與信息工程學院 福州 350108)②(福建醫(yī)科大學附屬第一醫(yī)院眼科中心 福州 350005)
彩色眼底圖像已經(jīng)廣泛地應(yīng)用于系統(tǒng)性疾病如糖尿病性視網(wǎng)膜病變(Diabetic Retinopathy, DR)、青光眼、高血壓等眼科相關(guān)疾病的輔助診斷或篩查中[1]。黃斑、視盤與血管一起是視網(wǎng)膜后極部最重要的3個解剖結(jié)構(gòu)。視盤是視神經(jīng)的始端和血管的發(fā)源端,呈亮白色圓盤狀,直徑約為1.5 mm。黃斑則在視盤的顳側(cè)3.5 mm處并稍下方,是視力最敏銳的部分。DR可造成黃斑區(qū)的損害,引起糖尿病性黃斑水腫(Diabetic Macular Edema, DME),即由糖尿病引起的黃斑中央凹(Macula Fovea)一個視盤直徑(Optic Disk Diameter, ODD)范圍內(nèi)的細胞外液積聚所致的視網(wǎng)膜增厚或硬性滲出沉積,是導致糖尿病患者視力損害的主要原因[2]。DME的早期檢測是防止視力損傷的最好方法之一,一旦發(fā)現(xiàn),應(yīng)立即治療。
黃斑和視盤作為眼底圖像的重要特征,在眼底圖像分析中有著重要的作用。黃斑定位在 DME圖像的評估中顯得尤為重要,因為 DME的嚴重程度是根據(jù)硬性滲出是否接近或涉及黃斑區(qū)域來判定的[2]。目前,關(guān)于視盤檢測的文獻報道較多,而關(guān)于黃斑檢測的研究則較少,主要的原因是成像因素或視網(wǎng)膜病變的影響使得黃斑檢測的難度較大[3]。關(guān)于視盤檢測方法大致可分為兩類,一類是利用視盤的外觀信息如亮度、對比度、形狀等作為檢測特征,如早期文獻[4]假設(shè)視盤為最亮最大的像素聚集區(qū)域,但檢測正確率較低,在出現(xiàn)較大的亮斑病灶或光照不均時容易產(chǎn)生錯誤;而后文獻[5]針對提取的每一塊亮斑特征應(yīng)用主成分分析方法來提高視盤的識別正確率。另一類是結(jié)合血管特性的視盤檢測方法,如文獻[6]提出了一種基于模糊收斂的方法來尋找血管的起始點——視盤;文獻[7]提出一種基于血管方向匹配濾波器的方法;文獻[8]采用自適應(yīng)數(shù)學形態(tài)學方法提取主干拱形血管來確定視盤的位置。在國內(nèi),文獻[9]提出基于血管分割和交叉網(wǎng)絡(luò)的視盤檢測自動定位方法;文獻[10]提出基于投影的視盤檢測方法,都取得了良好的檢測結(jié)果。
關(guān)于黃斑的檢測,現(xiàn)有的方法一般都是依賴于視盤的定位信息及(或)血管拱形的坐標信息[3,1113]-或綜合方法[14]。文獻[11]較早實現(xiàn)根據(jù)視盤中心位置及血管拱形拋物線擬合定位出黃斑;文獻[12]提出一種基于監(jiān)督分類的血管主干點分布模型相繼檢測出血管拱形、視盤和黃斑的方法;文獻[3]提出一種結(jié)合模型匹配和k最近鄰(k-Nearest Neighbor, kNN)算法檢測視盤和黃斑的方法;文獻[13]同樣利用視盤定位信息、拱形血管及血管密度來定位黃斑。國內(nèi)還未見有相關(guān)文獻報道。這些方法中,由于黃斑的定位依賴于視盤信息會造成其定位正確率低于視盤檢測正確率。基于此,依據(jù)黃斑區(qū)域從邊緣到中心逐步變暗的特點,本文提出了一種基于定向局部對比度(Directional Local Contrast, DLC)濾波方法,直接檢測出黃斑的候選區(qū)域,并根據(jù)黃斑區(qū)域無血管或僅有少量微細血管的特點,定位出真實的黃斑。反過來,依據(jù)黃斑的位置信息可以簡單地確定出視盤區(qū)域。
完整的算法流程如圖1所示。流程分兩條主線,一是應(yīng)用DLC濾波尋找黃斑候選點,二是進行血管提取,二者均在眼底圖像的綠色通道上進行。在眼底圖像處理中,為了減小計算量,一般把高分辨的原始圖像尺寸重置為寬度 600~750像素左右(保持寬高比)[3]。由于黃斑結(jié)構(gòu)較大,其檢測算法的輸入圖像尺寸還可更小,經(jīng)實驗驗證,原始圖像的尺寸重置為寬度500像素并不影響黃斑的檢測結(jié)果。
DLC是一種對比度濾波器[15]。關(guān)于DLC算法的定義和性質(zhì)描述為:假設(shè)像素p的亮度為Ip,沿著方向角θ的像素p的DLC定義為
圖1 算法流程圖
因此,像素p的DLC向量就可以定義為
其中n為角度的個數(shù),可以根據(jù)實際需要把360°均等劃分??梢钥闯鯠LC向量表征著像素與周圍相鄰像素之間的關(guān)系。
在一幅正常彩色眼底圖像中,黃斑區(qū)域呈暗紅色或紅褐色,黃斑邊緣到中心逐步變暗,黃斑中央凹是視網(wǎng)膜最暗的區(qū)域。若對黃斑區(qū)域應(yīng)用DLC算法,黃斑中心區(qū)域像素的DLC向量的每一個分量都將小于零。驗證如下:截取一黃斑區(qū)域,大小 100×100,如圖3所示,圖3(a), 3(b)分別為彩色和綠色分量圖,圖 3(c)中的白線為要進行 DLC運算的24個像素點標記。DLC運算取θ角為15°(360°共劃分為24個角度),半徑r取15。24個像素點從左到右進行DLC計算,結(jié)果如圖4所示。圖4中的24幅子圖分別表示所取24個像素對應(yīng)的DLC向量的24個分量值曲線。
圖2 像素p沿方向θ半徑r的相鄰像素集
圖3 黃斑區(qū)域
從圖 4可以看出,從第 9~17個像素(標星點)的DLC向量的24個分量均小于0,而其余像素的DLC向量分量均存在過零點。第9~17個像素處于圖 3(c)中白線的中間段,即處于黃斑中央凹區(qū)域。因此若對整幅眼底圖像進行DLC濾波,將可以獲得黃斑區(qū)域的候選點。選取一幅重度DME、對比度較差的眼底圖像,如圖5(a)所示,其綠色分量的DLC運算結(jié)果如圖(b)所示。因圖像尺寸重置為 500,其ODD約為80像素,所以DLC半徑取50像素(略大于ODD),方向角個數(shù)取24。
圖4 24個像素DLC向量
從圖 5(b)可以看出,存在著多個黃斑獲選點,這些干擾來源于同樣呈暗紅色的血管和出血斑。其中,血管的干擾為粗血管干擾,可以通過提取血管消除;出血斑的干擾可以通過判斷候選點所在局部區(qū)域的血管密度排除,因為在眼底圖像中,黃斑所處區(qū)域一般沒有血管或僅有少量微細血管存在,而出血斑則主要出現(xiàn)在血管附近。因此需要提取血管,但無需血管的精細分割,較容易實現(xiàn)。
圖5 DLC運算示意
血管分割是眼底圖像處理與分析中的研究熱點之一,由于光照不均、低對比度及病灶的影響使得血管的分割特別是微細血管的分割任務(wù)相當困難[16]。血管分割不是本文的重點,本文僅需要血管的粗細分割,但為了消除光照不均、低對比度及病灶對血管分割的影響,綜合應(yīng)用了對比度受限自適應(yīng)直方圖均衡(Contrast Limited Adaptive Histogram Equalization, CLAHE)[17]、多方向線性結(jié)構(gòu)元素形態(tài)學運算、非線性增強及自適應(yīng)閾值等通用技術(shù)。血管分割的具體步驟為:
步驟 1 預處理含提取綠色通道、尺寸重置及去除噪聲,如圖6(a)所示。
步驟 2 應(yīng)用CLAHE技術(shù),結(jié)果如圖6(b)所示。
步驟 3 應(yīng)用多方向線性結(jié)構(gòu)元素形態(tài)學技術(shù)去除背景,見式(5):
步驟..4 歸一化后進行非線性增強,增強算子[18]見式(6),結(jié)果如圖6(d)。
圖6 眼底圖像血管分割
步驟 5 最后取圖 6(d)非零像素的均值作為閾值并去除8連通面積小于100個像素的斑塊可獲得最終的血管網(wǎng)絡(luò)圖6(e)。
有了圖6(e)的血管二值圖,通過判斷圖5(b)中白色像素是否為血管像素就可以排除大部分由于血管引起的干擾,僅剩下如圖6(f)中7個候選點,若要求黃斑處于大致中心,處于視場邊緣的1, 2, 3號候選點也可略去,僅剩4, 5, 6, 7號。計算各個以候選點質(zhì)心為圓心1.5倍ODD范圍內(nèi)的血管密度,容易得出 4號候選點血管密度最小為真正的黃斑。4號候選點的質(zhì)心就定位為黃斑中心,如圖 7(a)中十字標識。
在眼底圖像中,黃斑一般在視盤的顳側(cè)約 2.5倍 ODD的偏下方,因此有了黃斑中心的定位,在其偏(左/右)上方位置可容易確定視盤的感興趣區(qū)域。
(1)首先判斷左右眼。根據(jù)已有的血管網(wǎng)絡(luò)圖,以黃斑中心為中線,計算左右兩邊的血管密度,密度大的一側(cè)擁有視盤,因為視盤為血管的起始,血管豐富且粗大。
(2)確定視盤區(qū)域。如圖6(e)所示,左半部分血管密度大,所以視盤區(qū)域在黃斑中心的偏左上方。視盤區(qū)域定位如圖 7(a)所示白色方框,距離黃斑中心1.5倍ODD,寬2倍ODD,高3倍ODD,偏上2倍ODD,偏下1倍ODD,即一個大小為3 ODD×2 ODD的區(qū)域。本文取ODD為80像素。
視盤感興趣區(qū)域的確定是視盤檢測關(guān)鍵步驟,若需要精確檢測視盤的輪廓,可采用現(xiàn)有的結(jié)合數(shù)學形態(tài)學與區(qū)域主動輪廓模型的方法[19]。有了黃斑和視盤的定位信息,就可以建立眼底圖像的黃斑坐標系統(tǒng),如圖7(b)所示,黃斑中心半徑為1/3 ODD,內(nèi)圓半徑為1 ODD,外圓半徑為2 ODD。此坐標系統(tǒng)可用于 DME圖像的自動評估或篩查,若硬性滲出涉及黃斑中心區(qū)即為重度DME,落在內(nèi)圓范圍即為中度DME,落在外圓外即為輕度DME[20,21]。
對一個自動醫(yī)學系統(tǒng)進行性能評價是相當重要的。本文實驗數(shù)據(jù)選擇網(wǎng)上公開的美國哈密爾頓眼科研究所黃斑水腫數(shù)據(jù)集(Hamilton Eye Institute Macular Edema Dataset, HEI-MED)[22],該數(shù)據(jù)集于 2012年設(shè)立的作為糖尿病性黃斑水腫自動評估的標準數(shù)據(jù)庫,共有169幅,是一個包含多個種族混合、無重復患者、不同圖像質(zhì)量及不同程度視網(wǎng)膜病變的眼底圖像數(shù)據(jù)集,其中正常圖像115幅,病變圖像54幅。圖8給出了其中3幅視網(wǎng)膜病變嚴重或黃斑區(qū)域?qū)Ρ榷茸畈罨虮尘凹y理最復雜的圖像經(jīng)DLC運算的結(jié)果。
圖7 視盤區(qū)域定位及黃斑坐標系統(tǒng)示意
圖8(a)屬于重度DME,黃斑區(qū)域受硬性滲出影響嚴重,用DLC很好地檢測出了黃斑。圖8(b)黃斑區(qū)域光照不均,用 DLC仍可檢測出微弱黃斑。圖8(c)中眼底背景紋理較為復雜,同時受光照不均的影響,使得黃斑檢測較為困難,但用DLC很好地檢測出了黃斑??梢?DLC在針對背景紋理復雜的情況,黃斑檢測的效果反而很好,原因在于紋理寬度都小于所取的DLC半徑。可以證實,DLC濾波方法與黃斑局部特征相吻合。
經(jīng)過對HEI-MED數(shù)據(jù)集中169幅眼底圖像進行DLC黃斑檢測實驗,也發(fā)現(xiàn)存在3幅圖像未能檢測出正確的黃斑候選點,如圖9所示。圖9(a)為重度DME,黃斑區(qū)域幾乎被硬性滲出覆蓋,因此未能檢測出黃斑。圖9(b)屬于中度DME,雖然黃斑區(qū)域未涉及硬性滲出,但存在一個由于鏡頭臟引起的圓形亮斑,因此也未能正確地檢測出黃斑,用DLC檢測出的黃斑候選點偏離了近1倍ODD。圖9(c)則是由于光照的影響黃斑區(qū)域幾乎不可見,也因此未能檢測出黃斑。
圖8 DLC檢測黃斑實例
圖9 DLC黃斑檢測失敗實例
經(jīng)統(tǒng)計,115幅正常圖像能正確檢測出黃斑114幅(除了 2512.jpg),正確率達 99.1%;54幅病變圖像能正確檢測出黃斑52幅(除了235.jpg和736.jpg),正確率達96.3%;整體169幅中成功檢測166幅,成功率為98.2%;同樣地,都可以定位出視盤區(qū)域。表1給出了本文方法與現(xiàn)有最具代表的方法的檢測結(jié)果對比。從表1中可以看出,文獻[11]取得了最好的檢測正確率,但數(shù)據(jù)集小且未指明是否有針對病變的眼底圖像;文獻[3]和文獻[12]也取得了較高的檢測正確率,但其采用的是監(jiān)督分類的方法,且對病變圖像的檢測正確率會低一些;文獻[13]也取得了較好的檢測結(jié)果,但算法相對復雜。由于黃斑檢測受到的關(guān)注較少,目前還沒有專門的、公開的測試數(shù)據(jù)集,所以在表1中的各文獻都采用了本地的數(shù)據(jù)集。由于黃斑檢測是 DME的關(guān)鍵步驟,所以本文選擇了HEI-MED數(shù)據(jù)集,但此數(shù)據(jù)集于2012年才設(shè)立,目前主要用于硬性滲出的檢測,未見其上有黃斑檢測的文獻報道。因此,雖然表1中的比較是相對的,但可以看出本文方法的檢測結(jié)果應(yīng)不低于現(xiàn)有的方法甚至更優(yōu),而且本文方法計算較為簡單且無監(jiān)督,在實際應(yīng)用中具有很大的優(yōu)勢。
表1 黃斑與視盤檢測結(jié)果對比
黃斑和視盤均是眼底圖像中最重要的解剖結(jié)構(gòu),對它們的預先檢測定位是DR圖像的自動處理與分析的關(guān)鍵步驟。由于直接對黃斑檢測定位的難度較大,現(xiàn)有的黃斑定位一般都是依賴于視盤的定位信息及血管拱形的坐標信息,造成黃斑定位的正確率要低于視盤定位的正確率,而針對糖尿病性黃斑水腫眼底圖像的自動評價或篩查系統(tǒng),黃斑定位比視盤定位來得重要。本文引入方向局部對比度濾波結(jié)合局部血管密度的方法,實現(xiàn)了一種先定位黃斑再定位視盤的新方法,有效地提高了黃斑和視盤的定位正確率。實驗選取了網(wǎng)絡(luò)公開的 HEI-MED數(shù)據(jù)集中169幅眼底圖像,正確檢測黃斑和視盤166幅,檢測正確率高達 98.2%,不低于甚至要優(yōu)于監(jiān)督分類的檢測結(jié)果,且本文方法計算較為簡單無監(jiān)督,具有一定的優(yōu)勢。該研究工作為糖尿病性視網(wǎng)膜病變計算機輔助診斷或自動篩查特別是斑水腫自動評估奠定了良好的基礎(chǔ),具有重要的眼科臨床應(yīng)用價值。
[1] Abràmoff M D, Garvin M K, and Sonka M. Retinal imaging and image analysis[J]. IEEE Reviews in Biomedical Engineering, 2010, 3: 169-208.
[2] Deepak K S and Sivaswamy J. Automatic assessment of macular edema from color retinal images[J]. IEEE Transactions on Medical Imaging, 2012, 31(3): 766-776.
[3] Niemeijer M, Abràmoff M D, and Van Ginneken B. Fast detection of the optic disc and fovea in color fundus photographs[J]. Medical Image Analysis, 2009, 13(6):859-870.
[4] Sinthanayothin C, Boyce J F, Cook H L, et al.. Automated localisation of the optic disc, fovea, and retinal blood vessels from digital colour fundus images[J]. British Journal of Ophthalmology, 1999, 83(8): 902-910.
[5] Li H and Chutatape O. Automatic location of optic disk in retinal images[C]. Proceedings of IEEE International Conference on Image Processing, Thessaloniki, Greece, 2001,2: 837-840.
[6] Hoover A and Goldbaum M. Locating the optic nerve in a retinal image using the fuzzy convergence of the blood vessels[J]. IEEE Transactions on Medical Imaging, 2003,22(8): 951-958.
[7] Abdel-Razik Youssif A A H, Ghalwash A Z, and Abdel-Rahman Ghoneim A A S. Optic disc detection from normalized digital fundus images by means of a vessels’direction matched filter[J]. IEEE Transactions on Medical Imaging, 2008, 27(1): 11-18.
[8] Welfer D, Scharcanski J, Kitamura C M, et al.. Segmentation of the optic disk in color eye fundus images using an adaptive morphological approach[J]. Computers in Biology and Medicine, 2010, 40(2): 124-137.
[9] 李居朋, 陳后金, 張新媛. 基于交叉網(wǎng)絡(luò)的眼底視神經(jīng)乳頭自動定位[J]. 電子與信息學報, 2009, 31(5): 1170-1174.Li Ju-peng, Chen Hou-jin, and Zhang Xin-yuan. Automatic localization of optic nerve head in the fundus images based on cross-network[J]. Journal of Electronics & Information Technology, 2009, 31(5): 1170-1174.
[10] 張東波, 易瑤, 趙圓圓. 基于投影的視網(wǎng)膜眼底圖像視盤檢測方法[J]. 中國生物醫(yī)學工程學報, 2013, 32(4): 477-483.Zhang Dong-bo, Yi Yao, and Zhao Yuan-yuan. Projection based optic disk detection method in retinal fundus image[J].Chinese Journal of Biomedical Engineering, 2013, 32(4):477-483.
[11] Li H and Chutatape O. Automated feature extraction in color retinal images by a model based approach[J]. IEEE Transactions on Biomedical Engineering, 2004, 51(2):246-254.
[12] Niemeijer M, Abràmoff M D, and Van Ginneken B.Segmentation of the optic disc, macula and vascular arch in fundus photographs[J]. IEEE Transactions on Medical Imaging, 2007, 26(1): 116-127.
[13] Chin K S, Trucco E, Tan L, et al.. Automatic fovea location in retinal images using anatomical priors and vessel density[J].Pattern Recognition Letters, 2013, 34(10): 1152-1158.
[14] Qureshi R J, Kovacs L, Harangi B, et al.. Combining algorithms for automatic detection of optic disc and macula in fundus images[J]. Computer Vision and Image Understanding, 2012, 116(1): 138-145.
[15] Zhang M and Liu J C. Directional local Contrast based blood vessel detection in retinal images[C]. Proceedings of IEEE International Conference on Image Processing, San Antonio,TX, USA, 2007, 4: IV-317-IV-320.
[16] 吳駿, 肖志濤, 張芳, 等. 結(jié)合自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)和最大類間方差準則的眼底圖像血管自動檢測方法[J]. 電子與信息學報, 2013, 35(10): 2411-2417.Wu Jun, Xiao Zhi-tao, Zhang Fang, et al.. Combing adaptive pulse coupled neural network and maximal categories variance criterion for blood vessels automatic detection in fundus image[J]. Journal of Electronics & Information Technology, 2013, 35(10): 2411-2417.
[17] Stark J A. Adaptive image contrast enhancement using generalizations of histogram equalization[J]. IEEE Transactions on Image Processing, 2000, 9(5): 889-896.
[18] Patel V M, Easley G R, and Healy D M. A new multiresolution generalized directional filter bank design and application in image enhancement[C]. Proceedings of 15th IEEE International Conference on Image Processing, San Diego, CA, USA, 2008: 2816-2819.
[19] Soliman O S, Plato? J, Hassanien A E, et al.. Automatic localization and boundary detection of retina in images using basic image processing filters[C]. Proceedings of the 3rd International Conference on Intelligent Human Computer Interaction, Prague, Czech Republic, 2013, 179: 169-182.
[20] Tariq A, Akram M U, Shaukat A, et al.. Automated detection and grading of diabetic maculopathy in digital retinal images[J]. Journal of Digital Imaging, 2013, 26(4): 803-812.[21] Welfer D, Scharcanski J, Cavalcanti P G, et al.. Grading the Severity of Diabetic Macular Edema Cases Based on Color Eye Fundus Images[M]. Color Medical Image Analysis,Springer Netherlands, 2013: 109-127.
[22] Hamilton Eye Institute Macular Edema Dataset [OL].http://vibot.u-bourgogne.fr/luca/heimed.php. 2012.