馬瑩,張旭剛?,姚軍平

(1.武漢科技大學 冶金裝備及其控制教育部重點實驗室, 湖北 武漢 430081;2.武漢科技大學 機械傳動與制造工程湖北省重點實驗室, 湖北 武漢 430081;3.武漢科技大學附屬天佑醫(yī)院, 湖北 武漢 430064)

在過去的幾年中,糖尿病患者的數(shù)量越來越多。據(jù)不完全統(tǒng)計,目前我國患糖尿病的人數(shù)超過了1.1億,約占我國成年人總數(shù)的十分之一,應(yīng)該盡快采取一些措施來降低糖尿病的患病率及并發(fā)率,否則會給人類健康和社會經(jīng)濟帶來嚴重的不良影響[1]。糖尿病視網(wǎng)膜病變 (Diabetic Retinopathy,DR) 是世界上最具破壞性和最常見的眼部疾病之一,它是造成工作年齡(20歲至60歲)人群失明的主要原因[2]。

微動脈瘤、出血、滲出物和新生血管是DR患者視網(wǎng)膜病變的表現(xiàn)。值得注意的是,由于糖尿病視網(wǎng)膜病變的初始臨床表現(xiàn)并不明顯,所以患者總是會忽視這些癥狀,然而到了晚期,糖尿病患者往往會失明[3]?，F(xiàn)階段人工診斷的結(jié)果和臨床醫(yī)生的診療經(jīng)驗息息相關(guān),但是由于醫(yī)生缺乏專業(yè)知識等因素,誤診和漏診也很常見[4]。所以,利用機器學習、圖像處理等技術(shù),自動、準確地分析和處理彩色圖像,實現(xiàn)迅速可靠的計算機支持診斷和治療,仍然是非常必要和緊迫的課題。眼底成像的許多重要工作需要計算機科學的整合,如視網(wǎng)膜血管分割[5]、小動脈和小靜脈分割[6]、病灶分類[7]、眼底圖像滲出物的檢測[8]等。

直到最近,主要有幾種檢測MA的方法,這些方法可以分為三類:傳統(tǒng)數(shù)學分析、機器學習和深度學習。Baudoin等人[9]報道了在傳統(tǒng)方法中基于數(shù)學形態(tài)學的MA識別的首次研究。Spencer等人[10]使用帶有線性結(jié)構(gòu)成分的形態(tài)學頂帽變換對視網(wǎng)膜圖像的綠色成分進行了轉(zhuǎn)換。

然而,傳統(tǒng)的算法不僅不能正確地檢測出大量的MA候選點,而且對背景干擾非常敏感。機器學習方法主要有支持向量機(Support vector machine,SVM)[11],Welikala等人[12]使用支持向量機識別血管和識別PDR實例;K近鄰算法(K-nearest neighbors,KNN)[13],Abramoff和Suttorp Schulten[14]使用KNN檢測基于網(wǎng)絡(luò)的DR篩查的紅色病變;隨機森林算法(Random forest,RF)[15],曹文哲等[16]利用隨機森林算法來預測糖尿病視網(wǎng)膜病變風險;神經(jīng)網(wǎng)絡(luò)算法(Neural networks,NNs)[17],Chudzik等人[18]使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)來預測微動脈瘤。但是,以上描述的機器學習算法存在一定的局限性,比如,支持向量機必須要進行特征預提取,KNN算法有可能導致計算效率和泛化的問題。近年來,數(shù)據(jù)驅(qū)動的深度學習已被常規(guī)應(yīng)用于眼底圖像診斷眼部疾病。為了檢測MAs, Eftekhari等[19]提出了一種基于兩階段神經(jīng)網(wǎng)絡(luò)的MA識別解決方案來解決類不平衡問題?，F(xiàn)有的深度學習算法由于標記的MA圖片數(shù)量少、MA占比小,無法正確學習MA特征,容易出現(xiàn)過擬合的傾向。

盡管已有許多DR檢測技術(shù)發(fā)表,但微動脈瘤檢測仍然是一項具有挑戰(zhàn)性的任務(wù)。本文采用了一種新的基于多角度分析統(tǒng)計的方法進行特征提取,分別對綠色通道圖像和灰度圖像進行預處理和特征提取,每種預處理方式作為一個角度提取一組特征。然后,通過多層感知分類器(Multi-layer Perceptron Classifier,MLP)對候選MA進行分類,最后對所有分類統(tǒng)計結(jié)果求均值,完成MA檢測。以下是本文其余部分的組織方式:第1節(jié)是對本文所用的材料與方法進行闡述;第2節(jié)是結(jié)果與分析;第3節(jié)是結(jié)論。

1 材料與方法

1.1 材料

在e-ophtha-MA數(shù)據(jù)集上驗證本文所提出方法檢測MA的有效性,e-ophtha-MA是由眼科醫(yī)生創(chuàng)建的148張MA注釋照片的集合,其中74張眼底圖片作為訓練集,其余74張眼底圖片作為測試集。

微動脈瘤有四個指標:真陽性(TP)和假陽性(FP)分別為識別正確和識別錯誤的正樣本;真陰性(TN)和假陰性(FN)分別為識別正確和識別錯誤的負樣本。假設(shè)測試集中真實微動脈瘤的總數(shù)為N,測試集中圖像的數(shù)量為M,則以下兩個指標可計算為式(1)、式(2):

(1)

(2)

其中,靈敏度Sensitivity為真陽性微動脈瘤數(shù)量與真微動脈瘤總數(shù)之比,FPI是每張圖像假陽性的縮寫,顯示每張圖像微動脈瘤的平均假陽性數(shù)量。在這種情況下,靈敏度是指準確識別的MAs與真實MAs的比值。在每張圖片中發(fā)現(xiàn)的非MAs的數(shù)量用FPI表示。通過制訂不一樣的閾值,可以得到不同組的靈敏度和FPI,因此,我們可以創(chuàng)建出一個以靈敏度為縱坐標,以FPI為橫坐標的FROC曲線圖。最后的分數(shù)被確定為這7個FPI的平均靈敏度值,本文選取了7個FPI點(1/8,1/4,1/2,1,2,4,8)對應(yīng)的靈敏度值,統(tǒng)稱為下面的FROC曲線分數(shù)。最后,繪制FROC曲線,計算e-ophtha數(shù)據(jù)集中所提出方法的AUC,以評價分類結(jié)果。

1.2 方法流程

本文采取的方法主要可以分為以下四個步驟:圖像預處理、候選區(qū)域提取、特征提取和分類,和以往方法不同的是,我們提出了一種新的特征提取方法,傳統(tǒng)的方法是進行一種預處理,然后對預處理后的圖像進行特征提取,本文是對原始綠色通道圖像和灰度圖像分別進行預處理,每一種預處理方式都作為一個角度提取一組特征,然后進行分類,并訓練多個分類器,對分類結(jié)果求均值。具體流程如圖1所示。

圖1 本文方法流程圖

1.3 圖像預處理

由于成像角度、拍攝環(huán)境照度、患者相對眼動等因素的影響,眼底圖像質(zhì)量往往參差不齊[20]。為了提高檢測算法的性能,需要對彩色眼底圖像進行預處理,調(diào)整光照不平衡,增加微動脈瘤與背景的對比度,減小噪聲的影響。本文提出了一種基于多角度分析統(tǒng)計的特征提取方法,分別對綠色通道圖像和灰度圖像進行預處理,每一種預處理方法作為一個角度提取特征,采用以下兩種方式對圖像進行預處理:直方圖均衡化、照明均衡化。

在進行預處理之前,我們經(jīng)常提取一個包含完整信息的圓形感興趣區(qū)域(ROI)以簡化處理過程。本文采用基于4鄰域的三次插值方法,在保持長寬比不變的情況下,將ROI的直徑調(diào)整為900像素,為了縮小感興趣區(qū)域,采用直徑為6的圓形濾波器核進行腐蝕操作。

大多數(shù)眼底彩色圖像微動脈瘤與背景的對比度較低,因此需要在微動脈瘤檢測前對圖像進行增強,本文采用直方圖均衡化的方法來提高圖像的對比度,主要是通過擴大圖像的灰度分布范圍來實現(xiàn),其變換公式如式(3):

(3)

其中,N是圖像中像素的總數(shù),nj是像素強度為rj的像素的數(shù)量,L為圖像灰度的數(shù)量,T(rk)也被稱為rk的累積分布函數(shù)(CDF)。

眼底圖像常常出現(xiàn)照明不均衡的現(xiàn)象。為了解決這一問題,本文采用Hoover等人的[21]照明均衡化方法。該方法可以用公式(4)表示,背景圖片Ig是對原始綠色通道圖像I使用大小為3×3的中值濾波生成的,然后從I中減去Ig來修正陰影變化,最后,加上I的平均強度μ來保持灰度范圍恒定。

Ii=I-Ig+μ

(4)

1.4 候選區(qū)域提取

候選提取是整個檢測過程的關(guān)鍵步驟。這一步的主要目的是限制非MAs的數(shù)量。另一方面,在此階段丟失的任何真正的MAs在之后都無法恢復。本文根據(jù)MA的特點,采用局部最小區(qū)域提取和橫斷面掃描的方法提取MA。

MAs是預處理后視網(wǎng)膜圖像中局部強度最小的結(jié)構(gòu),通常表現(xiàn)為高斯曲線。也就是說,每個MA區(qū)域至少包含一個最小區(qū)域。在候選點半徑為3的圓內(nèi)的其他像素的強度被逐一處理和比較,如果相鄰像素的強度很高,那么候選像素本身就是一個LMR。如果相鄰像素的強度較低,則當前像素可能不是最小值。

1.5 特征提取和分類

MA檢測的關(guān)鍵是特征提取。MA檢測的精度與提取的特征質(zhì)量成正比。我們采用多角度分析統(tǒng)計的方法提取特征,即每進行一次預處理就提取一組特征,首先是原始綠色通道圖像:(1)從原始綠色通道圖像中提取1.5.1和1.5.2特征;(2)對原始綠通道圖像進行直方圖均衡化處理,提取1.5.1和1.5.2特征; (3)對直方圖均衡化后的圖像進行照明均衡化,提取1.5.1和1.5.2特征。其次是灰度圖像:(1)從灰度圖像中提取1.5.1和1.5.2特征;(2)對灰度圖像進行直方圖均衡化處理,提取1.5.1和1.5.2特征; (3)對直方圖均衡化后的圖像進行照明均衡化,提取1.5.1和1.5.2特征。

通過候選區(qū)域的提取,減少了非MA點的數(shù)量,但仍存在大量的假陽性,為了減少這些點的數(shù)量,需要進一步分類。本文采用多層感知分類器(MLP)進行分類,這是一種神經(jīng)網(wǎng)絡(luò)模型,除了輸入層和輸出層外,它還可以在中心有一到多個隱藏層。將每種預處理方式提取的特征放入分類器中,訓練多個分類器,對所有的分類結(jié)果求均值。

1.5.1 基于形狀的特征

(1)長軸長(a): 候選區(qū)域的相距最遠的兩個像素間的距離;

(2)短軸長(b): 候選區(qū)域的相距最近的兩個像素間的距離;

(3)長寬比(r): 長軸與短軸的長度之比r=a/b;

(4)周長(L): 候選區(qū)域邊緣像素的數(shù)量;

(5)面積(A): 候選區(qū)域像素的總數(shù)量A=∑j∈Ω1,Ω表示候選區(qū)域內(nèi)像素集合;

(6)圓度(c): 候選區(qū)域的圓度c=L2/4πA;

1.5.2基于灰度的特征

(1)MA候選區(qū)域內(nèi)像素灰度的平均值Mc=∑k∈Ωgk/N,Ω表示候選區(qū)域內(nèi)像素集合,gk表示候選區(qū)域內(nèi)像素灰度,N表示候選區(qū)域內(nèi)像素數(shù)量;

(2)候選區(qū)域中心8鄰域中大于中心點的像素集合A的強度均值與小于中心點的像素集合B的強度均值之間的差值(邊緣平均對比度),C=∑k∈Agk/NA-∑k∈Bgk/NB,NA為屬于A的像素數(shù)量,NB為屬于B的像素數(shù)量;

(4)邊緣像素對比度的標準差

(5)距離中心最遠距離加3為半徑的圓內(nèi)不屬于候選區(qū)域像素的平均強度Mb=∑k∈bgk/Nb,b表示距離中心最遠距離加3為半徑的圓內(nèi)不屬于候選區(qū)域像素集合,Nb表示其數(shù)量;

(6)距離中心最遠距離加3為半徑的圓內(nèi)不屬于候選區(qū)域像素強度的標準差

(7)候選區(qū)域的平均強度與上述不屬于候選區(qū)域像素平均強度之間的差異Md=Mc-Mb;

(8)灰度值,NInorm=(1/σ)(Inorm-x),其中,Inorm是灰度值,σ和x是Inorm像素灰度值的標準方差和均值。

2 結(jié)果與分析

為了評價MA候選提取方法的有效性,我們采取靈敏度這一計算指標,在e-ophtha-MA數(shù)據(jù)集上進行驗證,并與其他MA候選提取方法進行比較。如表1所示,在e-ophtha-MA數(shù)據(jù)集上,本文提供的MA候選提取方法的靈敏度為0.91,與其他方法[22]相比,本文提出的MA候選提取方法提取了大部分MA。同時,即使靈敏度很高,我們提出的MA候選提取方法的FPI為298。結(jié)果表明,該方法去除了大量的非MA,在MA候選提取階段具有較低的FPI值。

表1 在e-ophtha-MA數(shù)據(jù)集上MA候選提取性能

我們采用自由響應(yīng)工作特性曲線(FROC)來評估MA 檢測方法的性能。表2列出了FPI為1/8、1/4、1/2、1、2、4、8時的具體靈敏度值,以及其他幾種方法的結(jié)果。表2顯示,該方法在e-ophtha-MA數(shù)據(jù)集上的最終FROC曲線得分為0.510,高于其他先進方法。在一定的FPI值下,靈敏度最高,特別是當FPIs<1時,該方法對FPIs的靈敏度為0.331,0.373,0.443,0.493,遠高于其他方法。表2測試時間是測試每張圖所用的時間,可以看出,該方法統(tǒng)合了多種預處理方式,在僅增加一些計算復雜度的前提下,使最終識別結(jié)果得到了較好的提升。使用e-ophtha數(shù)據(jù)庫構(gòu)建的FROC曲線如圖2所示。

表2 在e-ophtha數(shù)據(jù)庫上不同方法在預定FPIs上的靈敏度

同時,表2列出了不進行多角度分析統(tǒng)計方法提取特征的結(jié)果,表中“本文方法(綠色)”表示對綠色通道圖像進行預處理的特征提取結(jié)果,不包括灰度圖像。表中“本文方法(灰度)”表示對灰度圖像進行預處理的特征提取結(jié)果。根據(jù)表2,Fscore在e-ophtha數(shù)據(jù)庫中不進行灰度圖像預處理的結(jié)果為0.483,不對綠色通道圖像進行預處理的結(jié)果為0.492,對灰度圖像和綠色通道圖像進行多角度分析統(tǒng)計提取特征的結(jié)果為0.510。

由此,多角度分析統(tǒng)計提取特征的結(jié)果明顯優(yōu)于非多角度分析統(tǒng)計的結(jié)果。

圖2 在e-ophtha-MA上的FROC曲線

采用ROC曲線和AUC指數(shù)評價該方法的分類效果。ROC曲線是以靈敏度為縱軸、特異性為橫軸繪制的散點線圖,一般為(0,0)到(1,1)之間的凹曲線。AUC (Area Under Curve)是ROC曲線與橫軸所圍成的面積大小,其值一般在0.5～1之間,越接近1,則說明分類器效果越好。本文方法在e-ophtha-MA數(shù)據(jù)集上的ROC曲線如圖3所示,表3顯示了本文方法與其他方法在e-ophtha-MA數(shù)據(jù)集上的AUC對比。本文所提方法在去除復雜背景點后的AUC達到0.9805,這遠遠大于文獻[22]和[24]的結(jié)果。

圖3 本文算法在e-ophtha-MA數(shù)據(jù)集上的ROC曲線

表3 本文方法與其他方法的AUC結(jié)果比較

圖4為對眼底圖像在e-ophtha-MA數(shù)據(jù)庫檢測識別的部分結(jié)果,其中左圖為右圖局部放大。從左圖中可以比較清晰地看出圓環(huán)標注區(qū)域,其中較小半徑的圓表示原圖中微動脈瘤點標注,較大半徑的圓代表本文所提方法的識別結(jié)果。由此可以看出,本文所提出的方法能夠準確識別出MAs,與真實微脈瘤點的位置有很高的重合度,特別是一些特殊的點,如血管附近的點和邊緣點。雖然本文所提出的方法沒有去除血管、視盤等混亂的結(jié)構(gòu),也沒有人工選擇負樣本,仍然能夠檢測出血管附近或者明亮區(qū)域的MAs,但是在一些背景污染嚴重、對比度較弱的區(qū)域,仍然有一些遺漏的MAs。

圖4 最終識別結(jié)果

3 結(jié) 論

本文提出了一種基于多角度分析統(tǒng)計的微動脈瘤自動檢測算法,該算法包括眼底圖像預處理、微動脈瘤候選區(qū)域提取、特征提取和分類四個步驟。在開放數(shù)據(jù)集e-ophtha-MA上對該方法進行了性能測試,靈敏度為0.91,FROC響應(yīng)曲線最終得分為0.510,AUC為0.9805。結(jié)果表明,該方法能有效地提取更多的真微動脈瘤。

在特征提取階段,提出了一種新的特征提取方法,即多角度分析統(tǒng)計的特征提取方法,分別從原始綠色通道圖像和灰度圖像中提取特征,每采用一種預處理方法提取一組特征,就放到分類器里一次,最后訓練多個分類器,對每個分類器的結(jié)果取均值,結(jié)果表明該方法具有較高的性能。