蔣杰偉，劉西洋,，劉 琳，王 帥，楊皓慶，崔江濤

(1. 西安電子科技大學 計算機學院，陜西 西安 710071；2. 西安電子科技大學 軟件學院，陜西 西安 710071)

眼科疾病的發(fā)生和發(fā)展嚴重地影響著人類的健康和生活質(zhì)量．據(jù)世界衛(wèi)生組織統(tǒng)計，到2020年全球盲人數(shù)量將達 7 600 萬人[1]．眼病患者一旦錯過最佳治療時機，將會導(dǎo)致不可挽回的視覺損傷，因此對眼病的盡早診斷和預(yù)測是治療的關(guān)鍵和必要前提[2]．特別是，如能精準地預(yù)測眼病的發(fā)展趨勢，將會有效地指導(dǎo)眼科醫(yī)生規(guī)劃治療方案和提醒患者需注意的事項．通常，眼科醫(yī)生借助裂隙燈圖像進行眼病的分類、分級和預(yù)測．然而由于優(yōu)秀的眼科醫(yī)生嚴重不足并且區(qū)域分布極不平衡，致使一些偏遠地區(qū)的患者往往得不到及時的診斷．同時，檢查裂隙燈圖像會耗費醫(yī)生大量時間，不同醫(yī)生之間的主觀性差異很大，預(yù)測眼病的發(fā)展趨勢還需要醫(yī)生綜合分析過往多次的檢查結(jié)果，這勢必會造成更嚴重的資源浪費和診斷結(jié)果不確定性問題．因此亟需探索合適的計算機輔助預(yù)測方法，實現(xiàn)客觀的、高效的和自動的眼病發(fā)展趨勢預(yù)測．

隨著光學儀器和大數(shù)據(jù)技術(shù)的發(fā)展，眼科醫(yī)院積累了豐富的醫(yī)療圖像數(shù)據(jù)，使得借助人工智能方法實現(xiàn)眼病的自動診斷和預(yù)測成為了可能．如何準確地從豐富的眼科數(shù)據(jù)中挖掘出有意義的醫(yī)療結(jié)論成為當前研究的熱點和難點[3]．近些年，由谷歌DeepMind團隊借助深度學習算法實施了糖尿病視網(wǎng)膜病變的自動診斷和分級[4]．文獻[5]基于卷積神經(jīng)網(wǎng)絡(luò)對裂隙燈圖像進行了小兒白內(nèi)障自動分類、分級和治療方案研究，并開發(fā)了臨床輔助診斷軟件．文獻[6]利用遷移學習和卷積神經(jīng)網(wǎng)絡(luò)研究了老年性黃斑變性和糖尿病黃斑水腫等致盲性視網(wǎng)膜眼?。牵@些已有的研究都是針對已經(jīng)發(fā)生的眼病進行的自動分類和分級診斷，對眼病的自動預(yù)測研究需要對患者進行長時間的跟蹤和復(fù)查，整個過程非常困難，數(shù)據(jù)難以積累，因此目前還缺少對眼病發(fā)展趨勢的自動預(yù)測研究．利用過往多次的檢查結(jié)果預(yù)測眼病的發(fā)展趨勢，將會有效地幫助醫(yī)生規(guī)劃治療方案和提醒患者，具有重大的臨床意義．

在前期研究基礎(chǔ)上，筆者所在團隊對上千名白內(nèi)障眼病患者進行了長達兩年以上的跟蹤和復(fù)查[7]，積累了豐富的裂隙燈時間序列圖像，為眼病的預(yù)測提供了數(shù)據(jù)基礎(chǔ)．白內(nèi)障主要發(fā)生在晶狀體區(qū)域，但是裂隙燈圖像呈現(xiàn)出復(fù)雜的表型和大量的噪聲．如圖1所示，在多個裂隙燈圖像上都存在著眼瞼和睫毛等噪聲，并且晶狀體病灶的面積、密度和位置差異也較大．另外，臨床上需要手術(shù)的嚴重病例往往較少，大部分是正常的或需隨診的患者，即存在著明顯的非平衡數(shù)據(jù)問題，這些因素給筆者的研究提出了極大的挑戰(zhàn)．針對以上問題，筆者首先使用坎尼邊緣檢測算子和霍夫變換方法[8]預(yù)處理裂隙燈圖像，提取晶狀體感興趣區(qū)域；然后結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)和時間序列預(yù)測模型(Long Short Term Memory，LSTM)建立端到端的模型，抽取圖像高層特征和挖掘時間序列特征之間的內(nèi)在規(guī)律，實現(xiàn)對眼病發(fā)展趨勢的預(yù)測；最后，針對非平衡數(shù)據(jù)問題，在優(yōu)化目標函數(shù)交叉熵損失中加入代價敏感因子，通過調(diào)整代價因子的大小，以提升嚴重病例的預(yù)測準確率，從而滿足臨床上高敏感度的要求．

圖1 眼病發(fā)展趨勢變化示例圖

1 實驗數(shù)據(jù)和研究方法

1.1 實驗數(shù)據(jù)

研究中共使用了 1 015 名白內(nèi)障眼病患者術(shù)后的隨診數(shù)據(jù)，來源于中山大學中山眼科中心的定期檢查．在白內(nèi)障手術(shù)后，每個患者需按醫(yī)學規(guī)定的時間定期到醫(yī)院進行裂隙燈復(fù)查．在兩年多的跟蹤時間內(nèi)，共進行了6次復(fù)查，從而搜集到了 6 090 張裂隙燈時間序列圖像．如圖1所示，復(fù)查的時間共包含6個階段: 術(shù)后第3月、6月、9月、12月、18月和24月．臨床上，術(shù)后恢復(fù)過程中又發(fā)生后發(fā)性白內(nèi)障(Posterior Capsular Opacification，PCO)的患者定義為正樣本，在復(fù)查過程中恢復(fù)良好的患者定義為負樣本．在 1 015 名患者中，正、負樣本的個數(shù)分別是367和648個，每一張裂隙燈圖像標簽都是由3名經(jīng)驗豐富的高年資眼科醫(yī)生共同討論來決定的．

1.2 眼病發(fā)展趨勢預(yù)測流程

筆者提出的眼病預(yù)測算法流程如圖2所示，共包含4個過程:輸入圖像．按照患者復(fù)查的時間順序?qū)D像進行排序，然后將 1 015 份數(shù)據(jù)隨機劃分為5等份，構(gòu)建訓練集和測試集；圖像預(yù)處理．為了獲得感興趣的晶狀體區(qū)域，同時最大限度地過濾掉睫毛和眼瞼等噪聲，利用坎尼邊緣檢測算子提取圖像的邊緣信息，然后使用霍夫變換獲得晶狀體外切圓；最優(yōu)代價敏感因子搜尋．為了處理非平衡數(shù)據(jù)問題，筆者在損失函數(shù)中加入代價敏感因子，使用網(wǎng)格搜索方法尋找最優(yōu)代價因子，以平衡敏感度和特異性，獲得最佳性能；模型訓練和評估．最后對最佳代價敏感因子的模型進行5交叉驗證和性能評估．

圖2 眼病發(fā)展趨勢預(yù)測算法流程

1.3 基于代價敏感的時間序列預(yù)測模型

筆者提出的眼病發(fā)展趨勢預(yù)測模型如圖3所示．由圖像輸入、殘差卷積神經(jīng)網(wǎng)絡(luò)、長短時記憶網(wǎng)絡(luò)和預(yù)測輸出模塊組成．除此之外，筆者還使用了遷移學習和數(shù)據(jù)擴增方法．模型的輸入是從第3月到第18月共5個時刻的序列圖像，輸出是第24月復(fù)查圖像的標簽．序列圖像按時間順序依次輸入到卷積神經(jīng)網(wǎng)絡(luò)中抽取圖像的高層特征；然后使用長短時記憶模型分析時序數(shù)據(jù)之間的內(nèi)在規(guī)律；最后使用Softmax分類函數(shù)來預(yù)測眼病發(fā)展趨勢．代價敏感因子起到了調(diào)整正負樣本在預(yù)測中重要性的作用．

圖3 基于代價敏感的時間序列預(yù)測模型

殘差卷積神經(jīng)網(wǎng)絡(luò)主要使用了卷積層、最大采樣層、殘差連接、塊正則化和修正的非線性函數(shù)等技術(shù)[9]．卷積神經(jīng)網(wǎng)絡(luò)在視覺競賽和醫(yī)療診斷上表現(xiàn)出了優(yōu)異的性能[4-6， 10]．在前期研究中，筆者使用了包含殘差連接在內(nèi)的卷積神經(jīng)網(wǎng)絡(luò)進行了白內(nèi)障自動診斷和預(yù)后評定研究，取得了滿意的臨床效果[5， 11-12]．筆者使用50層的殘差連接，該網(wǎng)絡(luò)具有很強的函數(shù)表達能力，從圖像像素特征開始層層處理以提取高層特征和降低維度．時間序列處理方法包括遞歸神經(jīng)網(wǎng)絡(luò)和長短時記憶網(wǎng)絡(luò)，筆者選用長短時記憶網(wǎng)絡(luò)[13]，因為它使用了圖3(c)中的連接，解決了長期困擾遞歸神經(jīng)網(wǎng)絡(luò)后向傳播優(yōu)化的梯度消失和爆炸問題．

假設(shè)殘差神經(jīng)網(wǎng)絡(luò)第t時刻抽取的特征為xt，長短時記憶模型前一時刻的隱含狀態(tài)和記憶單元是ht-1和ct-1，當前時刻的輸入門、遺忘門、輸出門和輸入調(diào)制門分別為it，ft，ot和gt，則長短時記憶模型的更新過程為

(1)

其中，⊙代表兩個向量的哈達瑪積；φ(x)和σ(x)為非線性映射函數(shù)，分別為φ(x)= [exp(x)- exp(-x)]/ [exp(x)+ exp(-x)] 和σ(x)= [1+ exp(-x)]-1．當前時刻的記憶單元ct是前一時刻記憶單元ct-1、隱含狀態(tài)ht-1和當前時刻的輸入xt三者的函數(shù)．在運算過程中，ft和it起調(diào)節(jié)作用，使記憶單元ct選擇性地遺忘先前記憶單元ct-1和學習新的輸入單元xt，從而使長短時記憶模型學習到了復(fù)雜的時序關(guān)系，達到對眼病發(fā)展趨勢精準預(yù)測的目的．

(2)

為了獲得最優(yōu)參數(shù)θ*，需要最小化損失函數(shù)J(θ)，即J(θ)對參數(shù)θ求偏導(dǎo)，其表達式為

(3)

2 實驗結(jié)果與分析

2.1 實驗環(huán)境和評價指標

筆者基于Caffe深度學習框架使用4塊英偉達泰坦X圖像處理單元進行模型的訓練．在每塊圖像處理單元上設(shè)置序列大小為25，從而每次迭代中共有100個序列圖像，計算這些樣本的平均值來更新待訓練的參數(shù)．學習率初始設(shè)置為0.01，每迭代500次，學習率減少到原值的 1/10，總迭代次數(shù)為 2 000 次．這些參數(shù)是筆者通過多次實驗獲得的最佳參數(shù)．為了方便其他醫(yī)療機構(gòu)對疾病自動預(yù)測的研究和參考，筆者在Github上公開了模型的源代碼:https://github.com/Ophthalmology-CAD/CSLSTM-ResNet．

為了充分評估算法的性能，筆者使用以下分類器評估指標: 準確率(ACC)、特異性(SPE)、敏感度(SEN)、精度(PRE)、F1-measure (F1M)、G-mean(GM)和受試者工作特征曲線下的面積(AUC)[11-12]，其計算方法為

(4)

其中，TP、FP、TN和FN分別表示真正類、假正類、真負類和假負類的個數(shù)．

2.2 裂隙燈圖像預(yù)處理

由于HSV顏色空間(H為色度，S為飽和度，V為亮度)比RGB空間(R為紅色，G為綠色，B為藍色)更適合以人的視覺系統(tǒng)來感知彩色特性的圖像處理算法，筆者首先把裂隙燈圖像從RGB空間轉(zhuǎn)換到HSV空間，然后在H和S兩個分量上先后進行坎尼邊緣檢測和霍夫變換．圖4是其在正負樣本上處理過程的示例圖．其中圖4(a)是原始圖像、圖4(b)和圖4(c)是在H分量上的坎尼邊緣檢測和霍夫變換結(jié)果，圖4(d)和圖4(e)是在圖4(c)處理基礎(chǔ)上對S分量進一步細化的結(jié)果，通過H和S兩次檢測，最終得到圖4(f)所示的晶狀體分割效果．從圖上可以看出，裁剪后的圖像排除了晶狀體外圍大部分噪聲的干擾，同時也最大程度地保留了晶狀體區(qū)域．進一步，筆者使用定量指標(即交并比Iou= (Bp∩Bt)/ (Bp∪Bt))來評價預(yù)處理方法的準確性．具體地，從所有數(shù)據(jù)中隨機選擇了100張圖像，由高年資眼科醫(yī)生手工標注晶狀體區(qū)域，以此作為晶狀體真實區(qū)域Bt，預(yù)處理方法得到的區(qū)域為Bp，這兩個區(qū)域交集和并集的比值定義為交并比Iou．通過計算，其平均準確率為82.53%，說明預(yù)處理方法是相當精確的，可獲得大部分晶狀體區(qū)域．接下來，筆者把預(yù)處理的圖像輸入到代價敏感的時間序列模型中以預(yù)測眼病的發(fā)展趨勢．

圖4 晶狀體感興趣區(qū)域自動分割示例圖

2.3 代價敏感因子尋優(yōu)

圖5 準確率和敏感度隨代價敏感因子變化的曲線

為了滿足臨床上高敏感度的要求，筆者使用網(wǎng)格搜索的方法對代價敏感因子進行尋優(yōu)．設(shè)置正、負樣本的錯分代價分別為C和1，對參數(shù)C在[1～20]之間以步長1為單位進行遍歷，以獲得最佳的代價敏感因子．使用這個方法，一共訓練了20個模型并對它們進行性能測試，得到了圖5所示的準確率和敏感度隨代價因子C變化的曲線．從圖中可以看出，隨著代價因子C的增加，敏感度得到了不斷提升; 準確率開始比較平穩(wěn)，在代價因子大于10之后，準確率急劇下降．在[6～10]區(qū)間上，敏感度和準確率兩者都達到了較優(yōu)值(大于87%)且比較平穩(wěn)，從而得到了代價敏感因子適合的范圍．這里，筆者選擇中間值8作為代價因子，進行后面詳細的對比實驗．

2.4 性能對比

為了說明文中所提算法的優(yōu)勢，筆者首先構(gòu)建了不帶代價敏感的時間序列模型來預(yù)測眼病的發(fā)展趨勢；然后在損失函數(shù)中加入了尋優(yōu)后的代價因子，形成了代價敏感的時間序列模型，并對比了兩者的性能差異．具體地，使用五交叉驗證的方法來計算評價指標的均值和方差，得到了表1所示的結(jié)果．從表1的對比中可以看出，雖然無代價敏感模型的特異性較高，但敏感度非常低，僅達到76.74%．在損失函數(shù)中加入代價因子后，敏感度指標提升到了88.01%，方差由原來的3.58%降到了0.57%，穩(wěn)定性較好．同時特異性下降不明顯，整體準確率還得到了提升，F(xiàn)1M，GM和AUC指標也得到了不同程度的提升．這充分說明代價因子在模型預(yù)測中起到了關(guān)鍵性的作用，可有效地處理醫(yī)療非平衡數(shù)據(jù)集問題，滿足臨床高敏感度的要求．

進一步，筆者探索了用代價敏感時間序列模型預(yù)測不同長度序列數(shù)據(jù)的魯棒性和穩(wěn)定性．在交叉驗證中，對測試的數(shù)據(jù)分別以長度2、3和4為單位進行截斷重組，形成另外3組測試數(shù)據(jù)，其預(yù)測的標簽分別是第3、4和5時刻復(fù)查圖像的診斷結(jié)果．把這3組數(shù)據(jù)輸入到模型中，以衡量模型對不同長度數(shù)據(jù)預(yù)測的能力，得到了表2所示的對比結(jié)果．經(jīng)過分析，筆者得到了以下的結(jié)論:模型對長度為5的序列預(yù)測性能是最優(yōu)的，對長度為2的序列預(yù)測最差;隨著序列長度的減少，預(yù)測性能是逐漸遞減的;當序列長度為3和4時，其準確率、特異性和敏感度指標都在80%以上，同時方差也較小，可以滿足臨床預(yù)測要求．

表1 不同預(yù)測算法的性能對比

表2 模型對不同長度序列數(shù)據(jù)的預(yù)測性能對比

綜合而言，筆者提出的算法可同時對長度為3～5的序列圖像進行預(yù)測，其魯棒性和穩(wěn)定性較好．

2.5 臨床應(yīng)用

目前，眼病發(fā)展趨勢的自動預(yù)測系統(tǒng)已經(jīng)在中山大學中山眼科中心臨床使用，輔助眼科醫(yī)生監(jiān)控和預(yù)測白內(nèi)障患者的恢復(fù)情況．在半年多的臨床應(yīng)用中，其運行效果良好．

3 結(jié) 束 語

筆者提出了一種眼病發(fā)展趨勢的自動預(yù)測方法．該方法在坎尼邊緣檢測算子和霍夫變換預(yù)處理裂隙燈圖像基礎(chǔ)上，使用殘差卷積神經(jīng)網(wǎng)絡(luò)提取晶狀體病灶區(qū)域的高層特征；然后使用長短時記憶網(wǎng)絡(luò)分析時間序列特征之間的內(nèi)在規(guī)律，進而實現(xiàn)對眼病發(fā)展趨勢的預(yù)測；最后在優(yōu)化目標函數(shù)交叉熵損失中加入了代價敏感因子，有效地處理了醫(yī)療非平衡數(shù)據(jù)問題，實現(xiàn)了臨床高敏感度指標的要求．實驗結(jié)果驗證了筆者所提算法的有效性和穩(wěn)定性，可高準確率地預(yù)測眼病的發(fā)展趨勢，同時為其他疾病的預(yù)測起到了借鑒作用．