方楊 胡建明 陳葛
摘? 要:糖尿病性視網(wǎng)膜病變、青光眼病變等視網(wǎng)膜疾病是目前高致盲眼病,其病理特征表現(xiàn)為層狀組織結(jié)構(gòu)的異常,因此具有高精度、高魯棒性的視網(wǎng)膜層分割技術(shù)是視網(wǎng)膜疾病篩查的重要依據(jù)。通過對四種經(jīng)典分層模型實現(xiàn)原理和發(fā)展歷程的詳細闡述,對比分析出各種分層模型的固有特性,介紹了自動分層技術(shù)的最新研究進展以及眼科領(lǐng)域應(yīng)用。直觀地展示了自動分層技術(shù)與人工智能相結(jié)合的發(fā)展趨勢,為視網(wǎng)膜層狀結(jié)構(gòu)分割技術(shù)的深入研究和實用化提供參考。
關(guān)鍵詞:視網(wǎng)膜層分割技術(shù);經(jīng)典分層模型;眼科應(yīng)用;人工智能
中圖分類號:TP391? ? ? ?文獻標(biāo)識碼:A 文章編號:2096-4706(2020)24-0023-07
A Review of Automatic Slicing Techniques for Retinal Optical Coherence Tomography
FANG Yang1,HU Jianming1,CHEN Ge1,2
(1.College of Physics and Electronic Engineering,Chongqing Normal University,Chongqing? 401331,China;
2.School of Physics,University of Electronic Science and Technology of China,Chengdu? 610054,China)
Abstract:Diabetic retinopathy,glaucoma and other retinal diseases are currently high blinding diseases,whose pathological characteristics are abnormal layered tissue structure. Therefore,retinal layer segmentation technology with high accuracy and high robustness is an important basis for retinal disease screening. Based on the elaboration of the realization principle and development history of four classical hierarchical models,the inherent characteristics of each stratification model are compared and analyzed,and the latest research progress of automatic layering technology and its application in ophthalmology are introduced. The development trend of the combination of automatic layering technology and artificial intelligence is an intuitive demonstration,which provides a reference for the further research and practical application of retinal layered structure segmentation technology.
Keywords:retinal layer segmentation technology;classical hierarchical model;ophthalmic application;artificial intelligence
0? 引? 言
隨著醫(yī)學(xué)影像技術(shù)的發(fā)展,眼組織成像設(shè)備逐漸誕生了眼科超聲診斷、眼底鏡、檢眼鏡以及光學(xué)相干層析成像(Optical Coherence Tomography,OCT)。OCT具有無損傷、非接觸、高靈敏度、高分辨率、實時性好以及能夠?qū)ν该?、渾濁、強散射介質(zhì)成像等優(yōu)勢[1],目前已經(jīng)在臨床診療與科學(xué)研究方面得到了廣泛的應(yīng)用,其應(yīng)用領(lǐng)域包含眼科、牙科、皮膚科等,1991年,美國麻省理工學(xué)院的Huang等首次成功地將OCT應(yīng)用于眼組織成像[2],推動了OCT技術(shù)在眼科領(lǐng)域的發(fā)展。
眼底視網(wǎng)膜組織結(jié)構(gòu)不均勻,各組織層對光的吸收和散射強度不同,導(dǎo)致視網(wǎng)膜OCT圖像呈現(xiàn)明暗交替的現(xiàn)象,清晰地反映各視網(wǎng)膜層的細致結(jié)構(gòu)和各類視網(wǎng)膜病變特征。視網(wǎng)膜層結(jié)構(gòu)和層厚度的準(zhǔn)確度量是許多研究和輔助疾病初步診斷的關(guān)鍵,然而人工提取耗時、主觀,限制了它在大規(guī)模研究中的實用性[3],因此對眼底視網(wǎng)膜層自動分層尤為重要,眼科醫(yī)生能夠借助眼底視網(wǎng)膜OCT圖像的層間分割和視網(wǎng)膜層厚度的準(zhǔn)確度量情況實現(xiàn)篩查和診斷糖尿病性視網(wǎng)膜病變、青光眼、老年性黃斑病變和中心漿液脈絡(luò)膜視網(wǎng)膜病變等高致盲眼科疾病。1995年,Hee等首次實現(xiàn)眼底視網(wǎng)膜OCT圖像的層間分割功能,完成了對整個視網(wǎng)膜和神經(jīng)纖維層的分層和厚度的測量功能[4]。
二十多年來,國內(nèi)外相關(guān)專家和優(yōu)秀學(xué)者在視網(wǎng)膜分割領(lǐng)域不斷探索和研究,使得視網(wǎng)膜OCT圖像分層技術(shù)從最初的1至2層分割逐漸過渡到3至7層分割,再到9至10層,然而,視網(wǎng)膜層狀結(jié)構(gòu)的分割準(zhǔn)確性,病理部分分割輪廓與實際輪廓擬合效果有待提升。隨著人工智能(AI)的發(fā)展,自動分層與AI相結(jié)合進行疾病輔助篩查,自動分層高魯棒性、高準(zhǔn)確性變得尤為重要,因此本文主要是對視網(wǎng)膜光學(xué)相干層析圖像的自動分層算法進行歸納總結(jié),通過四種經(jīng)典算法模型的實驗原理、研究現(xiàn)狀、眼科應(yīng)用以及各種分層模型的優(yōu)缺點進行詳細分析,希望通過討論,為視網(wǎng)膜層狀結(jié)構(gòu)的最優(yōu)分割提供算法參考,能夠為醫(yī)學(xué)影像處理提供算法技術(shù)參考。
1? 原理及發(fā)展歷程
OCT是一種基于低相干光干涉原理進行成像的技術(shù),本文介紹的眼底視網(wǎng)膜頻域OCT圖像是采用近紅外寬帶光源通過邁克爾遜干涉儀將光束分為兩束,一束通過參考臂中參考鏡返回參考光,另一束通過樣品臂返回樣品光,兩束光由于具有相近的光程差進而發(fā)生干涉現(xiàn)象,得到所測樣品臂中樣品的深度信息,將返回的眼睛深度信息的干涉信號傳送到光譜儀或光電檢測器,經(jīng)過上位機處理后提取出樣品的有用信息,然后結(jié)合機械掃描結(jié)果實現(xiàn)對樣品的層析成像。其原理如圖1所示。
視網(wǎng)膜OCT圖像自動分層技術(shù)是對采集的OCT圖像進行預(yù)處理,消除圖片中產(chǎn)生的雜散噪聲;然后,對灰度不同的各層或灰度相近的幾層使用不同的算法實現(xiàn)視網(wǎng)膜圖像的層間分割;接著,對各層邊界分割的結(jié)果進行校正分析并計算視網(wǎng)膜的厚度;最后,將得到的各視網(wǎng)膜層邊界輪廓和厚度信息結(jié)合醫(yī)學(xué)知識進行病理推斷。
1995年,Hee根據(jù)OCT圖像中明顯灰度變化特征首次成功實現(xiàn)了視網(wǎng)膜邊界分割,得到視網(wǎng)膜中神經(jīng)纖維層的邊界[4];2010年,Lu等采用改進后的邊緣活動輪廓檢測算子,獲得了5條視網(wǎng)膜邊界[5];2015年,Tian根據(jù)圖搜索最短路徑的算法,開發(fā)了一套全自動視網(wǎng)膜分割系統(tǒng)[6];2018年,劉云采用基于全卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖論的方法,實現(xiàn)了對各層邊界精確分割的效果[7];2018年,Abhay等人提出了基于卷積神經(jīng)網(wǎng)絡(luò)的視網(wǎng)膜層分割,成功完成50例試驗者的黃斑變性疾病篩查[8];2019年,陳明惠等提出了一種改進遺傳算法和最佳熵法相結(jié)合的方法,最終能夠快速準(zhǔn)確提取黃斑水腫區(qū)域輪廓信息[9];2020年,陳安通等提出基于卷積神經(jīng)網(wǎng)絡(luò)的嚙齒動物眼睛視網(wǎng)膜層的訓(xùn)練策略進行比較,從而得到有效加快培訓(xùn)速度能提升分割精度[10];2020年,中山大學(xué)公開了一種于深度學(xué)習(xí)的視網(wǎng)膜層和積液區(qū)域的層分割方法及系統(tǒng),最終得到清晰的視網(wǎng)膜輪廓[11]。
通過近幾年內(nèi)國內(nèi)外研究趨勢可知,視網(wǎng)膜層間分割技術(shù)主要使用圖像邊界像素強度信息結(jié)合非線性函數(shù)模型、曲線輪廓擬合、訓(xùn)練神經(jīng)網(wǎng)絡(luò)、最短路徑搜索等方式,分割結(jié)果精準(zhǔn),但很少能夠解決十層視網(wǎng)膜的準(zhǔn)確分割。
2? 經(jīng)典分割模型原理及發(fā)展現(xiàn)狀
2.1? 基于邊緣像素特征模型
基于邊緣灰度變化的方法是對采集的OCT圖像進行灰度轉(zhuǎn)換,確定濾波模型、對濾波后圖像進行增強或銳化等預(yù)處理操作得到包含圖像灰度信息的二維矩陣;根據(jù)二維矩陣灰度信息得到明暗相間邊界,根據(jù)明暗條紋獲得動態(tài)變化閾值,根據(jù)邊緣灰度強弱逐列進行強度峰值圖像檢測,找到相近峰值信息進行連通域擬合得到圖像邊界。
賀琪欲等人根據(jù)A-scan圖像信息設(shè)置可變閾值進行逐層分割邊界分割[12];Miura等人通過灰度變化算法,獲得了視網(wǎng)膜的輪廓信息[13];Ishikawa等人采用自適應(yīng)閾值技術(shù),得到了4層視網(wǎng)膜邊界并對正常人與青光眼患者在NFL層厚度測量結(jié)果進行對比分析[14]。
2020年,Maryam應(yīng)用邊緣特征模型成功實現(xiàn)層間分割,原理:通過構(gòu)造一個包含多個參考圖像之間關(guān)系的稀疏矩陣庫,構(gòu)造庫,稀疏性去噪,插值的方法對低質(zhì)量的缺失信息進行預(yù)測。圖像中相鄰像素的強度值的平均值算法為[15]:
avei,j=? ? ? ? ? ? ? ? ? ? ? ? ? ?(1)
其中,Zi,j為單個像素點所在的位置,avei,j為相鄰Zi,j的平均強度值,Xa,b為Za,b的強度值,Gi,j為相鄰Zi,j的集合, 為環(huán)繞Zi,j的方形窗口。
該方案實現(xiàn)了10條邊界的分割,由于初始圖像層與層之間對比度不高,導(dǎo)致最終的分割輪廓不太準(zhǔn)確。分割效果圖如圖2所示。
綜上,根據(jù)灰度強度變化特性查找邊緣輪廓算法原理簡單,操作便捷,能快速分割出高對比度區(qū)域等優(yōu)勢,但由于視網(wǎng)膜圖像的層間對比度普遍較低以及血管信息影響會抑制灰度分割的層數(shù)和邊界的準(zhǔn)確性,所以單獨的使用灰度信息分割很難實現(xiàn)十層分割效果,該模型適用于區(qū)域內(nèi)對比度高的邊緣,該模型目前主要是結(jié)合稀疏性3D去噪,提升圖像對比度,進而根據(jù)邊緣像素強度值實現(xiàn)視網(wǎng)膜層分割。
2.2? 基于活動輪廓模型
結(jié)合了物理學(xué)能量方程、幾何特征和逼近理論等相關(guān)知識的活動輪廓模型是在圖像域上預(yù)先定義一個包含邊緣曲線數(shù)據(jù)的開放或封閉的彈性曲線C,根據(jù)牛頓或拉格朗日動力學(xué)的規(guī)則對圖像信息選取合適的能量泛函,然后通過最小能量泛函產(chǎn)生的基于外力形式的外部和內(nèi)部約束力引發(fā)曲線的變化,使其能夠逐漸逼近目標(biāo)邊緣,當(dāng)曲線C的能量泛函取最小值時曲線的位置即為目標(biāo)輪廓所在的位置。
Fernandez等采用主動輪廓模型查找視網(wǎng)膜黃斑區(qū)域充滿液體的區(qū)域,通過對比驗證可知,該方法更合理、更有效的檢測出黃斑病變[16];Azadeh等使用具有先驗參數(shù)信息的多相圓形框架來平衡能量泛函中不同術(shù)語的權(quán)重,最終能夠在視網(wǎng)膜神經(jīng)纖維層、神經(jīng)節(jié)細胞層和內(nèi)叢狀層上得到較高相似系數(shù)[17]。
2019,Dodo等采用邊緣活動輪廓水平集模型成功分割視網(wǎng)膜OCT圖像。采用高斯濾波進行預(yù)處理,一副視網(wǎng)膜OCT圖像根據(jù)灰度屬性可分為高反射率層、梯度峰值層、最短路徑層,將具有相似屬性層歸納為同一區(qū)域(ROI),從初始化圖像ROI區(qū)域獲取梯度邊緣信息用于設(shè)置分割閾值T,使用速度場F使曲線從初始層向目標(biāo)層邊界拓展,進而得到與人工標(biāo)注層的邊界位置一致的7層視網(wǎng)膜輪廓信息[18]。
算法涉及的分割模型定義為:
(2)
其中, 為曲線向外的法線;F為速度場,由圖像數(shù)據(jù)導(dǎo)出的外部速度和特征速度組成;Cb為初始化曲線。
通過Cb的內(nèi)部Lin點和外部Lout點的兩個列表唯一地表示層所在的邊界,其定義為:
(3)
其中,N(x)為x的孤立鄰域,?(x)為區(qū)域N(x)的像素水平集函數(shù),每一個水平集函數(shù)中坐標(biāo)點(x,y)對于曲線Cb的定義表達為:
(4)
該方案通過二值法實現(xiàn)邊緣的區(qū)分,具有較為準(zhǔn)確的邊緣輪廓,但邊緣線的提取算法需要進一步優(yōu)化,實現(xiàn)邊緣的提取,實驗效果圖如圖3所示。
綜上,基于活動輪廓模型相對于傳統(tǒng)的A-Scan方法具有更高的分割精度和抗噪聲能力,而且將處于不同位置的初始曲線準(zhǔn)確的收斂于目標(biāo)邊界;但其最優(yōu)方法采用的是獲得局部最優(yōu)解,相較于全局最優(yōu)解,會存在一定的像素誤差并且所使用的能量函數(shù)需要提前獲取形狀的先驗信息、邊緣信息和區(qū)域信息,加深初始曲線構(gòu)造難度且易出現(xiàn)構(gòu)造誤差,目前活動輪廓模型中snake、水平集、區(qū)域生長等方法能夠較為準(zhǔn)確的分割視網(wǎng)膜的各層輪廓。
2.3? 基于卷積神經(jīng)網(wǎng)絡(luò)的分割模型
卷積神經(jīng)網(wǎng)絡(luò)(CNN)模型包括輸入層、隱藏層和輸出層,從輸入層輸入多個神經(jīng)元節(jié)點以及代表偏置節(jié)點且?guī)в薪鼐嘈畔⒌木W(wǎng)絡(luò)元,然后計算每個輸入層的神經(jīng)元到隱藏層的所有神經(jīng)元之間的連線產(chǎn)生的權(quán)值,將所得的權(quán)值與各個激活函數(shù)求積,最后將各個網(wǎng)絡(luò)所計算的值求和并加上各個單元的偏置項。
Yang等設(shè)計一套全卷積神經(jīng)網(wǎng)絡(luò),將邊界概率值作為權(quán)重結(jié)合圖論模型進行最短路徑搜索,取得最終的邊界輪廓值[19];Mishra等采用增強的全卷積神經(jīng)網(wǎng)絡(luò)生成概率映射圖,將最短路徑算法與U-Net卷積神經(jīng)網(wǎng)絡(luò)結(jié)合,分割出11層視網(wǎng)膜[20];Ngo等采用深度神經(jīng)回歸模型,以圖像強度、梯度和自適應(yīng)歸一化強度作為學(xué)習(xí)的特征進行訓(xùn)練并預(yù)測視網(wǎng)膜邊界輪廓[21]。
2019年,Masood等設(shè)計了一種卷積神經(jīng)網(wǎng)絡(luò)模型成功地分割多個視網(wǎng)膜曲面邊界,通過訓(xùn)練一個CNN對兩種不同類型OCT圖像的三層邊界曲線進行分割,從視網(wǎng)膜表面信息獲取老年性黃斑病變的信息,本系統(tǒng)涉及的主要算法為[22]:
(1)OCT視網(wǎng)膜圖像中關(guān)于連通性計算公式為:
Cn=? ? ? ? ? ? ? ? ? ?(5)
其中,N0表示中心像素,Nk表示8個相鄰像素,N1表示中心像素右側(cè)的像素,所有剩余像素以逆時針順序圍繞像素編號。
(2)對需要分割的布魯赫膜(BM)進行邊界標(biāo)記,其擬合曲線的算法為:
f(x)=ai(x-xi)3+bi(x-xi)3+ci(x-xi)3+di? ? ?(6)
其中,f(x)表示在像素點(xi,yi)擬合的曲線值;ai、bi、ci、di為多項式系數(shù)集;xi=1,2,3,…,n為要在曲線中映射的數(shù)據(jù)點。最終輸出函數(shù)f(x)為分割出的BM膜所在位置。
(3)實際目標(biāo)的最小交叉熵值,將最小化問題轉(zhuǎn)換為算法表達:
(7)
其中,θ*為參數(shù)θ的最大似然值; 為訓(xùn)練數(shù)據(jù)的熱編碼值。
(4)網(wǎng)絡(luò)參數(shù)θ的最小值,采用迭代的方法,其最小值即為是損耗函數(shù)的最小值,其目標(biāo)函數(shù)θ上的損失函數(shù)算法表示:
L(θ,X,Y)=-? ?(8)
其中,L為在目標(biāo)函數(shù)θ上計算的損失函數(shù),X,Y為輸入部分的坐標(biāo),采用梯度的隨機逼近法對網(wǎng)絡(luò)進行優(yōu)化。
(5)為了比較采用神經(jīng)網(wǎng)絡(luò)自動分割獲得的厚度與醫(yī)生提供的厚度,其度量算法為:
err=? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?(9)
其中,‖A‖為A12+A22+…+An2;A為該算法計算的厚度,B表示醫(yī)生提供的厚度,h和w分別表示圖像的高度和寬度。通過以上步驟,最終實現(xiàn)的是利用卷積神經(jīng)網(wǎng)絡(luò)的方法清晰的分割出視網(wǎng)膜脈絡(luò)膜的邊界,并將自動分層的脈絡(luò)膜厚度與醫(yī)生提供的厚度信息對比,具有較高穩(wěn)合度。其分割效果圖如圖4所示。
綜上,卷積神經(jīng)網(wǎng)絡(luò)的分割方法通過權(quán)值共享,減少神經(jīng)網(wǎng)絡(luò)中復(fù)雜的多參數(shù),采用局部感受野方式實現(xiàn)有用區(qū)域的快速、有效搜索,通過加入池化層來減少輸出參數(shù)量,降低運算量,防止過擬合現(xiàn)象,且具有低成本、高性能的優(yōu)勢;但卷積神經(jīng)網(wǎng)絡(luò)的框架中包含的池化層在處理過程中丟失許多有價值的數(shù)據(jù),分塊訓(xùn)練數(shù)據(jù)會導(dǎo)致忽略整體與部分之間的關(guān)聯(lián),目前基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型查找醫(yī)學(xué)影像的邊界是目前研究的熱點,能夠快速、準(zhǔn)確的獲得邊緣信息。
2.4? 基于圖論的分割模型
圖論模型是將每個視網(wǎng)膜OCT圖像轉(zhuǎn)換為一幅有向或無向加權(quán)圖,圖中所示的結(jié)點對應(yīng)著一個像素點,每條邊的大小代表像素間的權(quán)重,最終在建立好的有向或無向圖中查詢最短路徑,找出視網(wǎng)膜層的邊界。
Haeker等首次采用圖搜索實現(xiàn)了黃斑區(qū)域時域3D-OCT圖像的5層邊界分割[23];Garvin等在采用圖最小分割算法和圖搜索算法的基礎(chǔ)上將時域拓展到頻域3D-OCT,實現(xiàn)6層邊界輪廓分割[24];Quellec等舍去時域3D-OCT,保留頻域3D-OCT像素信息,實現(xiàn)對視網(wǎng)膜的10層邊界定位[25];Tian等采用圖搜索開發(fā)了一套全自動視網(wǎng)膜OCT圖像層間分割系統(tǒng),實現(xiàn)視網(wǎng)膜的全自動分割[26]。
2017年,F(xiàn)ang等采用卷積神經(jīng)網(wǎng)絡(luò)與圖搜索相結(jié)合的視網(wǎng)膜OCT圖像分割方法利用卷積神經(jīng)網(wǎng)絡(luò)分塊提取訓(xùn)練好的視網(wǎng)膜邊界特征,訓(xùn)練相應(yīng)的分類器來構(gòu)建八個視網(wǎng)膜層的預(yù)估;配合圖搜索的方法從創(chuàng)建好的概率圖查找最終邊界;最終精確分割出20只病變眼睛的8層視網(wǎng)膜邊界[27],該系統(tǒng)涉及關(guān)于圖論的主要算法為:
(1)采用Dijkstra算法來選取加權(quán)最小途徑,其權(quán)重的計算方法為:
wab=2-(ga+gb)+wmin? ? ? ? ? ? ? ? ? ? ? ?(10)
其中,wab為a與b邊界的權(quán)重值;ga,gb分別為節(jié)點a和b處垂直強度梯度;wmin為圖中可能的最小權(quán)重值。
(2)基于CNN構(gòu)建的概率圖的圖搜索層分割算法設(shè)計算法為:
=2-(pa,n+pb,n)+wmin? ? ? ? ? ? ? ? (11)
其中, 為分割第n層邊界時映射概率圖邊緣的權(quán)值;a,b為相鄰的像素;wmin表示為10-5;p為使用Dijkstra的最短路徑算法尋找圖像的最優(yōu)途徑。
綜上,采用圖論模型分割視網(wǎng)膜層邊界的方法能夠精準(zhǔn)地找出最優(yōu)解,不需要遍歷所有的分支,但需花費大量精力用于構(gòu)造圖模型,運行速度較慢,效率不高,目前將動態(tài)圖論與神經(jīng)網(wǎng)絡(luò)方法進行結(jié)合是查找邊界的主流方式。
分割的算法主要有基于灰度梯度的變化進行邊界分割,但只能實現(xiàn)高對比層分割;基于邊緣曲線的能量泛函函數(shù)的方法,適合于分割邊緣曲線特征明顯的病變區(qū)域;基于神經(jīng)網(wǎng)絡(luò)的方法需要配合圖搜索,適合于已擁有大量訓(xùn)練數(shù)據(jù)的情況[28]。由此可見,單純以一種算法模型很難實現(xiàn)十層視網(wǎng)膜OCT圖像的準(zhǔn)確分割,在今后研究中可以考慮結(jié)合多種模型進行分割。
3? 視網(wǎng)膜層間分割技術(shù)的應(yīng)用
“十三五”全國眼健康規(guī)劃中強調(diào)2020年實現(xiàn)以分級診療制度為基礎(chǔ),探索建立視網(wǎng)膜病變早期篩查、診斷、轉(zhuǎn)診和治療的有效模式[29]。由此可見,視網(wǎng)膜病變是國家眼健康關(guān)注的重點,采用OCT技術(shù)對眼底視網(wǎng)膜成像能夠輔助實現(xiàn)大規(guī)模視網(wǎng)膜影像采集,但視網(wǎng)膜OCT影像的處理存在主觀分割誤差大和耗時耗力問題,因此,視網(wǎng)膜OCT圖像的自動分層變得迫切需要。常見且嚴(yán)重危害視力的視網(wǎng)膜疾病有糖尿病性視網(wǎng)膜病變(DR)、年齡相關(guān)性黃斑病變(AMD)、青光眼等[30]。
3.1? 糖尿病性視網(wǎng)膜病變
DR目前是西方發(fā)達國家四大致盲的原因之一,據(jù)調(diào)查,全球糖尿病性患者的DR發(fā)生率預(yù)計已超過20%[31],98%DR患者能通過早期篩查、診斷和即時治療避免致盲[32],2019年,中國約1.16億確診的糖尿病患者,其中70%患者從未做過眼科檢查和治療,DR發(fā)病率為27.9%~34.1%[33],因此,早期視網(wǎng)膜疾病的檢測和治療尤為重要。DR是由于視網(wǎng)膜毛細血管內(nèi)皮細胞色素上皮層(RPE)細胞間的聯(lián)合被破壞,造成小血管的滲透,其中糖尿病性黃斑水腫(DME)是糖尿病性視網(wǎng)膜病患者視力下降的主要原因,本文介紹的視網(wǎng)膜OCT圖像的層間分割是對DME的早期診斷和預(yù)防失明的有效途徑。
DME是糖尿病引起的黃斑中心凹區(qū)域細胞外液集聚導(dǎo)致視網(wǎng)膜增厚至少一個視盤直徑大小或硬滲出沉積。2016年,Wong使用卷積神經(jīng)網(wǎng)絡(luò)模型進行DME的篩查[34];2017年,Tyring采用深度學(xué)習(xí)的方法自動分割黃斑水腫區(qū)域進行DME的評估[35];2020年,Wang使用活動輪廓算法實現(xiàn)黃斑水腫區(qū)域的分割,通過觀察和計算患有DME病變的患者視盤區(qū)域體積與正常人眼的明顯區(qū)別,分析DME病變[36]。
3.2? 青光眼疾病
青光眼是全球第二位致盲疾病,2020年,我國青光眼患者約1 644萬,占全球27.4%,居世界首位,全球有6 000萬人患有青光眼,但只有50%患者檢測出疾病,然而檢測出疾病的患者中有50%已晚期[37]。面對如此低知曉率,迫切需要一套經(jīng)濟實惠、易于操作的OCT成像系統(tǒng),使用合理的視網(wǎng)膜OCT層間分割算法,幫助更多人實現(xiàn)視網(wǎng)膜疾病的自動診斷。
青光眼病變是眼壓升高導(dǎo)致進行性視神經(jīng)損害及視野缺損,最終損傷患者的視力,OCT圖像上表現(xiàn)為神經(jīng)纖維層(NFL)和神經(jīng)節(jié)細胞層(GCL+IPL)之間厚度變薄或消失[38]。因此,使用OCT層間分割技術(shù)實現(xiàn)NFL與GCL的厚度度量,被熱捧為眼科醫(yī)生診斷和評估青光眼發(fā)展情況的“金標(biāo)尺”[39]。
2018年,Tehmina采用邊緣特征模型,通過設(shè)置動態(tài)灰度閾值實現(xiàn)頻域OCT內(nèi)界膜(ILM)和RPE層的分割,從而獲得圖像杯盤比(CDR),幫助醫(yī)生實現(xiàn)青光眼的檢測與評析[40]。2020年,HinaRaja提出卷積神經(jīng)網(wǎng)絡(luò)結(jié)合圖搜索模型,實現(xiàn)ILM與RPE層分割,獲得CDR,采用196名受試者進行系統(tǒng)驗證,最終提取的邊界與醫(yī)生的標(biāo)注基本一致,視網(wǎng)膜OCT圖像層間分割效果圖如圖5所示[41]。
3.3? 年齡相關(guān)性黃斑病變
AMD是一種不可逆的黃斑病變,會隨著年齡的增長而惡化,一旦失明就無法治愈,通常分為干性AMD與濕性AMD兩種,目前濕性AMD的治療較為超前,但干性AMD的研究尚少。據(jù)數(shù)據(jù)統(tǒng)計,全球約3 000萬AMD患者,每年近有50萬AMD患者失明[42]。
AMD是黃斑區(qū)域結(jié)構(gòu)衰老,視網(wǎng)膜色素上皮層(RPE)細胞對視細胞外節(jié)盤膜吞噬消化能力的下降,晚期RPE層脫離并造成視網(wǎng)膜層萎縮。2018年,Treder采用神經(jīng)網(wǎng)絡(luò)模型實現(xiàn)自動檢測年齡性黃斑病變,共1 112例OCT圖像進行試驗,成功區(qū)分AMD患者[43];2020年,Tyler采用深度學(xué)習(xí)模型進行新生血管黃斑變性特征的標(biāo)定,發(fā)現(xiàn)RPE層脫離[44];2020年,Chen提出擠壓-激勵塊集成的神經(jīng)網(wǎng)絡(luò)模型,通過視網(wǎng)膜液體區(qū)域分割,實現(xiàn)AMD病變眼睛和正常眼睛的分類,其OCT圖像流體區(qū)域分割如圖6所示[45]。
4? 結(jié)? 論
OCT技術(shù)是一種基于低相干光干涉原理的具有無損傷、非侵入、高分辨率等優(yōu)勢的集合多門學(xué)科的全新生物醫(yī)學(xué)三維成像技術(shù),其從最初的時域OCT通過光學(xué)延遲線的快速變化實現(xiàn)縱向深度掃描,發(fā)展到通過測量低相干光干涉信號的光譜信息經(jīng)過傅立葉變換獲得圖像深度信息的頻域OCT。OCT能夠獲得微米量級分辨率,實現(xiàn)了醫(yī)學(xué)成像領(lǐng)域毫米級分辨率向微米級的跨越,因而被廣泛應(yīng)用于眼科、皮膚科、口腔科、心血管等臨床領(lǐng)域的成像,但未來仍需繼續(xù)提升軸向分辨率和成像速度,促進OCT向功能成像領(lǐng)域發(fā)展,未來有待結(jié)合人工智能(AI)實現(xiàn)生物醫(yī)學(xué)自動診斷功能。
視網(wǎng)膜層間分割技術(shù)從最初的根據(jù)邊緣像素特征進行邊緣分割逐步發(fā)展到基于物理輪廓的平滑和基于深度神經(jīng)網(wǎng)絡(luò)與圖搜索的方法,實現(xiàn)算法變得復(fù)雜多樣,從最初的1到2層分割跨越到9至10層分割,具有分割精度高、魯棒性好等優(yōu)勢。目前國內(nèi)外主要以基于深度學(xué)習(xí)的方法實現(xiàn)視網(wǎng)膜的層間分割和病理檢測。但由于OCT設(shè)備的差異以及操作人員的不同,OCT圖像會出現(xiàn)層間對比度低、雜散噪聲大等問題,因此,未來有待研究結(jié)合AI及大數(shù)據(jù)庫實現(xiàn)自動檢測并診斷篩查眼底疾病功能,有待于將算法模型移植到光學(xué)相干斷層掃描血管成像(OCTA)領(lǐng)域,更能清晰識別視網(wǎng)膜疾病。
參考文獻:
[1] 蔡懷宇,張瑋茜,陳曉冬,等.眼科光學(xué)相干層析成像的圖像處理方法 [J].中國光學(xué),2019,12(4):731-740.
[2] HUANG D,SWANSON E A,LIN C,et al. Optical coherence tomography [J].Science,1991,254(5035):1178-1181.
[3] SRINIVASAN P P,HEFLIN S J,IZATT J A,et al. Automatic segmentation of up to ten layer boundaries in SD-OCT images of the mouse retina with and without missing layers due to pathology [J].Biomedical Optics Express,2014,5(2):348-365.
[4] HEE M R,IZATT J A,SWANSON E A,et al. Optical Coherence Tomography of the Human Retina [J].Archives of Ophthalmology,1995,113(3):325-332.
[5] LU S J,CHEUNG C Y L,LIU J,et al. Automated Layer Segmentation of Optical Coherence omography Images [J].IEEE Transactions on bio-medical engineering,2010,57(10),2605-2608.
[6] TIAN J,VARGA B,SOMFAI G M,et al. Real-Time Automatic Segmentation of Optical Coherence Tomography Volume Data of the Macular Region [J/OL].Plos One,2015,10(8):e0133908[2020-07-05].https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0133908.DOI:10.1371/journal.pone.0133908.
[7] 劉云.基于深度學(xué)習(xí)的視網(wǎng)膜OCT圖像分層與疾病篩查研究 [D].濟南:山東大學(xué),2018.
[8] SHAH A,ZHOU L X,MICHAEL A,et al. Multiple surface segmentation using convolution neural nets:application to retinal layer segmentation in OCT images [J].Biomedical Optics Express,2018,9(9):4509-4526.
[9] 陳明惠,秦顯富,賈文宇,等.一種眼底黃斑水腫OCT圖像分割方法 [J].光學(xué)技術(shù),2019,45(6):730-736.
[10] CHEN A,ONG C Z L,LUO W W,et al. Comparison of training strategies for the segmentation of retina layers in optical coherence tomography images of rodent eyesusing convolutional neural networks [C]//Image Processing.Houston:SPIE Medical Imaging,2020:821-825
[11] 中山大學(xué).基于深度學(xué)習(xí)的視網(wǎng)膜層和積液區(qū)域的層分割方法及系統(tǒng):CN202010313682.7 [P].2020-08-25.
[12] 賀琪欲,李中梁,王向朝,等.基于光學(xué)相干層析成像的視網(wǎng)膜圖像自動分層方法 [J].光學(xué)學(xué)報,2016,36(10):69-78.
[13] FABRITIUS T,MAKITA S,MIURA M,et al. Automated Segmentation of the Macula by Optical Coherence Tomography [J].Optics Express,2009,17(18):15659-15669.
[14] ISHIKAWA H,STEIN D M,WOLLSTEIN G,et al. Macular Segmentation with Optical Coherence Tomography [J].Invest Ophthalmol Vis Sci,2005,46(6):2012–2017.
[15] MONEMIAN M,RABBANI H. Analysis of A Novel Segmentation Algorithm for Optical Coherence Tomography Images Based on Pixels Intensity Correlations [J].IEEE Transactions on Instrumentation and Measurement,1(70),2020.
[16] FERN?NDEZ D C,VILLATE N,PULIAFITO C A,et al. Comparing total macular volume changes measured by Optical Coherence Tomography with retinal lesion volume estimated by active contours [J].Investigative Ophthalmology & Visual Science,2004,45:3072.
[17] YAZDANPANAH A,HAMARNEH G,SMITH B R,et al. Segmentation of intra-retinal layers from optical coherence tomography images using an active contour approach [J].IEEE Transactions on Medical Imaging,2011,30(2):484-496.
[18] DODO B,LI Y M,Liu X H,et al. Level set segmentation of retinal oct images [C]//Proceedings of the 12th International Joint Conference on Biomedical Engineering Systems and Technologies.Prague:SCITE PRESS,2019:49-56.
[19] YANG Q,REISMAN C A,CHAN K P,et al. Automated Segmentation of outer Retinal Layers in Macular OCT Images of Patients with Retinitis Pigmentosa [J].Biomedical Optical Express,2011,2(9),2493-2503.
[20] MISHRA Z,GANEGODA A,SELICHA J,et al. Automated Retinal Layer Segmentation Using Graph-based Algorithm Incorporating Deep-learning-derived Information [J].Scientific Reports,2020(10):9541.
[21] NGO L,CHA J,HAN J H,Deep Neural Network Regression for Automated Retinal Layer Segmentation in Optical Coherence Tomography Images [J].IEEE Transactions on Image Processing,2019,29:303-312.
[22] MASOOD S,F(xiàn)ANG R G,LI P,et al. Automatic Choroid Layer Segmentation from Optical Coherence Tomography Images Using Deep Learning [J].Scientific Reports,2019,9(1):3058.
[23] HAEKER M,ABR?MOFF M,KARDON R,et al. Segmentation of the surfaces of the retinal layer from OCT images [C]//Medical Image Computing and Computer-Assisted Intervention – MICCAI 2006.Gopenhagen:Springer,2006:800–807.
[24] GARVIN M K,ABRAMOFF M D,KARDON R,et al. Intraretinal Layer Segmentation of Macular Optical Coherence Tomography Images Using Optimal 3–D Graph Search [J].IEEE Transaction on Medical Imaging,2008,27(10):1495–1505.
[25] QUELLEC G,LEE K,DOLEJSI M,et al. Three-dimensionalanalysis of retinal layer texture: identification of fluid-filled regions in SD-OCT of the macula [J].IEEE Transaction on Medical Imaging,2010,29(6):1321–1330.
[26] TIAN J,VARGA B,SOMFAI G M,et al. Real-Time Automatic Segmentation of Optical Coherence Tomography Volume Data of the Macular Region [J/OL].Plos One,2015,10(8):e0133908[2020-07-25].https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0133908.DOI:10.1371/journal.pone.0133908.
[27] FANG L Y,CUNEFARE D,WANG C,et al. Automatic segmentation of nine retinal layer boundaries in OCT images of non-exudative AMD patients using deep learning and graph search [J].Biomedical Optics Express,2017,8(5):2732-2744.
[28] MENDES O L C,LUCENA A R,LUCENA D R,et al. Automatic Segmentation of Macular Holes in Optical Coherence Tomography Images: A review [J].Journal of Artificial Intelligence and Systems,2019(1):163-185.
[29] 國家衛(wèi)生和計劃生育委員會.“十三五”全國眼健康規(guī)劃(2016—2020年) [J].中華眼科雜志,2017,53(7):484-486.
[30] LEE R,WONG T Y,SABANAYAGAM C. Epidemiology of Diabetic Retinopathy,Diabetic Macular Edema and Related Vision Loss [J].Eye and vision(London,England),2015,2(17).
[31] HELMY Y M,ALLAH H R A,et al. Optical Coherence Tomography Classification of Diabetic Cystoid Macular Edema [J].Clinical Ophthalmology,2013(7):1731–1737.
[32] LIEW G,MICHAELIDES M,BUNCE C. A comparison of the Causes of Blindness Certifications in England and Wales in Working Age Adult(16-64years),1999-2000 with 2009-2010 [J/OL].BMJ Open,2014(4):e004015[2020-07-29].https://bmjopen.bmj.com/content/4/2/e004015.DOI:10.1136/bmjopen-2013-004015.
[33] THOMAS R L,HALIM S,GURUDAS S,et al. IDF Diabetes Atlas: a Review of Studies Utilising Retinal Photography on the Global Prevalence of Diabetes Related Retinopathy between 2015 and 2018 [J/OL].Diabetes Research and Clinical Practice,2019,157:107840[2020-08-05].https://www.sciencedirect.com/science/article/pii/S0168822719312574.DOI:10.1016/j.diabres.2019.107840.
[34] WONG T Y,BRESSLER N M. Artificial intelligence with deep learning technology looks into diabetic retinopathy screening [J].The Journal of the American Medical Association,2016,316(22):2366-2367.
[35] WANG Z H,ZHANG W P,SUN Y N,et al. Detection of Diabetic Macular Edema in Optical CoherenceTomography Image Using an Improved Level Set Algorithm [J].BioMed Research International,2020(1):1-7.
[36] 中華醫(yī)學(xué)會眼科學(xué)分會青光眼學(xué)組,中國醫(yī)師協(xié)會眼科醫(yī)師分會青光眼學(xué)組.中國青光眼指南(2020) [J].中國眼科雜志,2020,56(8):573-586.
[37] CHEN T C,ZENG A,SUN W,et al. Spectral Domain Optical Coherence Tomography in Glaucoma [J].International Ophthalmology Clinics,2008,48(4):29-45.
[38] GREWAL D S,TANNA A P. Diagnosis of Glaucoma and Detection of Glaucoma Progression using Spectral Domain Optical Coherence Tomography [J].Current opinion in ophthalmology,2013,24(2):150-161.
[39] KHALIL T,AKRAM M U,RAJA H,et al. Detection of Glaucoma using Cup to Disc Ratio from Spectral Domain Optical Coherence Tomography Images [J].IEEE Access,2018,6:4560-4576.
[40] RAJA H,AKRAM M U,SHAUKAT A,et al. Extraction of Retinal Layers Through Convolution Neural Network (CNN) in an OCT Image for Glaucoma Diagnosis [J].Journal of Digital Imaging,2020(33):1428–1442.
[41] WANG Y,ZHANG Y N,YAO Z M,et al. Machine Learning Based Detection of Age-related Macular Degeneration(AMD) and Diabetic Macular Edema(DME) from Optical Coherence Tomography(OCT)images [J].Biomed Optics Express,2016,7(12):4928–4940.
[42] 黃潔,吳星偉.中國中醫(yī)眼科雜志 [J].中醫(yī)藥通報,2009(5):48.
[43] TREDER M,LAUERMANN J L,ETER N. Automated Detection of Exudative Age-related Macular Degeneration in Spectral Domain Optical Coherence Tomography using deep Learning [J].Graefe's Archive for Clinical and Experimental Ophthalmology,2018,256(2):259–265.
[44] RIM T H,LEE A Y,TING D S,et al. Detection of Features Associated with Neovascular Age-related Macular Degeneration in Ethnically Distinct Data Sets by an Optical Coherence Tomography: Trained Deep Learning Algorithm [J/OL].British Journal of Ophthalmology,2020:[2020-09-20].https://bjo.bmj.com/content/early/2020/09/08/bjophthalmol-2020-316984.DOI:10.1136/bjophthalmol-2020-316984.
[45] CHEN Z L,LI D B,SHEN H L,et al. Automated Segmentation of Fluid Regions in Optical Coherence Tomography B-scan Images of Age-related Macular Degeneration [J/OL].Optics & Laser Technology,2020,122:105830[2020-10-01].https://www.sciencedirect.com/science/article/abs/pii/S0030399219301963.DOI:10.1016/j.optlastec.2019.105830.
作者簡介:通訊作者:方楊(1996—),女,漢族,重慶人,碩士研究生在讀,研究方向:光學(xué)成像與圖像處理;胡建明(1974—),男,漢族,重慶人,教授,博士研究生,研究方向:OCT系統(tǒng)設(shè)計與光譜分析;陳葛(1996—),男,漢族,四川眉山人,碩士研究生在讀,研究方向:光學(xué)成像。