国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于深度學(xué)習(xí)的淚河高度檢測

2022-11-21 02:42:19王崇陽
關(guān)鍵詞:卷積神經(jīng)網(wǎng)絡(luò)干眼深度學(xué)習(xí)

王崇陽

關(guān)鍵詞:淚河高度;干眼;深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò)

1引言

如今,越來越多的人受到干眼癥的困擾,相關(guān)流行病學(xué)調(diào)查[1-2]表明,國外30-40歲的人群中,患干眼癥的比例超過20%,而70歲以上高齡人群的患病率高達(dá)36%。干眼癥是一種眼表受到損害且眼部出現(xiàn)不適的疾病,主要病因是淚液分泌不足或淚液蒸發(fā)過度。并且干眼癥可分為“淚液缺乏型干眼”“蒸發(fā)過強(qiáng)型干眼”以及混合型干眼三類[3]。淚河高度是評估患者是否患有干眼癥的一個(gè)可靠指標(biāo),與患者主觀感受、淚膜破裂時(shí)間、淚液分泌試驗(yàn)等具有良好的相關(guān)性。在人眼圖像中,由淚液與上下眼瞼和結(jié)角膜形成的平面高度稱為淚河高度,它可以反映淚腺的分泌量。更重要的是,它能夠?yàn)檠郾頊I膜的更新提供需要的淚液,且能夠調(diào)節(jié)淚液排除功能障礙引起的淚液過多的問題[4]。因此,為了診斷病人是否患有干眼癥,對淚河高度進(jìn)行準(zhǔn)確測量是十分必要的。

常見的淚河高度檢測可分為基于淚河圖像的純?nèi)斯な謩訙y量以及基于數(shù)字圖像處理技術(shù)的淚河高度測量。其中,人工手動測量采用裂隙燈檢查法,首先進(jìn)行熒光染色劑染色,然后利用裂隙燈觀察在角結(jié)膜表面的光帶和下瞼瞼緣光帶的交界處淚液的液平面高度,且該高度可以在某種程度上反映淚液的分泌量。通常而言,高度小于0.35毫米的可以診斷為干眼癥[5]。文獻(xiàn)[6]使用視頻形式將淚河記錄下來,然后通過研究人員的手動標(biāo)記去進(jìn)行淚河位置的對齊,最終采用離線分析的方式測定淚河高度。此外,DOUCHTY等[7]在實(shí)驗(yàn)過程中,從具有停幀功能的視頻錄像機(jī)中提取視頻,再通過純?nèi)斯ふ页鰷I河圖像,之后由研究人員手動測量淚河高度?;跍I河圖像的純?nèi)斯な謩訙y量的方法,存在增加人力和時(shí)間成本的問題,影響工作效率,并且測量精度會因檢測人員的操作而出現(xiàn)誤差。

近年來,隨著數(shù)字圖像處理技術(shù)及光學(xué)成像技術(shù)的發(fā)展,醫(yī)學(xué)領(lǐng)域的影像技術(shù)應(yīng)用愈來愈成熟。通過使用數(shù)字圖像處理技術(shù)對淚河圖像進(jìn)行分析,可以降低使用人工帶來的附加成本.同時(shí)能提高淚河高度檢測的準(zhǔn)確性和魯棒性。針對基于數(shù)字圖像處理技術(shù)的淚河高度測量方法,首先需要獲取由測量儀器得到的人眼淚河圖像,然后利用相關(guān)數(shù)字圖像處理技術(shù)對此進(jìn)行分析,進(jìn)而得到人眼圖像的淚河高度。其中,數(shù)字圖像處理技術(shù)在淚河高度檢測過程中,常應(yīng)用自適應(yīng)平滑濾波增強(qiáng)圖像,提取淚河邊緣,最終得到淚河實(shí)際高度。文獻(xiàn)[8]為了測量淚河高度,先使用灰度相關(guān)性配準(zhǔn)法對在視頻序列中得到的圖像參考幀進(jìn)行圖像配準(zhǔn),然后基于色彩空間轉(zhuǎn)換進(jìn)行淚河圖像處理,使用k-means算法和Otsu法得到淚河對應(yīng)的分割部分,最終估算人眼圖像中的淚河高度。盡管基于數(shù)字圖像處理技術(shù)的淚河高度檢測方法可以一定程度上降低人工因素的影響,提高檢測準(zhǔn)確率以及實(shí)驗(yàn)結(jié)果的魯棒性。但是,這種方法仍存在易受其他眼睛組織干擾、拍攝角度、光源、眨眼等因素影響的問題。

為了更準(zhǔn)確地檢測淚河高度,考慮到上文所提方法的缺點(diǎn)和劣勢,本文提出一種基于深度學(xué)習(xí)的淚河高度檢測方法。深度學(xué)習(xí)技術(shù)是在機(jī)器學(xué)習(xí)的基礎(chǔ)上發(fā)展而來的,因其在人工智能領(lǐng)域中取得了巨大的進(jìn)展和成果而受到越來越多研究人員的關(guān)注。隨著深度學(xué)習(xí)技術(shù)在圖像識別、目標(biāo)檢測[9]、機(jī)器翻譯等多個(gè)領(lǐng)域的成功應(yīng)用,近年來在醫(yī)學(xué)領(lǐng)域中,深度學(xué)習(xí)模型也得到了更多的研究與應(yīng)用[10-12]。HOWARD等[13]提出MobileNetV3版本的卷積神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)是MobileNet網(wǎng)絡(luò)系列的最新之作,主要用于解決深度模型在移動端部署時(shí),因參數(shù)量大以及與模型性能精度權(quán)衡的問題而提出的輕量化骨干網(wǎng)絡(luò)。MobileNetV3網(wǎng)絡(luò)在物體識別、目標(biāo)檢測等領(lǐng)域不僅有著優(yōu)異的網(wǎng)絡(luò)性能精度,而且在移動端部署時(shí)更能滿足實(shí)時(shí)的要求。DFANet是LI等[14]于2019年提出的,用于實(shí)時(shí)語義分割的卷積神經(jīng)網(wǎng)絡(luò)。DFANet由一個(gè)輕量化骨干網(wǎng)絡(luò)以及子網(wǎng)絡(luò)和子階段級聯(lián)聚合判別特征模塊組成,并且在公共數(shù)據(jù)集上取得了優(yōu)異的網(wǎng)絡(luò)性能以及更快的語義分割速度。

本文提出的淚河高度檢測方法充分利用了MobileNetV3和DFANet兩個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢和優(yōu)異的網(wǎng)絡(luò)性能,并基于深度模型設(shè)計(jì)了一種新的淚河高度檢測方法。該方法通過輸入人眼圖像自動識別判斷圖像是否有效,并能夠?qū)τ行D像自動檢測淚河高度。具體而言,基于深度模型的淚河高度自動檢測算法包括基于MobileNetV3的睜閉眼識別網(wǎng)絡(luò)、以MobileNetV3為骨干網(wǎng)絡(luò)的淚河區(qū)域粗定位網(wǎng)絡(luò)、基于DFANet的淚河區(qū)域快速分割網(wǎng)絡(luò)、淚河邊緣修正模塊以及淚河高度計(jì)算模塊。相較于傳統(tǒng)數(shù)字圖像處理方法,這種方法對眨眼、變形、光照、噪聲等情況魯棒性更強(qiáng),且可代替人工自動檢測淚河高度,大大提高了算法的執(zhí)行效率。本文方法在實(shí)驗(yàn)測試中取得了優(yōu)異效果,并且實(shí)驗(yàn)結(jié)果顯示,無論在時(shí)間還是算法方面,各模塊的指標(biāo)性能均優(yōu)于傳統(tǒng)方法。

2方法

本節(jié)主要介紹本文提出的基于深度卷積網(wǎng)絡(luò)的淚河高度檢測方法,其中包括由睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計(jì)算模塊組成的總體框架及各組成部分的細(xì)節(jié)描述。

2.1淚河高度檢測的總體框架

本文提出的基于深度模型的淚河高度檢測方法的總體框架如圖1所示。獲取到的人眼圖像,首先輸入到基于MobileNetV3的睜閉眼識別網(wǎng)絡(luò),通過分類網(wǎng)絡(luò)對人眼圖像進(jìn)行篩選,篩選出有效的睜眼圖像,從而用于下一步淚河區(qū)域粗定位。為了能更加準(zhǔn)確分割出淚河區(qū)域,對有效人眼圖像先用以MobileNetV3為骨干網(wǎng)絡(luò)的淚河粗定位網(wǎng)絡(luò)進(jìn)行回歸定位,之后裁剪出淚河區(qū)域圖像,隨后將裁剪圖像輸入基于DFANet的快速分割網(wǎng)絡(luò),得到更加精細(xì)的淚河區(qū)域分割圖。最后,利用淚河邊緣修正模塊和淚河高度計(jì)算模塊,對淚河區(qū)域分割圖進(jìn)行后處理,并結(jié)合原人眼圖像檢測淚河實(shí)際高度。

2.2睜閉眼分類識別網(wǎng)絡(luò)

由于待檢測的人眼圖像分為閉眼和睜眼兩類,因此在檢測淚河高度之前,需有效識別睜眼圖像,從而降低不必要的無效操作,提高算法執(zhí)行效率。考慮到MobileNetV3深度網(wǎng)絡(luò)的輕量化以及網(wǎng)絡(luò)性能與速度之間的權(quán)衡,本文利用MobileNetV3深度網(wǎng)絡(luò)來設(shè)計(jì)睜閉眼分類識別網(wǎng)絡(luò)。睜眼圖像如圖2所示,閉眼圖像如圖3所示。因本文針對睜眼和閉眼進(jìn)行二分類識別,所以在MobileNetV3網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上,將使保持骨干網(wǎng)絡(luò)不變,修改最后的輸出層,即將全連接層的輸出結(jié)點(diǎn)數(shù)設(shè)為2。故本部分使用的睜閉眼識別網(wǎng)絡(luò),使用具有3通道的人眼彩色圖像作為輸入圖像,通過基于MobileNetV3的深度卷積網(wǎng)絡(luò),最終有效識別是否為睜眼圖像。

2.3淚河區(qū)域粗定位網(wǎng)絡(luò)

為了更加準(zhǔn)確地分割出淚河區(qū)域圖像,從而便于計(jì)算淚河高度,先對有效人眼輸入圖像進(jìn)行淚河區(qū)域的粗定位,之后進(jìn)行圖像裁剪。得到的淚河區(qū)域不僅可以提高分割網(wǎng)絡(luò)輸入圖像的有效區(qū)域占比,減少分割網(wǎng)絡(luò)的輸入分辨率,也可以使分割網(wǎng)絡(luò)的樣本空間更小,所需訓(xùn)練樣本更少,從而使分割網(wǎng)絡(luò)參數(shù)學(xué)習(xí)更充分高效,達(dá)到快速推理的目的。

粗定位網(wǎng)絡(luò)所實(shí)現(xiàn)的功能是通過對淚河區(qū)域的左右兩端進(jìn)行回歸定位,定位結(jié)果如圖4所示。之后,通過左右兩端位置分別由水平方向以這兩端點(diǎn)為起始位置和終止位置,豎直方向以兩端點(diǎn)向上擴(kuò)30個(gè)像素,向下擴(kuò)70個(gè)像素為基準(zhǔn),最終裁剪出淚河的粗定位圖像。其中,回歸定位網(wǎng)絡(luò)仍然以MobileNetV3為主干網(wǎng)絡(luò),將網(wǎng)絡(luò)最后輸出層的輸出結(jié)點(diǎn)數(shù)修改為淚河圖像左右兩端的位置坐標(biāo),最終定位網(wǎng)絡(luò)可以實(shí)現(xiàn)自動對有效人眼圖像進(jìn)行裁剪,裁剪示意圖如圖5所示。

2.4淚河區(qū)域分割網(wǎng)絡(luò)

相較于傳統(tǒng)淚河高度檢測方法,本方法基于深度分割網(wǎng)絡(luò),輸入裁剪后的淚河區(qū)域有效占比的更小圖像,進(jìn)行淚河的自動分割。此方法實(shí)行逐像素自動分類,可以避免人工識別帶來的人為誤差,同時(shí)使用深度網(wǎng)絡(luò)充分學(xué)習(xí)訓(xùn)練樣本的屬性特征,可以快速而準(zhǔn)確地分割出期望的淚河二值圖。本文采用用于實(shí)時(shí)語義分割的DFANet模型搭建所需的淚河區(qū)域分割網(wǎng)絡(luò),如圖6所示。

正如圖6所示,將定位網(wǎng)絡(luò)輸出裁剪后的淚河區(qū)域圖像作為DFANet網(wǎng)絡(luò)的輸入對象,DFANet由單個(gè)輕量化骨干網(wǎng)絡(luò)、用于聚合判別特征的子網(wǎng)絡(luò)以及子階段級聯(lián)構(gòu)成,最終輸出淚河二值化圖像。由于DFANet將輸入的圖像進(jìn)行多尺度特征傳播,因此大幅減少了參數(shù)量,同時(shí)仍獲得了足夠的感受野,增強(qiáng)了模型學(xué)習(xí)能力,并在速度和分割性能之間有更好的平衡??紤]到本文的設(shè)計(jì)要求,將DFANet網(wǎng)絡(luò)的輸出通道設(shè)置為2,最終獲得基于背景和淚河的二值化圖。其中,“conv”指卷積核大小為3的卷積;“enc”指卷積層塊:“FC attention”指獲取語義信息和類別信息的注意力模塊:“C”指按通達(dá)維度進(jìn)行拼接:“xN”指N倍數(shù)的上采樣操作。

2.5淚河邊緣修正模塊

為了能通過淚河分割圖準(zhǔn)確地計(jì)算淚河高度,邊緣修正模塊將淚河區(qū)域分割網(wǎng)絡(luò)輸出的淚河二值化圖利用Canny算法提取淚河區(qū)域的邊緣。對于獲取到的淚河上下邊緣,在每個(gè)位置豎直方向的10個(gè)像素范圍內(nèi)尋找梯度最大的位置,并用此位置修正原淚河邊緣。修正后的淚河邊緣如圖7所示。

2.6淚河高度計(jì)算模塊

本模塊用于計(jì)算人眼圖像中的淚河高度,得到的人眼圖像淚河高度如圖8所示。淚河邊緣經(jīng)過修正后,可以得到更準(zhǔn)確的邊緣界限,該模塊會計(jì)算淚河下邊緣的每個(gè)位置和徑向方向,并尋找此方向與淚河上邊緣的交點(diǎn)。如此,淚河高度便定義為下邊緣位置點(diǎn)與上邊緣交點(diǎn)之間的距離。

2.7損失函數(shù)

對于本文所設(shè)計(jì)的睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)以及淚河區(qū)域分割網(wǎng)絡(luò),為了優(yōu)化深度網(wǎng)絡(luò)中的模型參數(shù),本文引入了二分類交叉熵?fù)p失函數(shù)用于分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò),又引入了均值平方差函數(shù)用于粗定位網(wǎng)絡(luò)中的回歸損失計(jì)算。

3實(shí)驗(yàn)和分析

為了驗(yàn)證本文提出的基于深度學(xué)習(xí)的淚河高度檢測方法,本節(jié)進(jìn)行對比實(shí)驗(yàn)和分析以驗(yàn)證本文方法的優(yōu)勢和有效性。此部分先介紹本文使用的數(shù)據(jù)集以及相關(guān)預(yù)處理等操作,之后詳細(xì)介紹基于深度模型的超參數(shù)設(shè)置以及運(yùn)行環(huán)境,最后進(jìn)行實(shí)驗(yàn)分析與討論。

3.1數(shù)據(jù)集及預(yù)處理

為了搜集人眼數(shù)據(jù)集對本文深度學(xué)習(xí)模型進(jìn)行訓(xùn)練,采集機(jī)器選用上海美沃精密儀器股份有限公司的裂隙燈顯微鏡S390,該設(shè)備具有寬動態(tài)范圍、高分辨率、高靈敏度、自動曝光、自動白平衡等特點(diǎn),能夠很好地拍攝高畫質(zhì)圖像。搜集到人眼圖片總共7470張,其中睜眼圖像有5790張,閉眼圖像有1680張,分辨率達(dá)到2592x1944。

淚河區(qū)域粗定位網(wǎng)絡(luò)使用平移、縮放、灰度拉伸、隨機(jī)模糊等預(yù)處理,而睜閉眼分類識別網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)在預(yù)處理的基礎(chǔ)上,另外加上旋轉(zhuǎn)操作,構(gòu)成了實(shí)驗(yàn)中使用的數(shù)據(jù)增強(qiáng)操作。

3.2訓(xùn)練參數(shù)設(shè)置和評價(jià)指標(biāo)

睜閉眼分類識別網(wǎng)絡(luò)和淚河區(qū)域粗定位網(wǎng)絡(luò)使用相同的實(shí)驗(yàn)設(shè)置:將搭建的MobileNetV3模型在IMAGENET數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值,然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6:2:2比例分成訓(xùn)練集、驗(yàn)證集和測試集,迭代訓(xùn)練60輪,初始學(xué)習(xí)率0.01,在第20輪、第40輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。淚河區(qū)域分割網(wǎng)絡(luò)所使用的實(shí)驗(yàn)設(shè)置:DFANet在Cityscapes數(shù)據(jù)集上的訓(xùn)練權(quán)值作為初始權(quán)值,然后做微調(diào)訓(xùn)練。數(shù)據(jù)集按6:2:2比例分成訓(xùn)練集、驗(yàn)證集和測試集,迭代訓(xùn)練80輪,初始學(xué)習(xí)率為0.01,在第30輪,第60輪分別將學(xué)習(xí)率降低10倍。最終選取訓(xùn)練集和驗(yàn)證集loss值相差最小的訓(xùn)練權(quán)值作為訓(xùn)練結(jié)果。所有實(shí)驗(yàn)均運(yùn)行在單卡GTX2080TI CPU上。

考慮到算法的實(shí)效性,實(shí)驗(yàn)對睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)和淚河區(qū)域分割網(wǎng)絡(luò)均使用了時(shí)間指標(biāo)。此外,睜閉眼分類網(wǎng)絡(luò)使用睜眼的精度、召回指標(biāo);淚河粗定位網(wǎng)絡(luò)使用歐式距離指標(biāo);淚河分割網(wǎng)絡(luò)使用交并比即IOU指標(biāo)。所有評價(jià)指標(biāo)是在測試集上運(yùn)行統(tǒng)計(jì)的。

3.3實(shí)驗(yàn)結(jié)果和分析

睜眼閉眼分類評價(jià)結(jié)果如圖9所示,橫坐標(biāo)為概率閾值,縱坐標(biāo)為百分比,一條線是精度曲線,另一條線是召回曲線。最終睜眼閉眼概率閾值選取0.7,睜眼概率大于0.7則判斷為睜眼,否則為閉眼。當(dāng)閾值為0.7時(shí),睜眼類的精度為99.5%,召回為99.1%。通過這兩個(gè)指標(biāo)可知,該分類模型能夠準(zhǔn)確地分辨出是否為睜眼狀態(tài)。并且該分類器在一般Intel 15處理器上的單張圖像運(yùn)行時(shí)間為25ms。

對睜眼圖像,淚河區(qū)域粗定位網(wǎng)絡(luò)預(yù)測淚河左右兩個(gè)端點(diǎn),計(jì)算預(yù)測點(diǎn)和真值點(diǎn)的平均歐式距離,該值為5.3個(gè)像素,說明預(yù)測點(diǎn)能夠很好地指示淚河左右兩個(gè)端點(diǎn),滿足實(shí)際使用需求。該粗定位模塊在一般Intel 15處理器上單張圖像運(yùn)行時(shí)間為23ms。

對粗定位裁剪的淚河區(qū)域圖像,淚河區(qū)域分割網(wǎng)絡(luò)會對圖像中淚河區(qū)域進(jìn)行預(yù)測。計(jì)算得出預(yù)測區(qū)域和真值區(qū)域的IOU為91.6%,說明預(yù)測區(qū)域和實(shí)際位置基本一致,可以滿足淚河高度計(jì)算要求。該粗定位模塊在一般Intel 15處理器上的單張圖像運(yùn)行時(shí)間為31ms。

最后,對淚河修正后的淚河邊緣,淚河高度計(jì)算模塊得到邊緣上每個(gè)點(diǎn)的徑向高度,通過比較淚河圖像中間位置處的計(jì)算高度和人工手動測量高度,平均絕對誤差為0.8個(gè)像素,該結(jié)果和人工測量結(jié)果基本一致,說明本文方法的準(zhǔn)確性高。所涉及的計(jì)算模塊在一般Intel 15處理器上單張圖像運(yùn)行時(shí)間共為90ms,說明了本文方法時(shí)效性較好。

4結(jié)束語

本文應(yīng)用先進(jìn)的深度學(xué)習(xí)方法分析計(jì)算淚河高度,并將其作為干眼癥的重要評價(jià)指標(biāo)之一。通過睜閉眼分類識別網(wǎng)絡(luò)、淚河區(qū)域粗定位網(wǎng)絡(luò)、淚河區(qū)域分割網(wǎng)絡(luò)、淚河邊緣修正模塊和淚河高度計(jì)算模塊等系列的操作,得到的計(jì)算結(jié)果和人工手動測量結(jié)果只相差0.8個(gè)像素,并且總運(yùn)行時(shí)間只有90ms,驗(yàn)證了本文方法的準(zhǔn)確性和時(shí)效性。本文基于深度學(xué)習(xí)的淚河高度計(jì)算方法實(shí)現(xiàn)了全自動輔助測量,可替代人工手動標(biāo)記,提高工作效率。

猜你喜歡
卷積神經(jīng)網(wǎng)絡(luò)干眼深度學(xué)習(xí)
干眼不舒,中醫(yī)外治有妙招
竟是“干眼”找上門
愛眼有道系列之十 干眼者怎樣度過秋燥難關(guān)
愛眼有道系列之三 干眼及其治療防范策略
基于深度卷積神經(jīng)網(wǎng)絡(luò)的物體識別算法
MOOC與翻轉(zhuǎn)課堂融合的深度學(xué)習(xí)場域建構(gòu)
大數(shù)據(jù)技術(shù)在反恐怖主義中的應(yīng)用展望
深度學(xué)習(xí)算法應(yīng)用于巖石圖像處理的可行性研究
基于深度卷積網(wǎng)絡(luò)的人臉年齡分析算法與實(shí)現(xiàn)
軟件工程(2016年8期)2016-10-25 15:47:34
基于卷積神經(jīng)網(wǎng)絡(luò)的樹葉識別的算法的研究
404 Not Found

404 Not Found


nginx
庐江县| 伊宁市| 佛教| 洮南市| 本溪市| 尼勒克县| 资源县| 扎兰屯市| 海南省| 深水埗区| 郸城县| 吴川市| 彩票| 涞源县| 安达市| 都江堰市| 高雄县| 满城县| 翁牛特旗| 平凉市| 肇源县| 广饶县| 武穴市| 通州市| 龙井市| 新郑市| 开鲁县| 格尔木市| 平江县| 英吉沙县| 孝昌县| 乌拉特后旗| 万荣县| 营山县| 石家庄市| 沈丘县| 石嘴山市| 巴青县| 靖边县| 永年县| 娱乐|