劉佳 濮清嵐 李鵬 周巧云 許維馨 李勇

早產(chǎn)兒視網(wǎng)膜病變（Retinopathy of prematurity,ROP）是一種發(fā)生在早產(chǎn)兒和低出生體質(zhì)量?jī)旱脑錾砸暰W(wǎng)膜血管病變[1]，是目前導(dǎo)致嬰幼兒視功能受損或失明的主要原因之一[2]。對(duì)ROP進(jìn)行準(zhǔn)確的診斷，并在時(shí)間窗內(nèi)進(jìn)行及時(shí)的干預(yù)是挽救患兒視力的關(guān)鍵。

目前臨床上對(duì)于ROP 的診斷，主要由臨床醫(yī)師根據(jù)國(guó)際分類(lèi)標(biāo)準(zhǔn)（International Committee for the Classification of Retinopathy of Prematurity,ICROP）[3]，通過(guò)雙目眼底鏡或數(shù)字化廣域眼底成像系統(tǒng)采集的眼底圖片進(jìn)行判讀給出診斷。有研究表明，包括ROP在內(nèi)的眼底疾病的診斷過(guò)程和結(jié)果存在專家內(nèi)和專家間的一致性水平差異[4]。為了解決診斷結(jié)果的不一致性問(wèn)題，有研究者開(kāi)發(fā)了半自動(dòng)的圖像處理分析工具[5-7]，以便更客觀診斷眼底圖像。但是這些工具需要人為指定特征和切點(diǎn)。近年來(lái)專家們致力使用深度卷積神經(jīng)網(wǎng)絡(luò)（Deep convolutional neural network,DCNN）來(lái)協(xié)助眼科醫(yī)師診斷眼底相關(guān)疾病[8-11]。DCNN不需要手動(dòng)輸入特征，并且展現(xiàn)了比半自動(dòng)的分析工具更好的性能指標(biāo)。

目前ROP相關(guān)的自動(dòng)輔助診斷研究主要集中在識(shí)別“Plus病變”[12-14]，也有部分專家對(duì)于ROP病變分期的診斷進(jìn)行研究[15-16]。在本研究中，我們基于DCNN開(kāi)發(fā)了1個(gè)端到端的自動(dòng)輔助診斷系統(tǒng)，該系統(tǒng)使用從感興趣區(qū)域（Regions of interest,ROI）中提取的病灶特征，對(duì)ROP 1～3 期病變進(jìn)行自動(dòng)診斷。

1 對(duì)象與方法

1.1 對(duì)象

納入標(biāo)準(zhǔn)：①出生體質(zhì)量＜2 000 g或胎齡＜37周的早產(chǎn)兒；②屈光介質(zhì)透明；③無(wú)ROP外的器質(zhì)性眼病。排除標(biāo)準(zhǔn)：①各種原因的屈光介質(zhì)混濁，瞳孔無(wú)法散大，眼底窺不入導(dǎo)致無(wú)法進(jìn)行眼底照相；②存在中樞神經(jīng)性或循環(huán)系統(tǒng)等危及生命的并發(fā)癥。收集2019年1月至2020年12月在嘉興市婦幼保健醫(yī)院眼科進(jìn)行眼底篩查的早產(chǎn)兒共1 885例（2 331 眼）。本研究經(jīng)嘉興市婦幼保健醫(yī)院機(jī)構(gòu)審查委員會(huì)批準(zhǔn)[批號(hào)：2018（倫）-26]，所有患兒家屬均簽署了ROP眼底篩查知情同意書(shū)。

1.2 數(shù)據(jù)采集及預(yù)處理

所有的早產(chǎn)兒眼底圖像均由專業(yè)眼科醫(yī)師使用廣域數(shù)字化視網(wǎng)膜攝像系統(tǒng)（RetcamIII）采集。對(duì)眼底的5個(gè)標(biāo)準(zhǔn)視場(chǎng)（后極部、鼻部、顳部、上部和下部）進(jìn)行采集圖像。去除漏光、拍攝模糊、曝光不足等所致的3 624張低質(zhì)量圖片，共納入12 219張眼底圖像構(gòu)建了早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集，圖像尺寸（像素）均為1 600×1 200。

將早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集。如表1所示，納入早產(chǎn)兒視網(wǎng)膜圖像數(shù)據(jù)集中的視網(wǎng)膜圖像9 754張（1 506例早產(chǎn)兒，1 861眼）構(gòu)建了訓(xùn)練數(shù)據(jù)集，用于訓(xùn)練DCNN的分類(lèi)器。從訓(xùn)練集中選擇了1 642張視網(wǎng)膜圖像（184例早產(chǎn)兒，293眼）和2 190張視網(wǎng)膜圖像（245例早產(chǎn)兒，391眼），分別用于訓(xùn)練2個(gè)Retina U-Net圖像分割網(wǎng)絡(luò)。同時(shí)納入2 465張圖像（379例早產(chǎn)兒，470 眼）構(gòu)建了測(cè)試數(shù)據(jù)集，用于測(cè)試DCNN分類(lèi)器的性能指標(biāo)。訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集之間納入的視網(wǎng)膜圖像均相互獨(dú)立。

表1.早產(chǎn)兒訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集的特征Table 1.Characteristics of the training data set and test data set in preterm infants

由1 位專業(yè)眼科醫(yī)師使用醫(yī)學(xué)標(biāo)注軟件Pair，手工標(biāo)注圖像分割網(wǎng)絡(luò)所用的視網(wǎng)膜圖像。訓(xùn)練集和測(cè)試集圖像的診斷標(biāo)準(zhǔn)（ROP 1期、ROP 2期、ROP 3 期及無(wú)ROP）由3名資深小兒眼科醫(yī)師依據(jù)診斷共識(shí)結(jié)果確定。

1.3 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)由圖像分割網(wǎng)絡(luò)、ROI區(qū)域確定及系統(tǒng)分類(lèi)器這3 個(gè)部分組成。如圖1 所示，視網(wǎng)膜圖像作為輸入（Input），在A圖中被2個(gè)深度神經(jīng)網(wǎng)絡(luò)分別分割出視網(wǎng)膜血管和分界線或嵴的分割圖；根據(jù)圖像處理算法在B圖計(jì)算出了感興趣區(qū)域（紅色方框），并分割了感興趣區(qū)域；從感興趣區(qū)域提取特征訓(xùn)練分類(lèi)器后，最終在C圖中分類(lèi)器輸出自動(dòng)診斷結(jié)果。

圖1.早產(chǎn)兒視網(wǎng)膜病變自動(dòng)輔助診斷系統(tǒng)結(jié)構(gòu)圖Figure 1.Structure of the automatic diagnosis system of retinopathy of prematurity

1.3.1 圖像分割網(wǎng)絡(luò)及訓(xùn)練 圖像分割網(wǎng)絡(luò)，使用了2個(gè)開(kāi)源的Retina U-Net[17]分別分割視網(wǎng)膜血管以及分界線或嵴。在訓(xùn)練過(guò)程中，通過(guò)修改程序使用了整張眼底圖像，不對(duì)圖像進(jìn)行切片或裁剪。通過(guò)將圖像水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、平移以及進(jìn)行不同角度的旋轉(zhuǎn)等方法達(dá)到數(shù)據(jù)增強(qiáng)的目的。

1.3.2 ROI區(qū)域確定 使用大津法[18]將輸入的分割圖像二值化后，對(duì)分界線或嵴的分割圖使用了opencv4.5.2（Open Source Computer Vision Library,Inter,Santa Clara,CA,USA）cv2.CHAIN_APPROX_SIMPLE函數(shù)從而獲得病變區(qū)域的輪廓，繼而使用cv2.minAreaRect函數(shù)，求得包含點(diǎn)集最小面積的矩形，即分界線或嵴的最小外接矩形。將2張分割圖融合后，使用cv2.contourArea函數(shù)，計(jì)算外接矩形兩側(cè)的像素點(diǎn)面積比，為了方便研究分界線或嵴附近的血管增生情況，以最小外接矩形的長(zhǎng)度和1.5倍寬度作為參數(shù)，并向像素面積更大區(qū)域（血管區(qū)）進(jìn)行了偏移，以此獲得了1個(gè)矩形感興趣區(qū)域（ROI）。將ROI區(qū)域內(nèi)的分割圖像進(jìn)行剪切，作為分類(lèi)器網(wǎng)絡(luò)的輸入。

1.3.3 系統(tǒng)分類(lèi)器及訓(xùn)練 使用了DenseNet網(wǎng)絡(luò)[19]將眼底圖像分為無(wú)ROP以及ROP 1～3 期圖像這4 個(gè)類(lèi)別。使用接受者操作特性曲線（Receiver operating characteristic curver,ROC）的曲線下面積（Area under curve,AUC）的得分來(lái)衡量分類(lèi)器訓(xùn)練性能的優(yōu)劣。為了避免過(guò)擬合和欠擬合狀態(tài)發(fā)生，將訓(xùn)練數(shù)據(jù)集劃分為5 份，隨機(jī)選擇4 份數(shù)據(jù)作為訓(xùn)練集，剩余1 份作為測(cè)試集。交叉驗(yàn)證重復(fù)5 次（五折交叉驗(yàn)證），根據(jù)分類(lèi)器在有4 個(gè)分類(lèi)任務(wù)中的AUC得分，選擇表現(xiàn)最好的分類(lèi)器模型。

1.4 實(shí)驗(yàn)的網(wǎng)絡(luò)部署及超參設(shè)定

所有的網(wǎng)絡(luò)都在Tensorflow1.10 中實(shí)現(xiàn)，并在1 臺(tái)安裝有Nvidia Titan XP 12G顯存顯卡的電腦上進(jìn)行了評(píng)估，所有的圖像分析都是通過(guò)使用Python3.6.5（Python軟件基金會(huì)，Wilmington,DE,USA）編程語(yǔ)言開(kāi)發(fā)腳本進(jìn)行。在訓(xùn)練過(guò)程中，我們應(yīng)用隨機(jī)梯度（SGD）優(yōu)化器，動(dòng)量為0.9，學(xué)習(xí)率為0.000 1，梯度裁剪設(shè)置為5.0。Retina U-NET的批處理大小設(shè)置為32 幅圖像，DenseNet的批處理大小為16 幅圖像。Retain U-NET從高斯分布N（0，0.01）進(jìn)行初始化，DenseNet使用COCO數(shù)據(jù)集（Microsoft,Raymond,Seattle,Washington,USA）的遷移學(xué)習(xí)進(jìn)行初始化。

1.5 統(tǒng)計(jì)學(xué)方法

回顧性研究。采用SPSS 26.0統(tǒng)計(jì)軟件對(duì)數(shù)據(jù)進(jìn)行分析。采用Cohen's Kappa 檢驗(yàn)對(duì)深度學(xué)習(xí)模型預(yù)測(cè)與臨床診斷結(jié)果進(jìn)行一致性分析，由Kappa值的大小代表一致性的程度。深度學(xué)習(xí)模型在測(cè)試集上的性能評(píng)估，采用深度學(xué)習(xí)模型預(yù)測(cè)與臨床診斷結(jié)果構(gòu)建的混淆矩陣，計(jì)算敏感度和特異性等性能參數(shù)。

2 結(jié)果

2.1 深度學(xué)習(xí)模型在圖像分割上的表現(xiàn)

2 個(gè)Retina U-Uet[17]圖像分割網(wǎng)絡(luò)分別對(duì)輸入眼底圖像中的視網(wǎng)膜炎血管和病變區(qū)域進(jìn)行了分割，其中血管分割的敏感度為0.864 2，特異性為0.994 6；病變區(qū)域中分界線或嵴分割的靈敏度為0.916 3，特異性為0.992 4。

對(duì)輸入的視網(wǎng)膜圖像，DCNN 通過(guò)2 個(gè)RetinaU-NET[17]網(wǎng)絡(luò)，分別分割出了視網(wǎng)膜血管（見(jiàn)圖2B）和分界線或嵴（見(jiàn)圖2C）。我們根據(jù)病灶的最小外接矩形（見(jiàn)圖2D），確定了帶有ROI區(qū)域（見(jiàn)圖2E）的分割圖融合圖，最后將ROI區(qū)域內(nèi)的融合圖進(jìn)行分割（見(jiàn)圖2F）作為深度學(xué)習(xí)模型分類(lèi)器的輸入圖像。當(dāng)?shù)?行輸入為無(wú)ROP病變的眼底圖像時(shí)，系統(tǒng)無(wú)法生成ROI，輸出為1張黑色二值圖像，見(jiàn)圖2。

圖2.早產(chǎn)兒視網(wǎng)膜分割圖和ROI分割圖A：輸入的早產(chǎn)兒眼底視網(wǎng)膜圖像；B：血管分割圖；C：分界線或嵴的分割圖；D：確定最小外接矩形的分割圖；E：分割圖融合后帶有ROI的分割圖；F：分類(lèi)器的輸入圖像Figure 2.Segmented retinal images and segmented ROI imagesA: Input retinal images;B: Segmented images of vascular;C: Segmented images of demarcation lines or ridge;D: Segmented images with external rectangle;E:Segmented images with ROI;F: Input images for classifier.ROI,regions of interest.

2.2 深度學(xué)習(xí)模型在測(cè)試集上的性能評(píng)估

使用從訓(xùn)練數(shù)據(jù)集的ROI分割圖中提取的特征，進(jìn)行五折交叉驗(yàn)證（超參設(shè)置cv=5）后，系統(tǒng)分類(lèi)器在4 種類(lèi)別上的訓(xùn)練曲線見(jiàn)圖3。相對(duì)于ROP 1～3期，分類(lèi)器識(shí)別為無(wú)ROP眼底圖像的AUC平均得分為0.955 6（見(jiàn)圖3A）；識(shí)別為ROP 1 期圖像的AUC平均得分為0.922 2（見(jiàn)圖3B）；識(shí)別為ROP 2期圖像的AUC平均得分0.986 6（見(jiàn)圖3C）；識(shí)別為3期圖像的AUC得分0.984 2（見(jiàn)圖3D）。

如圖3所示，藍(lán)色曲線在除了無(wú)ROP外的所有分類(lèi)上均獲得了最高AUC分，因此我們選擇了最佳的參數(shù)配置（藍(lán)色曲線）。根據(jù)深度學(xué)習(xí)模型在測(cè)試集上的診斷結(jié)果與臨床參考診斷結(jié)果構(gòu)建的混淆矩陣（見(jiàn)表2），計(jì)算了系統(tǒng)分類(lèi)器在測(cè)試數(shù)據(jù)集上的性能指標(biāo)（見(jiàn)表3）。

表2.深度卷積神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與臨床診斷結(jié)果Table 2.Deep convolutional neural networks predictions and clinic diagnosis

表3.深度卷積神經(jīng)網(wǎng)絡(luò)在測(cè)試集上的性能表現(xiàn)Table 3.Performance of the DCNN on the test set

圖3.早產(chǎn)兒分類(lèi)器五折交叉驗(yàn)證訓(xùn)練曲線A：無(wú)ROP圖像分類(lèi)的AUC得分；B：ROP 1期圖像分類(lèi)的AUC得分；C：ROP 2期圖像分類(lèi)的AUC得分；D：ROP 3期圖像分類(lèi)的AUC得分Figure 3.Training curve for the classifier's five-fold cross-validationA: AUC score for non-ROP;B: AUC score for stage 1;C: AUC score for stage 2;D: AUC score for stage 3.AUC,area under curve;ROP,retinopathy of prematurity.

分類(lèi)器對(duì)4個(gè)類(lèi)別2 465幅圖中的2 377幅圖像進(jìn)行了正確的診斷（平均正確率98%）。在診斷無(wú)ROP圖像時(shí)，其敏感度和特異性達(dá)到了0.975 7 和0.975 6；對(duì)ROP 1～3期圖像的診斷，敏感度分別為0.922 1、0.933 1和0.910 2，特異性則分別為0.983 7、0.988 6和0.992 8。通過(guò)混淆矩陣，系統(tǒng)對(duì)ROP 1～3期的診斷，與臨床醫(yī)師診斷結(jié)果的Kappa一致性為0.905 9。

3 討論

本研究使用2個(gè)Retina U-Net分別分割出早產(chǎn)兒眼底圖像的視網(wǎng)膜血管和分界線或嵴，并從ROI分割圖中提取特征，訓(xùn)練分類(lèi)器，對(duì)ROP 1～3期病變進(jìn)行自動(dòng)診斷。臨床工作中對(duì)ROP 1～3期病變的診斷，可以讓臨床醫(yī)師在該疾病的治療窗內(nèi)給出及時(shí)的治療及隨訪建議[3]，以避免其發(fā)展至產(chǎn)生視網(wǎng)膜脫離的4～5期病變。同時(shí)，根據(jù)指南[3]中視網(wǎng)膜分界線或嵴的有無(wú)以及病灶附近區(qū)域的新生血管增生情況，可以區(qū)分ROP 1～3期病變分期，這適合使用DCNN分割區(qū)域，提取特征進(jìn)行自動(dòng)診斷。在類(lèi)似的研究中，Hu等[15]使用Inception模型作為分類(lèi)器，從視網(wǎng)膜圖像中直接提取特征來(lái)對(duì)ROP病變分期進(jìn)行診斷。本研究使用Dense Net作為分類(lèi)器，從ROI分割圖中提取特征。Dense Net是一個(gè)優(yōu)秀的分類(lèi)網(wǎng)絡(luò)，對(duì)于每一層，其輸入的特征是之前所有的層，而它自己的特征圖作為之后所有層的輸入，具有緩解梯度消失問(wèn)題、加強(qiáng)特征傳播、鼓勵(lì)特征復(fù)用以及極大減少了參數(shù)量等優(yōu)點(diǎn)。Hu等[15]在正常和ROP圖像的二元分類(lèi)中，獲得了97%的正確率，在1～2期和3～4期之間達(dá)到了84%的正確率。本研究在早產(chǎn)兒視網(wǎng)膜圖像的診斷中獲得了98%的平均正確率。由于使用數(shù)據(jù)集不一樣，我們無(wú)法簡(jiǎn)單地對(duì)性能指標(biāo)進(jìn)行比較。

本研究使用視網(wǎng)膜血管以及分界線或嵴的ROI分割圖訓(xùn)練系統(tǒng)，其優(yōu)勢(shì)在于ROI區(qū)域尺寸（像素）更小，可以在處理視網(wǎng)膜圖像的過(guò)程中，增大每批次處理的圖像數(shù)量（Batch_size=32，每批次處理32副圖）。而使用整幅分割圖（1 600像素×1 200像素，Batch_size=8，每批次處理8幅圖）。因此，在大批量處理視網(wǎng)膜圖像的時(shí)候，對(duì)ROI區(qū)域分割圖進(jìn)行診斷，效率明顯高于使用整幅分割圖，這對(duì)于遠(yuǎn)程診療的實(shí)現(xiàn)尤為重要[20]。我們從更小尺寸的ROI區(qū)域分割圖中提取病變特征并訓(xùn)練分類(lèi)器，也獲得了較高準(zhǔn)確率的診斷結(jié)果。這說(shuō)明從ROI中提取的特征，對(duì)于ROP 1～3期病變分期有鑒別作用。通過(guò)ROI突出DCNN的學(xué)習(xí)范圍，這可能有助于增強(qiáng)DCNN結(jié)果的“可解釋性”。

本研究也存在一定的局限性：僅選擇了嘉興市婦幼保健醫(yī)院眼科在2019年1月至2020年12月采集的早產(chǎn)兒眼底圖像，這不利于模型的泛化性。因此，與更多地區(qū)更多醫(yī)院進(jìn)行合作，整合多醫(yī)院數(shù)據(jù)，建立更大、更廣泛的ROP眼底圖像數(shù)據(jù)集，提升算法性能是今后努力的方向。

本研究利用DCNN對(duì)ROP診斷分期中1～3期病變進(jìn)行自動(dòng)分類(lèi)診斷，并取得了較高的準(zhǔn)確性。有望為臨床醫(yī)師的ROP篩查診療工作提供輔助，同時(shí)提高臨床診斷的速度及精確率。

利益沖突申明本研究無(wú)任何利益沖突

作者貢獻(xiàn)聲明劉佳：收集數(shù)據(jù)；參與選題、設(shè)計(jì)及資料分析和解釋；撰寫(xiě)論文；根據(jù)編輯部的修改意見(jiàn)進(jìn)行修改。濮清嵐：參與選題、設(shè)計(jì)和資料分析和解釋。李鵬：參與研究的設(shè)計(jì)及程序?qū)崿F(xiàn)，根據(jù)編輯部的修改意見(jiàn)進(jìn)行論文修改。周巧云、許維馨、李勇：參與了選題、設(shè)計(jì)和臨床數(shù)據(jù)的收集