何佳豪, 張浩林, 朱珂盈, 黃 坤, 陳 強(qiáng)

(南京理工大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院, 南京 210094)

脈絡(luò)膜是位于視網(wǎng)膜和鞏膜之間的一層薄膜, 它不僅是外層視網(wǎng)膜的供給源,還兼具溫度調(diào)節(jié)、視網(wǎng)膜位置調(diào)整、分泌生長(zhǎng)因子等功能, 是眼睛結(jié)構(gòu)中血管最豐富的組織層[1]．脈絡(luò)膜也與眾多病癥息息相關(guān),如糖尿病視網(wǎng)膜病變(diabetic retinopathy, DR)、糖尿病黃斑水腫(diabetic macular edema, DME)[2]、老年性黃斑變性(age-related macular degeneration, AMD)[3]等．此外, 它分泌的生長(zhǎng)因子還有益于矯正近視與遠(yuǎn)視[4]．基于脈絡(luò)膜在眼科病理學(xué)上診斷和治療的重要性, 對(duì)脈絡(luò)膜進(jìn)行分析研究十分必要．光學(xué)相干斷層掃描技術(shù)(optical coherence tomography, OCT)能捕獲精細(xì)的脈絡(luò)膜截面圖像[5], 為脈絡(luò)膜血管形態(tài)、分布等提供可視化分析．然而, 在OCT圖像上人工標(biāo)注脈絡(luò)膜相關(guān)參數(shù)耗時(shí)耗力, 且重復(fù)性較低, 因此引入了自動(dòng)分割技術(shù)．

傳統(tǒng)的醫(yī)學(xué)圖像分割工作對(duì)技術(shù)人員的知識(shí)儲(chǔ)備以及圖像處理、參數(shù)調(diào)整等環(huán)節(jié)都有很高的要求[6]．如Duan等[7]應(yīng)用多尺度自適應(yīng)閾值法進(jìn)行脈絡(luò)膜血管的分割; Zhang等[8]提出使用三維管狀模型檢測(cè)血管,并結(jié)合多尺度濾波和閾值處理來(lái)細(xì)化脈絡(luò)膜血管分割結(jié)果的邊界．這類方法為定性觀察結(jié)果提供了便利,但在定量評(píng)估相關(guān)數(shù)據(jù)方面仍有缺陷, 且以上方法使用的是低級(jí)語(yǔ)義特征, 對(duì)于相互遮擋的對(duì)象(如血管互相緊靠的脈絡(luò)膜)效果不佳．

早期的語(yǔ)義分割算法利用低級(jí)特征來(lái)定位對(duì)象邊界[9], 性能普遍較差．深度學(xué)習(xí)的語(yǔ)義分割算法使用高級(jí)語(yǔ)義完成分割任務(wù)．全卷積網(wǎng)絡(luò)(fully convolutional network, FCN)和U-Net是自動(dòng)醫(yī)學(xué)圖像分析任務(wù)中常用的2種體系結(jié)構(gòu)[10]．U-Net基于編碼器-解碼器(encoder-decoder)框架, 左側(cè)的編碼器通過(guò)5個(gè)最大池化層, 逐層下采樣, 進(jìn)行多尺度的原始圖像特征提取; 右側(cè)的反卷積實(shí)現(xiàn)上采樣, 完成目標(biāo)對(duì)象定位, 性能出色．但在傳統(tǒng)的U-Net中, 為避免解碼時(shí)丟失大量的空間細(xì)節(jié)信息而使用了跳躍連接的方法, 導(dǎo)致在提取低級(jí)語(yǔ)義特征時(shí)產(chǎn)生較多冗余信息, 有待改進(jìn)．

脈絡(luò)膜OCT圖像數(shù)據(jù)包含脈絡(luò)膜血管、脈絡(luò)膜上下邊界等區(qū)域及視網(wǎng)膜信息等．其血管形狀大小不同, 一些微小血管特征在提取過(guò)程中常被忽略, 而視網(wǎng)膜區(qū)域的血管灰度值和形狀特征與之相似,也可能出現(xiàn)誤判．注意力機(jī)制[10]與深度學(xué)習(xí)的結(jié)合是提高分割準(zhǔn)確率的有效方法．注意力機(jī)制可在特征提取過(guò)程中自動(dòng)學(xué)習(xí), 著重關(guān)注提取范圍內(nèi)的特征, 消除區(qū)域外的異常標(biāo)注情況, 同時(shí)提高細(xì)小血管的特征提取準(zhǔn)確性．

本文在U-Net網(wǎng)絡(luò)的基礎(chǔ)上引入了結(jié)合空間注意力與通道注意力的卷積注意力模塊, 使改進(jìn)的CMSA-Unet(choroid morphology stretch ATT-Unet)模型定位于脈絡(luò)膜血管區(qū)域,在保證分類準(zhǔn)確度、最小化計(jì)算量的同時(shí)提高了定位精度．此外,對(duì)于脈絡(luò)膜血管分割任務(wù), 往往難以獲得大量有效訓(xùn)練數(shù)據(jù),這給分割任務(wù)帶來(lái)了挑戰(zhàn)．對(duì)此,本文提出了有效的數(shù)據(jù)增強(qiáng)與數(shù)據(jù)增廣策略, 可為相關(guān)分析研究提供參考．

1 實(shí)驗(yàn)方法

本文提出的CMSA-Unet網(wǎng)絡(luò)流程如圖1所示．原始OCT圖像先后經(jīng)數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)增廣模塊和網(wǎng)絡(luò)模塊框架, 最后得到對(duì)應(yīng)的脈絡(luò)膜血管分割結(jié)果．

圖1 CMSA-Unet網(wǎng)絡(luò)結(jié)構(gòu)和數(shù)據(jù)增廣模塊Fig.1 CMSA-Unet network structure and data augmentation module

1.1 數(shù)據(jù)預(yù)處理

為提升訓(xùn)練效果,本文對(duì)訓(xùn)練集進(jìn)行數(shù)據(jù)預(yù)處理,即對(duì)大小為640×400的原圖像進(jìn)行隨機(jī)裁剪, 得到大小為400×400的切片, 以提升脈絡(luò)膜區(qū)域在圖像中分布的隨機(jī)性．

1.2 數(shù)據(jù)增廣

1) 基礎(chǔ)增廣．在訓(xùn)練過(guò)程中, 由于數(shù)據(jù)集上右側(cè)脈絡(luò)膜曲率過(guò)大,往往產(chǎn)生血管遺漏的問題, 故對(duì)訓(xùn)練集OCT圖像使用隨機(jī)旋轉(zhuǎn)、左右翻轉(zhuǎn)等方法進(jìn)行基礎(chǔ)增廣, 得到400×7×2幅圖像作為訓(xùn)練集．

2) 脈絡(luò)膜形態(tài)增廣．脈絡(luò)膜形態(tài)包含脈絡(luò)膜的形狀、上下邊界曲率及厚度等．脈絡(luò)膜OCT數(shù)據(jù)集雖然在相同數(shù)據(jù)塊內(nèi)具有相近的脈絡(luò)膜形態(tài), 但在不同的數(shù)據(jù)塊間存在各式各樣的脈絡(luò)膜形態(tài), 這可能導(dǎo)致形態(tài)有差異的血管無(wú)法獲得較好的分割結(jié)果, 故通過(guò)調(diào)整脈絡(luò)膜區(qū)域的形態(tài),將不同的血管特征與脈絡(luò)膜形態(tài)特征進(jìn)行組合以增大特征空間,使模型學(xué)習(xí)到更多形態(tài)的血管特征,提升分割效果．本文提出脈絡(luò)膜形態(tài)拉伸(choroid morphology stretch, CMS)的增廣方法．先沿著脈絡(luò)膜邊界拉伸整幅圖像,然后從中央裁剪．圖2為經(jīng)過(guò)CMS增廣的脈絡(luò)膜圖像. 脈絡(luò)膜形態(tài)增廣基于有限的數(shù)據(jù)生成了更多的訓(xùn)練數(shù)據(jù), 提高了訓(xùn)練數(shù)據(jù)在形態(tài)特征上的豐富度．

圖2 經(jīng)過(guò)不同程度拉伸的CMS增廣脈絡(luò)膜形態(tài)Fig.2 CMS widen choroidal morphology after varying degrees of stretching

1.3 卷積塊注意模塊

卷積塊注意模塊(convolutional block attention module, CBAM)[11]被廣泛應(yīng)用于提高卷積神經(jīng)網(wǎng)絡(luò)的表示能力．CBMA包括通道注意力模塊(channel attention module, CAM)和空間注意力模塊(spatial attention module, SAM)．在通道注意力模塊中, 輸入特征圖F經(jīng)過(guò)全局最大池化和全局平均池化,比單一的池化層損失的信息更少．然后特征圖進(jìn)入有一個(gè)隱藏層的共享多層感知器(multilayer perceptron, MLP), 將輸出的特征進(jìn)行基于矩陣元素的加和操作及sigmoid激活, 形成通道注意力特征Mc．將Mc和F做矩陣元素乘法操作, 得到空間注意模塊的輸入特征F′, 再沿信道軸應(yīng)用平均池化和最大池化, 并進(jìn)行通道拼接．隨后用一個(gè)7×7的卷積層降維, 再利用sigmoid生成空間注意特征圖Ms．最后將Ms和F′相乘, 得到最終特征．

1.4 損失函數(shù)

在整個(gè)OCT圖像中,脈絡(luò)膜區(qū)域的占比相對(duì)較小,大面積的無(wú)關(guān)背景可能對(duì)分割過(guò)程造成影響,使損失函數(shù)陷入極小值,將正樣本誤判為負(fù)樣本．為解決醫(yī)學(xué)圖像分割樣本分布不平衡,導(dǎo)致預(yù)測(cè)結(jié)果出現(xiàn)較大偏差的問題,本文采用損失函數(shù)Loss=DL+BL進(jìn)行優(yōu)化, 其中DL為Dice損失函數(shù), BL為BCE損失函數(shù)(binary cross-entropy loss).

Dice相似系數(shù)[12]D是醫(yī)學(xué)圖像分割中常用的評(píng)價(jià)指標(biāo), 用于計(jì)算兩個(gè)樣本的相似度．其計(jì)算方式為D=2×(P∩T)/(P∪T), 其中P和T分別為預(yù)測(cè)的和真實(shí)的脈絡(luò)膜血管區(qū)域．Dice損失函數(shù)DL=1-D．

BCE損失函數(shù)可解決均方誤差(mean-squared error, MSE)中梯度消失的問題, 是圖像分割任務(wù)的常用評(píng)價(jià)指標(biāo)之一．BCE損失函數(shù)BL=-∑[yilnσ(xi)+(1-yi)ln(1-σ(xi))], 式中σ(·)為ReLU激活函數(shù),xi為i像素的實(shí)際結(jié)果,yi為i像素的預(yù)測(cè)結(jié)果, 結(jié)果中1代表該像素為脈絡(luò)膜血管區(qū)域, 0代表該像素為非血管區(qū)域．

2 實(shí)驗(yàn)結(jié)果與分析

2.1 數(shù)據(jù)集

本文采用的OCT/OCTA(optical coherence tomography/optical coherence tomography angiography)數(shù)據(jù)集來(lái)自70 kHz頻譜域OCT系統(tǒng)(RTVue-XR, Optovue, 美國(guó)), 中心波長(zhǎng)840 nm．共10個(gè)數(shù)據(jù)塊, 均為3 mm×3 mm視場(chǎng)．每個(gè)數(shù)據(jù)塊中包含400幀OCT圖像,可組成一個(gè)完整的脈絡(luò)膜血管結(jié)構(gòu)．在醫(yī)生指導(dǎo)下, 對(duì)逐幀圖像進(jìn)行像素級(jí)的手工分割標(biāo)注．本文將數(shù)據(jù)集按7∶3比例分為訓(xùn)練集和測(cè)試集．

2.2 實(shí)驗(yàn)設(shè)置

2.3 評(píng)價(jià)指標(biāo)

2.4 消融實(shí)驗(yàn)

采用消融實(shí)驗(yàn)對(duì)不同脈絡(luò)膜分割模型的效果進(jìn)行評(píng)估, 在U-Net網(wǎng)絡(luò)基礎(chǔ)上分別增加基礎(chǔ)增廣(Argu)、脈絡(luò)膜形態(tài)增廣(CMS)和CBAM模塊, 與本文CMSA-Unet網(wǎng)絡(luò)(即U-Net+Argu+CMS+CBAM)進(jìn)行效果對(duì)比,結(jié)果見表1．表1顯示, 相較于基礎(chǔ)增廣, U-Net+CMS網(wǎng)絡(luò)在IoU、F1分?jǐn)?shù)、靈敏度上均有明顯提升, 說(shuō)明CMS增廣能夠增強(qiáng)數(shù)據(jù)集的脈絡(luò)膜形態(tài)特征, 從而提升模型的泛化能力．U-Net+CBAM模型的上述指標(biāo)相較基線網(wǎng)絡(luò)也有較大提升, 這是因?yàn)榭臻g注意力和通道注意力機(jī)制使模型更關(guān)注空間重點(diǎn)特征和重要通道．CMSA-Unet模型除特異度外, 其他指標(biāo)均有明顯優(yōu)勢(shì), IoU指標(biāo)相比基線網(wǎng)絡(luò)提高了2.9%, 說(shuō)明注意力模塊和CMS增廣提升了模型的泛化能力．

表1 消融實(shí)驗(yàn)結(jié)果

圖3是OCT、人工標(biāo)注及消融實(shí)驗(yàn)中各網(wǎng)絡(luò)的分割結(jié)果對(duì)比圖．由圖3可見, 在U-Net模型中有標(biāo)注結(jié)果出現(xiàn)在脈絡(luò)膜區(qū)域外的情況, 且大血管中部有空洞的現(xiàn)象, U-Net+CMS模型避免了該問題, 減少了模型過(guò)擬合的情況, 增強(qiáng)了模型的泛化能力．在CMSA-Unet模型中, CBAM模塊以及CMS增廣共同提升了模型刻畫細(xì)節(jié)的能力, 血管的分割更加自然, 使模型具有更高的應(yīng)用價(jià)值．

注: 白色代表脈絡(luò)膜血管標(biāo)注區(qū)域; 上中下圖分別為不同數(shù)據(jù)塊的分割結(jié)果.圖3 消融實(shí)驗(yàn)中的脈絡(luò)膜血管分割結(jié)果Fig.3 Results of choroidal vascular segmentation in ablation experiments

2.5 比較實(shí)驗(yàn)

為比較本文模型對(duì)脈絡(luò)膜血管的分割能力與有效性, 將CMSA-Unet模型與UNeXt、U-Net、AttU-Net等深度學(xué)習(xí)方法模型在相同環(huán)境和數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)比較, 結(jié)果見表2．表2結(jié)果顯示,

表2 對(duì)比實(shí)驗(yàn)結(jié)果

CMSA-Unet模型的IoU、F1分?jǐn)?shù)、靈敏度各項(xiàng)指標(biāo)相較于其他模型均有更好的表現(xiàn), 在脈絡(luò)膜OCT圖像的有效分割方面整體性能優(yōu)于其他方法．