周 濤 葉鑫宇 陸惠玲 常曉玉 劉赟璨

肺是人體氣體交換必不可缺的器官,但肺部疾病對人體健康造成嚴重威脅,常見的肺炎因其病因錯綜復雜,并且難以在早期進行精準檢測,導致全球每年約有7%的人口受到肺炎影響[1].胸腔X光片由于成本較低、易于獲取[2]等原因,成為全球肺炎檢測常用的方式之一.

X光片中肺炎與多余液體等其它肺部異常具有相似的不透明度,肺炎X光片計算機診斷技術(shù)并不發(fā)達,導致目前診斷還主要依賴醫(yī)師,不僅增大醫(yī)師的工作量,而且使肺炎檢測水平很大程度上依賴醫(yī)師的診斷水平,診斷結(jié)果的可靠性也面臨巨大挑戰(zhàn).顯然,更精準的計算機診斷肺炎模型可以減少醫(yī)生工作量和提高診斷的可靠性.

深度學習方法可以提取X光片中復雜而豐富的特征,確保有效的識別結(jié)果.隨著最大的胸腔X光片數(shù)據(jù)集ChestX-ray14[2]被不斷深入研究,學者們不斷提出眾多高性能的針對肺炎識別的深度學習方法,用于減少醫(yī)生工作量.Sharma等[3]使用VGG16,在6 436幅X光片中識別肺炎,獲得95.4%的準確率.Bhandary等[4]采用支持向量機改進AlexNet,檢測X光片和CT中的肺炎.Banerjee等[5]在肺炎X光片上使用MobileNet進行計算機輔助診斷,獲得優(yōu)于傳統(tǒng)機器學習模型的性能.Afshar等[6]結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)和膠囊層,提出COVID-CAPS,捕獲肺炎X光片中疾病細節(jié),實時診斷肺炎.Liu等[7]提出多分支融合輔助學習方法,在肺炎X光片中獲得96.80%的準確率.

DenseNet(Dense Convolutional Network)[8]是深度學習的一個重要模型,在肺炎分類識別上具有廣泛應(yīng)用.Hammoudi等[9]在肺炎X光片數(shù)據(jù)集上訓練深度學習模型,DenseNet169獲得最優(yōu)性能.Qin等[10]利用兩個平行的三維密集網(wǎng)絡(luò)提取不同模態(tài)的細粒度特征,通過擠壓激勵(Squeeze-and-Excita-tion, SE)和空間注意門控對特征進行增強并聚集.

目前,在肺炎識別分類任務(wù)上,研究人員嘗試結(jié)合DenseNet與其它技術(shù).Chen等[11]并行多個密集塊,使用SE對特征圖通道進行重新校準,保證多個塊訓練穩(wěn)定性的同時提高分類精度.Zhang等[12]通過注意力機制將密集塊內(nèi)全部層加權(quán)后進行連接,提取更緊湊和重要的特征用于分類.Park等[13]利用DenseNet提取肺炎X光片中的特征,將特征嵌入Transformer模型,最終在肺炎診斷任務(wù)中獲得較優(yōu)性能.Ukwuoma等[14]融合DenseNet和Transformer,提出Hybrid Model,實現(xiàn)混合工作流,提取X光片特征并集成,在肺炎識別任務(wù)上獲得99.21%準確率.

近年來,注意力機制中的自注意力Transformer取得一系列新的進展,在肺炎識別任務(wù)中應(yīng)用廣泛.Okolo等[15]提出用于肺炎X光片識別的輸入增強Transformer,獲得98.48%的精度,平均精度提升4.67%.Uparkar等[16]基于Transformer檢測X光片肺炎,隨著內(nèi)部層增加和補丁大小減少,準確率提升明顯.Peng等[17]提出Comformer,在肺炎CT數(shù)據(jù)集上分類精度較優(yōu).

自注意力在肺炎分類任務(wù)上取得優(yōu)異性能,但肺炎病灶在X光片中存在影像學特征不明顯、淺層特征包含圖像細節(jié)信息、深層特征包含圖像語義信息、現(xiàn)有模型難以獲取深淺層多分辨率特征圖中的豐富信息、難于對深淺層進行合理融合等問題.Zhao等[18]指出沒有上下文語義關(guān)系和淺層細節(jié)信息的局部特征可能導致分類錯誤.

此外,病灶與周圍組織存在對比不明顯、邊緣模糊等問題,由于部分通道并不包含肺炎特征,病灶的空間信息缺乏,在深淺層融合中也會導致病灶特征難以被捕獲,僅使用通道或空間注意力也難以消除噪聲相關(guān)的特征.

因此,本文提出基于多分辨率注意密集網(wǎng)絡(luò)(Multi-resolution Attention Dense Network, MADense-Net)的肺炎分類識別方法.首先,將包含圖像細節(jié)信息的淺層特征向網(wǎng)絡(luò)深層傳遞,實現(xiàn)淺層定位信息與深層語義信息的深度融合.然后,針對病灶與周圍組織對比不明顯、邊緣模糊等問題,設(shè)計坐標頻率注意力,以方向和位置互補的方式增強肺炎特征的表達.最后,構(gòu)造多分辨率空間注意力門,生成空間權(quán)重并進行語義式交互增強,并在多分辨率深淺層信息中建立病灶信息的相互依賴關(guān)系,在關(guān)注病灶區(qū)域的同時降低特征提取過程中的噪聲.

1 基于多分辨率注意密集網(wǎng)絡(luò)的肺炎分類識別方法

本文設(shè)計基于多分辨率注意密集網(wǎng)絡(luò)(MA-DenseNet)的肺炎分類識別方法.MADenseNet整體框架如圖1所示.將坐標頻率注意力引入DenseNet中,設(shè)計坐標頻率密集塊和坐標頻率過渡層.此外,將淺層特征圖向深層特征進行逐層傳遞,從而實現(xiàn)網(wǎng)絡(luò)輸入與密集塊的深淺層密集連接.在深淺層密集連接中構(gòu)造多分辨率空間注意力門,該門由深淺層交互式空域增強的空間注意力門和用于建立病灶遠程依賴關(guān)系的交叉注意操作構(gòu)成.

圖1 MADenseNet整體框架圖Fig.1 Overall structure of MADenseNet

1.1 深淺層密集連接

ResNet通過殘差連接擬合殘差項,對當前層與前續(xù)層特征進行相加,在實現(xiàn)網(wǎng)絡(luò)模型加深的同時提高性能.DenseNet[8]中每層向網(wǎng)絡(luò)增加特征且保持其它特征不變,以更少參數(shù)量和計算量獲得更好的收斂率和更高的性能,這是由于密集連接方式可以明確區(qū)分輸入特征和新特征,不會導致信息流被破壞,進一步緩解梯度消失和網(wǎng)絡(luò)退化問題.

但DenseNet最終決策僅利用最終密集塊特征,具有豐富定位信息的淺層特征并不能充分傳遞到最終決策層,并且采用單一下采樣容易造成信息丟失,導致難以識別影像中影像學特征不明顯的肺炎特征.為此,本文設(shè)計深淺層密集連接,在下采樣同時將網(wǎng)絡(luò)輸入特征與密集塊特征進行密集連接,對不同分辨率的深層語義信息與淺層定位信息進行深度融合,獲取多分辨率特征圖中的豐富信息,并防止丟失一些圖像的細節(jié)信息,這在一定程度上彌補肺炎病灶的影像學信息不明顯的缺陷,跨層密集連接還實現(xiàn)整個網(wǎng)絡(luò)的隱式深度監(jiān)督,改善網(wǎng)絡(luò)中的信息流和梯度,在降低參數(shù)的同時避免過擬合,提高網(wǎng)絡(luò)的特征表征能力.

1.2 坐標頻率注意力

X光片中存在肺炎病灶與周圍組織對比不明顯的問題,通道注意力機制可以增強肺炎相關(guān)的特征通道,全局平均池化(Global Average Pooling, GAP)是頻域分析中一種特例的特征分解,等價于離散余弦變換(Discrete Cosine Transform, DCT)的最低頻率分量,但GAP取均值也難以表達出整個空間信息.例如:SE使用空間維度壓縮后的特征向量對特征通道進行增強,這樣會忽略同一通道上特征的空間信息.為此,本文設(shè)計坐標頻率注意力(Coordinate Frequency Attention, CFA),框架如圖2所示.DCT替代GAP,利用卷積運算在x方向空間信息中建立特征間依賴關(guān)系,同時在y方向空間中保留精確的位置信息,以空間方向和位置相互補充的方式增強感興趣目標的表達.此外,建模整個空間多頻率分量中的通道相互關(guān)系,并以殘差學習方式與兩個方向的空間多頻率分量信息進行融合,提高穩(wěn)定性和魯棒性.

圖2 CFA框架圖Fig.2 Structure of CFA

設(shè)定H、W分別為輸入特征圖U的高、寬,C為通道數(shù).DCT基本參數(shù)為:

其中,

h∈{0,1,…,(H-1)(C-1)},

i∈{0,1,…,H-1},

w∈{0,1,…,(W-1)(C-1)},

j∈{0,1,…,W-1}.

令h=w=0,DCT最低頻分量為:

GAP(U),

可以看出相比SE,DCT應(yīng)用的最低頻分量GAP(U)包含更多頻率分量信息.引入其它分量:

本文設(shè)計的DCT可以沿整個空間方向提取多頻率的通道分量信息Fc,以及沿空間的x方向與y方向分別提取多頻率的通道空間分量信息Fm與Fn,即

合并多頻率分量信息Fm和Fn,然后利用卷積運算(Conv)和分割(Split),生成2個二維特征矩陣:

Dm,Dn=Split(Relu(BN(conv(Fm?Fn)))),

其中,?為拼接,Relu(·)為激活函數(shù),BN(·)為批量歸一化.Fc通過全連接層(FC)生成,將其與2個二維特征矩陣相加,生成注意力權(quán)重:

Wm=φ(conv(Dm+fc(Relu(fc(Fc))))),

其中φ(·)為Sigmoid函數(shù).最后對兩個空間方向上生成的二維權(quán)重Wm和Wn進行加權(quán).

密集塊和過渡層中引入坐標頻率注意力,MADenseNet包含4個不同深度的坐標頻率密集塊,深度和密集單元個數(shù)相同,分別為6、12、24、16,可以自適應(yīng)地突出有價值的肺炎特征,提高網(wǎng)絡(luò)的表征能力,融合不同分辨率深淺層信息.

1.3 多分辨率空間注意力門

肺炎病灶與周圍組織間存在邊緣模糊問題,盡管采用坐標頻率注意力增強肺炎特征,可以更好地識別病灶類別,但部分空間信息保留只能關(guān)注到整個通道的類別,難以充分學習病灶的空間信息,從而導致網(wǎng)絡(luò)分類決策受到潛在背景和噪聲的影響,這種現(xiàn)象更容易在淺層定位信息與深層語義信息融合中發(fā)生.

此外,深淺層特征直接融合網(wǎng)絡(luò)難以精準關(guān)注病灶區(qū)域,需要同時關(guān)注肺炎的類別信息和空間位置信息.

為此,本文在多分辨率深淺層信息中,構(gòu)造由空間注意力門和交叉注意操作組成的多分辨率空間注意力門,充分利用深淺層特征提升網(wǎng)絡(luò)學習肺炎特征的能力.其中空間注意力門對不同分辨率的淺層特征和深層特征進行融合,利用包含空間位置信息的淺層和包含上下文信息的深層生成空間權(quán)重,進行語義式交互增強.空間注意力門結(jié)構(gòu)如圖3所示.

圖3 空間注意力門結(jié)構(gòu)圖Fig.3 Structure of spatial attention gate

此外,設(shè)計如圖4所示的交叉注意操作,進一步交叉相乘,在語義式交互增強的深淺層特征中,建立病灶信息的相互依賴關(guān)系.

圖4 交叉注意操作流程圖Fig.4 Flowchart of cross attention operation

首先在淺層特征圖、深層特征圖和融合后特征圖中分別利用1×1卷積生成3個矩陣Q、K、V.然后利用K乘Q和KT乘Q,以K·Q+KT·Q的相加方式進行疊加,可以表示淺層特征和深層特征之間的相關(guān)程度.最后使用Sigmoid函數(shù)(φ(·))生成空間注意權(quán)重,對V加權(quán)并使用殘差學習,獲得交叉注意操作最終輸出:

US2=φ(K·Q+KT·Q)·V+US1.

MADenseNet有4個多分辨率空間注意力門,深淺層特征圖通道數(shù)分別為128、256、512、512,對深淺層特征進行語義式交互增強,建立病灶信息的相互依賴關(guān)系,使網(wǎng)絡(luò)精準關(guān)注病灶區(qū)域,并減少特征提取中的噪聲.

2 實驗及結(jié)果分析

2.1 實驗數(shù)據(jù)集和評價指標

實驗采用如下4個數(shù)據(jù)集.1)廣州市婦幼保健中心的肺炎X光片ChestXRay2017[19],共1 583幅正常圖像和4 273幅肺炎圖像.2)文獻[20]的肺炎相關(guān)X光片數(shù)據(jù)集,共234幅正常圖像和221幅新冠肺炎圖像.3)文獻[21]的肺炎相關(guān)X光片數(shù)據(jù)集,共8 552幅正常圖像、5 674幅肺炎圖像和7 598幅新冠肺炎陰性圖像.4)文獻[22]的肺炎相關(guān)X光片數(shù)據(jù)集,共6 845幅正常圖像、10 192幅肺炎圖像和7 660幅新冠肺炎圖像.此外,本文合并1)、3)、4)數(shù)據(jù)集上正常圖像和肺炎圖像,使用較大的樣本量進行進一步研究和可視化對比.

實驗環(huán)境為Windows Server 2019系統(tǒng),256 GB內(nèi)存,搭載2塊3 GHz的36核處理器,并采用2塊泰坦第V代顯卡,基于GPU的Pytorch框架搭建網(wǎng)絡(luò),使用隨機梯度下降(Stochastic Gradient Descent, SGD)優(yōu)化器進行優(yōu)化,采用0.01的初始學習率和每10個周期0.9的衰減策略,設(shè)置權(quán)重衰減值為1e-4,訓練周期為250,訓練批處理大小為48.

根據(jù)模型預測結(jié)果分類錯誤個數(shù)和正確個數(shù),得到真正類(True Positive, TP)、假正類(False Positive, FP)、假負類(False Negative, FN)、真負類(True Negative, TN).準確率(Accuracy)為全部類預測正確的比例,精確率(Precision)為正類且模型預測正確占所有正類的比例,召回率(Recall)為模型預測的正類占所有正類的比例,F1分數(shù)如下:

ROC(Receiver Operating Characteristic)曲線是以敏感度即真正類率(True Positive Rate, TPR)為縱軸、假正類率(False Positive Rate, FPR)為橫軸進行繪制.將ROC曲線下面積定義為AUC(Area Under Curve),越靠近左上角AUC值越大,表示模型的排序和分類性能越優(yōu).評價指標均是值越大表示模型越優(yōu).TPR值等于召回率,FPR和TNR(True Negative Rate)定義如下:

2.2 注意力對比實驗

為了評估坐標頻率注意力的有效性,在深淺層密集連接的基礎(chǔ)上,與4種通道注意力機制進行對比,結(jié)果如表1所示.

表1 各注意力機制的指標值對比結(jié)果Table 1 Index comparison of different attentions

從表1可以看出,高效通道注意力使用一維卷積替換擠壓激勵注意力中的全連接層,參數(shù)量增加最少,但在肺炎識別上表現(xiàn)略差.坐標注意力獲得更高的性能提升,在高效通道注意力基礎(chǔ)上沿兩個空間方向聚合特征,可以較好地保留部分空間信息.相比深淺層密集連接,高斯上下文自注意力的準確率和AUC值分別提升1.43%和2.53%,在Transfor-mer基礎(chǔ)上利用高斯方程計算注意權(quán)重,學習上下文特征間的相互依賴關(guān)系,AUC值提升明顯,具有較優(yōu)的肺炎識別能力.相比深淺層密集連接,坐標頻率注意力的準確率和AUC值分別提升2.17%和3.49%,對深淺層特征提取空間x、y方向和通道的多頻率分量信息,在空間多頻率分量信息中建立特征間依賴關(guān)系的同時保留精確的位置信息,以通道間相互關(guān)系、方向和位置互補的方式增強感興趣目標的表達,在肺炎識別中獲得最優(yōu)性能和最佳魯棒性.

2.3 消融實驗

為了評估MADenseNet結(jié)構(gòu)的有效性,進行5組選擇,基礎(chǔ)模型為DenseNet121.1)網(wǎng)絡(luò)1.縮減部分通道數(shù).2)網(wǎng)絡(luò)2.在部分通道數(shù)縮減的基礎(chǔ)上進行整個網(wǎng)絡(luò)的深淺層密集連接.3)網(wǎng)絡(luò)3.在深淺層密集連接DenseNet121中引入坐標頻率注意力.4)網(wǎng)絡(luò)4.在網(wǎng)絡(luò)3基礎(chǔ)上,對深淺層特征引入交叉注意操作.5)網(wǎng)絡(luò)5.在網(wǎng)絡(luò)4基礎(chǔ)上,在深淺層密集連接的連接處引入空間注意力門,即MADenseNet.

最終各網(wǎng)絡(luò)的消融實驗結(jié)果如表2所示,DenseNet121、網(wǎng)絡(luò)2和網(wǎng)絡(luò)5的熱力圖結(jié)果如圖5所示,紅色程度越深表示網(wǎng)絡(luò)對這個區(qū)域的關(guān)注度越高.

表2 5組實驗消融的結(jié)果Table 2 Results of 5 sets of ablation experiments

(a)原始圖像(a)Original images

(b)DenseNet121

(c)網(wǎng)絡(luò)2(c)Network 2

(d)網(wǎng)絡(luò)5(d)Network 5圖5 各網(wǎng)絡(luò)的熱力圖Fig.5 Heat maps of different networks

由表2可見,相比DenseNet121,網(wǎng)絡(luò)1的參數(shù)量下降明顯,但準確率和AUC值降低2.33%和2.71%.網(wǎng)絡(luò)2的參數(shù)量減少42.17%,訓練時間降低40.84%,而整體性能僅略微降低,表明采用深淺層密集連接可大幅提高模型效率.由圖5(c)可見,網(wǎng)絡(luò)2關(guān)注區(qū)域主要集中在胸腔內(nèi)部,較好地避免關(guān)注外部區(qū)域所導致的識別誤差,淺層定位信息與深層語義信息進行深度融合,可獲得更多圖像細節(jié)信息,進一步學習肺炎影像學特征.網(wǎng)絡(luò)3以較少參數(shù)量獲得近2%的性能提升,表明坐標頻率注意力在對比低的X光片中,能自適應(yīng)地增強包含病灶信息的通道,提高網(wǎng)絡(luò)表征能力.相比網(wǎng)絡(luò)3,網(wǎng)絡(luò)4的準確率和AUC值分別提高1.07%和1.58%,對病灶信息建立遠程依賴關(guān)系,可以較好識別肺炎.

相比網(wǎng)絡(luò)4,網(wǎng)絡(luò)5的準確率和AUC值分別提高1.58%和2.54%,空間注意力門對淺層特征與深層特征進行語義式交互增強,利用淺層細節(jié)信息和深層語義信息,可以更好地聚焦到肺炎特征.肺炎病灶特征不明顯且對比度較低,網(wǎng)絡(luò)容易關(guān)注到其它類似肺炎的特征,而提取較多的無用信息.由圖5(d)可見,網(wǎng)絡(luò)關(guān)注區(qū)域更集中,識別無錯誤,可看出更多具有區(qū)分性的特征被學習,表明語義式交互深淺層特征可以更集中和更精準地定位到病灶區(qū)域,同時降低特征提取過程中的噪聲.

相比DenseNet121,網(wǎng)絡(luò)5在準確率和AUC值上分別提高4.14%和6.57%,訓練時間降低29.02%,在性能和效率上均提升明顯.

2.4 對比實驗

本節(jié)選擇如下對比網(wǎng)絡(luò):1)CNN網(wǎng)絡(luò).VGG19[3]、ResNet101[4]、密集擠壓激勵網(wǎng)絡(luò)(Dense Squeeze-and-Excitation Network, DSENet)[23]、REG-NETX-3.2GF[24]、ConvNeXt-B[25].2)Transformer網(wǎng)絡(luò).Swin Transformer-B[26]、PoolFormer-B[27].3)CNN結(jié)合Transformer網(wǎng)絡(luò).Conformer-B[17]、Next-Vit-B[28].在ChextXRay2017數(shù)據(jù)集上,各網(wǎng)絡(luò)的具體分類結(jié)果如表3所示.

表3 各網(wǎng)絡(luò)在ChestXRay2017數(shù)據(jù)集上的對比結(jié)果Table 3 Result comparison of different networks on ChestXRay2017 dataset

由表3可知,ResNet101通過殘差連接重構(gòu)學習過程和重定向網(wǎng)絡(luò)信息流,相比VGG19,性能和效率得到提升.基于架構(gòu)搜索的REGNETX-3.2GF以較少參數(shù)量獲得更優(yōu)性能.DSENet利用SE和非對稱卷積改進DenseNet121,性能獲得明顯提升.相比ResNet101,ConvNeXt-B使用較大的7×7卷積核,準確率和AUC值分別提升2.55%和3.51%.相比5個CNN網(wǎng)絡(luò),MADenseNet以較高計算效率獲得明顯的性能提升.

Swin Transformer-B獲得與REGNETX-3.2GF相近的肺炎識別性能.相比Swin Transformer-B,Pool-Former-B采用更通用的模型結(jié)構(gòu),準確率和AUC值分別提升1.24%和1.06%.相比這2個Transformer模型,MADenseNet采用近10%參數(shù)量獲得較大的性能提升.Conformer-B采用雙分支并行,以交互方式融合局部特征和全局特征,以較大的模型參數(shù)量獲得較高的肺炎識別能力.工業(yè)部署場景中設(shè)計的CNN-Transformer混合架構(gòu)Next-Vit-B,以Confor-mer-B近1/3參數(shù)量獲得小幅性能提升.相比Next-Vit-B,MADenseNet的參數(shù)量和AUC值分別提升1.05%和1.54%.

MADenseNet可以提取更多的有效特征,具有最高識別率和最好特征表征能力,對X光片肺炎樣本的識別能力最優(yōu).

各網(wǎng)絡(luò)的ROC曲線如圖6所示.由圖可見,MADenseNet具有明顯的優(yōu)勢和魯棒性.

圖6 各網(wǎng)絡(luò)在ChestXRay2017數(shù)據(jù)集上的ROC曲線Fig.6 ROC curves of different networks on ChestXRay2017 dataset

各網(wǎng)絡(luò)的PR曲線如圖7所示,圖中準確率越高,召回率越低,越向上方凸出、包圍面積就越大,表示網(wǎng)絡(luò)效果越優(yōu).由圖可看出,MADenseNet性能明顯最優(yōu),能更好地識別肺炎.

圖7 各網(wǎng)絡(luò)在ChestXRay2017數(shù)據(jù)集上的PR曲線Fig.7 PR curves of different networks on ChestXRay2017 dataset

2.5 可視化實驗對比

在2.1節(jié)描述的合并數(shù)據(jù)集上,將MADenseNet與性能較優(yōu)的ConvNeXt、PoolFormer和Next-Vit進行對比,并對比X光片上融合DenseNet和Trans-former的混合模型Hybrid Model[14].各網(wǎng)絡(luò)的具體分類結(jié)果如表4所示,PR曲線如圖8所示.選擇8例肺炎較難識別的患者,各網(wǎng)絡(luò)生成的熱力圖和分類錯誤結(jié)果對比如圖9所示.

表4 各網(wǎng)絡(luò)在合并數(shù)據(jù)集上的結(jié)果對比Table 4 Result comparison of different networks on merged dataset

圖8 各網(wǎng)絡(luò)在合并數(shù)據(jù)集上的PR曲線Fig.8 PR curves of different networks on merged dataset

(a)ConvNet

(b)PoolFormer

(c)Hybrid model

(d)MADenseNet圖9 各網(wǎng)絡(luò)在8例圖像上的熱力圖Fig.9 Heat maps of different networks for 8 example images

由表4、圖8和圖9可以看出,MADenseNet計算效率和識別性能最佳.

從圖9可看出,ConvNeXt在圖像II、III、IV、VI、VII上判錯,PoolFormer在圖像I、II、V、VI上判錯.Hybrid在圖像IV、VII上判錯,MADenseNet在圖像VII上判錯.相比PoolFormer,ConvNeXt關(guān)注區(qū)域相對更大,雖然關(guān)注區(qū)域形狀更貼合胸腔輪廓,但難以捕獲可區(qū)分特征,說明識別區(qū)域大但識別能力不足.PoolFormer識別肺炎相關(guān)特征和背景的能力不強,會出現(xiàn)關(guān)注到胸腔外部的情況(見圖像I),且關(guān)注區(qū)域較易出現(xiàn)規(guī)則的矩形形狀(見圖像V、VI).Hybrid Model利用全局信息和局部信息學習更豐富特征,總體識別準確率更高,網(wǎng)絡(luò)也能更好地關(guān)注胸腔區(qū)域,但還是會出現(xiàn)關(guān)注無病灶區(qū)域和肺炎病灶難以識別(見圖像IV)的問題.MADenseNet在多分辨率深淺層信息中建立病灶信息的相互依賴關(guān)系,具有最佳的肺炎識別能力.

2.6 魯棒性分析

為了驗證MADenseNet的魯棒性和泛化能力,在2.1描述的第2個、第3個和第4個公開的肺炎相關(guān)X光片數(shù)據(jù)集上進行對比實驗,選擇如下對比網(wǎng)絡(luò):VGG19[3]、COVID-CAPS[6]、Crawling+GSEN(Gray-Scale Spatial Exploitation Net)[20]、ViT-B32[21]、DenseNet and DLMNN(Deep Learning Modified Neural Network)[22]、E-DiCoNet[29]、CoroNet[30].

各網(wǎng)絡(luò)在3個公開數(shù)據(jù)集上的對比結(jié)果如表4～表6所示.由表可見,MADenseNet均取得較優(yōu)性能.

表5 各網(wǎng)絡(luò)在第1個公開數(shù)據(jù)集上的對比結(jié)果Table 5 Result comparison of different networks on public dataset 1)

表6 各網(wǎng)絡(luò)在第2個公開數(shù)據(jù)集上的對比結(jié)果Table 6 Result comparison of different networks on public dataset 2)

表7 各網(wǎng)絡(luò)在第3個公開數(shù)據(jù)集上的對比結(jié)果Table 7 Result comparison of different networks on public dataset 3)

3 結(jié) 束 語

本文提出基于多分辨率注意密集網(wǎng)絡(luò)(MA-DenseNet)的肺炎分類識別方法,密集連接融合深層與淺層多分辨率特征,以方向和位置互補的方式融合通道間相互關(guān)系,并建立肺炎病灶的相互依賴關(guān)系.在5個肺炎數(shù)據(jù)集上進行對比和消融實驗,MADenseNet在各項評估指標上達到較優(yōu)性能,以較高效率獲得99.15%準確率和98.82%AUC值,能較好地識別肺炎疾病,在肺炎的診斷評估中具有很大潛力,為醫(yī)生的輔助診斷、術(shù)前術(shù)后檢查工作提供有效幫助.

消融實驗結(jié)果表明淺層特征的引入有助于提升方法的識別性能,但是目前的研究只是在網(wǎng)絡(luò)中間特征圖之間進行交互,原始圖像在數(shù)據(jù)預處理中進行的尺寸壓縮可能會丟失關(guān)鍵信息,尤其是高分辨率醫(yī)學圖像中像素數(shù)還較少的病灶信息.因此,在未來的工作中,考慮使用基于數(shù)據(jù)特性設(shè)計恰當?shù)纳顪\層注意力機制,并兼顧局部和全局交互式學習,設(shè)計滿足醫(yī)學高精度識別和低誤診率要求的模型.此外,還可考慮使用訓練可視化對比實驗中的模型熱力圖,指導后續(xù)批次的數(shù)據(jù)預處理,盡可能高效和魯棒地學習原始圖中更清晰的病灶特征.