謝娟英，夏 琴

(陜西師范大學(xué) 計(jì)算機(jī)科學(xué)學(xué)院，西安 710119)

2019年底至今，新型冠狀病毒肺炎(簡稱新冠肺炎)在全球蔓延[1]，嚴(yán)重威脅人類健康。新型冠狀病毒是嚴(yán)重急性呼吸系統(tǒng)綜合征冠狀病毒2型(severe acute respiratory syndrome coronavirus 2,SARS-CoV-2)[2]，通過呼吸道傳播，導(dǎo)致患者肺部發(fā)炎、呼吸困難，以至于死亡[3]。早期癥狀包括發(fā)熱、干咳、咽痛、頭痛、肌肉酸痛和疲乏等[4-5]。新型冠狀病毒感染者或無癥狀病毒攜帶者往往表現(xiàn)出與其它急性呼吸道病毒患者非常類似的病癥特征[4-6]，因此識別新型冠狀病毒感染者或無癥狀病毒攜帶者是阻止新冠肺炎傳播亟待解決的問題。

逆轉(zhuǎn)錄聚合酶鏈反應(yīng)檢測(reverse transcription-polymerase chain reaction,RT-PCR)[7]是最常見的新冠肺炎病例診斷檢測方法。該檢測通過鼻咽或口咽拭子收集樣本，進(jìn)行病毒基因測序，如果與已知的新型冠狀病毒高度同源，則確診。然而，約翰·霍普金斯醫(yī)學(xué)院的研究表明，多達(dá)20%的逆轉(zhuǎn)錄聚合酶鏈反應(yīng)檢測可能產(chǎn)生假陰性[8]。盡管瑞士日內(nèi)瓦非營利研究中心創(chuàng)新診斷基金會在實(shí)驗(yàn)室環(huán)境下獲得100%的靈敏度和至少96%特異性，但逆轉(zhuǎn)錄聚合酶鏈反應(yīng)檢測的臨床靈敏度僅為66%～80%[9].

檢查胸部X射線圖像(Chest X-ray,CXR)、查看肺部是否有腫脹、炎癥或者積液是新冠肺炎診斷的有效途徑。便攜式X射線掃描儀可在隔離室內(nèi)成像，降低被檢測者交叉感染的風(fēng)險[10]。JACOBI et al[11]認(rèn)為，便攜X射線掃描儀使人們更加依賴胸部CXR圖像進(jìn)行診斷，并作為傳統(tǒng)逆轉(zhuǎn)錄聚合酶鏈反應(yīng)檢測的補(bǔ)充，實(shí)現(xiàn)對新冠肺炎感染者的診斷[12]。

深度學(xué)習(xí)能學(xué)習(xí)圖像的有效特征，已成為醫(yī)學(xué)圖像計(jì)算的有效手段[13-16]，可以幫助醫(yī)生快速準(zhǔn)確地分析X射線圖像中的異常，檢測新冠肺炎感染者。

本文基于深度學(xué)習(xí)方法對新冠肺炎進(jìn)行分類，在ResNeXt模型基礎(chǔ)上，集成多種類型的注意力模塊，在COVIDx數(shù)據(jù)集實(shí)現(xiàn)高準(zhǔn)確度的CXR圖像3分類。針對COVIDx數(shù)據(jù)集3分類任務(wù)和ResNeXt模型1 000分類任務(wù)類別數(shù)差異巨大的問題，提出了維度降解模塊來緩解特征突降導(dǎo)致的特征提取不充分問題；針對目前新冠肺炎CXR圖像數(shù)據(jù)稀缺問題，提出借助大規(guī)模醫(yī)學(xué)圖像預(yù)訓(xùn)練策略，提高低資源下的新冠肺炎CXR圖像分類準(zhǔn)確度。本文主要貢獻(xiàn)有：

1) 提出特征維度降解模塊，防止特征突降帶來的特征提取不充分問題；

2) 將通道注意力和殘差注意力模塊交叉堆疊，增強(qiáng)提取特征的表達(dá)能力和不同類別圖像的區(qū)分能力；

3) 在ResNeXt模型基礎(chǔ)上，添加交叉堆疊的通道注意力和殘差注意力模塊及維度降解模塊，提出COVID-SERA-NeXt模型；

4) 在公開訪問數(shù)據(jù)集COVIDx上測試提出的COVID-SERA-NeXt模型，并與ChestX-ray8醫(yī)學(xué)圖像預(yù)訓(xùn)練、COVIDx數(shù)據(jù)集微調(diào)參數(shù)的COVID-SERA-NeXt模型進(jìn)行比較。實(shí)驗(yàn)表明醫(yī)學(xué)圖像預(yù)訓(xùn)練進(jìn)一步提升了模型分類準(zhǔn)確度，驗(yàn)證了醫(yī)學(xué)圖像預(yù)訓(xùn)練對COVIDx數(shù)據(jù)集分類任務(wù)的有效性。

1 相關(guān)工作

1.1 新冠肺炎輔助診斷

胸部CXR圖像是診斷各種肺部疾病廣泛使用的影像，醫(yī)生通過篩查病人胸部CXR圖像進(jìn)行早期肺炎診斷[17]。基于深度學(xué)習(xí)的計(jì)算機(jī)輔助診斷引起諸多學(xué)者關(guān)注[15]，成為基于胸部CXR圖像檢測新冠肺炎的有效手段[18-24]。WANG et al[18]搜集整理用于新冠肺炎CXR圖像分類的5個公開數(shù)據(jù)集，取名為COVIDx數(shù)據(jù)集，并針對該數(shù)據(jù)集提出COVID-Net模型。此后，基于COVIDx數(shù)據(jù)集的各種深度學(xué)習(xí)模型被相繼提出。HAO et al[19]結(jié)合無監(jiān)督的ResNet-50與高斯分類器，提出CNN-GP混合模型。JIA et al[20]結(jié)合MobileNet模型不同層特征，提出Modified MobileNet模型。KARIM et al[21]基于Grad-CAM++和逐層相關(guān)性傳播技術(shù)提出DeepCOVIDExplainer模型。此外，針對新冠肺炎數(shù)據(jù)集3分類任務(wù)的深度學(xué)習(xí)模型還有COVIDx-CT[22]、COVID-ResNet[23]、DarkCovidNet[24]等。上述深度學(xué)習(xí)模型的優(yōu)勢是能學(xué)習(xí)到CXR圖像的像素級信息，但新冠肺炎CXR數(shù)據(jù)集樣本量不足對深度學(xué)習(xí)效果的影響無法克服。

1.2 注意力機(jī)制

注意力機(jī)制是對人類認(rèn)知功能的模擬，能從大量信息中快速篩選出高價值信息，在計(jì)算機(jī)視覺、自然語言處理、語音識別等領(lǐng)域得到廣泛應(yīng)用。注意力機(jī)制對輸入信號的不同部分賦予不同權(quán)重，將可用資源偏向輸入信號的信息豐富部分，抽取出關(guān)鍵和重要的信息，提升模型準(zhǔn)確性和可解釋性。計(jì)算機(jī)視覺中的注意力機(jī)制包括空間域、通道域、混合域3種。

JADERBERG et al[25]提出空間轉(zhuǎn)換器模塊，自動對圖片中的空間域信息進(jìn)行變換，提取關(guān)鍵特征。WANG et al[26]提出了非局部模塊，通過計(jì)算特征圖中空間點(diǎn)間的相關(guān)性矩陣生成有效注意力圖，直接融合全局空間信息，而不需通過堆疊多個卷積層獲取全局信息。

SE(Squeeze and Excitation)模塊由HU et al[27]提出，通過構(gòu)建通道間的相互依賴關(guān)系，重新校準(zhǔn)通道間的特征響應(yīng)，提高網(wǎng)絡(luò)表達(dá)能力。WANG et al[28]在SENet基礎(chǔ)上，提出一種不降維的局部跨信道交互策略和自適應(yīng)選擇一維卷積核大小方法，用于圖像分類、目標(biāo)檢測和實(shí)例分割，提升了效率。

空間域忽略了通道域的信息，將每個通道的圖片特征同等處理，使得空間域變換局限在原始圖片特征提取階段，應(yīng)用在神經(jīng)網(wǎng)絡(luò)其他層的可解釋性不強(qiáng)。通道域注意力對一個通道內(nèi)的信息直接全局平均池化，忽略了通道內(nèi)的局部信息。因此，WOO et al[29]將通道注意力和空間注意力結(jié)合，提出CBAM(convolutional block attention module)模塊，提高CNN網(wǎng)絡(luò)表達(dá)能力，強(qiáng)調(diào)和細(xì)化中間特征的內(nèi)容和位置。LI et al[30]融合通道注意力和空間注意力，提出了SGE(spatial group-wise enhance)模塊，將通道劃分為組，組內(nèi)通過空間注意力自主學(xué)習(xí)增強(qiáng)表征并抑制噪聲。

1.3 深度圖像分類

圖像分類任務(wù)是計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)任務(wù)，深度學(xué)習(xí)促進(jìn)圖像分類研究的空前發(fā)展。SZEGEDY et al[31]提出GoogLeNet模型，即Inception v1模型，由Inception結(jié)構(gòu)作為基本模塊，用卷積對輸入通道進(jìn)行降維，減少參數(shù)量，用全局平均池化取代最后一層全連接。隨后Inception v2[32]、Inception v3[33]、Inception v4[34]等模型相繼被提出。HE et al[35]在VGG19基礎(chǔ)上，提出ResNet模型，通過短路機(jī)制加入殘差單元，解決深度學(xué)習(xí)的梯度消失等退化問題。XIE et al[36]通過融合ResNet模型的層次堆疊、殘差連接設(shè)計(jì)策略，以及Inception模型的split transform merge網(wǎng)絡(luò)體系結(jié)構(gòu)，提出一種同質(zhì)多分支結(jié)構(gòu)模型ResNeXt，在ImageNet分類數(shù)據(jù)集的性能勝過ResNet-101/152、ResNet200、Inception-v3和Inception-ResNet-v2，101層的ResNeXt模型比ResNet200模型精度高，但復(fù)雜度僅為后者的50%.此外，ResNeXt模型與所有Inception系列模型相比，設(shè)計(jì)更簡單。鑒于ResNeXt模型的簡潔高效及其模塊化設(shè)計(jì)策略和優(yōu)異的分類性能，本文以ResNeXt模型作為基礎(chǔ)模型。

2 實(shí)驗(yàn)數(shù)據(jù)集

本文使用WANG et al[18]于2020年搜集整理的COVIDx數(shù)據(jù)集，該數(shù)據(jù)集是目前可獲取的新型冠狀病毒肺炎病例數(shù)量最大的開放性基準(zhǔn)數(shù)據(jù)集，包含來自13 870名患者的共15 475張具有臨床代表性的胸部CXR圖像，其中266例新型冠狀病毒肺炎患者、5 538例非新型冠狀病毒肺炎患者、8 066例未感染肺炎者(正常人)，由5個公開可用數(shù)據(jù)集整合而成。包括：1) COVID-19 Image Data Collection[18]數(shù)據(jù)集的非新型冠狀病毒肺炎病例和新型冠狀病毒肺炎病例；2) COVID-19 Chest X-ray Dataset Initiative[37]數(shù)據(jù)集的新型冠狀病毒肺炎病例；3) ActualMed COVID-19 Chest X-ray Dataset Initiative[38]數(shù)據(jù)集的新型冠狀病毒肺炎病例；4) RSNA Pneumonia Detection Challenge dataset[39]數(shù)據(jù)集的無肺炎(即正常)和非新型冠狀病毒肺炎病例；5) COVID-19 radiography database[40]數(shù)據(jù)集的新型冠狀病毒肺炎病例。COVIDx數(shù)據(jù)集部分圖像示例如圖1所示，(a)-(e)列分別是上述5個數(shù)據(jù)集的3張CXR圖像。COVIDx數(shù)據(jù)集不同感染類型的圖像、患者數(shù)量分布如圖2所示。

圖1可見，COVIDx數(shù)據(jù)集來自5個不同數(shù)據(jù)集的圖像亮度、角度和尺度等存在差異，樣本存在多樣性和廣泛性。圖2顯示，COVID-19圖像數(shù)量和患者數(shù)量與其他兩類差別很大，存在嚴(yán)重的類別不平衡問題，給圖像分類任務(wù)帶來巨大挑戰(zhàn)。

圖2 COVIDx數(shù)據(jù)集中不同感染類型數(shù)據(jù)分布Fig.2 Data distribution of different infection types in the COVIDx dataset

3 模型與方法

3.1 注意力模塊

注意力機(jī)制允許網(wǎng)絡(luò)重新校準(zhǔn)提取的特征，從而自適應(yīng)地學(xué)習(xí)目標(biāo)特征。獲得ILSVRC 2017比賽冠軍的SENet模型[27]的SE(squeeze and excitation)模塊是一種典型的通道域注意力機(jī)制，通過Squeeze操作整合特征圖不同通道的全局信息，然后利用Excitation模塊為對應(yīng)通道的特征加權(quán)，強(qiáng)化對任務(wù)有效的特征，弱化無效特征，實(shí)現(xiàn)特征通道的自適應(yīng)校準(zhǔn)。SENet和ResNeXt結(jié)合成為SE-ResNeXt模型[27]。本文采用SE-ResNeXt模型實(shí)現(xiàn)通道注意力。

殘差注意力網(wǎng)絡(luò)[41]由多個注意力模塊堆疊而成，能夠捕獲不同類型和不同層次的注意力信息，不同模塊的注意力感知特征隨層數(shù)加深而自適應(yīng)變化。本文的殘差注意力模塊使用文獻(xiàn)[41]的注意力模塊。需要注意的是，殘差注意力網(wǎng)絡(luò)涉及的通道注意力和SENet的通道注意力不同，SENet由全局平均池化獲取通道間關(guān)系，與空間位置無關(guān)；殘差注意力網(wǎng)絡(luò)的注意力模塊中每個位置點(diǎn)的權(quán)重既與本通道其他位置點(diǎn)相關(guān)，也與其他通道位置點(diǎn)相關(guān)，與空間相關(guān)。因此，受CBAM[29]順序堆疊通道和空間注意力工作啟發(fā)，本文融合多種類型注意力模塊，以期提高對COVIDx數(shù)據(jù)集圖像的分類效果。

3.2 維度降解模塊

ResNeXt模型針對ImageNet圖像分類任務(wù)，COVIDx數(shù)據(jù)集由多個開源數(shù)據(jù)集組合而成，各數(shù)據(jù)集，甚至同一數(shù)據(jù)集，圖像大小不一，最大為4 757×5 623像素，最小為156×157像素。另外ImageNet圖像分類的類別數(shù)為1 000，而COVIDx圖像類別數(shù)為3.針對圖像大小不一問題，本文統(tǒng)一將COVIDx圖像調(diào)整為256×256，與ImageNet數(shù)據(jù)集的圖像大小一致。針對圖像類別差異懸殊，本文對原始ResNeXt模型進(jìn)行了改進(jìn)。

圖3展示了原始ResNeXt模型，以及本文對ResNeXt模型的改進(jìn)，圖3(a)是原始ResNeXt模型，圖3(b)是在原始ResNeXt模型上增加輸入1 000維輸出3維的全連接層，并將得到的模型訓(xùn)練COVIDx數(shù)據(jù)集，圖3(c)是將維度降解模塊插入ResNeXt模型后，訓(xùn)練COVIDx數(shù)據(jù)集的網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖3(a)可見，輸入圖像為256×256×3，經(jīng)過卷積層1，輸出尺寸為112×112×64的特征圖。圖中卷積層2～5由多個圖3(a)左側(cè)虛線框中所示的殘差塊堆疊而成，殘差塊每層卷積的通道數(shù)不同，C1、C2、C3表示通道數(shù)。卷積層5輸出的特征圖經(jīng)過全局平均池化(GAP)，將特征圖高度和寬度縮減為1，得到一個2 048維的向量。針對1 000類的ImageNet圖像分類任務(wù)，全連接層將2 048維的向量轉(zhuǎn)換為1 000維的向量。

圖3(b)在圖3(a)的全連接層后增加一個全連接層，將圖3(a)輸出的1 000維向量變換為3維，用于訓(xùn)練和分類COVIDx數(shù)據(jù)集樣本。由于ImageNet和COVIDx兩個數(shù)據(jù)集的類別數(shù)分別為1 000類和3類，圖3(b)第二個全連接層的特征突降，可能導(dǎo)致特征提取不充分和信息丟失問題。

為此，提出了圖4所示的維度降解模塊，由3個子模塊ConvBn2d組成，以充分提取圖像特征。然后，丟棄圖3(a)ResNeXt模型的全局平均池化和全連接層，添加圖4的維度降解模塊，接著是新的全局平均池化和全連接層，得到圖3(c)網(wǎng)絡(luò)模型，以訓(xùn)練和分類COVIDx圖像。

圖3 ResNeXt網(wǎng)絡(luò)結(jié)構(gòu)及其改進(jìn)Fig.3 Architecture of ResNeXt and our improvements

圖4的ConvBn2d子模塊包括不同參數(shù)設(shè)置的二維卷積層Conv、批歸一化處理層BN和非線性激活操作Leaky ReLU，二維卷積層Conv調(diào)整特征圖的通道數(shù)，并保持特征圖分辨率不變，批歸一化處理BN緩解網(wǎng)絡(luò)中梯度消失問題，使模型訓(xùn)練更穩(wěn)定，非線性激活函數(shù)采用滲漏型整流線性單元函數(shù)Leaky ReLU，參數(shù)值為0.1.圖4維度降解模塊的3個ConvBn2d子模塊用于降低特征維度，具體過程為：輸入7×7×2 048的特征圖，經(jīng)過卷積核大小為3×3的第一個ConvBn2d子模塊后，輸出7×7×512的特征圖；然后經(jīng)過卷積核大小為1×1的第二個ConvBn2d，輸出特征圖變?yōu)?×7×1 024；最后經(jīng)過卷積核大小為3×3的第三個子模塊ConvBn2d，輸出特征圖變?yōu)?×7×512.

圖4 維度降解模塊Fig.4 Dimension reduction module

圖4的維度降解模塊旨在改變ResNeXt模型，使其更好地適用于COVIDx數(shù)據(jù)集CXR圖像的3分類任務(wù)，為此，需要盡可能降低最后輸入全連接的特征圖維度，同時保持特征的分辨能力，因此，設(shè)計(jì)了紡錘形的維度降解模塊，維度降解模塊結(jié)構(gòu)的設(shè)計(jì)借鑒了MobileNetV2模型[42]中inverted residuals模塊的紡錘形結(jié)構(gòu)，通過擴(kuò)展層(Expansion Layer)擴(kuò)展維度，抵抗由于特征突降和非線性函數(shù)導(dǎo)致的信息丟失，保證模型提取到足夠多的有用信息。第二個子模塊ConvBnd的作用是通過更多的卷積核，彌補(bǔ)第一個子模塊ConvBnd可能引起的信息丟失。

3.3 COVID-SERA-NeXt模型

通道注意力SE模塊加入ResNeXt模型得到的SE-ResNeXt模型[27]是由一系列相同拓?fù)浣Y(jié)構(gòu)帶有通道注意力的模塊堆疊而成，用全局上下文對不同通道進(jìn)行權(quán)值標(biāo)定，調(diào)整通道依賴，然而，僅使用通道信息不能充分利用全局上下文抽取圖像語義信息。

殘差注意力模型[41]是由一系列殘差注意力模塊堆疊而成，不同模塊的注意感知特征隨著層數(shù)的加深而自適應(yīng)變化，淺層注意力模塊主要集中于圖像背景，深層注意力模塊則聚焦于待分類圖像，深淺層多注意力模塊增強(qiáng)了特征表達(dá)能力。得益于殘差注意力模型的優(yōu)異性能，本文在ResNeXt模型基礎(chǔ)上，先加入交叉堆疊的通道注意力和殘差注意力模塊，再加入維度降解模塊，提出COVID-SERA-NeXt模型，旨在通過融合更多類型的注意力模塊，增強(qiáng)模型的特征表達(dá)能力和對不同類圖像的區(qū)分能力，注意力交叉堆疊的優(yōu)勢補(bǔ)充，防止有效特征丟失，且每個類型的特征不會隨著網(wǎng)絡(luò)深度增加出現(xiàn)遠(yuǎn)程遺忘。值得說明的是，本文嘗試了3種不同的模塊組合方式：1) 先堆疊通道注意力模塊，后堆疊殘差注意力模塊；2) 先堆疊殘差注意力模塊，后堆疊通道注意力模塊；3) 通道注意力和殘差注意力模塊交叉堆疊?；贑OVIDx數(shù)據(jù)集的實(shí)驗(yàn)表明，第三種方式能夠?qū)崿F(xiàn)對COVIDx圖像的最好分類結(jié)果。

COVID-SERA-NeXt模型如圖5所示，4個通道注意力和3個殘差注意力交叉堆疊，隨后是維度降解模塊，通道注意力模塊是黃色框的SE-ResNeXt模塊，灰色虛線框表示殘差注意力模塊，3個淺藍(lán)色ConBn2d構(gòu)成維度降解模塊。表1是模型結(jié)構(gòu)細(xì)節(jié)與具體參數(shù)。

圖5 本文提出的COVID-SERA-NeXt模型架構(gòu)Fig.5 Architecture of our proposed COVID-SERA-NeXt model

表1 提出的COVID-SERA-NeXt模型結(jié)構(gòu)細(xì)節(jié)Table 1 Details of the proposed COVID-SERA-NeXt model for COVIDx dataset

3.4 模型預(yù)訓(xùn)練

預(yù)訓(xùn)練能提供更好的模型初始化，增強(qiáng)模型泛化能力，加速任務(wù)模型收斂速度和提升模型性能。深度學(xué)習(xí)模型通常采用預(yù)訓(xùn)練-微調(diào)模式，預(yù)訓(xùn)練通常在具有大量標(biāo)簽的大規(guī)?；鶞?zhǔn)數(shù)據(jù)集下(如ImageNet)進(jìn)行；然后對預(yù)訓(xùn)練網(wǎng)絡(luò)針對目標(biāo)任務(wù)進(jìn)行微調(diào)訓(xùn)練，預(yù)訓(xùn)練數(shù)據(jù)集通常比目標(biāo)任務(wù)數(shù)據(jù)集樣本量大很多。預(yù)訓(xùn)練可幫助模型學(xué)習(xí)通用特征，用于目標(biāo)任務(wù)。ImageNet是深度學(xué)習(xí)預(yù)訓(xùn)練模型最常用的數(shù)據(jù)集，鑒于ImageNet自然場景圖像和COVID-19 CXR醫(yī)學(xué)圖像的巨大差異，本文選擇與COVID-19 CXR圖像數(shù)據(jù)相似度更高的ChestX-ray8數(shù)據(jù)集預(yù)訓(xùn)練提出的COVID-SERA-NeXt模型。

ChestX-ray8是一個胸部X射線圖像CXR數(shù)據(jù)集，用于多標(biāo)簽分類與檢測，包含來自32 717個患者的108 948張正面CXR圖像，每張圖像代表一種或者多種疾病或者正常。數(shù)據(jù)集包含8種常見胸腔疾?。悍尾粡?Atelectasis)、心臟肥大(Cardiomegaly)、積液(Effusion)、腫塊(Infiltration)、結(jié)節(jié)(Mass)、肺炎(Pneumonia)和氣胸(Pneumathorax).

使用ChestX-ray8數(shù)據(jù)集對本文提出的COVID-SERA-NeXt模型進(jìn)行預(yù)訓(xùn)練，保存最優(yōu)模型，使用COVIDx數(shù)據(jù)集微調(diào)模型參數(shù)。帶有預(yù)訓(xùn)練和微調(diào)的COVID-SERA-NeXt模型如圖6所示。

圖6 采用ChestX-ray8預(yù)訓(xùn)練和COVIDx微調(diào)的COVID-SERA-NeXt模型Fig.6 COVID-SERA-NeXt model with pre-training by ChestX-ray8 and fine-tuning by COVIDx

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)操作系統(tǒng)為Ubuntu 16.04，在單個型號為NVIDIA GeForce RTX 2080 GPU上訓(xùn)練模型?；赑yTorch 1.4.0深度學(xué)習(xí)框架構(gòu)建分類網(wǎng)絡(luò)，CUDA版本為9.0.使用Adam優(yōu)化器更新網(wǎng)絡(luò)模型權(quán)重，初始學(xué)習(xí)率為0.0001，學(xué)習(xí)率衰減值為0.001，β1參數(shù)為0.9，β2參數(shù)為0.99.使用交叉熵?fù)p失函數(shù)，batch size為32，最大訓(xùn)練次數(shù)為30，保留最優(yōu)結(jié)果模型。按照COVID-Net提供的數(shù)據(jù)劃分腳本劃分訓(xùn)練集和測試集，訓(xùn)練集包含13 918張圖像，測試集包含1 579張圖像。實(shí)驗(yàn)每訓(xùn)練一輪，在測試集上測試結(jié)果，保留最優(yōu)測試結(jié)果。

COVIDx數(shù)據(jù)集的3個類別Normal、Pneumonia、COVID-19存在類別不平衡。處理類別不平衡問題的欠采樣、過采樣或數(shù)據(jù)增強(qiáng)會改變數(shù)據(jù)類別分布，且過采樣會導(dǎo)致過擬合問題，本文采用閾值調(diào)整方法緩解類別不平衡問題，在損失函數(shù)中給樣本不足類別賦以較大權(quán)重，以彌補(bǔ)類別不平衡問題，Normal、Pneumonia、COVID-19等3個類別的損失函數(shù)權(quán)重分別為0.05，0.05，1.00.

使用準(zhǔn)確率(Accuracy)、宏召回率(Macro-Recall)、宏精確率(Macro-Precision)、宏F1值(Macro-F1)4種評價指標(biāo)評估模型有效性。各指標(biāo)定義為式(1)-(4).

(1)

(2)

(3)

(4)

式中：Nrec表示正確預(yù)測的樣本數(shù)，Nall表示樣本總數(shù)；式(2)-(4)分別表示Macro-Recall、Macro-Precision、Macro-F1，其中n表示類別數(shù)，Ri、Pi為一對其余策略下，第i類的召回率和精確率。

可視化是解釋實(shí)驗(yàn)結(jié)果的重要手段。將其引入新冠肺炎CXR圖像分類，不僅可以更深入地了解與新冠肺炎陽性病例相關(guān)的關(guān)鍵因素，幫助臨床醫(yī)生進(jìn)行更好篩查診斷，還可驗(yàn)證模型是根據(jù)圖像哪些信息做出的決策。CAM、Grad-CAM、Grad-CAM++是計(jì)算機(jī)視覺領(lǐng)域?qū)嶒?yàn)結(jié)果可視化的重要技術(shù)，由于Grad-CAM不需要重新訓(xùn)練模型且準(zhǔn)確度高，本文使用Grad-CAM對實(shí)驗(yàn)結(jié)果進(jìn)行可視化解釋，以類激活圖方式展示模型通過哪些像素判定圖像類別。

4.1 數(shù)據(jù)增強(qiáng)測試

數(shù)據(jù)增強(qiáng)用于增加訓(xùn)練數(shù)據(jù)，常用的數(shù)據(jù)增強(qiáng)技術(shù)包括裁剪、填充、翻轉(zhuǎn)等，從不同視角刻畫同一圖像，提高訓(xùn)練模型的準(zhǔn)確性和學(xué)習(xí)能力。本文僅對訓(xùn)練集圖像進(jìn)行增強(qiáng)，測試集圖像是沒有增強(qiáng)的原始圖像，增強(qiáng)方式為線上增強(qiáng)，將數(shù)據(jù)送入學(xué)習(xí)模型時，進(jìn)行小批量擾動處理并保留關(guān)鍵語義內(nèi)容，從而使得對每一輪訓(xùn)練數(shù)據(jù)，模型將“看到”完全不同的數(shù)據(jù)集，避免網(wǎng)絡(luò)記憶訓(xùn)練數(shù)據(jù)，提高模型泛化能力。這種方式增強(qiáng)了數(shù)據(jù)多樣性，但未顯式增加數(shù)據(jù)集圖像數(shù)量。

實(shí)驗(yàn)采用的數(shù)據(jù)增強(qiáng)策略包括:水平翻轉(zhuǎn)、垂直翻轉(zhuǎn)、隨機(jī)仿射變換、色彩抖動。分別以0.5概率進(jìn)行以上圖像變換。以Accuracy、Macro-Recall指標(biāo)驗(yàn)證數(shù)據(jù)增強(qiáng)對提出的COVID-SERA-NeXt模型性能的影響，實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 數(shù)據(jù)增強(qiáng)對模型性能的影響Fig.7 Influence on model performance from data augmentation

圖7結(jié)果顯示，同時使用翻轉(zhuǎn)、仿射變換、色彩抖動3種數(shù)據(jù)增強(qiáng)提高了COVID-SERA-NeXt模型的性能，表明數(shù)據(jù)增強(qiáng)對COVIDx數(shù)據(jù)集圖像分類很有效。另外，圖7實(shí)驗(yàn)結(jié)果還顯示，無論采用3種數(shù)據(jù)增強(qiáng)方式的哪種方式增加數(shù)據(jù)，COVID-SERA-NeXt模型的準(zhǔn)確率都有不同程度的提高，但模型的宏召回率Macro-Recall都或多或少低于沒有使用數(shù)據(jù)增強(qiáng)時的模型宏召回率，只有3種數(shù)據(jù)增強(qiáng)方式聯(lián)合使用時，模型的宏召回率才得到提升，同時準(zhǔn)確率得到大幅提升。

4.2 消融實(shí)驗(yàn)

為了分析不同模塊對模型性能的影響，本文設(shè)計(jì)了不同的消融實(shí)驗(yàn)，驗(yàn)證維度降解模塊、通道注意力模塊和殘差注意力模塊的性能。實(shí)驗(yàn)結(jié)果見表2，所有實(shí)驗(yàn)在相同環(huán)境下進(jìn)行，表中加粗?jǐn)?shù)字表示最優(yōu)結(jié)果。

表2 各模塊對ResNeXt模型的影響測試Table 2 Experiment results of adding different modules to ResNeXt %

表2消融實(shí)驗(yàn)結(jié)果可見，維度降解模塊、通道注意力模塊和殘差注意力模塊三模塊的任何兩個組合，都可以使ResNeXt模型的性能在一定程度上得到提升。全部三模塊組合能使ResNeXt模型對COVIDx數(shù)據(jù)集的分類準(zhǔn)確率達(dá)到96.11%.由此可見，在ResNeXt模型基礎(chǔ)上，先加入交叉堆疊的通道注意力和殘差注意力模塊，再加入提出的維度降解模塊，即本文COVID-SERA-NeXt模型對COVIDx數(shù)據(jù)集分類準(zhǔn)確率最好。

4.3 不同模型性能比較

不同基礎(chǔ)模型、不同訓(xùn)練策略會影響模型性能，本小節(jié)將比較基準(zhǔn)模型COVID-Net[18]、CNN-GP[19]、Modified MobileNet[20]和ResNeXt[36]，與本文COVID-SERA-NeXt模型和采用ChestX-ray8預(yù)訓(xùn)練的COVID-SERA-NeXt模型的性能，實(shí)驗(yàn)結(jié)果如表3所示，加粗表示最優(yōu)結(jié)果。需要說明的是，表中“-”表示原始模型CNN-GP和Modified MobileNet沒有相應(yīng)評價指標(biāo)的值。另外， CNN-GP和Modified mobileNet模型的準(zhǔn)確率(Accuracy)來自原始文獻(xiàn)，COVID-Net和ResNeXt的實(shí)驗(yàn)結(jié)果是在本文實(shí)驗(yàn)環(huán)境下運(yùn)行的結(jié)果，因?yàn)镃OVID-Net原文獻(xiàn)使用的評價指標(biāo)是評價模型在單個子類的性能，本文使用的評價指標(biāo)評價模型對3個子類的平均性能；ResNeXt模型沒有在COVIDx數(shù)據(jù)集測試過。因此，這兩個模型被重新運(yùn)行。

表3 各模型性能的比較Table 3 Performance comparison of different models %

表3實(shí)驗(yàn)結(jié)果顯示，采用ChestX-ray8數(shù)據(jù)集預(yù)訓(xùn)練的COVID-SERA-ResNeXt模型在各項(xiàng)指標(biāo)均取得最優(yōu)值，沒有預(yù)訓(xùn)練的COVID-SERA-ResNeXt模型比基礎(chǔ)模型ResNeXt在準(zhǔn)確率、宏調(diào)和指數(shù)F1和宏召回率Macro-Recall均有提升，但在宏精度指標(biāo)Macro-Precision上略次于ResNeXt模型；然而COVID-SERA-ResNeXt模型在各項(xiàng)指標(biāo)上均遠(yuǎn)優(yōu)于最早用于COVIDx數(shù)據(jù)集分類的COVID-Net模型；同時，COVID-SERA-ResNeXt模型的準(zhǔn)確率Accuracy也優(yōu)于CNN-GP模型和Modified MobileNet模型。

由此可見，本文提出的用于COVID-19 CXR圖像分類的COVID-SERA-ResNeXt模型非常有效，使用ChestX-ray8數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，可以進(jìn)一步提升模型的性能。

4.4 結(jié)果可視化

使用Grad-CAM對模型COVID-SERA-ResNeXt的實(shí)驗(yàn)結(jié)果進(jìn)行可視化，采用類激活圖展示模型通過哪些像素判定圖像類別。圖8展示了部分測試圖像的類激活圖， (a)列分別為Normal、Pneumonia、COVID-19類別的一個有代表性的原始圖像，(b)-(i)列展示了不同模型對(a)列3張CXR圖像學(xué)習(xí)的結(jié)果。色調(diào)越冷區(qū)域?qū)δＰ头诸惤Y(jié)果的影響越大。

從圖8各模型實(shí)驗(yàn)結(jié)果的類激活圖可見，本文提出的COVID-SERA-ResNeXt模型提取的分類特征主要位于CXR圖像的胸部或胸部感染區(qū)域，有較強(qiáng)的分類識別能力。帶有通道注意力模塊的ResNeXt模型(f)提取的特征最差，接著是(d)帶有殘差注意力模塊的ResNeXt模型和(h)帶有通道注意力和殘差注意力的ResNeXt模型。

圖8實(shí)驗(yàn)結(jié)果還顯示帶有本文維度降解模塊的模型(c)ResNeXt+維度降解模塊、(e)ResNeXt+維度降解模塊+殘差注意力模塊、(g)ResNeXt+通道注意力模塊+維度降解模塊和(i)ResNeXt+通道注意力+殘差注意力+維度降解模塊(即本文提出的COVID-SERA-ResNeXt模型)的特征提取能力更強(qiáng)，提取的特征均集中在CXR圖像的胸部或胸部感染區(qū)域。說明提出的特征降解模塊對于提取具有強(qiáng)分類意義的特征很重要。

另外，對于拍攝位置不規(guī)范、存在殘影、前后景區(qū)分不明顯的CXR圖像，如圖8第二行的Pneumonia CXR圖像，本文提出的COVID-SERA-ResNeXt模型依然能夠準(zhǔn)確提取胸部感染區(qū)域的特征。

(a)原圖; (b) ResNeXt模型; (c) ResNeXt+維度降解模塊; (d) ResNeXt+殘差注意力模塊; (e) ResNeXt+維度降解模塊+殘差注意力模塊; (f) ResNeXt+通道注意力模塊; (g) ResNeXt+通道注意力模塊+維度降解模塊; (h) ResNeXt+通道注意力+殘差注意力; (i) ResNeXt+通道注意力+殘差注意力+維度降解模塊(本文COVID-SERA-ResNeXt模塊)圖8 各模型的類激活圖Fig.8 Class activation graphs of different models

5 結(jié)論

提出了針對COVID-19 CXR圖像分類的COVID-SERA-NeXt模型。在公開訪問數(shù)據(jù)集COVIDx的實(shí)驗(yàn)結(jié)果驗(yàn)證了COVID-SERA-NeXt模型在多項(xiàng)指標(biāo)上優(yōu)于基礎(chǔ)模型ResNeXt，準(zhǔn)確率、宏召回率分別達(dá)到96.11%、95.46%.ChestX-ray8數(shù)據(jù)集預(yù)訓(xùn)練的COVID-SERA-NeXt模型對COVIDx數(shù)據(jù)集的分類性能更優(yōu)，在準(zhǔn)確率、宏召回率、宏精確率和宏F1各項(xiàng)指標(biāo)均達(dá)到最優(yōu)。然而，如何克服殘影、前后景區(qū)分不明顯等圖像模糊對模型分類性能的影響仍需要進(jìn)一步研究。