楊宇航，林 敏，王長(zhǎng)纓，鐘一文

福建農(nóng)林大學(xué) 計(jì)算機(jī)與信息學(xué)院，福州 350002

自2019年12月初發(fā)現(xiàn)新型冠狀病毒肺炎以來(lái)，新冠肺炎已成為世界上最嚴(yán)重的一種傳染病。核酸檢測(cè)是篩查是否感染新冠病毒的重要手段，而CT肺部圖像在初篩、診斷和治療新冠肺炎都具有重要作用，是核酸檢測(cè)的重要補(bǔ)充，特別是在早期篩查階段CT比核酸檢測(cè)更為敏感，并且確診患者在病情的不同階段，肺部CT有不同的表現(xiàn)，所以肺部CT圖像又是判斷確診患者感染程度、進(jìn)行病情監(jiān)測(cè)、觀察治療效果和決定是否達(dá)到出院條件的重要依據(jù)[1]。雖然獲得CT肺部影像的速度比較快，但依靠人工對(duì)其進(jìn)行分析診斷同樣需要花費(fèi)較長(zhǎng)的時(shí)間和耗費(fèi)大量的醫(yī)療資源，而這對(duì)于全球新冠疫情嚴(yán)重地區(qū)本以耗竭的醫(yī)療資源來(lái)說(shuō)又是一個(gè)很大的負(fù)擔(dān)。另外CT檢查圖像都是靠人眼來(lái)辨別的，醫(yī)生對(duì)CT圖像進(jìn)行觀察，根據(jù)其影像學(xué)表現(xiàn)并結(jié)合醫(yī)師個(gè)人經(jīng)驗(yàn)做出主觀的判斷，因此有一定局限性的，并受主觀的影響因素比較多，而且只能解讀表觀的一些圖像特征。因此，采用人工智能和高效的計(jì)算機(jī)輔助進(jìn)行CT肺部圖像的新冠肺炎診斷，顯得比以往任何時(shí)候都具有意義。目前，在利用計(jì)算機(jī)進(jìn)行輔助新冠肺炎的輔助診斷時(shí)，主要是采用卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）等預(yù)訓(xùn)練模型對(duì)CT肺部圖像數(shù)據(jù)集進(jìn)行訓(xùn)練和遷移學(xué)習(xí)，但要得到較好的效果需要大量新冠肺炎患者的CT肺部圖像以及有經(jīng)驗(yàn)的醫(yī)生對(duì)圖像進(jìn)行的標(biāo)注，而且由于不同的CT設(shè)備之間存在著掃描參數(shù)的差異，得到的影像數(shù)據(jù)也有著格式、圖像上的不同[2]，再加上患者的隱私問(wèn)題，大量的標(biāo)準(zhǔn)的有詳細(xì)標(biāo)注的數(shù)據(jù)是難以獲得的。所以，考慮在有限的樣本上獲取更多有利于診斷的信息是很有必要的。經(jīng)過(guò)研究發(fā)現(xiàn)，新冠患者肺部的病變大多會(huì)引起CT圖像頻率域的變化，這種變化可以加以利用幫助提高診斷質(zhì)量?；谏鲜霰尘?，本文提出了融合了CT圖像頻率域特征的雙路網(wǎng)絡(luò)模型（dual-path network model，Dp-Net），將新冠肺炎CT圖像的識(shí)別過(guò)程分為兩個(gè)階段：一是提取CT圖像的頻率域信息和CT圖形的空間域信息分別進(jìn)行特征提取，二是將提取到的兩個(gè)域的特征進(jìn)行融合，構(gòu)建最終分類器，提高新冠肺炎診斷的性能。

1 相關(guān)工作

目前已有研究利用深度學(xué)習(xí)的模型通過(guò)CT影像來(lái)診斷新冠肺炎，例如He等[3]建立了COVID-CT數(shù)據(jù)集，提出了Self-Trans（self-supervised and transfer learning）的方法，以VGG、ResNet等模型為主干將對(duì)比自監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí)相結(jié)合，把在ImageNet上預(yù)訓(xùn)練好的模型用大量的肺部CT圖像和COVID-CT數(shù)據(jù)集進(jìn)行對(duì)比自監(jiān)督學(xué)習(xí)，以降低由于數(shù)據(jù)有限導(dǎo)致的過(guò)擬合的風(fēng)險(xiǎn)，在僅有數(shù)百?gòu)圕OVID-19陽(yáng)性CT圖像的數(shù)據(jù)集上達(dá)到了0.86的準(zhǔn)確率、0.85的F1和0.94的AUC。Liu等[4]提出了一種病灶注意深度神經(jīng)網(wǎng)絡(luò)（lesion-attention deep neural networks，LA-DNN），該方法以診斷COVID-19的二分類為主要任務(wù)，同時(shí)把COVID-19的5種病灶的識(shí)別作為輔助任務(wù)，在COVID-CT數(shù)據(jù)集上的準(zhǔn)確率、F1、AUC和召回率分別為0.85、0.85、0.91和0.86。Song等[5]設(shè)計(jì)了一個(gè)細(xì)節(jié)關(guān)系提取神經(jīng)網(wǎng)絡(luò)（details relation extraction neural network，DRE-Net），利用細(xì)節(jié)注意模塊和細(xì)節(jié)提取模塊從特征金字塔提取圖像的局部細(xì)節(jié)特征，與圖像的全局特征結(jié)合成輸入圖像的最終特征用于新冠肺炎的識(shí)別。Rahimzadeh等[6]以ResNet50V2為主干網(wǎng)絡(luò)，利用特征金字塔提取5層不同尺度的特征進(jìn)行拼接，得到多尺度的圖像級(jí)特征用于分類。Xu等[7]先利用3D分割模型從肺部CT圖像中分割出候選感染區(qū)域塊，然后用Resnet分類模型把這些候選區(qū)域分為COVID-19、甲型流感型肺炎和健康組，并由位置-注意模塊給出相應(yīng)的置信度分?jǐn)?shù)（即候選感染區(qū)域到肺部邊緣的距離），最后利用貝葉斯或噪聲函數(shù)計(jì)算出感染類型和總置信度。Wang等[8]采用U-Net++和Resnet50分別作為分割和分類模型，將分割模型得到的掩膜和原始圖像作為輸入給到分類模型。吳辰文等[9]首先用條件生成對(duì)抗網(wǎng)絡(luò)（conditional generation adversarial networks，CGAN）對(duì)COVID-CT數(shù)據(jù)集做數(shù)據(jù)增強(qiáng)，然后用改進(jìn)的融入了BIN殘差塊的U-Net網(wǎng)絡(luò)進(jìn)行識(shí)別，準(zhǔn)確率達(dá)到了83.9%，數(shù)據(jù)增強(qiáng)后的準(zhǔn)確率提高到了93%。

從現(xiàn)有的研究來(lái)看，新冠識(shí)別算法要取得較好的性能需要獲得大量的標(biāo)注的數(shù)據(jù)，但在現(xiàn)實(shí)中由于隱私安全等各種原因難以獲得大量的數(shù)據(jù)，并且各個(gè)數(shù)據(jù)因設(shè)備參數(shù)等不同又存在差異性，因此考慮如何在小數(shù)據(jù)集上提高識(shí)別的準(zhǔn)確率是一個(gè)具有現(xiàn)實(shí)意義的問(wèn)題?？紤]到現(xiàn)有的方法一般都是在圖像的空間域提取特征，忽略了圖像在頻率域中的特征。圖像的空間域是由圖像像元組成的空間，圖像在空間域表現(xiàn)為每個(gè)像元像素值的大??；圖像的頻率域以頻率為自變量描述圖像的特征，即相鄰像元像素值的變化情況，對(duì)圖像進(jìn)行傅里葉變換或小波變換可以將圖像從空間域轉(zhuǎn)換到頻率域，圖像頻率域的信息通過(guò)頻譜圖來(lái)展現(xiàn)。對(duì)于一般的圖像分類任務(wù)來(lái)說(shuō)，數(shù)據(jù)集非常多樣，背景復(fù)雜，圖像在頻率域的特征起不到太大的作用。而醫(yī)學(xué)圖像（例如CT）則有著相似的背景，且新冠肺炎在引起的肺部病變會(huì)使圖像的頻率域產(chǎn)生一些有規(guī)律的變化，比如磨玻璃陰影、血管增粗等。因此CT圖像頻率域的特征會(huì)是新冠肺炎識(shí)別的一個(gè)重要因素。雖然深度學(xué)習(xí)模型在學(xué)習(xí)的過(guò)程中可以學(xué)習(xí)到圖像在頻率域中的特征，但是在這些特征發(fā)揮作用之前，模型往往已經(jīng)收斂了。那么，可以人為地強(qiáng)調(diào)圖像在頻率域中的特征，使其提前發(fā)揮作用，來(lái)提高識(shí)別的準(zhǔn)確率。在醫(yī)學(xué)圖像領(lǐng)域目前已有一些任務(wù)在使用頻率域的信息，比如對(duì)甲狀腺的超聲的高頻部分進(jìn)行圖像增強(qiáng)以突出需要關(guān)注到的部分[10]，以及MR的圖像重建也需要頻率域的信息，證明頻率域的信息對(duì)醫(yī)學(xué)圖像的任務(wù)是有幫助的。針對(duì)這個(gè)特點(diǎn)，本文提出了融合CT圖像頻率域特征的雙路網(wǎng)絡(luò)模型用以診斷新冠肺炎。

2 融合CT圖像頻率域特征的雙路網(wǎng)絡(luò)模型

2.1 Dp-Net模型結(jié)構(gòu)

在分類、識(shí)別任務(wù)中，通常是對(duì)圖像的空間域進(jìn)行處理?？紤]到醫(yī)學(xué)圖像中CT圖像的背景相似性和新冠肺炎病灶的特點(diǎn)，理論上CT圖像在頻率域上的特征能夠區(qū)分開新冠肺炎樣本和正常樣本，然而從空間域提取的特征中所包含的頻率域信息較少。因此，可以考慮在空間域的基礎(chǔ)上融入頻率域的特征作為互補(bǔ)信息，增強(qiáng)提取到的特征的有效性。

在融合CT圖像頻率域特征的思想下，本文提出了Dp-Net，用兩個(gè)網(wǎng)絡(luò)分別對(duì)CT圖像的空間域和頻率域進(jìn)行特征提取，然后將兩個(gè)域提取的特征進(jìn)行融合，最后將融合后的特征輸入到分類器得到分類結(jié)果。Dp-Net的結(jié)構(gòu)如圖1所示。

圖1 雙路網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.1 Dual-path net model structure

特征提取的過(guò)程如下，首先對(duì)輸入的CT圖像進(jìn)行快速傅里葉變換（fast Fourier transform，F(xiàn)FT）得到對(duì)應(yīng)的頻譜圖，用兩個(gè)卷積神經(jīng)網(wǎng)絡(luò)對(duì)原始圖像和頻譜圖提取特征。特征提取部分采用Resnet[11]模型。Resnet在常規(guī)分類任務(wù)中有著很好的效果，該模型通過(guò)引入殘差結(jié)構(gòu)避免梯度消失的問(wèn)題，使網(wǎng)絡(luò)能夠達(dá)到很深的層次，從而提取到更復(fù)雜的特征。由于并不知道在頻率域中有哪些具體的特征是有效的，所以用與原始圖像相同的方式對(duì)頻譜圖提取特征，并將這些從頻譜圖提取到的特征作為CT圖像在頻率域中的特征。

提取特征的公式如下所示：

其中，F(xiàn)1為圖像在空間域的特征，f1為空間域特征提取網(wǎng)絡(luò)，F(xiàn)2為圖像在頻率域的特征，f2為頻率域特征提取網(wǎng)絡(luò)，fft為快速傅里葉變換操作。

提取完特征后將兩個(gè)域提取到的特征圖按一定的權(quán)重比例進(jìn)行融合。融合后的特征如下所示：

其中，ω1和ω2分別為特征融合時(shí)空間域特征和頻率域特征的權(quán)重。

最后將最終的特征圖輸入到由全連接層構(gòu)成的分類器，并用sigmoid函數(shù)激活，得到最終的分類概率輸出。最后的輸出如下所示：

2.2 特征融合

由于特征融合部分采取的是加權(quán)求和的方式，兩個(gè)提取出來(lái)的特征圖大小要匹配，所以特征提取部分的兩個(gè)網(wǎng)絡(luò)都采用Resnet50中的部分模塊。將Resnet50的特征提取模塊按殘差塊分為4個(gè)Layer。并且將特征融合操作放在Layer3之后，融合后再經(jīng)過(guò)Layer4模塊的進(jìn)一步特征提取，這是因?yàn)樵谡麄€(gè)模型中不同位置進(jìn)行特征融合會(huì)產(chǎn)生不同的效果，通過(guò)實(shí)驗(yàn)可以證明在Layer4之前進(jìn)行特征融合的效果最好，實(shí)驗(yàn)的具體情況見實(shí)驗(yàn)部分3.4.3節(jié)，取得最佳性能的Dp-Net詳細(xì)結(jié)構(gòu)如圖2所示。另外特征融合時(shí)的權(quán)重也會(huì)對(duì)模型的性能產(chǎn)生影響，從實(shí)驗(yàn)結(jié)果看，兩個(gè)域的特征各取50%的效果最好，具體情況見實(shí)驗(yàn)部分3.4.4節(jié)。

圖2 最佳性能的雙路網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.2 Optimal performance dual-path net model structure

3 實(shí)驗(yàn)與分析

3.1 數(shù)據(jù)集與預(yù)處理

本文采用了COVID-CT數(shù)據(jù)集[12]，其中包含新冠肺炎CT圖像349張，非新冠肺炎圖像397張。這些圖像均來(lái)自于2020年1月19日至3月25日發(fā)布的關(guān)于COVID-19的預(yù)印本，并且有不同的尺寸大小，最大尺寸和最小尺寸差距較大，圖像有JPG和PNG兩種格式。數(shù)據(jù)集的信息如表1所示。

表1 COVID-CT數(shù)據(jù)集Table 1 COVID-CT data set

數(shù)據(jù)集的劃分根據(jù)數(shù)據(jù)集原論文的劃分方法分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，具體的劃分方案如表2所示。

表2 數(shù)據(jù)集的劃分Table 2 Partition of data set

由于該數(shù)據(jù)集樣本數(shù)量有限，所以需要對(duì)訓(xùn)練樣本進(jìn)行數(shù)據(jù)增強(qiáng)。本文應(yīng)用仿射變換、隨機(jī)水平翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方法來(lái)處理訓(xùn)練集中的圖像，增加數(shù)據(jù)集的多樣性，使模型能學(xué)習(xí)到更加泛化的特征。為了能更加方便地處理數(shù)據(jù)，數(shù)據(jù)集的所有圖像大小統(tǒng)一縮放為224×224，且都進(jìn)行歸一化，降低計(jì)算的復(fù)雜度，也使得模型能夠更快地收斂。

3.2 實(shí)驗(yàn)設(shè)置

本文所有模型都是在PyTorch 1.6.0以上版本框架下實(shí)現(xiàn)的，主要運(yùn)用了以下幾個(gè)Python庫(kù)：torch，torchvision，numpy，PIL等。損失函數(shù)、優(yōu)化器、學(xué)習(xí)率等參數(shù)的選擇根據(jù)實(shí)驗(yàn)的不同分成兩個(gè)方案。方案一采用交叉熵?fù)p失作為損失函數(shù)，優(yōu)化器為AdamW，學(xué)習(xí)率設(shè)置為0.000 01，一共訓(xùn)練50輪；方案二采用二元交叉熵?fù)p失作為損失函數(shù)，優(yōu)化器為Adam，并設(shè)置權(quán)重衰減為0.000 5，學(xué)習(xí)率設(shè)置為0.000 05，一共訓(xùn)練15輪。

3.3 評(píng)價(jià)指標(biāo)

為了充分說(shuō)明各個(gè)模型的性能，本文采用5種評(píng)價(jià)指標(biāo)來(lái)衡量模型的性能，包括準(zhǔn)確率（Accuracy）、查準(zhǔn)率（Precision）、召回率（Recall）、F1、AUC（Area Under ROC Curve）。定義如下：

其中，TP（true positive）表示被正確預(yù)測(cè)為正樣本的數(shù)量；FP（false positive）表示被錯(cuò)誤預(yù)測(cè)為正樣本的數(shù)量；TN（true negative）表示被正確預(yù)測(cè)為負(fù)樣本的數(shù)量；FN（false negative）表示被錯(cuò)誤預(yù)測(cè)為負(fù)樣本的數(shù)量；Accuracy表示預(yù)測(cè)正確的樣本數(shù)量占總樣本數(shù)量的百分比，是分類任務(wù)最常用的評(píng)價(jià)指標(biāo)；Precision表示預(yù)測(cè)正確的正樣本數(shù)量占所有預(yù)測(cè)為正樣本數(shù)量的百分比，又稱查準(zhǔn)率；Recall表示預(yù)測(cè)正確的正樣本數(shù)量占所有正樣本的樣本數(shù)量的百分比，又稱查全率，Recall越高說(shuō)明陽(yáng)性的漏檢越少，對(duì)新冠肺炎的診斷來(lái)說(shuō)是一個(gè)重要的指標(biāo)；F1-score是Precision和Recall的綜合評(píng)價(jià)；AUC是ROC（receiver operating characteristic）曲線下的面積，AUC對(duì)類別失衡的情況不敏感。所有評(píng)價(jià)指標(biāo)均是越大表明性能越好。

3.4 結(jié)果分析

為了充分說(shuō)明本文提出的Dp-Net模型的性能，做了以下六個(gè)對(duì)比實(shí)驗(yàn)，分別是與傳統(tǒng)CNN模型的比較、與其他文獻(xiàn)提出的方法的比較、不同的特征融合方法的比較、特征融合時(shí)不同權(quán)重的比較、可解釋性的比較以及與其他方法疊加的效果對(duì)比。前五個(gè)對(duì)比實(shí)驗(yàn)采用實(shí)驗(yàn)方案1，第六個(gè)對(duì)比實(shí)驗(yàn)采用實(shí)驗(yàn)方案2。

3.4.1 與傳統(tǒng)CNN方法比較

首先，用本文提出的模型與常用的CNN模型進(jìn)行比較，比如Alexnet[13]、Resnet、Vgg[14]、Densenet[15]。所有模型在測(cè)試集上的結(jié)果如表3所示。從表中可以看出，Dp-Net在5個(gè)評(píng)價(jià)指標(biāo)上都有較大的提高，說(shuō)明CT圖像頻率域的特征對(duì)于新冠肺炎的診斷是有效果的，而且效果的提升非常明顯，尤其是準(zhǔn)確率和召回率的提升對(duì)新冠肺炎的診斷具有重要意義。同時(shí)也說(shuō)明用卷積神經(jīng)網(wǎng)絡(luò)從CT圖像的頻譜圖上提取的特征作為CT圖像在頻率域上的特征是可行的。

表3 Dp-Net與傳統(tǒng)CNN方法的比較Table 3 Comparison between Dp-Net and traditional CNN method

3.4.2 與其他改進(jìn)方法比較

除了傳統(tǒng)的CNN模型，還與在相同數(shù)據(jù)集上進(jìn)行測(cè)試的三種改進(jìn)方法進(jìn)行比較。比較結(jié)果如表4所示。其他改進(jìn)方法的數(shù)據(jù)均來(lái)自于相應(yīng)的文獻(xiàn)，其中Self-Trans和LA-DNN都以多種模型作為主干進(jìn)行實(shí)驗(yàn)，選取了效果最好的模型做對(duì)比。從表中可以看到，本文所提出的Dp-Net在準(zhǔn)確率、F1-score和召回率3個(gè)評(píng)價(jià)指標(biāo)上優(yōu)于另外三種改進(jìn)方法，特別是準(zhǔn)確率和召回率。說(shuō)明在數(shù)據(jù)量不多的情況下，本文方法能有比其他方法更高的性能提升，且對(duì)實(shí)際情況更有幫助。Dp-Net沒有在所有五種指標(biāo)中達(dá)到最佳效果，可能是因?yàn)镾elf-Trans在其他的肺部數(shù)據(jù)集和新冠肺炎的數(shù)據(jù)集上先進(jìn)行了自監(jiān)督學(xué)習(xí)，學(xué)習(xí)到的特征會(huì)更精準(zhǔn)，預(yù)測(cè)為陽(yáng)性且確實(shí)為陽(yáng)性的可能性更高，故Precision較高；而融合頻率域特征的方式得到的特征相對(duì)更泛一些，所以Recall會(huì)更高一點(diǎn)。

表4 與其他改進(jìn)方法的比較Table 4 Comparison with other improvement methods

3.4.3 不同融合方案的比較

在雙路網(wǎng)絡(luò)模型的不同位置進(jìn)行特征融合會(huì)使模型的效果有所不同。為了找到進(jìn)行特征融合的最佳位置，對(duì)不同的融合方案進(jìn)行實(shí)驗(yàn)，結(jié)果如表5所示。將特征融合操作放在4個(gè)Layer的前、后和中間，可以看到深層的特征融合效果要比淺層的好，但也不是越深越好，在Layer4前融合的效果最好。其原因可能是當(dāng)網(wǎng)絡(luò)的深度較淺、提取的特征還不夠復(fù)雜的時(shí)候，頻率域的特征作為互補(bǔ)信息對(duì)空間域特征的補(bǔ)充有限；而隨著網(wǎng)絡(luò)的加深，從頻率域中提取的特征變得更加復(fù)雜、有效，但融合的效果也就更好。當(dāng)網(wǎng)絡(luò)達(dá)到一定的深度時(shí)，從空間域提取到的特征已經(jīng)足夠復(fù)雜，強(qiáng)行融合頻率域特征反而會(huì)導(dǎo)致對(duì)空間域特征的削弱，因?yàn)榇藭r(shí)從頻率域補(bǔ)充進(jìn)來(lái)的信息不足以彌補(bǔ)融合時(shí)空間域信息的損失，故在Layer4之后進(jìn)行特征融合的效果反而變差。

表5 不同融合方案的比較Table 5 Comparison of different fusion schemes

3.4.4 特征融合時(shí)不同權(quán)重的比較

特征融合時(shí)本文采用的策略是加權(quán)求和，頻率域特征作為對(duì)空間域特征的補(bǔ)充，要在盡可能少地削弱空間域特征的前提下補(bǔ)充進(jìn)更多的有效信息，因此融合時(shí)權(quán)重的不同會(huì)對(duì)模型的性能有一定的影響。所以對(duì)特征融合時(shí)的不同權(quán)重進(jìn)行簡(jiǎn)單實(shí)驗(yàn)。結(jié)果如表6所示?？梢钥闯觯诤蠒r(shí)空間域特征和頻率域特征的最佳權(quán)重比例為0.5∶0.5。當(dāng)頻率域特征占比低于50%時(shí)，作為對(duì)空間域特征的補(bǔ)充，模型性能的提升是比較明顯的；當(dāng)頻率域特征占比超過(guò)50%后，從頻率域補(bǔ)充進(jìn)來(lái)的信息不足以彌補(bǔ)融合時(shí)空間域信息的損失，因此性能快速下降。另外，最佳的權(quán)重比并沒有在所有評(píng)價(jià)指標(biāo)上都達(dá)到最佳的效果，可能是由于數(shù)據(jù)集較小，使得結(jié)果的波動(dòng)較大。

表6 權(quán)重實(shí)驗(yàn)Table 6 Weight experiment

3.4.5 Grad-CAM可視化

用Grad-CAM[16]對(duì)結(jié)果做可視化處理，分析模型的可解釋性。Grad-CAM是一種解釋CNN決策的方法，利用最后一個(gè)卷積層的梯度信息對(duì)輸出的特征圖的每個(gè)通道分配一個(gè)權(quán)重，加權(quán)求和得到某個(gè)分類結(jié)果的熱力圖。熱力圖反映了模型做出決策的依據(jù)，顏色越紅說(shuō)明模型越關(guān)注那塊區(qū)域。對(duì)Dp-Net和Resnet50的熱力圖做了比較，熱力圖如圖3所示?？梢钥吹?，Dp-Net要比Resnet50更加關(guān)注病灶區(qū)域，說(shuō)明用卷積神經(jīng)網(wǎng)絡(luò)提取CT圖像頻譜圖特征的方式確實(shí)能夠引導(dǎo)模型去注意到發(fā)生病變的區(qū)域，也證明相關(guān)的病變確實(shí)會(huì)引起CT圖像頻率域的變化。

圖3 Grad-CAM可視化Fig.3 Grad-CAM visualization

3.4.6 與其他改進(jìn)方法疊加

除了以上幾個(gè)實(shí)驗(yàn)，還將本文所提出的方法疊加到其他方法上，性能也得到了提升。為了方便對(duì)比，采用了與LA-DNN相同的實(shí)驗(yàn)設(shè)置2，并且所有模型都以Resnet50作為主干網(wǎng)絡(luò)。實(shí)驗(yàn)結(jié)果如表7所示。從表中可以看出，Dp-Net要比LA-DNN有更高的提升，并且兩種方法疊加后性能還可以再提升。因?yàn)長(zhǎng)A-DNN也是更加關(guān)注病灶的方法，所以可以證明這兩種方法關(guān)注病灶的方式并不沖突。

表7 與其他方法疊加的比較Table 7 Comparison with other methods superimposed

4 結(jié)束語(yǔ)

本文對(duì)基于CT圖像的新冠肺炎識(shí)別問(wèn)題進(jìn)行了研究，從獲取更多有效信息的角度出發(fā)提出了融合頻率域特征的雙路網(wǎng)絡(luò)模型來(lái)對(duì)新冠肺炎進(jìn)行識(shí)別。在有限的數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，相較于ResNet、VGG等網(wǎng)絡(luò)模型，Dp-Net在所用的新冠數(shù)據(jù)集上有著更好的效果，并且證明用卷積神經(jīng)網(wǎng)絡(luò)提取CT圖像頻譜圖特征的方式是一種可以獲取圖像頻率域特征的有效方法，可視化的結(jié)果也說(shuō)明本文的方法更能關(guān)注病變區(qū)域。另外，用另一個(gè)新冠肺炎數(shù)據(jù)集[17]對(duì)本文訓(xùn)練好的模型進(jìn)行測(cè)試，Dp-Net在主要評(píng)價(jià)指標(biāo)上均優(yōu)于其他模型，個(gè)別評(píng)價(jià)指標(biāo)略低于少數(shù)幾個(gè)其他模型。其原因很可能與數(shù)據(jù)本身有關(guān)，數(shù)據(jù)集存在的一些問(wèn)題會(huì)導(dǎo)致訓(xùn)練出來(lái)的模型泛化能力不強(qiáng)，例如圖像的分辨率差異較大，有的圖像肺部不夠完整，有的肺部處在不同的開閉程度，有的圖像存在著一些明顯的干擾信息，以及數(shù)據(jù)集的樣本數(shù)量較少等。未來(lái)可以通過(guò)更多高質(zhì)量的數(shù)據(jù)集對(duì)模型進(jìn)行訓(xùn)練，以及對(duì)如何更高效利用頻率域的信息展開研究，從而進(jìn)一步提高模型性能。