国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于密集卷積網(wǎng)絡的X線氣胸檢測與定位

2019-01-06 07:27羅國婷劉志勤周瑩王慶鳳鄭介志劉啟榆
計算機應用 2019年12期
關鍵詞:氣胸

羅國婷 劉志勤 周瑩 王慶鳳 鄭介志 劉啟榆

摘 要:現(xiàn)有X線氣胸檢測存在兩個主要問題:一是由于氣胸通常與肋骨、鎖骨等組織重疊,在臨床上存在較大的漏診,而現(xiàn)有算法的檢測性能仍有待提高;二是現(xiàn)有基于卷積神經(jīng)網(wǎng)絡的算法無法給出可疑的氣胸區(qū)域,缺乏可解釋性。針對上述問題,提出了一種結(jié)合密集卷積網(wǎng)絡(DenseNet)與梯度加權類激活映射的方法用于X線氣胸的檢測與定位。首先,構(gòu)建了一個較大規(guī)模的胸部X線數(shù)據(jù)集PX-ray用于模型的訓練和測試。其次,修改DenseNet的輸出節(jié)點并在全連接層后添加一個sigmoid函數(shù)對胸片進行二分類(氣胸/非氣胸)。在訓練過程中通過設置交叉熵損失函數(shù)的權重來緩解數(shù)據(jù)不平衡問題,提高模型準確率。最后,提取網(wǎng)絡最后一個卷積層的參數(shù)以及對應的梯度,通過梯度加權類激活映射算法獲得氣胸類別的粗略定位圖。在PX-ray測試集上的實驗結(jié)果表明,所提方法的檢測準確率為95.45%,并且在曲線下面積(AUC)、敏感度、特異性等指標上均高于0.9,優(yōu)于VGG19、GoogLeNet以及ResNet算法,同時實現(xiàn)了對氣胸區(qū)域的可視化。

關鍵詞:氣胸;胸部X線;密集卷積網(wǎng)絡;類別不平衡;類激活映射

中圖分類號: TP391.4文獻標志碼:A

Pneumothorax detection and localization in X-ray images based on

dense convolutional network

LUO Guoting1, LIU Zhiqin1*, ZHOU Ying2, WANG Qingfeng1, CHENG Jiezhi3, LIU Qiyu2

(1. College of Computer Science and Technology, Southwest University of Science and Technology, Mianyang Sichuan 621000, China;

2. Radiology Department, Mianyang Central Hospital, Mianyang Sichuan 621000, China;

3. Shanghai United Imaging Intelligence Limited Company, Shanghai 200232, China)

Abstract: There are two main problems about pneumothorax detection in X-ray images. The pneumothorax usually overlaps with tissues such as ribs and clavicles in X-ray images, easily causing missed diagnosis and the performance of the existing pneumothorax detection methods remain to be improved. The suspicious pneumothorax area detection cannot be exploited by the convolutional neural network-based algorithms, lacking the interpretability. Aiming at the problems, a novel method combining Dense convolutional Network (DenseNet) and gradient-weighted class activation mapping was proposed. Firstly, a large-scale chest X-ray dataset named PX-ray was constructed for model training and testing. Secondly, the output node of the DenseNet was modified and a sigmoid function was added after the fully connected layer to classify the chest X-ray images. In the training process, the weight of cross entropy loss function was set to alleviate the problem of data imbalance and improve the accuracy of the model. Finally, the parameters of the last convolutional layer of the network and the corresponding gradients were extracted, and the areas of the pneumothorax type were roughly located by gradient-weighted class activation mapping. The experimental results show that, the proposed method has the detection accuracy of 95.45%, and has the indicators such as Area Under Curve (AUC), sensitivity, specificity all higher than 0.9, performs the classic algorithms of VGG19, GoogLeNet and ResNet, and realizes the visualization of pneumothorax area.

Key words: pneumothorax; chest X-ray; Dense convolutional Network (DenseNet); class-imbalance; class activation mapping

0 引言

氣胸(PneumoThoraX, PTX)屬于胸外科和呼吸內(nèi)科急癥[1-2],是指在肺和胸壁之間的胸膜腔內(nèi)有氣體異常積聚的病癥。在歐美國家,每年大約有13萬~21萬例氣胸[3],且復發(fā)率高達35%[4]。如果發(fā)現(xiàn)不及時,可能導致肺完全萎縮或其他并發(fā)癥,嚴重者將引起心肺功能衰竭,危及生命[5]。因此,氣胸的早期發(fā)現(xiàn)及治療尤為重要。

基于胸部X線的影像學檢查是氣胸最常用的一種檢查方法。相較于其他影像學檢查,胸部X線(胸片)具有經(jīng)濟高效、能清晰地顯示氣胸的病變特征及范圍等優(yōu)勢。氣胸在站立位胸片上呈無肺紋理暗區(qū)(圖1(a)中A-1),以肺胸膜線為界,如圖1(a)白色箭頭所示;仰臥位胸片(圖1(b))上可通過萎縮性肋膈溝(深溝征)提示氣胸的存在[6-7]。但基于人工的方法檢測氣胸耗時、費力,且診斷結(jié)果易受醫(yī)生經(jīng)驗等主觀影響,文獻[3]報道美國每年將近7.4萬氣胸患者因誤診或延遲診斷而耽誤治療,同時在我們國家對于少量或微量的氣胸,也存在較大的漏診[8]。 借助于計算機輔助診斷(Computer-Aided Diagnosis, CAD)系統(tǒng),實現(xiàn)X線氣胸的自動檢測,可以提高診斷效率和準確率,減少漏診。

然而,胸部X線氣胸的自動檢測是一項極具挑戰(zhàn)性的工作。受氣胸大小、拍攝擺位、圖像質(zhì)量以及放射參數(shù)等因素影響,氣胸的特征變得模糊。此外,氣胸容易與皮膚褶皺、鎖骨、肩胛骨以及胸腔引流放置重疊,也在一定程度上影響氣胸特征的提取。而氣胸特征提取的準確性決定了檢測結(jié)果的精度。傳統(tǒng)的氣胸檢測方法需要手動設計不同的特征提取算法,如:基于特定規(guī)則提取后肋骨線和胸膜線[9]、局部和全局紋理特征分析[10]、局部二值模式和支持向量機[11]等。這些特征提取的過程較為復雜,且提取的特征可能存在信息涵蓋不全等現(xiàn)象,從而導致氣胸的檢測性能不高。

隨著深度學習的發(fā)展,以卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network, CNN)為代表的神經(jīng)網(wǎng)絡在計算機視覺領域的成功應用[12],為CNN在醫(yī)學圖像病變檢測方面的應用奠定了基礎。CNN一般由輸入層、卷積層、池化層、激活層以及全連接層組成,自動學習從原始輸入到期望輸出間的特征映射,相較于傳統(tǒng)算法復雜的特征提取過程,CNN在高級抽象特征提取上的能力更顯著,尤其是對細粒度圖像的識別具有極大的優(yōu)勢和潛力[13]。文獻[14]首次提出用殘差網(wǎng)絡(Residual Network, ResNet)來檢測胸部疾病,并公開了一個超大規(guī)模的胸部數(shù)據(jù)集:ChestX-ray14,該算法在氣胸檢測上取得了較好的結(jié)果,曲線下面積 (Area Under Curve, AUC)為0.79。文獻[15]采用多尺度CNN,將胸片下采樣到三種不同尺寸進行訓練,將AUC提高到0.911;該方法的主要問題在于未考慮其他胸部疾病對結(jié)果的影響,使得訓練的模型很容易將其他疾病也歸類為氣胸。文獻[16]通過組合不同的超參數(shù)和CNN架構(gòu)訓練了多個模型,最后獲得了兩個最佳模型:一個是基于VGG19[17]的高敏感度(0.79)模型;另一個是基于GoogLeNet[18]的高特異性(0.97)模型。由于它們的主要目標是檢測氣胸危急情況,因此在訓練數(shù)據(jù)中只納入了中等和大量氣胸,而忽略了少量氣胸。

綜上,雖然現(xiàn)有基于深度學習的氣胸檢測方法能有效提升檢測性能,但仍存在三個局限:一是大部分研究使用的數(shù)據(jù)集是ChestX-ray14,該數(shù)據(jù)集來自歐美患者,成像參數(shù)及體格均與國內(nèi)有明顯差異,此外標簽的獲取是通過文本挖掘技術,據(jù)報道,氣胸標簽和放射科醫(yī)生標注的一致性僅為60%[16],數(shù)據(jù)標簽的錯誤也會導致檢測性能的下降;此外,目前還缺乏適用于國內(nèi)的大規(guī)模數(shù)據(jù)集。二是現(xiàn)有算法并沒有提到少量氣胸的檢測,尤其是文獻[16]將少量氣胸完全排除在外,且氣胸的檢測性能有待提高。三是由于CNN和其他深度網(wǎng)絡沒有直觀和易于解釋的組件,就像一個“黑匣子”,使得現(xiàn)有基于深度學習的氣胸檢測方法缺乏可解釋性;而要讓人們建立起對CAD氣胸檢測系統(tǒng)的信任,就必須使模型透明和易于解釋。

目前對CNN的可視化已有較多的研究成果,如:文獻[19-21]通過突出“重要”像素點,即改變那些對預測值有很大影響的像素點強度而使CNN預測可視化,但這些方法不具類別判別能力。文獻[22]通過修改CNN架構(gòu),用卷積層和全局平均池化層(Global Average Pooling, GAP)代替全連接層,并用特定類別的類激活映射(Class Activation Mapping, CAM)圖表示CNN識別該類別而關注的圖像區(qū)域;但CAM的缺點是需要修改網(wǎng)絡架構(gòu),且修改后的網(wǎng)絡會損失一定的精度。文獻[23]在CAM基礎上提出了梯度加權CAM(Gradient-weighted CAM, Grad-CAM)算法,該算法不需要修改網(wǎng)絡架構(gòu)或重新訓練網(wǎng)絡,可以從任何基于CNN的網(wǎng)絡生成不同類別對應的視覺解釋。

針對上述數(shù)據(jù)集的局限性,本文的首要工作是構(gòu)建一個國內(nèi)X線氣胸的較大規(guī)模數(shù)據(jù)集,同時考慮到目前在臨床上對少量氣胸的檢測存在較大的漏診,因此在構(gòu)建數(shù)據(jù)集時通過增加少量氣胸的比重和采用數(shù)據(jù)增強來提升模型對少量氣胸的擬合能力。其次,本文提出基于密集卷積網(wǎng)絡(Densely Convolutional Networks, DenseNet)[24]的改進算法檢測氣胸,結(jié)合DenseNet具備網(wǎng)絡較深、能夠融合淺層與深層特征進行分類的優(yōu)勢,修改密集卷積網(wǎng)絡的輸出節(jié)點并在全連接層后添加一個sigmoid函數(shù)檢測氣胸。此外,為了減少數(shù)據(jù)不平衡帶來的影響,提出一種加權的交叉熵損失函數(shù)訓練策略,以期提高準確率。最后,本文將DenseNet與Grad-CAM算法結(jié)合,生成氣胸的定位熱力圖,從而增加卷積網(wǎng)絡的可解釋性。

1 數(shù)據(jù)集及其預處理

1.1 數(shù)據(jù)集創(chuàng)建

由于國內(nèi)目前還沒有公開可用的胸部X線氣胸數(shù)據(jù)集,因此本文構(gòu)建了一個國內(nèi)的較大規(guī)模數(shù)據(jù)集:PX-ray,用于模型的訓練及測試。PX-ray來源于綿陽市中心醫(yī)院,首先通過檢索圖像存檔與通信系統(tǒng)(Picture Archiving and Communication System, PACS)中2010年1月到2018年6月氣胸的臨床報告數(shù)據(jù)庫,確定候選范圍。然后,再使用關鍵詞“氣胸”篩選出陽性組的候選圖像;陰性組的納入圖像通過搜索陰性短語(如心肺無異常)和納入不符合陽性納入標準的同期胸片來確定。陰性組的選取采用以上兩種納入方法可確保陰性組里不僅有正常的胸片,同時包含除氣胸外的其他胸部疾病的胸片。最后,用定制的自動化圖像下載工具從PACS里提取候選圖像及診斷報告。為了保證醫(yī)院及病人隱私安全,對所有數(shù)據(jù)進行匿名化處理,包括刪除病人姓名及機構(gòu)名等敏感信息。最終成功獲取12050例后前位胸片。

1.2 數(shù)據(jù)集標注

數(shù)據(jù)標注過程分為粗標注和細標注兩步。粗標注由文本報告生成,將文本中包含“心肺無異常”或不包含“氣胸”的影像標記為0,表示無氣胸;將文本中包含“氣胸”的影像標記為1,表示有氣胸。經(jīng)過粗標注后,可以確保標記為0的影像都不包含氣胸,但標記為1的影像需要再次排查。細標注時,再次從標記為1的影像對應文本中提取關鍵字“可疑” “考慮” “氣胸基本吸收” “氣胸好轉(zhuǎn)”等不確定性詞組,將該部分病例提取出來,交給有經(jīng)驗的放射科醫(yī)生再次核實。之所以不丟棄這些疑問數(shù)據(jù),主要是這部分數(shù)據(jù)正是比較難診斷的少量氣胸,對模型的訓練非常重要。提取文本中每例氣胸的大小,結(jié)果如圖2所示。由圖2可以看出,少量及微量氣胸(20%以內(nèi))占了氣胸例數(shù)的一半(3055/5650),使得模型更有利于學習到少量氣胸的特征。

1.3 數(shù)據(jù)預處理

由于原始胸部X線的像素由12位組成,其像素強度在0到4095之間,這使得像素間信息非常豐富,但也會導致高光噪聲[11]?;谶@一原因,將原始像素轉(zhuǎn)換為8位,即像素強度變?yōu)?到255之間,并對圖像作歸一化處理,如式(1):

其中:X代表原始圖像像素矩陣;Xmin和Xmax分別是原始圖像的最小和最大值;Xnorm是進行歸一化和強度變換后的像素矩陣。

將PX-ray所有數(shù)據(jù)打亂重組,按照60%/20%/20%的比例分成訓練集、驗證集和測試集,以便所有訓練和評估實驗都使用相同的數(shù)據(jù)集。為保證模型對未知數(shù)據(jù)的泛化能力,三個數(shù)據(jù)集的圖像互不交叉。此外,本文在訓練時通過隨機水平翻轉(zhuǎn)以及隨機裁剪方法實現(xiàn)數(shù)據(jù)增強。數(shù)據(jù)增強不僅可以擴大訓練數(shù)據(jù),還可以進一步提升模型的泛化能力。

2 氣胸檢測網(wǎng)絡

2.1 基于DenseNet的網(wǎng)絡架構(gòu)設計

DenseNet的主要結(jié)構(gòu)為密集塊(Dense Block, DB)和過渡塊(Transition Block, TB)。Dense Block用前饋的方式將每一層(Layer)的特征圖(feature maps)直接傳遞給后面所有層,使用級聯(lián)方式,使得每一層都接受來自前面層的特征映射。假設Xl表示第l層的feature maps,它接收所有以前層,包括X0,X1,…,Xl-1層的feature maps,如圖3(a)所示,則有:

Xl=Hl([X0,X1,…,Xl-1])(2)

其中,Hl為復合函數(shù),由批量歸一化(Batch Normalization, Batch Norm)、整流線性單元(Rectified Linear unit, ReLu)及卷積(Convolution, Conv)等組成。

考慮到特征融合后輸入的特征圖數(shù)量仍然很多,為了減少其數(shù)量及降低維度而加入了瓶頸層(Bottleneck Layer),即在Dense Block的每個Layer中加入1×1的卷積,其后添加3×3、生長率(Growth Rate)為32的卷積用于提取特征。每次卷積前都先進行Batch Normalization以及ReLu激活,從而提高網(wǎng)絡的泛化性和避免梯度消失問題。此外,本文在卷積后加入隨機失活正則項(Dropout)層,概率設為0.25來避免網(wǎng)絡過擬合。Layer細節(jié)如圖3(b)所示。

為了進一步壓縮參數(shù)和降低維度,在Dense Block 之間加入了Transition Block。假設Dense Block輸出m個feature maps,則通過Transition Block中的1×1卷積生成θm個feature maps,其中θ屬于(0,1),以此來減少feature maps的數(shù)量。與Dense Block一樣,卷積前先進行Batch Norm 以及ReLu。再通過2×2的平均池化(Average pooling, Avg pool)降低feature maps的大小, 如圖4所示。在本文中,每經(jīng)過一個Transition Block,feature maps的數(shù)量及大小均減半。

氣胸的檢測屬于二分類任務,即存在或不存在氣胸。因此,本文基于DenseNet的兩種主要結(jié)構(gòu),構(gòu)建了一個121層的特征提取網(wǎng)絡,如圖5所示。首先將圖像輸入7×7的卷積層獲取特征。然后,再經(jīng)過3×3的最大池化簡化網(wǎng)絡計算復雜度,之后經(jīng)過4個Dense Block來提取更抽象的特征,Dense Block layers的數(shù)量分別為6、12、24和16,并在最后一個Dense Block后添加一個Batch Norm層,對最后一個卷積層的輸出進行歸一化。最后,將DenseNet的輸出節(jié)點修改為2,并在其后添加一個sigmoid層獲取氣胸的檢測概率。

本文基于改進的DenseNet提取氣胸特征的優(yōu)勢主要體現(xiàn)在以下3方面:

1)省參數(shù)。網(wǎng)絡中的每一層都直接與其前面層相連,實現(xiàn)feature maps的重復利用;同時可以把網(wǎng)絡的每一層都設計得特別窄,即只學習非常少的feature maps,減少了冗余特征。此外,通過添加瓶頸層和過渡層,又再一次降低了參數(shù)量。這對于工業(yè)界而言,小模型可以顯著地節(jié)省帶寬,降低存儲開銷。

2)省計算。由于網(wǎng)絡的每一個卷積層都比較窄,通道數(shù)均為32,而一般卷積網(wǎng)絡更深層的卷積通道數(shù)都有上千個。因此DenseNet的卷積計算量非常低。

3)抗過擬合。由于DenseNet 可以綜合利用淺層復雜度低的特征,因而更容易得到一個光滑的具有更好泛化性能的決策函數(shù);同時加入了Dropout正則化項,因此具有非常好的抗過擬合性能[25]。

2.2 加權交叉熵損失函數(shù)

傳統(tǒng)的交叉熵損失函數(shù)(Cross Entropy Loss function, CELoss)因不同類別的訓練樣本數(shù)目不平衡,從而導致網(wǎng)絡訓練時側(cè)重樣本數(shù)目較多的類別,而“輕視”樣本數(shù)目較少的類別,這樣網(wǎng)絡泛化能力就會受到影響。

本文通過在CELoss中設置權重系數(shù)w,讓小樣本乘以較大的權重,大樣本乘以較小的權重,來緩解因數(shù)據(jù)不平衡造成的影響。加權CELoss(Weighted CELoss, WCELoss)可表示為:

L(X,y)=-ω+y lg ρ(Y=1|X)-

ω-(1-y)lg ρ(Y=0|X)(3)

其中:ρ(Y=i|X)代表網(wǎng)絡預測為i類的概率;ω+=(|P|+|N|)/|P|,ω-=(|P|+|N|)/|N|,|P|、|N|分別為訓練集每一批次中氣胸的陽性病例數(shù)和陰性病例數(shù)。就本文的研究而言,氣胸的病例較少于非氣胸病例。采用這種方法,使得網(wǎng)絡在每一批次訓練時,氣胸類樣本的損失就會加大,從而減輕數(shù)據(jù)不平衡帶來的影響。

3 基于Grad-CAM的氣胸區(qū)域定位

已有研究證明CNN中的更深層次主要捕獲更高層次的語義信息[25-26],此外,卷積層保留了在全連接層中丟失的空間信息,因此可以大膽猜測網(wǎng)絡最后的一個卷積層在高級語義和空間信息之間達到最好折中,這些層中的特征圖能在圖像中尋找語義類特定的信息(比如對象部分)。Grad-CAM就是利用流進CNN最后一個卷積層的梯度信息,然后將該信息反向傳播到卷積層,以此來了解該卷積中的每個特征圖對特定類做決策的重要性。將卷積層的特征圖與其對應的重要性權重相乘就得到了特定類的定位圖,實現(xiàn)對氣胸的弱監(jiān)督定位。Grad-CAM算法的流程如圖6所示,具體算法步驟如下:

1)假設LcGrad-CAM∈Rμ×ν為類別c的類別定位圖,其中μ和ν分別是類別c的寬度和高度。

2)計算類別c的得分梯度yc,yc是sigmoid層之前,即本文算法中的Linear層(圖5)的輸出結(jié)果,維度為2。

3)提取網(wǎng)絡最后一個卷積層參數(shù),在本文中,最后一個卷積層的大小為7×7,通道數(shù)(卷積核)為1024,將yc分別對1024個特征圖(記Ak,表示第k個特征圖)求偏導,就得到了第k個特征圖的梯度。

4)分別對k個特征圖的梯度求像素平均,獲得該特征圖的重要性權重αck:

αck=1Z∑i∑jycAk(4)

其中:權重αck表示第k個特征圖對類別c決策的重要性; Z為Ak的像素數(shù),Aki, j為Ak中(i, j)處的像素值。

5)將k個特征圖與其對應的權重αck相乘再求和就得到了LcGrad-CAM。由于對類別c有正影響的那些特征值應該被關注,而有負影響的特征值應被舍棄,所以在上述基礎上添加一個ReLu函數(shù)。ReLu函數(shù)將負值的特征變?yōu)?,從而減少負值對結(jié)果的干擾。LcGrad-CAM的計算式如式(5):

LcGrad-CAM=ReLu(∑kack·Ak)(5)

6)由上述得到的類別c定位圖尺寸與最后一個卷積層尺寸相同,均為7×7。因此,為了更好的可視化結(jié)果,本文將Grad-CAM上采樣到輸入圖像大小,并與輸入進行疊加形成最終的定位熱力圖(Localization heat map)。

Grad-CAM算法為模型提供可靠的可視化解釋,它直觀地闡釋了模型是看圖像哪個區(qū)域而做的決策。這種方法的優(yōu)勢在于:首先不需要對圖像進行細致的氣胸區(qū)域標注,減少了標注的成本;其次可以結(jié)合任意基于CNN的網(wǎng)絡,而不需要修改或重新訓練網(wǎng)絡,擴展性較好。

4 實驗與結(jié)果分析

4.1 評價指標

為全面衡量本文所提模型對氣胸的檢測性能,采用曲線下面積(AUC)、錯誤率(Error Rate, Error)、敏感度(Sensitivity, Se)、特異度(Specificity, Sp)、陽性預測值(Positive Predictive Value, PPV)和陰性預測值(Negative Predictive Value, NPV)作為評價指標,計算式分別如下:

Se=TPTP+FN(6)

Sp=TNTN+FP(7)

PPV=TPTP+FP(8)

NPV=TNTN+FN(9)

其中:TP為真陽性樣本數(shù);TN為真陰性樣本數(shù);FP為假陽性樣本數(shù);FN為假陰性樣本數(shù)。

此外,模型的時間復雜度和空間復雜度也是衡量模型好壞的重要指標[27]。時間復雜度決定了模型訓練或預測需要運算的次數(shù),空間復雜度決定了需要學習的參數(shù)數(shù)量。時間復雜度通常以浮點運算次數(shù)(FLoating-point OPerations, FLOPs)來衡量,空間復雜度則以模型參數(shù)數(shù)量(Parameters)來衡量。對于卷積神經(jīng)網(wǎng)絡,時間復雜度和空間復雜度的計算分為卷積層和全連接層。對于每個卷積層,其時間復雜度和空間復雜度分別為:

從表2中可以看出:雖然文獻[14]模型基于ResNet的模型空間復雜度最低,但對內(nèi)存的消耗卻是最大的。文獻[16]的基于VGG19(文獻[16]模型_1)和GoogLeNet(文獻[16]模型_2)的兩個模型,在較少的卷積層數(shù)下,時間復雜度和空間復雜度都非常高。由于氣胸是胸部的危急癥,本文算法希望能在X線檢查中實時監(jiān)控,因此對模型的時間復雜度和精確度的要求較高,而本文基于DenseNet的模型在確保高準確度的同時,時間復雜度也是所有模型中最低的;此外,空間復雜度以及內(nèi)存消耗也取得了較好的折中效果。綜合來講,本文模型可以滿足臨床的高需求。

4.3 氣胸定位性能評估

對于DenseNet判定為氣胸的圖像,本文不僅給出氣胸的概率值,同時應用Grad-CAM方法對可疑氣胸區(qū)域粗略定位,縮小醫(yī)生查找病灶的范圍。圖8給出了本文模型在部分測試集的定位結(jié)果,圖中矩形框是由醫(yī)生標注的氣胸區(qū)域。由圖8可以看出:圖8(a)為右側(cè)大面積氣胸,模型很好地檢測到氣胸區(qū)域;圖8(b)雖然沒有直接檢測到右側(cè)少量氣胸,但識別出了術后氣胸的典型特征(胸管);圖8(c)左側(cè)少量氣胸被模型準確識別;圖8(d)是左側(cè)中等量氣胸;圖8(e)為嬰幼兒氣胸;圖8(f)是熱力圖偽彩色轉(zhuǎn)換對照卡,越靠近255的區(qū)域表示對氣胸檢測越重要。從可視化定位圖中可以看出,本文模型確實很好地擬合了氣胸的特征,比如:大面積的無紋理暗區(qū)、胸管以及位置信息(均位于肺的四周)等。

圖9顯示的是不同卷積層對氣胸區(qū)域定位的重要性。從圖9中可以發(fā)現(xiàn),網(wǎng)絡前面的卷積層主要提取空間信息,而最深的卷積層提取的語義信息最豐富,可視化效果也最好。

5 結(jié)語

本文充分利用DenseNet在特征提取方面的優(yōu)勢以及Grad-CAM可視化方法,提出了一個121層的深度CNN模型,實現(xiàn)了X線氣胸(包括少量氣胸)的自動檢測及定位。本文所提模型準確率更高,不僅避免了人工提取特征的復雜性和局限性,同時增加了深度學習算法的可解釋性,并且采用了數(shù)據(jù)擴充的方法使模型能更好地擬合少量氣胸。通過給少數(shù)樣本較大的損失權重,在一定程度上緩解了數(shù)據(jù)不平衡問題,提高了模型的性能。實驗結(jié)果表明,本文方法具有非常高的靈敏度及特異性,可輔助醫(yī)生提高氣胸診斷效率,減少漏診誤診。

盡管本文有意將盡可能多的不同臨床環(huán)境(包括體檢、門診、急診及重癥監(jiān)護室)和不同年齡段人群(嬰幼兒、成人及老人)的胸片納入其中,但上述訓練及測試的數(shù)據(jù)都是來自同一個機構(gòu),如何使本文方法適用于更廣泛的臨床環(huán)境是下一步的研究方向。

參考文獻 (References)

[1]王朝,鄒衛(wèi).原發(fā)性自發(fā)性氣胸病因研究進展[J].臨床肺科雜志,2015,20(6):1120-1122,1126.(WANG C, ZOU W. Progress in study of primary spontaneous pneumothorax [J]. Journal of Clinical Pulmonary Medicine, 2015, 20(6): 1120-1122, 1126.)

[2]THOMSEN L, NATHO O, FEIGEN U, et al. Value of digital radiography in expiration in detection of pneumothorax [J]. RoFo: Fortschritte auf dem Gebiete der Rontgenstrahlen und der Nuklearmedizin, 2014, 186(3): 267-273.

[3]BINTCLIFFE O, MASKELL N. Spontaneous pneumothorax [J]. British Medical Journal, 2014, 348: g2928.

[4]SUTHAR M, MAHJOUBFAR A, SEALS K, et al. Diagnostic tool for pneumothorax [C]// Proceedings of the 2016 IEEE Photonics Society Summer Topical Meeting Series. Piscataway: IEEE, 2016: 218-219.

[5]MACDUFF A, ARNOLD A, HARVEY J. Management of spontaneous pneumothorax: British thoracic society pleural disease guideline 2010 [J]. Thorax, 2010, 65(S2): ii18-ii31.

[6]OCONNOR A R, MORGAN W E. Radiological review of pneumothrax [J]. British Medical Journal, 2005, 330(7506): 1493-1497.

[7]SEOW A, KAZEROONI E A, PERNICANO P G, et al. Comparison of upright inspiratory and expiratory chest radiographs for detecting pneumothoraces [J]. American Journal of Roentgenology, 1996, 166(2): 313-316.

[8]穆魁津.談談氣胸的診斷方法[J].中國實用內(nèi)科雜志,1995,15(4):205-206.(MU K J. Discussion on the diagnosis of pneumothorax [J]. Chinese Journal of Practical Internal Medicine, 1995, 15(4): 205-206).

[9]SANADA S, DOI K, MACMAHON H. Image feature analysis and computer-aided diagnosis in digital radiography: automated detection of pneumothorax in chest images [J]. Medical Physics, 1992, 19(5): 1153-1160.

[10]GEVA O, ZIMMERMAN-MORENO G, LIEBERMAN S, et al. Pneumothorax detection in chest radiographs using local and global texture signatures [C]// Proceedings of the Medical Imaging 2015: Computer-Aided Diagnosis, SPIE 9414. Bellingham: SPIE, 2015: Article No. 94141P.

[11]CHAN Y H, ZENG Y Z, WU H C, et al. Effective pneumothorax detection for chest X-ray images using local binary pattern and support vector machine [J]. Journal of Healthcare Engineering, 2018, 2018: Article No. 2908517.

[12]LECUN Y, BOSER B, DENKER J S, et al. Handwritten digit recognition with a back-propagation network [C]// Proceedings of the 1989 International Conference on Neural Information Processing Systems. San Francisco: Morgan Kaufmann Publishers Inc., 1989: 396-404.

[13]何雪英,韓忠義,魏本征.基于深度卷積神經(jīng)網(wǎng)絡的色素性皮膚病識別分類[J].計算機應用,2018,38(11):3236-3240.(HE X Y, HAN Z Y, WEI B Z. Pigmented skin lesion classification based dermoscopic images using deep convolutional neural network [J]. Journal of Computer Applications, 2018, 38(11): 3236-3240).

[14]WANG X, PENG Y, LU L, et al. Chestx-ray8: hospital-scale chest X-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 3462-3471.

[15]JUN T J, KIM D, KIM D. Automated diagnosis of pneumothorax using an ensemble of convolutional neural networks with multi-sized chest radiography images [EB/OL]. [2019-03-22]. https://arxiv.org/ftp/arxiv/papers/1804/1804.06821.pdf.

[16]TAYLOR A G, MIELKE C, MONGAN J. Automated detection of moderate and large pneumothorax on frontal chest X-rays using deep convolutional neural networks: a retrospective study [J]. PLOS Medicine, 2018, 15(11): e1002697.

[17]SZEGEDY C, LIU W, JIA Y, et al. Going deeper with convolutions [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2015: 1-9.

[18]SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition [EB/OL]. [2019-03-22]. https://arxiv.org/pdf/1409.1556.pdf.

[19]PINHEIRO P O, COLLOBERT R. From image-level to pixel-level labeling with convolutional networks [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2015: 1713-1721.

[20]RIBEIRO M T, SINGH S, GUESTRIN C. “Why Should I Trust You?”: explaining the predictions of any classifier [EB/OL]. [2019-03-22]. https://arxiv.org/pdf/1602.04938.pdf.

[21]FANG H, GUPTA S, IANDOLA F, et al. From captions to visual concepts and back [C]// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2015: 1473-1482.

[22]ZHOU B, KHOSLA A, LAPEDRIZA A, et al. Learning deep features for discriminative localization [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2016: 2921-2929.

[23]SELVARAJU R R, COGSWELL M, DAS A, et al. Grad-CAM: visual explanations from deep networks via gradient-based localization [C]// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway: IEEE, 2017: 618-626.

[24]HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks [C]// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2017: 2261-2269.

[25]BENGIO Y, COURVILLE A, VINCENT P. Representation learning: a review and new perspectives [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(8): 1798-1828.

[26]MAHENDRAN A, VEDALDI A. Visualizing deep convolutional neural networks using natural pre-images [J]. International Journal of Computer Vision, 2016, 120(3): 233-255.

[27]楊真真,匡楠,范露,等.基于卷積神經(jīng)網(wǎng)絡的圖像分類算法綜述[J].信號處理,2018,34(12):1474-1489.(YANG Z Z, KUANG N, FAN L, et al. Review of image classification algorithms based on convolutional neural networks [J]. Journal of Signal Processing, 2018, 34(12): 1474-1489.)

This work is partially supported by the Science and Technology Program of Sichuan Province (2019JDRC0119).

LUO Guoting, born in 1995, M. S. candidate. Her research interests include medical image analysis, deep learning.

LIU Zhiqin, born in 1962, M. S., professor. Her research interests include medical image analysis, high performance computing.

ZHOU Ying, born in 1984, Ph. D., attending physician. Her research interests include tumor image analysis, deep learning.

WANG Qingfeng, born in 1988, Ph. D, lecturer. Her research interests include medical image analysis, computer-aided diagnosis.

CHENG Jiezhi, born in 1980, Ph. D. His research interests include medical image analysis, pattern recognition.

LIU Qiyu, born in 1963, M. S., chief physician. His research interests include medical image analysis, interventional radiology.

收稿日期:2019-05-27;修回日期:2019-07-23;錄用日期:2019-07-24?;痦椖浚核拇ㄊ】萍加媱濏椖浚?019JDRC0119)。

作者簡介:羅國婷(1995—),女,四川綿陽人,碩士研究生,CCF會員(88023G),主要研究方向:醫(yī)學圖像分析、深度學習; 劉志勤(1962—),女,四川綿陽人,教授,碩士,CCF會員,主要研究方向:醫(yī)學圖像分析、高性能計算; 周瑩(1984—),女,四川綿陽人,主治醫(yī)師,博士,主要研究方向:腫瘤圖像分析、深度學習; 王慶鳳(1988—),女,四川安岳人,講師,博士,CCF會員,主要研究方向:醫(yī)學圖像分析、計算機輔助診斷;鄭介志(1980—),男,中國臺灣人,博士,主要研究方向:醫(yī)學圖像分析、模式識別; 劉啟榆 (1963—),男,四川廣元人,主任醫(yī)師,碩士,主要研究方向:醫(yī)學圖像分析、介入放射學。

文章編號:1001-9081(2019)12-3541-07DOI:10.11772/j.issn.1001-9081.2019050884

猜你喜歡
氣胸
胸腔鏡下肺大泡切除縫扎術治療自發(fā)性氣胸的臨床效果
咳嗽伴胸痛警惕自發(fā)性氣胸
氣胸患者的護理措施
自發(fā)性氣胸的臨床表現(xiàn)和診治
被針扎出來的氣胸
氣胸是由什么原因引起的?
出現(xiàn)氣胸后,患者及其家屬如何處理
自發(fā)性氣胸治療方法選擇的前瞻性研究
氣胸的分類及誘發(fā)原因
冬春季節(jié)話氣胸
南华县| 桃江县| 九龙坡区| 泽普县| 文山县| 太仓市| 香港 | 哈尔滨市| 招远市| 库伦旗| 兴文县| 噶尔县| 阿图什市| 杭锦旗| 温州市| 合肥市| 镇平县| 宜宾市| 姚安县| 平南县| 清丰县| 友谊县| 和静县| 屏南县| 平乡县| 广安市| 珲春市| 两当县| 博兴县| 隆化县| 鄢陵县| 康乐县| 靖江市| 威信县| 温泉县| 汽车| 浮山县| 五大连池市| 枝江市| 福安市| 太保市|