李爭(zhēng)平,栗卓然,王立軍,李曉雪,姚 遠(yuǎn),郝昱文
(1.北方工業(yè)大學(xué) 信息學(xué)院,北京 100144;2.解放軍總醫(yī)院醫(yī)學(xué)創(chuàng)新中心,北京 100039;3.解放軍聯(lián)勤保障部隊(duì)第903醫(yī)院,浙江 杭州 310004)
張力性氣胸是造成急性呼吸困難最常見的原因之一,臨床上以突發(fā)一側(cè)胸痛、胸悶氣促,甚至呼吸衰竭為主要特征。由于胸膜腔內(nèi)壓力突然改變導(dǎo)致靜脈回心血流受阻,影響心肺循環(huán)的穩(wěn)定性,急需早期診斷與處理。在交通事故、災(zāi)害救援以及戰(zhàn)創(chuàng)傷救治環(huán)境下,張力性氣胸是一種常見的創(chuàng)傷。
臨床上對(duì)于張力性氣胸的檢查和診斷一般以X光和CT斷層掃描居多。X光對(duì)于氣胸診斷的特異度較高,CT斷層掃描在臨床上可作為診斷氣胸的“金標(biāo)準(zhǔn)”。目前,將X光、CT斷層掃描和深度學(xué)習(xí)等模式識(shí)別方法相結(jié)合運(yùn)用于氣胸診斷的研究已取得一定進(jìn)展。ChenYi Kao等人研制了自動(dòng)放射學(xué)報(bào)警系統(tǒng),通過(guò)深度學(xué)習(xí)模型檢測(cè)胸片中的氣胸,并與現(xiàn)有自動(dòng)報(bào)警系統(tǒng)進(jìn)行比較,性能提升明顯;Cho Yongil等研究了基于人工智能和Kim-Monte Carlo算法的胸部X射線氣胸檢測(cè)方法;Sebastian R?hrich等開發(fā)了基于深度殘差UNet和像素級(jí)分類算法對(duì)氣胸CT圖像進(jìn)行分類識(shí)別,以提高深度學(xué)習(xí)診斷氣胸的穩(wěn)定性。Xiang Li等研究了基于深度學(xué)習(xí)的CT自動(dòng)檢測(cè)氣胸技術(shù),并對(duì)深度學(xué)習(xí)模型對(duì)CT檢測(cè)氣胸的準(zhǔn)確性進(jìn)行評(píng)估。但CT和X射線均具有一定的電離輻射,對(duì)使用者和患者都存在一定的副作用,且CT和X射線設(shè)備體積大、重量大,無(wú)法在災(zāi)害救援現(xiàn)場(chǎng)或戰(zhàn)場(chǎng)環(huán)境中快速部署。
隨著圖像處理和信號(hào)處理技術(shù)的發(fā)展,超聲設(shè)備逐漸小型化并更多的運(yùn)用于災(zāi)害救援現(xiàn)場(chǎng)和戰(zhàn)創(chuàng)傷救治現(xiàn)場(chǎng)中。超聲設(shè)備具有結(jié)構(gòu)簡(jiǎn)單、方便攜帶,且對(duì)人體無(wú)電離輻射等特點(diǎn),逐漸受到救援人員的青睞。鑒于超聲的成像機(jī)理,超聲圖像噪聲較多,清晰度、分辨率相較于CT和X光等醫(yī)學(xué)影像而言明顯較弱。此外,超聲的使用者需要進(jìn)行專業(yè)培訓(xùn),檢測(cè)結(jié)果也往往受限于使用者的臨床技能水平。為降低超聲設(shè)備使用者技術(shù)水平造成的影響,提高張力性氣胸的診斷準(zhǔn)確率,可將便攜式超聲設(shè)備引入智能化設(shè)計(jì)。將機(jī)器學(xué)習(xí)等模式識(shí)別方法引入本文,探究?jī)深惿疃葘W(xué)習(xí)模型GooLeNet和VGG19對(duì)5類肺部超聲圖像的識(shí)別效果。M模式圖像結(jié)構(gòu)示意圖如圖1所示。
圖1 M模式圖像結(jié)構(gòu)示意圖
本文將對(duì)有A線、沙灘征、條碼征、肺點(diǎn)以及被肋骨遮擋這五種特征圖像進(jìn)行分類識(shí)別。A線是超聲波遇到胸膜后,經(jīng)過(guò)多層反射后形成的多條與胸膜線平行的線形偽像,表現(xiàn)為與胸膜線平行、等間距、強(qiáng)度依次減弱的高回聲水平線,每條A線之間的距離與壁層胸膜和皮膚表面之間的距離相等。A線多出現(xiàn)于肺密度正常的情況,通??杀硎緸檎7蔚奶卣?。M模式和B模式下A線的超聲圖像如圖2所示。
圖2 M模式(左)和B模式(右)A線超聲圖像
沙灘征是M型超聲特有的征象,它表現(xiàn)為一種顆粒狀間斷的沙質(zhì)圖案,因此被稱為沙灘征。在M模式下,當(dāng)掃描對(duì)象為運(yùn)動(dòng)的器官時(shí),就會(huì)出現(xiàn)沙灘征。由于肺部的呼吸作用,使得M模式下正常肺部的征象呈現(xiàn)為沙灘征,因此肺超聲出現(xiàn)沙灘征一般可表示為正常肺的特征。和沙灘征相對(duì)應(yīng)的是條碼征,條碼征顧名思義,表現(xiàn)為一種條形碼形狀的圖案。與沙灘征不同的是,條碼征的出現(xiàn)一般表示被掃描對(duì)象無(wú)相對(duì)運(yùn)動(dòng)的器官或物體,因此在M模式下檢查肺部出現(xiàn)條碼征時(shí),表示被掃描的部分無(wú)呼吸運(yùn)動(dòng),進(jìn)一步可得出此部分為出現(xiàn)病理的肺組織,如圖3所示。
圖3 沙灘征(左)和條碼征(右)
在臨床上,肺點(diǎn)是超聲診斷氣胸的“金標(biāo)準(zhǔn)”,當(dāng)出現(xiàn)肺點(diǎn)時(shí),氣胸診斷的特異性為100%。肺點(diǎn)也是M模式超聲下特有的圖像特征,當(dāng)出現(xiàn)氣胸時(shí),M模式下會(huì)觀察到沙灘征和條碼征交替出現(xiàn),沙灘征和條碼征之間的交界點(diǎn)即為肺點(diǎn)。本文將借助肺點(diǎn)模擬模型來(lái)采集肺點(diǎn)圖像。用水袋和吸水性樹脂建立肺點(diǎn)模擬模型,手動(dòng)按壓模型來(lái)模擬沙灘征和條碼征交替出現(xiàn)的情況,采集肺點(diǎn)圖像。肺點(diǎn)模擬模型以及采集的肺點(diǎn)模擬圖像分別如圖4和圖5所示。此外,本文也將采集M模式下被肋骨遮擋后的超聲圖像作為反例。被肋骨遮擋后的M模式超聲圖像如圖6所示。
圖4 肺點(diǎn)模擬模型
圖5 模擬肺點(diǎn)圖像
圖6 掃描到肋骨后M模式超聲圖像
本文采集的上述5種M模式超聲圖像共計(jì)800余張,分別將上述5種M型超聲圖像的類標(biāo)簽設(shè)為“A-line”“Seashore”“Barcode”“l(fā)ung-point” 以 及“Rib”,為避免類不平衡問(wèn)題,采集的5種M型超聲圖像各類之間數(shù)目相當(dāng)。5種M型超聲圖像如圖7所示。為避免過(guò)擬合,將訓(xùn)練集和數(shù)據(jù)集劃分比例分別分為90%和10%,具體分類情況見表1所列。
圖7 5種M型超聲圖像
表1 訓(xùn)練集和測(cè)試集劃分
本文主要聚焦于使用深度學(xué)習(xí)模型對(duì)M型超聲典型特征圖像的快速分類識(shí)別的研究,以了解深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)M型超聲典型特征圖像的分類識(shí)別效果,因此不對(duì)深度學(xué)習(xí)模型的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改。本文將利用目前使用較為廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)模型GoogLeNet和VGG對(duì)上述5種M型超聲典型特征圖像進(jìn)行分類識(shí)別研究。GoogLeNet深度學(xué)習(xí)網(wǎng)絡(luò)由谷歌團(tuán)隊(duì)最早應(yīng)用于ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)領(lǐng)域,并取得了比較理想的結(jié)果。GoogLeNet可以在增加網(wǎng)絡(luò)寬度和深度的同時(shí),將全連接轉(zhuǎn)化為稀疏連接,從而降低過(guò)擬合、減少計(jì)算量,GoogLeNet的Inception結(jié)構(gòu)可以保證網(wǎng)絡(luò)結(jié)構(gòu)稀疏的同時(shí),又提高矩陣的計(jì)算性能,大大減少了網(wǎng)絡(luò)運(yùn)行的參數(shù)。Inception結(jié)構(gòu)如圖8所示。VGG網(wǎng)絡(luò)由Oxford的Visual Geometry Group團(tuán)隊(duì)提出,通過(guò)改進(jìn)卷積核大小以及增加網(wǎng)絡(luò)深度等方法,提高網(wǎng)絡(luò)識(shí)別的準(zhǔn)確性。VGG網(wǎng)絡(luò)共有2種結(jié)構(gòu),分別為VGG16和VGG19,它們?cè)诰矸e核結(jié)構(gòu)上無(wú)差異,在網(wǎng)絡(luò)深度方面存在不同。本文將選用VGG19網(wǎng)絡(luò)。VGG19網(wǎng)絡(luò)包含19個(gè)隱藏層,其中包括16個(gè)卷積層和3個(gè)全連接層,網(wǎng)絡(luò)整體結(jié)構(gòu)較為一致,均為3×3的卷積和2×2的最大池化操作。
圖8 Inception結(jié)構(gòu)示意圖
上述2種網(wǎng)絡(luò)均借助遷移學(xué)習(xí),使用預(yù)訓(xùn)練的VGG和GoogLeNet網(wǎng)絡(luò)進(jìn)行訓(xùn)練。兩種深度學(xué)習(xí)模型均使用ImageNet數(shù)據(jù)集上超過(guò)一百萬(wàn)張圖像進(jìn)行預(yù)訓(xùn)練,以減少訓(xùn)練時(shí)間,提高識(shí)別效率。深度學(xué)習(xí)模型運(yùn)行的硬件環(huán)境為配置有R5-3600處理器,Nvidia RTX2060 6 GB顯卡以及16 GB內(nèi)存的計(jì)算機(jī)。軟件環(huán)境使用MATLAB深度學(xué)習(xí)工具箱搭建并訓(xùn)練網(wǎng)絡(luò)模型。兩種深度學(xué)習(xí)模型的超參數(shù)設(shè)置見表2所列。兩種模型均使用SGDM優(yōu)化器,損失函數(shù)均使用交叉熵?fù)p失函數(shù)。
表2 超參數(shù)設(shè)置
根據(jù)上章介紹方法,得到的結(jié)果見表3所列。由表3可知,在相同模型下設(shè)置不同的訓(xùn)練輪數(shù)和學(xué)習(xí)率,整體準(zhǔn)確率相同,橫向?qū)Ρ萔GG19和GoogLeNet可知,VGG19對(duì)5種M型超聲典型特征圖像的分類準(zhǔn)確率相較于GoogLeNet的識(shí)別效果較好。在相同超參數(shù)條件下,2種網(wǎng)絡(luò)對(duì)5種M型超聲典型圖像的統(tǒng)計(jì)分析見表4所列,選取超參數(shù)為最小批16,輪數(shù)30,學(xué)習(xí)率0.000 1。
表3 訓(xùn)練結(jié)果
表4 VGG19分類評(píng)價(jià)指標(biāo)
由于測(cè)試集中不同類之間特征圖像數(shù)量基本相同,因此類不平衡問(wèn)題所帶來(lái)的統(tǒng)計(jì)指標(biāo)不準(zhǔn)確的問(wèn)題可以忽略不計(jì)。從表4和表5可以看出,VGG網(wǎng)絡(luò)整體查準(zhǔn)率(精度)和查全率(召回率)相比GoogLeNet更好。但由于VGG網(wǎng)絡(luò)結(jié)構(gòu)中有3個(gè)全連接層,導(dǎo)致網(wǎng)絡(luò)運(yùn)算的參數(shù)過(guò)多,最終模型大小約500 MB,而GoogLeNet由于用稀疏連接代替了全連接,使得模型整體大小約20 MB。在分類識(shí)別中,發(fā)現(xiàn)這2種網(wǎng)絡(luò)均對(duì)A線和沙灘征的識(shí)別出現(xiàn)較多的錯(cuò)誤,可能是因?yàn)樵贛型超聲掃描出現(xiàn)A線時(shí),本身就會(huì)出現(xiàn)沙灘征,同時(shí)采集的A線圖像有時(shí)在M模式下并不明顯,導(dǎo)致網(wǎng)絡(luò)對(duì)A線和沙灘征2種特征的識(shí)別出現(xiàn)誤差。同時(shí),這2種網(wǎng)絡(luò)對(duì)于肺點(diǎn)、條碼征以及掃描到肋骨后的識(shí)別效果較好,甚至可達(dá)100%的查全率和查準(zhǔn)率。
表5 GoogLeNet分類評(píng)價(jià)指標(biāo)
本文研究了2種深度學(xué)習(xí)網(wǎng)絡(luò)模型對(duì)5類M型超聲圖像的分類識(shí)別效果。實(shí)驗(yàn)結(jié)果表明,2種網(wǎng)絡(luò)對(duì)這5類超聲圖像的識(shí)別準(zhǔn)確率都較高,識(shí)別效果很好。橫向比較2種網(wǎng)絡(luò),VGG19的識(shí)別準(zhǔn)確率略高于GooLeNet。本文通過(guò)研究2種深度學(xué)習(xí)網(wǎng)絡(luò)對(duì)5類M型超聲的圖像分類效果,證明了深度學(xué)習(xí)模型在M型超聲圖像分類識(shí)別領(lǐng)域具有廣闊的應(yīng)用前景,同時(shí)可以借助深度學(xué)習(xí)模型大大降低M型超聲的使用門檻,實(shí)現(xiàn)快速診斷的目的。