樓毅 王志祿 倪捷 侯玨 劉正 劉偉光*

兒童脛腓骨骨折是兒童骨折中最常見(jiàn)的類型之一，受傷原因以交通運(yùn)輸傷為主，及時(shí)診斷并選擇合適的治療方案是取得良好預(yù)后的關(guān)鍵[1］。臨床醫(yī)師通常應(yīng)用數(shù)字X射線攝影（DR）對(duì)骨折進(jìn)行診斷，其結(jié)果受到醫(yī)師的經(jīng)驗(yàn)、拍攝體位、影像質(zhì)量等因素影響。近年來(lái)，以深度學(xué)習(xí)算法為代表的人工智能技術(shù)在醫(yī)學(xué)圖像處理領(lǐng)域中得到越來(lái)越多的應(yīng)用[2］，據(jù)相關(guān)文獻(xiàn)報(bào)道，深度學(xué)習(xí)算法在骨折檢測(cè)和分類任務(wù)中展現(xiàn)出較大的潛力[3］。本研究使用標(biāo)準(zhǔn)數(shù)據(jù)增強(qiáng)方法構(gòu)建了數(shù)據(jù)集，其中包含各年齡階段的兒童脛腓骨骨折DR圖像，采用深度學(xué)習(xí)算法（YOLOv5）對(duì)兒童脛腓骨DR圖像進(jìn)行檢測(cè)。

1 資料與方法

1.1 臨床資料 選擇2014年1月至2022年1月本院302例使用數(shù)字化醫(yī)用X線攝影系統(tǒng)拍攝的兒童脛腓骨影像圖，輸出匿名影像圖。剔除帶有植入物，其他骨性疾病，畸形骨骼，隱匿性骨折等特殊樣本。年齡1～15歲，平均年齡7.38歲。本項(xiàng)目經(jīng)杭州市兒童醫(yī)院醫(yī)學(xué)倫理會(huì)批準(zhǔn)。

1.2 方法 （1）儀器設(shè)備：數(shù)字化X射線攝影（digital radiography，DR）系統(tǒng)，型號(hào)Digital Diagnost C50 65。（2）數(shù)據(jù)預(yù)處理：302張圖像中，262張作為訓(xùn)練、驗(yàn)證集，40張作為測(cè)試集。由于X線系統(tǒng)所采集到的圖像分辨率為2,284×2,142～2,449×998，無(wú)法統(tǒng)一輸入至算法模型中進(jìn)行訓(xùn)練。因此，采用雙線性插值算法[4］將圖像分辨率歸一化為512×512，該算法如下：

其中Q11，Q12，Q21，Q22表示最近像素鄰點(diǎn)，雙線性插值算法可以保留更多的圖像細(xì)節(jié)，有利于模型對(duì)細(xì)微骨折的判斷。然而，深度學(xué)習(xí)模型的訓(xùn)練需要大量數(shù)據(jù)支撐，262張圖像所組成的訓(xùn)練、驗(yàn)證集會(huì)造成模型過(guò)擬合現(xiàn)象。因此，在尺寸歸一化的基礎(chǔ)上，采用水平、垂直翻轉(zhuǎn)、平移、隨機(jī)添加像素等方法對(duì)訓(xùn)練集進(jìn)行擴(kuò)充，總共得到2096張圖像，并按8∶2的比例劃分為訓(xùn)練集和驗(yàn)證集（見(jiàn)圖1）。（3）YOLOv5模型：采用CNN模型[5］（見(jiàn)圖2），模型由輸入層、主干網(wǎng)絡(luò)、特征加強(qiáng)網(wǎng)絡(luò)和輸出層組成。輸入層圖像尺寸為512×512，主干網(wǎng)絡(luò)由FOCUS結(jié)構(gòu)、卷積塊、殘差模塊以及SPP結(jié)構(gòu)組成，F(xiàn)OCUS結(jié)構(gòu)是在保留特征的前提下進(jìn)行下采樣而加速模型訓(xùn)練，SPP結(jié)構(gòu)能夠抽取特征再聚合，提升模型的魯棒性和精度。特征加強(qiáng)網(wǎng)絡(luò)使用主干網(wǎng)絡(luò)的三個(gè)特征層進(jìn)行特征融合，特征融合的目的是將不同尺度圖像上的骨折特征信息結(jié)合，輸出得到3個(gè)預(yù)測(cè)特征層，預(yù)測(cè)出骨折區(qū)域的位置和置信度。為了讓模型從圖像中提取到更多骨折特征，主干網(wǎng)絡(luò)中使用的殘差結(jié)構(gòu)模塊（見(jiàn)圖3），以跳層連接方式將輸入與輸出特征拼接，有效防止骨折特征在網(wǎng)絡(luò)深處的“退化”問(wèn)題。卷積塊由Conv2D（卷積）+BatchNormal（歸一化）+LeakyRelu（激活函數(shù)）組成，這是一個(gè)基本的卷積單元。圖像進(jìn)行卷積運(yùn)算后能夠提取出用于骨折區(qū)域定位的特征，如骨折線，骨折位置信息等。

圖1 數(shù)據(jù)擴(kuò)充效果圖

圖2 卷積神經(jīng)網(wǎng)絡(luò)模型圖

圖3 殘差模塊

1.3 模型評(píng)價(jià)指標(biāo) 骨折檢測(cè)研究領(lǐng)域常用的評(píng)價(jià)標(biāo)準(zhǔn)包括精確率，召回率和平均精確率（AP）。精確率是衡量模型檢測(cè)骨折的準(zhǔn)確性，即查準(zhǔn)率；召回率是衡量模型檢測(cè)骨折的全面性，即查全率[6］。AP是通過(guò)積分法計(jì)算精確率，召回率曲線下面積，AP值是綜合評(píng)價(jià)模型檢測(cè)骨折性能的重要指標(biāo)，公式如下：

其中TP表示真陽(yáng)性，F(xiàn)N表示假陰性，F(xiàn)P表示假陽(yáng)性。

2 結(jié)果

模型經(jīng)過(guò)150輪（epoch）訓(xùn)練和驗(yàn)證模型的總loss函數(shù)曲線逐漸收斂（見(jiàn)圖4）。模型在獨(dú)立測(cè)試集上的精確率為93.62%，召回率為91.67%，AP值達(dá)到93.07%。模型檢測(cè)骨折的效果見(jiàn)圖5，除具有明顯識(shí)別特征的骨折如橫形、斜形及螺旋形骨折可以被準(zhǔn)確識(shí)別外，該模型還可以對(duì)裂紋骨折進(jìn)行準(zhǔn)確識(shí)別（見(jiàn)圖6）。裂紋骨折雖然痕跡相對(duì)較淺，然而模型通過(guò)殘差模塊學(xué)習(xí)圖像高度抽象的骨折特征表達(dá)，經(jīng)過(guò)特征加強(qiáng)網(wǎng)絡(luò)不斷提取特征，使得模型能夠檢測(cè)出裂紋骨折。該結(jié)果表明模型具有較強(qiáng)的泛化能力。數(shù)據(jù)增強(qiáng)是訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型的有效辦法，訓(xùn)練和驗(yàn)證數(shù)據(jù)經(jīng)過(guò)擴(kuò)充后，在測(cè)試集上AP值從78.86%提升至93.07%，見(jiàn)表1。不同模型算法的比較見(jiàn)表2。

表1 數(shù)據(jù)擴(kuò)充后的模型性能比較（%）

表2 不同模型算法的比較（%）

圖4 模型訓(xùn)練和驗(yàn)證的Loss結(jié)果

圖5 兒童脛腓骨骨折醫(yī)師標(biāo)注圖與機(jī)器檢測(cè)對(duì)比圖（A～D依次為輸出匿名影像圖、預(yù)處理后的圖、放射科醫(yī)師標(biāo)注圖、模型檢測(cè)結(jié)果圖）

圖6 測(cè)試結(jié)果圖

3 討論

本研究由放射科醫(yī)師標(biāo)注兒童脛腓骨骨折X線影像，然后利用雙線性插值算法對(duì)圖像進(jìn)行預(yù)處理，最后將人工智能算法（YOLOv5）用于兒童脛腓骨骨折檢測(cè)，建立了完整的自動(dòng)檢測(cè)兒童脛腓骨骨折模型，驗(yàn)證了數(shù)據(jù)增強(qiáng)能夠有效提高深度學(xué)習(xí)算法在兒童脛腓骨骨折檢測(cè)的精確率；構(gòu)建了一個(gè)自動(dòng)檢測(cè)兒童脛腓骨骨折的系統(tǒng)模型，該模型在獨(dú)立測(cè)試集上的精確率、召回率、AP值均達(dá)到90%以上。

以深度學(xué)習(xí)算法為代表的人工智能檢測(cè)技術(shù)已應(yīng)用于各種醫(yī)學(xué)成像任務(wù)中，如癌癥和肺炎的放射檢查結(jié)果的自動(dòng)檢測(cè)[7］，以及骨齡評(píng)估、骨折檢測(cè)等[8］，既往應(yīng)用深度學(xué)習(xí)算法對(duì)脛腓骨骨折自動(dòng)檢測(cè)的研究中，主要思路是對(duì)DR進(jìn)行二項(xiàng)式分類，即判斷DR圖像是否骨折。ZBIGNIEW等創(chuàng)建了一個(gè)含有980張兒童腳踝和腿部X線影像數(shù)據(jù)集，其中490張兒童脛骨遠(yuǎn)端骨折圖像，490張正常X線影像圖，使用Xception-V3網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練學(xué)習(xí)，最終在測(cè)試集上取得95.6%的精確率[9］。MUCHTAR等[10］提出了一種掃描線算法，在40張脛腓骨骨折圖像中測(cè)試識(shí)別骨折，精確率為87.5%。這些研究在識(shí)別脛腓骨骨折檢測(cè)任務(wù)中均取得較高的精度，然而，在這些研究中僅對(duì)X線影像圖分類，判斷是否骨折，并未將骨折區(qū)域識(shí)別出。在最近一項(xiàng)研究中，REN等[11］應(yīng)用Faster-RCNN網(wǎng)絡(luò)模型對(duì)50張脛腓骨骨折X線影像圖進(jìn)行再訓(xùn)練，最終獲得97%的精確率。然而，本研究使用該算法在擴(kuò)充后的數(shù)據(jù)集上訓(xùn)練學(xué)習(xí)，在相同實(shí)驗(yàn)環(huán)境配置下，相同參數(shù)訓(xùn)練相同的次數(shù)，最終測(cè)試集上獲得49.30%的平均精確率，遠(yuǎn)低于訓(xùn)練模型的檢測(cè)精度。與以往研究相比，本模型能夠?qū)⒐钦蹍^(qū)域標(biāo)記出，更符合臨床醫(yī)師診斷骨折的情形。

本研究提出的模型檢測(cè)兒童脛腓骨骨折AP在90%以上，精確率較高，可以輔助放射科醫(yī)師對(duì)兒童脛腓骨骨折進(jìn)行檢測(cè)，在一定程度上能夠節(jié)約診斷時(shí)間，降低兒童脛腓骨骨折誤診率及漏診率。同時(shí)，也為DR圖像自動(dòng)化檢測(cè)骨折積累經(jīng)驗(yàn)，為促進(jìn)人工智能技術(shù)在人體骨骼損壞智能檢測(cè)的研究打下良好基礎(chǔ)。