楊鋒，陳雷，邢蒙蒙

1.山東中醫(yī)藥大學(xué)附屬醫(yī)院 資產(chǎn)設(shè)備處，山東 濟(jì)南 250013；2.中國康復(fù)研究中心 設(shè)備處 醫(yī)工科，北京 100071

引言

手腕骨折多發(fā)生在橈骨遠(yuǎn)端近關(guān)節(jié)面2 cm處，多因跌倒后手掌撐地所致，若未準(zhǔn)確判斷患者骨折的具體情況并進(jìn)行相應(yīng)的復(fù)位治療，將導(dǎo)致腕關(guān)節(jié)畸形、關(guān)節(jié)活動功能受限等，從而嚴(yán)重影響患者的正常生活[1]。X射線檢查是臨床常用的手腕骨折檢查手段之一，但因腕部骨質(zhì)結(jié)構(gòu)復(fù)雜且排列不規(guī)則，因此X射線成像顯示隱匿的骨折病灶區(qū)域效果不佳，使得骨科醫(yī)生閱片時極易造成漏診、誤診等現(xiàn)象，從而影響患者的后續(xù)康復(fù)。利用計算機(jī)輔助診斷（Computer Aided Diagnosis，CAD）技術(shù)建立手腕圖像的自動分類診斷模型，在骨科醫(yī)生對患者診斷前先參考模型的診斷結(jié)果，進(jìn)而對患者做出正確判斷，不僅能夠減輕醫(yī)生的診斷負(fù)擔(dān)，還能提高診斷效率，減少誤診率，具有重要的意義。

目前國內(nèi)外對骨折圖像進(jìn)行自動診斷的研究方法主要集中在以下2個方面：一是利用傳統(tǒng)模式識別方法完成骨折圖像的分類，如Muehlematter等[2]建立了一個自動分類脛骨骨折的診斷模型。通過提取脛骨X射線圖像的灰度共生矩陣特征（Gray Level Co-Occurrence Matrix，GLCM）[3]和形狀特征作為脛骨骨折圖像的特征表示，選擇經(jīng)典機(jī)器學(xué)習(xí)分類算法，如支持向量機(jī)（Support Vector Machine，SVM）[4]、k近鄰（k-Nearest Neighbor，kNN）[5]和反向傳播網(wǎng)絡(luò)建立集成學(xué)習(xí)分類模型；Korfiatis等[6]通過改進(jìn)集成分類算法，提出了一種基于不平衡集成學(xué)習(xí)方法的自動檢測骨折分類系統(tǒng)，該方法主要是通過賦予多個分類器以不同的權(quán)重來完成骨折分類。由于傳統(tǒng)特征提取方法具有針對性，因此僅依靠單一特征進(jìn)行分類并不能達(dá)到很好的分類效果。二是針對骨折圖像的某些數(shù)字幾何特性利用特定的分析軟件實現(xiàn)骨折圖像狀態(tài)的準(zhǔn)確預(yù)測，如Bandyopadhyay等[7]利用長骨骨折圖像的某些數(shù)字曲線特性對其進(jìn)行分類。但骨折圖像的數(shù)字曲線特性僅針對腿骨等單一類型的骨折，不具有魯棒性。隨著深度學(xué)習(xí)在肺、腦及乳腺疾病[8]取得了一系列成功的應(yīng)用，相關(guān)研究者將深度學(xué)習(xí)應(yīng)用于骨折診斷研究，如Olczak等[9]使用在非醫(yī)學(xué)圖像上預(yù)先訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），利用遷移學(xué)習(xí)將其應(yīng)用于普通腕部X射線圖像上以實現(xiàn)橈骨遠(yuǎn)端骨折的自動檢測；Szegedy等[10]使用了初始Inception V3模型，訓(xùn)練數(shù)據(jù)采用放射科醫(yī)生手動標(biāo)記1389張肱骨X射線圖像以重新訓(xùn)練InceptionV3網(wǎng)絡(luò)頂部的初始層，從而實現(xiàn)二分類問題。盡管深度學(xué)習(xí)模型已取得了較好的分類效果，但受限于數(shù)據(jù)集數(shù)量的問題，易造成過擬合現(xiàn)象。因此，還需探索更優(yōu)的分類模型以提高手腕骨折的診斷性能。近年來，基于CNN的目標(biāo)檢測算法Region-CNN[11]系列，尤其是更快速的基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（Faster Region-CNN，F(xiàn)aster R-CNN）[12]，其目標(biāo)識別的準(zhǔn)確率在公開數(shù)據(jù)集Pascal VOC[13]的高分辨率大目標(biāo)物體檢測領(lǐng)域中取得了突破性的提升，已被證明有利于復(fù)雜圖像特征的提取?；诖耍疚臄M引入Faster R-CNN目標(biāo)檢測算法來精確定位手腕骨折的感興趣區(qū)域（Region of Interest，ROI），然后通過提取ROI的傳統(tǒng)特征及深度特征，旨在利用特定的特征融合網(wǎng)絡(luò)實現(xiàn)多特征的有效融合，以及通過改進(jìn)圖像檢索技術(shù)實現(xiàn)手腕骨折的分類任務(wù)。

1 材料與方法

1.1 數(shù)據(jù)集選取

本文采用的數(shù)據(jù)集是由斯坦福ML團(tuán)隊收集的肌骨骼X放射影像集MURA[14]，該數(shù)據(jù)集共包含7個上肢部位的子數(shù)據(jù)集，分為手、手指、手腕、手肘、前臂、肱骨和肩膀。每份病例的標(biāo)簽均由具有8年以上從業(yè)經(jīng)驗的放射科醫(yī)師手動標(biāo)記。本文采用手腕數(shù)據(jù)集進(jìn)行實驗，本文全部選取手腕圖像的正位拍攝圖像，共包含異常（骨折）數(shù)據(jù)1423例，正常（未骨折）數(shù)據(jù)2274例。所有手腕圖像的目標(biāo)區(qū)域均由2名山東省中醫(yī)院具有10年以上從業(yè)經(jīng)驗的具有高級職稱的專業(yè)骨科醫(yī)師利用 LabelImg（https://github.com/tzutalin/labelImg） 對每張圖片的ROI進(jìn)行標(biāo)注，并經(jīng)第3位具有高級職稱的骨科醫(yī)生確定每張手腕圖像的目標(biāo)區(qū)域被全部包裹住。

1.2 圖像對比度增強(qiáng)

為解決手腕X射線圖像本身亮度低且主體與背景對比度差的問題，實驗采用限制對比度自適應(yīng)直方圖均衡化算法（Contrast Limited Adaptive Histogram Equalization，CLAHE）[15]對手腕X射線圖像進(jìn)行預(yù)處理。以便增強(qiáng)手腕圖像對比度，抑制噪聲，從而更好地顯示手腕圖像中的病灶信息，利于后續(xù)的特征提取步驟。

CLAHE算法具體流程如下：

（1）手腕圖像分塊，將單張手腕X射線圖像分為M×N大小的圖像塊。

（2）以塊為單位，計算分割后單個圖像塊的灰度直方圖，然后平均圖像塊的像素值到各個灰度級。灰度級中的平均像素數(shù)目可以由公式（1）表示。

式中，Ng為圖像塊中灰度級的數(shù)目；Nxp和Nyp分別為圖像塊沿x軸和y軸方向的像素數(shù)目。

（3）截取灰度直方圖中大于NL的值，NL的值可由公式（2）得到。

式中，S為截取系數(shù)。

（4）直方圖均衡化。對上述過程得到的圖像塊進(jìn)行直方圖均衡化處理，并利用變換函數(shù)求出經(jīng)均衡化處理后的灰度值。圖1表示手腕圖像經(jīng)過CLAHE算法處理的前后對比圖，可以直觀地看出，經(jīng)預(yù)處理后的手腕圖像病灶區(qū)域顯示更清晰。

圖1 CLAHE算法處理前后比較

2 基于Faster R-CNN的手腕圖像分類模型構(gòu)建

手腕圖像分類模型的具體流程包括以下步驟：① 利用Faster R-CNN定位預(yù)處理后的手腕X射線圖像的ROI，然后提取手腕ROI圖像的方向梯度直方圖（Histogram of Oriented Gradient，HOG） 特 征[16]、Haralick紋理特征[17]以及Alexnet深度特征[18]，并利用CNN將上述特征融合起來作為手腕圖像的特征表示，將融合后的特征向量送入本文改進(jìn)的圖像檢索分類器（Euclidean Distance Metric Learning，EML-K）中完成對手腕具體類型的分類任務(wù)。手腕骨折診斷模型流程圖如圖2所示。

圖2 手腕骨折診斷流程圖

2.1 訓(xùn)練Faster R-CNN過程

本文選用Faster R-CNN進(jìn)行手腕圖像的目標(biāo)檢測任務(wù)是為了精確定位骨折部位，縮小后續(xù)特征提取范圍以提高后續(xù)分類的準(zhǔn)確率。

首先將經(jīng)過預(yù)處理后的整幅手腕X射線圖像輸入CNN進(jìn)行特征提取，F(xiàn)aster R-CNN中的特征提取部分采用的是VGG-16，為提高后續(xù)目標(biāo)檢測的準(zhǔn)確率，本實驗改進(jìn)了Faster R-CNN的特征提取部分，將VGG-16替換為更好的特征提取網(wǎng)絡(luò)Resnet-101[19-20]，經(jīng)特征提取過程后輸出的特征圖共享用于后續(xù)區(qū)域建議網(wǎng)絡(luò)（Region Proposal Networks，RPN）和 ROI pooling，其中部分特征圖經(jīng)過RPN操作后產(chǎn)生多個候選框，將上述過程得到的候選框投影到另一部分的特征圖上共同輸入后面的ROI Pooling進(jìn)行MaxPooling操作，從而輸出固定大小的ROI特征圖。將上述過程得到的ROI特征圖輸入全連接層進(jìn)行分類和回歸。最后使用非極大值抑制算法篩選Bounding-box，從而找出最優(yōu)位置及其對應(yīng)的分類概率。改進(jìn)Faster R-CNN的基本網(wǎng)絡(luò)流程圖如圖3所示。在圖3中本文根據(jù)交并比（Intersection Over Union，IOU）定義檢測的準(zhǔn)確度，圖4給出IOU的計算公式。本文設(shè)定檢測準(zhǔn)確的閾值為0.7，即IOU＞0.7，則認(rèn)為檢測有效，否則認(rèn)為檢測失敗。同時本文選用Resnet-101作為Faster R-CNN的特征提取網(wǎng)絡(luò)是因為其引入了殘差學(xué)習(xí)單元，能夠進(jìn)一步提升圖像的分類精度。

圖3 改進(jìn)Faster R-CNN定位骨折部位示意圖

圖4 計算IOU的公式

2.2 特征提取

2.2.1 傳統(tǒng)特征提取

通過提取圖像的傳統(tǒng)特征可以獲取手腕圖像的形狀、紋理特征等細(xì)節(jié)數(shù)據(jù)，本文選取當(dāng)前效果較好的紋理特征表示方法HOG特征和Haralick紋理特征作為手腕圖像ROI的特征表示。HOG特征可以表示圖像的局部紋理信息，其檢測過程是將手腕X射線圖像分成多個單元，平均劃分梯度方向0°～360°為9個方向個數(shù)，將相鄰4個單元構(gòu)成一個的2×2分區(qū)，統(tǒng)計各個分區(qū)的方向梯度直方圖，然后將各個分區(qū)內(nèi)的特征向量串連起來得到多維的特征向量，即為手腕圖像的HOG特征。

Haralick紋理特征提取主要分為2個步驟：① 構(gòu)建圖像對應(yīng)的GLCM；② 計算由特征統(tǒng)計量構(gòu)成的特征向量。其中GLCM通過計算像素相對距離（d=1）和4個不同方向（0°、45°、90°、135°），并對原始圖像灰度級量化成16級，最后對4個方向上的特征向量取均值以獲得最后的特征向量。因?qū)OG特征與其他基于圖像梯度的局部特征描述相結(jié)合可以提高特征表達(dá)能力，基于此，本文選取HOG特征與Haralick紋理特征2個局部紋理特征描述子，將其與后續(xù)深度特征有效融合，以達(dá)到高效特征表示的目的。

2.2.2 深度特征提取

深度學(xué)習(xí)分類模型可以作為特征提取器，其卷積層可以利用固定維度的卷積核來提取圖像的局部感知信息。淺層卷積層可以提取手腕圖像的形狀、紋理特征等低級特征，深層卷積層提取的是手腕圖像的深層語義特征。因此本文選擇經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)Alexnet來提取手腕圖像的深度特征，手腕圖像深度特征的具體提取流程如下。

（1）定義手腕圖像樣本集X=[x1,x1,…,xm]∈Rd×m，其中m表示樣本總數(shù)，d表示向量的具體維度。

（2）Alexnet模型中輸入手腕圖像，通過固定維度的卷積核來提取手腕圖像ROI的局部感知信息，最后的全連接層即為手腕圖像的深度特征，記為{（x(1),y(1)）,（x(2),y(2)）,…,（x(m),y(m)）}。

（3）對于輸出深度特征向量x(i)，其代價函數(shù)J(θ)的計算方式如公式（3）所示。

式中，y(i)∈{0,1}表示手腕圖像的具體類別，hθ(x(i))代表 softmax層的輸出。

（4）利用梯度下降算法獲得最優(yōu)的代價函數(shù)及參數(shù)θ。

（5）經(jīng)多次訓(xùn)練后得到手腕圖像的深度特征。

2.3 特征融合

特征提取在模式分類算法中占據(jù)極為重要的作用，一般來說，單一特征的表示方法針對的是手腕圖像的部分特性，若分類器對手腕圖像的某種特征不敏感，則由單一特征訓(xùn)練的分類器往往難以表現(xiàn)出較好的分類性能。因此可以考慮將多個特征進(jìn)行融合，來提高分類模型的魯棒性。本文參照魏國輝等[21]的思路，設(shè)計了一個可以實現(xiàn)多特征有效融合的神經(jīng)網(wǎng)絡(luò)模型。設(shè)計的融合模型結(jié)構(gòu)如圖5所示。

圖5 特征融合示意圖

此外將HOG特征、Haralick紋理特征以及Alexnet深度特征串聯(lián)成一個特征向量，將串聯(lián)后的特征向量加入特征融合網(wǎng)絡(luò)，設(shè)置隨機(jī)失活為0.3。最后加入1個神經(jīng)元，選擇sigmoid函數(shù)作為激活函數(shù)，表示方式如公式（4）所示。本文手腕圖像為二分類問題，損失函數(shù)選擇二進(jìn)制交叉熵?fù)p失函數(shù)，其具體計算方式如公式（5）所示。

式中，y為實際神經(jīng)元；為真實輸出標(biāo)簽。0表示手腕正常；1表示手腕異常。

2.4 EML-K分類算法

本研究通過改進(jìn)醫(yī)學(xué)圖像檢索方法進(jìn)而完成手腕圖像的分類。醫(yī)學(xué)圖像檢索的主要實現(xiàn)方式是通過比較不同樣本特征之間的距離大小來確定圖像之間的相似性，距離與相似性呈負(fù)相關(guān)[22]。本文利用歐式距離度量來計算與待查詢手腕圖像距離最近的K張手腕圖像，并賦予計算距離以一定的權(quán)值，根據(jù)檢索到的K張手腕圖像中的權(quán)值之和比來確定待查詢圖像的狀態(tài)。EML-K的具體分類流程如下：

（1）通過歐氏距離度量算法計算待查詢手腕圖像與樣本庫圖像之間的距離，歐氏距離的具體計算方式如公式（6）所示。

式中，x、y為2張圖像，n為第n張圖像。

（2）選取前K個與待查詢手腕圖像之間距離最近的圖像，并根據(jù)計算出的距離大小將表示K個圖像的特征向量進(jìn)行加權(quán)。權(quán)值因子計算方式如公式（7）所示。

式中，D(q)為待查詢圖像的特征向量；D(i)為K個查詢圖像中第i個參考圖像的特征向量，則2個圖像特征向量之間的距離由|D(q)－D(i)|表示；M表示常數(shù)。取其距離與常數(shù)之和倒數(shù)作為權(quán)值，距離越近則表示權(quán)值越大。最后對權(quán)值進(jìn)行加和，并根據(jù)概率值來確定待查詢手腕圖像的具體類型，計算方式如公式（8）～（10）所示。

式中，SN、SA分別代表查詢手腕圖像為骨折（正常）、未骨折（異常）的概率；檢索與待檢測圖像最相似的K張圖像，其中，N代表檢索到的K個與待查詢手腕圖像最相似且為手腕正常的圖像數(shù)目；A為檢索到的K個與待查詢手腕圖像最相似且為手腕異常的圖像數(shù)目。則SN、SA即為該骨折圖像類型的權(quán)值之和與所查詢到的所有圖像權(quán)值之和的比值。本文中設(shè)置SN、SA的閾值（如ST=0.5），分別計算SN、SA的值，并將其分別與ST的值進(jìn)行比較。若SN≥ST則認(rèn)為查詢手腕圖像是正常的，若SA≥ST，則認(rèn)為查詢手腕圖像異常。

3 實驗環(huán)境及參數(shù)設(shè)置

3.1 實驗環(huán)境及評估

本文所有實驗均在Windows 10，MATLAB R2019a，Inter(R) Core(TM) i9-9820X CPU和128 GB RAM,NVIDIA GeForce RTX 2080 Ti GPU中運行。為避免因特征值不均衡而導(dǎo)致最后的實驗結(jié)果產(chǎn)生偏差，因此對融合后的特征向量統(tǒng)一進(jìn)行歸一化處理。

3.2 參數(shù)選擇

K值是基于歐式距離度量與待查詢圖像距離最小的圖像數(shù)目，其取值影響診斷EML-K模型的分類效果，本文分析了K值的具體變化對分類性能的影響，從而選出最優(yōu)的參數(shù)K。因本文為二分類問題，將K值的取值范圍避開2的倍數(shù)設(shè)為[3,5,7,9,11,13,15,17,19]。圖6為不同K值對應(yīng)的曲線下面積（Area Under Curve，AUC）均值，由圖6可以看出，不同K值對應(yīng)的AUC值各不相同，當(dāng)K值為11時，分類曲線的AUC均值達(dá)到最大值0.893。

圖6 對應(yīng)不同K值時EML-K分類方案的AUC均值

4 結(jié)果

4.1 不同特征提取方法的分類精度比較

為準(zhǔn)確全面地評估本文提出的手腕圖像分類算法，對比實驗選擇了當(dāng)前經(jīng)典的機(jī)器學(xué)習(xí)及深度學(xué)習(xí)分類方法。表1給出不同特征提取方法利用EML-K的分類結(jié)果。由表1可知，本文提出的特征融合方法的AUC均優(yōu)于其他3種單一傳統(tǒng)特征的分類效果，同時使用目標(biāo)檢測算法的AUC明顯高于未使用目標(biāo)檢測算法的AUC。

表1 不同特征提取方法的分類精度比較（±s）

表1 不同特征提取方法的分類精度比較（±s）

注：目標(biāo)算法為Faster R-CNN。

使用目標(biāo)檢測算法的AUC HOG特征 0.628±0.016 0.667±0.023 Haralick特征 0.643±0.021 0.683±0.019 Deep特征 0.734±0.008 0.794±0.013特征融合 0.836±0.011 0.893±0.017特征提取方法 未使用目標(biāo)檢測算法的AUC

4.2 不同分類方法的分類精度比較

表2給出均使用融合后的特征時EML-K與經(jīng)典機(jī)器學(xué)習(xí)分類方法的AUC，由表2的分類結(jié)果得到EML-K的AUC達(dá)到了0.893，均高于其他分類方法的AUC。同時使用目標(biāo)檢測算法的AUC明顯高于未使用目標(biāo)檢測算法的AUC。

表2 不同分類方法的分類精度比較（±s）

表2 不同分類方法的分類精度比較（±s）

注：目標(biāo)算法為Faster R-CNN。

分類算法 未使用目標(biāo)檢測算法的AUC使用目標(biāo)檢測算法的AUC SVM 0.752±0.021 0.806±0.014 ELM 0.678±0.007 0.739±0.011 kNN 0.738±0.013 0.758±0.029 RF 0.741±0.028 0.761±0.016 EML-K 0.836±0.011 0.893±0.017

為綜合評估本文提出手腕圖像診斷模型的分類性能，表3給出本文提出的手腕圖像診斷模型與當(dāng)前經(jīng)典深度學(xué)習(xí)模型的分類效果對比，由表3可知，本文提出的診斷模型均優(yōu)于當(dāng)前經(jīng)典的深度學(xué)習(xí)分類模型。本文還與Olczak等[9]提出的研究方法的分類結(jié)果進(jìn)行了對比，本文提出手腕圖像診斷模型的AUC（0.893）較Olczak等[9]采用目標(biāo)檢測方法檢測圖像，利用深度學(xué)習(xí)網(wǎng)絡(luò)框架分類結(jié)果（AUC=0.830）相比，高5%左右，證明了本文提出算法的可行性。

表3 本文方法與經(jīng)典深度學(xué)習(xí)模型分類效果比較（±s）

表3 本文方法與經(jīng)典深度學(xué)習(xí)模型分類效果比較（±s）

方法 AUC Alexnet 0.792±0.011 Googlenet 0.856±0.023 Resnet-50 0.868±0.021本文方法 0.893±0.017

4.3 檢索示例

為展示本文提出的檢索方法，圖7給出一個手腕圖像檢索的具體實例，如判斷手腕是否骨折，則設(shè)定查詢參數(shù)，選擇前N張與其最相似的圖片，最后判斷手腕是否骨折。其中0代表手腕正常，1代表手腕骨折。

圖7 查詢手腕圖像（左）和最相似的10張檢索參考手腕圖像（右）

5 討論

利用CAD技術(shù)建立手腕圖像的自動分類診斷模型，能夠有效提高骨折圖像的診斷效率，減少誤診，具有十分重要的現(xiàn)實意義。本文引入快速目標(biāo)檢測技術(shù)來定位手腕圖像的ROI，通過有效的特征融合方法以達(dá)到最優(yōu)的手腕圖像特征表示目的，并改進(jìn)醫(yī)學(xué)圖像檢索算法，實現(xiàn)手腕圖像的檢索和診斷。最后通過對比實驗，Olczak等[9]提出的方法利用Faster R-CNN進(jìn)行骨折病灶的檢測及深度學(xué)習(xí)分類器進(jìn)行分類，最后分類的AUC為0.830，本文提出的多特征融合手腕骨折分類方法，對提取的多種特征進(jìn)行融合，并改進(jìn)傳統(tǒng)分類方法，最后手腕骨折圖像的AUC為0.893，證明了本文提出的手腕圖像診斷模型的可行性和有效性。

本研究主要基于Faster R-CNN的圖像檢索方法來完成手腕骨折圖像的分類任務(wù)，并取得了較好的分類精度。然而本研究仍存在一定的局限性，例如，基于Faster R-CNN目標(biāo)檢測方法在檢測的精確度及檢測時間上還有待提升，后續(xù)還應(yīng)從改進(jìn)Faster R-CNN的目標(biāo)檢測算法入手來精確定位手腕圖像的病灶區(qū)域。此外，本文僅使用了幾種特定的特征進(jìn)行融合，未來還應(yīng)尋求更優(yōu)的特征表示及融合方法來進(jìn)一步提高手腕圖像分類算法的準(zhǔn)確率，為手腕骨折圖像自動檢測系統(tǒng)應(yīng)用于臨床提供參考。

6 結(jié)論

本實驗利用Faster R-CNN定位手腕圖像的ROI，提取其傳統(tǒng)特征及深度特征，并利用CNN將提取到的骨折圖像多種特征進(jìn)行有效融合后，送入本文改進(jìn)的圖像檢索診斷模型完成對手腕圖像的分類任務(wù)，得到AUC均值為0.893，診斷的準(zhǔn)確率優(yōu)于對比實驗結(jié)果。實驗結(jié)果表明本文所提的Faster R-CNN的圖像檢索手腕骨折分類研究具有一定的有效性和魯棒性。