曹傳貴，林 強，滿正行，曹永春，鄧 濤，李同同，王海軍

(1.西北民族大學 數(shù)學與計算機科學學院，甘肅 蘭州 730030；2.西北民族大學 動態(tài)流數(shù)據(jù)計算與應用實驗室，甘肅 蘭州 730030;3.甘肅省人民醫(yī)院 核醫(yī)學科，甘肅 蘭州 730020)

0 引言

隨著醫(yī)學影像技術的發(fā)展，計算機斷層掃描(Computed Tomography,CT)、核磁共振(Magnetic Resonance Imaging,MRI)、正電子發(fā)射型計算機斷層顯像(Positron Emission Tomography,PET)和單光子發(fā)射計算機斷層成像術(Single Photon Emission Computed Tomography,SPECT)[1]逐漸應用于人體組織器官、解剖結構、生理功能和病理變化的臨床檢查.特別是，近年來功能影像在疾病診療中的應用日漸突現(xiàn)[2].與傳統(tǒng)的CT影像相比，盡管SPECT功能影像[3]分辨率較低、容易受噪聲干擾，但它有著可提前發(fā)現(xiàn)機體功能病變的優(yōu)點，一定程度上克服了傳統(tǒng)CT、MRI等結構成像的不足.當前，SPECT全身骨顯像檢測已經(jīng)成為疾病提前發(fā)現(xiàn)的重要臨床手段[4-6].

關節(jié)炎是常見、多發(fā)性生理疾病，其病因復雜，臨床表現(xiàn)有著較明顯的個體差異.據(jù)統(tǒng)計，我國骨關節(jié)炎發(fā)病率達到3%[7]，且隨著年齡增長，發(fā)病率顯著增加.因SPECT核醫(yī)學成像具有提早發(fā)現(xiàn)疾病的獨特優(yōu)勢，在骨轉移、退行性改變、關節(jié)炎的診斷中發(fā)揮著重要作用.SPECT核醫(yī)學可提前1～3個月發(fā)現(xiàn)關節(jié)病變[8-10].

以人工閱片為主的傳統(tǒng)診斷方式不僅效率偏低，而且存在漏診、誤診等影響準確診療的問題.利用從大量歷史數(shù)據(jù)中提取出來的疾病特征，構建基于機器學習特別是深度學習技術的計算機輔助診斷系統(tǒng)(Computer Aided Design,CAD)，可實現(xiàn)疾病的自動輔助診斷，減少漏診、誤診現(xiàn)象的發(fā)生.這是因為，CAD系統(tǒng)能夠克服醫(yī)務人員臨床經(jīng)驗、主觀認識差異導致的診斷結果不一致等問題[11-14]，包括基于Faster R-CNN模型在INbreast數(shù)據(jù)集上對乳腺X光片的惡性和良性病變的分類檢測[15]、基于CheXNet模型在最大公開胸部X射線數(shù)據(jù)集中對14種疾病進行分類[16]、基于深度學習卷積神經(jīng)網(wǎng)絡的CT數(shù)據(jù)預測肺結節(jié)惡性腫瘤的系統(tǒng)方法NoduleX[17]、基于DenseNet改進的網(wǎng)絡結構進行SPECT甲狀腺診斷[18].而卷積神經(jīng)網(wǎng)絡(Convolutional Neural Network,CNN)因其獨有的圖像特征自動提取功能，學術界提出了大量基于深度學習的關節(jié)炎識別模型與方法.現(xiàn)有工作主要以結構醫(yī)學圖像中關節(jié)炎的自動分類和診斷為研究目標，包括基于多模式機器學習的X射線成像的膝骨關節(jié)炎的預測模型[19]、基于全卷積神經(jīng)網(wǎng)絡的X射線成像平片自動量化膝關節(jié)炎嚴重程度的分類[20]、基于V型網(wǎng)絡和Inception網(wǎng)絡的MRI圖像關節(jié)軟骨病變分類[21]、基于孿生CNN的X射線成像平片自動膝關節(jié)骨關節(jié)炎輔助診斷[22]、CNN與長短期記憶(Long Short Term Memory,LSTM)相結合的X射線成像關節(jié)炎自動診斷[23]以及可訓練注意力模塊CNN的X射線成像膝蓋骨關節(jié)炎自動分類[24].

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)及預處理

本文實驗數(shù)據(jù)來源于甘肅省人民醫(yī)院核醫(yī)學科患者的門診檢查記錄，每個記錄由DICOM文件和診斷報告兩部分構成.原始數(shù)據(jù)集包含780個DICOM文件.根據(jù)部位的不同，將原始數(shù)據(jù)分為肩關節(jié)、肘關節(jié)、腕關節(jié)、膝關節(jié)、踝關節(jié)等五個類別，每個類別分別有正常和包含病灶兩種類型.全身SPECT骨顯像的大小為1024(高) × 256(寬).為專注關節(jié)炎病灶的識別和分類，本文基于常識以手工方式從原始圖像中裁剪出64 × 64的圖像塊.包含炎癥病灶的圖像塊有345個樣本，不包含病灶的正常圖像塊有435個樣本，共有400個病例，其中正常55人，異常345人.為表述方便，本文將包含病灶的圖像稱為異常圖像，不含病灶的圖像稱為正常圖像.每個異常圖像中僅包含一個病灶，即不含多病灶圖像樣本.本文研究數(shù)據(jù)集涉及患者的年齡分布如表1所示.

表1 患者年齡分布

由表1可知，患者的年齡主要分布在40～79歲之間，占比達到94.7%，而60～69歲之間的患者達到33.9%.這是因為，SPECT核醫(yī)學檢查主要面向重病患者，而老年人隨著機體功能的下降，更容易出現(xiàn)生理疾病，甚至嚴重疾病.

圖1(左)中SPECT全身骨顯像包含左右肩關節(jié)、腕關節(jié)、肘關節(jié)、手指關節(jié)炎和左膝關節(jié)炎多處病灶,還有膀胱殘留；圖1(右)中包含左右膝關節(jié)炎、L1～L5退行性改變以及膀胱殘留.從圖1可以看出，SPECT全身骨掃描具有分辨率低且一張圖像包含多個病灶的特點.

盡管圖1所示的關節(jié)炎病灶呈現(xiàn)為放射濃聚的區(qū)域，但是否診斷為關節(jié)炎，臨床上通常要綜合其他信息(如對稱性、個體差異)給出診斷結論.因此，本文借助深度學習技術特征自動提取功能，特別是深度模型的卷積層感受野特性，來實現(xiàn)個體差異顯著的低分辨率SPECT圖像關節(jié)炎病灶的可靠分類.

圖1 SPECT骨顯像樣例

1.1.1 數(shù)據(jù)歸一化

每個原始DICOM文件是一個矩陣，每個元素代表成像設備捕獲的放射量.如圖2所示，放射量的變化范圍寬廣，最高時可能超過1萬.為了適應模型的處理要求，本文利用歸一化處理技術將原始DICOM文件轉化為元素取值在0～255的數(shù)據(jù)矩陣，本文稱其為SPECT圖像.歸一化過程如下：

1) 掃描每個DICOM文件，確定其輻射量的最小值Xmin和最大值Xmax.

2) 根據(jù)下式計算系數(shù)k.

(1)

3) 得到歸一化[a,b]區(qū)間的數(shù)據(jù)，其中a=0，b=255.

1.1.2 數(shù)據(jù)擴展

SPECT圖像是在疾病診治過程中收集的核醫(yī)學影像記錄，疾病類別的差異自然導致歸屬各類疾病的圖像數(shù)據(jù)集存在不平衡現(xiàn)象，例如膝關節(jié)炎患者較多而踝關節(jié)炎患者較少.為了確保不同類別疾病數(shù)據(jù)集的基本平衡，同時適度擴展圖像數(shù)據(jù)的數(shù)量，本文使用基于圖像平移、旋轉、扭曲、鏡像的數(shù)據(jù)擴展方法.

為盡可能避免分類類間的不平衡現(xiàn)象，在數(shù)據(jù)擴展時做不等量擴展.如肘關節(jié)炎比膝關節(jié)炎少，肘關節(jié)炎擴展10倍，而膝關節(jié)炎只擴展5倍.本文經(jīng)數(shù)據(jù)預處理后的實驗數(shù)據(jù)見表2.

表2 本文所用數(shù)據(jù)集

鏡像：SPECT核醫(yī)學檢測每次產生兩幅圖像，分別代表前位圖像和后位圖像.但檢查過程及數(shù)據(jù)傳輸和存儲過程中可能出現(xiàn)圖像丟失的現(xiàn)象.為了避免圖像丟失帶來的影響，本文對SPECT圖像做鏡像處理.常見的圖像鏡像有水平鏡像和垂直鏡像.因人體的垂直對稱性，本文僅選用水平鏡像實現(xiàn)SPECT圖像的水平鏡像處理.令w和h分別代表原始圖像的寬度和高度，源圖像中點的(xi,yi)經(jīng)過水平鏡像后的坐標(xo,yo)為：

xo=w-xi-1,yo=yi

(2)

旋轉：疾病檢查過程中，因患者的躺姿不完全標準等可能，所收集的SPECT圖像中會包含傾斜現(xiàn)象.為提升模型識別的魯棒性，需要對SPECT做適度旋轉.但醫(yī)學圖像不同于自然圖像，旋轉幅度應該控制在合理的范圍之內.

假定(xi,yi)為輸入圖像中的點，給定旋轉角度θ∈[θ1,θ2]，其中θ1和θ2分別代表旋轉角度的下限和上限，其取值通過實驗方式確定.式(2)給出了經(jīng)旋轉處理后的點(xo,yo).

(3)

為給定包含關節(jié)炎病灶的樣本實例，圖3給出了鏡像和旋轉處理后的結果.

(a)原圖 (b)鏡像 (c)旋轉

1.2 VGG分類模型

本文選用標準的VGG-16模型構建SPECT圖像分類器.由于標準VGG-16模型的網(wǎng)絡層級較深，對訓練樣本的數(shù)量要求較高，因此本文參照VGG-16結構定義新的模型VGG-6.兩類模型的網(wǎng)絡結構分別見圖4和圖5.

圖4 VGG-16網(wǎng)絡結構

圖5 VGG-6網(wǎng)絡結構

1.2.1 標準VGG-16模型

VGG-16是由多層卷積運算和池化運算堆疊而成的深層網(wǎng)絡結構，包括13個卷積層、5個池化層和3個全連接層，總數(shù)目為13+3=16(這就是VGG16中16的來源).其中，卷積層和全連接層有相應的權重，因此也稱為權重層.

卷積層均使用3×3的卷積核，結合其他參數(shù)(步幅Stride=1、填充方式Padding=Same)，以確保每個卷積層與前一層保持相同的尺寸.

池化層均采用相同的2×2大小的參數(shù)，高和寬逐步減半，即224→112→56→28→14→7，通道數(shù)逐步翻倍，即64→128→256→512，其后將保持不變.

1.2.2 自定義VGG-6模型

參照VGG-16模型的結構，本文定義深度為6的模型VGG-6，即由4個卷積層和2個池化層構成，同時包含2個全連接層.模型的輸入為64×64的三通道圖像：①經(jīng)過兩層3×3的卷積后通道數(shù)變?yōu)?4，由于采用Same方式填充，所以經(jīng)過兩層卷積后圖像尺寸仍然不變；②經(jīng)過2×2的池化處理，變成32×32的圖像；③進行兩層3×3的卷積，仍采用Same方式填充，通道數(shù)為128且大小不變；④經(jīng)過2×2的池化處理，變?yōu)?6×16的圖像；⑤經(jīng)過兩層全連接，完成10類別分類(對應于關節(jié)炎和正常圖像的類別數(shù)).

激活函數(shù)和優(yōu)化函數(shù)是CNN的重要組成部分，對分類的準確度、模型的收斂速度和迭代周期等起著重要的決定作用.正則化和Dropout能夠提高模型的泛化能力、降低過擬合現(xiàn)象的發(fā)生，從而提高模型的分類性能.

激活函數(shù)：ReLU是CNN常用的激活函數(shù)，它原樣輸出正樣本，但對負數(shù)本做置0處理.相比于Sigmoid或者Tanh，ReLU因不使用指數(shù)運算，因而計算量小，能夠加快模型收斂.ReLU的定義見公式4.

f(x)=max(0,x)

(4)

圖6給出了ReLU函數(shù)的圖形化表示.

圖6 ReLU函數(shù)曲線

優(yōu)化函數(shù)：本文選用隨機梯度下降(Stochastic gradient descent,SGD)優(yōu)化函數(shù)，在每次迭代中，使用一個樣本來對參數(shù)進行更新，從而使得訓練速度加快.

正則化：在訓練過程中通過逐漸增大超參數(shù)λ來增加網(wǎng)絡參數(shù)稀疏性，以提高泛化能力.本文采用L1范數(shù)作為稀疏性懲罰Ω(θ)的正則化方式叫做L1正則化，其定義如下：

(5)

其中，L1范數(shù)‖θ1‖1定義為張量θ1中所有元素的絕對值之和.

Dropout：失活操作通過隨機斷開神經(jīng)網(wǎng)絡的連接，以減少訓練時實際參與計算模型的參數(shù)數(shù)量.但在模型測試階段，Dropout會恢復所有的連接，保證模型測試時獲得最好的性能.本文帶有Dropout層的網(wǎng)絡模型在訓練時，其實際參數(shù)量減少，因而泛化能力變強.

2 實驗及評價

2.1 實驗設計

使用表2所示的5 086個圖像樣本，實驗驗證本文構建的分類器的性能.為獲得實驗數(shù)據(jù)的真實情況，實驗開始前邀請三名核醫(yī)學科醫(yī)生對圖像進行了手工標注.三名標注人員依據(jù)診斷報告分別獨自標注每一幅圖像，當標注結果不一致時，采用少數(shù)服從多數(shù)的原則確定最后結果.

訓練數(shù)據(jù)、驗證數(shù)據(jù)、測試數(shù)據(jù)的比例為6︰2︰2，學習率設置為0.0001、Dropout設置為0.5.實驗中所用的GPU為P400、CPU為i7-9700，內存為32 G，采用Tensorflow2.0框架和Pytorch 1.4.0框架.

模型分類后的圖像將歸屬于下列四個類別的其中一個：

①真陽性(True Positive,TP)：將包含關節(jié)炎病灶的圖像正確地識別為異常圖像；②真陰性(True Negative,TN)：將不含病灶的圖像正確地識別為正常圖像；③假陽性(False Positive,FP)：將不含病灶的圖像錯誤地識別為異常圖像；④假陰性(False Negative,FN)：將包含病灶的圖像錯誤地識別為正常圖像. 基于上述定義，現(xiàn)定義本文的評價指標準確度Acc、精確度Prec、召回率Rec和F-1評分如下：

(6)

(7)

(8)

(9)

此外，一個好的分類器應該同時獲得高的檢測率(True Positive Rate,TPR)和低的誤報率(False Positive Rate,FPR)，其定義見公式(10)和公式(11).

(10)

(11)

以TPR為橫坐標、FPR為縱坐標，繪制ROC (Receiver Operating Characteristic Curve)曲線，曲線下的面積AUC值越大，則模型的分類性能越好.

2.2 實驗結果與分析

2.2.1 VGG6準確率變化曲線分析

圖7給出了VGG-6模型的訓練準確度Acc和損失Loss的變化情況.從圖7可以看出，隨著訓練迭代次數(shù)的增加，準確率不斷上升.當訓練到100周期時準確率基本保持不變，達到0.92，其后準確率將基本保持不變.

圖7 VGG-6模型的訓練準確率和驗證準確率曲線

2.2.2 量化結果

表3給出了VGG-16和VGG-6兩種模型在各評價指標上的取值.從表3可以看出，本文自定義的深度模型VGG-6獲得了更好的分類性能，分類準確度較VGG-16高出11.9個百分點.

表3 不同模型的實驗結果比較

VGG-6獲得較好分類的可能原因：對于小數(shù)據(jù)集來說，較淺層的識別模型更有利于提取病灶的有效特征，從而獲得較高性能的分類結果.由于VGG-16模型層數(shù)較深，容易造成過度學習，總參數(shù)量是VGG-6的4倍，相應地增加了計算量和運行時間.所以采用卷積核較小的淺層VGG-6模型，可實現(xiàn)SPECT骨顯像圖像中關節(jié)炎疾病的高效可靠分類.

為了進一步考察不同激活函數(shù)對分類性能的影響，表4給出VGG-6模型使用不同激活函數(shù)時的準確度和損失指標.從表4可以看出，激活函數(shù)ReLU效果最好，其收斂周期為125，明顯低于其他激活函數(shù).同時，ReLU獲得的準確率和損失值也優(yōu)于其他函數(shù).這與Tanh和Sigmoid相比，ReLU的計算量更小、收斂速度更快.

表4 不同VGG-6模型激活函數(shù)比較

2.2.3 ROC曲線與AUC值

圖8給出了VGG-6模型的ROC曲線及其AUC值.高達0.986 2的AUC值充分說明了本文自定義的VGG-6模型可有效用于SPECT圖像關節(jié)炎疾病的自動診斷.

圖8 ROC曲線和AUC值 圖9 VGG-6模型的混淆矩陣

2.2.4 混淆矩陣

為了進一步探究VGG-6模型在不同類別關節(jié)炎SPECT圖像分類中的性能，圖9提供了分類結果的混淆矩陣.其中，0類圖像的準確率偏低，為87.9%；其他類別的識別率都在90%以上，部分甚至高達95%.從混淆矩陣可知，關節(jié)炎與正常部位的分類準確率指標均保持在一個較高水平.

由圖10給出的誤分樣本可以看出：(a)正常踝關節(jié)被模型預測為踝關節(jié)炎.在此踝關節(jié)處濃聚增強，醫(yī)生也會有誤診為踝關節(jié)炎的可能，對深度模型也會造成誤判；(b)正常肩關節(jié)被模型預測為肩關節(jié)炎，此肩關節(jié)與圖(a)情況類似，中心位置濃聚增強，容易導致誤診；(c)膝關節(jié)炎被預測為正常膝關節(jié).此膝關節(jié)顯影減淡，相對其他關節(jié)炎濃聚減弱，是放射藥物吸收在個體之間的差異所導致的結果；(d)肩關節(jié)炎被預測為正常肩關節(jié).此患者較為年輕，對放射性藥物吸收能力強，因此在檢測時肩關節(jié)處顯影明顯，有濃聚現(xiàn)象，對于這種情況醫(yī)生也經(jīng)常會誤診. 此外，在SPECT檢測中，特殊人群如老年人、體質較弱患者對放射性藥物的吸收能力普遍偏低，是造成許多老年人在關節(jié)炎檢測時漏診的主要原因.相反，年輕人代謝能力強，對放射性藥物吸收能力也較強，因而容易發(fā)生誤診的情況.放射藥物吸收在個體之間存在的差異，一定程度上對分類模型造成干擾，但深度模型的自動特征提取能力可有效針對這些差異，是傳統(tǒng)機器學習方法的有效補充.

(a) (b) (c) (d)

3 總結與展望

以SPECT成像關節(jié)炎的自動可靠識別為目標，本文研究并構建基于VGG-16的分類器，同時自定義了VGG-6分類模型.首先，對SPECT圖像的預處理和數(shù)據(jù)擴展過程進行了說明.然后詳細闡述了本文構建的深度分類器.基于臨床環(huán)境收集的真實SPECT檢查數(shù)據(jù)，對構建的分類模型進行了實驗驗證.實驗結果表明，本文提出的方法在關節(jié)炎圖像自動分類中具有可行性.未來將從如下幾個方面對本文工作予以擴展：

首先，進一步優(yōu)化本文構建的深度分類模型，尤其是VGG-6模型，以提升模型的分類性能.

然后，收集大量真實SPECT檢查數(shù)據(jù)，來驗證模型的有效性和可用性.

最后，拓展研究領域，構建面向多病灶的深度分類模型，進而研發(fā)可實際操控的SPECT關節(jié)炎CAD系統(tǒng).