高瑞婷，林 強(qiáng)，滿正行，曹永春，王海軍，陳 軍，鄧 濤

(1.西北民族大學(xué) 中國民族語言文字信息技術(shù)教育部重點(diǎn)實驗室，甘肅 蘭州 730030;2.西北民族大學(xué) 動態(tài)流數(shù)據(jù)計算與應(yīng)用實驗室，甘肅 蘭州 730030;3.甘肅省人民醫(yī)院 核醫(yī)學(xué)科，甘肅 蘭州 730020)

0 引言

關(guān)節(jié)炎是人體關(guān)節(jié)的炎性病變，主要由微生物感染、機(jī)體創(chuàng)傷、免疫力下降、遺傳及關(guān)節(jié)退行性變等因素引發(fā).臨床上，關(guān)節(jié)炎具有病癥隱匿、病情進(jìn)展緩慢、可反復(fù)發(fā)作等特征，當(dāng)然也不排除部分急性發(fā)作的病例.這種情況若不及時治療則易引起關(guān)節(jié)功能障礙，嚴(yán)重者可致終身殘疾.對于老年患者，關(guān)節(jié)炎與骨轉(zhuǎn)移的早期癥狀有著類似的成像特征.在臨床診斷中，準(zhǔn)確診斷并精確分割關(guān)節(jié)炎病灶具有重要的臨床診療價值，已經(jīng)成為放射醫(yī)學(xué)中圖像自動分割的重要研究分支[1-3].

在醫(yī)學(xué)成像中，單光子發(fā)射計算機(jī)斷層成像(Single-Photon Emission Computed Tomography,SPECT)是主要的核醫(yī)學(xué)功能成像技術(shù)，可同時捕獲器官、組織的功能狀態(tài)和結(jié)構(gòu)形態(tài).與傳統(tǒng)的結(jié)構(gòu)成像，如計算機(jī)斷層攝影(Computed Tomography,CT)和磁共振成像(Magnetic Resonance Imaging,MRI)相比，核醫(yī)學(xué)SPECT成像通過檢測骨代謝的變化實現(xiàn)病變的識別，具有較高的靈敏度[4-5].

SPECT是低質(zhì)量醫(yī)學(xué)成像模態(tài)，一幅全身骨掃描SPECT圖像的分辨率僅為256×1024.同時，SPECT圖像容易受噪聲干擾，還經(jīng)常包含注射點(diǎn)、膀胱等部位的高濃度殘留.盡管傳統(tǒng)的機(jī)器學(xué)習(xí)方法已經(jīng)部分應(yīng)用于SPECT圖像的病灶分割，但受限于SPECT骨成像的低分辨率和低對比度，目前面向全身SPECT骨成像的病灶分割研究很少，幾乎為空白.

深度學(xué)習(xí)是近年來快速發(fā)展和廣泛應(yīng)用的機(jī)器學(xué)習(xí)技術(shù)，具有可從圖像中自動提取特征的獨(dú)特功能.在圖像分割研究范疇，學(xué)術(shù)界提出了系列深度分割網(wǎng)絡(luò)，包括面向語義分割的全卷積網(wǎng)絡(luò)(Fully Convolutional Networks,FCN)[6]和面向?qū)嵗指畹腗ask R-CNN[7].專注于醫(yī)學(xué)圖像的分割，Ronneberger等[8]基于FCN構(gòu)建了U-Net網(wǎng)絡(luò).當(dāng)前，基于深度學(xué)習(xí)的圖像分割已經(jīng)成為醫(yī)學(xué)圖像分析的重要研究分支，產(chǎn)生了一系列代表性的研究成果，涉及的成像模態(tài)主要包括磁共振圖像[9-13]、CT圖像[14-16]、超聲圖像[17-19]分割.

應(yīng)用傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，朱春媚等[20]于2007年構(gòu)建了基于BP神經(jīng)網(wǎng)絡(luò)的全身骨SPECT圖像的骨骼結(jié)構(gòu)分割方法.該方法首先利用神經(jīng)網(wǎng)絡(luò)進(jìn)行粗分類，然后用模板匹配和去對稱機(jī)制排除誤識別的區(qū)域，獲得的分割準(zhǔn)確率為75.5%；Chen等[21]于2020年提出深度網(wǎng)絡(luò)與主動輪廓技術(shù)結(jié)合的骨SPECT成像骨骼結(jié)構(gòu)分割模型，獲得的DSC(Dice similarity coefficient)值為0.732；Shimizu等[22]于2020年在U-Net網(wǎng)絡(luò)的基礎(chǔ)上構(gòu)建了所謂的蝴蝶型網(wǎng)絡(luò)(BtrflyNet)，實現(xiàn)全身骨SPECT圖像中13個骨骼部位分割，獲得的DSC值在0.7～0.96之間.

現(xiàn)有研究主要關(guān)注的是骨骼結(jié)構(gòu)的分割，尚未涉及疾病病灶的分割.由于骨骼具有比較規(guī)則的形狀，并且有可參考的構(gòu)造常識，因而相對容易分割.相比而言，病灶的形態(tài)各異，結(jié)構(gòu)復(fù)雜，特別是關(guān)節(jié)炎病灶單體面積較小、分布密度較大，病灶可靠分割難度較大.借助于深度學(xué)習(xí)技術(shù)的圖像特征自動提取功能，可精確分割SPECT骨成像中的關(guān)節(jié)炎病灶.本文首先利用歸一化技術(shù)將骨SPECT成像數(shù)據(jù)文件轉(zhuǎn)換成元素值在特定范圍的圖像，在關(guān)節(jié)部位圖像裁減的基礎(chǔ)上做標(biāo)準(zhǔn)的圖像鏡像、平移和旋轉(zhuǎn)處理，實現(xiàn)數(shù)據(jù)集的適度擴(kuò)展.然后利用經(jīng)典的U-Net和Mask R-CNN網(wǎng)絡(luò)以及提出基于U-Net網(wǎng)絡(luò)的改進(jìn)模型R_U-Net構(gòu)建分割模型，實現(xiàn)關(guān)節(jié)炎病灶的自動分割.最后，使用一組真實的SPECT骨成像數(shù)據(jù)，驗證本文構(gòu)建的深度分割模型.實驗結(jié)果表明，本文提出的方法可用于SPECT骨成像中關(guān)節(jié)炎病灶的識別和檢測，獲得的上肢關(guān)節(jié)炎CPA和IoU分別為0.688和0.648，下肢關(guān)節(jié)炎CPA和IoU分別為0.640和0.590，MPA、MIoU的值分別為0.776、0.754.

1 SPECT骨成像數(shù)據(jù)集及預(yù)處理

1.1 核醫(yī)學(xué)SPECT圖像數(shù)據(jù)集

本文實驗所用數(shù)據(jù)收集于2017年1月至12月甘肅省人民醫(yī)院放射科疾病診斷過程中采集的數(shù)據(jù).所有患者均采用西門子多光譜伽瑪照相機(jī)，配有兩個探測器，靜脈注射Tc-99m亞甲基二磷酸鹽(MDP)放射性藥物2～3 h后的骨顯像.SPECT數(shù)據(jù)存儲遵循醫(yī)學(xué)數(shù)字成像與通信協(xié)議(Digital Imaging and Communications in Medicine,DICOM).DICOM文件中的每個元素都是輻射劑量(16位無符號整數(shù))的數(shù)字記錄，而不是預(yù)先注射到患者體內(nèi)的放射性核素或同位素的像素值，矩陣大小為1024×256，可顯示患者大部分身體情況.正常人的SPECT成像均勻、清晰，全身骨放射性分布均勻且對稱，而發(fā)生病變的區(qū)域會出現(xiàn)放射性核素濃聚，成像表現(xiàn)為團(tuán)點(diǎn)狀的亮點(diǎn).

1.2 數(shù)據(jù)集預(yù)處理

本文擬構(gòu)建基于深度學(xué)習(xí)模型的SPECT圖像關(guān)節(jié)炎病灶分割方法，而深度模型對訓(xùn)練數(shù)據(jù)量以及數(shù)據(jù)輸入格式有較高的要求.SPECT圖像是在疾病診治過程中收集的核醫(yī)學(xué)影像記錄，患有關(guān)節(jié)炎的SPECT數(shù)據(jù)較少，而且原始數(shù)據(jù)為DICOM文件，無法直接輸入模型訓(xùn)練.為此，本文采用歸一化方法處理SPECT數(shù)據(jù)，通過平移、旋轉(zhuǎn)、鏡像、裁剪等方法來擴(kuò)展數(shù)據(jù)，然后將數(shù)據(jù)集轉(zhuǎn)換成實驗?zāi)Ｐ退蟮妮斎敫袷讲⑺腿肽Ｐ陀?xùn)練.

1.2.1 DICOM矩陣到圖像的轉(zhuǎn)換

SPECT關(guān)節(jié)炎病灶數(shù)據(jù)是以DICOM文件格式存儲，而每個文件都是核素放射量矩陣，如圖1是獲取的2017年所有DICOM文件的數(shù)量及其放射量.由圖1看出，放射量大約處于0～11 000之間，范圍變化較大.為了適應(yīng)模型將其做歸一化處理，轉(zhuǎn)化為像素值在0～255的普通圖像.運(yùn)用Min-Max標(biāo)準(zhǔn)對原始數(shù)據(jù)歸一化線性變換，如公式(1).

(1)

其中，xi表示圖像像素點(diǎn)值，max(x)和min(x)分別表示圖像像素的最大值與最小值.

圖1 2017年DICOM文件放射量圖

1.2.2 數(shù)據(jù)擴(kuò)展

為了解決標(biāo)注樣本數(shù)量較少的問題，需要進(jìn)行數(shù)據(jù)擴(kuò)展.數(shù)據(jù)擴(kuò)展能夠有效緩解過擬合問題，從而提高分割精度.

1) 圖像裁剪.SPECT圖像基本包含人體全身部位.為了降低圖像背景對病灶部位的影響，本文通過裁剪方式擴(kuò)展數(shù)據(jù).原始數(shù)據(jù)大小為1024×256，設(shè)置步長為128，以肩、肘、腕、膝、踝關(guān)節(jié)為目標(biāo)點(diǎn)依次進(jìn)行裁剪，確保裁剪后的每張圖像都有一個或者多個病灶點(diǎn)，最終得到尺寸為256×256的圖像.

2) 水平鏡像.SPECT核醫(yī)學(xué)檢測每次產(chǎn)生兩幅圖像，分別代表前位圖像和后位圖像.檢查過程和數(shù)據(jù)傳輸、存儲過程均有可能出現(xiàn)圖像丟失現(xiàn)象.為了避免圖像丟失可能帶來的影響，本文對SPECT圖像做鏡像處理.常見的圖像鏡像有水平鏡像和垂直鏡像，但由于人體的垂直對稱性，本文僅選用水平鏡像的處理方法.

設(shè)原圖像的高度為h，寬度為w，(xi,yi)為輸入圖像中的點(diǎn)，式(2)給出了經(jīng)過水平鏡像變換后的點(diǎn)(x0,y0).

(2)

3) 圖像旋轉(zhuǎn).疾病檢查過程中，患者的睡姿可能不完全標(biāo)準(zhǔn)，所收集的SPECT圖像中難免會包含傾斜現(xiàn)象.為了彌補(bǔ)這種缺陷，對SPECT圖像做適度旋轉(zhuǎn)處理.其旋轉(zhuǎn)幅度需要控制在合理的范圍內(nèi).

假設(shè)(xi,yi)為輸入圖像中的點(diǎn)，給定旋轉(zhuǎn)角度θ∈[θ1,θ2]，其中θ1和θ2分別代表旋轉(zhuǎn)角度的下限和上限，取值通過實驗方式確定.式(3)給出了經(jīng)旋轉(zhuǎn)處理后的點(diǎn)(x0,y0).

(3)

4) 圖像平移.因患者睡姿的不標(biāo)準(zhǔn)，所收集的SPECT圖像中會產(chǎn)生偏離中心的現(xiàn)象.為消除這一影響，需要對SPECT做平移處理.但醫(yī)學(xué)圖像不同于自然圖像，平移幅度應(yīng)該控制在合理的范圍之內(nèi).

假設(shè)(xi,yi)為輸入圖像中的點(diǎn)，給定平移量Δx∈[Δx1,Δx2]，其中Δx1和Δx2分別代表平移量的下限和上限，其取值通過實驗方式確定.式(4)給出了經(jīng)平移處理后的點(diǎn)(x0,y0).

(4)

2 基于深度學(xué)習(xí)的SPECT圖像病灶分割模型

2.1 Mask R-CNN網(wǎng)絡(luò)

Mask R-CNN[7]是一個具有多任務(wù)學(xué)習(xí)能力的神經(jīng)網(wǎng)絡(luò)，在Faster R-CNN[23]網(wǎng)絡(luò)分類與目標(biāo)檢測分支的基礎(chǔ)上并行增加了一個分割的分支，可以同時實現(xiàn)檢測、分類和分割任務(wù).

Faster R-CNN主要是對圖像做檢測與定位，通過區(qū)域建議網(wǎng)絡(luò)(Region Proposal Network,RPN)找出圖像中的候選區(qū)域(Region of Interest,RoI)，再利用卷積層提取這幅圖片的整體特征，從而得到特征圖.

Mask分支是使用FCN對每個RoI預(yù)測掩模.FCN主要包括卷積和去卷積模塊，即先對圖像進(jìn)行卷積和池化操作，使其特征圖的大小不斷減小，然后進(jìn)行反卷積操作，經(jīng)過神經(jīng)網(wǎng)絡(luò)最后的Softmax分類器，預(yù)測某像素屬于某類別的概率.在上采樣的特征圖上進(jìn)行逐像素的預(yù)測分類，從而實現(xiàn)對圖像的準(zhǔn)確分割.

RoI Align是使用雙線性插值進(jìn)行池化操作，使得特征圖中目標(biāo)區(qū)域的精確信息被獲取，并進(jìn)行分類回歸，從而提高準(zhǔn)確性.

在訓(xùn)練階段，每個樣本的RoI均有一個損失函數(shù)(Loss，L)，L定義為公式(5).

L=Lcls+Lbox+Lmask

(5)

其中，Lcls為分類損失，Lbox為回歸損失，Lmask為分割損失.Lcls和Lbox是利用全連接預(yù)測出每個ROI的所屬類別及其矩形框坐標(biāo)值.mask分支采用FCN對每個ROI的分割輸出維數(shù)為K×m×m的掩膜，對每一個像素應(yīng)用sigmod函數(shù)求相對熵，得到平均相對熵誤差Lmask.

本實驗?zāi)Ｐ偷木W(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.骨干網(wǎng)絡(luò)使用ResNet50，基于ResNet50構(gòu)建特征金字塔網(wǎng)絡(luò)(Feature Pyramid Networks,FPN)做自下而上特征提取.SPECT骨顯像原始圖像大小為256×256，在進(jìn)入主干網(wǎng)絡(luò)前先放大為512×512.ResNet50網(wǎng)絡(luò)中劃分為5個模塊，每個模塊的特征圖對應(yīng)Stride為[4,8,16,32,64].經(jīng)滑動窗口卷積后再經(jīng)RPN網(wǎng)絡(luò)中3×3的主干卷積神經(jīng)網(wǎng)絡(luò)過濾重疊特征，然后經(jīng)過兩個1×1的卷積神經(jīng)網(wǎng)絡(luò)生成錨框坐標(biāo)和前景背景.在病灶位置檢測選取錨點(diǎn)框(anchor)時，將anchor大小分別設(shè)置為[24,48,96,192,384]五種尺度，以實現(xiàn)多尺度圖像檢測，以適應(yīng)大小不同病灶的位置檢測.分類與檢測的結(jié)果對Proposals優(yōu)化更新，RoI Align再作用于Mask分支，將輸出的特征圖分別送入分類和分割兩個分支.在檢測任務(wù)分支中分類任務(wù)完成后，再進(jìn)行分割.Mask形成與原圖等大的二值圖，用彩色區(qū)域代表不同類別的病灶區(qū)域，黑色部分為背景區(qū)域.

圖2 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)

2.2 R_U-Net網(wǎng)絡(luò)

2.2.1 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)[8]是一種編碼器—解碼器的結(jié)構(gòu)，由收縮路徑和擴(kuò)張路徑呈對稱狀.收縮路徑進(jìn)行下采樣操作，用于獲取豐富的上下文信息對骨顯像病灶和背景進(jìn)行分類，擴(kuò)張路徑進(jìn)行上采樣操作，用于實現(xiàn)病灶的精確定位.通過跳躍拼接(skip connection)將淺層特征與深層特征進(jìn)行融合，以獲得更精確的上下文信息，得到更多的病灶細(xì)節(jié)信息.

U-Net網(wǎng)絡(luò)共有23個卷積層，收縮路徑每一步下采樣包括兩個3×3的卷積.每次卷積后都經(jīng)過修正線性單元(Rectified Linear Unit,ReLU)函數(shù)作用，之后使用一個2×2的最大池化操作實現(xiàn)下采樣，其步長為2.所有下采樣操作使得特征通道翻倍，圖像尺寸減半.共進(jìn)行四次這樣的下采樣操作.擴(kuò)張路徑每一步上采樣包括兩個3×3的卷積操作，通過ReLU作激活函數(shù)，輸出通道變?yōu)樵瓉淼囊话?，圖像尺寸變?yōu)樵瓉淼?倍.最后，通過1×1的卷積操作將特征映射到所屬類別中.

2.2.2 殘差塊

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)隨著訓(xùn)練的迭代次數(shù)增加，產(chǎn)生的錯誤也會增多，容易產(chǎn)生梯度消失或爆炸問題.為此，He等[24]提出了殘差學(xué)習(xí)來解決網(wǎng)絡(luò)退化問題.對于一個堆疊層結(jié)構(gòu)，當(dāng)輸入x時學(xué)習(xí)到的特征記為H(x)=F(x).當(dāng)直接將一個輸入添加到函數(shù)的輸出時，得到的殘差映射為F(x)=H(x)-x.每一個殘差單元計算公式如式(6)、式(7).

yi=F(xi,wi)+h(xi)

(6)

xi+1=f(yi)

(7)

其中，xi和xi+1表示第i個殘差單元的輸入和輸出，F(xiàn)表示學(xué)習(xí)到的殘差，wi為第i層參數(shù)，f表示ReLU激活函數(shù)，h(xi)=xi表示恒等映射.殘差單元的結(jié)構(gòu)如圖3所示.

圖3 殘差塊結(jié)構(gòu)

與其他網(wǎng)絡(luò)相比，殘差網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，該網(wǎng)絡(luò)將多個卷積操作得到殘差映射與輸入通過Add操作進(jìn)行特征融合，減少了訓(xùn)練參數(shù)與訓(xùn)練時間，在加深網(wǎng)絡(luò)深度的同時，有利于提升SPECT圖像關(guān)節(jié)炎病灶分割的精度.

為了從SPECT數(shù)據(jù)集中獲取到更多深層特征信息，引入了殘差塊來代替普通的卷積層，殘差塊在加深U-Net網(wǎng)絡(luò)的深度，同時可有效解決隨著網(wǎng)絡(luò)層數(shù)加深出現(xiàn)的梯度消失問題.改進(jìn)后的R_U-Net網(wǎng)絡(luò)如圖4所示.

圖4 R_U-Net網(wǎng)絡(luò)結(jié)構(gòu)

R_U-Net網(wǎng)絡(luò)結(jié)構(gòu)采用了U-Net網(wǎng)絡(luò)的U型結(jié)構(gòu)，由收縮路徑和擴(kuò)展路徑兩部分組成.收縮路徑的四次下采樣和擴(kuò)展路徑的四次上采樣都包括兩個3×3的卷積，一個1×1的殘差單元和一個2×2的最大池化層.在下采樣操作中，特征通道變?yōu)樵瓉淼?倍，依次為[1,64,128,256,512,1024]，圖像尺寸變?yōu)樵瓉淼囊话?，依次為[256,128,64,32,16].在上采樣操作中，將每一次的輸出特征與相映射的收縮網(wǎng)絡(luò)的特征合并在一起，補(bǔ)全卷積邊界像素的丟失.最后，通過1×1的卷積操作，將64通道的特征圖轉(zhuǎn)為類別數(shù)為2的特征圖，并經(jīng)過sigmoid函數(shù)輸出一個概率值.該值反映了預(yù)測結(jié)果為關(guān)節(jié)炎的可能性.概率值越大，說明關(guān)節(jié)炎可能性越大.每次卷積后都通過ReLU函數(shù)激活.為了保持輸出圖像與輸出圖像尺寸一致，每個卷積層均采用零填充方式進(jìn)行填充.

訓(xùn)練階段采用Dice損失函數(shù)作為分割部分的損失函數(shù).Dice系數(shù)被定義為公式(8).

(8)

其中，A為預(yù)測結(jié)果，B為人工標(biāo)記結(jié)果.當(dāng)預(yù)測結(jié)果與人工標(biāo)注結(jié)果完全相同時，其Dice系數(shù)為1.反之，當(dāng)預(yù)測結(jié)果與人工標(biāo)注結(jié)果沒有任何重疊時，其Dice系數(shù)為0.Dice損失函數(shù)為公式(9).

LDice=1-Dice(A,B)

(9)

3 實驗與分析

3.1 實驗設(shè)計

3.1.1 實驗數(shù)據(jù)與環(huán)境

本文將患者被診斷為關(guān)節(jié)炎的325幅SPECT數(shù)據(jù)作為實驗樣本，主要以患者雙側(cè)肩關(guān)節(jié)、肘關(guān)節(jié)、腕關(guān)節(jié)、膝關(guān)節(jié)和踝關(guān)節(jié)進(jìn)行病灶分割.根據(jù)部位不同，將雙側(cè)肩關(guān)節(jié)、肘關(guān)節(jié)和腕關(guān)節(jié)部位病灶歸為上肢關(guān)節(jié)炎(D1)類，雙側(cè)膝關(guān)節(jié)和踝關(guān)節(jié)部位病灶歸為下肢關(guān)節(jié)炎(D)類.由該醫(yī)院三名放射科醫(yī)生使用標(biāo)注工具LabelMe人工勾勒患者五處部位的病灶輪廓，由一名放射科主任醫(yī)生負(fù)責(zé)檢查標(biāo)記結(jié)果來確保標(biāo)記的正確性.如果三位醫(yī)生標(biāo)記一致，則認(rèn)為該張圖像標(biāo)記成功.如果三位醫(yī)生中有一位與其他兩位不同，則執(zhí)行“少數(shù)服從多數(shù)”原則.三位醫(yī)生根據(jù)病例報告中對每個病例的描述，結(jié)合患者的SPECT骨顯像情況，對該張圖像重新標(biāo)記，確保每張圖像標(biāo)記部位準(zhǔn)確無誤.標(biāo)注完成后生成json格式的注釋文件，其中包含每幅圖像中目標(biāo)區(qū)域?qū)?yīng)的坐標(biāo)信息.在數(shù)據(jù)處理階段，json格式文件被轉(zhuǎn)換為對應(yīng)于每個分割區(qū)域的掩碼圖像，然后送入模型進(jìn)行訓(xùn)練.

原始數(shù)據(jù)集通過裁剪、鏡像、旋轉(zhuǎn)和平移等方式得到5 300張.數(shù)據(jù)集輸入尺寸大小為256×256.實驗中將數(shù)據(jù)集劃分為訓(xùn)練集、測試集和驗證集，其中訓(xùn)練集4 500張，驗證集500和測試集300張.

實驗將Mask R-CNN網(wǎng)絡(luò)學(xué)習(xí)率設(shè)置為0.001，學(xué)習(xí)率的初始動量系數(shù)為0.9，batch size設(shè)置為8，網(wǎng)絡(luò)設(shè)置的epoch為200.每個epoch的迭代次數(shù)為130，訓(xùn)練最大迭代次數(shù)設(shè)置為26 000.將U-Net網(wǎng)絡(luò)的學(xué)習(xí)率設(shè)置為0.000 1，batch size設(shè)置為4，網(wǎng)絡(luò)設(shè)置的epoch為200，每個epoch的迭代次數(shù)為200，訓(xùn)練最大迭代次數(shù)設(shè)置為40 000.為了對比本文改進(jìn)模型的性能，將R_U-Net網(wǎng)絡(luò)與原U-Net網(wǎng)絡(luò)作同樣的參數(shù)設(shè)置.

實驗在Windows 1064位操作系統(tǒng)，有Intel i5-9300X和1塊NVIDIA Ge Force GTX 1050T顯卡的計算機(jī)上進(jìn)行.采用Python 3.6編寫代碼.神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和測試均以PyTorch框架完成.

3.1.2 評價指標(biāo)

本實驗使用醫(yī)學(xué)圖像分割中常用的度量指標(biāo)來定量評價模型的分割結(jié)果，度量指標(biāo)分別為類別像素精確率(Category Precision Accuracy,CPA)、平均像素準(zhǔn)確率(Mean Pixel Accuracy,MPA)、交并比(Intersection over Union,IoU)和平均交并比(Mean Intersection over Union,MIoU).其中，pij表示屬于類i但被預(yù)測為類j的像素數(shù)量；pii表示屬于類i且被預(yù)測為類i的像素數(shù)量；pji表示屬于類j但被預(yù)測為類i的像素數(shù)量，k代表圖像分割類別個數(shù)，k+1為包括背景在內(nèi)的類別總個數(shù).具體公式見式(10)～式(13).

(10)

(11)

(12)

(13)

3.2 實驗結(jié)果與分析

將預(yù)處理好的訓(xùn)練集在Mask R-CNN網(wǎng)絡(luò)、U-Net網(wǎng)絡(luò)和R_U-Net網(wǎng)絡(luò)上分別訓(xùn)練.當(dāng)設(shè)置網(wǎng)絡(luò)的epoch從1開始增加時，三種網(wǎng)絡(luò)的目標(biāo)函數(shù)值一直處于減少狀態(tài)，損失值也開始逐漸減小.三種網(wǎng)絡(luò)訓(xùn)練過程曲線圖如圖5所示，橫坐標(biāo)表示網(wǎng)絡(luò)訓(xùn)練的迭代次數(shù)，縱坐標(biāo)表示訓(xùn)練損失值.

由圖5看出，三種網(wǎng)絡(luò)隨著迭代次數(shù)的增加損失值不斷減小，表示網(wǎng)絡(luò)在迭代過程中充分學(xué)習(xí)數(shù)據(jù)集的特征，Mask R-CNN網(wǎng)絡(luò)大約在26 000次迭代后損失值達(dá)到最小.U-Net網(wǎng)絡(luò)大約在迭代39 000次后達(dá)到收斂狀態(tài)，R_U-Net網(wǎng)絡(luò)大約在迭代40 000次后達(dá)到收斂狀態(tài).

(a)Mask R-CNN模型Loss曲線 (b)U-Net模型Loss曲線 (c)R_U-Net模型Loss曲線

為綜合評價分割效果，本實驗以上肢關(guān)節(jié)炎和下肢關(guān)節(jié)炎病灶的人工標(biāo)注結(jié)果作為參考，根據(jù)300張測試圖像的分割結(jié)果計算兩類病灶的CPA和IoU值.表1展示了Mask R-CNN、U-Net和R_U-Net三種網(wǎng)絡(luò)模型對不同病灶類別的度量指標(biāo)結(jié)果.

表1 三種模型對不同類別的指標(biāo)結(jié)果

由表1看出，三種網(wǎng)絡(luò)模型對于上肢關(guān)節(jié)炎(D1)的分割結(jié)果優(yōu)于下肢關(guān)節(jié)炎(D).在SPECT關(guān)節(jié)炎數(shù)據(jù)集中，部分?jǐn)?shù)據(jù)的D1病灶點(diǎn)比D病灶點(diǎn)更加濃聚，利于網(wǎng)絡(luò)學(xué)習(xí)特征，從而可獲得相對較好的分割結(jié)果.但是三種網(wǎng)絡(luò)整體分割效果一般，是因為D1病灶和D病灶具有較高的相似性，且SPECT數(shù)據(jù)較少，使得三種網(wǎng)絡(luò)模型不能很好地識別兩種病灶，導(dǎo)致部分D1病灶和D病灶數(shù)據(jù)出現(xiàn)類別預(yù)測錯誤的情況.

為了更好地評價Mask R-CNN、U-Net和R_U-Net三種網(wǎng)絡(luò)模型對SPECT圖像關(guān)節(jié)炎病灶的分割性能，實驗計算了MPA和MIoU的值，結(jié)果如表2所示.

由表2可以看出，U-Net網(wǎng)絡(luò)分割效果高于Mask R-CNN網(wǎng)絡(luò)，是因為Mask R-CNN網(wǎng)絡(luò)層數(shù)較深且復(fù)雜.而SPECT關(guān)節(jié)炎病灶數(shù)據(jù)集較少，模型學(xué)習(xí)特征的能力不足，使得關(guān)節(jié)炎病灶分割效果較差.R_U-Net網(wǎng)絡(luò)的分割指標(biāo)MPA和MIoU比原U-Net網(wǎng)絡(luò)分別提高了7.4%和6.8%，是因為原U-Net網(wǎng)絡(luò)深度略有不足，模型學(xué)習(xí)到的深度特征較少，而R_U-Net網(wǎng)絡(luò)里增加了多個殘差塊，加深了原U-Net網(wǎng)絡(luò)的深度，能夠從SPECT數(shù)據(jù)集中獲取更多深層特征信息，殘差塊還將多個卷積操作得到殘差映射與輸入通過Add操作進(jìn)行特征融合，從而獲取多個層次的特征，提高了分割精度.

為了更直觀地看到三種網(wǎng)絡(luò)的模型分割效果，圖6列出2組上肢關(guān)節(jié)(D1)和下肢關(guān)節(jié)(D)在測試集上的分割病灶結(jié)果.(a)為原始圖像，(b)為人工標(biāo)記病灶圖，(c)為Mask R-CNN網(wǎng)絡(luò)模型分割病灶結(jié)果圖，(d)為U-Net網(wǎng)絡(luò)模型分割病灶結(jié)果圖，(e)為R_U-Net網(wǎng)絡(luò)模型分割病灶結(jié)果圖.

由圖6可看出，三種模型都可以分割出上肢關(guān)節(jié)病灶部位和下肢關(guān)節(jié)病灶部位：1)組中R_U-Net網(wǎng)絡(luò)模型分割結(jié)果與人工標(biāo)記的重疊區(qū)域比Mask R-CNN模型和U-Net模型更大，更接近人工標(biāo)注區(qū)域；2)組中R_U-Net網(wǎng)絡(luò)模型分割結(jié)果曲線要比其他兩種模型更圓滑.實驗結(jié)果表明，將殘差塊與原U-Net網(wǎng)絡(luò)相結(jié)合的改進(jìn)R_U-Net網(wǎng)絡(luò)模型能提升SPECT圖像的關(guān)節(jié)炎病灶分割精度，能夠進(jìn)一步為診斷疾病及后續(xù)治療提供更多輔助信息.

圖6 關(guān)節(jié)炎病灶分割結(jié)果

4 總結(jié)

以SPECT成像關(guān)節(jié)炎病灶的自動分割為目標(biāo)，本文研究并構(gòu)建基于Mask R-CNN網(wǎng)絡(luò)和U-Net網(wǎng)絡(luò)的分割模型，提出在U-Net網(wǎng)絡(luò)中加入殘差塊的R_U-Net網(wǎng)絡(luò).首先，對SPECT圖像的預(yù)處理和數(shù)據(jù)擴(kuò)展過程給予了交代.然后詳細(xì)說明了構(gòu)建的深度分割模型.最后，基于真實的SPECT檢查數(shù)據(jù)，對構(gòu)建的分類模型進(jìn)行了實驗驗證.實驗結(jié)果表明,本文提出的改進(jìn)方法在關(guān)節(jié)炎病灶圖像分割中具有可行性.未來將從如下幾個方面對本文工作予以擴(kuò)展：

1)進(jìn)一步優(yōu)化模型，提升模型的分割性能.

2)收集更多真實數(shù)據(jù)，驗證模型的有效性和可用性.

3)拓展研究領(lǐng)域，構(gòu)建面向多疾病多病灶的深度分割模型，進(jìn)而研發(fā)可實際部署的SPECT關(guān)節(jié)炎CAD系統(tǒng).