奚謙逸，張 釩，李奇軒，焦竹青，倪昕曄

(1.常州大學(xué)微電子與控制工程學(xué)院，江蘇 常州 213164；2.南京醫(yī)科大學(xué)附屬常州第二人民醫(yī)院放療科，江蘇 常州 213003；3.南京醫(yī)科大學(xué)醫(yī)學(xué)物理研究中心，江蘇 常州 213003)

放射治療(簡稱放療)是治療腫瘤的主要方法之一，要求射線準(zhǔn)確照射靶組織以消除病灶，同時(shí)避免對周圍組織造成損傷[1]，放療前精確描繪靶組織與正常組織至關(guān)重要。臨床多基于CT圖像勾畫靶組織與正常組織器官，但其區(qū)分電子密度相近的軟組織結(jié)構(gòu)的效果較差，勾畫靶區(qū)時(shí)或難以確定[2]。與CT相比，MRI可更好地顯示軟組織，近年已越來越多地用于制定放療計(jì)劃；迄今已有多種方法可基于MRI生成偽CT圖像，傳統(tǒng)方法包括基于分割[3]、圖集[4]、統(tǒng)計(jì)學(xué)習(xí)[5]及隨機(jī)森林的方法[6]。隨著深度學(xué)習(xí)的發(fā)展，利用U-net[7]、生成對抗網(wǎng)絡(luò)(generative adversarial networks,GAN)[8]及循環(huán)GAN(cycle-consistent GAN，CycleGAN)[9]等均可基于MRI生成偽CT圖像。本研究基于U-net網(wǎng)絡(luò)改進(jìn)CycleGAN(UCycleGAN)，利用顱腦MRI生成偽CT圖，并評估其圖像質(zhì)量。

1 資料與方法

1.1 數(shù)據(jù)來源 收集2018年6月—2021年3月常州市第二人民醫(yī)院50例鼻咽癌的顱腦MR圖和CT資料，男22例、女28例，年齡35～86歲、平均(62.5±7.9)歲；將其中40例用于訓(xùn)練模型，另10例用于測試。MR圖由Philips Achieva Scanner 1.5T MR設(shè)備獲取，T1WI掃描參數(shù)：TR 1 343 ms，TE 80 ms，F(xiàn)A 90°，圖像大小640×640×30～640×640×41，體素間距0.664 0 mm×0.664 0 mm×5 mm。CT圖由GE Optima CT520設(shè)備采集，掃描參數(shù)：管電壓120 kV，管電流220 mA，圖像大小512×512×101～512×512×123，體素間距0.976 5 mm×0.976 5 mm×3 mm。

1.2 圖像預(yù)處理 因采集2種模態(tài)圖像時(shí)所用掃描條件不同，且相同患者的肌肉及脂肪在2種模態(tài)成像中的位置存在明顯差異(非配對數(shù)據(jù))，故以CycleGAN網(wǎng)絡(luò)對其進(jìn)行訓(xùn)練。首先對MR圖和CT圖進(jìn)行偏置場校準(zhǔn)和剛性配準(zhǔn)，以使2種模態(tài)圖像中對應(yīng)解剖結(jié)構(gòu)的位置相同；再對CT圖進(jìn)行掩膜處理；之后以根據(jù)MR圖提取的掩膜區(qū)域去除CT圖中的體位固定裝置(圖1)。

圖1 預(yù)處理后的CT圖(A)與MRI(B)

1.3 網(wǎng)絡(luò)訓(xùn)練與測試 原始CycleGAN由前向循環(huán)和后向循環(huán)組成，其中分別有2個(gè)生成器G和F，以及1個(gè)判別器網(wǎng)絡(luò)D。在前向循環(huán)中，生成器G以原始MR圖作為輸入，輸出則為生成的偽CT圖，將判別器DCT用于區(qū)分生成的偽CT圖與原始CT圖。將生成器G的輸出作為生成器F的輸入，F(xiàn)輸出相應(yīng)的偽MR圖。將生成器F輸出的偽MR圖與輸入生成器G的MR圖進(jìn)行對比，以構(gòu)成前向循環(huán)的循環(huán)一致性。在后向循環(huán)中，以CT圖作為生成器F的輸入，其輸出則為偽MR圖；將判別器DMR用于區(qū)分生成的MR圖與原始MR圖；生成器G的輸入為MR圖，輸出為偽CT圖；將生成器G輸出的偽CT圖與輸入生成器F的原始CT圖進(jìn)行對比，以構(gòu)成后向循環(huán)的循環(huán)一致性[9]。

原始CycleGAN的生成器網(wǎng)絡(luò)部分采用深度殘差網(wǎng)絡(luò)。在UCycleGAN網(wǎng)絡(luò)中以U-net網(wǎng)絡(luò)替換原始的深度殘差網(wǎng)絡(luò)，并在CycleGAN中加入L1距離函數(shù)，以最小化像素水平的平均誤差，提高合成圖像精準(zhǔn)度(圖2)。

圖2 UCycleGAN的網(wǎng)絡(luò)結(jié)構(gòu) (G、F為生成器，DCT、DMR為判別器)

CycleGAN由2種損失函數(shù)構(gòu)成，分別為生成對抗損失函數(shù)和循環(huán)一致性損失函數(shù)。生成器G和F的生成對抗損失函數(shù)如公式(1)和(2)。前向循環(huán)一致性損失函數(shù)Lforward-cyc和后向循環(huán)一致性損失函數(shù)Lbackward-cyc組成循環(huán)一致性損失函數(shù)LCycle-consistency，如公式(3)～(5)。CycleGAN完整損失函數(shù)見公式(6)。

LGAN_G_MRto CT=Ect～Pdata(ct)[‖log(DCT(ct))‖1]+

Emr～Pdata(mr)[‖log[1-(DCT(G(mr)))]‖1]

(1)

LGAN_F_CTtoMR=Emr～Pdata(mr)[‖log(DMR(mr))‖1]+

Ect～Pdata(ct)[‖log[1-(DMR(F(ct)))]‖1]

(2)

Lforward-cyc=Emr～Pdata(mr)[‖(F(G(mr))-mr)‖1]

(3)

Lbackward-cyc=Ect～Pdata(ct)[‖(G(F(ct))-ct)‖1]

(4)

LCycle-consistency=Lforward-cyc+Lbackward-cyc

(5)

LCycleGAN=LGAN_G_MRtoCT+LGAN_F_CTtoMR+λLCycle-consistency

(6)

式中，λ是循環(huán)一致性損失函數(shù)所占的權(quán)重[10]。

兩幅圖之間L1距離以公式(7)計(jì)算，即兩幅圖每個(gè)對應(yīng)像素的灰度值差值的絕對值之和。將L1距離添加至CycleGAN中，則可以將L1距離函數(shù)以公式(8)改寫。將L1距離函數(shù)加入CycleGAN原損失函數(shù)中，獲得新的CycleGAN總損失函數(shù)，見公式(9)。

(7)

LL1=EMR,CT～Pdata(MR,CT)[‖G(MR)-CT‖1]+

ECT，MR～Pdata(CT,MR)[‖F(xiàn)(CT)-MR‖1]

(8)

LCycleGAN=LGAN_G_MRtoCT+LGAN_F_CTtoMR+λLCycle-consistency+βLL1

(9)

1.4 對比分析 分別采用ResNet、U-net的CycleGAN及Pix2Pix生成器[11]從MR圖生成偽CT圖?；趐ython實(shí)現(xiàn)基于不同深度學(xué)習(xí)模型生成偽CT圖的任務(wù)，訓(xùn)練參數(shù)和UCycleGAN基本一致，均采用Adam優(yōu)化器對模型進(jìn)行200個(gè)輪次訓(xùn)練，批處理數(shù)據(jù)大小設(shè)置為1，初始固定的學(xué)習(xí)率為0.000 2，經(jīng)過200個(gè)輪次訓(xùn)練后的學(xué)習(xí)率逐漸減少為0。

1.5 評估指標(biāo) 利用平均絕對誤差(mean absolute error，MAE)、峰值信噪比(peak signal-to-noise ratio，PSNR)及結(jié)構(gòu)相似性(structural similarity，SSIM)評價(jià)不同網(wǎng)絡(luò)生成的偽CT圖與原始CT圖之間的差異，見公式(10)～(13)。

(10)

ICT(i)表示原始的CT圖某像素點(diǎn)的CT值，SynCT(IMR(i))表示偽CT圖與原始CT圖嚴(yán)格對齊的像素點(diǎn)的CT值。MAE越小代表偽CT圖越接近原始的CT圖。

(11)

(12)

式中，MAXI表示圖像顏色的最大數(shù)值。MSE表示均方誤差，PSNR越大就代表偽CT圖失真越少，越接近原始CT圖。

(13)

1.6 統(tǒng)計(jì)學(xué)分析 采用SPSS 22.0統(tǒng)計(jì)分析軟件。以±s表示符合正態(tài)分布的計(jì)量資料，模型間評價(jià)指標(biāo)比較行配對t檢驗(yàn)。P<0.05為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

相比其他模型，采用UCycleGAN合成的偽CT圖細(xì)節(jié)更豐富，更加貼近原始圖像，見圖3。相比原始CT圖，以4種模型生成的偽CT圖的骨質(zhì)區(qū)域均存在誤差；與CycleGAN_ResNet相比，采用UCycleGAN合成的偽CT圖與原始CT圖的差異最小，見圖4。HU直方圖(圖5)顯示，1 000 HU上下，UCycleGAN偽CT圖與原始CT圖的HU峰值更為接近。相比其他模型，UCycleGAN模型生成的偽CT圖與原始CT圖更為接近，其體素MAE為(81.45±3.87)HU，PSNR為(34.13±3.28)dB，SSIM為0.87±0.03。以UCycleGAN模型生成的偽CT圖的MAE小于、而SSIM明顯大于其他3種模型(P均<0.05)；UCycleGAN偽CT圖的PSNR大于CycleGAN_ResNet(P<0.05)，與另2種模型比較差異均無統(tǒng)計(jì)學(xué)意義(P均>0.05)，見表1。

表1 不同模型生成的偽CT圖的評價(jià)指標(biāo)

圖3 基于MR圖生成的偽CT圖

圖5 偽CT圖與原始CT圖的HU直方圖

3 討論

相比傳統(tǒng)CT引導(dǎo)模式，采用MRI引導(dǎo)放療具有安全、無輻射、對軟組織對比度高等優(yōu)點(diǎn)，但MR圖無法提供電子密度的直接信息，故需先將MR圖轉(zhuǎn)換為CT圖[12]。既往常以深度學(xué)習(xí)方法，如U-net[13]、GAN[14]、Pix2Pix[15]等，根據(jù)MR圖生成CT圖，均需要采用經(jīng)過配對的MRI與CT數(shù)據(jù)集，且對數(shù)據(jù)配準(zhǔn)精度要求較高；但臨床實(shí)際工作中，常難以獲得經(jīng)過配對的MRI/CT數(shù)據(jù)集。

本研究提出在原始CycleGAN基礎(chǔ)上更改生成網(wǎng)絡(luò)，并添加L1距離函數(shù)的方法。CycleGAN在GAN的網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上增加了1個(gè)還原網(wǎng)絡(luò)用于還原輸出，通過將還原后圖像的像素與原始輸入像素進(jìn)行比較來確保輸出與輸入的對應(yīng)關(guān)系，其還原均為提取特征后的還原，并不需要輸出與輸入在形式上完全一致，而要求其深層次特征保持一致，故可使用未經(jīng)配對的數(shù)據(jù)集，即對獲取數(shù)據(jù)的要求較低，可用于解決訓(xùn)練數(shù)據(jù)集配準(zhǔn)精度不高的問題；可同時(shí)進(jìn)行2種不同模態(tài)轉(zhuǎn)換，以獲得比常規(guī)網(wǎng)絡(luò)更為豐富的圖像信息。圖像預(yù)測任務(wù)中，輸入圖像與生成圖像的低級特征存在諸多相似處，利用U-net網(wǎng)絡(luò)的跳躍連接將編碼器和解碼器中的對應(yīng)特征映射并加以連接，可使編碼器能夠使用這些特征，進(jìn)而減少損失；來自編碼器的特征信息也可用于解碼，以在更深層次上積累空間信息，故其相比殘差網(wǎng)絡(luò)更具優(yōu)勢。另外，L1距離函數(shù)傾向于最小化像素水平的平均誤差，可提高圖像合成精度。基于以上各項(xiàng)，與原始采用深度殘差網(wǎng)絡(luò)的CycleGAN及采用U-net的CycleGAN相比，本研究方法可減少在編碼時(shí)損失的同時(shí)降低圖像合成誤差，提高圖像合成質(zhì)量；相比Pix2pix和原始CycleGAN生成圖像，以上述方法生成的偽CT圖可提供更多對比信息，顯示骨骼更加完整，并更加貼近原始CT圖；4個(gè)模型的誤差均主要見于骨骼區(qū)域，可能與CT和MR成像原理差異有關(guān)。

盡管本研究采用UCycleGAN使得合成效果得到顯著提升，但系將三維圖像轉(zhuǎn)換為二維圖像，尚未利用圖像的三維結(jié)構(gòu)信息，仍需繼續(xù)改進(jìn)。

綜上所述，利用UCycleGAN可由頭顱MR圖生成偽CT圖，且比常規(guī)深度學(xué)習(xí)方法更為精準(zhǔn)，有助于實(shí)現(xiàn)MRI引導(dǎo)放療。