康文杰，林 嵐，陳 明

（1.北京工業(yè)大學(xué)環(huán)境與生命學(xué)部生物醫(yī)學(xué)工程系，北京 100124；2.南寧市城市規(guī)劃展示館，南寧 530028）

0 引言

癡呆癥已經(jīng)發(fā)展成為一個(gè)全球性的健康問題。資料顯示，2015年癡呆癥患者人數(shù)約為4 700萬人，預(yù)計(jì)到2050年將超過1.3億人[1]。阿爾茨海默?。ˋlzheimer’s disease，AD）是一種進(jìn)行性發(fā)展的致死性癡呆癥，其臨床表現(xiàn)為記憶力衰退、進(jìn)行性認(rèn)知功能障礙和日常生活能力減退[2]。AD的主要病理表現(xiàn)有β淀粉樣蛋白（Aβ）沉積、tau蛋白過度磷酸化等[3]。神經(jīng)影像學(xué)在AD患者的早期診斷和病程發(fā)展預(yù)測(cè)中具有重要意義[4]，在AD的診斷中，結(jié)構(gòu)磁共振成像（structural magnetic resonance imaging，sMRI）已得到廣泛應(yīng)用[2]。

深度學(xué)習(xí)在基于神經(jīng)影像數(shù)據(jù)驅(qū)動(dòng)的AD診斷中取得了良好的效果[5-6]，但是AD的神經(jīng)影像數(shù)據(jù)，特別是縱向影像數(shù)據(jù)，存在著數(shù)據(jù)量偏小的情況。數(shù)據(jù)不足會(huì)導(dǎo)致深度學(xué)習(xí)模型在訓(xùn)練的過程中出現(xiàn)嚴(yán)重的過擬合現(xiàn)象，從而對(duì)模型性能產(chǎn)生影響。Goodfellow等[7]于2014年提出了生成對(duì)抗網(wǎng)絡(luò)（generative adversarial networks，GAN）。GAN可以通過對(duì)抗學(xué)習(xí)生成有意義的數(shù)據(jù)，GAN及其衍生模型被廣泛應(yīng)用于神經(jīng)影像分類、分割和目標(biāo)檢測(cè)等任務(wù)中[8-9]。在AD研究中，可以通過自動(dòng)生成神經(jīng)影像數(shù)據(jù)的方式生成AD患者的神經(jīng)影像來解決研究中存在的數(shù)據(jù)不足和類不平衡問題[10]。Kang等[11]基于深度卷積GAN（deep convolutional GAN，DCGAN）可以無監(jiān)督訓(xùn)練的特點(diǎn)，采用DCGAN進(jìn)行預(yù)訓(xùn)練，并將DCGAN中的判別器（discriminator，D）遷移為卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks，CNN）分類器，并在AD分類任務(wù)中進(jìn)一步訓(xùn)練。實(shí)驗(yàn)結(jié)果表明該方法可以有效減少模型的過擬合，提升AD分類的準(zhǔn)確度，Bowles等[12]采用WGAN（Wasserstein GAN）來生成sMRI，生成圖像中包含AD病理特征（如高度萎縮的腦皮層和海馬體），可以用于預(yù)測(cè)AD的病程進(jìn)展。Lin等[13]提出了可逆GAN（reversible GAN，RevGAN），可以生成高質(zhì)量的sMRI和PET圖像。將生成的多模態(tài)的圖像用于AD分類任務(wù)，可以明顯改善AD和認(rèn)知正常（cognitive normal，CN）受試者分類的準(zhǔn)確度。

在AD的相關(guān)研究中，有時(shí)會(huì)用到受試者的縱向影像數(shù)據(jù)。由于受試者流失和掃描失敗，在縱向研究中不同時(shí)間點(diǎn)的數(shù)據(jù)缺失是不可避免的，這給相關(guān)研究帶來了巨大的挑戰(zhàn)[14]。將GAN用于縱向神經(jīng)影像數(shù)據(jù)的生成，生成圖像需要以該受試者的基線圖像為基礎(chǔ)，反映受試者在一段時(shí)間內(nèi)的病程進(jìn)展。Xia等[15]提出了一種條件GAN模型，基于AD神經(jīng)影像學(xué)計(jì)劃（AD Neuroimaging Initiative，ADNI）數(shù)據(jù)集中AD、輕度認(rèn)知功能障礙（mild cognitive impairment，MCI）和CN受試者的基線數(shù)據(jù)生成縱向數(shù)據(jù)的二維切片，并分別通過年齡預(yù)測(cè)和與真實(shí)縱向圖像比較的方式定量和定性地評(píng)估了模型生成的縱向數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，生成圖像可以模擬大腦的衰老過程，但二維模型無法完整表達(dá)大腦的空間結(jié)構(gòu)信息。Ning等[16]提出了端到端的縱向診斷GAN（longitudinal diagnostic GAN，LDGAN），通過改進(jìn)GAN中的損失函數(shù)來提升模型生成數(shù)據(jù)的質(zhì)量，利用不完整的縱向MRI圖像生成ADNI數(shù)據(jù)集中缺失的AD和CN受試者的縱向MRI圖像。實(shí)驗(yàn)結(jié)果顯示，LDGAN可以生成高質(zhì)量的縱向MRI圖像，并有效地預(yù)測(cè)缺失縱向數(shù)據(jù)的臨床癡呆評(píng)定量表（clinical dementia rating，CDR）得分。但模型評(píng)估更偏重于圖像的相似性，而忽略了對(duì)醫(yī)學(xué)圖像的拓?fù)浣Y(jié)構(gòu)和生理意義的評(píng)估。Isola等[17]于2017年提出了pix2pix模型。pix2pix模型結(jié)合了條件式GAN（conditional GAN，CGAN）、PatchGAN和CNN，可以端到端跨域生成高質(zhì)量的、具有個(gè)體差異性的圖像。Peng等[18]在pix2pix模型中引入感知損失，提出了三維多對(duì)比度感知GAN（3D multi-contrast perceptual GAN，3D MPGAN），用以生成嬰兒大腦MRI數(shù)據(jù)集中缺失的縱向數(shù)據(jù)。結(jié)果表明生成圖像與真實(shí)圖像具有較高的相似度。但模型結(jié)構(gòu)是由結(jié)構(gòu)比較簡單的嬰兒大腦設(shè)計(jì)，在形態(tài)結(jié)構(gòu)更為復(fù)雜的病理大腦，圖像生成效果還需要進(jìn)一步評(píng)估。

雖然不少相關(guān)研究采用了GAN模型來生成神經(jīng)影像縱向數(shù)據(jù)，但是仍存在一些問題。因此，本研究將pix2pix模型擴(kuò)展到三維，并在架構(gòu)上進(jìn)行改進(jìn)，分別采用V-Net和密集連接的卷積網(wǎng)絡(luò)（densely connected convolutional networks，DenseNet）架構(gòu)作為生成器（generator，G）和D的架構(gòu)，在有限訓(xùn)練數(shù)據(jù)和網(wǎng)絡(luò)深度的前提下生成高質(zhì)量圖像，將網(wǎng)絡(luò)命名為3Dpix2pix-AGE。采用五折交叉檢驗(yàn)，基于ADNI-1數(shù)據(jù)集中AD受試者的基線數(shù)據(jù)和24個(gè)月的縱向數(shù)據(jù)來訓(xùn)練和驗(yàn)證模型，并通過定量評(píng)估和定性評(píng)估2種方式從生成圖像質(zhì)量、生理可解釋性以及腦萎縮拓?fù)浞植嫉榷鄠€(gè)不同角度評(píng)估生成縱向數(shù)據(jù)的質(zhì)量。結(jié)果顯示，經(jīng)過訓(xùn)練后的模型能夠基于AD患者的基線影像生成較高質(zhì)量的24個(gè)月的縱向數(shù)據(jù)。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)集與數(shù)據(jù)預(yù)處理

ADNI是一個(gè)廣為使用的AD的合作研究和數(shù)據(jù)共享平臺(tái)[19]。本實(shí)驗(yàn)使用ADNI-1數(shù)據(jù)集中的112例AD受試者基線sMRI數(shù)據(jù)和其對(duì)應(yīng)的24個(gè)月的縱向數(shù)據(jù)開展研究。首先將所有DICOM格式的圖像使用MRIcron軟件中的dcm2niigui（https://people.cas.sc.edu/rorden/mricron/dcm2nii.html）工具包轉(zhuǎn)化為NIFTI格式。使用MATLAB中的SPM12（http://www.fil.ion.ucl.ac.uk/spm/software/spm）工具包對(duì)所有基線和縱向數(shù)據(jù)進(jìn)行去頭骨和配準(zhǔn)。再使用SPM12中的CAT12（http://www.neuro.uni-jena.de/cat/）工具包以每一個(gè)受試者為單位，對(duì)基線數(shù)據(jù)和其對(duì)應(yīng)的縱向數(shù)據(jù)進(jìn)行偏置校正、腦組織分割、非線性配準(zhǔn)和灰質(zhì)標(biāo)準(zhǔn)化，得到大小為121×145×121體素的灰質(zhì)密度圖。由于三維影像數(shù)據(jù)在模型學(xué)習(xí)過程中會(huì)占用大量顯存，對(duì)得到的全腦灰質(zhì)密度圖中的背景部分進(jìn)行填充和裁剪得到大小為128×128×128體素的圖像，再經(jīng)過降采樣后得到大小為64×64×64體素的圖像，其空間分辨力為3.0 mm×3.0 mm×3.0 mm。實(shí)驗(yàn)數(shù)據(jù)預(yù)處理流程如圖1所示。

圖1 實(shí)驗(yàn)數(shù)據(jù)預(yù)處理流程

1.2 3Dpix2pix-AGE網(wǎng)絡(luò)模型結(jié)構(gòu)

在傳統(tǒng)的pix2pix架構(gòu)中，G采用U-Net架構(gòu)，D采用PatchGAN架構(gòu)。

在3Dpix2pix-AGE架構(gòu)中，G由V-Net結(jié)構(gòu)構(gòu)成（如圖2所示），包含1個(gè)卷積塊、5個(gè)下采樣塊和5個(gè)上采樣塊。下采樣塊由卷積層和LeakyReLU激活函數(shù)構(gòu)成。其中除了第一個(gè)下采樣塊之外均含有歸一化層，卷積層卷積核大小為4×4×4，步長為2。上采樣塊由卷積層、ReLU激活函數(shù)和上采樣層構(gòu)成。其中卷積層卷積核大小為4×4×4，步長為1，上采樣層窗口大小為2×2×2，第一個(gè)上采樣層包含系數(shù)為0.5的Dropout。G的輸入為AD受試者的基線灰質(zhì)密度圖，最后一個(gè)卷積層的輸出經(jīng)過Tanh激活函數(shù)后，輸出預(yù)測(cè)的AD受試者的24個(gè)月縱向灰質(zhì)密度圖。G在網(wǎng)絡(luò)架構(gòu)上的改進(jìn)使得在網(wǎng)絡(luò)參數(shù)量減少的同時(shí)可以生成高質(zhì)量的三維全腦灰質(zhì)密度圖。

圖2 生成器G的網(wǎng)絡(luò)架構(gòu)

D由三維DenseNet構(gòu)成，包含3個(gè)密集連接塊、2個(gè)過渡塊和1個(gè)卷積塊。其中密集連接塊由3個(gè)瓶頸塊構(gòu)成，每個(gè)瓶頸塊由2個(gè)卷積層和LeakyReLU激活函數(shù)構(gòu)成。瓶頸塊之間采用密集連接，通道數(shù)在密集連接塊中累加。D中的過渡塊由卷積層、平均池化層、LeakyReLU激活函數(shù)和歸一化層構(gòu)成。D的輸入為真實(shí)的縱向圖像和生成的圖像，輸出為16×16×16×1體素大小的特征圖，特征圖中包含降維后的圖像結(jié)構(gòu)和空間特征。密集連接的引入和網(wǎng)絡(luò)結(jié)構(gòu)的改進(jìn)使得在控制D的網(wǎng)絡(luò)深度和參數(shù)量的同時(shí)，提升了D的特征提取能力。同時(shí)保證在訓(xùn)練過程中，G與D不容易出現(xiàn)梯度消失。D的網(wǎng)絡(luò)架構(gòu)如圖3（a）所示。D中瓶頸塊、密集連接塊和過渡塊的具體網(wǎng)絡(luò)架構(gòu)如圖3（b）、（c）、（d）所示。

圖3 判別器D的網(wǎng)絡(luò)架構(gòu)

1.3 3Dpix2pix-AGE損失函數(shù)

經(jīng)典的pix2pix模型的損失函數(shù)分為2個(gè)部分，包括交叉熵形式的對(duì)抗損失和像素級(jí)別的L1損失。3Dpix2pix-AGE中D的輸出為16×16×16×1體素大小的特征圖。損失函數(shù)分為3個(gè)部分，即對(duì)抗損失LcGAN、L1損失Ll1和年齡損失Lage。其中對(duì)抗損失是對(duì)G生成的縱向灰質(zhì)密度圖和真實(shí)的縱向灰質(zhì)密度圖分別輸入D后得到的特征圖以體素級(jí)別求二值交叉熵。LcGAN如公式（1）所示：

式中，x為真實(shí)的基線灰質(zhì)密度圖；y為真實(shí)的縱向灰質(zhì)密度圖；D（x，y）為D的輸出；G（x）為G的輸出；Ex和Ex，y為每個(gè)批中N個(gè)樣本的期望。

為了使生成圖像與目標(biāo)生成圖像具有相似的內(nèi)容，3Dpix2pix-AGE在G的損失函數(shù)中加入了L1損失。生成圖像與真實(shí)圖像輸入D后分別得到特征圖，L1損失由D輸出的特征圖之間對(duì)應(yīng)體素的體素值之差的絕對(duì)值求平均得到。L1損失可表示為

在3Dpix2pix-AGE訓(xùn)練的過程中，不僅需要使G生成與目標(biāo)域（縱向灰質(zhì)密度圖）的內(nèi)容高度相似的圖像，生成的預(yù)測(cè)縱向灰質(zhì)密度圖還需要包含灰質(zhì)結(jié)構(gòu)特征，體現(xiàn)AD受試者在24個(gè)月后由于病程進(jìn)展所導(dǎo)致的大腦結(jié)構(gòu)變化。所以在本研究中加入了年齡損失Lage來控制圖像縱向變化。在訓(xùn)練3Dpix2pix-AGE模型之前，預(yù)訓(xùn)練了一個(gè)用于進(jìn)行腦年齡預(yù)測(cè)任務(wù)的三維CNN，該CNN的主要目的是對(duì)生成圖像和真實(shí)圖像進(jìn)行腦年齡預(yù)測(cè)。腦年齡預(yù)測(cè)CNN由DenseNet架構(gòu)和注意力機(jī)制模塊構(gòu)成，如圖4（a）所示。

圖4（b）中腦年齡預(yù)測(cè)CNN模型的注意力塊包含空間注意力與通道注意力2種實(shí)現(xiàn)機(jī)制。注意力機(jī)制的引入可以提升模型的特征提取能力。網(wǎng)絡(luò)中支路的注意力特征圖與主路的特征圖的對(duì)應(yīng)體素的權(quán)值相乘，得到帶有注意力的特征圖。CNN進(jìn)行回歸分析時(shí)，模型訓(xùn)練只能保證整個(gè)數(shù)據(jù)集的損失函數(shù)最小，但可能會(huì)出現(xiàn)個(gè)別對(duì)象預(yù)測(cè)年齡大幅度偏離年齡范圍的情況，如出現(xiàn)負(fù)的預(yù)測(cè)年齡。因此，本研究對(duì)輸出塊進(jìn)行了改進(jìn)，輸出層為N維的全連接層和Softmax激活函數(shù)。根據(jù)訓(xùn)練集中的受試者的年齡范圍，以1 a為1個(gè)年齡區(qū)間，所有受試者的年齡分為N個(gè)連續(xù)的區(qū)間。對(duì)Softmax激活函數(shù)輸出的年齡區(qū)間的概率分布和其區(qū)間對(duì)應(yīng)的年齡加權(quán)求和，得到預(yù)測(cè)的腦年齡。預(yù)測(cè)的腦年齡與縱向數(shù)據(jù)的真實(shí)腦年齡之間求均方誤差（mean-square error，MSE），得到年齡損失Lage。腦年齡預(yù)測(cè)CNN模型的輸出塊的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖4（c）所示。

圖4 腦年齡預(yù)測(cè)模型的網(wǎng)絡(luò)架構(gòu)

腦年齡預(yù)測(cè)模型的輸出AGEpredict表示為

式中，i為年齡區(qū)間序號(hào)；xc為腦年齡預(yù)測(cè)CNN輸出的年齡區(qū)間概率分布；agei為i區(qū)間的年齡標(biāo)簽。由于實(shí)驗(yàn)中批大小為1，年齡損失Lage表示為

式中，AGEpredict為預(yù)測(cè)年齡；AGEreal為真實(shí)年齡。3Dpix2pix-AGE的目標(biāo)函數(shù)如公式（5）所示：

式中，λ1、λ2、λ3為3個(gè)部分損失函數(shù)的權(quán)值，在本實(shí)驗(yàn)中設(shè)為λ1=1、λ2=100、λ3=0.1。將不同損失函數(shù)的損失值放到同一尺度下進(jìn)行累加得到最終的損失值，使得模型在訓(xùn)練過程中的梯度反向傳播環(huán)節(jié)同時(shí)受到3個(gè)損失函數(shù)的影響。

算法的整體流程圖如圖5所示，其中G的輸入為AD受試者的基線灰質(zhì)密度圖，輸出為生成的24個(gè)月縱向灰質(zhì)密度圖。D的輸入為G生成的縱向灰質(zhì)密度圖和真實(shí)的24個(gè)月縱向灰質(zhì)密度圖，輸出為輸入圖像的特征圖。D的損失為對(duì)抗損失LcGAN，G的損失為LcGAN、Ll1和年齡損失Lage之和。

圖5 3Dpix2pix-AGE生成AD受試者縱向圖像模型示意圖

1.4 模型評(píng)估

對(duì)生成圖像質(zhì)量和應(yīng)用價(jià)值的評(píng)估是將GAN模型應(yīng)用于醫(yī)學(xué)圖像增廣中最大的障礙。生成圖像不僅需要在視覺上與真實(shí)神經(jīng)影像相似，同時(shí)需要具有對(duì)應(yīng)的生理與病理特征。本研究采用定量和定性2種方式進(jìn)行評(píng)估。

1.4.1 定量評(píng)估

為了評(píng)估模型預(yù)測(cè)的縱向灰質(zhì)密度圖是否能體現(xiàn)基線灰質(zhì)密度圖隨時(shí)間的變化，本研究中采用CNN模型來預(yù)測(cè)真實(shí)縱向灰質(zhì)密度圖和生成縱向灰質(zhì)密度圖的腦年齡和CDR得分，從大腦年齡和認(rèn)知能力2個(gè)方面來評(píng)估縱向生成圖像的質(zhì)量。采用五折交叉檢驗(yàn)驗(yàn)證模型性能。2個(gè)CNN模型均采用了與用于計(jì)算Lage的腦年齡預(yù)測(cè)模型相同的網(wǎng)絡(luò)結(jié)構(gòu)。CDR得分以0.5為一個(gè)區(qū)間，在輸出塊中經(jīng)過Softmax激活函數(shù)輸出的CDR區(qū)間概率分布與CDR區(qū)間標(biāo)簽加權(quán)求和得到預(yù)測(cè)的CDR值。CDR預(yù)測(cè)CNN輸出的CDR預(yù)測(cè)值CDRpredict表示為

式中，i為CDR區(qū)間序號(hào)；xc為CDR預(yù)測(cè)CNN輸出的CDR區(qū)間概率分布；cdri為i區(qū)間的CDR標(biāo)簽。本實(shí)驗(yàn)使用五折交叉檢驗(yàn)的方法預(yù)測(cè)24個(gè)月的真實(shí)縱向灰質(zhì)密度圖（m24）、生成縱向灰質(zhì)密度圖（predict）的腦年齡和CDR評(píng)分，以平均絕對(duì)誤差（mean absolute deviation，MAE）為評(píng)價(jià)指標(biāo)。

在評(píng)估生成模型生成圖像的質(zhì)量時(shí)，研究者常用結(jié)構(gòu)相似性（structural similarity，SSIM）系數(shù)來評(píng)估生成圖像與目標(biāo)域的真實(shí)圖像之間的結(jié)構(gòu)相似性，SSIM值越高表明2組圖像之間的結(jié)構(gòu)相似度越高。SSIM分別從亮度l（X，Y）、對(duì)比度c（X，Y）、結(jié)構(gòu)s（X，Y）3個(gè)方面度量圖像相似性，其值為3個(gè)評(píng)價(jià)指標(biāo)的乘積，取值范圍為[0，1]。SSIM表示為

式中，X和Y為2組圖像，組間的SSIM系數(shù)由這2組圖像中一一對(duì)應(yīng)的圖像的SSIM值求平均值得到。真實(shí)數(shù)據(jù)和生成的縱向數(shù)據(jù)分為3組并求組間的SSIM系數(shù)，分別為：（1）bl-m24：基線數(shù)據(jù)和24個(gè)月真實(shí)縱向數(shù)據(jù)。（2）bl-predict：基線數(shù)據(jù)和生成的24個(gè)月縱向數(shù)據(jù)。（3）m24-predict：24個(gè)月真實(shí)縱向數(shù)據(jù)和生成的24個(gè)月縱向數(shù)據(jù)。

組內(nèi)相關(guān)系數(shù)（intraclass correlation coefficient，ICC）常用于評(píng)價(jià)具有某種確定關(guān)系的個(gè)體間某定量屬性的組內(nèi)相似程度。在本研究中，將年齡和CDR預(yù)測(cè)結(jié)果與對(duì)應(yīng)真實(shí)值之差分為3組：bl-m24、blpredict和m24-predict。求3組的ICC，得到預(yù)測(cè)結(jié)果的組間相關(guān)性，并評(píng)估生成的24個(gè)月縱向圖像與真實(shí)的縱向圖像是否具有較高的相關(guān)性。ICC由SPSS（https://www.ibm.com/products/spss-statistics）中可靠性分析模塊中的同類相關(guān)系數(shù)求得，同類相關(guān)系數(shù)的計(jì)算使用一致性的雙向混合模型。

1.4.2 定性評(píng)估

使用SPM工具包對(duì)bl-m24、bl-predict、m24-predict 3組灰質(zhì)密度圖進(jìn)行體素級(jí)別的組間差異分析。使用SPM中的廣義線性模型，采用體素級(jí)別的錯(cuò)誤發(fā)現(xiàn)率（false discovery rate，F(xiàn)DR）校正，P-value設(shè)為0.005。

2 實(shí)驗(yàn)結(jié)果

2.1 模型訓(xùn)練

本研究中使用的編程語言為Python 3.7.9，使用的深度學(xué)習(xí)框架為Tensorflow 2.4。實(shí)驗(yàn)過程中使用的工作站CPU為Intel Xeon W-2223 CPU，內(nèi)存大小為12 GiB，GPU為NVIDIA GeForce RTX 3090，顯存大小為24 GiB。

3Dpix2pix-AGE采用Adam優(yōu)化器，G和D的初始學(xué)習(xí)率均為2×10-4。因?yàn)?Dpix2pix-AGE是端到端的一一對(duì)應(yīng)的生成模型，由AD受試者的基線圖像預(yù)測(cè)該受試者的縱向圖像，所以模型的批大小為1。將3Dpix2pix-AGE訓(xùn)練300個(gè)輪次（epoch），訓(xùn)練過程中G與D的損失值變化如圖6所示，模型收斂后G和D的損失會(huì)逐漸收斂到特定常數(shù)附近。

圖6 3Dpix2pix-AGE訓(xùn)練過程中G和D的損失值變化

腦年齡預(yù)測(cè)CNN模型的預(yù)訓(xùn)練使用五折交叉檢驗(yàn)中所劃分的訓(xùn)練集中的AD受試者的基線和24個(gè)月縱向灰質(zhì)密度圖。模型損失函數(shù)與Lage一致，預(yù)測(cè)年齡區(qū)間概率分布與年齡區(qū)間標(biāo)簽加權(quán)求和得到預(yù)測(cè)年齡，通過預(yù)測(cè)年齡與真實(shí)年齡求MSE得到損失值。模型采用Adam優(yōu)化器，初始學(xué)習(xí)率為1×10-3，批大小為32。采用早停法訓(xùn)練策略，在驗(yàn)證集損失30個(gè)輪次未下降后認(rèn)為模型收斂，結(jié)束訓(xùn)練。

2.2 生成圖像

本實(shí)驗(yàn)中3Dpix2pix-AGE采用五折交叉檢驗(yàn)的方法基于數(shù)據(jù)集中全體AD受試者的基線灰質(zhì)密度圖，生成24個(gè)月的縱向灰質(zhì)密度圖，模型訓(xùn)練300個(gè)輪次。圖7展示了同一個(gè)AD受試者的比較圖像。從圖中可以看出，3Dpix2pix-AGE模型可以生成與真實(shí)縱向數(shù)據(jù)相似度較高的圖像。由于V-Net中的降采樣處理，生成圖像與真實(shí)圖像相比在影像特征上會(huì)略微模糊。

2.3 定量評(píng)估

圖8的折線圖展示了模型采用五折交叉檢驗(yàn)法預(yù)測(cè)的腦年齡和CDR評(píng)分的預(yù)測(cè)值與真實(shí)值之差。m24和predict的預(yù)測(cè)結(jié)果在整體上具有較高的相關(guān)性，這說明生成圖像一定程度上可以體現(xiàn)AD整體病程進(jìn)展。但predict與m24的受試者個(gè)體的預(yù)測(cè)結(jié)果仍存在一定的差異，這可能是由個(gè)體對(duì)象的病程發(fā)展異質(zhì)性導(dǎo)致的。

圖7基線圖像、24個(gè)月的真實(shí)縱向圖像與生成圖像比較

圖8 模型預(yù)測(cè)腦年齡和CDR評(píng)分折線圖

通過對(duì)同一受試者的真實(shí)圖像和生成圖像之間求SSIM再求組間的平均SSIM，得到真實(shí)圖像和生成圖像之間的結(jié)構(gòu)相似性的定量評(píng)估。圖像分為bl-m24、bl-predict、m24-predict 3組。其中bl-m24組包含配對(duì)組和非配對(duì)組，配對(duì)組的基線圖像和縱向圖像按照受試者一一對(duì)應(yīng)進(jìn)行配對(duì)。非配對(duì)組的基線圖像和縱向圖像受試者順序被隨機(jī)打亂。bl-predict與m24-predict 2組均為配對(duì)組。實(shí)驗(yàn)結(jié)果顯示bl-predict與m24-predict 2組均具有很高的SSIM（0.985 9、0.951 3）。這說明生成圖像可能是以基線圖像為基礎(chǔ)，基于疾病平均發(fā)展軌跡來進(jìn)行圖像生成的。m24-predict組的SSIM高于bl-m24組（非配對(duì)，0.807 3），生成圖像與真實(shí)縱向數(shù)據(jù)間的相似度遠(yuǎn)高于生成圖像與不同對(duì)象圖像間的相似度，生成圖像具有一定的個(gè)體特異性。

采用ICC評(píng)價(jià)腦年齡和CDR評(píng)分預(yù)測(cè)結(jié)果的組間相關(guān)性。預(yù)測(cè)結(jié)果記錄為預(yù)測(cè)值減真實(shí)值。blm24、bl-predict和m24-predict 3組腦年齡預(yù)測(cè)結(jié)果的ICC分別為0.960、0.991、0.958，CDR預(yù)測(cè)結(jié)果的ICC分別為0.754、0.743、0.986。由實(shí)驗(yàn)結(jié)果可以得出結(jié)論：生成的縱向灰質(zhì)密度圖一定程度上體現(xiàn)了AD的病程進(jìn)展，且生成縱向圖像與真實(shí)縱向圖像的預(yù)測(cè)結(jié)果高度相關(guān)。

2.4 定性評(píng)估

3組灰質(zhì)密度圖對(duì)比如圖9所示，其中灰質(zhì)密度圖橫斷面切片的高亮區(qū)域展示了3組圖像具有差異的大腦區(qū)域。

圖9 3組灰質(zhì)密度圖對(duì)比

研究發(fā)現(xiàn)，基線和真實(shí)縱向數(shù)據(jù)在部分腦結(jié)構(gòu)間存在顯著差異，生成的縱向數(shù)據(jù)與基線數(shù)據(jù)間也存在顯著差異?；€和真實(shí)縱向數(shù)據(jù)間的差異腦區(qū)基本都被包含在生成的縱向數(shù)據(jù)與基線數(shù)據(jù)間差異腦區(qū)內(nèi)，并在范圍上有一定擴(kuò)展。生成的縱向數(shù)據(jù)與真實(shí)縱向數(shù)據(jù)間不存在顯著性差異。表明模型預(yù)測(cè)的AD受試者病程進(jìn)展與真實(shí)的AD受試者病程進(jìn)展高度相似。模型預(yù)測(cè)結(jié)果和真實(shí)縱向數(shù)據(jù)存在不完全一致的腦區(qū)，這可能是由于AD病程進(jìn)展具有個(gè)體異質(zhì)性，模型預(yù)測(cè)更多反映了患者病程的平均進(jìn)展。

3 結(jié)語

本文主要研究了基于GAN的AD sMRI縱向數(shù)據(jù)生成方法，提出了一種基于pix2pix的3Dpix2pix-AGE模型，將端到端生成的GAN模型擴(kuò)展到三維，用于預(yù)測(cè)AD患者縱向全腦灰質(zhì)密度圖。首先，對(duì)GAN的架構(gòu)和其中CNN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，分別采用V-Net和DenseNet架構(gòu)作為G和D的架構(gòu)，在有限訓(xùn)練數(shù)據(jù)和網(wǎng)絡(luò)深度的前提下生成高質(zhì)量圖像。其次，對(duì)GAN的損失函數(shù)進(jìn)行改進(jìn)，模型的損失函數(shù)包括對(duì)抗損失、L1損失、年齡損失3個(gè)方面。再次，通過G與D的交替訓(xùn)練使其相互博弈，最終達(dá)到納什均衡，生成AD縱向數(shù)據(jù)，使模型生成與真實(shí)縱向圖像具有較高相似度的圖像，從而預(yù)測(cè)AD患者的病程進(jìn)展。最后，在此基礎(chǔ)上，采用定量和定性2種方式，通過多個(gè)評(píng)價(jià)指標(biāo)對(duì)圖像質(zhì)量進(jìn)行綜合評(píng)估。實(shí)驗(yàn)結(jié)果可以得出以下結(jié)論：（1）3Dpix2pix-AGE模型可以生成高質(zhì)量的縱向圖像，補(bǔ)充缺失的AD患者數(shù)據(jù)。（2）生成的縱向圖像與對(duì)應(yīng)受試者的基線圖像在部分腦區(qū)間存在顯著的差異，但與真實(shí)的縱向圖像相關(guān)性較高，生成的縱向圖像一定程度上反映了AD患者的病程的平均進(jìn)展。

該模型為AD數(shù)據(jù)集中缺失縱向數(shù)據(jù)的生成提供了一種新途徑，但也有其不足之處。例如，其預(yù)測(cè)結(jié)果更多反映的是病程平均進(jìn)展，缺乏個(gè)體特異性；受試者的年齡因素在模型中并沒有很好體現(xiàn)。在未來的工作中可以考慮在模型輸入端加入多個(gè)時(shí)間點(diǎn)的縱向數(shù)據(jù)，把年齡作為一種條件加入生成器，以確保模型可以學(xué)習(xí)不同年齡、不同個(gè)體的病程發(fā)展情況，從而獲得更好的個(gè)體特異性。