李祥霞，謝 嫻，李 彬，尹 華，許 波，鄭心煒

1.廣東財經(jīng)大學(xué) 信息學(xué)院，廣州510320

2.華南理工大學(xué) 自動化科學(xué)與工程學(xué)院，廣州510641

醫(yī)學(xué)圖像處理是計算機視覺領(lǐng)域的一個熱門研究問題之一，醫(yī)學(xué)圖像是開展與醫(yī)學(xué)相關(guān)問題研究的基礎(chǔ)，其中對圖像數(shù)據(jù)的處理和有效分析更是直接影響到醫(yī)生對患者所患疾病的判斷和治療。近年來，隨著醫(yī)學(xué)成像技術(shù)和設(shè)備的不斷發(fā)展，大量的包含豐富病理相關(guān)影像信息的醫(yī)學(xué)數(shù)字圖像隨之產(chǎn)生，因此需要處理的數(shù)據(jù)量也越來越大。面對龐大且復(fù)雜的醫(yī)學(xué)影像數(shù)據(jù)，如何實時且有效地對醫(yī)學(xué)影像大數(shù)據(jù)做進一步處理、分析和挖掘，如何從這些圖像中提取出潛在有用的特征，是研究者們亟待處理的問題。

傳統(tǒng)的圖像處理方法通常是通過放射科醫(yī)生從醫(yī)學(xué)圖像中手工提取有用的影像信息，這不僅耗時費力，還有著個人主觀性，易出現(xiàn)誤診、漏診的現(xiàn)象[1]。因此，這種方式已經(jīng)不能滿足現(xiàn)階段的醫(yī)療需求，為此出現(xiàn)了大量的圖像處理的新技術(shù)。深度學(xué)習(xí)（Deep Learning，DL）近年來已經(jīng)在醫(yī)學(xué)圖像處理范疇中取得了突飛猛進的發(fā)展[2]。從現(xiàn)階段的研究觀察到卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是應(yīng)用于圖像處理范疇上較為成功的深度學(xué)習(xí)模型之一，其通過構(gòu)造CNN，對數(shù)據(jù)采用層層訓(xùn)練，利用各層的特征表達，來自動提取對高層特征，有效地解決了人為提取圖像特征所造成的問題，因此能夠提升診斷的效率和準確率[3]。但是，CNN模型由于具有結(jié)構(gòu)復(fù)雜度高、參數(shù)規(guī)模龐大等特點，往往需要大量的有標簽數(shù)據(jù)來訓(xùn)練模型，而這些標簽數(shù)據(jù)獲取是非常耗時費力且易產(chǎn)生誤差，同時數(shù)據(jù)又不斷進行更新，導(dǎo)致模型出現(xiàn)過擬合或欠擬合問題[4]。在醫(yī)學(xué)影像圖像中，標簽數(shù)據(jù)的獲取嚴重依賴于放射科醫(yī)生的主觀經(jīng)驗、專業(yè)水平，也易受到影像質(zhì)量影響，因此有標簽影像數(shù)據(jù)獲取更難，極易造成數(shù)據(jù)稀少、注釋稀缺和類別嚴重不平衡等問題[5]，極大地限制了其廣泛應(yīng)用，這也是醫(yī)療領(lǐng)域是否能得以發(fā)展的重要問題之一。

數(shù)據(jù)增強可以用來擴大原本不足的數(shù)據(jù)集。傳統(tǒng)的數(shù)據(jù)增強方法有很多，可以通過提高圖像的質(zhì)量，校正圖像的亮度或者對比度等，或是通過旋轉(zhuǎn)、縮放、變形等幾何變換方式對數(shù)據(jù)進行擴充，但這些方法都與原始數(shù)據(jù)密切相關(guān)，因此它們所產(chǎn)生的影響作用是非常局限的[6]。此外，還可以采用調(diào)整閾值、過采樣和欠采樣方法對不足的數(shù)據(jù)進行擴充。在醫(yī)學(xué)影像數(shù)據(jù)中，樣本數(shù)據(jù)本身即為小樣本數(shù)據(jù)，調(diào)整閾值方法不能起到關(guān)鍵性的作用。欠采樣是一種數(shù)據(jù)重構(gòu)方法，對數(shù)據(jù)量多的類樣本進行裁剪，實現(xiàn)樣本的均衡，極易造成類別訓(xùn)練樣本的重要信息丟失問題。過采樣則是針對數(shù)據(jù)量較少的那類數(shù)據(jù)采用重復(fù)的采樣，最終不同標簽的數(shù)據(jù)數(shù)量達到均衡，很容易樣本重要信息缺失或樣本空間重疊而造成嚴重的過擬合現(xiàn)象。

生成對抗網(wǎng)絡(luò)（Generative Adversarial Networks，GANs）因具有非常出色數(shù)據(jù)合成的能力而一直受到工業(yè)界和學(xué)術(shù)界的廣泛關(guān)注[7]。在醫(yī)學(xué)影像領(lǐng)域中，通過使用GANs來生成醫(yī)學(xué)圖像樣本數(shù)據(jù)，對數(shù)據(jù)進行增強，可以仿真出大量的難以獲得的醫(yī)療影像數(shù)據(jù)，有效地緩解了因數(shù)據(jù)樣本稀缺而對醫(yī)學(xué)大數(shù)據(jù)分析造成的影響。雖然GANs是作為無監(jiān)督學(xué)習(xí)的生成模型，但是其在半監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)等方面也展現(xiàn)出很大的潛力。

首先概述了GANs的基礎(chǔ)理論和組成結(jié)構(gòu)，然后分析了幾種典型的在GANs基礎(chǔ)上做出改進的模型，闡述了GANs模型在圖像生成、圖像分割等應(yīng)用領(lǐng)域上的研究現(xiàn)狀。最后，在研究現(xiàn)狀和問題基礎(chǔ)上進行了深入分析，進一步總結(jié)和討論了生成對抗模型在醫(yī)學(xué)圖像處理領(lǐng)域中未來發(fā)展的趨勢和所面臨的挑戰(zhàn)。

1 生成對抗網(wǎng)絡(luò)介紹

2014年，Goodfellow等[8]提出了一個采用對抗過程估計生成模型的新網(wǎng)絡(luò)，即生成對抗網(wǎng)絡(luò)（GANs）模型，其由生成器G（Generator，G）和判別器D（Discriminator，D）組成[9]。G的目的是合成出盡量與逼真的圖像相似的數(shù)據(jù)，而D則是推斷圖像是來自生成器所產(chǎn)生的還是真實的[10]。提出模型的想法來自于博弈論中的二人零和博弈[11]，在博弈中由G和D在對抗訓(xùn)練的過程中進行迭代優(yōu)化，不斷地更新各自網(wǎng)絡(luò)參數(shù)，最后達到納什平衡狀態(tài)[12]，GANs模型的結(jié)構(gòu)如圖1所示。

圖1 GANsFig.1 GANs

GANs的目標函數(shù)定義為：

GANs的目標函數(shù)優(yōu)化采用最大最小化的方式，當(dāng)G能夠完全地學(xué)習(xí)到真實圖像的近似概率分布，并能從中采樣出逼真的圖像，而判別器無法準確地判別出圖像來源時，此時模型達到最優(yōu)化。生成器G接收到一個服從高斯分布的隨機噪聲z后，生成盡可能服從真實圖像x的概率分布Pdata的圖像G(z)。然后，將圖像G(z)輸入到判別器D中，經(jīng)過計算，判別器D會輸出被推斷為真實圖像的概率。概率越接近于1，則證明生成樣本G(z)越逼真于真實樣本，否則G(z)為虛假樣本[13]。

與傳統(tǒng)的生成模型相比，如變分自編碼器（Variational AutoEncoder，VAE）、自回歸模型（Autoregressive Model）等，GANs巧妙地結(jié)合了G和D，采用兩者相互的動態(tài)對抗，達到互利共贏的特性，可以極大地去處理傳統(tǒng)的生成模型不能處理的復(fù)雜問題。GANs使用無監(jiān)督的學(xué)習(xí)方式，不需要大量的人工標注圖像，實現(xiàn)了真正意義上的“智能”模式[14]。此外，GANs采用誤差反向傳播（Back Propagation，BP）方法進行訓(xùn)練，不需要使用馬爾可夫鏈，因此不用對隱變量進行推測，可以更快速地產(chǎn)生圖像。GANs不需要事先建模，而是直接對真實數(shù)據(jù)進行采樣，因此所生成的圖像能夠更加逼真。盡管GANs有很多優(yōu)勢，但其自身也留有以下諸多缺點：（1）現(xiàn)實中GNAs難以維持納什平衡狀態(tài)；（2）GNAs易出現(xiàn)退化現(xiàn)象，一直生成相同的數(shù)據(jù)，無法再繼續(xù)學(xué)習(xí)，最終出現(xiàn)模式崩塌的現(xiàn)象；（3）在訓(xùn)練過程中GNAs易發(fā)生梯度消失現(xiàn)象；（4）GNAs模型自由度大，難以把控[15]。因此，GANs廣泛應(yīng)用仍存在著一定程度的局限性。

2 GANs變體模型

為了處理上述存在的缺陷，研究者們基于GANs已經(jīng)做了許多的優(yōu)化，并產(chǎn)生了一些GANs的變體模型。在基于GANs框架的基礎(chǔ)上，不斷對此進行改進和優(yōu)化，使得所生成的圖像細節(jié)更加完善，在圖像生成、圖像分類等圖像處理方面均有著重大的作用。本章主要介紹了幾種典型GANs的變體模型。

2.1 CGANs模型

2014年，Mirza等[16]提出了基于條件的生成式對抗網(wǎng)絡(luò)（Condition Generative Adversarial Nets，CGANs），使得GANs的無監(jiān)督的訓(xùn)練方式變成有監(jiān)督的訓(xùn)練方式。在原始GANs的基礎(chǔ)上，增加額外信息c，使得GANs可以根據(jù)圖像與對應(yīng)的標簽進行訓(xùn)練，并在測試訓(xùn)練階段根據(jù)給定標簽來合成出特定圖像。圖2是CGANs模型結(jié)構(gòu)。

圖2 CGANs Fig.2 CGANs

CGANs模型的目標函數(shù)公式為：

GANs模型未預(yù)先建模，其自由度較大，難以把控，而CGANs模型將原本無條件概率變成有條件概率，添加了“隱編碼”進行監(jiān)督學(xué)習(xí)，從而解決了GANs自由度較大的問題，讓圖像的生成更具方向性。盡管CGANs在一定程度上增加了訓(xùn)練過程中的穩(wěn)定性，降低了模型訓(xùn)練所需要的時間，但最終生成的圖像數(shù)據(jù)質(zhì)量并不高，且由于需要大量的人工標注的標簽，所以CGANs需要較高的成本。

2.2 DCGANs模型

2015年，Radford等[17]提出了深度卷積生成對抗網(wǎng)絡(luò)（Deep Convolutional GANs，DCGANs），將CNN與GANs相結(jié)合，充分結(jié)合了CNN的結(jié)構(gòu)信息預(yù)測能力和GANs對抗策略優(yōu)化能力的優(yōu)勢，DCGANs模型結(jié)構(gòu)如圖3所示。

圖3 DCGANs Fig.3 DCGANs

DCGANs模型利用了CNN來替代GANs模型的多層感知機，其主要體現(xiàn)為：（1）DCGANs模型去除了池化層（Pooling Layer）和全連接層（Fully-connected layer）；（2）在生成器中采用了分數(shù)跨步卷積來替換上采樣層，而判別器則采用了跨步卷積來替換下采樣層[18]；（3）在生成器和鑒別器中使用批量歸一化（Batch Normalization），避免初始化敏感的問題；（4）去除了全連接的隱藏層以獲得更深層次的體系結(jié)構(gòu)；（5）生成模型中輸入層和隱藏層使用ReLU激活函數(shù)，而輸出層使用tanh激活函數(shù)，在判別器中則使用LeakyReLU函數(shù)[19]，提高了訓(xùn)練的穩(wěn)定性。

DCGANs模型將CNN與GANs進行結(jié)合，在生成器還是判別器中無論在物體的組成部分還是場景方面都充分地學(xué)習(xí)到了深度高級特征，能夠更豐富地表達原始數(shù)據(jù)，從而提高了最終合成出的圖片質(zhì)量。DCGANs模型具有一定的體系結(jié)構(gòu)約束，這些約束條件使它們在許多情況下都能達到穩(wěn)定的訓(xùn)練。由于DCGANs是一種非監(jiān)督表示學(xué)習(xí)模型，不使用標簽，因此模型訓(xùn)練的成本較低。但是，DCGANs只是改進了原始GANs模型的結(jié)構(gòu)，并未從底層去解決GANs模型所存在的不穩(wěn)定的現(xiàn)象，且需要維持生成器和判別器的訓(xùn)練次數(shù)的均衡，極大地制約了DCGANs模型的廣泛使用。

2.3 InfoGANs模型

2016年Chen等[20]提出InfoGANs模型，通過信息最大化的GANs進行可解釋表示的學(xué)習(xí)，類似于無監(jiān)督CGANs模型。將輸入的噪聲信息z分為兩個部分：一是不可壓縮的普通噪聲z，二是可解釋的隱變量c[21]。InfoGANs模型結(jié)構(gòu)如圖4所示。

圖4 InfoGANsFig.4 InfoGANs

通過約束c和生成數(shù)據(jù)的關(guān)系，讓c中帶有對生成數(shù)據(jù)的可解釋信息，根據(jù)最大化隱變量c與生成數(shù)據(jù)x的互信息I(c;x)來生成數(shù)據(jù)。在InfoGANs目標函數(shù)中加入了正則項，如公式（3）所示：

其中，參數(shù)λ表示的是正則化的懲罰程度[22]。最大化I(c;G(z,c))是一件很難的任務(wù)，需要用到后驗概率p(c|x),對此可以通過一個輔助分布來解決，引入q(c|x)來逼近p(c|x)，從而獲得互信息的下界，于是InfoGAN的目標函數(shù)變?yōu)椋?/p>

傳統(tǒng)的GANs模型無約束，且對網(wǎng)絡(luò)輸入的噪聲也不好解釋，在CGAN中通過給噪聲合并一些類別數(shù)據(jù)，改變其輸出的形式，可以訓(xùn)練出指定類別的數(shù)據(jù)，具有一定程度的解釋，但是解釋性不強。InfoGANs讓網(wǎng)絡(luò)可以學(xué)到更多可解釋的特征，網(wǎng)絡(luò)訓(xùn)練結(jié)束之后，可以通過設(shè)定輸入生成器的隱含編碼來控制生成數(shù)據(jù)的特征，大大減少了所需成本，極大地限制了模型的自由度。但是，InfoGANs模型降低了生成數(shù)據(jù)的多樣性，并且需要和隱變量求互信息，根據(jù)互信息更新生成器和判別器，增大了計算量。

2.4 WGANs模型

GANs模型會有梯度消失、不穩(wěn)定和模式崩潰等現(xiàn)象[23]。為了解決這個問題，2017年Arjovsky等[24]提出了Wasserstein距離優(yōu)化的生成式對抗網(wǎng)絡(luò)（Wasserstein GANs，WGANs）。作者們采用Wasserstein距離來代替原來的JS距離，以此來衡量生成樣本和真實樣本二者存在的距離，通過縮小這個距離來拉近二者的分布。WGANs的目標函數(shù)為：

對D加上了1-Lipschitz的約束，表示要求D(x)的增量不大于x增量的1倍，這可以限制D(x)的增長速度，不至于過快，從而達到一個平滑的特性。相對于GANs模型，WGANs模型做了如下的改進：（1）判別模型的輸出層不再采用sigmoid函數(shù)；（2）對于生成模型和判別模型的損失函數(shù)不使用log；（3）對于判別模型的權(quán)重更新，每次都截取到一定的范圍內(nèi)；（4）優(yōu)化算法采用RMSProp或者SGD，不采用Adam。

WGANs很大程度上解決了GANs中存在的模式崩潰，從而避免了生成數(shù)據(jù)種類較少的情況，由于采用Wasserstein距離來取代GANs的JS距離，在理論上可以解決GANs存在的梯度消失的情況。但是實際上，由于WGANs對判別模型的參數(shù)更新使用暴力的權(quán)重剪枝（weight clipping），即設(shè)置一個閾值c，將參數(shù)限制在(-c,c)之間，從而間接符合了Lipschitz條件，但會讓這些梯度都集中在邊界值上，閾值如果過大會產(chǎn)生梯度爆炸，過小會產(chǎn)生梯度消失，此外，權(quán)重剪枝的更新方法會使得訓(xùn)練模型變得困難，導(dǎo)致模型收斂變慢，甚至存在收斂失敗的風(fēng)險。

2.5 WGAN-GP模型

為了避免WGANs模型中可能存在的梯度消失現(xiàn)象，Gulrajani等[25]提出了WGAN-GP模型。WGAN-GP不再使用權(quán)重剪枝方法來暴力地限制參數(shù)，而是采用更溫和的方法，即梯度懲罰（gradient penalty）來滿足Lipschitz條件[26]。WGAN-GP的目標函數(shù)為：

梯度懲罰就是采用一個額外的懲罰項將梯度和Lipschitz條件中的K值進行關(guān)聯(lián)。

WGAN-GP是WGANs的升級版，通過在原WGANs上進行改進，采用梯度懲罰來更新參數(shù)，解決了WGANs在實際中存在的梯度消失或梯度爆炸的問題，加快了網(wǎng)絡(luò)的收斂，從而增加了模型的穩(wěn)定性，但由于所需參數(shù)多，規(guī)模大，因此訓(xùn)練模型所消耗的成本較高。

2.6 BigGANs模型

Brock等[27]提出BigGANs（Large Scale GANs），是一個大規(guī)模的GANs，是目前生成圖片質(zhì)量最好的一個網(wǎng)絡(luò)模型。BigGANs模型主要做了如下改進：（1）增加了2~4倍的參數(shù)量以及8倍的batch尺寸；（2）對輸入z規(guī)定一個閾值來進行適當(dāng)?shù)慕財?，舍棄高于這個范圍的值再進行重采樣以滿足這個范圍；（3）在生成模型和判別模型中都采用了正則化的思想。

BigGANs可以大規(guī)模地用來生成更加逼真的圖像數(shù)據(jù)，通過“截斷技巧”可以增加模型的訓(xùn)練穩(wěn)定性，從而生成種類繁多的圖像數(shù)據(jù)。此外，訓(xùn)練的不穩(wěn)定性還來自生成器和判別器的相互對抗過程，因此采用正則化思想也能增加模型的穩(wěn)定性。但是，由于增加了參數(shù)量和batch尺寸，使得訓(xùn)練模型的成本增加。

2.7 其他GANs變體模型

Zhang等[28]提出了StackGANs模型，由于CGANs無法生成高分辨率的圖像，StackGANs在CGANs上做出了改進，采用分段式方法進行訓(xùn)練：第一階段用以合成粗略的較低分辨率的圖像；第二階段把前一階段的輸出圖像數(shù)據(jù)作為輸入，對此增加更多紋理細節(jié)來生成高分辨率的圖像數(shù)據(jù)。此外，StackGANs還可以將文本的內(nèi)容轉(zhuǎn)換為圖片的形式，是一個比較新穎的突破，但StackGANs存在著生成數(shù)據(jù)失敗的風(fēng)險。Zhu等[29]提出了CycleGANs模型，具有循環(huán)機制，主要的思想是將圖像從一個域變成另一個域，該模型由兩個對稱的GANs結(jié)合，從而形成一個環(huán)，每個GANs同享兩個生成模型和自身擁有一個判別模型，可以使得訓(xùn)練不依賴于一對一的成對圖像，從而具有更好的適應(yīng)性[30]。CycleGANs對訓(xùn)練的數(shù)據(jù)要求較低，由于進行無監(jiān)督學(xué)習(xí)，所需訓(xùn)練模型的成本較低，但模型訓(xùn)練不穩(wěn)定，導(dǎo)致生成的圖像數(shù)據(jù)質(zhì)量和分辨率都較低，甚至有生成數(shù)據(jù)失敗的風(fēng)險。

雖然許多改進的GANs已經(jīng)被提出，但還沒能很好地解決GANs留有的缺點。表1顯示了生成對抗網(wǎng)絡(luò)模型的各種變體的對比。

表1 改進的生成對抗網(wǎng)絡(luò)模型的對比Table 1 Comparison of improved generative adversarial networks model

通過分析各類GANs變體模型，可以得知原始GANs一般基于以下兩點做出優(yōu)化：（1）損失函數(shù)；（2）網(wǎng)絡(luò)結(jié)構(gòu)。CGANs加入額外信息，很大程度解決了模型自由度大的缺點，但模型成本較高，如后來出現(xiàn)的ACGAN、TACGAN等模型均以CGANs為基礎(chǔ)網(wǎng)絡(luò)做出各自的改進。DCGANs將深度學(xué)習(xí)算法引入到GANs模型中，用CNN來提取原始圖像的特征，使模型更好地進行特征學(xué)習(xí)，采取分步幅卷積、整步幅卷積、BN層等對模型進行改進，使生成的圖像數(shù)據(jù)更具豐富性，但不適用于處理文本數(shù)據(jù)。InfoGANs通過信息最大化進行學(xué)習(xí)，生成的數(shù)據(jù)具有可解釋性，訓(xùn)練成本低，但由于需要計算互信息，增大了模型的計算量。WGANs從損失函數(shù)方面對GANs進行改進，采取Wasserstein距離替換JS距離，理論上可以避免梯度消失或爆炸，加快模型收斂速度，但實際上由于采用權(quán)重截斷還是會有梯度消失或爆炸的現(xiàn)象。而WGAN-GP采用溫和的梯度懲罰代替WGANs的權(quán)重截斷，避免會出現(xiàn)梯度消失或爆炸的現(xiàn)象，模型收斂速度明顯增加，訓(xùn)練更加穩(wěn)定，但參數(shù)量大、訓(xùn)練成本較高。BigGANs是目前生成圖像數(shù)據(jù)質(zhì)量較好的模型，但模型參數(shù)量和規(guī)模較大，所需成本也比較高。StackGANs可以生成出高分辨率的圖像，還可以將文本內(nèi)容轉(zhuǎn)變成圖像數(shù)據(jù)，但會存在生成數(shù)據(jù)失敗的情況。CycleGANs通過兩個對稱的GANs形成環(huán)，可以將圖像的風(fēng)格進行轉(zhuǎn)換，但生成的圖像數(shù)據(jù)質(zhì)量和分辨率都較低。

3 GANs在醫(yī)學(xué)圖像處理中的應(yīng)用

監(jiān)督學(xué)習(xí)是目前較為先進的技術(shù)，但是需要大批的帶標簽的數(shù)據(jù)集來對模型進行訓(xùn)練，在醫(yī)學(xué)領(lǐng)域內(nèi)，由于數(shù)據(jù)的特殊性，符合不了監(jiān)督學(xué)習(xí)對訓(xùn)練數(shù)據(jù)集的要求，因此提出了生成對抗網(wǎng)絡(luò)模型及其變體，生成與原始數(shù)據(jù)分布一致的數(shù)據(jù)，可以有效地緩解醫(yī)學(xué)領(lǐng)域內(nèi)數(shù)據(jù)少、類別不平衡等問題。GANs自2014年第一次提出以來，就成為一個熱門話題，其在圖像生成、圖像分割等醫(yī)學(xué)圖像處理方面均取得了不錯的效果。

3.1 圖像生成

GAN用于樣本的生成是最為廣泛的，它可以從大量的無標簽數(shù)據(jù)中生成數(shù)據(jù)來對訓(xùn)練數(shù)據(jù)進行擴充，可以很好地解決醫(yī)學(xué)圖像數(shù)據(jù)量緊缺的問題。研究者們將傳統(tǒng)的數(shù)據(jù)增強方法和GANs做了對比，在對比結(jié)果中可以得知用GANs生成的醫(yī)學(xué)圖像具有很高的可信度。

Zhao等[31]提出Tub-GANs和Tub-SGANs模型來合成視網(wǎng)膜和神經(jīng)元圖像，結(jié)果表明可以從相同的管狀結(jié)構(gòu)注釋中合成各種圖像，有助于改善圖像的分割性能；Plassard等[32]提出DCGANs模型，將DCNN和GANs結(jié)合，生成了擁有高信噪比的數(shù)據(jù)；Bowles等[33]提出WGANs模型，用Wasserstein距離來替換原來的JS距離，可以減少生成圖像的錯誤；Mok等[34]提出CBGAN模型，將生成圖像階段分為粗生成和細生成，可以生成邊界更加清晰的腦瘤圖像；Sun等[35]提出ANT-GANs模型，不僅可去除圖像中的病變區(qū)域，而且可以生成含病變區(qū)域的圖像；姚哲維等[36]基于CycleGANs做出了改進，引入Wasserstein距離作為正則化項（W-CycleGANs）對血管內(nèi)超聲圖像進行增強，可以加快收斂，性能明顯高于CycleGANs；Diaz-Pinto等[37]提出DCGANs模型來合成新型圖像，最終能生成逼真的視網(wǎng)膜圖像；Gihyun等[38]使用自動編碼GAN合成3D腦MRI圖像，可以從一小組訓(xùn)練數(shù)據(jù)中成功生成各種類型和形式的3D全腦體積；Kansal等[39]利用了GAN模型生成數(shù)據(jù)集，利用這些合成數(shù)據(jù)來彌補訓(xùn)練數(shù)據(jù)的不足，從而進一步提高CNN的分類性能；Baydoun等[40]結(jié)合Resnet、UNet和CGANs模型合成了胸部CT圖像，其在MAPE和均方根誤差上均有較好的結(jié)果；Hamghalam等[41]提出CycleGANs模型，擴充了HTC MR圖像，可以更好地提高腫瘤的分割性能。生成對抗模型在圖像合成中的應(yīng)用如表2所示。

表2 生成對抗網(wǎng)絡(luò)模型在圖像合成中的應(yīng)用Table 2 Application of generative adversarial networks model in image synthesis

3.2 圖像分類

每個GANs都各自擁有判別器，GANs可以用于聯(lián)合分類，不僅可以對原始圖像分類，也可以對生成的圖像分類，因此GAN可以執(zhí)行較繁瑣的分類任務(wù)。

Joseph等[42]將CycleGANs應(yīng)用在腦圖像分類上，該模型可以生成高質(zhì)量的圖像，但是其在健康與病灶區(qū)的腦圖像分類上具有一定的誤差；劉寧等[43]提出條件深度卷積GANs（CDCGANs）對抑郁癥進行分類，分類正確率明顯提高；商顯震等[44]將GANs和樸素貝葉斯的多分類方法結(jié)合起來對皮膚病問題進行判斷，提高了準確率和召回率；Rubin等[45]使用預(yù)訓(xùn)練的GANs（TOP-GANs）進行無污染癌細胞的分類，通過在無污點成像流式細胞儀中可以實現(xiàn)快速、自動和準確的分類；劉坤等[46]采用半監(jiān)督GANs（SSGANs）對X光圖像進行分類，與其他半監(jiān)督分類方法相比具有較優(yōu)越的性能；Das等[47]提出SGANs模型，對有限的標記數(shù)據(jù)進行自動診斷，通過對抗建立通用的分類器，在臨床級OCT圖像的分類上，準確度有較大的提高；Yu等[48]提出將GANs和拉曼光譜結(jié)合起來進行分類，該方法不僅提高分類的準確性，還解決了數(shù)據(jù)不足的問題；He等[49]提出帶標簽平滑GANs（LSGANs）來對視網(wǎng)膜圖像進行分類，在實際的OCT數(shù)據(jù)集上該方法有明顯的優(yōu)勢。Ghassemi等[50]用DCGANs來對腫瘤進行分類，經(jīng)過驗證，該模型獲得了較高的準確率。Wang等[51]將GANs和CNN結(jié)合來對肺腺癌分類，采用GANs來擴大數(shù)據(jù)集，使得CNN分類的準確性有顯著的提高。Ma等[52]將DCGANs和ResNet結(jié)合在一起來對白細胞圖像分類，該模型有較好的分類準確性。生成對抗模型在圖像分類中的應(yīng)用如表3所示。

表3 生成對抗網(wǎng)絡(luò)模型在圖像分類中的應(yīng)用Table 3 Application of generative adversarial networks model in image classification

3.3 圖像分割

圖像分割是把圖像分為多個區(qū)域，并把需要的區(qū)域從圖像中抽取出來，是圖像處理到圖像分析的關(guān)鍵一步。

蔣蕓等[53]采用條件深度卷積GANs（CDCGANs）對視網(wǎng)膜血管圖像進行分割，在DRIVE和STARE上進行驗證，發(fā)現(xiàn)準確率和敏感度均有所提高；何俊等[54]提出多尺度判別GANs對MRI圖像進行分割，分割準確性和魯棒性較高，達到了實時分割的要求；Shi等[55]使用DCGANs分割腦部MR圖像中的海馬體區(qū)域，與基于CNN等的其他方法相比，該方法有更好的性能；Liu等[56]采用半監(jiān)督生成對抗網(wǎng)絡(luò)（SSGANs）進行青光眼圖像的分割，在數(shù)據(jù)集ORIGA上所達到的效果明顯高于傳統(tǒng)模型，可以有效地輔助青光眼的診斷；Shen等[57]引入CGANs模型進行X射線乳房腫塊分割，其分割性能有所提高。Han等[58]提出用于處理大規(guī)模乳房超聲的GAN（BUS-GANs），在內(nèi)部測試數(shù)據(jù)集和公共數(shù)據(jù)集上獲得了較高的分割精度；Rammy等[59]提出基于補丁的GANs模型（CPGANs），可以迭代地學(xué)習(xí)視網(wǎng)膜圖像中的粗細血管，大幅度地提高了分割的性能；Park等[60]提出M-GANs，通過堆疊的深度完全卷積網(wǎng)絡(luò)平衡損失來進行分割，其在精度、IOU、F1和MCC上均取得較好的結(jié)果；Lei等[61]提出帶有雙重鑒別器的GANs模型，在ISIC皮膚病變挑戰(zhàn)數(shù)據(jù)集上進行評估，獲得了較好的分割性能；Ruan等[62]通過多分支特征共享GANs（MBFSGANs）對CT圖像的腎臟腫瘤進行分割，獲得了較高的精確度；Vivek等[63]提出基于CGANs模型，對乳腺腫瘤進行分割，其在DICE和IOU指標上均有所提高；Li等[64]提出GANs模型由3D U-Net和分類網(wǎng)絡(luò)組成，在BraTS2017腦腫瘤MRI圖像上進行實驗，獲得了較高的準確性。生成對抗模型在圖像分割中的應(yīng)用如表4所示。

表4 生成對抗網(wǎng)絡(luò)模型在圖像分割中的應(yīng)用Table 4 Application of generative adversarial networks model in image segmentation

3.4 目標檢測

在醫(yī)學(xué)領(lǐng)域，圖像目標檢測是診斷和治療的必要條件，通過判別模型輸出的概率可以對病變等異常位置進行一個檢測。

李明等[65]結(jié)合GANs和Faster R-CNN來對圖像進行檢測，可提高檢測的效率；Chen等[66]提出基于GANs模型的方法，幫助計算機實現(xiàn)無監(jiān)督的方式下檢測病變區(qū)域，在AUC指標上獲得了較高的結(jié)果；Avi等[67]將GANs和完全卷積網(wǎng)絡(luò)（FCN）結(jié)合，從而改善自動病變檢測，在每例圖像中，平均假陽性率均有所降低；唐賢倫等[68]采用DCGANs對圖像進行檢測，該模型可以很有效地提升檢測的精確度；張文勇等[69]提出增強型半監(jiān)督GANs對糖尿病視網(wǎng)膜病變進行檢測，實現(xiàn)了更高的檢測精度和泛化能力；Schlegl等[70]提出f-AnoGANs模型能快速地進行無監(jiān)督異常檢測，該模型有著較高的異常檢測精度；龍勝春等[71]采用GANs來檢測彩色眼底圖像硬性滲出，在e-ophtha EX和DIARETDB1數(shù)據(jù)集上的平均靈敏度等均有所提高；Bisneto等[72]提出CGANs模型來自動地對青光眼進行檢測，取得了較好的結(jié)果；Swiderski等[73]提出自動編碼器GANs（AGANs）來對乳房X射線圖像的腫瘤進行檢測，在準確性、AUC等評價指標上均獲得了較高的結(jié)果；Hai等[74]提出基于注意力編碼器和多分支結(jié)構(gòu)的GANs（AMD-GANs）對眼底疾病進行檢測，該模型對病變區(qū)域獲得了較好的檢測性能；Zhao等[75]提出基于三方GANs（Tripartite-GANs）來改善腫瘤檢測，該模型檢出腫瘤的準確性較高；Rui等[76]采用消息重要性度量（MIM）的指數(shù)形式代替原始GANs的對數(shù)形式，在異常檢測方面達到了較好的性能。生成對抗模型在圖像目標檢測中的應(yīng)用如表5所示。

3.5 圖像超分辨率重建

圖像的超分辨率重建（Super Resolution Image Reconstruction，SRIR）的目的是恢復(fù)低分辨率（Low Resolution，LR）圖像的紋理信息或高頻信息等，從而合成出高分辨率圖像（High Resolution，HR），是目前圖像重建所研究的熱點，應(yīng)用范圍十分廣泛，如衛(wèi)星成像[77]、醫(yī)學(xué)圖像等多個范疇。到目前為止，有三種常用的方法用于圖像的超分辨率中：（1）基于插值[78]；（2）基于重建[79]；（3）基于學(xué)習(xí)[80]。而基于學(xué)習(xí)的方法是主流的方法。在采用GANs之前已經(jīng)出現(xiàn)了許多方法被應(yīng)用在圖像的超分辨率重建中，如Dong等[80]提出三層卷積網(wǎng)絡(luò)（SRCNN），實現(xiàn)簡單，但由于模型層數(shù)不夠深，不能很好地學(xué)習(xí)到圖像紋理特征，泛化性能較差，因此不能達到很好的重建效果；Shi等[81]在模型中加入亞像素卷積層，可以減少模型的計算量，加快模型的收斂；Kim等[82]增加網(wǎng)絡(luò)層數(shù)，從而去得到較深層的圖像特征，并采用殘差網(wǎng)絡(luò)來避免梯度消失；Lim等[83]去除了BN層；由于單尺度提取特征容易遺漏一些圖像的細節(jié)且隨著網(wǎng)絡(luò)模型不斷增加容易出現(xiàn)梯度消失的情況，應(yīng)自爐等[84]提出多尺度殘差網(wǎng)絡(luò)模型，不僅可以充分學(xué)習(xí)到圖像的特征還能加強特征的傳播。以上基于深度卷積的方法雖有很高的峰值信噪比（Peak Signal-to-Noise Radio，PSNR），但最終的圖像質(zhì)量較低，因此，研究者開始將GANs用于圖像超分辨率重建中來。

Ledig等[85]采用GANs對圖像進行超分辨率重建中（SRGANs），利用生成器和判別器之間的相互對抗學(xué)習(xí)方式，來對圖像進行重建，恢復(fù)細節(jié)后的圖像在視覺上有所提升；Wang等[86]在GANs中引入殘差塊，并去除了BN操作，提出了一個增強型SRGANs（ESRGANs），重建后的圖像質(zhì)量明顯提高，且有著更逼真的細節(jié)紋理信息；Shamsolmoali等[87]采用漸進式GANs（G-GANISR），判別器采用最小二乘損失函數(shù)替換交叉熵，提高訓(xùn)練的穩(wěn)定性，與原始GANs進行比較得出，該方法在效率和穩(wěn)定性上均有所提升；Guan等[88]提出了一種新模型（SRDGANs），在GMSR數(shù)據(jù)集上進行驗證，實驗表明該模型可以有效地進行細節(jié)的恢復(fù)和圖像去噪；李誠等[89]提出殘差密集GANs來改善卷積網(wǎng)絡(luò)對于特性利用率較低的問題，該模型在Set5等數(shù)據(jù)集上進行驗證，實驗表明該模型可以加快收斂速度的同時提升對細節(jié)紋理的恢復(fù)和圖像的質(zhì)量；王冬冬等[90]采用一種改進的GANs算法，利用Wasserstein距離和殘差塊，并去除BN層，在加快模型收斂的同時減少計算量，該模型在PSNR和SSIM上均有所提升；彭晏飛等[91]目標函數(shù)采用hinge損失，Charbonnier損失替換L2損失，避免圖像產(chǎn)生偽影，去除BN層，采用譜歸一化（Spectral Normalization，SN）來減小計算量，從而減少訓(xùn)練成本，提高模型的穩(wěn)定性，實驗證明該模型在PSNR和SSIM上都有提高，測試時間明顯降低，圖像質(zhì)量也有提高；Zhao等[92]提出拉普拉斯金字塔GANs（LSRGANs）用于圖像重建，實驗表明，該模型可以避免產(chǎn)生的假細節(jié)，從而生成更高質(zhì)量的圖像，PSNR和SSIM上的得分都有提升。生成對抗模型在圖像超分辨率重建中的應(yīng)用如表6所示。

表6 生成對抗網(wǎng)絡(luò)模型在圖像超分辨率重建中的應(yīng)用Table 6 Application of generative adversarial networks model in super resolution image reconstruction

根據(jù)上述對GANs在各個領(lǐng)域的列舉，可以知道GANs在醫(yī)學(xué)圖像中應(yīng)用十分廣泛，特別是在圖像合成中，可以將少量的數(shù)據(jù)集進行擴充；由于每個GANs都自帶一個判別器，GANs可以進行聯(lián)合分類，不僅可以將原始圖像進行分類，生成的圖像也可以進行分類，因此GANs也被用于圖像分類中；對于現(xiàn)有的很多分割模型，都是對每個像素進行預(yù)測，而忽略了像素領(lǐng)域?qū)ζ涞挠绊懀@會導(dǎo)致分割精確度下降，因此可以將GANs的生成模型換成語義分割模型，分割模型與判別模型進行對抗學(xué)習(xí)，使得空間上更具一致性，最終可以輸出分割后的圖像，此外還能降低過擬合；GANs在目標檢測領(lǐng)域也有其優(yōu)勢，對于較小的區(qū)域，可能會存在丟失紋理信息等問題，直接進行檢測會導(dǎo)致結(jié)果有所偏差，GANs的生成網(wǎng)絡(luò)可以將圖片進行重建，將低分辨率的圖片變?yōu)楦叻直媛实膱D像，恢復(fù)其紋理信息，再用判別網(wǎng)絡(luò)對圖像的真假做出判斷，可以提高小目標檢測的精確度；GANs也逐漸開始應(yīng)用在圖像超分辨率重建領(lǐng)域，可以恢復(fù)圖像的紋理細節(jié)、高頻信息等，因此該應(yīng)用可以給其他應(yīng)用做基礎(chǔ)，如為圖像分割、目標檢測等提供一個高分辨率的圖像來作為判別網(wǎng)絡(luò)的輸入，從而提高分割、檢測的精確度。

4 總結(jié)與展望

本文首先簡述了GANs模型的理論和組成結(jié)構(gòu)；然后介紹了幾種典型的變體模型，闡述了GANs模型在圖像生成、圖像分割等應(yīng)用領(lǐng)域上的研究進展及現(xiàn)狀，并進行了總結(jié)。最后，深入分析研究現(xiàn)狀和問題，進一步總結(jié)和討論了深度學(xué)習(xí)在醫(yī)學(xué)圖像處理范疇中未來發(fā)展的趨勢和所面對的挑戰(zhàn)。自2014年提出GANs至今，其被廣泛地應(yīng)用在醫(yī)學(xué)圖像處理中，醫(yī)學(xué)數(shù)據(jù)十分稀缺，標注不清晰，人工標注會浪費人力且容易出現(xiàn)錯診、漏診現(xiàn)象，但用監(jiān)督學(xué)習(xí)通常需要大規(guī)模的數(shù)據(jù)集來訓(xùn)練模型，根據(jù)表2可知，GANs被廣泛地應(yīng)用在圖像合成方面，以此來彌補圖像不足的問題。此外GANs在圖像分類、圖像分割等方面也可以發(fā)揮很好的效果。與CNN相比之下，GANs的主要優(yōu)點是注重原始圖像的潛在概率密度分布，從而發(fā)現(xiàn)數(shù)據(jù)的分布信息，雖然GANs取得了一定的成果，但也暴露了許多不足之處，具體表現(xiàn)如下：

（1）生成的數(shù)據(jù)多樣性不足

GANs在醫(yī)學(xué)圖像的合成中發(fā)揮著重要的作用，原始的GANs結(jié)構(gòu)較為單一，只能學(xué)習(xí)到部分圖像特征合成出小批圖像數(shù)據(jù)，研究者們對此提出了改進，如CGANs增加條件信息指定生成的圖像、DCGANs聯(lián)合GANs與CNN學(xué)習(xí)到更深層的特征來使得合成的數(shù)據(jù)更具豐富性。但仍受許多因素的制約，如：圖像的尺寸、加深模型帶來更多計算量問題等。此外，在實際中，生成模型和判別模型很難維持納什均衡，而一旦性能差距過大就會出現(xiàn)模型退化現(xiàn)象，生成同樣的圖像數(shù)據(jù)，造成了數(shù)據(jù)種類較少的問題。

（2）梯度消失

GANs運用BP傳播算法，越靠近輸入層，梯度越小，越易出現(xiàn)梯度消失現(xiàn)象，WGANs利用Wasserstein距離替換JS距離，理論上可以避免梯度消失，但實際上卻做不到，而WGAN-GP采用溫和的梯度懲罰，雖然可以避免梯度消失，加快收斂，但隨之而來的是計算量大，訓(xùn)練的成本增加。

（3）模型訓(xùn)練效率過低

主要是由于模式崩潰以及模型結(jié)構(gòu)復(fù)雜所引起。由于G生成的數(shù)據(jù)給D進行推斷的時候，如果D不能給出一個相對正確的評價，就會導(dǎo)致結(jié)果缺失了一些重要的信息，最終導(dǎo)致模式崩潰，降低模型的訓(xùn)練效率；此外，由于模型結(jié)構(gòu)過于復(fù)雜，模型訓(xùn)練時間增加也會導(dǎo)致效率過低。

（4）GANs應(yīng)用領(lǐng)域較為局限

GANs雖然在圖像生成、圖像分類等方面均有所應(yīng)用，但GANs一般只能用于圖像數(shù)據(jù)的處理中，而對于文本數(shù)據(jù)的處理則較為局限，因此GANs在自然語言處理（Natural Language Processing，NLP）等領(lǐng)域中發(fā)展較為緩慢。

（5）模型訓(xùn)練成本高

對于原始GANs，許多研究者做出了各自的改進，雖然解決了原始GANs的一些不足之處，但隨之而來的是增大了模型的計算量，將模型結(jié)構(gòu)變得更加復(fù)雜，導(dǎo)致訓(xùn)練成本增加，如WGAN-GP、BigGANs等。

根據(jù)對GANs及其變體的分析，本文對GANs進行總結(jié)，得出解決以下挑戰(zhàn)是GANs能夠進一步發(fā)展的關(guān)鍵：

（1）注重算法的改進，理論進行突破。要避免GANs生成數(shù)據(jù)多樣性不足的問題，可以從算法進行改進，添加合理的約束信息，結(jié)合其他深度學(xué)習(xí)算法的優(yōu)點來進行改進，此外在實際中，生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)二者難以維持納什均衡，可以從理論上進行研究，分析二者在實際中難以維持納什均衡的原因。

（2）從算法進行突破，增大GANs的應(yīng)用范圍。GANs對連續(xù)型數(shù)據(jù)的處理有著較高效的算法，但對于離散型數(shù)據(jù)的算法性能卻較低，因此可以對算法進行改進，讓GANs也能高效地處理離散型數(shù)據(jù)，從而廣泛地應(yīng)用在其他領(lǐng)域中。

（3）探索GANs底層傳播機制。梯度消失、模型訓(xùn)練效率過低很大程度上會阻止GANs很好地應(yīng)用在醫(yī)學(xué)圖像領(lǐng)域，導(dǎo)致GANs對數(shù)據(jù)的處理速度過慢甚至是失敗，因此可以合理地借助工具去了解GANs的底層BP傳播機制，從而對GANs進行改進。

（4）維持GANs能和成本相對平衡。雖然有些GANs變體模型可以生成高質(zhì)量的圖像數(shù)據(jù)，如BigGANs，但該模型需要多個GPU進行訓(xùn)練，計算量大，因此成本相對較高，增大模型的訓(xùn)練時間，降低效率。能夠維持GANs性能和成本的平衡，是將模型更好地應(yīng)用在醫(yī)學(xué)圖像處理的關(guān)鍵一步。

將GANs模型應(yīng)用在醫(yī)學(xué)領(lǐng)域是目前研究的熱點，許多高性能的優(yōu)化模型也相繼提出，相信在未來，GANs模型可以更廣泛地應(yīng)用在醫(yī)學(xué)圖像處理中。