高 媛，劉 志，秦品樂，王麗芳

(中北大學(xué) 大數(shù)據(jù)學(xué)院，太原 030051)

0 引言

圖像超分辨率技術(shù)是指從一幅或多幅低分辨率圖像運(yùn)用技術(shù)手段獲得對應(yīng)的高分辨率圖像，在醫(yī)學(xué)影像[1-2]、面部識別[3]、衛(wèi)星圖像[4]等場景擁有廣泛應(yīng)用。

目前超分辨率技術(shù)主要有3類[5]，即基于插值[6]、重建[7-8]和學(xué)習(xí)[9]的方法。基于插值的方法如雙線性內(nèi)插(Bilinear interpolation, Bilinear),最近鄰插值(Nearest-Neighbor interpolation, NN)[5]和雙三次插值法(Bicubic)[10]，該類方法計算時以假設(shè)圖像像素的灰度值連續(xù)變化為前提，使用鄰近區(qū)域像素點(diǎn)的灰度值來計算要插入的像素灰度值，卻沒有考慮到圖像的復(fù)雜性。該類算法比較簡單、復(fù)雜度低、適應(yīng)性不強(qiáng)，使得生成的圖像邊緣輪廓比較模糊，視覺上過于平滑，容易產(chǎn)生方塊現(xiàn)象?；谥亟ǖ某直媛始夹g(shù)如迭代反向投影法[11-12]、最大后驗概率方法[13]、凸集投影法[14]。此類方法利用低分辨率圖像作為約束前提，并結(jié)合圖像的先驗知識來重建出高分辨率圖像， 在一定程度上緩解了基于插值方法產(chǎn)生的方塊現(xiàn)象，效果上有較好的改善，但當(dāng)放大倍數(shù)較大或輸入圖像尺寸較小時，能有效利用的先驗知識較少，不足以滿足高分辨率的需求，重建出的效果也較差。基于學(xué)習(xí)的方法，該類方法通過學(xué)習(xí)高、低分辨率圖像間的關(guān)聯(lián)，利用樣本圖像的先驗知識來重建高分辨率圖像，相比其他方法有較大優(yōu)勢。近年來，由于深度學(xué)習(xí)在諸多領(lǐng)域取得的成功，使得基于深度學(xué)習(xí)的超分辨率重建方法成為研究的熱點(diǎn)。2014年，Dong等[15]率先將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像超分辨率領(lǐng)域中，提出使用卷積神經(jīng)網(wǎng)絡(luò)的超分辨率(Super-Resolution using Convolutional Neural Network, SRCNN)算法，該算法通過3層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)低分辨率到高分辨率的關(guān)聯(lián)關(guān)系，重建出的高分辨率圖像效果相比傳統(tǒng)方法有很大改善，但3層的網(wǎng)絡(luò)層次結(jié)構(gòu)太淺，難以獲得圖像深層次的特征。之后，Dong等[16]又提出了快速的超分辨率卷積神經(jīng)網(wǎng)絡(luò)算法，該算法對SRCNN算法進(jìn)行了改進(jìn)，將3層的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)加深到了8層，同時對低分辨率圖像的上采樣用反卷積取代了雙三次插值，取得了比SRCNN更好的效果，但8層網(wǎng)絡(luò)結(jié)構(gòu)依然較淺，重建出的效果有限。Kim等[17]提出基于深度遞歸神經(jīng)網(wǎng)絡(luò) (Deeply-Recursive Convolutional Network for image super-resolution, DRCN)的超分辨率算法，相比SRCNN較小的局部感受野，DRCN算法通過增加局部感受野大小來進(jìn)一步利用更多的鄰域像素，同時該算法使用遞歸神經(jīng)網(wǎng)絡(luò)減少過多的網(wǎng)絡(luò)參數(shù)，取得了較好的效果。Ledig等[18]將深度學(xué)習(xí)中熱門的生成對抗網(wǎng)絡(luò)(Generative Adversarial Network, GAN)應(yīng)用于圖像的超分辨率重建中，提出了基于生成對抗網(wǎng)絡(luò)的超分辨率 (Super-Resolution using a Generative Adversarial Network, SRGAN)算法，該算法將低分辨率圖片樣本輸入到生成器網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)，來生成高分辨率圖片，再用判別器網(wǎng)絡(luò)辨別其輸入的高分辨率圖片是來自原始真實的圖片還是生成的高分辨率圖片，當(dāng)判別器無法辨別出圖片的真?zhèn)螘r，說明生成器網(wǎng)絡(luò)生成出了高質(zhì)量的高分辨率圖片。實驗結(jié)果表明相比其他深度學(xué)習(xí)方法，SRGAN算法生成的圖片效果在視覺上更逼真。

將低分辨率的醫(yī)學(xué)影像進(jìn)行超分辨率重建，可有效提升影像清晰度，重建后的高清醫(yī)學(xué)圖像能使醫(yī)生更清楚看到組織結(jié)構(gòu)和病變早期發(fā)現(xiàn)病情，為醫(yī)生對疾病作正確的判斷作輔助診斷，為醫(yī)學(xué)影像的研究、教學(xué)、手術(shù)等提供支持。目前超分辨率重建在自然圖像上研究眾多，在醫(yī)學(xué)影像上的研究還不夠豐富，不同于自然圖像，大多數(shù)醫(yī)學(xué)圖像紋理更復(fù)雜，細(xì)節(jié)更豐富，黑白的顏色沒有彩色那般更好的視覺辨識度，所以保留紋理細(xì)節(jié)不丟失成為醫(yī)學(xué)超分辨率重建的關(guān)鍵。

鑒于基于深度學(xué)習(xí)的超分辨率重建方法生成的圖像質(zhì)量高、視覺效果好，本文在最新的SRGAN基礎(chǔ)上，通過使用縮放卷積、去掉批量規(guī)范化層(Batch-Normalization, BN)、增加特征圖數(shù)量、加深網(wǎng)絡(luò)等對SRGAN作出改進(jìn)，提出了基于深度殘差生成對抗網(wǎng)絡(luò)(Deep Residual Generative Adversarial Network, DR-GAN)的醫(yī)學(xué)影像超分辨率算法，來達(dá)到對醫(yī)學(xué)影像放大2倍后仍然保留較多的紋理和細(xì)節(jié)特征的目標(biāo)。

1 相關(guān)理論

1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)(GAN)由Goodfellow等[19]提出，它啟發(fā)自博弈論中的二人零和博弈。GAN強(qiáng)大的圖片生成能力，使其在圖片合成[20]、圖像修補(bǔ)[21]、超分辨率[18]、草稿圖復(fù)原[22]等方面有直接的應(yīng)用。

GAN的基本框架包含一個生成器模型(Generative model, G)和一個判別器模型(Discriminative model, D)，GAN的過程如圖1所示。

圖1 GAN的基本框架

如圖1所示的GAN的基本框架中， 生成器模型用可微函數(shù)G(x)表示，判別器模型用可微函數(shù)D(x)表示，每個函數(shù)都有可調(diào)參數(shù)。GAN過程中有兩個場景：第一個場景中，從真實訓(xùn)練數(shù)據(jù)中采樣x，作為判別器模型D(x) 的輸入，D(x)通過自身的訓(xùn)練學(xué)習(xí)，盡可能地輸出接近1的概率值；第二個場景中，從先驗分布中采樣z，經(jīng)生成器模型生成偽造樣本G(z),將其作為判別器模型的輸入，判別器模型的目的盡量使D(G(z))接近0，而生成器模型的目的盡量使它接近1，最終在二者的互相博弈中達(dá)到平衡。

原始的生成對抗網(wǎng)絡(luò)理論中，并不要求生成器和判別器都是神經(jīng)網(wǎng)絡(luò)，只需能夠擬合出相應(yīng)的生成和判別的函數(shù)就可以，但是，由于神經(jīng)網(wǎng)絡(luò)在圖像處理方面的較好效果，所以，本文設(shè)計生成器和判別器均為神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

1.2 殘差和快捷連接

殘差網(wǎng)絡(luò)(Residual Network, ResNet)和快捷連接(Skip Connection)由He等[23]提出，該網(wǎng)絡(luò)結(jié)構(gòu)使得更深的網(wǎng)絡(luò)更容易訓(xùn)練，因而可以通過增加網(wǎng)絡(luò)層數(shù)提高識別準(zhǔn)確率。

殘差塊的基本結(jié)構(gòu)如圖2所示。

圖2 殘差學(xué)習(xí)：基本殘差塊

如圖2所示，殘差網(wǎng)絡(luò)在原始的卷積層上增加跳層快捷連接支路Skip Connection構(gòu)成基本殘差塊，使原始要學(xué)習(xí)的H(x)被表示成H(x)=F(x)+x。殘差網(wǎng)絡(luò)的殘差結(jié)構(gòu)使得對H(x)的學(xué)習(xí)轉(zhuǎn)為對F(x)的學(xué)習(xí)，而對F(x)的學(xué)習(xí)較H(x)容易。殘差網(wǎng)絡(luò)通過層層累加的殘差塊結(jié)構(gòu)，有效緩解了深層網(wǎng)絡(luò)的退化問題，提高了網(wǎng)絡(luò)性能。

由于殘差網(wǎng)絡(luò)的殘差塊(Residual Block)和快捷連接的結(jié)構(gòu)，改善了網(wǎng)絡(luò)深度增加帶來的梯度消失和網(wǎng)絡(luò)退化問題，提升了深度網(wǎng)絡(luò)的性能。鑒于殘差網(wǎng)絡(luò)結(jié)構(gòu)近年來在圖像生成任務(wù)上的優(yōu)異成績，本文將改進(jìn)算法的生成器部分設(shè)計成基于殘差網(wǎng)絡(luò)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

2 基于DR-GAN的醫(yī)學(xué)影像超分辨率算法

2.1 改進(jìn)思想

神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、寬度和深度等是影響網(wǎng)絡(luò)性能的重要因素。在網(wǎng)絡(luò)結(jié)構(gòu)方面，本文借鑒文獻(xiàn)[24]提出的縮放卷積思想采用縮放圖片再卷積的上采樣層來盡量削弱棋盤效應(yīng)的出現(xiàn)，借鑒文獻(xiàn)[25-26]作超分辨率對原始的ResNet去掉BN層節(jié)約顯存獲得性能提升的做法，本文將SRGAN的標(biāo)準(zhǔn)殘差塊去掉BN層，來建立一種新的殘差塊結(jié)構(gòu)，以此簡化殘差塊結(jié)構(gòu)達(dá)到優(yōu)化網(wǎng)絡(luò)的目的。在網(wǎng)絡(luò)寬度方面，本文借鑒文獻(xiàn)[25]在有限內(nèi)存時增加特征圖通道數(shù)比加深網(wǎng)絡(luò)更有效的做法，將原始SRGAN的判別器進(jìn)一步增加特征圖數(shù)量，由于過多的特征圖數(shù)量易使網(wǎng)絡(luò)不穩(wěn)定，所以本文算法通過增加快捷連接使網(wǎng)絡(luò)更穩(wěn)定、更易訓(xùn)練來提升網(wǎng)絡(luò)性能。在網(wǎng)絡(luò)深度方面，受到文獻(xiàn)[27-29]顯示更深網(wǎng)絡(luò)能夠建立高復(fù)雜度映射，極大提高網(wǎng)絡(luò)精確性的啟發(fā)，本文算法通過增加網(wǎng)絡(luò)的深度來提高網(wǎng)絡(luò)的性能。由于過深的網(wǎng)絡(luò)難以訓(xùn)練，所以改進(jìn)方法將生成器部分的殘差塊數(shù)量由原有的16個增加到32個，網(wǎng)絡(luò)深度增加了16層。

綜上所述，本文提出的DR-GAN改進(jìn)原有SRGAN主要是通過用縮放卷積的上采樣層(ResizeLayer)替換原始SRGAN的亞像素層，將SRGAN的標(biāo)準(zhǔn)殘差塊去掉BN層，增加原始SRGAN判別器的特征通道數(shù)并添加快捷連接改進(jìn)原始判別器參數(shù)，增加生成器部分的殘差塊數(shù)量來加深網(wǎng)絡(luò)層次。

2.2 DR-GAN算法的網(wǎng)絡(luò)結(jié)構(gòu)

由2.1節(jié)所述的改進(jìn)思想，將改進(jìn)的措施應(yīng)用到本文的研究，設(shè)計的整個網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，其中生成器網(wǎng)絡(luò)結(jié)構(gòu)如圖3(a)所示，判別器網(wǎng)絡(luò)結(jié)構(gòu)如圖3(b)所示。

圖3 DR-GAN網(wǎng)絡(luò)結(jié)構(gòu)

2.2.1 生成器

如圖3(a)所示的生成器網(wǎng)絡(luò)參數(shù)，改進(jìn)生成器網(wǎng)絡(luò)的參數(shù)設(shè)置與原始SRGAN略有不同。具體來說，輸入的低分辨率圖片，先進(jìn)入卷積層進(jìn)行卷積操作，卷積層參數(shù)設(shè)置為3×3×3×64，即64個3×3 過濾器，3個通道，步長為1，再填補(bǔ)適宜的0用以保持圖片尺寸；借鑒文獻(xiàn)[25]使用整流線性單元(Rectified Linear Unit, ReLU)提升性能的思想，本文使用ReLU替換原始SRGAN的參數(shù)化整流線性單元激活，達(dá)到評價指標(biāo)的提升，然后依次進(jìn)入到32個相同殘差塊網(wǎng)絡(luò)中訓(xùn)練學(xué)習(xí)；特別地改進(jìn)的每個殘差塊都去掉了BN層并使用Skip Connection的方式易于網(wǎng)絡(luò)的訓(xùn)練，從32個殘差塊輸出后接著進(jìn)入卷積層然后使用Skip Connection，接著上采樣將圖片放大2倍，上采樣操作采用縮放卷積的做法，先用最近鄰插值將圖片放大2倍后再進(jìn)入卷積層，最后通過卷積操作后輸出高分辨率圖片。

2.2.2 判別器

如圖3(b)所示，改進(jìn)的判別器的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)設(shè)置與原始SRGAN的不同。具體來說，輸入待判別的高分辨率圖片，先經(jīng)過5層的卷積層抽取圖片特征，不同于原始的SRGAN，為了增大局部感受野，采用4×4尺寸的卷積核，并進(jìn)一步增加特征圖數(shù)量，即像VGGNet[27]那樣，卷積層通道的數(shù)量從第一層的64個開始，每層的通道數(shù)以2倍遞增，直到第5層的1 024個；接著經(jīng)1×1卷積核的卷積層進(jìn)行降維，然后經(jīng)層層的卷積操作并使用Skip Connection使網(wǎng)絡(luò)順暢訓(xùn)練，再將圖片數(shù)據(jù)的維度壓平(Flatten)再經(jīng)全連接層(Fully Connected layer, FC)后經(jīng)Sigmoid輸出判別的結(jié)果。

2.3 代價函數(shù)

代價函數(shù)的選擇是深度學(xué)習(xí)算法設(shè)計中的一個重要部分，由于交叉熵[30]可以用來衡量兩個分布之間的相似程度，均方差的高效性，交叉熵和均方差損失函數(shù)在深度學(xué)習(xí)代價函數(shù)設(shè)計中的廣泛應(yīng)用，所以本文算法選取均方差以及訓(xùn)練數(shù)據(jù)和模型預(yù)測間的交叉熵作為代價函數(shù)。如式(1)～(8):

LDR-GAN={min(LD),min(LG)}

(1)

其中，LDR-GAN表示DR-GAN算法的損失函數(shù)，LD為判別損失函數(shù)，LG為生成損失函數(shù)，網(wǎng)絡(luò)訓(xùn)練的目的為最小化LD和LG。

LD=Ld1+Ld2

(2)

(3)

(4)

其中:PLR為網(wǎng)絡(luò)輸入的圖片，PHR為供參照的原始高清圖片，n為小批量樣本(mini-batch)大小，本文n=16。H、W分別為圖片的高度和寬度，D(PHR(i,j))表示真實高分辨率圖片訓(xùn)練數(shù)據(jù)輸入判別器的結(jié)果，G(PLR(i,j))為圖片經(jīng)生成器后的生成結(jié)果，Ld1表示真實高分辨率圖片訓(xùn)練數(shù)據(jù)輸入判別器判斷后的輸出結(jié)果與其真實值(為1)的交叉熵。Ld2表示低分辨率圖片輸入生成器生成的高分辨率圖片再輸入到判別器的判別結(jié)果與其真實值(為0)的交叉熵。

LG=LMSE+10-3Lg+2×10-6LVGG

(5)

(6)

(7)

V(PHR(i,j)))2)

(8)

其中:V(PHR(i,j))為真實高分辨率圖片輸入到預(yù)先訓(xùn)練好的VGG19[27]網(wǎng)絡(luò)模型的輸出結(jié)果，V(G(PLR(i,j)))為低分辨率圖片用生成器生成的結(jié)果輸入到預(yù)先訓(xùn)練好的VGG19網(wǎng)絡(luò)模型的輸出結(jié)果，LMSE表示PHR與G(PLR(i,j))像素之間的損失，Lg表示低分辨率圖片輸入生成器后的生成結(jié)果再輸入到判別器的判別結(jié)果與真實值(為1)的交叉熵。LVGG表示V(G(PLR(i,j)))與V(PHR(i,j))像素之間的損失。

2.4 訓(xùn)練過程：

采用mini-batch的訓(xùn)練方式，因為實驗硬件GPU顯存的限制，mini-batch設(shè)置為16張圖片。訓(xùn)練時，對每個mini-batch的每個真實高分辨率圖片隨機(jī)裁剪96×96的子圖片，接著對此高分辨率96×96的子圖片用目前主流做法使用Bicubic下采樣2倍得到降質(zhì)的低分辨率48×48圖像，然后把這個mini-batch的真實高分辨率子圖和對應(yīng)的低分辨率降質(zhì)圖片輸入到判別器和生成器網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，同時使用Adam優(yōu)化算法在訓(xùn)練過程中促使判別損失和生成損失函數(shù)達(dá)到最小來不斷更新網(wǎng)絡(luò)的參數(shù)。初始學(xué)習(xí)率設(shè)置為1×10-4，實驗迭代12 000次，每隔6 000次將學(xué)習(xí)率減小，變?yōu)樵瓉淼?.1倍，以達(dá)到訓(xùn)練最優(yōu)的目的。

算法偽碼實現(xiàn)如下：

for number of training iterations do

Sample minibatch of HR train set to randomly cropPHR:512×512 toPHR_sub:96×96

use Bicubic downsamplePHR_subtoPLR_sub:48×48

PLR_subinput the Generative Model to generatePfake

PHR_sub，Pfakeinput the Discriminative Model to discriminate thePfake，Adam Optimizer minimize theLDto update the Discriminative network

Adam Optimizer minimize theLMSE，Lg，LVGGto update the Generative network

end for

3 實驗仿真與結(jié)果分析

本文實驗使用的是美國國家肺癌中心的數(shù)據(jù)集[31]，并從中挑選了清晰度高、紋理豐富、細(xì)節(jié)復(fù)雜的304張512×512高質(zhì)量的圖片來訓(xùn)練。

本實驗環(huán)境包括硬件環(huán)境和軟件環(huán)境。實驗測試所用的硬件設(shè)備是一臺Intel Xeon服務(wù)器，搭載2塊NVIDIA Tesla M40的GPU，每塊顯存12 GB，共24 GB。實驗軟件，平臺是64位Ubuntu 14.04.5 LTS操作系統(tǒng)，Tensorflow V1.2，CUDA Toolkit 8.0，Python3.5。

3.1 實驗與結(jié)果

為了驗證說明本文算法超分辨率重建圖片的效果，特別選取了常見的具有典型性的3種傳統(tǒng)超分辨率方法和2種具有代表性效果較好的基于深度學(xué)習(xí)的超分辨率方法。3種傳統(tǒng)超分辨率方法是Bilinear、NN和Bicubic，2種基于深度學(xué)習(xí)的超分辨率方法是DRCN和SRGAN。為了公正地對比各算法，各個算法均統(tǒng)一在搭載GPU 為NVIDIA Tesla M40，Tensorflow V1.2的Intel Xeon服務(wù)器實驗環(huán)境下使用Python3.5實現(xiàn)仿真。Bilinear、NN和Bicubic的結(jié)果與迭代的次數(shù)無關(guān)，DRCN、SRGAN和DR-GAN均迭代12 000次，初始學(xué)習(xí)率設(shè)置為1×10-4，每隔6 000次將學(xué)習(xí)率減小，變?yōu)樵瓉淼?.1倍。

為了驗證各超分辨率算法的處理效果，顯示實驗結(jié)果的客觀合理，選取4幅有代表性，肺部氣管、肺泡、胸廓等細(xì)節(jié)復(fù)雜，紋理豐富的肺部影像進(jìn)行對比測試。實驗結(jié)果如圖4所示。

圖4 各方法超分辨率效果對比

3.2 評價指標(biāo)

由于峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)[32]和結(jié)構(gòu)相似性(Structural SIMilarity, SSIM)[33]被廣泛地作為圖像壓縮、修復(fù)后評價圖像質(zhì)量優(yōu)劣的檢測手段，本文也選用PSNR和SSIM作為超分辨率重建算法重建圖像質(zhì)量的參考評價指標(biāo)，并將整個數(shù)據(jù)集的PSNR和SSIM數(shù)據(jù)平均化，將整個數(shù)據(jù)集上的平均峰值信噪比(Mean Peak Signal-to-Noise Ratio, MPSNR)和平均結(jié)構(gòu)相似性(Mean Structural Similarity, MSSIM)也納入重建圖像質(zhì)量的參考評價指標(biāo)。

同時，算法超分辨率重建出高分辨率圖片所耗費(fèi)的時間也是衡量算法優(yōu)劣的重要因素。為了評價本文算法與其他算法的優(yōu)劣，本文將算法的耗時也作為評價算法的參考指標(biāo)。

3.2.1 客觀效果

為了客觀顯示本文算法與其對比的各個算法的效果，對圖4各算法超分辨率重建后的圖片分別與最左側(cè)的原始高清標(biāo)準(zhǔn)圖像(Ground Truth)計算PSNR、SSIM，用同樣的方法計算得到整個數(shù)據(jù)集上的PSNR、SSIM數(shù)據(jù)，然后得出整個數(shù)據(jù)集的MPSNR、MSSIM數(shù)據(jù)，并記錄各算法的耗時，以實際數(shù)據(jù)值作為評價各算法優(yōu)劣的參考。圖4的PSNR、SSIM和各算法的耗時如表1所示。

表1 各超分辨率算法評價指標(biāo)值對比

同時，將整個數(shù)據(jù)集上計算的PSNR、SSIM數(shù)據(jù)平均化，得到各算法在整個數(shù)據(jù)集上的MPSNR、MSSIM和平均耗時如表2所示。

由表1中圖4第1行的各超分辨率算法實驗數(shù)據(jù)可以看出，Bilinear、NN、Bicubic、DRCN算法重建出圖片的PSNR、SSIM分?jǐn)?shù)越來越高，DR-GAN和SRGAN的PSNR、SSIM分?jǐn)?shù)低于DRCN， 但DR-GAN的PSNR、SSIM均略高于原始SRGAN算法。

同樣，從表1中圖4第2行～第4行的各超分辨率算法實驗數(shù)據(jù)可以看到，Bilinear、DRCN重建出圖片的PSNR、SSIM分?jǐn)?shù)分別為最低和最高，Bilinear、NN、Bicubic、DRCN的PSNR、SSIM分?jǐn)?shù)也越來越高，同時DR-GAN的PSNR、SSIM均高于SRGAN。

從表2中可以看到，Bilinear、NN、Bicubic、DRCN的MPSNR、MSSIM分?jǐn)?shù)同樣是越來越高的，DR-GAN的MPSNR、MSSIM均高于SRGAN。

表2 各超分辨率算法MPSNR，MSSIM，耗時結(jié)果對比

各算法的耗時方面，從表1可看出，基于深度學(xué)習(xí)的DRCN、SRGAN，DR-GAN的耗時高于傳統(tǒng)的Bilinear、NN、Bicubic算法，但是DRCN、SRGAN、DR-GAN的耗時都在1.5 s以內(nèi)。

同時，由DR-GAN算法訓(xùn)練過程中的生成損失和判別損失的實驗數(shù)據(jù)繪制圖表如圖5所示。

圖5 DR-GAN算法的損失

從圖5可以看到，隨著迭代次數(shù)的增加，生成損失整體呈現(xiàn)下降趨勢，曲線后段趨于平緩，另一方面，隨著迭代次數(shù)的增加，判別損失整體呈現(xiàn)緩慢上升趨勢，因此，綜合權(quán)衡生成損失和判別損失，確定本文算法最終迭代次數(shù)為12 000次。

3.2.2 主觀效果

從圖4顯示的結(jié)果可以看出，在處理醫(yī)學(xué)影像的超分辨率任務(wù)時，整體來看，基于深度學(xué)習(xí)的DRCN算法、SRGAN算法和DR-GAN算法處理的效果都明顯優(yōu)于傳統(tǒng)的Bilinear、NN、Bicubic算法。主觀來看，DRCN算法、SRGAN算法和DR-GAN算法都得到了較好的超分辨率圖像，但對于上面的某些圖片和某些部位，DR-GAN算法顯示出了更逼真的細(xì)節(jié)紋理和圖像銳度。

具體來說，圖4第1行(肺尖部)中：Bilinear算法得到的圖片整體看起來很模糊；NN算法得到的圖片出現(xiàn)了比較明顯的方塊狀；Bicubic得到的圖片也比較模糊，且在視覺上顯得過于平滑；DRCN在圖像銳度方面有了很大的提升，但相比SRGAN和DR-GAN在復(fù)雜細(xì)節(jié)方面的處理仍顯不足；SRGAN在圖像銳度和視覺效果方面都較好，但圖中方框區(qū)域的下半部分出現(xiàn)了棋盤狀效應(yīng)；而DR-GAN算法沒有顯現(xiàn)棋盤狀效應(yīng)，DR-GAN算法的效果最接近于標(biāo)準(zhǔn)圖像。

同樣，在圖4第2行～第4行中，也可以看到：Bilinear很模糊，NN有明顯的方塊狀，Bicubic也比較模糊且視覺過于平滑，DRCN提升了圖像銳度但復(fù)雜細(xì)節(jié)處理不足，SRGAN相比DR-GAN算法對豐富紋理處理仍顯不夠細(xì)膩，DR-GAN算法在視覺上顯示出了更逼真的紋理細(xì)節(jié)。

3.2.3 綜合評價

雖然PSNR是廣泛使用的評價圖像質(zhì)量的客觀檢測手段，尤其在超分辨率領(lǐng)域，眾多的算法和大型挑戰(zhàn)賽[34]往往以PSNR數(shù)值的高低來評判算法的優(yōu)劣，但PSNR本身有很大的局限性，最近幾年很多的實驗結(jié)果[18,35]和研究[36]都顯示了，PSNR數(shù)據(jù)無法和人類視覺感官看到的完全符合，有些情況,PSNR較低的反而比PSNR較高的視覺上更逼真[18]。

所以本文采用客觀PSNR，SSIM等評價指標(biāo)和主觀視覺效果的綜合評價方式。

從表1和表2的實驗數(shù)據(jù)結(jié)果可以看出，DR-GAN算法的PSNR、SSIM、MPSNR、MSSIM均高于原始SRGAN算法。

雖然DR-GAN算法超分辨率重建圖像的PSNR、SSIM等客觀指標(biāo)低于DRCN，但是從主觀視覺效果上來看，DR-GAN算法重建的圖像紋理要更細(xì)膩、更逼真，視覺體驗更好，更接近真實標(biāo)準(zhǔn)圖像。

在耗時方面，因為傳統(tǒng)插值等方法計算簡單，復(fù)雜度低，耗時短，DR-GAN算法在提高精度的同時犧牲了時間，時間上雖然缺乏明顯優(yōu)勢，但也在可接受的范圍內(nèi)。

因此，綜合評價來說，本文提出的DR-GAN算法要優(yōu)于SRGAN、DRCN、Bilinear、NN、Bicubic算法。

4 結(jié)語

針對2倍醫(yī)學(xué)影像超分辨率，本文提出了基于深度殘差的生成對抗網(wǎng)絡(luò)的醫(yī)學(xué)影像超分辨率算法。該算法由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)構(gòu)成，其中生成器網(wǎng)絡(luò)由基于改進(jìn)的32層殘差網(wǎng)絡(luò)和快捷連接組成，判別器由層層卷積層和快捷連接組成。對于肺部醫(yī)學(xué)影像的2倍超分辨率圖像，提出的算法綜合PSNR等客觀指標(biāo)和主觀視覺效果因素要優(yōu)于SRGAN、DRCN、Bilinear、NN、Bicubic算法，充分說明了本文算法的適用性。下一步的研究工作將探尋高效的算法，以便重建出高質(zhì)量的更大放大倍數(shù)的高分辨率圖像。