王曄 孫志寬 李征

現(xiàn)有的圖像超分辨率重建方法都較少考慮真實低分辨率圖像中包含的噪聲信息，因此會影響圖像的重建質(zhì)量.受真實圖像去噪算法的啟發(fā)，本文引入一個噪聲分布收集網(wǎng)絡(luò)來收集低分辨率圖像的噪聲分布信息，并采用生成對抗網(wǎng)絡(luò)的模型設(shè)計，提高含噪聲圖像的重建質(zhì)量.噪聲分布信息會分別輸入到超分辨率重建網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，在重建過程中去除噪聲的同時保證有用高頻信息的恢復(fù)，另外由于判別網(wǎng)絡(luò)的能力對整個模型的性能有著重要影響，選擇使用 U-Net 網(wǎng)絡(luò)來獲得更好的梯度信息反饋.與經(jīng)典圖像超分辨率重建算法的對比以及消融實驗表明，使用噪聲收集網(wǎng)絡(luò)和 U-Net 判別網(wǎng)絡(luò)后，本文模型在噪聲低分辨率圖像重建任務(wù)中獲得了更好的性能.

圖像超分辨率； 生成對抗網(wǎng)絡(luò)； 真實圖像； 噪聲分布

TP391A2023.032001

收稿日期： 2022-06-20

基金項目： 國家重點研發(fā)計劃項目（2020YFA0714003）； 國家重大項目（GJXM92579）； 四川省科技廳重點研發(fā)項目（2021YFQ0059）

作者簡介： 王曄（1997-）， 女， 山西晉城人， 碩士研究生， 主要研究領(lǐng)域為計算機視覺與圖像處理. E-mail： yesica1230@163.com

通訊作者： 李征. E-mail： lizheng@scu.edu.cn

An image super-resolution reconstruction method based onGenerative Adversarial Network and noise distribution

WANG Ye1， SUN Zhi-Kuan1， LI Zheng1， 2

（1.College of Computer Science（College of Software）， Sichuan University， Chengdu 610065， China；

2.Tianfu Engineering-Oriented Numerical Simulation & Software Innovation Center， Sichuan University， Chengdu 610207， China）

Existing image super-resolution reconstruction methods take less into account the noise information contained in real low-resolution images， which will affect the quality of image reconstruction. Inspired by the real image denoising algorithm， this paper introduces a noise distribution collection network to collect noise distribution information of low-resolution images， and adopts a model design of Generative Adversarial Network to improve the reconstruction quality of noisy images. The noise distribution information will be input to the super-resolution reconstruction network and the discriminant network respectively. During the reconstruction process， the noise is removed during while ensuring the recovery of useful high-frequency information， because the ability of the discriminant network has an important impact on the performance of the entire model， the U-Net network is selected to obtain better gradient information feedback. Comparison with the classical image super-resolution reconstruction methods and ablation experiments，the resluts show that the proposed model obtains better performance in the noisy low-resolution image reconstruction task after using the noise collection network and the U-Net discriminant network.

Image super-resolution; Generative Adversarial Network; Real images; Noise distribution

1 引 言

隨著科技的發(fā)展，作為重要信息載體的圖像擁有了越來越高的分辨率.更高的像素密度展示了更多的紋理細節(jié)，蘊涵更豐富的信息，在很多場景中高分辨率圖像都極具價值，比如CT圖像、核磁共振圖像、監(jiān)控視頻和衛(wèi)星遙感圖像等.但高分辨率的圖像對成像設(shè)備和環(huán)境因素要求很高.在實際生活中，人們往往獲取不到期望的高質(zhì)量圖片.因此，在軟件層面上圖像超分辨率重建技術(shù)滿足了這樣的需求［1-3］.

圖像超分辨率重建技術(shù)需要為低分辨率圖像恢復(fù)出更多的紋理信息，也就是擁有更多高頻細節(jié).真實場景中的自然低分辨率圖像是通過相機鏡頭捕捉到的，經(jīng)過了復(fù)雜的退化過程，常常包含不少的噪聲信息，對圖像重建過程并無用處.并且由于其圖像也是高頻信息，可能會在重建過程中被放大，從而生成偽影降低圖像的重建質(zhì)量.如果將低分辨率圖像先進行去噪，然后再進行圖像的超分辨率重建，則會導(dǎo)致部分有用的高頻信息在去噪過程中被過濾丟失，尤其是一些紋理細節(jié)［4］.圖像的先驗信息被破壞，對后續(xù)的重建過程會有影響，使得圖像重建質(zhì)量一般.一些面向真實場景的圖像超分辨率重建算法都是基于模糊核估計，在考慮噪聲影響時只是添加一些人工合成的噪聲信息.因此本文主要的貢獻是：（1） 提出一個噪聲收集網(wǎng)絡(luò)用于收集圖像真實的噪聲分布信息，并能夠拓展到已有的算法模型中;（2） 提出一個新的的圖像超分辨率網(wǎng)絡(luò)模型，適用于含噪聲的低分辨率圖像重建.

2 相關(guān)工作

圖像超分辨率重建算法的出現(xiàn)最早可追溯到1960年.早期的傳統(tǒng)方法主要分為三大類：基于插值的方法、基于重建的方法以及基于學(xué)習的方法.基于插值的常見方法有雙三次插值、雙線性插值以及最鄰近插值等.先將低分辨率圖像放大到想要的尺寸，再將待插值的像素信息利用數(shù)學(xué)模型計算出來，獲得高分辨率圖像，運行速度快.但由于是線性運算，獲得的高分辨率圖像會出現(xiàn)局部平滑，效果一般.基于重建的方法主要基于頻率域和空間域，考慮圖像的先驗知識和退化過程進行建模，根據(jù)模型來逆向重建，經(jīng)典方法有最大后驗概率法［5］、迭代反投影法［6］以及凸集投影法［7］.基于學(xué)習的方法就不再人為定義圖像的先驗知識，通過低分辨率圖像和高分辨率圖像構(gòu)成的樣本數(shù)據(jù)學(xué)習映射關(guān)系來構(gòu)建模型，主要方法有領(lǐng)域嵌入法［8］、基于稀疏表示的算法［9］以及錨定鄰域回歸法［10］等.

隨著卷積神經(jīng)網(wǎng)絡(luò)（Convolution Neural Network， CNN）的蓬勃發(fā)展，2014年Dong等人首次提出了基于CNN的圖像超分辨率算法SRCNN［9］，網(wǎng)絡(luò)類型為端到端，效果比傳統(tǒng)算法更好.之后他們又提出了FSRCNN［12］，速度更快，復(fù)雜度更低，但使用在特征重建時的反卷積操作使得結(jié)果出現(xiàn)了棋盤格.針對這一問題，Shi等人在2016年提出采用亞像素卷積的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)［13］，但在網(wǎng)絡(luò)深度上具有局限性.同年Kim等人受殘差網(wǎng)絡(luò)的啟發(fā)提出了VDSR［14］，使用全局殘差大大加深了網(wǎng)絡(luò)結(jié)構(gòu).同年，Ledig等人提出了SRResNet［15］，將全局殘差與局部殘差相結(jié)合.NTIRE2017挑戰(zhàn)賽［16］中獲得超分辨率冠軍的EDSR算法［17］開創(chuàng)性地移除了批量歸一化. Tong等人在同年提出SRDenseNet［18］，使用了密集稠密連接.在2018年Zhang等人結(jié)合密集連接與殘差連接提出了RDN［19］，同年又提出了基于注意力機制的RCAN［20］，500層的網(wǎng)絡(luò)深度獲得了更好的重建效果.2019年基于反饋機制，Li等人提出了SRFBN［21］，訓(xùn)練策略采用課程學(xué)習.同年Muqeet等人提出HRAN［22］，使用了殘差注意力.2020年Hyun等人提出VarSR［23］，從一張低分辨率圖像中恢復(fù)出多張高分辨率圖像.2021年，Qiao等人提出基于傅里葉域注意力的網(wǎng)絡(luò)模型［24］，應(yīng)用于顯微鏡圖像，拓展了圖像超分辨率的應(yīng)用領(lǐng)域.

生成對抗網(wǎng)絡(luò)（Generative Adversarial Network， GAN）是由Goodfellow等人［25］在2014年提出的，使用兩個神經(jīng)網(wǎng)絡(luò)，分別為生成器和判別器，被廣泛應(yīng)用于圖像生成和語音生成等領(lǐng)域.Ledig等人在2017年提出了SRGAN［15］，這是第一次在圖像超分辨率領(lǐng)域使用GAN的網(wǎng)絡(luò)結(jié)構(gòu).2018年，Wang等人提出了改進后的ESRGAN［26］，提高模型訓(xùn)練的穩(wěn)定性.

圖像超分辨率算法在人工數(shù)據(jù)集上的性能已接近瓶頸，然而由于對圖像退化過程的簡化，大多數(shù)算法在真實圖像數(shù)據(jù)集上的表現(xiàn)不盡如人意，因此面向真實場景的超分辨率算法獲得了越來越多的關(guān)注.2018年Schocher等人提出了ZSSR［27］，僅利用圖像本身的內(nèi)部信息進行重建，是超分辨率重建領(lǐng)域首個基于CNN的無監(jiān)督學(xué)習算法.2019年Fritsche等人提出FSSR［28］，利用圖像中的低頻區(qū)域和高頻區(qū)域.2021年Wang等人提出DASR［29］，利用對比學(xué)習機制學(xué)習退化過程.

3 方 法

本文提出了一個基于生成對抗網(wǎng)絡(luò)與噪聲分布的圖像超分辨率算法模型，使用生成對抗的網(wǎng)絡(luò)設(shè)計結(jié)構(gòu)，在超分辨率重建網(wǎng)絡(luò)之前添加一個噪聲分布收集網(wǎng)絡(luò)（Noise Distribution Collection Network， NDCN），共同組成生成網(wǎng)絡(luò)部分，判別網(wǎng)絡(luò)使用U-Net網(wǎng)絡(luò)結(jié)構(gòu)，整體流程如圖1所示.首先使用NDCN網(wǎng)絡(luò)獲取輸入帶噪聲低分辨率圖像中的噪聲分布信息，然后再將其與低分辨率圖像一同輸入到圖像超分辨率重建網(wǎng)絡(luò)，重建出的圖片與噪聲分布信息一同輸入到判別網(wǎng)絡(luò).

3.1 NDCN網(wǎng)絡(luò)

Guo等人在2019年提出了CBDNet［30］用于真實噪聲圖像去噪.該網(wǎng)絡(luò)模型由兩部分組成，分別為噪聲估計子網(wǎng)絡(luò)和非盲去噪子網(wǎng)絡(luò).受益于其中噪聲估計子網(wǎng)絡(luò)的設(shè)計，本文提出了一個NDCN網(wǎng)絡(luò).CBDNet中噪聲估計子網(wǎng)絡(luò)的結(jié)構(gòu)非常簡單，使用了五層全卷積網(wǎng)絡(luò)，并且沒有池化操作和批量歸一化.為了能夠收集到更深層次的特征信息，更關(guān)注屬于高頻信息的噪聲，并且更加準確，本文使用編碼塊-解碼塊的網(wǎng)絡(luò)結(jié)構(gòu)和自注意力機制，另外使用跳躍連接使得深層特征與淺層特征可以實現(xiàn)多層次特征融合.第一層卷積后將特征輸入到網(wǎng)絡(luò)末端，由于自注意力模塊計算量較大，僅在編碼塊的末尾添加一個自注意力模塊.為了降低網(wǎng)絡(luò)模型的計算量，在編碼塊中進行降采樣操作，使用最大池化來使特征圖尺寸減少為原來的一半.之后在解碼塊中恢復(fù)特征圖尺寸，采用的是反卷積上采樣的方式，這樣便減少了全連接CNN中的計算開銷.

編碼塊由兩個卷積層和ReLU激活函數(shù)組成.卷積核大小設(shè)置為３×３，步長設(shè)置為１，特征圖尺度減小的同時增加通道數(shù)，解碼塊中的卷積核和編碼塊中設(shè)置相同.提取深層特征的同時壓縮通道數(shù)，最終NDCN網(wǎng)絡(luò)輸出與輸入尺寸相同的特征圖，其中包含有噪聲分布信息，并與含有噪聲的LR圖像一同輸入到重建網(wǎng)絡(luò)中，指導(dǎo)生成更好的圖像重建結(jié)果.

自注意力模塊可表示為：

Attention（Q，K，V）=Softmax（QKTdk）V（1）

其中，Q表示查詢向量矩陣;K表示鍵向量矩陣;V表示值向量矩陣;dk表示縮放因子.自注意力機制使用不同的參數(shù)矩陣對Q、K、V執(zhí)行多種線性變換，計算Q和K之間的相似性，重復(fù)多次后將結(jié)果拼接起來.

3.2 圖像超分辨率重建網(wǎng)絡(luò)

重建網(wǎng)絡(luò)使用經(jīng)典的密集連接和殘差連接的方式.在特征映射階段使用引入了混合注意力模塊（Mixed Attentions Module， MAM）的密集殘差注意力塊（Residual Dense Attention Block， RDAB）.混合注意力包括空間注意力和頻率通道注意力，實現(xiàn)對不同的特征信息進行有針對性地處理，在增強有用信息的同時，抑制無用信息.多個RDAB組成一個密集殘差注意力組（Residual Dense Attention Group， RDAG），其中用密集連接的方式將不同層級的特征圖按通道相加，結(jié)果輸入到下一個RDAG模塊中，在減少計算量的同時保證多層級網(wǎng)絡(luò)的特征復(fù)用.另外為了減少模型的參數(shù)量，在網(wǎng)絡(luò)中使用1×1的卷積，壓縮通道數(shù).

3.2.1 MAM模塊 在CNN中，通道之間的信息相似性導(dǎo)致存在冗余，并且直接使用全局平均池化處理會導(dǎo)致通道多樣性信息丟失，而空間注意力使網(wǎng)絡(luò)更注重高頻信息，在關(guān)鍵區(qū)域增強特征表達，因此本文在超分辨率重建網(wǎng)絡(luò)中使用多頻率通道注意力和空間注意力結(jié)合的MAM模塊，在通道中考慮不同位置空間關(guān)系的同時保持通道的多樣性信息.

多頻率通道注意力在FcaNet［31］中提出，在頻域中應(yīng)用全局平均池化，采用DCT變換多頻譜.二維DCT可見式（2），DCT將二維輸入變換到頻率域見式（3）.

φi，j=cosπhH12+icosπwW12+j（2）

fh，w=∑H-1i=0∑W-1j=0φi，jxi，js.t. h∈{0，1，…，H-1}，w∈{0，1，…，W-1}（3）

其中，cos（·）表示余弦基函數(shù)，不同的h、w產(chǎn)生不同的頻率組合;xi，j為輸入信號;fh，w為二維頻譜.

在多頻率通道注意力機制中，會計算出所有頻率分量的結(jié)果.在其中挑選出表現(xiàn)性能最優(yōu)的K個分量，K值可根據(jù)特征圖通道被劃分出的組數(shù)來設(shè)置.在通道數(shù)為C的特征圖輸入后，根據(jù)通道數(shù)劃分出n個子特征圖，分配到每個子特征圖中的通道數(shù)為C′=C/n，那么n個頻率組合為［F0，F(xiàn)1，...，F(xiàn)n-1］.根據(jù)式（2）計算得到相應(yīng)的頻率響應(yīng).多頻譜向量F即由這些頻率組合壓縮而成，可見式（4）.

F=compress（X）=concat（［F0，F(xiàn)1，...，F(xiàn)n-1］）（4）

其中，X表示特征圖;compress（·）表示壓縮操作;將H×W×C壓縮為1×1×C;concat表示向量串聯(lián).

最后使用全連接層和通道信息對多頻譜向量進行整合，使用Sigmoid激活函數(shù)計算注意力權(quán)重，可見式（5）.

fca（X）=σ（fc（F））Hscale（X）（5）

其中，fc（·）表示全連接層;σ（·）表示激活函數(shù);Hscale（·）表示按通道相乘.

在多頻譜通道注意力后加入空間注意力共同構(gòu)成MAM模塊，對特征自適應(yīng)性實現(xiàn)再校準，多響應(yīng)包含豐富信息的通道和空間特征，同時抑制不重要的通道和空間特征.

3.2.2 RDAB模塊 對于圖像超分辨率重建任務(wù)來說，目標圖像一般具有較少的高頻信息和較多的低頻信息.網(wǎng)絡(luò)模型要在此情況下重建出盡可能多的高頻信息，而低頻信息基本變化不大，因此可以使用全局殘差的方法.低頻信息直接映射到網(wǎng)絡(luò)末端，殘差學(xué)習部分使用高頻信息.

批歸一化處理（Batch Normalization， BN）可以加快模型收斂速度，同時一定程度緩解出現(xiàn)在深層網(wǎng)絡(luò)的“梯度彌散”，因此幾乎是卷積神經(jīng)網(wǎng)絡(luò)的標配處理技巧.但在圖像超分辨率重建過程中，BN層會歸一化圖像的色彩分布，使得對比度信息受損，從而影響圖像重建的質(zhì)量.另外BN層的計算會耗費大量資源，去掉后反而可以利用空間堆疊更多網(wǎng)絡(luò).因此本文中的殘差結(jié)構(gòu)同樣選擇去除BN層.殘差單元計算過程見式（6）.

fRU（x）=x+ReLU（Conv（ReLU（Conv（x））））（6）

其中，x表示輸入;ReLU表示激活函數(shù);Conv表示卷積.

RDAB模塊中包括殘差單元和MAM模塊.輸入的特征圖通過殘差單元學(xué)習高頻信息，同時使用短跳躍連接將特征圖輸入到Concat層.在Concat層中對特征圖和不同的殘差單元輸出結(jié)果進行通道拼接.使用該連接方式既能保留之前的輸出結(jié)果，又能復(fù)用在深層次網(wǎng)絡(luò)中學(xué)習的特征，提高了網(wǎng)絡(luò)的特征表達.在Concat層后使用1×1卷積核進行通道壓縮，再輸入到MAM模塊中計算通道和空間位置的相應(yīng)權(quán)重，使用殘差連接將RDAB模塊的輸入與MAM模塊的輸出相加，最終得到RDAB模塊的輸出.

3.2.3 RDAG結(jié)構(gòu) 為了構(gòu)建更深的殘差網(wǎng)絡(luò)，不同于對殘差網(wǎng)絡(luò)層直接進行堆疊，RDAG結(jié)構(gòu)使用了殘差內(nèi)嵌殘差的方式，更有利于模型訓(xùn)練［17］.短跳躍連接使得網(wǎng)絡(luò)可以直接映射跳過大量低頻信息，集中殘差學(xué)習高頻信息.用公式表達網(wǎng)絡(luò)中第m個RDAG可見式（7）.

Gm=HmGm-1=HmHm-1…H1G0…（7）

其中，Hm表示第m個RDAG的過程;Gm表示第m個RDAG的輸出;Gm-1表示第m個RDAG的輸入;G0表示淺層特征.

3.3 判別網(wǎng)絡(luò)

GAN網(wǎng)絡(luò)模型中使用的判別網(wǎng)絡(luò)為VGG19，在提取真實場景的圖像特征時表現(xiàn)一般.為了提高判別網(wǎng)絡(luò)的能力，本文選擇使用U-Net網(wǎng)絡(luò)作為判別網(wǎng)絡(luò)優(yōu)化模型性能，使得重建出的高分辨率圖像增強了細節(jié)信息.

U-Net網(wǎng)絡(luò)是編碼-解碼的架構(gòu).為了充分融合網(wǎng)絡(luò)的上下文信息，從解碼塊到編碼塊使用跳躍連接的方式，對不同尺寸的特征圖進行多層次的特征拼接，并且由全卷積層組成，可以處理任意形狀和大小的圖片.編碼塊的下采樣用最大池化的方式，使用了兩個卷積層再加一個最大池化層，每個卷積層后加一個激活函數(shù)，每次降采樣后使得通道數(shù)加倍.解碼塊對特征圖使用反卷積進行上采樣，得到更大分辨率的特征圖后拼接由編碼塊跳躍傳遞過來的特征圖，結(jié)合了全局信息和局部信息，融合了深層特征和淺層特征，獲得更多細節(jié)信息.由于重建出的高分辨率圖像與噪聲分布信息圖像的尺寸不同，使用了卷積層來調(diào)整大小為統(tǒng)一的32×32，融合后輸入到U-Net網(wǎng)絡(luò)中.

3.4 損失函數(shù)

3.4.1 內(nèi)容損失 對于圖像的像素損失和噪聲損失，均使用L1損失函數(shù).噪聲損失是通過噪聲分布信息和低分辨率圖像中的噪聲來計算，分別表示為式（8）和式（9）.計算損失時對低分辨率圖像使用高通濾波器，減少被低頻信息影響.

LG1=1m∑mi=1IiSR-IiHR1（8）

LGn=1m∑mi=1Ni-HIiLR1（9）

其中，m表示批處理圖像的大小;Ni表示第i個圖像的噪聲分布信息;H（·）表示高通濾波;IiLR表示第i個低分辨率圖像.

3.4.2 感知損失 感知損失注重的是特征層面，特征提取使用預(yù)訓(xùn)練好的VGG19網(wǎng)絡(luò).僅使用內(nèi)容損失，會使得最后獲得的圖像比較平滑，缺乏高頻細節(jié).感知損失可以彌補這個問題.其表達式如下.

LGp=1m∑mi=1VGGlIiSR-VGGlIiHR1（10）

其中，VGGl（·）表示VGG在第l層輸出的特征圖.

3.4.3 對抗損失 生成對抗網(wǎng)絡(luò)是非常具有開創(chuàng)性和應(yīng)用前景的網(wǎng)絡(luò)模型，但也存在著難以訓(xùn)練的弊端.過優(yōu)的判別網(wǎng)絡(luò)可能造成生成網(wǎng)絡(luò)的梯度消失，而差勁的判別網(wǎng)絡(luò)無法對生成網(wǎng)絡(luò)的訓(xùn)練進行有效指導(dǎo).因此對生成對抗網(wǎng)絡(luò)損失函數(shù)的優(yōu)化方案不斷涌現(xiàn).WGAN［32］引入了Wasserstein距離來量化生成樣本分布和真實樣本分布間的差距，定義見式（11）.

W（pr，pG）=infγ～Π（pr，pG）E（x，y）～γ［‖x-y‖］（11）

其中，x表示真實樣本;y表示生成樣本;pr表示真實樣本分布;pG表示生成樣本分布;Π（pr， pG）為pr與pG所有可能的聯(lián)合分布集合;‖x-y‖表示樣本間距離;E（x，y）～γ［·］表示期望值;inf表示下限;W（pr，pG）表示聯(lián)合分布集合中的期望值下限.

但該公式不能直接求解，需要滿足Lipschitz連續(xù)才能求解，因此近似表示為式（12）.

Wpr，pG=1Ksup‖f‖L≤KEx～pr［f（x）］-

Ey～pG［f（y）］（12）

其中，‖f‖L表示 Lipschitz 常數(shù);K表示一個非負的常數(shù);sup表示上限.

使用參數(shù)組w定義一系列函數(shù)，同時生成網(wǎng)絡(luò)與Ex～pr［f（x）］無關(guān)，因此可獲得生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)的損失函數(shù)分別為式（13）和式（14）.

LG=-Ey～pGfw（y）（13）

LD=Ey～pGfw（y）-Ex～prfw（x）（14）

之后在使用Wasserstein距離的基礎(chǔ)上，WGAN_GP［33］又在判別網(wǎng)絡(luò)中引入了梯度約束項來幫助滿足Lipschitz連續(xù)，定義見式（15）.

SymbolQC@xD（x）2-12（15）

本文超分辨率重建網(wǎng)絡(luò)使用的對抗損失函數(shù)為

LGadv=-EISRG～pGDISRG（16）

在判別網(wǎng)絡(luò)中添加了梯度約束項的對抗損失函數(shù)為

LGadv=-EISRG～pGDISRGLDadv=

EISRG～pGDISRG-EIHRR～prDIHRR+

λEISRG～pGSymbolQC@ISRGDISRG2-12（17）

本文中超分辨率重建網(wǎng)絡(luò)的損失函數(shù)包括內(nèi)容損失、感知損失以及對抗損失三部分.損失函數(shù)表示為

LG=λALGadv+λCLG1+λNLGn+λPLGp（18）

其中，λA、λC、λN與λP為損失函數(shù)的權(quán)重系數(shù).在本文模型中，我們設(shè)置λA=5×10-2， λC=1×10-2，λN=1×10-2，λP=1.

4 實 驗

4.1 數(shù)據(jù)集

本文基于真實圖像的噪聲分布設(shè)計網(wǎng)絡(luò)模型，使用真實場景的圖像數(shù)據(jù)集DIV2K［14］和RealSR［34］作為訓(xùn)練數(shù)據(jù)集.DIV2K在NTIRE2017時被提出，在圖像超分辨率重建領(lǐng)域應(yīng)用非常廣泛，作為NTRIE和PIPM系列競賽的基準數(shù)據(jù)集，其中包含了1000張高質(zhì)量圖片，涵蓋了豐富的場景，有人物、風景以及生活場景等，分辨率達到2 K，有800張作為訓(xùn)練數(shù)據(jù)，100張作為驗證數(shù)據(jù)，100張作為測試數(shù)據(jù).RealSR數(shù)據(jù)集中的圖片采集自Canon 5D3和Nikon D810兩種相機，通過調(diào)整相機的焦距獲得具有不同尺度因子的低分辨率-高分辨率圖像對.數(shù)據(jù)集有3個版本，版本1有234個場景，204個用于訓(xùn)練，30個用于測試；版本2和版本3都是包含559個場景，其中459個用于訓(xùn)練，100個用于測試，不同在于版本2 的高質(zhì)量圖片和低質(zhì)量圖片有著相同的分辨率，版本3是不同的分辨率.測試數(shù)據(jù)集使用AIM2019測試集和RealSR測試集.AIM2019測試集數(shù)據(jù)來自于DIV2K，制作低分辨率圖像時使用了不同的退化過程，包括隨機的噪聲信息，與RealSR數(shù)據(jù)集相比有較高的噪聲強度.

4.2 評價指標

在圖像超分辨率重建領(lǐng)域，驗證模型有效性常見的評價指標是峰值信噪比（Peak Signal to Noise Ratio， PSNR）和結(jié)構(gòu)相似性（Structural Similarity， SSIM）［35］.模型性能越好，獲得的數(shù)值越高.而使用的評價指標學(xué)習感知圖像塊相似度（Learned Perceptual Image Patch Similarity， LPIPS）［36］則是數(shù)值越低，模型性能越好.

4.2.1 PSNR PSNR是信號最大功率和破壞性噪聲功率的比值.由于信號的動態(tài)范圍比較大，表示時使用對數(shù)分貝單位，其定義為

PSNRIHR，ISR=10×log102n-12MSEIHR，ISR（19）

其中，MSE表示兩個圖像的均方誤差;n表示像素的位深，一般取值為8，則像素的最大值為255.MSE越小，PSNR越大，則表明圖像相似度越高，在圖像超分辨重建領(lǐng)域則表明圖像重建質(zhì)量越好.PSNR高于38 dB時人眼便很難分辨圖像之間的差異，低于20 dB時圖像質(zhì)量便很差，不能被接受.

4.2.2 SSIM SSIM是從圖像組成的角度來估計兩個圖像之間的相似度.結(jié)構(gòu)信息、亮度和對比度組合起來共同反應(yīng)失真建模.給定圖像x和y，SSIM定義表示為

SSIM（x，y）=2μxμy+c12σxy+c2μ2x+μ2y+c1σ2x+σ2y+c2（20）

其中，μx表示x的平均值;σ2x表示x的方差;μx表示y的平均值;σ2y表示y的方差;σxy表示x和y的協(xié)方差;c1和c2表示常數(shù)，用來維持穩(wěn)定.SSIM值的范圍是［0，1］，值為1時，表示兩幅圖像完全相同.

4.2.3 LPIPS LPIPS用來度量生成圖像和真實圖像的特征差異，與人類的感知更加一致，需要將兩個圖像輸入到網(wǎng)絡(luò)中，計算方式表示為

dx，x0=∑l1HlWl∑h，wwl⊙y^lh w-y^l0h w22（21）

其中，x表示真實圖像;x0表示生成圖像;HlWl表示第l層特征圖大小;y^lh w和y^l0h w分別表示真實圖像和生成圖像第l層提取的特征;wl表示通道向量，在每個通道中計算L2獲得差異，最后計算加權(quán)平均值.

4.3 實驗設(shè)置

為獲得更多訓(xùn)練數(shù)據(jù)，對數(shù)據(jù)集進行數(shù)據(jù)增強，分別進行90°、180°以及270°旋轉(zhuǎn)，對旋轉(zhuǎn)后的圖像再做水平方向和垂直方向的鏡像反轉(zhuǎn).由于硬件設(shè)備有限，在訓(xùn)練前將圖像裁剪為32×32的圖像塊，重建后的圖像塊為128×128.

訓(xùn)練網(wǎng)絡(luò)的過程中，網(wǎng)絡(luò)參數(shù)的迭代優(yōu)化使用Adam算法，其中設(shè)置β1=0.9，β2=0.999，β=10-8，學(xué)習率初值設(shè)置為1×10-4，在訓(xùn)練過程中按周期減半.實驗過程使用到的硬件環(huán)境CPU為 Intel i5-10400F @2.90 GHz，32 G的計算內(nèi)存，GPU為NVIDIA GTX 1080Ti，系統(tǒng)環(huán)境為Windows 10，使用深度學(xué)習框架PyTorch和開發(fā)環(huán)境PyCharm.

4.4 方法對比

在圖像超分辨率重建任務(wù)中，4倍放大的重建難度最高，其效果也更能展現(xiàn)模型性能，由于篇幅原因，本文僅給出了不同方法在RealSR測試集和AIM2019測試集進行4倍放大重建的實驗結(jié)果.

由表1可看出，本文模型在含有噪聲信息的低分辨率圖像重建結(jié)果中具有最優(yōu)表現(xiàn).相比基于真實場景的無監(jiān)督網(wǎng)絡(luò)模型DASR，PSNR增長了0.66 dB，SSIM增長了0.0308，LPIPS降低了0.085，在各項指標中有著不同程度的提升.另外相比于經(jīng)典的SRGAN方法提升較大，PSNR增長了2.7，SSIM增長了0.0652，LPIPS降低了0.962.

由于AIM2019測試集包含較多的噪聲信息，在表1中可看到，較于RealSR測試集整體的指標表現(xiàn)均有下降，但本文模型的重建表現(xiàn)仍為最佳.相較于DASR，PSNR增長了0.44 dB，SSIM增長了0.0339，LPIPS降低了0.118.

除了使用PSNR、SSIM和LPIPS這樣的量化指標來驗證本文模型的效果，還可通過視覺效果圖來進行分析.本文給出了AIM2019測試集中“0846”、“0883”和“0898”的結(jié)果展示.從圖5中可以看出，低分辨率圖像包含較明顯的噪聲信息，SRCNN、SRGAN、ESRGAN、RCAN和ZSSR的重建效果一般，DASR稍好一點，但噪聲問題仍存在，無法較好抑制噪聲.而本文模型重建出的結(jié)果更清晰，視覺效果與高分辨率圖像更接近，較好地抑制了噪聲.

4.5 消融實驗

為驗證本文模型中NDCN網(wǎng)絡(luò)的優(yōu)勢，用經(jīng)典去噪方法中值濾波（Median filter）處理圖像后再使用本文的重建網(wǎng)絡(luò).另外對NDCN網(wǎng)絡(luò)和判別網(wǎng)絡(luò)兩部分進行消融實驗對比（結(jié)果如表2），去掉噪聲收集網(wǎng)絡(luò)，并使用傳統(tǒng)的 VGG19 判別網(wǎng)絡(luò)，然后再分別添加噪聲收集網(wǎng)絡(luò)和使用U-Net判別網(wǎng)絡(luò).

由表2可知，對低分辨率圖像先進行去噪再進行圖像超分辨率重建的方法性能較差，說明將圖像去噪與超分辨率重構(gòu)融合處理的思想具有一定的優(yōu)勢.另外本文網(wǎng)絡(luò)模型與不使用噪聲收集網(wǎng)絡(luò)和U-Net判別網(wǎng)絡(luò)的設(shè)置下相比，PSNR值增長了0.73 dB，SSIM增長了0.0208，LPIPS下降了0.135.在與分別不使用噪聲收集網(wǎng)絡(luò)和U-Net判別網(wǎng)絡(luò)的情況對比時，指標體現(xiàn)的效果均有不同程度的下降，說明噪聲收集網(wǎng)絡(luò)和U-Net判別網(wǎng)絡(luò)都對網(wǎng)絡(luò)模型的效果提升做出了貢獻.

5 結(jié) 論

本文基于存在噪聲信息的真實場景低分辨率圖像來展開圖像超分辨率研究.直接對含有噪聲信息的低分辨率圖像進行重建會影響圖像的重建質(zhì)量，而如果在重建前進行去噪處理，會使得對重建過程有用的高頻信息也被過濾掉，原有信息被破壞，提高了圖像重建的難度.因此本文提出了一種新的基于噪聲分布的真實圖像超分辨率算法模型，使用生成對抗網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計，通過引入NDCN網(wǎng)絡(luò)，能夠獲取低分辨率圖像的噪聲分布，用于指導(dǎo)生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)，并在此基礎(chǔ)上利用U型網(wǎng)絡(luò)提高判別網(wǎng)絡(luò)的判斷能力，在完成圖像重建任務(wù)的同時降低噪聲信息對圖像質(zhì)量的影響.

雖然本文網(wǎng)絡(luò)模型在包含噪聲信息的真實場景圖像超分辨率重建任務(wù)中有著不錯表現(xiàn)，但真實場景下的自然圖像超分辨率重建還面臨著很多問題.比如，現(xiàn)在用于超分辨率重建的真實場景數(shù)據(jù)集包含成對低分辨率和高分辨率圖像的數(shù)量并不多.未來可從兩個方面考慮該問題的解決方案.一方面是從擴充數(shù)據(jù)集的角度，考慮真實低分辨率圖像的多種退化過程，生成更貼近自然的低分辨率圖像；另一方面是從非成對數(shù)據(jù)集訓(xùn)練方法的角度，只需要任意真實場景的高分辨率圖像和低分辨率圖像就可進行訓(xùn)練.

參考文獻：

［1］ 李千， 趙逢禹. 融合多路徑與混合注意力的遙感圖像超分辨率重建［J/OL］. 小型微型計算機系統(tǒng)， 錄用定稿［2022-06-02］.https：//kns.cnki.net/kcms/detail/21.1106.TP.20220513.1247.014.html.

［2］ 夏英， 黃秉坤.采用改進YOLOv3的高分辨率遙感圖像目標檢測［J］.重慶郵電大學(xué)學(xué)報： 自然科學(xué)版， 2022， 34： 383.

［3］ 朱海琦， 李宏， 李定文， 等. 基于生成對抗網(wǎng)絡(luò)的單圖像超分辨率重建［J］. 吉林大學(xué)學(xué)報： 理學(xué)版，? 2021，? 59： 1491.

［4］ 張意， 闞子文， 邵志敏， 等.基于注意力機制和感知損失的遙感圖像去噪［J］. 四川大學(xué)學(xué)報： 自然科學(xué)版，? 2021， 58： 042001.

［5］ Schultz R R， Stevenson R L. Extraction of high-resolution frames from video sequences ［J］. IEEE T Image Process， 1996， 5： 996.

［6］ Irani M， Peleg S. Improving resolution by image registration ［J］. CVGIP： Graph Mod Image Process， 1991， 53： 231.

［7］ Elad M， Feuer A. Restoration of a single superresolution image from several blurred， noisy， and undersampled measured images ［J］. IEEE T Image Process， 1997， 6： 1646.

［8］ Chang H， Yeung D Y， Xiong Y. Super-resolution through neighbor embedding ［C］//Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2004.

［9］ Yang J， Wright J， Huang T S， et al. Image super-resolution via sparse representation ［J］. IEEE? T Image Process， 2010， 19： 2861.

［10］ Timofte R， De Smet V， Van Gool L. Anchored neighborhood regression for fast examplebased super-resolution ［C］//Proceedings of the IEEE International Conference on Computer Vision. Piscataway： IEEE Computer Society， 2013.

［11］ Dong C， Loy C C， He K， et al. Image super-resolution using deep convolutional networks ［J］. IEEE T Pattern Anal， 2015， 38： 295.

［12］ Dong C， Loy C C， Tang X. Accelerating the super-resolution convolutional neural network ［C］//Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2016.

［13］ Shi W， Caballero J， Huszár F， et al. Real-time single image and video super-resolution using an efficient sub-pixel convolutional neural network ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2016.

［14］ Kim J， Lee J K， Lee K M. Accurate image super-resolution using very deep convolutional networks ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2016.

［15］ Ledig C， Theis L， Huszár F， et al. Photo-realistic single image super-resolution using a generative adversarial network ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2017.

［16］ Agustsson E， Timofte R. Ntire 2017 challenge on single image super-resolution： Dataset and study ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2017.

［17］ Lim B， Son S， Kim H， et al. Enhanced deep residual networks for single image superresolution ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2017.

［18］ Tong T， Li G， Liu X， et al. Image super-resolution using dense skip connections ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2017.

［19］ Zhang Y， Tian Y， Kong Y， et al. Residual dense network for image super-resolution ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2018.

［20］ Zhang Y， Li K， Li K， et al. Image super-resolution using very deep residual channel attention networks ［C］//Proceedings of the European Conference on Computer Vision. Berlin， German： Springer， 2018.

［21］ Li Z， Yang J， Liu Z， et al. Feedback network for image super-resolution ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2019.

［22］ Muqeet A， Iqbal M T B， Bae S H. HRAN： Hybrid residual attention network for single image super-resolution ［J］. IEEE Access， 2019， 7： 137020.

［23］ Hyun S， Heo J P. VarSR： Variational super-resolution network for very low resolution images ［C］//Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2020.

［24］ Qiao C， Li D， Guo Y， et al. Evaluation and development of deep neural networks for image super-resolution in optical microscopy ［J］. Nat Methods， 2021， 18： 194.

［25］ Goodfellow I， Pouget-Abadie J， Mirza M， et al. Generative adversarial nets ［C］//Neural Information Processing Systems. Cambridge： MIT Press， 2014.

［26］ Wang X， Yu K， Wu S， et al. Esrgan： enhanced super-resolution generative adversarial networks ［C］ //Proceedings of the European Conference on Computer Vision. Berlin： Springer， 2018.

［27］ Shocher A， Cohen N， Irani M. “zero-shot” super-resolution using deep internal learning ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2018 .

［28］ Fritsche M， Gu S， Timofte R. Frequency separation for real-world super-resolution ［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshop. Piscataway： IEEE Computer Society， 2019.

［29］ Wang L， Wang Y， Dong X， et al. Unsupervised degradation representation learning for blind super-resolution ［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2021.

［30］ Guo S， Yan Z， Zhang K， et al. Toward convolutional blind denoising of real photographs ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2019.

［31］ Qin Z， Zhang P， Wu F， et al. Fcanet： frequency channel attention networks ［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2021.

［32］ Arjovsky M， Chintala S， Bottou L. Wasserstein generative adversarial networks ［C］//Proceedings of the International Conference on Machine Learning. New York： PMLR， 2017.

［33］ Gulrajani I， Ahmed F， Arjovsky M， et al. Improved training of wasserstein GANs ［J］. Neur IPS， 2017， 30： 5767.

［34］ Cai J， Zeng H， Yong H， et al. Toward real-world single image super-resolution： a new benchmark and a new model ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2019.

［35］ Wang Z， Bovik A C， Sheikh H R， et al. Image quality assessment： from error visibility to structural similarity ［J］. IEEE T Image Process， 2004， 13： 600.

［36］ Zhang R， Isola P， Efros A A， et al. The unreasonable effectiveness of deep features as a perceptual metric ［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE Computer Society， 2018.

引用本文格式：

中 文： 王曄， 孫志寬， 李征. 基于生成對抗網(wǎng)絡(luò)與噪聲分布的圖像超分辨率重建方法［J］. 四川大學(xué)學(xué)報： 自然科學(xué)版， 2023， 60： 032001.

英 文： Wang Y， Sun Z K， Li Z. An image super-resolution reconstruction method based on Generative Adversarial Network and noise distribution ［J］. J Sichuan Univ： Nat Sci Ed， 2023， 60： 032001.