麻旋 戴曙光

摘 要：圖像超分辨率重建算法的主要內(nèi)容是使用低分辨率的圖像信息生成高分辨率圖像。近年來，隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，出現(xiàn)了很多基于卷積神經(jīng)網(wǎng)絡(luò)與殘差網(wǎng)絡(luò)的超分辨率算法。為了解決這些算法參數(shù)數(shù)量過多、處理過程復(fù)雜、訓(xùn)練時(shí)間長等問題，結(jié)合現(xiàn)有殘差網(wǎng)絡(luò)模型和深度學(xué)習(xí)算法對其進(jìn)行改進(jìn)，包括調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)，減少需要學(xué)習(xí)的參數(shù)，以及去除批歸一化層，降低計(jì)算復(fù)雜度。改進(jìn)后的網(wǎng)絡(luò)模型能夠取得更好的效果，生成圖像的主觀和客觀評價(jià)有一定提高。

關(guān)鍵詞：圖像超分辨率；殘差網(wǎng)絡(luò)；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.11907/rjdk.172519

中圖分類號：TP312

文獻(xiàn)標(biāo)識碼：A 文章編號：1672-7800（2018）004-0091-03

Abstract：The main content of the image super-resolution reconstruction algorithm is to use low-resolution image information to generate high-resolution images. In recent years， with the development of deep learning and convolution neural network， there are many super-resolution algorithms based on convolution neural networks and residual networks appear. In order to solve the problem of excessive number of parameters， complex processing process and long training time in these algorithms， this article proposed an improved algorithm that combined with the existing residual network model and the deep-learning algorithm. The key improvements are adjusting the network structure， reducing the need to learn the parameters， removig the Batch-Normalization layer and reducing the computational complexity. The improved network model can achieve better results， and the subjective and objective evaluation of the generated images are improved.

Key Words：image super-resolution； residual network； deep learning； convolutional neural network

0 引言

圖像超分辨率重建技術(shù)（SR）是一種使用一幅或多幅低分辨率（LR）圖片生成高分辨率（HR）圖像的技術(shù)，使用該技術(shù)可以使低分辨率圖像在放大時(shí)能夠取得比常用的雙三次插值更好的效果。其中，使用單幅圖像進(jìn)行超分辨率重建（SISR）方法是研究的重點(diǎn)[1]。目前超分辨率技術(shù)實(shí)現(xiàn)方法主要有基于插值[3]、基于重構(gòu)[2]和基于學(xué)習(xí)[4]3種方法?；趯W(xué)習(xí)的方法又分為自學(xué)習(xí)和樣本學(xué)習(xí)方法，自學(xué)習(xí)使用輸入低分辨率圖像的內(nèi)部結(jié)構(gòu)相似性重建高分辨率圖像，樣本學(xué)習(xí)是通過對外部的大量圖像進(jìn)行學(xué)習(xí)，找出LR塊和HR塊的對應(yīng)關(guān)系，然后將這種對應(yīng)關(guān)系應(yīng)用到重建中，實(shí)現(xiàn)超分辨率重建。

在使用外部樣本的超分辨率算法中，Yang等[12]首先在大量訓(xùn)練圖像中找出LR/HR對，然后利用稀疏表達(dá)，得到一對共享參數(shù)且誤差最小的字典，在重建中利用訓(xùn)練得到的字典將LR圖像進(jìn)行非線性變換得到HR信息，然后與LR的雙三次插值相加，得到HR圖像。近年來，隨著深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的發(fā)展，Dong等[6]提出使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行LR/HR變換與訓(xùn)練的SRCNN算法，SRCNN算法是使用三層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行超分辨率重建的算法。因?yàn)榫W(wǎng)絡(luò)結(jié)構(gòu)過深會造成訓(xùn)練速度變慢，而且由于過擬合的影響，圖像質(zhì)量提升不明顯，所以只采用了三層網(wǎng)絡(luò)。

本文將卷積神經(jīng)網(wǎng)絡(luò)用于圖像超分辨率重建方法的優(yōu)化。受文獻(xiàn)[5]的啟發(fā)，借鑒深度殘差網(wǎng)絡(luò)模型修改殘差網(wǎng)絡(luò)結(jié)構(gòu)，減少不必要的處理。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法超分辨率重建效果更好。

1 殘差網(wǎng)絡(luò)設(shè)計(jì)與改進(jìn)

1.1 殘差網(wǎng)絡(luò)介紹

殘差網(wǎng)絡(luò)與普通卷積神經(jīng)網(wǎng)絡(luò)相比，主要是在輸入與輸出之間增加了一條通路，從而使網(wǎng)絡(luò)只需學(xué)習(xí)LR與HR的殘差，殘差網(wǎng)絡(luò)由此得名。如果畫出整個(gè)網(wǎng)絡(luò)輸入到輸出的通路，會發(fā)現(xiàn)殘差網(wǎng)絡(luò)相當(dāng)于多個(gè)不同深度的網(wǎng)絡(luò)總和，而其中深度網(wǎng)絡(luò)所占比例較小，所以能在一定程度上解決深度卷積網(wǎng)絡(luò)的梯度消失和過擬合問題。

基于殘差網(wǎng)絡(luò)的超分辨率重建模型SRResNet[5]結(jié)構(gòu)如圖1所示，LR圖像先經(jīng)過輸入的卷積層，進(jìn)入一個(gè)殘差網(wǎng)絡(luò)單元，每個(gè)單元內(nèi)有兩個(gè)卷積層，在層間使用批歸一化和ReLu激活函數(shù)，經(jīng)過多個(gè)殘差單元后進(jìn)入Dconv層，得到最終的SR圖像。

1.2 殘差網(wǎng)絡(luò)改進(jìn)

1.2.1 殘差單元結(jié)構(gòu)優(yōu)化

在SRResNet中，每個(gè)卷積層后都有一個(gè)批歸一化（Batch Normalization）[7]處理步驟。批歸一化處理是指使用每個(gè)訓(xùn)練批次數(shù)據(jù)的均值和方差對卷積后的數(shù)據(jù)進(jìn)行白化處理，然后加入平移和縮放參數(shù)，以增加網(wǎng)絡(luò)容納能力。使用批歸一化處理后的數(shù)據(jù)能夠使下一層神經(jīng)網(wǎng)絡(luò)更好地學(xué)習(xí)，一定程度避免了梯度彌散現(xiàn)象，在深度網(wǎng)絡(luò)中應(yīng)用較多。

批歸一化在基于卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用上很成功，效果改善明顯，但在超分辨率應(yīng)用中使用批歸一化效果很差[8]。這是因?yàn)榕鷼w一化處理在一定程度上破壞了圖像空間信息，使后面網(wǎng)絡(luò)需要學(xué)習(xí)的參數(shù)更多，導(dǎo)致最終結(jié)果更差，抵消了深度網(wǎng)絡(luò)帶來的增益，所以在改進(jìn)網(wǎng)絡(luò)的設(shè)計(jì)中，將BN層去除。由于去除BN層會導(dǎo)致深度網(wǎng)絡(luò)出現(xiàn)梯度彌散現(xiàn)象，所以在深度支路上的殘差網(wǎng)絡(luò)中加入池化層，從而減少參數(shù)，使網(wǎng)絡(luò)訓(xùn)練更有效率。

圖2中，圖2（a）是原SRResNet殘差單元，圖2（b）為去除BN層后的網(wǎng)絡(luò)單元，圖2（c）為增加的池化層殘差單元。

1.2.2 網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

圖3左側(cè)是一個(gè)典型的殘差網(wǎng)絡(luò)，f1、f2、f3分別是3個(gè)不同的殘差塊，離輸入端的距離由近到遠(yuǎn)。右側(cè)是其等效圖，可以看出在整個(gè)網(wǎng)絡(luò)中，層數(shù)較深網(wǎng)絡(luò)的支路不多，大部分是中等層數(shù)的網(wǎng)絡(luò)，而越靠近輸出端的網(wǎng)絡(luò)，在深度網(wǎng)絡(luò)中權(quán)重越大。由此可得，通過調(diào)節(jié)f1、f2、f3殘差網(wǎng)絡(luò)單元內(nèi)卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)分配，即可調(diào)節(jié)整個(gè)網(wǎng)絡(luò)模型中深度網(wǎng)絡(luò)的權(quán)重。

在SRResNet中，每個(gè)殘差網(wǎng)絡(luò)單元內(nèi)的卷積層數(shù)量，在改進(jìn)后的網(wǎng)絡(luò)中，網(wǎng)絡(luò)前部使用包含較多層的殘差網(wǎng)絡(luò)單元，越靠后使用的殘差網(wǎng)絡(luò)單元層數(shù)越少。該設(shè)計(jì)可以在使用相同數(shù)量參數(shù)的情況下使整個(gè)網(wǎng)絡(luò)包含的深度網(wǎng)絡(luò)支路更多，從而提高生成圖像的質(zhì)量。

圖4為改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖，殘差單元中的卷積神經(jīng)網(wǎng)絡(luò)層數(shù)按離輸入端遠(yuǎn)近分別為3層、2層、1層。根據(jù)之前的說明，可知調(diào)整后網(wǎng)絡(luò)的深度支路增加，從而使優(yōu)化后的網(wǎng)絡(luò)能夠更有效率地工作。同時(shí)，為了避免深度網(wǎng)絡(luò)中的梯度彌散和過擬合現(xiàn)象，在網(wǎng)絡(luò)層數(shù)較深的支路，也即在靠近輸出端的殘差網(wǎng)絡(luò)單元中加入池化層。

2 實(shí)驗(yàn)過程與結(jié)果分析

實(shí)驗(yàn)所用的計(jì)算機(jī)配置為 i7-4700 CPU， GTX880m GPU，16G RAM，操作系統(tǒng)為Ubuntu 16.04，軟件有TensorFlow、CDUA 8.0、OPENCV3.0等。

為了驗(yàn)證本文算法的重建效果，實(shí)驗(yàn)使用超分辨率重建常用的測試數(shù)據(jù)集Set5[10]、Set14[11]。為保證實(shí)驗(yàn)的有效性，訓(xùn)練數(shù)據(jù)集使用DIV2K數(shù)據(jù)集[9]。DIV2K數(shù)據(jù)集是新提出的一種為圖像重建使用的數(shù)據(jù)集，包含1 000張涵蓋各種類型2K分辨率的自然圖像，非常適合本文的算法驗(yàn)證。

2.1 訓(xùn)練過程

首先對數(shù)據(jù)集里的高清圖像進(jìn)行隨機(jī)截取，即在圖像內(nèi)隨機(jī)取若干個(gè)分辨率為384×384的圖像作為HR圖像y，然后對y進(jìn)行4倍下采樣得到96×96的LR圖像x，網(wǎng)絡(luò)模型通過學(xué)習(xí)x到y(tǒng)的映射得到其神經(jīng)網(wǎng)絡(luò)內(nèi)的權(quán)值參數(shù)。訓(xùn)練中使用Adam優(yōu)化算法使網(wǎng)絡(luò)能更快收斂，學(xué)習(xí)速率為0.000 1，迭代數(shù)目（epoch）為1 000。

在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中，反向傳播是一個(gè)重要步驟，該步驟需要使用損失函數(shù)對網(wǎng)絡(luò)效果進(jìn)行評判，從而調(diào)整神經(jīng)網(wǎng)絡(luò)中的權(quán)值。算法使用網(wǎng)絡(luò)均方誤差MSE作為損失函數(shù)。公式（1）中L（θ）是網(wǎng)絡(luò)的損失函數(shù)，Yi是LR圖像，F(xiàn)（Yi；θ）是經(jīng)過網(wǎng)絡(luò)后生成的SR圖像，Xi是原始HR圖像。

2.2 結(jié)果分析

實(shí)驗(yàn)結(jié)果使用峰值信噪比（PSNR）進(jìn)行評價(jià)，公式（2）為其表達(dá)式。由于卷積網(wǎng)絡(luò)的特性，經(jīng)過網(wǎng)絡(luò)的圖像會將邊緣去除一部分，在評價(jià)中，將原始HR圖像也剪除一部分，以方便計(jì)算PSNR。

實(shí)驗(yàn)中使用的對比算法為：雙三次插值（Bicubic） 、SRCNN[]、SRResNet[]。為保證實(shí)驗(yàn)的公平性，3種對比算法使用相同的訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集，在同一實(shí)驗(yàn)平臺上進(jìn)行計(jì)算。

表1為各測試數(shù)據(jù)集在不同算法下的平均PSNR，從表中可以看出，本算法相對于其它算法，PSNR有一定提高。

圖5中從左到右分別為原始HR圖片、Bicubic、SRCNN、SRResNet和本文提出算法處理后的圖片。從圖中可以看出，Bicubic的效果最差，質(zhì)量明顯低于其它算法，本文提出算法處理后的圖片比較清晰，在一些圖片上的處理效果超過了其它對比算法。

3 結(jié)語

通過分析殘差網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)，對基于殘差網(wǎng)絡(luò)的圖像超分辨率重建算法提出幾項(xiàng)改進(jìn)，對改進(jìn)后的算法進(jìn)行了一系列實(shí)驗(yàn)和測試工作，并和廣泛應(yīng)用的雙三次插值Bicubic算法、典型的基于卷積神經(jīng)網(wǎng)絡(luò)的SRCNN算法，以及改進(jìn)之前的算法SRResNet進(jìn)行了對比。從生成SR圖像的PSNR對比可以看出，改進(jìn)算法的重建效果更好，整體看起來更清晰。與SRResNet 算法相比，改進(jìn)后的算法需要學(xué)習(xí)的參數(shù)更少，而且在訓(xùn)練時(shí)間較少的情況下能達(dá)到更優(yōu)的結(jié)果。然而，在相同訓(xùn)練下，改進(jìn)后算法重建圖像所需的時(shí)間多于SRCNN，離實(shí)時(shí)處理圖像序列還有較大差距。因此，減少處理時(shí)間是下一步需要研究的方向。

參考文獻(xiàn)：

[1] 李欣，崔子冠，朱秀昌.超分辨率重建算法綜述[J].電視技術(shù)，2016，40（9）：1-9.

[2] 周靖鴻，周璀，朱建軍，等.基于非下采樣輪廓波變換遙感影像超分辨重建方法[J].光學(xué)學(xué)報(bào)，2015（1）：98-106.

[3] BTZ M， EICHENSEER A， SEILER J， et al. Hybrid super-resolution combining example-based single-image and interpolation-based multi-image reconstruction approaches[C].IEEE International Conference on Image Processing，2015：58-62.

[4] LIAN Q S， WEI Z. Image super-resolution algorithms based on sparse representation of classified image patches[J]. Acta Electronica Sinica，2012，40（5）：920-925.

[5] LEDIG C， THEIS L， HUSZR F， et al. Photo-realistic single image super-resolution using a generative adversarial network[J].Computer Vision and Pattern Recognition，2016：4681-4690.

[6] DONG C， CHEN C L， HE K， et al. Learning a deep convolutional network for image super-resolution[M]. Computer Vision-ECCV 2014. Springer International Publishing，2014：184-199.

[7] IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift[J]. Computer Science，2015：448-456.

[8] YANG Z， ZHANG K， LIANG Y， et al. Single image super-resolution with a parameter economic residual-like convolutional neural network[C].International Conference on Multimedia Modeling. Springer， Cham，2017：353-364.

[9] TIMOFTE R， AGUSTSSON E， GOOL L V， et al. Ntire 2017 challenge on single image super-resolution： methods and results[C]. In CVPR 2017 Workshops，2017.

[10] BEVILACQUA M， ROUMY A， GUILLEMOT C， et al. Low-complexity single image super-resolution based on nonnegative neighbor embedding[J]. Bmvc，2012：135.

[11] ZEYDE R， ELAD M， PROTTER M. On single image scale-up using sparse-representations[C].International Conference on Curves and Surfaces，Springer-Verlag，2010：711-730.

[12] YANG J， WRIGHT J， HUANG T， et al. Image super-resolution as sparse representation of raw image patches[C].Computer Vision and Pattern Recognition. IEEE Conference on，2008：1-8.

（責(zé)任編輯：黃 ?。?/p>