摘要：深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的重要分支，近年來，受到了國內(nèi)外研究者的廣泛關(guān)注和青睞。超分辨率是計(jì)算機(jī)視覺領(lǐng)域中的經(jīng)典應(yīng)用，目標(biāo)是通過觀測到的低分辨率圖像重建出對應(yīng)的高分辨率圖像。該文簡單闡述了超分辨率的原理，簡單介紹了傳統(tǒng)的圖像超分辨率和基于深度學(xué)習(xí)的圖像超分辨率重建方法。而且簡述了超分辨率常用的評價(jià)指標(biāo)，最后進(jìn)行了總結(jié)。將深度學(xué)習(xí)思想結(jié)合到圖像超分辨率重建工作中，取得了較好的圖像重建精度。

關(guān)鍵詞：深度學(xué)習(xí);超分辨率;重建

中圖分類號：TP3 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2020）29-0191-02

超分辨率重建技術(shù)在軍事、公共安全、衛(wèi)星圖像遙感、視頻復(fù)原和醫(yī)學(xué)影像等領(lǐng)域都有著非常重要的研究價(jià)值。超分辨率圖像主要分為兩種情況：一種是使用單幅圖像來重建出高分辨率的圖像;另一種是通過多幅圖像來重建出高分辨率圖像。單幅圖像的超分辨率重建是一個逆問題，即對于一個低分辨率圖像，可能存在許多不同的高分辨率圖像，因此通常在求解高分辨率圖像時(shí)會增加一些先驗(yàn)信息進(jìn)行規(guī)范化約束。在傳統(tǒng)的方法中，先驗(yàn)信息可以通過若十成對出現(xiàn)的低一高分辨率圖像中學(xué)習(xí)到。而基于深度學(xué)習(xí)的圖像超分辨率圖像重建通過神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的端到端的映射函數(shù)。深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用到圖像超分辨率重建中，它可以從大量數(shù)據(jù)中學(xué)習(xí)到有用的特征表示，從而有效提升圖像的重建效果。

1 傳統(tǒng)的圖像超分辨率重建技術(shù)介紹

1）基于插值的圖像超分辨率重建

對于一幅圖像，通過某個點(diǎn)周圍若十已知點(diǎn)的值，以及周圍的點(diǎn)和該點(diǎn)之間的位置關(guān)系，根據(jù)公式，可以算出該點(diǎn)的值，這就是所謂的插值法。在圖像處理中最常用的插值算法有：最近鄰法、雙線性插值法和三次插值法等。

2）基于機(jī)器學(xué)習(xí)的圖像超分辨率重建

基于機(jī)器學(xué)習(xí)的圖像超分辨重建方法主要有：鄰域嵌入、支持向量回歸、稀疏表示方法等。

3）基于多幅圖像的圖像超分辨率重建

多幅圖像重建的核心思想是：通過時(shí)間帶寬來換取空間分辨率，也就是說，當(dāng)無法得到一張超高分辨率的圖像時(shí)，可以通過多次提取相鄰的幾幀圖像，然后將這幾幀圖像組合成一張高分辨率的圖像。

2 基于深度學(xué)習(xí)的圖像超分辨率重建技術(shù)介紹

對于深度學(xué)習(xí)方法來說，它可以通過多層的非線性結(jié)構(gòu)進(jìn)行變換，學(xué)習(xí)到數(shù)據(jù)的高層語義特征，從而對數(shù)據(jù)進(jìn)行合理有效的預(yù)測和分析。

常見的基于深度學(xué)習(xí)方法的超分辨率重建技術(shù)概述.

1）SRCNN

SRCNN（Super-Resolution Convolutional Neural Network）[1]是深度學(xué)習(xí)應(yīng)用到圖像超分辨率重建上的開山之作。首先，輸入一張低分辨率圖像，然后使用插值的方法把圖像放大到目標(biāo)尺寸，最后實(shí)現(xiàn)端到端的一種映射關(guān)系。該映射表示為一個深卷積神經(jīng)網(wǎng)絡(luò)（CNN），它以低分辨率圖像為輸入，輸出高分辨率圖像。進(jìn)一步證明了傳統(tǒng)的稀疏編碼超分辨率方法也可以看作是一個深度卷積網(wǎng)絡(luò)。但不同于傳統(tǒng)的方法去單獨(dú)處理每個組件，該方法可以聯(lián)合優(yōu)化所有層。網(wǎng)絡(luò)結(jié)構(gòu)如下圖1所示：

FSRCNN[2]是在SRCNN的基礎(chǔ)上進(jìn)行改進(jìn)。針對SRCNN參數(shù)過多，網(wǎng)絡(luò)臃腫等問題，提出了FSRCNN，首先，并不是將三次插值后的圖像當(dāng)作輸入，而是直接將低分辨率圖像輸入到網(wǎng)絡(luò)中，最后選用反卷積的方式進(jìn)行放大。在映射層也做了改進(jìn)，先收縮再將其復(fù)原，共享其中的映射層，如果需要訓(xùn)練不同的模型尺寸，最后僅需要微調(diào)最后的反卷積層。網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

3）VDSR

VDSRc3]提出了一種高精度的單幅圖像超分辨方法，受VGG-net的體積網(wǎng)絡(luò)來進(jìn)行圖像分類啟發(fā)，使用了一個非常深的卷積網(wǎng)絡(luò)。增加網(wǎng)絡(luò)深度表明在準(zhǔn)確性方面有顯著提高。最終的模型使用了20個權(quán)重層。通過在深度網(wǎng)絡(luò)結(jié)構(gòu)中多次串聯(lián)小濾波器，有效地利用了大圖像區(qū)域的上下文信息。然而，對于非常深的網(wǎng)絡(luò)，收斂速度成為訓(xùn)練中的一個關(guān)鍵問題。提出一個簡單而有效的訓(xùn)練程序。學(xué)習(xí)殘差，并使用非常高的學(xué)習(xí)率，可以通過自適應(yīng)梯度剪裁。提出的方法比現(xiàn)有的在精度上有更好的表現(xiàn)，并且結(jié)果在視覺上的改進(jìn)是顯而易見的。網(wǎng)絡(luò)結(jié)構(gòu)圖如下圖3所示。

4）LapSRN

本文[4]是通過將低分辨率圖像直接作為輸入到網(wǎng)絡(luò)中，通過逐級放大，在減少計(jì)算量的同時(shí)，也有效地提高了精度。并且提出了一種魯棒的損失函數(shù)，即：Charbonnier loss function。通過循環(huán)的方式進(jìn)行參數(shù)共享。網(wǎng)絡(luò)結(jié)構(gòu)圖如下圖4所示。

3 圖像超分辨率重建的評價(jià)指標(biāo)

對于超分辨率圖像重建中，比較常用的評價(jià)指標(biāo)：峰值信噪比PSNR（ Peak SingaHo-Noise Ratio）和結(jié)構(gòu)相似性SSIM（ Strunture Similarity Index）。這兩個指標(biāo)的值越高，說明重建效果越好，和標(biāo)準(zhǔn)越接近。具體公式如下所示。

4 總結(jié)和展望

深度學(xué)習(xí)在圖像超分辨率重建工作中起到了很關(guān)鍵的作用，涌現(xiàn)出了大量的優(yōu)秀工作，無論是網(wǎng)絡(luò)的加深，還是在最后幾層擴(kuò)大感受野，都對重建工作注入了新鮮的方法。通過將深度學(xué)習(xí)的方法應(yīng)用圖像超分辨率重建任務(wù)中，取得了較好的重建精度。

參考文獻(xiàn)：

[1] Dong C，Loy C C，He K，et al.Image Super-Resolution UsingDeep Convolutional Networks[J]. Pattern Analysis&MachineIntelligence lEEE Transactions on， 2016， 38（2）：295-307.

[2] Dong C，Loy C C，Tang X.Accelerating the Super-Resolu-tion Convolutional Neural Network[J]. Computer Vision - EC-CV 2016.

[3] Kim J，Lee J K，Lee K M.Accurate image super-resolution us-ing very deep convolutional networks[J]. 2016 IEEE Confer-ence on Computer Vision and Pattern Recognition （CVPR），2016：1646-1654.

[4] Lai W S，Huang J B，Ahuja N，et al.Fast and Accurate Image Super-Resolution with Deep Laplacian Pyramid Networks[J].lEEE Transactions on Pattern Analysis and Machine Intelli-gence， 2017.

[通聯(lián)編輯：代影]

作者簡介：李賽賽（1992-），男，河北邯鄲人，北方民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院計(jì)算機(jī)技術(shù)專業(yè)，碩士研究生，研究方向：圖形圖像與智能信息處理。