王詩言，曾 茜，周 田，吳華東

（重慶郵電大學(xué)通信與信息工程學(xué)院，重慶 400065）

0 概述

圖像處理技術(shù)快速發(fā)展，而人們對圖像質(zhì)量的要求也逐漸提高，如何獲取高質(zhì)量的圖像成為迫切需要解決的問題。單幅圖像超分辨率重建（Single Image Super-Resolution，SISR）指由低分辨率（Low-Resolution，LR）圖像恢復(fù)出高分辨率（High-Resolution，HR）圖像，該技術(shù)目前已被廣泛應(yīng)用于計算機(jī)視覺、醫(yī)學(xué)成像、衛(wèi)星圖像和視頻安全監(jiān)控等多個領(lǐng)域。

目前，圖像超分辨率重建方法主要有基于插值、基于重建和基于學(xué)習(xí)［1-2］三類。DONG 等人提出端到端卷積神經(jīng)網(wǎng)絡(luò)SRCNN 來學(xué)習(xí)LR 和HR 圖像之間的映射關(guān)系［3］。SRCNN 體現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）在特征提取和表示方面的優(yōu)越性，該網(wǎng)絡(luò)結(jié)構(gòu)可被看作是傳統(tǒng)稀疏編碼方法的擴(kuò)展。此后，DONG 等人又提出了快速超分辨率卷積神經(jīng)網(wǎng)絡(luò)FSRCNN［4］，通過在網(wǎng)絡(luò)末端使用反卷積層，有效地獲取了原始圖像中的高頻信息。隨著卷積神經(jīng)網(wǎng)絡(luò)深度的不斷增加，網(wǎng)絡(luò)訓(xùn)練的難度也越來越大。針對這一問題，HE 等人提出了殘差神經(jīng)網(wǎng)絡(luò)（Residual Neural Network，ResNet）［5］，通過引入殘差學(xué)習(xí)的思想加速網(wǎng)絡(luò)的收斂。在此基礎(chǔ)上，KIM 等人提出了深度卷積網(wǎng)絡(luò)VDSR［6］。通過對殘差學(xué)習(xí)的利用，該網(wǎng)絡(luò)使用了20個卷積層，有效增加了網(wǎng)絡(luò)深度。為減少網(wǎng)絡(luò)參數(shù)數(shù)量，KIM 等人進(jìn)一步提出了深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN）［7］，通過使用遞歸結(jié)構(gòu)，引入遞歸監(jiān)督和跳躍連接。為解決實時超分辨率重建問題，SHI 等人提出一種高效的亞像素卷積神經(jīng)網(wǎng)絡(luò)（Efficient Sub-Pixel Convolutional Neural Network，ESPCN）［8］，利用亞像素卷積的上采樣方式實時恢復(fù)HR 圖像。LEE 等人提出了增強(qiáng)深度殘差網(wǎng)絡(luò)（Enhanced Deep Residual Network，EDSR）［9］，刪除了批規(guī)范化（Batch Normalization，BN）操作，并大規(guī)模增加了每一層的輸出特性。通過設(shè)計有效的網(wǎng)絡(luò)結(jié)構(gòu)，卷積神經(jīng)網(wǎng)絡(luò)在圖像超分辨率重建中取得了優(yōu)于傳統(tǒng)方法的效果。

圖像非局部特性在傳統(tǒng)方法中得到了廣泛使用［10-11］，然而多數(shù)基于CNN 的超分辨率重建方法并沒有充分利用圖像固有的這一特征，并且集中于設(shè)計更深或更廣的網(wǎng)絡(luò)來學(xué)習(xí)更多的圖像特征，較少利用高階的特征統(tǒng)計量，而文獻(xiàn)［12］表明，圖像的高階特征比一階特征更具表征力。此外，多數(shù)基于CNN 的超分辨率重建方法只在單一尺度下提取圖像特征，忽略了不同尺度下的圖像細(xì)節(jié)信息。

針對上述問題，本文設(shè)計一種基于注意力機(jī)制和多尺度特征融合的網(wǎng)絡(luò)結(jié)構(gòu)。利用淺層特征提取模塊提取圖像原始特征，在注意力機(jī)制和多尺度特征融合模塊中，通過注意力機(jī)制對圖像的非局部特性和二階統(tǒng)計特征進(jìn)行融合，利用多尺度特征提取模塊獲取不同尺度下的圖像特征信息。在此基礎(chǔ)上，將提取到的深度特征通過重建模塊實現(xiàn)圖像重建。

1 相關(guān)工作

1.1 非局部先驗

圖像的非局部特征在傳統(tǒng)圖像重建領(lǐng)域中得到了廣泛使用，其基本原理是在整幅圖像中搜索相似的圖像塊，進(jìn)而利用這些相似圖像塊所提供的互補(bǔ)信息來進(jìn)行圖像重建。BUADES 等人提出一種基于圖像中所有像素的非局部平均操作來提高圖像去噪能力的方法［10］，對于某一個圖像塊，在整幅圖像范圍內(nèi)搜索與之相似的圖像塊，然后根據(jù)圖像塊之間的相似性對不同的圖像塊賦予不同的權(quán)值，加權(quán)平均后得到去噪圖像塊，即圖像非局部去噪方法。非局部思想是一種經(jīng)典的計算機(jī)視覺方法，其在神經(jīng)網(wǎng)絡(luò)中具有廣闊的應(yīng)用前景。WANG 等人提出的非局部神經(jīng)網(wǎng)絡(luò)（Non-Local Neural Networks，NLNN）［13］可以很好地捕捉到較遠(yuǎn)位置像素點之間的依賴關(guān)系，由此將非局部操作融入到用于視頻分類的非局部卷積神經(jīng)網(wǎng)絡(luò)中。

1.2 注意力機(jī)制

近年來，注意力機(jī)制被廣泛應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)。上文提到的的NLNN，也是注意力機(jī)制的一種應(yīng)用。HU 等人提出SENet［14］來學(xué)習(xí)信道間的相關(guān)性，通過網(wǎng)絡(luò)的全局損失函數(shù)自適應(yīng)地重新矯正通道之間的特征相應(yīng)強(qiáng)度，該網(wǎng)絡(luò)結(jié)構(gòu)在圖像分類方面較傳統(tǒng)方法取得了顯著的性能改進(jìn)。WOO等人設(shè)計的提卷積塊注意模塊（Convolutional Block Attention Module，CBAM）［15］結(jié)合了空間和通道的注意力機(jī)制，相比于SENet 只關(guān)注通道的注意力機(jī)制可以取得更好的效果。ZHANG 等人將注意力機(jī)制引入超分辨率重建任務(wù)中［16］，通過注意力機(jī)制來區(qū)別對待不同的通道，從而提高網(wǎng)絡(luò)的表征能力。然而，這些網(wǎng)絡(luò)只關(guān)注了圖像的一階特征（如全局平均池化），忽略了圖像的高階信息特征。DAI 等人證明二階統(tǒng)計量能夠更好地捕捉圖像特征［17］，并設(shè)計一個二階注意力網(wǎng)絡(luò)（Second-Order Attention Network，SAN），通過考慮比一階更高的特征統(tǒng)計量來自適應(yīng)地利用信道特征。

2 融合注意力機(jī)制與多尺度特征的網(wǎng)絡(luò)結(jié)構(gòu)

如圖1 所示，本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)包含淺層特征提?。⊿hallow Feature extraction，SF）、深度特征提取（Deep Feature extraction，DF）和重建（Reconstruction，RE）3 個模塊。

圖1 本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 The network structure designed in this paper

2.1 淺層特征提取模塊

令I(lǐng)LR表示輸入圖像，IHR表示輸出圖像。首先通過一個3×3 的卷積核來提取淺層特征FSF：

其中，HSF(·)表示卷積操作，WSF表示濾波器權(quán)重項，BSF為偏置項，f表示激活函數(shù)。本文采用ReLU 作為激活函數(shù)，其數(shù)學(xué)表達(dá)式為：

2.2 深度特征提取模塊

在深度特征提取模塊，提取到的淺層特征FSF經(jīng)過注意力機(jī)制與多尺度特征融合模塊（AMMS）進(jìn)行深度特征提取：

其中，HAMMS(·) 表示AMMS 模塊操作。對于AMMS模塊，由圖1 可見，其由兩個多尺度特征融合模塊（MSFF）和一個LS_AM 模塊構(gòu)成。下文將對這兩個模塊分別進(jìn)行介紹。

2.2.1 MSFF 模塊

在圖像超分辨率重建中，需要在不同的特征尺度上進(jìn)行特征信息提取。然而目前多數(shù)算法都只使用單一的卷積核進(jìn)行特征提取。但實際上，圖像的特征信息通常是不同尺度的，單一的卷積核只能提取單一的尺度特征，這樣就會導(dǎo)致丟失多尺度下完整的特征信息。受GoogleNet 結(jié)構(gòu)的啟發(fā)，本文通過一個多尺度特征融合模塊（MSFF）來提取不同尺度的信息特征，以更好地獲取圖像的結(jié)構(gòu)信息。如圖2所示，MSFF 模塊主要由多尺度特征提取層、特征融合層和降維層3 個部分組成。

圖2 多尺度特征融合模塊結(jié)構(gòu)Fig.2 Structure of multi-scale feature fusion module

對于多尺度特征提取層，采用3 個尺度的卷積核，分別為1×1、3×3、5×5。其中，1×1 的卷積核能夠保留上一層的特征并與其他尺度的特征融合，使得網(wǎng)絡(luò)包含與淺層特征相關(guān)的信息特征。在每個卷積核后采用一個非線性層提高模塊的非線性映射能力。用F0表示多尺度特征融合模塊中的輸入特征，則經(jīng)過該多尺度特征提取后的特征表示為：

其中，W1i和B1i分別表示第i個卷積核的權(quán)重和偏置項，*表示卷積操作，σ1i表示ReLU 非線性操作，數(shù)學(xué)表達(dá)式同式（2）。

在提取到多尺度特征之后，需要對其進(jìn)行特征融合。此處采用Concatenation 層將各個尺度下的特征圖進(jìn)行疊加，如圖3 所示。

圖3 Concatenation 層融合原理Fig.3 Fusion principle of Concatenation layer

假設(shè)上述多尺度特征提取層包含m個卷積層，則該多尺度特征融合層表示為：

降維層的主要作用是降低Concatenation 層的維度，其包含一個1×1 的卷積核。1×1 的卷積核可保持Concatenation 層的所有特征信息，同時由于其通道數(shù)較少，因此卷積得到的多尺度特征圖也會減少。多尺度特征融合模塊的數(shù)學(xué)表達(dá)式如下：

其中，W2和B2分別表示降維層中卷積核的權(quán)重和偏置項。

2.2.2 LS_AM 模塊

LS_AM 模塊結(jié)構(gòu)如圖4 所示，其由M個注意力機(jī)制模塊（AM）和長跳躍連接（Long Skip Connection，LSC）構(gòu)成。

圖4 LS_AM 模塊結(jié)構(gòu)Fig.4 Structure of LS_AM module

分別用FAM和FMAM表示LS_AM 模塊的輸入和輸出特征：

其中，HLS_AM（）表示基于M個AM 模塊和長跳躍連接的LS_AM 模塊操作，HM_AM（）表示M個AM 模塊操作，WLSC（）表示長跳躍連接操作。LSC 不僅能夠穩(wěn)定網(wǎng)絡(luò)訓(xùn)練，而且其通過傳遞低頻圖像也豐富了低頻信息特征。

注意力機(jī)制模塊結(jié)構(gòu)如圖5 所示，其通過兩種方式提取圖像特征，即非局部提?。∟L）和二階特征提?。⊿O），最后將提取到的特征進(jìn)行融合，作為每一個注意力單元模塊的輸出。

圖5 注意力機(jī)制模塊結(jié)構(gòu)Fig.5 Structure of diagram of attention mechanism module

以Fg-1和Fg分別表示第M個注意力模塊中的輸入和輸出特征圖。非局部和二階特征提取操作是同步進(jìn)行的，對于非局部特征提取分支，有：

其中，HConv_NL(·)表示非局部特征提取操作，F(xiàn)NL表示經(jīng)過該操作得到的特征圖。對于二階特征提取分支，有：

其中，HConv_SO(·) 表示二階特征提取操作，F(xiàn)SO表示經(jīng)過該操作得到的特征圖。

為充分利用非局部和二階特征信息，采用Concatenation 層進(jìn)行特征融合（其原理同2.2.1 節(jié)），則非局部和二階特征融合表示為：

其中，Hff()· 表示Concatenation 操作。此外，一個1×1的卷積層被用于Concatenation 層的后面，這種卷積操作有利于減少特征圖的參數(shù)量，以此減少計算損失。

通過注意力機(jī)制模塊得到的特征Fg可以表示為：

其中，HAM(·)表示基于非局部及二階特征融合的注意力模塊操作。通過特征融合操作，非局部和二階特征提取是同步執(zhí)行的，因此，可以有效地利用圖像的固有屬性特征提高網(wǎng)絡(luò)的性能。

1）非局部操作

圖像的非局部特性作為先驗信息，可以提供自然圖像中豐富的結(jié)構(gòu)信息。本文利用圖像的自相似性，將非局部操作合并到CNN 中計算整個圖像的特征相關(guān)性。非局部操作過程如圖6 所示。

圖6 非局部操作過程Fig.6 Process of non-local operation

深度神經(jīng)網(wǎng)絡(luò)中的非局部操作可以表示為：

其中，x表示輸入圖像，y表示同x大小一樣的輸出圖像，i代表輸出特征位置索引，j代表全圖中所有可能位置的枚舉索引，函數(shù)f(xi，xj)用來計算xi和xj的相關(guān)性，函數(shù)g(xj)是對特征xi的變換函數(shù)，用來計算輸入圖像在位置j的表示。文獻(xiàn)［11］中詳細(xì)討論了f和g的幾種形式，此處考慮g（xj）為線性的情況，即：

其中，wg是一個可學(xué)習(xí)的權(quán)重矩陣。本文考慮f為embedded Gaussian，即：

其中，Wθ、Wφ表示可學(xué)習(xí)的權(quán)重項。非局部模塊計算公式為：

其中，Wz表示可學(xué)習(xí)得到的參數(shù)矩陣，+xi表示殘差連接，yi表示非局部算子。該非局部操作可以看作是一個殘差模塊，其能夠在不影響原始網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，方便地嵌入到網(wǎng)絡(luò)框架中，與網(wǎng)絡(luò)一起訓(xùn)練。因此，整個非局部操作與網(wǎng)絡(luò)一起通過反向傳播進(jìn)行參數(shù)更新，不會對反向傳播訓(xùn)練產(chǎn)生影響。

2）二階特征提取

文獻(xiàn)［12］表明，高階特征比傳統(tǒng)的一階特征包含更多的統(tǒng)計特征，而傳統(tǒng)的卷積和全局平均池化操作只能提取圖像的一階特征。因此，受文獻(xiàn)［15］的啟發(fā)，本文通過全局協(xié)方差池化（Global Covariance Pooling，GCP）操作來提取圖像的二階統(tǒng)計特征，如圖7 所示。

圖7 二階特征提取操作過程Fig.7 Process of second-order feature extraction operation

首先通過GCP 濾波器來提取二階統(tǒng)計特征，則第C維的特征統(tǒng)計量為：

其中，HGCP(·) 表示全局協(xié)方差池化操作，yC表示輸入特征，yC(i) 表示在位置i處的輸入特征。為充分利用特征間的相關(guān)性，借鑒文獻(xiàn)［14］方法，本文使用門函數(shù)來更好地提取特征：

其中，WU和WD是可學(xué)習(xí)得到的權(quán)重矩陣。此處WU、WD被分別設(shè)置為=4、C=64，f(·)、δ(·) 分別為Sigmoid 和ReLU 函數(shù)。利用Sigmoid 函數(shù)將其縮放到0 到1 之間，對特征圖進(jìn)行重新校準(zhǔn)，將校準(zhǔn)后的特征圖與原來每個通道的特征圖的值對應(yīng)相乘。最后，得到的信道特征表示為：

其中，sC和xC分別表示尺度因子和第C維的信道特征。

2.3 重建模塊

在重建模塊，得到的深度特征首先經(jīng)過上采樣模塊，如式（19）所示：

其中，HUP(·) 表示上采樣操作。對于上采樣操作的選擇，有基于插值、基于反卷積、基于亞像素卷積等操作，但是用以上方法訓(xùn)練網(wǎng)絡(luò)需要固定縮放因子，即一個放大因子對應(yīng)訓(xùn)練一個模型。HU 等人提出的Meta-SR 模型［18］，通過輸入一系列與縮放因子及坐標(biāo)相關(guān)的向量，可動態(tài)地預(yù)測不同數(shù)量的卷積濾波器權(quán)重，其根據(jù)縮放因子和坐標(biāo)偏移量因子求出相應(yīng)的映射參數(shù)，通過卷積便可獲得最終的超分辨率圖像。因此，本文使用該模型中的Meta-Upscale模塊替代傳統(tǒng)上采樣操作，利用單一模型將特征圖放大任意縮放因子。

將得到的上采樣特征FUP經(jīng)過一個卷積層進(jìn)行重建，得到最后的超分辨率重建圖像：其中，HRE(·)表示重建操作，其通過卷積便可獲得最終的超分辨率圖像，HNet(·)表示本文設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)。

2.4 損失函數(shù)

本文采用均方誤差（Mean Square Error，MSE）作為損失函數(shù)，則網(wǎng)絡(luò)優(yōu)化目標(biāo)表示為：

其中，Θ表示網(wǎng)絡(luò)中所有的參數(shù)表示通過本文網(wǎng)絡(luò)結(jié)構(gòu)得到的高分辨率圖像分別表示第i對重建圖像和原始的高分辨率圖像。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集

本文采用Timofte 數(shù)據(jù)集［19］中的91 幅圖像以及BSD 數(shù)據(jù)集中的BSD200［19］作為訓(xùn)練集。在Set5［20］、Set14［21］和BSD100［19］標(biāo)準(zhǔn)數(shù)據(jù)集上進(jìn)行測試，這三個數(shù)據(jù)集通常用于圖像超分辨率重建。其中：Set5 數(shù)據(jù)集包含動植物圖像；Set14 包含動植物和景物圖像，比Set5 具有更多的細(xì)節(jié)信息；BSD100 數(shù)據(jù)集包含城市建筑圖像，其邊緣信息多，重構(gòu)難度也較大。為與其他重建方法進(jìn)行比較，本文采用PSNR和SSIM 指標(biāo)來評價重建質(zhì)量。沿用現(xiàn)有的方法，只對YCbCr 顏色空間中的亮度通道（Y 通道）進(jìn)行超分辨重建，為便于顯示，另外兩個色度通道使用與其他方法相類似的雙三次插值算法。

3.2 訓(xùn)練細(xì)節(jié)

本文通過最小化損失函數(shù)訓(xùn)練網(wǎng)絡(luò)，以ADAM optimizer［22］作為優(yōu)化方法，其中，β1=0.9，β2=0.99，ε=10-8。初始學(xué)習(xí)率設(shè)為10-4，然后每迭代2×105次，學(xué)習(xí)率減少一半。本文提出的網(wǎng)絡(luò)模型是在NVIDIA GTX 1080 GPU 上使用Tensorflow 框架實現(xiàn)的。對于非局部和二階特征操作，選取1×1 的卷積核進(jìn)行卷積操作，同時用零填充特征圖的邊界，以保持特征圖的大小。對于上述操作以外的卷積核，設(shè)定其大小為3×3，濾波器個數(shù)C=64。設(shè)置注意力機(jī)制模塊的個數(shù)M=20。

3.3 網(wǎng)絡(luò)結(jié)構(gòu)

為研究注意力機(jī)制（包含非局部及二階特征提取操作）以及多尺度特征融合模塊對網(wǎng)絡(luò)結(jié)構(gòu)的影響，本文引入消融學(xué)習(xí)的思想，以尺度因子factor=4為例，在Set5 數(shù)據(jù)集上比較以上模塊對PSNR 平均值的影響。由表1 可以看出，同時使用注意力機(jī)制以及多尺度特征融合的模型PSNR 值最高。

表1 Set5 上不同模塊構(gòu)成模型的PSNR 平均值Table 1 Average PSNR for the models with different module compositions on Set5dB

3.4 實驗比較

將本文提出的網(wǎng)絡(luò)結(jié)構(gòu)與Bicubic、SRCNN［3］、SCN［23］、LapSRN［24］4 種圖像超分辨率重建方法進(jìn)行比較。SRCNN 模型具有三層卷積結(jié)構(gòu)，其將一個低分辨率圖像通過雙三次插值放大到目標(biāo)大小作為網(wǎng)絡(luò)輸入。SCN 模型在SRCNN 三層結(jié)構(gòu)的基礎(chǔ)上結(jié)合了傳統(tǒng)的稀疏編碼思想，該模型具有五層卷積結(jié)構(gòu)。LapSRN 模型在網(wǎng)絡(luò)中融入了拉普拉斯金字塔模型的思想，該模型具有24層網(wǎng)絡(luò)結(jié)構(gòu)。Bicubic方法使用Matlab interp2函數(shù)實現(xiàn)，其他對比方法的實現(xiàn)均來自作者的公開源代碼。表2 給出了Set5、Set14、BSD100 測試集上不同方法的PSNR 平均值。表3 給出了Set5、Set14、BSD100測試集上不同方法的SSIM 平均值，其中加粗?jǐn)?shù)據(jù)為PSNR、SSIM 值最好的結(jié)果。

表2 Set5、Set14 和BSD100 上不同方法的PSNR 平均值Table 2 Average PSNR for different methods on Set5,Set14 and BSD100dB

表3 Set5、Set14 和BSD100 上不同方法的SSIM 平均值Table 3 Average SSIM for different algorithms on Set5,Set14 and BSD100

由表2 和表3 可以看出：當(dāng)放大因子為2 時，本文方法在每個測試數(shù)據(jù)集上PSNR 和SSIM 的平均值都高于其他方法；當(dāng)因子分別為3 或4 時，可以得到相同的結(jié)果，這說明本文方法設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)性能相較于其他方法有顯著提升。

從Set5、Set14和BSD100這三個測試集中選擇3張圖片進(jìn)行測試。將圖像特定的區(qū)域進(jìn)行放大，以更好地觀察紋理細(xì)節(jié)的重建效果。圖8～圖10 展示了本文方法和其他4 種方法分別在尺度因子為2、3、4 情況下的重建效果。從主觀視覺效果上來看，與其他4 種方法相比，通過本文方法重建的圖像恢復(fù)了更多的高頻細(xì)節(jié)并具有更清晰的邊緣。因此，綜合主觀效果和客觀指標(biāo)兩個方面可知，本文方法相對于主流超分辨率重建方法能夠得到更好的重建效果。

圖8 尺度因子為2 時不同方法的視覺重建效果Fig.8 Visual reconstruction quality of different methods when the scale factor is 2

圖9 尺度因子為3 時不同方法的視覺重建效果Fig.9 Visual reconstruction quality of different methods when the scale factor is 3

圖10 尺度因子為4 時不同方法的視覺重建效果Fig.10 Visual reconstruction quality of different methods when the scale factor is 4

4 結(jié)束語

本文結(jié)合注意力機(jī)制和多尺度特征，設(shè)計一個卷積神經(jīng)網(wǎng)絡(luò)用于圖像超分辨率重建。通過注意力機(jī)制模塊融合圖像的非局部信息和二階特征，對圖像的固有屬性特征進(jìn)行探索并自適應(yīng)地學(xué)習(xí)其他特征，使該網(wǎng)絡(luò)更注重信息特征，并且具有更強(qiáng)的識別學(xué)習(xí)能力。同時，利用不同尺度的卷積核提取圖像的特征，并對提取到的多尺度特征進(jìn)行融合，從而保存多尺度完整的信息特征。實驗結(jié)果表明，通過該方法重建的圖像質(zhì)量在視覺效果和定量指標(biāo)方面較Bicubic、SRCNN、SCN和LapSRN 方法均有較大提升。后續(xù)將研究更深層次的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)一步優(yōu)化圖像重建效果。