劉 璟，宋海川，黃建設(shè)，馬利莊

華東師范大學(xué) 計算機(jī)科學(xué)與技術(shù)學(xué)院，上海200062

高分辨率圖像具有高密集度的像素分布，圖像的空間分辨率越高，能容納的高頻細(xì)節(jié)成分越多，越有利于后續(xù)的圖像與視覺分析等任務(wù)。受限于實際硬件成像水平、網(wǎng)絡(luò)傳輸流量、硬盤存儲空間與壓縮技術(shù)，無法獲得或無法存儲非常高分辨率的圖像，因此必須通過超分辨率技術(shù)提高圖像分辨率。這種提升可以是對原圖的高分辨率重建，也可以是沒有原圖的單純圖像放大過程。超分辨率技術(shù)已被廣泛應(yīng)用于醫(yī)學(xué)圖像處理、衛(wèi)星遙感影像、高清數(shù)字電視、視頻監(jiān)控等高新技術(shù)領(lǐng)域，與計算機(jī)視覺一些交叉領(lǐng)域，例如，語義分割領(lǐng)域DUC[1]模塊，通過使用超分辨率領(lǐng)域的Sub-Pixel 方法[2]，使其相比baseline方法提高了2%mIoU。

單圖超分辨率算法的研究分為兩個方向，其一目標(biāo)為重建出更高感知質(zhì)量的高分辨率圖像，這類往往運(yùn)用GAN（Generative Adversarial Networks）的技術(shù)，把已有超分辨率網(wǎng)絡(luò)作為生成器的基礎(chǔ)上，增加一個判別器，同時使用MSE 或L1 損失函數(shù)和VGG 等特征損失函數(shù)來重建逼真的超分辨率圖像，后者具有比前者更真實的高頻細(xì)節(jié)，但是與原圖的一致性上不如前者。因此，在與原圖更為接近、更為相似的研究方向上，復(fù)原高頻細(xì)節(jié)成為了一大熱點。

針對重建與原圖更為接近的高分辨率圖像的研究，起源于SRCNN[3]（Super Resolution Convolutional Nerual Network），早期的超分辨率網(wǎng)絡(luò)普遍采用bicubic 上采樣算法將輸入與輸出的特征圖的尺度size放大為一致，認(rèn)為這有利于進(jìn)行非線性映射，隨之出現(xiàn)的VDSR[4]（Very Deep convolutional network for single image Super Resolution）、DRRN[5]（Deep Recursive Residual Network）與DRCN[6]（Deeply Recursive Convolutional Network）網(wǎng)絡(luò)便是該種架構(gòu)。這種方式很快被證明徒增計算量，并且會產(chǎn)生新的噪音，并丟失原圖信息。隨之出現(xiàn)的FSRCNN[7]（Fast Super Resolution Convolutional Nerual Network）與ESPCN[2]（Efficient Sub-Pixel Convolutional Network）分別在網(wǎng)絡(luò)末尾生成輸出圖片的特征圖的卷積層前加上反卷積層與Sub-Pixel卷積進(jìn)行上采樣，在學(xué)界普遍證實了Sub-Pixel 卷積能避免反卷積層帶來的棋盤格效應(yīng)帶來的指標(biāo)下降后，之后出現(xiàn)的超分辨率網(wǎng)絡(luò)大多采用Sub-Pixel卷積[2]進(jìn)行上采樣。

NTIRE2017[8]（New Trends in Image Restoration and Enhancement）比賽在2017 年提出了一個新的訓(xùn)練集DIV2K[9]，NTIRE2017 的 冠 軍 模 型EDSR[10]（Enhanced Deep Super Resolution）Lim等人表示，批量歸一化層操作不利于超分辨率網(wǎng)絡(luò)的訓(xùn)練，是占用更多顯存并且減慢網(wǎng)絡(luò)收斂的無效操作，該模型簡單地在SRResNet[11]的基礎(chǔ)上移除BN層后，獲得了NTIRE2017的冠軍。Guo等人在DWSR[12]（Deep Wavelet Super Resolution）網(wǎng)絡(luò)中設(shè)計了一個深度卷積神經(jīng)網(wǎng)絡(luò)模型來預(yù)測低分辨率圖像與原圖的4個小波域的殘差細(xì)節(jié)，取得了較好的成績。CVPR2018 中，Tai 等人在DBPN[13]（Deep Back-Projection Network）中提出了一種迭代升降采樣方式，使得網(wǎng)絡(luò)可以同時學(xué)習(xí)在低分辨率與高分辨率下的特征映射方式。

針對高頻細(xì)節(jié)不易復(fù)原的問題，提出了一個基于注意力機(jī)制的基本塊，它由通道注意力和空間注意力兩部分組成，分別對通道間的高低頻信息與同一通道內(nèi)不同空間位置的高低頻信息分配不同的權(quán)重，從而使得高頻與低頻信息都能更好地被學(xué)習(xí)。進(jìn)一步的，基于該注意力基本塊，設(shè)計了基于注意力機(jī)制的單幅圖像超分辨率網(wǎng)絡(luò)，若干基本塊結(jié)合短期特征體質(zhì)模塊組成一特征提取組，若干特征提取組與長期特征調(diào)制模塊形成整個特征映射子網(wǎng)。低分辨率圖像在經(jīng)過前期特征提取、特征映射子網(wǎng)與上采樣模塊后，高分辨率圖像得以重建，其中特征調(diào)制模塊能夠解決來自前期層的長期信息在后期層被減弱或丟失導(dǎo)致訓(xùn)練過程難以進(jìn)行甚至不收斂的問題。實驗結(jié)果表明，與SRCNN、FSRCNN、EDSR、DBPN、DWSR 等網(wǎng)絡(luò)相比，本文方法具有更好的重建效果。

1 基于注意力機(jī)制的基本塊設(shè)計

基本塊作為單張圖像超分辨率網(wǎng)絡(luò)的主要非特征映射模塊，是影響重建結(jié)果的重要因素。本章以EDSR[10]中的基本塊作為基線進(jìn)行多方面的改進(jìn)。

基于注意力機(jī)制的基本塊由兩個3×3的卷積層，一個具有空間注意力機(jī)制的激活層和在層尾的通道注意力層組成。其中，兩個3×3卷積層和一個激活層組成了常用的超分辨率任務(wù)基本塊，這種基本塊在EDSR中被證明為非常高效的特征映射塊，并被后面的超分辨率網(wǎng)絡(luò)廣泛使用，結(jié)構(gòu)如圖1（a）所示。相對這種結(jié)構(gòu)，做出如下優(yōu)化：第一，將常用結(jié)構(gòu)中的ReLU 激活層替換為本文設(shè)計的攜帶空間信息的注意力激活層。第二，對兩個3×3卷積層中間的激活層使用寬激活配置，卷積層中間的通道數(shù)為輸入與輸出的4倍，改進(jìn)后的激活層配置中廣泛的寬度使得基本塊的映射能力得到進(jìn)一步的提升。第三，在基本塊做殘差前加入通道注意力層，使得不同通道間的權(quán)重分配更加均衡。

圖1 （a）EDSR中基本塊中的特征提取配置

圖1 （b）本文改進(jìn)基本塊中的特征提取配置

1.1 寬激活層

傳統(tǒng)的單圖超分辨率深度學(xué)習(xí)網(wǎng)絡(luò)中的基本塊結(jié)構(gòu)具有兩個3×3 卷積層與一個ReLU 激活層，數(shù)據(jù)流的通道數(shù)配置為{x,x,x}（x 為基本塊通道數(shù)，下同）。為了促使更多的低層次信息可以通過以達(dá)到盡可能將低層信息傳遞到后面的層，在Relu激活之前對通道數(shù)進(jìn)行r 倍擴(kuò)張，在廣泛地對各通道信息進(jìn)行激活后進(jìn)行倍壓縮，改變后的通道數(shù)配置為。這樣配置后基本塊的計算量與參數(shù)量保持不變。參照WDSR[14]的結(jié)論，實驗中將r 設(shè)置為4 以得到最佳的配置，最終的通道數(shù)配置為，即基本塊的輸入通道數(shù)與輸出通道數(shù)調(diào)整為原結(jié)構(gòu)的一半，而中間激活通道數(shù)為原結(jié)構(gòu)的兩倍。

1.2 空間注意力激活層

不同的通道具有不同的重要性，例如，在具有復(fù)雜邊緣和紋理特征的特征映射中，高頻濾波器更重要。但是，同一通道中的不同區(qū)域，亦具有不同的重要性。例如，如果能夠集中在高頻區(qū)域的細(xì)節(jié)區(qū)域，同時抑制低頻區(qū)域的權(quán)重，這將有助于高頻濾波器學(xué)習(xí)更多的高頻特征，最終圖像的高頻細(xì)節(jié)被更好地重建，反之亦然。受這些啟發(fā)，提出了一種新的空間注意力激活層（Spatial Attention Activation Layer，SAAL）作為具有空間注意信息的激活層。輸入信息先經(jīng)過一個1×1 卷積層來融合跨通道的信息，接著通過ReLU 激活層與DepthWise卷積層，每個通道分別學(xué)習(xí)它們的空間權(quán)重，最后Sigmoid層將空間權(quán)重的動態(tài)范圍映射到[0，1]，逐像素點乘輸入信息，進(jìn)而得到攜帶空間信息的激活特征圖。

空間注意力激活層分離了高頻與低頻信息至不同濾波器，使得它們分別具備不同的功能，同時專注學(xué)習(xí)高頻與低頻信息，使它們相比于原有激活層的學(xué)習(xí)，對高頻與低頻的預(yù)測都更好。會在實驗部分具體分析這一點?？臻g注意力激活層可表示為：

其中，W 分別代表DepthWise 卷積層與1×1 卷積層，δ代表ReLU激活層，HSAAL代表空間注意力激活層。注意該激活層幾乎不會帶來更多的參數(shù)量與計算量，因為DepthWise 卷積層的計算是單通道對單通道的計算，而1×1卷積層的卷積核計算量僅為相同配置下的3×3卷積層的九分之一。

1.3 通道注意力層

通道注意力機(jī)制在單圖超分辨率任務(wù)中有兩點優(yōu)勢。一方面，基本塊卷積層中的每個濾波器都使用本地的感受野，因此卷積后的輸出不能利用本地區(qū)域之外的上下文信息，而通道注意的全局池化層包含了通道的全局的空間信息。另一方面，特征映射中的不同通道在提取低頻或高頻分量上起著不同的作用，引入信道注意層可以自適應(yīng)地調(diào)節(jié)信道的權(quán)重從而有效地提高重建指標(biāo)。在難以重建高頻細(xì)節(jié)的超分辨率任務(wù)中，往往表現(xiàn)為有利于對提取高頻成分的通道分配更高的權(quán)重，對冗余的低頻成分提取通道分配更低的權(quán)重。

如圖2 所示，借鑒SENet 中的擴(kuò)張-擠壓結(jié)構(gòu)，將該結(jié)構(gòu)作為本文的通道注意力層中的權(quán)重線性映射部分，并將整個通道注意力層放置在基本塊的末尾。使用X=[X1,X2,…,Xc,…,XC] ∈RH×W×C來表示通道注意力層的輸入，它由C 張大小為H×W 的特征圖組成，后接一個全局池化層與全局方差層，其輸出是通道的均值與方差統(tǒng)計信息：

圖2 通道注意力層網(wǎng)絡(luò)流程圖

將輸入層的各通道的統(tǒng)計系數(shù)（這里選取均值mean 與標(biāo)準(zhǔn)差std）作為單像素、多通道的輸入，分別經(jīng)過擠壓、激活與擴(kuò)張結(jié)構(gòu)，形成兩組通道注意力系數(shù)：

其中，δ 代表ReLU 激活層，σ 代表Sigmoid 激活層，將注意力系數(shù)映射到[0，1]區(qū)間內(nèi)。兩支路的通道注意力加權(quán)求和（在這里，選取系數(shù)均為1）得到最終的通道注意力系數(shù)s。將通道注意力系數(shù)分別與輸入進(jìn)行點乘求和，形成帶通道注意力機(jī)制的輸出：

其中，HCA代表通道注意力層，s 和x 代表通道注意力系數(shù)與分配權(quán)重前的特征圖輸入。

如圖3所示為整個基本塊，它可以表示為：

其中，F(xiàn)b、Fb-1分別為第b 個基本塊的輸入與輸出，Bb代表第b 個基本塊，HCA為該基本塊的通道注意力層，δ 為該基本塊的空間注意力激活層，Wb為第b 個基本塊的卷積層。

2 網(wǎng)絡(luò)架構(gòu)設(shè)計

2.1 網(wǎng)絡(luò)的總體結(jié)構(gòu)

網(wǎng)絡(luò)的總體結(jié)構(gòu)如圖4所示，它由如下幾個模塊組成：初始特征提取層、特征映射子網(wǎng)（Feature Mapping Sub-Net，F(xiàn)MS）、上采樣模塊，其中特征映射子網(wǎng)由堆疊的基本塊連接組（Base Block Concat Group，BBCG）組成。

設(shè)ILR與ISR為輸入的低分辨率（Low Resolution，LR）圖像與對應(yīng)的經(jīng)過本文設(shè)計的CSAN（Channel and Spatial Attention Network）網(wǎng)絡(luò)重建后的超分辨率圖像。首先使用一個3×3 卷積層對輸入圖像進(jìn)行淺層特征提?。?/p>

其中，f0(?)代表網(wǎng)絡(luò)的頭部卷積層。FSF接著被用作特征映射子網(wǎng)的輸入，F(xiàn)SF先經(jīng)過G 個基本塊連接組與一個卷積層得到深層的特征殘差圖，然后與FSF進(jìn)行全局的殘差連接，得到網(wǎng)絡(luò)的深層特征（Deep Feature，DF）FDF：

其中，Gg(?)代表第g 個基本塊連接組，fdf(?)代表特征映射子網(wǎng)的尾卷積層，HFMS代表特征映射子網(wǎng)，它經(jīng)過了2 階段的基本塊堆疊，擁有龐大的深度與感受野。第一個階段由基本塊連接組形成堆疊結(jié)構(gòu)，第二個階段為簡單的全局殘差連接。然后，網(wǎng)絡(luò)的深層特征FDF被送進(jìn)上采樣模塊得到最終的超分辨率重建圖像ISR：

其中，HUP代表上采樣層，HCSAN代表本文設(shè)計的網(wǎng)絡(luò)的總體結(jié)構(gòu)。

2.2 基本塊連接組

形成較高的超分辨率網(wǎng)絡(luò)圖像重建性能，往往需要非常深的網(wǎng)絡(luò)層數(shù)，但是簡單地堆疊基本塊或卷積層不能達(dá)到預(yù)期的效果。因此，設(shè)計了一種兩階段的基本塊堆疊方式，基本塊連接組方式代表了第一階段的深度折疊，第二層的折疊為全局殘差結(jié)構(gòu)。經(jīng)過兩階段的深度折疊，網(wǎng)絡(luò)深度大幅縮減，不易收斂的深層基本塊堆疊網(wǎng)絡(luò)轉(zhuǎn)化為容易收斂的淺層基本塊連接組堆疊網(wǎng)絡(luò)。

圖3 本文的改進(jìn)基本塊網(wǎng)絡(luò)流程圖

圖4 基本塊連接組，階段式上采樣與網(wǎng)絡(luò)總體結(jié)構(gòu)

如圖4 左上角所示為基本塊連接組的示意圖。每個基本塊的輸出都被連接（concat），經(jīng)過一個基本塊連接組末尾的卷積層對各基本塊的輸出進(jìn)行壓縮得到有用的基本塊連接組的輸出。這樣的設(shè)置使得所有基本塊的輸出都得以充分利用，從而緩解淺層信息被遺漏導(dǎo)致的深層網(wǎng)絡(luò)難以收斂的問題?；緣K連接組可以表示為：

其中，Gg代表第g 個基本塊連接組，F(xiàn)g和Fg-1分別為基本塊連接組的輸入和輸出，λb為第b 個基本塊輸出的權(quán)重，Bb為第b 個基本塊的輸出。

2.3 上采樣模塊

采用階段式上采樣（每次進(jìn)行2 倍分辨率的上采樣）代替一次性的上采樣，這樣的設(shè)置使得網(wǎng)絡(luò)能在多尺度（不同2J尺度）上進(jìn)行學(xué)習(xí)，而不僅僅是在最低尺度上進(jìn)行學(xué)習(xí)。圖4 中的網(wǎng)絡(luò)為4×超分辨率(J=2)的示例，含有2 個上采樣模塊（右下角虛線框），其中上采樣模塊由2個3×3卷積核一個像素重洗（Pixel Shuffle）層組成，其中像素重洗層起到把空間維度壓縮，擴(kuò)張分辨率維度的作用。例如，在2 倍分辨率中，先用過第一個3×3卷積將通道擴(kuò)充為原來的4倍，經(jīng)過像素重洗層后，通道數(shù)還原，而分辨率為原來的2倍。

2.4 優(yōu)化器與損失函數(shù)

使用Adam 作為優(yōu)化器算法，分別在第150，第200與第250epoch 將學(xué)習(xí)率減半，初始學(xué)習(xí)率為1E-4 。將L1損失函數(shù)作為Adam優(yōu)化器的優(yōu)化目標(biāo)：

3 實驗與分析

3.1 實驗配置

3.1.1 數(shù)據(jù)集

與EDSR[10]、SRMD[15]、RDN[16]等 網(wǎng) 絡(luò) 一 致，使 用DIV2K[9]作為本文的訓(xùn)練與驗證集。DIV2K包含800張訓(xùn)練圖像，100張驗證圖像，100張測試圖像（均為2K分辨率）與它們4個尺度（2倍、3倍、4倍、8倍）下對應(yīng)的低分辨率圖像。在此基礎(chǔ)上，添加了選圖范圍更加豐富、張數(shù)更多的Flikr2k 數(shù)據(jù)集作為訓(xùn)練集組成DF2K 訓(xùn)練集作為本文的訓(xùn)練集進(jìn)行訓(xùn)練。網(wǎng)絡(luò)輸入圖像為48×48的分塊，經(jīng)過順時針旋轉(zhuǎn)0°、90°、180°、270°，左右翻轉(zhuǎn)與上下翻轉(zhuǎn)得到8倍于原數(shù)據(jù)的增強(qiáng)數(shù)據(jù)集，該增強(qiáng)策略同時也應(yīng)用于測試階段對結(jié)果進(jìn)行融合從而進(jìn)一步提升重建的準(zhǔn)確度。

3.1.2 測試指標(biāo)

經(jīng)過融合輸出的高分辨率重建結(jié)果與標(biāo)簽高分辨率圖像在YCbCr 空間計算Y 通道的峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）和結(jié)構(gòu)相似性（Structural Similarity，SSIM）作為衡量單圖超分辨率算法的客觀性能指標(biāo)，從而更準(zhǔn)確地表明本文算法相較其他算法的優(yōu)越性。PSNR 反映兩幅圖像對應(yīng)像素點間的誤差，其值越高表明輸出圖像失真越少，圖像重建質(zhì)量越好。SSIM是表示兩幅圖像相似度的評價指標(biāo)，其值越接近于1代表輸出圖像越接近于原始高分辨率圖像，即重建效果越好。在本文的對照實驗中，使用DIV2K 驗證集的前十張在訓(xùn)練階段每個epoch后進(jìn)行測試。使用5個單圖超分辨率通用benchmark 在2×尺度與4×尺度進(jìn)行測試：Set5[17]、Set14[18]、B100、Urban100[19]和Manga109[20]。

3.1.3 模型細(xì)節(jié)

網(wǎng)絡(luò)的基本通道數(shù)設(shè)置為64（對應(yīng)的，在基本塊內(nèi)，為{32，128，32}配置，基本塊外的卷積層通道數(shù)為32，而基本塊中的DepthWise 卷積層通道數(shù)為128）。在對照實驗中（2 倍尺度），使用每個基本塊連接組10 個基本塊，10 個基本塊連接組，通道數(shù)64，也即10B-10G-64C的配置；在性能測試中，使用更大的網(wǎng)絡(luò)配置，20G-10G-64C。

3.2 對照實驗與模型分析

3.2.1 通道注意力機(jī)制的有效性

如表1所示，研究了本文的基本塊的幾種通道注意力變體，其中基線網(wǎng)絡(luò)僅包含兩個卷積層和普通的激活層ReLU，而沒有融合通道注意力機(jī)制。作為對照，分別去除均值與標(biāo)準(zhǔn)差的分支進(jìn)行實驗。

從表1中前四列或后四列中均可看出，同時使用均值與標(biāo)準(zhǔn)差兩個分支的統(tǒng)計信息作為通道注意力（3組、7組）的重建指標(biāo)最高，而不含通道注意力機(jī)制的基線模型（Baseline）重建指標(biāo)最差，在Set14的×2尺度超分辨率測試中落后于最優(yōu)配置0.12 dB，在Urban100的×2尺度測試中落后0.08 dB，證明了本文的通道注意力機(jī)制的有效性。注意通道注意力機(jī)制并不會過多地引入額外參數(shù)。

表1 通道注意力層與基本塊連接組對照實驗數(shù)據(jù)

3.2.2 空間注意力機(jī)制的有效性

本文的空間注意力激活層允許投入很少的額外參數(shù)以獲得性能上的提升。在性能越弱的網(wǎng)絡(luò)中，這種提升越明顯，但投入?yún)?shù)的占比越高?？臻g注意力激活層中DepthWise卷積層的卷積核大小設(shè)置不同，會影響投入?yún)?shù)的占比與網(wǎng)絡(luò)最后的性能，是一個性能與參數(shù)的折中。使用基本配置的CSAN模型，通過不同大小卷積核的配置進(jìn)行對照實驗，實驗結(jié)果如表2。表2 是有關(guān)是否使用空間注意力激活層（SAAL）與其中DepthWise卷積核大小對于結(jié)果的影響的對照實驗配置表與實驗數(shù)據(jù)。MAdds 與顯存占用為3×16×16 作為輸入時的測試數(shù)據(jù)，PSNR 為DIV2K801～810 驗證集重建結(jié)果的平均值，網(wǎng)絡(luò)為基線配置。實驗結(jié)果表明，SA 層的引入，從卷積核大小為5×5開始具有提升，并且卷積核大小越大提升越大，引入SA層會帶來約1.66倍的顯存占用。

表2 空間注意力激活層對照實驗數(shù)據(jù)

進(jìn)一步觀察了通道注意力激活層對特征圖帶來的變化來分析通道注意力激活層的本質(zhì)。如圖5 所示為Set5-2x中的一組示例高頻濾波器特征圖。其中左圖為原圖，中圖為空間注意力激活層前的特征圖，右圖為經(jīng)過空間注意力激活層激活后的特征圖。可視化圖將特征圖的值sigmoid激活后線性放縮至-175至175范圍，進(jìn)行藍(lán)綠色調(diào)的colormap映射。

圖5 空間注意力激活層特征圖可視化

可以清楚地從圖5 右圖中觀察到本文的空間注意力激活層能殺死高頻濾波器中的低頻部分（綠色部分代表該區(qū)域被分配接近0 的權(quán)重），從而更好地提取高頻特征，從而證明了本文的空間注意力激活層的有效性。

3.2.3 基本塊連接組的有效性

基本塊連接組能夠折疊網(wǎng)絡(luò)的基本塊深度，從而使得網(wǎng)絡(luò)不會隨著深度的增加而難以收斂，網(wǎng)絡(luò)更好地收斂為網(wǎng)絡(luò)帶來更高的重建精度。由于寬激活層的配置，基本塊外的卷積不會帶來太多額外的參數(shù)量。在基線配置下使用DIV2K 驗證集801～810 對PSNR 指標(biāo)進(jìn)行測試，對是否使用基本塊連接組、是否對各輸入的weight進(jìn)行放縮進(jìn)行驗證。如圖6 所示，最終圖4 中的配置取得了最好的成績。圖1 中相同通道注意力配置下是否使用基本塊連接組的對照實驗也證明了基本塊連接組的有效性。

圖6 基本塊連接組對照實驗的PSNR-Epoch曲線圖

3.3 與已有算法的對比

為了證明本文方法的先進(jìn)性與有效性，選取了單張圖像超分辨率領(lǐng)域先進(jìn)的8 種方法深度學(xué)習(xí)方法，

SRCNN[3]、VDSR[4]、DRCN[6]、LapSRN[21]、MemNet[22]、EDSR[10]、SRMDNF[15]、D-DBPN[13]，與傳統(tǒng)的Bicubic 算法，在2 倍與4 倍尺度分別進(jìn)行對比，結(jié)果如表3。從表中可以看出，無論是在2 倍還是4 倍尺度下，在不同測試集下，本文算法對于重建圖像的PSNR 與SSIM 指標(biāo)均處于領(lǐng)先，其中PSNR在5個不同的測試集上平均領(lǐng)先D-DBPN約0.4 dB。

同樣對不同先進(jìn)算法的主觀視覺效果進(jìn)行了對比評價，圖像來自測試集Urban100，結(jié)果如圖7所示。圖7（a）中，由于降采樣使得高頻信號缺失導(dǎo)致窗沿的平行線發(fā)生了嚴(yán)重的混淆現(xiàn)象，F(xiàn)SRCNN 沒有解決混淆現(xiàn)象，其他的算法均預(yù)測了錯誤的方向，只有本文算法成功重建了原圖的窗沿平行線方向。圖7（b）中的混淆現(xiàn)象體現(xiàn)在欄桿上，同樣只有本文算法由于最準(zhǔn)確地還原了欄桿的方向而得到了精度最高的重建結(jié)果。因此，定量數(shù)據(jù)與定性視覺效果，均表明低分辨率圖像通過本文算法得到的重建效果整體優(yōu)于所對比的重建算法。

4 結(jié)論

本文提出了一種基于通道注意力機(jī)制與空間注意力機(jī)制的單幅圖像超分辨率網(wǎng)絡(luò)。網(wǎng)絡(luò)使用階段式上采樣進(jìn)行分辨率的提升，使得網(wǎng)絡(luò)可以學(xué)習(xí)不同的2倍尺度上的非線性特征映射；使用基本塊連接組對網(wǎng)絡(luò)的深度進(jìn)行折疊，使得非常深的超分辨率網(wǎng)絡(luò)可以更快更好地收斂；使用包含通道注意力層與空間注意力激活層的改進(jìn)基本塊作為網(wǎng)絡(luò)的基本特征映射單位，對照實驗證明了提出的通道注意力機(jī)制和空間注意力機(jī)制的有效性；大量實驗表明本文方法不論從客觀定量指標(biāo)，還是主觀視覺上，均優(yōu)于目前的先進(jìn)方法。

表3 與先進(jìn)單張圖像超分辨率領(lǐng)域已有算法的指標(biāo)對比

圖7 （b）“Img100”-2×與不同先進(jìn)算法的視覺效果對比