周樂(lè)，徐龍，劉孝艷，張?chǎng)螡桑瑥堖x德*

（1.陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安710021；2.中國(guó)科學(xué)院 國(guó)家天文臺(tái)，北京100101；3.西安石油大學(xué) 理學(xué)院，陜西 西安710065）

1 引 言

圖像超分辨（Super Resolution，SR）與圖像去噪、圖像去霧等問(wèn)題同為圖像恢復(fù)領(lǐng)域的研究?jī)?nèi)容，它們的共同目標(biāo)是提升圖像質(zhì)量。圖像超分辨的特定目標(biāo)是從低分辨率（Low Resolution，LR）圖像恢復(fù)得到具有清晰紋理與邊緣的高分辨率（High Resolution，HR）圖像。根據(jù)輸入的LR圖像個(gè)數(shù)可以將圖像超分辨分為單幀圖像超分辨（Single Image Super Resolution，SISR）與多幀圖像超分辨（Multiple Image Super Resolution，MISR），本文主要研究SISR，簡(jiǎn)稱(chēng)SR。在SR中，由于可能會(huì)有多幅不同的HR圖像退化得到同樣的LR圖像，因此SR問(wèn)題是一個(gè)難解的病態(tài)問(wèn)題。如今，圖像超分辨已經(jīng)廣泛應(yīng)用于遙感圖像［1］、醫(yī)學(xué)圖像等領(lǐng)域，隨著智能邊緣設(shè)備的普及，比如智能手機(jī)、VR眼鏡等，在這些設(shè)備上部署高性能的SR算法已成為實(shí)際生產(chǎn)的關(guān)鍵一環(huán)。

從SRCNN［2］首 次 將CNN引 入 圖 像 超 分 辨領(lǐng)域至今，SR性能相較于傳統(tǒng)的對(duì)自然圖像的先驗(yàn)信息進(jìn)行建模的SR方法有了很大的提升，但已有的高性能SR算法仍然存在兩個(gè)方面的缺陷：（1）大多數(shù)方法以峰值信噪比（PSNR）為主導(dǎo)，僅以像素?fù)p失訓(xùn)練網(wǎng)絡(luò)，會(huì)導(dǎo)致得到的SR圖像趨于平滑，難以恢復(fù)出精細(xì)的紋理與尖銳的邊緣；（2）模型的計(jì)算量與參數(shù)量呈現(xiàn)隨性能增長(zhǎng)的趨勢(shì)。SR網(wǎng)絡(luò)模型近些年不斷地向更深更寬的方向發(fā)展。比如最早將生成對(duì)抗網(wǎng)絡(luò)（GANs）引入圖像超分辨的SRGAN［3］，其參數(shù)量與每秒浮點(diǎn)運(yùn)算次數(shù)（Floating-Number Operations，F(xiàn)LOPs）分別為0.73M與7.05G，發(fā)展到近期參數(shù)量與FLOPs分 別 為24.80M與265.14G的SPSR［4］，可以看出，參數(shù)量和計(jì)算量均是成倍增長(zhǎng)的。其中FLOPs以100×100的LR圖像為輸入計(jì)算得來(lái)，參數(shù)量與計(jì)算量的增長(zhǎng)極大地限制了高性能SR算法在智能邊緣設(shè)備上的應(yīng)用。

為了解決PSNR主導(dǎo)的SR方法恢復(fù)的高分辨圖像趨于平滑的問(wèn)題，Justin等人［5］將內(nèi)容損失引入到訓(xùn)練SR網(wǎng)絡(luò)的損失函數(shù)中，使用含有語(yǔ)義信息的特征圖計(jì)算損失，使得超分辨圖像的感知質(zhì)量得到改善，有效減少了人工偽影。在生成對(duì)抗網(wǎng)絡(luò)（GAN）提出之后，Ledig等人［3］又將對(duì)抗損失引入訓(xùn)練SR網(wǎng)絡(luò)的損失函數(shù)中，提出SRGAN，得到了更加逼真的重建圖像。近期提出的SPSR利用LR圖像的梯度圖為重建過(guò)程提供豐富的結(jié)構(gòu)信息，得到了具有更好感知質(zhì)量的SR圖像。雖然SPSR的性能優(yōu)于先前的感知驅(qū)動(dòng)的SR方法，但其存在參數(shù)量與計(jì)算量過(guò)大的問(wèn)題。

為了緩解SR領(lǐng)域存在的問(wèn)題，本文利用圖像梯度信息，構(gòu)建較輕量的雙分支SR網(wǎng)絡(luò)，其中包括SR分支與梯度分支。梯度分支為SR分支提供梯度信息，幫助SR分支重建出具有更好感知質(zhì)量的SR圖像。同時(shí)，為了更充分、準(zhǔn)確地利用圖像的梯度信息，首先要避免SPSR中將圖像域特征圖與梯度域特征圖串聯(lián)所帶來(lái)的域沖突問(wèn)題。本文將梯度域特征圖作為作用在圖像域特征圖上的卷積核使用，如此可以有效避免域沖突所帶來(lái)的性能損失；其次，為了使得用作卷積核的梯度域特征圖更加符合卷積核特性，在SR分支與梯度分支之間添加了兩個(gè)過(guò)渡卷積層；最后，通過(guò)調(diào)整網(wǎng)絡(luò)中的卷積核大小，使得兩個(gè)分支對(duì)應(yīng)位置所輸出的圖像域和梯度域特征圖的感受野一致，達(dá)到更準(zhǔn)確地利用梯度信息的目的。通過(guò)有效的網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)，本文所提出的SR算法在感知質(zhì)量與PSNR之間取得了一個(gè)比較好的平衡。除了性能提升之外，本文利用梯度感知獲得了性能優(yōu)勢(shì)，通過(guò)減少網(wǎng)絡(luò)通道數(shù)與基礎(chǔ)構(gòu)建塊數(shù)目有效減少了SR網(wǎng)絡(luò)的計(jì)算量與參數(shù)量，與SPSR相比，以將近1/6的計(jì)算量與1/10的參數(shù)量取得了與SPSR相近的性能。

2 相關(guān)工作

相比于傳統(tǒng)的對(duì)先驗(yàn)信息進(jìn)行建模的SR方法，基于深度學(xué)習(xí)的SR方法在性能上有了很大的提升。SRCNN［2］使用3層卷積層首次將CNN引入SR領(lǐng)域，并使用傳統(tǒng)的稀疏表示的思想對(duì)這3層CNN的原理進(jìn)行了解釋?zhuān)瑢?shí)現(xiàn)了從傳統(tǒng)SR方法到基于深度學(xué)習(xí)的SR方法的過(guò)渡。之后，Kim等人［6］結(jié)合殘差網(wǎng)絡(luò)提出了更深的超分辨網(wǎng)絡(luò)VDSR，得到了更好的SR結(jié)果。Zhang等人［7］指出CNN主要是對(duì)圖像的先驗(yàn)信息進(jìn)行建模，并論證了單一的模型可以處理圖像去塊、去噪以及超分辨問(wèn)題。上述基于深度學(xué)習(xí)的圖像超分辨模型的輸入都是LR圖像經(jīng)過(guò)雙三次插值之后的粗糙SR圖像，再通過(guò)后續(xù)的網(wǎng)絡(luò)細(xì)化，得到具有較好紋理細(xì)節(jié)的SR圖像，稱(chēng)之為預(yù)上采樣框架。然而，這樣的預(yù)上采樣框架不僅會(huì)導(dǎo)致網(wǎng)絡(luò)內(nèi)部計(jì)算量的成倍增加，并且還不利于感受野的有效擴(kuò)充。

為了解決上述問(wèn)題，Dong等人［8］提出了加速的SRCNN，稱(chēng)之為FSRCNN，直接將未插值的LR圖像作為網(wǎng)絡(luò)的輸入，在網(wǎng)絡(luò)末端使用一個(gè)反卷積層執(zhí)行圖像的上采樣，稱(chēng)之為后上采樣框架。后上采樣框架不僅可以減少計(jì)算量，擴(kuò)充感受野，還可以充分利用CNN端到端學(xué)習(xí)精度高的優(yōu)勢(shì)，提高SR性能。使用此框架的性能優(yōu)越的SR方法還有很多。RCAN［9］使用通道注意力機(jī)制構(gòu)建了超過(guò)400層的SR網(wǎng)絡(luò)，RDN［10］使用密集連接策略構(gòu)建SR網(wǎng)絡(luò)，均獲得了較高的PSNR值。RFANet［11］利用殘差特征融合與增強(qiáng)的空間注意力模塊再次提升了PSNR值。然而，以提升PSNR為目標(biāo)的SR方法會(huì)產(chǎn)生趨于平滑的SR圖像，難以恢復(fù)出復(fù)雜的紋理與尖銳的邊緣，影響了SR圖像的視覺(jué)感知質(zhì)量。為此，Justin等人［5］在將內(nèi)容損失引入到訓(xùn)練SR網(wǎng)絡(luò)的損失函數(shù)中，使得超分辨圖像的感知質(zhì)量得到改善，有效減少了人工偽影。在生成對(duì)抗網(wǎng)絡(luò)（GAN）［12］提出之后，Ledig等人［3］又將對(duì)抗損失引入訓(xùn)練SR網(wǎng)絡(luò)的損失函數(shù)中，得到了更加逼真的重建圖 像。之 后，Wang等 人［13］使 用 殘 差 密 集 塊 對(duì)SRGAN加以改進(jìn)，提出了ESRGAN，獲得了具有更好視覺(jué)質(zhì)量的SR結(jié)果。Cheng等人提出的SPSR［4］利用梯度信息為重建過(guò)程提供了豐富的結(jié)構(gòu)信息，使得SR網(wǎng)絡(luò)可以更好地恢復(fù)出圖像的細(xì)節(jié)紋理。然而，SPSR將圖像域的特征圖與梯度域的特征圖相串聯(lián)，會(huì)帶來(lái)域沖突的問(wèn)題，從而導(dǎo)致性能的損失。本文提出梯度感知的圖像超分辨重建，將梯度域的特征圖作為作用在圖像域特征圖上的卷積核，以此避免域沖突所帶來(lái)的性能損失，實(shí)驗(yàn)論證了此策略的有效性。

近些年的SR研究除了注重性能的提升之外，為了將高性能的算法部署在智能邊緣設(shè)備上，也逐漸開(kāi)始關(guān)注模型的輕量化問(wèn)題。ClassSR［14］將LR圖像分塊處理，按照恢復(fù)難度將其分為3個(gè)類(lèi)，分別使用具有不同容量的模型處理這3類(lèi)圖像塊，有效地減少了已有模型的計(jì)算量。AdderSR［15］利用在圖像識(shí)別領(lǐng)域非常有效的AdderNet優(yōu)化SR模型，使用能量消耗較小的加法器替代已有網(wǎng)絡(luò)中的乘法操作，達(dá)到節(jié)省計(jì)算資源的目的。SMSR［16］利用稀疏表示理論減少SR模型在圖像的平滑區(qū)域所消耗的計(jì)算量。從近年來(lái)SR領(lǐng)域的研究趨勢(shì)可以看出，模型的輕量也是評(píng)估SR算法不可忽視的重要因素之一，因此，GASR不僅關(guān)注所重建出的SR圖像的感知質(zhì)量，同時(shí)關(guān)注模型的輕量化。

3 梯度感知圖像超分辨重建

3.1 GASR框架

本文構(gòu)建相對(duì)輕量的雙分支圖像超分辨網(wǎng)絡(luò)，SR分支用于提取LR圖像的深度特征，梯度分支用于提取LR圖像梯度圖的深度特征。SR分支是圖像超分辨的主分支，梯度分支作為圖像超分辨的輔助分支，為SR分支提供梯度信息，幫助SR分支重建出更準(zhǔn)確的紋理信息。GASR整體結(jié)構(gòu)如圖1所示。

圖1 GASR的總體框架Fig.1 Overall framework of GASR

首先，提取LR圖像及其梯度圖的淺層特征：

其中HI(·)與HG(·)分別表示SR分支與梯度分支的淺層特征提取函數(shù)，均為一個(gè)3×3的卷積層；X(·)是計(jì)算梯度圖的函數(shù)。將提取的LR圖像的淺層特征及其梯度圖的淺層特征作為主干網(wǎng)絡(luò)的兩個(gè)輸入。SR分支與梯度分支的主干網(wǎng)絡(luò)分別由M個(gè)殘差梯度感知組（Residual Gradient Aware Group，RGAG）和M個(gè)RCAN中的 殘差組（Residual Group，RG）組成，而RGAG與RG分別由N個(gè)RGAB與N個(gè)RCAB組成。此 外，在主干網(wǎng)絡(luò)中還存在一條全局跳躍連接。LR圖像及其梯度圖的深層特征提取可以表示為：

其 中，BIm(·，·)與BGm(·，·)為 第m個(gè)RGAG和RG的函數(shù) 表示；FIm是第m個(gè)RGAG的 輸出；HGm表示第m個(gè)RG中每個(gè)RCAB的輸出特征圖，此特征圖是RGAG的輸入之一；FG(m-1)和FGm分別是第m個(gè)RG的輸入和輸出。式（3）表明，GASR的兩個(gè)分支并不相互獨(dú)立，即BIm需要以第m個(gè)RG的中間特征圖HGm為另一個(gè)輸入以融合梯度信息。最后，將深層特征FIM和FGM分別作為SR分支和梯度分支重建層的輸入：

其 中，RI(·)和RG(·)分 別 表 示SR分 支 和梯 度 分 支的重建函數(shù)，ΛI(xiàn)(·)和ΛG(·)分別表示SR分支與梯度分支。

與SPSR類(lèi)似，本文采用像素?fù)p失、感知損失和對(duì)抗損失相結(jié)合的方式訓(xùn)練網(wǎng)絡(luò)，使網(wǎng)絡(luò)能夠重建出具有更好視覺(jué)質(zhì)量的SR圖像。其中，像素?fù)p失可以有效地提升PSNR，但會(huì)導(dǎo)致SR圖像趨于平滑，難以恢復(fù)出尖銳的邊緣以及復(fù)雜的紋理。典型的像素?fù)p失有L1損失與L2損失，研究表明，L1損失相較于L2損失具有更好的收斂性，并且恢復(fù)出的SR圖像視覺(jué)質(zhì)量更好，因此選用L1損失作為像素?fù)p失：

其中，與分別是作用在SR分支輸出的SR圖像及其梯度圖上的損失是作用在梯度分支輸出的SR梯度圖上的損失。

為了提升圖像的感知質(zhì)量，Justin等人［5］使用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)提取SR圖像和HR圖像含有語(yǔ)義信息的中間層特征，計(jì)算它們之間的L1損失：

其 中，Φi(·)表 示 預(yù) 訓(xùn) 練 的VGG模 型 第i層 的輸出。

為了在放大因子較大時(shí)能夠恢復(fù)出逼真的紋理細(xì)節(jié)，Ledig等人將生成對(duì)抗網(wǎng)絡(luò)（GANs）引入到SR任務(wù)中，判別器DI也作為優(yōu)化的目標(biāo)之一。受到SPSR的啟發(fā)，本文不僅使用判別器DI對(duì)SR分支輸出的SR圖像進(jìn)行判別，也使用判別器DG判別其梯度圖。優(yōu)化DI、DG與ΛI(xiàn)的損失函數(shù)分別是：

其中，與是作用在SR分支輸出的SR圖像上的損失，與是作用其的梯度圖上的損失。GASR是一個(gè)高度對(duì)稱(chēng)的雙分支網(wǎng)絡(luò)結(jié)構(gòu)，即RGAG與RG在數(shù)量上保持一致、結(jié)構(gòu)上保持相似，如此使得梯度圖的深層特征與同樣位置處LR圖像的深度特征在深度上一致，以便于主分支更好地利用梯度信息。此外，梯度分支輸出梯度圖上的L1損失也更好地保證了這一點(diǎn)。

3.2 殘差梯度感知塊（RGAB）

在闡述RGAB結(jié)構(gòu)之前，首先介紹RCAN中殘差通道注意力塊（Residual Channel Attention Block，RCAB）的結(jié)構(gòu)。RCAB是對(duì)基礎(chǔ)殘差塊的改進(jìn)，在基礎(chǔ)殘差塊的殘差分支尾端添加了通道注意力（Channel Attention，CA），促使網(wǎng)絡(luò)可以根據(jù)各通道之間的依賴(lài)自適應(yīng)地為不同通道的特征圖賦予不同的權(quán)重。如圖2所示，CA首先通過(guò)全局平均池化將輸入的大小為c×w×h的特征圖轉(zhuǎn)化為一個(gè)c維向量，即將特征在空間維度壓縮，然后通過(guò)兩個(gè)1×1的卷積層對(duì)其進(jìn)行通道降維與升維操作，最后經(jīng)過(guò)Sigmoid函數(shù)得到每個(gè)通道的權(quán)重，將其與輸入特征圖按通道相乘得到加權(quán)的輸出特征圖。

RGAB是對(duì)RCAB的改進(jìn)，具體地，就是在RCAB的第一個(gè)“卷積層+ReLU”與CA之間插入了梯度感知卷積層（Gradient Aware Convolution，GAConv）。如圖2所示，GAConv由兩個(gè)子分支組成。第一個(gè)子分支保留原有RCAB的卷積層；第二個(gè)子分支為梯度感知分支，以梯度分支的特征圖（圖中綠色長(zhǎng)方體）為輸入，其尺寸為k2×w×h。輸入的梯度特征圖每個(gè)位置可以組成一個(gè)k×k的卷積核（圖中橙色），使用此卷積核在SR分支特征圖（圖中淺灰色）的對(duì)應(yīng)位置進(jìn)行卷積，得到此位置的梯度感知結(jié)果。最后將兩個(gè)子分支的輸出特征圖串聯(lián)，通過(guò)1×1的卷積層恢復(fù)通道數(shù)后輸入到CA中，得到一個(gè)RGAB的輸出。

圖2 殘差梯度感知塊結(jié)構(gòu)圖Fig.2 Residual gradient aware block structure

RGAB的設(shè)計(jì)既保留了原有的RCAB結(jié)構(gòu)，同時(shí)避免了直接將梯度域特征圖與圖像域特征圖串聯(lián)而帶來(lái)的域沖突問(wèn)題，也就是將梯度域的特征圖作為卷積核作用在圖像域的特征圖上。實(shí)驗(yàn)證明，將梯度域的特征圖作為SR分支卷積核的策略可以有效避免域沖突所帶來(lái)的性能損失。

3.3 梯度融合模塊（GFM）

如圖1所示，梯度融合模塊（Gradient Fusion Module，GFM）由兩個(gè)分支對(duì)應(yīng)位置的RGAB與RCAB以及兩個(gè)過(guò)渡卷積層組成。GFM的輸入輸出均有兩個(gè)，分別是梯度域的特征圖與感知梯度的圖像域特征圖。為了盡可能地確保GFM的兩個(gè)輸出深度一致，RGAB和RCAB是結(jié)構(gòu)相似且數(shù)量相同的。此外，為了促使RGAB更準(zhǔn)確地利用梯度的深度特征，在不考慮CA層的前提下，GFM兩個(gè)輸出特征圖的感受野也是一致的。假設(shè)輸入特征圖的感受野為x，除了特定的1×1卷積層之外，RGAB和RCAB中其余卷積層的核大小均為k×k，則RCAB輸出的梯度域特征圖的感受野為x+2(k-1)，即圖2中綠色長(zhǎng)方體所代表的特征圖的感受野為x+2(k-1)。由于圖2中淺灰色所表示的特征圖感受野為x+(k-1)，因此，GAConv的輸出特征圖感受野則為x+2(k-1)，與梯度域的輸出特征圖感受野一致。

此外，GASR并不直接將梯度分支的特征圖作為卷積核參數(shù)，而是在梯度分支的RCAB與SR分支的RGAB之間添加了兩個(gè)過(guò)渡卷積層。經(jīng)過(guò)大量的有監(jiān)督訓(xùn)練，GFM中的兩個(gè)過(guò)渡卷積層可以使得最終作為卷積核的梯度域特征圖更加滿(mǎn)足卷積核特性，獲得性能上的提升。實(shí)驗(yàn)證明，直接地將梯度分支的特征圖作為SR分支的卷積核參數(shù)會(huì)使性能有一定的損失。

4 實(shí)驗(yàn)設(shè)置及結(jié)果分析

4.1 數(shù)據(jù)集與細(xì)節(jié)實(shí)現(xiàn)

實(shí)驗(yàn)中使用的訓(xùn)練數(shù)據(jù)集為DIV2K［17］，其中訓(xùn)練集包含800幅2K的高清圖像。在圖像超分辨常用的測(cè)試數(shù)據(jù)集上測(cè)試模型性能，如Set5［6］、Set14［18］、BSD100［19］、General100［8］等。參考SPSR，選用感知指數(shù)（PI）［20］、學(xué)習(xí)的感知圖像塊相似度（LPIPS）［21］、峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSIM）［22］為主要評(píng)價(jià)指標(biāo)，其中LPIPS與PI越低表示SR圖像的感知質(zhì)量越好。

在訓(xùn)練過(guò)程中，首先在DIV2K的800個(gè)LRHR圖像對(duì)中隨機(jī)裁剪16個(gè)對(duì)應(yīng)的LR圖像塊與HR圖像塊，其中LR圖像塊大小為48×48，對(duì)其進(jìn)行隨機(jī)旋轉(zhuǎn)與水平翻轉(zhuǎn)，以變換后的16個(gè)圖像對(duì)為一批對(duì)網(wǎng)絡(luò)中參數(shù)進(jìn)行更新。具體訓(xùn)練步驟有3步：（1）訓(xùn)練放大因子為2的SR模型，即裁剪的HR圖像塊大小為96×96，損失函數(shù)僅保留SR圖像上的L1損失；（2）以損失收斂后的2倍的模型為預(yù)訓(xùn)練模型訓(xùn)練放大因子為4的SR模型，即裁剪的HR圖像塊大小為192×192，同樣地僅保留L1損失；（3）結(jié)合內(nèi)容損失與對(duì)抗損失對(duì)4倍的模型進(jìn)行微調(diào)得到可以生成具有更好感知質(zhì)量的SR模型。其中第（1）、（2）步是為了保證SR圖像中圖像內(nèi)容的正確性，第（3）步可以達(dá)到提升SR圖像感知質(zhì)量的目的。損失函數(shù)如式（7）～（14）所示，最后一步訓(xùn)練所采用的損失函數(shù)為：

其中：a1=1，a2=0.01，a3=0.005，b1=0.01，b2=0.005，c=0.5。優(yōu) 化 器 使 用ADAM優(yōu) 化器［23］，參數(shù)設(shè)置為β1=0.9，β2=0.999，ε=10-8。由于2倍的SR模型是隨機(jī)初始化的，因此初始學(xué)習(xí)率設(shè)置為10-4，4倍的SR模型與最終的SR模型均設(shè)置初始學(xué)習(xí)率為6-5，每2×105次迭代學(xué)習(xí)率衰減為原來(lái)的1 2。此外，每1 000次迭代在Set14數(shù)據(jù)集上測(cè)試一次，可以直觀地觀察當(dāng)前的訓(xùn)練效果。經(jīng)過(guò)反復(fù)實(shí)驗(yàn)，最終確定RGAG與RG的數(shù) 目M=7，每個(gè)RGAG中的RGAB與RG中 的RCAB的數(shù)目N=14，未進(jìn)行特殊說(shuō)明的卷積核尺寸均為3×3，網(wǎng)絡(luò)通道數(shù)為32。所有實(shí)驗(yàn)均使用PyTorch實(shí) 現(xiàn)，在GeForce RTX 2080 Ti GPUs上運(yùn)行。

4.2 消融實(shí)驗(yàn)

本文對(duì)GASR所提出的改進(jìn)點(diǎn)做消融實(shí)驗(yàn)，以支撐本文論點(diǎn)的正確性，消融實(shí)驗(yàn)的結(jié)果如表1所示，均為Set14上測(cè)試結(jié)果的平均值。

（1）梯度分支的有效性。本文構(gòu)建了雙分支網(wǎng)絡(luò)模型GASR，其中梯度分支作為SR分支的輔助分支，為L(zhǎng)R圖像的超分辨過(guò)程提供梯度信息。為了證明梯度分支的有效性，在對(duì)比實(shí)驗(yàn)中，我們構(gòu)建了減少通道數(shù)與基礎(chǔ)構(gòu)建塊數(shù)目的RCAN模型，相當(dāng)于去除GASR中的梯度分支，記為RCAN_sub。對(duì)比表1中RCAN_sub與GASR的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，GASR的LPIPS優(yōu)于RCAN_sub，并且RCAN_sub在PSNR上也遜色于有梯度分支的GASR。這有效地驗(yàn)證了梯度分支的存在對(duì)于更準(zhǔn)確地重建高分辨圖像的邊緣結(jié)構(gòu)起著積極的作用，有助于提升SR圖像的視覺(jué)質(zhì)量。

（2）域沖突的影響。為了證明本文所提出的避免不同域特征圖串聯(lián)來(lái)緩解域沖突問(wèn)題策略的有效性，本實(shí)驗(yàn)構(gòu)建了直接將圖像域與梯度域特征圖在通道維度串聯(lián)的網(wǎng)絡(luò)模型，記為Model_1。Model_1模型的上下分支均以RCAB為基礎(chǔ)構(gòu)建塊，梯度分支的每個(gè)RCAB輸出不僅作為下一個(gè)RCAB的輸入，同時(shí)要與SR分支對(duì)應(yīng)位置的RCAB的輸出在通道維度串聯(lián)，再經(jīng)過(guò)一個(gè)1×1卷積層恢復(fù)通道數(shù)，此輸出作為SR分支下一個(gè)RCAB的輸入。從表1的實(shí)驗(yàn)結(jié)果可以發(fā)現(xiàn)，不同域的特征圖直接串聯(lián)造成了LPIPS與PSNR不同程度的惡化，表明直接將圖像域與梯度域的特征圖串聯(lián)所造成的域沖突問(wèn)題會(huì)導(dǎo)致圖像超分辨性能的下降。

表1 消融實(shí)驗(yàn)各評(píng)價(jià)指標(biāo)結(jié)果（Set14×4）Tab.1 Evaluation index of ablation experiment（Set14×4）

（3）過(guò)渡卷積層的必要性。本實(shí)驗(yàn)將GASR中RGAB與RCAB之間的兩個(gè)過(guò)渡卷積層移至梯度分支的相鄰RCAB之間，以證明過(guò)渡卷積層的有效性。首先在GASR中去除兩個(gè)過(guò)渡卷積層，接下來(lái)在梯度分支的相鄰RCAB之間添加兩個(gè)1×1卷積層。第一個(gè)卷積層將上一個(gè)RCAB輸出的梯度域特征圖的通道數(shù)轉(zhuǎn)換為3×3=9個(gè)通道，此卷積層所輸出的特征圖不僅用于下一個(gè)卷積層的輸入，同時(shí)也要作為對(duì)應(yīng)位置RGAB中卷積層的卷積核參數(shù)。第二個(gè)卷積層起到恢復(fù)通道數(shù)的作用，記此網(wǎng)絡(luò)為Model_2。由表1的實(shí)驗(yàn)結(jié)果可知，去除了過(guò)渡卷積層的Model_2在LPIPS和PSNR指標(biāo)上均遜色于GASR，此結(jié)果驗(yàn)證了過(guò)渡卷積層可以起到使得梯度域特征圖更加符合卷積核特性的作用。

4.3 基準(zhǔn)數(shù)據(jù)集的對(duì)比實(shí)驗(yàn)

本文將GASR的實(shí)驗(yàn)結(jié)果與之前性能較好的感知驅(qū)動(dòng)的SR算法做定量與定性上的比較，對(duì)比算法包括SFTGAN［24］、SRGAN［3］、ESRGAN［13］、EnhenceNet［25］與SPSR［4］。定 量 比 較 結(jié) 果 如 表2所示，定性比較結(jié)果如圖3所示。

（1）定量對(duì)比。從表2可以看出，雖然SPSR達(dá)到了比較好的LPIPS與PI，但其參數(shù)量與計(jì)算量較大，其中參數(shù)量是GASR的5.7倍，F(xiàn)LOPs是GASR的10.2倍，GASR以絕 對(duì) 的 參 數(shù) 量 與計(jì)算量?jī)?yōu)勢(shì)達(dá)到了與SPSR相近的性能。與ESRGAN相比，GASR也以更少的參數(shù)量與計(jì)算量取得了更好的性能，其中ESRGAN的參數(shù)量是GASR的3.9倍，F(xiàn)LOPs是GASR的3.4倍。雖然SFTGAN與SRGAN參數(shù)量與計(jì)算量較少，但其性能上遜色于其余的對(duì)比算法。此外，與感知驅(qū)動(dòng)的對(duì)比SR算法相比，GASR在所有數(shù)據(jù)集上取得了最好的PSNR與SSIM，表明其在感知質(zhì)量與平滑度之間取得了更好的平衡。表2中的結(jié)果表明，本文所提出的GASR相較于其余感知驅(qū)動(dòng)的SR算法以較少的參數(shù)量達(dá)到了優(yōu)越的性能。

表2 與先進(jìn)的感知驅(qū)動(dòng)的SR方法的比較結(jié)果（×4）Tab.2 Results compared with advanced perception-driven SR method（×4）

（2）定性對(duì)比。圖3展示了GASR與其余感知驅(qū)動(dòng)的SR算法在視覺(jué)效果上的對(duì)比。從第1組對(duì)比圖可以看出，SRGAN所恢復(fù)的圖像趨于平滑，難以恢復(fù)塔尖的細(xì)節(jié)；EnhenceNet、SFTGAN與ESRGAN雖然能夠恢復(fù)出塔尖的大體結(jié)構(gòu)，但對(duì)于細(xì)節(jié)的恢復(fù)還有待提升；SPSR雖然能夠恢復(fù)出部分塔尖的細(xì)節(jié)，但GASR的細(xì)節(jié)更為準(zhǔn)確，與HR圖像更為貼合。觀察第2、3、4組對(duì)比結(jié)果可知，SRGAN均會(huì)產(chǎn)生過(guò)度平滑的SR結(jié)果，EnhenceNet、SFTGAN、ESRGAN與SPSR會(huì)產(chǎn)生一些雜亂的紋理，導(dǎo)致SR圖像嚴(yán)重失真，而GASR在平滑度與紋理生成之間取得了更好的平衡，獲得了更好的視覺(jué)效果。這有效地驗(yàn)證了GASR可以更準(zhǔn)確地恢復(fù)圖像的結(jié)構(gòu)信息，產(chǎn)生視覺(jué)質(zhì)量更優(yōu)的SR圖像的結(jié)論。

圖3 與先進(jìn)的感知驅(qū)動(dòng)的SR方法的視覺(jué)比較結(jié)果（×4）Fig.3 Results compared visually with perceptual-driven SR methods（×4）

4.4 真實(shí)圖像的對(duì)比實(shí)驗(yàn)

除了在基準(zhǔn)數(shù)據(jù)集上對(duì)GASR做定量與定性分析之外，也在真實(shí)圖像上分析了GASR的有效性。本實(shí)驗(yàn)選取感知驅(qū)動(dòng)的SR算法如SFTGAN［24］、SRGAN［3］、ESRGAN［13］、USRGAN［26］、SPSR［4］與GASR做比對(duì)。

RealSR［27］是通過(guò)調(diào)節(jié)相機(jī)焦距并利用圖像配準(zhǔn)算法獲得的真實(shí)LR-HR圖像對(duì)的數(shù)據(jù)集。本實(shí)驗(yàn)隨機(jī)選取RealSR中的46對(duì)LR-HR圖像對(duì)作為測(cè)試圖像，將GASR與雙三次（Bibubic）插值、ESRGAN與USRGAN進(jìn)行比較，定量比較結(jié)果如表3所示。與計(jì)算復(fù)雜度更高的ESRGAN相比，GASR以復(fù)雜度低的優(yōu)勢(shì)在各個(gè)評(píng)價(jià)指標(biāo)上均勝出，而USRGAN雖然取得了更高的PSNR與SSIM，但其所得SR圖像的感知質(zhì)量不及GASR。定性比較結(jié)果如圖4所示。SFTGAN與ESRGAN均會(huì)產(chǎn)生不同程度的雜亂紋理或失真現(xiàn)象，SRGAN難以恢復(fù)圖像的邊緣，而GASR雖然有少量人工偽影，但其相較于上述3種算法所恢復(fù)出的圖像邊緣更加清晰。雖然SPSR可以構(gòu)建出更清晰的圖像邊緣，但從圖4括號(hào)中所標(biāo)注的FLOPs看出，SPSR的計(jì)算量是GASR的10倍左右，這極大地限制了SPSR在真實(shí)場(chǎng)景中的應(yīng)用。

表3 RealSR數(shù)據(jù)集上的比較結(jié)果（×4）Tab.3 Comparison results on RealSR datasets（×4）

圖4 真實(shí)圖像上的對(duì)比實(shí)驗(yàn)結(jié)果（×4）Fig.4 Comparison of experimental results on real images（×4）

5 結(jié) 論

本文提出了一種較輕量的梯度感知圖像超分辨（GASR）算法，可以更準(zhǔn)確地利用圖像的梯度域信息，產(chǎn)生具有更好感知質(zhì)量的SR圖像。GASR主要從以下兩個(gè)方面達(dá)到準(zhǔn)確利用梯度域信息的目的：首先，將梯度域的特征圖作為作用在圖像域特征圖上的卷積核，如此可以有效地避免不同域特征圖串聯(lián)所帶來(lái)的域沖突問(wèn)題；其次，為了保證梯度域特征圖和圖像域特征圖在對(duì)應(yīng)位置的感受野一致，在卷積核尺寸等模型細(xì)節(jié)上進(jìn)行了一定設(shè)計(jì)。最終GASR以4.3M的參數(shù)量與26.6G FLOPs的計(jì)算量達(dá)到了比其他感知驅(qū)動(dòng)的SR算法更好的性能，在紋理生成與平滑度之間取得了更好的平衡。