楊敬鈺，楊 帆，岳煥景

（天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072）

隨著衛(wèi)星成像技術(shù)的不斷發(fā)展，人們已經(jīng)可以獲取到分辨率為 0.1m的高質(zhì)量遙感影像，但這些影像資源仍然無法對(duì)同一位置區(qū)域?qū)崿F(xiàn)長(zhǎng)時(shí)間的連續(xù)覆蓋.但在遙感對(duì)地觀測(cè)領(lǐng)域中，對(duì)生態(tài)或地質(zhì)環(huán)境進(jìn)行長(zhǎng)時(shí)間跨度的監(jiān)測(cè)是具有重要意義的[1-4].因此，本文通過圖像超分辨率(super-resolution，SR)算法來解決這一問題.

圖像超分辨率是指通過一定的算法從低分辨率(low-resolution，LR)圖像中重建出其對(duì)應(yīng)的高分辨率圖像的過程[5].現(xiàn)有的圖像超分辨率算法主要可以分為兩類：?jiǎn)螆D像超分辨率方法和基于參考圖的圖像超分辨率方法.近年來，卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks，CNNs)已被證明具有很強(qiáng)的特征提取能力，因此基于深度學(xué)習(xí)的思想也被廣泛應(yīng)用于上述兩類圖像超分辨率算法中.

對(duì)于單圖像超分辨率算法，在自然圖像領(lǐng)域中，Dong等[6]首次將深度學(xué)習(xí)思想應(yīng)用于圖像超分辨率.并且，為進(jìn)一步提高網(wǎng)絡(luò)效率，Dong等[7]通過在網(wǎng)絡(luò)末端添加反卷積層的方式構(gòu)建了 FSRCNN網(wǎng)絡(luò).Kim等[8]搭建了一個(gè)深度卷積神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)圖像超分辨率.同時(shí)通過殘差學(xué)習(xí)、較大的學(xué)習(xí)率以及可調(diào)節(jié)的梯度裁剪來保證網(wǎng)絡(luò)的快速收斂.Lim等[9]針對(duì)超分辨率任務(wù)的特性，對(duì)原始的殘差網(wǎng)絡(luò)進(jìn)行了改進(jìn)，刪除了其中不必要的模塊，并提出 EDSR網(wǎng)絡(luò)，該網(wǎng)絡(luò)獲得了出色的重建性能.卷積神經(jīng)網(wǎng)絡(luò)中不同通道的特征信息具有不同的關(guān)注點(diǎn)，但上述的圖像超分辨率算法對(duì)這些信息總是進(jìn)行相同的操作，這將在一定程度上削弱網(wǎng)絡(luò)的特征表達(dá)能力.針對(duì)這一問題，Zhang等[10]將注意力機(jī)制引入到殘差塊中，提出了一種能夠在通道維度上進(jìn)行自適應(yīng)特征縮放的圖像超分辨率網(wǎng)絡(luò).Niu等[11]進(jìn)一步提出了一個(gè)對(duì)深度、通道和位置注意力機(jī)制進(jìn)行融合的網(wǎng)絡(luò)HAN.在遙感領(lǐng)域中，早期的方法[12]選擇直接套用針對(duì)自然圖像設(shè)計(jì)的網(wǎng)絡(luò)模型，再利用遙感影像對(duì)其進(jìn)行重新訓(xùn)練.針對(duì)遙感影像的獨(dú)特結(jié)構(gòu)信息，Lei等[13]提出了 LGCNet網(wǎng)絡(luò)，該網(wǎng)絡(luò)能夠更好地對(duì)局部地物目標(biāo)和全局環(huán)境先驗(yàn)等多尺度的特征進(jìn)行學(xué)習(xí).Wang等[14]針對(duì)不同的頻率維度來訓(xùn)練多個(gè)卷積神經(jīng)網(wǎng)絡(luò).通過小波分解的方式，這些網(wǎng)絡(luò)可以恢復(fù)出不同方向的頻率特征.為進(jìn)一步提升網(wǎng)絡(luò)的特征表達(dá)能力，Jiang等[15]所提出的方法則在網(wǎng)絡(luò)中引入了更為密集的連接，并通過漸進(jìn)的學(xué)習(xí)模式來訓(xùn)練兩個(gè)子網(wǎng)絡(luò).

由于單張低分辨率影像中的信息是有限的，所以上述單圖像超分辨率方法的重建結(jié)果往往較為平滑和模糊.而參考圖引導(dǎo)的圖像超分辨率算法則可以有效改善上述問題，此類方法可以利用高分辨率參考圖像中的相似紋理對(duì)重建過程進(jìn)行引導(dǎo)，進(jìn)而生成擁有更多紋理細(xì)節(jié)的重建結(jié)果.在自然圖像領(lǐng)域中，Yue等[16]通過全局配準(zhǔn)和塊匹配的方式來利用參考圖像中的相似信息.通過對(duì) CNNs的引入，Yue等[17]進(jìn)一步提出了改進(jìn)方法，當(dāng)外部的相似圖像可用時(shí)，該網(wǎng)絡(luò)能夠同時(shí)使用內(nèi)部和外部的相似信息來對(duì)重建過程進(jìn)行引導(dǎo).為解決相似塊內(nèi)部也可能存在著像素移位的問題，Zheng等[18]提出了一種通過光流的方式來進(jìn)行像素維度配準(zhǔn)的方法.不同于以往在原圖像域進(jìn)行匹配的方法，Zhang等[19]提出了SRNTT，該網(wǎng)絡(luò)能夠在特征域上實(shí)現(xiàn)多尺度的相似塊匹配.Yan等[20]建立了一個(gè)通用的參考圖像池，通過這樣的方式，可以在匹配過程中使用到更多的參考圖像信息.Yang等[21]將注意力機(jī)制引入到了紋理匹配的過程中，更有效地實(shí)現(xiàn)了參考紋理向目標(biāo)紋理的變換.在遙感領(lǐng)域中，Dong等[4]首次提出了針對(duì)遙感影像設(shè)計(jì)的參考圖引導(dǎo)的圖像超分辨率網(wǎng)絡(luò)RRSGAN.該網(wǎng)絡(luò)基于梯度引導(dǎo)和可變性卷積來實(shí)現(xiàn)特征對(duì)齊.然而，這樣的匹配策略僅適用于圖像中的大尺度結(jié)構(gòu)信息，對(duì)于細(xì)節(jié)紋理的對(duì)齊效果并不理想，進(jìn)而阻礙了網(wǎng)絡(luò)獲得更好的重建性能.

對(duì)于同一位置區(qū)域而言，通?？梢垣@取到來自不同衛(wèi)星在不同時(shí)間段拍攝的多幅分辨率不同的遙感影像.其中的高分辨率影像可以作為低分辨率影像在超分辨率重建過程中的參考影像.因此，對(duì)于遙感圖像來說，參考圖引導(dǎo)的圖像超分辨率策略是完全可行的.雖然在之前的研究中已經(jīng)有了相關(guān)工作的產(chǎn)出，但這些方法在進(jìn)行相似塊匹配時(shí)，都忽略了多個(gè)相似塊在位置信息上的聯(lián)系，即與低分辨率圖像中相鄰像素點(diǎn)所匹配的參考圖像塊應(yīng)該也是盡可能相鄰或聚合的.其次，之前的方法多采用直接進(jìn)行通道維度合并的方式來實(shí)現(xiàn)特征融合，這顯然是不合理的.針對(duì)這些問題，本文提出了一個(gè)基于相似塊位置約束和多尺度特征自適應(yīng)融合的超分辨率網(wǎng)絡(luò).該網(wǎng)絡(luò)首先通過位置編碼的方式來對(duì)匹配后的參考特征圖進(jìn)行約束，從而保證低分辨率輸入中鄰近元素所對(duì)應(yīng)的參考特征塊具有更高的聚合度，有效提高匹配精度.然后通過對(duì)通道注意力機(jī)制的引入，實(shí)現(xiàn)了多尺度特征的自適應(yīng)融合，提高了網(wǎng)絡(luò)的特征表達(dá)能力.

1 網(wǎng)絡(luò)結(jié)構(gòu)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)概述

基于 TTSR[21]，本文提出了基于位置約束的遙感影像超分辨率網(wǎng)絡(luò)，如圖1所示，其中LRI 表示低分辨率輸入，SR

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Architecture of the proposed network

I 表示重建輸出.對(duì)于 4×超分辨率，網(wǎng)絡(luò)共包含 3個(gè)分支，分別用于處理 1×、2×以及 4×3個(gè)尺度上的特征.對(duì)于尺度 1所在的分支，首先通過多個(gè)殘差塊來進(jìn)行特征提取，以獲得相應(yīng)的骨干特征圖，然后再使用基于位置編碼的紋理轉(zhuǎn)換模塊來實(shí)現(xiàn)參考圖特征的匹配和變換，最后通過多個(gè)殘差塊和多尺度特征自適應(yīng)融合模塊進(jìn)一步重建出圖像的紋理信息.尺度2和尺度3的重建過程與尺度1相似，不同之處在于尺度 2、3的骨干特征圖是通過對(duì)尺度1、2的特征圖進(jìn)行上采樣來獲取的.網(wǎng)絡(luò)最終的重建結(jié)果SR

I 是由3個(gè)尺度的特征進(jìn)行自適應(yīng)融合生成的.

1.2 基于位置編碼的紋理轉(zhuǎn)換模塊

如圖2所示，該模塊以 ILR↑、IRef、IRef↓↑以及B作為輸入，最終輸出轉(zhuǎn)換后的特征圖F.其中 ILR↑代表經(jīng)過4倍上采樣后的低分辨率輸入，IRef代表高分辨率參考圖像，IRef↓↑代表經(jīng)過4倍下采樣和4倍上采樣后的參考圖像，B代表圖1中輸入到紋理轉(zhuǎn)換模塊的骨干特征圖.該模塊首先在特征域?qū)?ILR↑和IRef↓↑進(jìn)行塊匹配，然后利用塊匹配的結(jié)果來引導(dǎo)IRef的特征圖與骨干特征圖進(jìn)行融合變換.與TTSR[21]相比，本文提出的紋理轉(zhuǎn)換模塊主要有兩大不同之處.一是本文在紋理轉(zhuǎn)換的過程中引入了位置編碼的策略，該策略正是以往方法所欠缺的.通過位置編碼的方式，可以計(jì)算出與低分辨率輸入中鄰近元素相匹配的參考特征塊之間的聚合度，并以此為基準(zhǔn)生成位置編碼圖P，實(shí)現(xiàn)對(duì)參考特征圖的位置約束.二是在參考特征圖的融合變換部分，本文對(duì)TTSR中的軟注意力方法進(jìn)行了擴(kuò)充，提出了雙重注意力機(jī)制.該機(jī)制從參考特征塊的紋理相似度和位置聚合度兩個(gè)方面出發(fā)，更為有效地實(shí)現(xiàn)了對(duì)高匹配度特征的增強(qiáng)以及對(duì)低匹配度特征的抑制.該模塊的具體實(shí)現(xiàn)細(xì)節(jié)如下文所述.

圖2 基于位置編碼的紋理轉(zhuǎn)換模塊Fig.2 Texture transformer based on position-encoding

1.2.1 紋理提取器

通過預(yù)訓(xùn)練的 VGG[22]網(wǎng)絡(luò)所提取到的語義特征并不能完全適用于圖像超分辨率任務(wù).因此，為了獲得更準(zhǔn)確和有效的紋理特征，本文使用了一種可學(xué)習(xí)的紋理提取器，共包含 5個(gè)卷積層和兩個(gè)池化層.在訓(xùn)練過程中，該提取器能夠逐步生成更適用于超分辨率任務(wù)的紋理特征.其具體表示為

式中：Gte為紋理提取器；Q、K、V分別表示為ILR↑、IRef↓↑、IRef的紋理特征.

1.2.2 全局搜索模塊

全局搜索模塊通過計(jì)算Q與K之間的相似度來實(shí)現(xiàn)低分辨率圖像與參考圖像之間的塊匹配.首先，以每個(gè)像素點(diǎn)為中心，將Q和K分解成大小為 3×3的特征塊，將這些特征塊分別表示為qi，i ∈ [1 , H W]和kj， j∈ [1 , H W].H和W分別為 ILR的高和寬.然后計(jì)算出qi和ki之間的相似度，并以此為標(biāo)準(zhǔn)從K 的全局范圍內(nèi)篩選出與每個(gè)特征塊qi最相似的特征塊ki.qi和ki之間的相似度是通過歸一化內(nèi)積的方式來進(jìn)行計(jì)算的

式中si,j為Q中第i個(gè)特征塊與K中第j個(gè)特征塊之間的相似度.

獲得特征塊之間的相似度后，基于全局搜索的策略，可以從所有ki中篩選出與每個(gè)qi最相似的特征塊.具體表示為

式中si為軟注意力圖S中的第 i個(gè)元素，所有的si共同組成S.硬注意力圖J將作為位置編碼和硬注意力模塊的輸入，軟注意力圖S將作為雙重注意力模塊的輸入.

1.2.3 位置編碼

通常來說，兩張圖像中的相似紋理總是會(huì)以塊的形式出現(xiàn).因此，對(duì)于Q中的鄰近元素來說，分別以它們?yōu)橹行牡膓i在全局搜索模塊中所匹配到的kj也同樣應(yīng)該在空間信息上具有較高的聚合度.針對(duì)這一特性，本文設(shè)計(jì)了一種以相似塊聚合度為標(biāo)準(zhǔn)的位置編碼模塊.該模塊以硬注意力圖J作為輸入，計(jì)算出與每個(gè)元素相對(duì)應(yīng)的位置約束.首先，以J中的各元素為中心，劃分出大小為 3×3的局部窗口，然后再計(jì)算窗口內(nèi)所有元素與中心元素之間的位置差總和.具體計(jì)算公式為

式中：x，y ∈ [-1 ,1]；Gpos(a)表示用 a除以W后對(duì)結(jié)果中的商和余數(shù)進(jìn)行求和，結(jié)果中的商和余數(shù)分別對(duì)應(yīng)于窗口中各元素與中心元素在垂直和水平方向上的位置差異；p~i表示窗口內(nèi)所有元素的位置差總和.最后，還需要獲取到所有p~i中的最大值，并進(jìn)一步計(jì)算出位置編碼圖P中每個(gè)元素的值，具體表示為

式中：z=0.5；pi為P中的第 i個(gè)元素，所有的pi共同組成位置編碼圖P.

1.2.4 硬注意力

硬注意力模塊能夠利用J中的位置信息來對(duì)V中的特征塊進(jìn)行重組，進(jìn)而生成匹配后的參考特征圖R.首先使用與前文相同的方法將V拆分成大小為3×3的特征塊vi，然后再通過以下方式來實(shí)現(xiàn)特征匹配，即

式中ir表示R中的第 i個(gè)元素，所有的ir共同組成匹配后的參考特征圖R.

1.2.5 雙重注意力

雙重注意力模塊旨在通過軟注意力圖S和位置編碼圖P來實(shí)現(xiàn)對(duì)參考特征圖R的自適應(yīng)轉(zhuǎn)換，在轉(zhuǎn)換過程中能夠?qū)Ω咂ヅ涠鹊奶卣鬟M(jìn)行增強(qiáng)，對(duì)低匹配度的特征進(jìn)行抑制.具體轉(zhuǎn)換過程如下.

式中：Gconv代表卷積操作；‖ 代表特征圖在通道維度上的級(jí)聯(lián)；⊙代表 Hadamard乘積；F代表紋理轉(zhuǎn)換模塊的輸出.

為了降低計(jì)算復(fù)雜度，該網(wǎng)絡(luò)僅在尺度1上進(jìn)行了全局搜索和位置編碼，其余兩個(gè)尺度的硬注意力圖J、軟注意力圖S以及位置編碼圖P均由尺度 1的結(jié)果映射得到.

1.3 多尺度特征自適應(yīng)融合模塊

如圖1所示，網(wǎng)絡(luò)通過分布在3個(gè)尺度上的參考特征圖來對(duì)超分辨率過程進(jìn)行引導(dǎo)，最終的重建結(jié)果也是由 3個(gè)尺度上的特征進(jìn)行融合生成的.然而，如果直接以相同的權(quán)重將這些跨尺度的特征進(jìn)行融合，將無法獲得出色的重建性能，因?yàn)椴⒉皇撬械奶卣鞫寄転橹亟ㄟ^程提供相同的引導(dǎo).針對(duì)這一問題，基于 RCAN[10]，本文提出了多尺度特征自適應(yīng)融合模塊，有效增強(qiáng)了網(wǎng)絡(luò)中各分支的特征表達(dá)能力.由于不同尺度的特征圖擁有不同的尺寸大小，因此在進(jìn)行融合前，還需要對(duì)不同尺寸的特征圖進(jìn)行上采樣和下采樣操作，其中上采樣操作通過雙三次插值實(shí)現(xiàn)，下采樣操作通過步長(zhǎng)為2的卷積來實(shí)現(xiàn).

具體的融合過程為：首先將重采樣后的特征圖進(jìn)行通道維度的級(jí)聯(lián)，然后通過全局平均池化層和兩個(gè)卷積核大小為1×1的卷積層來獲取其通道維度上的權(quán)重，并將該權(quán)重與級(jí)聯(lián)后的特征圖進(jìn)行 Hadamard乘積，生成優(yōu)化后的特征圖.最后，通過一個(gè)卷積層將優(yōu)化后的特征圖映射為原始的通道數(shù)，得到最終的融合結(jié)果.

1.4 損失函數(shù)

式中：θ為網(wǎng)絡(luò)的參數(shù)；N為中像素的總數(shù)量；G為批量大小.

2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集

本文使用遙感領(lǐng)域中的公開數(shù)據(jù)集 RRSSRD[4]來進(jìn)行網(wǎng)絡(luò)的訓(xùn)練和測(cè)試.其中訓(xùn)練數(shù)據(jù)共包含了4047組高分辨率圖像和參考圖像對(duì)，覆蓋了機(jī)場(chǎng)、沙灘、橋梁、居民區(qū)、運(yùn)動(dòng)場(chǎng)等多個(gè)遙感場(chǎng)景，它們均分布在廈門和濟(jì)南地區(qū).其中高分辨率圖像是通過WorldView-2和GaoFen-2衛(wèi)星獲取的，覆蓋2015和2018兩個(gè)年份.參考圖像則是從 Google Earth 2019年的影像中獲取的.高分辨率圖像和參考圖像的尺寸大小均為 480×480.低分辨率輸入圖像是由高分辨率圖像通過下采樣的方式生成的.RRSSRD的測(cè)試集共有4組，每組均包含 40對(duì)高分辨率圖像和參考圖像.第 1組測(cè)試數(shù)據(jù)的高分辨率影像由WorldView-2衛(wèi)星拍攝的，覆蓋區(qū)域?yàn)閺B門.第 2組測(cè)試數(shù)據(jù)的覆蓋區(qū)域與第1組數(shù)據(jù)相同，但其高分辨率影像是由Microsoft Virtual Earth衛(wèi)星拍攝的.第3組測(cè)試數(shù)據(jù)的高分辨率影像由 GaoFen-2衛(wèi)星拍攝的，覆蓋區(qū)域?yàn)闈?jì)南.第 4組測(cè)試數(shù)據(jù)的覆蓋區(qū)域與第 3組數(shù)據(jù)相同，但其高分辨率影像是由 Microsoft Virtual Earth衛(wèi)星拍攝的.此外，4組測(cè)試數(shù)據(jù)中的參考影像均是由Google Earth衛(wèi)星拍攝的.所有高分辨率圖像和參考圖像的尺寸大小均為 480×480.低分辨率輸入圖像則是由高分辨率圖像通過下采樣的方式生成的.

2.2 實(shí)驗(yàn)設(shè)置

本文提出的網(wǎng)絡(luò)中，除通道注意力模塊和最后一個(gè)卷積層使用了大小為 1×1的卷積核外，其余卷積層的卷積核大小均為 3×3.網(wǎng)絡(luò)的第 1個(gè)卷積層和所有的殘差塊中的通道數(shù)均為64.

在訓(xùn)練過程中，本文通過 90°、180°、270°的隨機(jī)旋轉(zhuǎn)以及垂直和水平方向的隨機(jī)翻轉(zhuǎn)來實(shí)現(xiàn)數(shù)據(jù)增廣.所提出的網(wǎng)絡(luò)采用參數(shù)為β1=0.9、β2= 0.999以及ε= 1 0-8的 Adam優(yōu)化算法.紋理提取器的初始學(xué)習(xí)率為 5 × 1 0-5，其余模塊的初始學(xué)習(xí)率為 1× 1 0-4.每隔 100個(gè)迭代次數(shù)(epoch)，學(xué)習(xí)率下降一半.網(wǎng)絡(luò)在 150個(gè) epoch收斂，訓(xùn)練數(shù)據(jù)的批量大小為5.該網(wǎng)絡(luò)在NVIDIA GeForce RTX 2080 Ti服務(wù)器上使用Pytorch框架進(jìn)行訓(xùn)練.

3 實(shí)驗(yàn)結(jié)果

本文將提出的方法與其他新近的圖像超分辨率方法在 4×和 8×超分辨率任務(wù)上進(jìn)行了對(duì)比.對(duì)比方法包括兩類：一是單圖像超分辨率方法，如RCAN[10]和 HAN[11]；二是參考圖引導(dǎo)的圖像超分辨率方法，如 TTSR[21]和 RRSGAN[4].以上方法均在RRSSRD 上進(jìn)行了重新訓(xùn)練.對(duì)于 8×超分辨率，本文提出的方法通過將2×超分辨率模型和4×超分辨率模型進(jìn)行級(jí)聯(lián)來實(shí)現(xiàn).TTSR與 RRSGAN也采取了相同的策略.對(duì)于單圖像超分辨率方法 RCAN和HAN，則遵循其原始設(shè)置，在網(wǎng)絡(luò)末端添加一個(gè)額外的上采樣層來實(shí)現(xiàn)8×超分辨率.TTSR和RRSGAN在原始的訓(xùn)練過程中均引入了對(duì)抗損失，但這往往會(huì)產(chǎn)生較低的峰值信噪比(peak signal-to-noise ratio，PSNR)和結(jié)構(gòu)相似性(structural similarity，SSIM)數(shù)值.因此，為保證實(shí)驗(yàn)的公平性，在對(duì)這兩種方法進(jìn)行重新訓(xùn)練時(shí)，僅使用了其重建損失，獲得了相應(yīng)的TTSR-rec和 RRSNet版本.除了 PSNR和 SSIM，本文還引入了學(xué)習(xí)感知圖像塊相似度[23](learned perceptual image patch similarity，LPIPS)指標(biāo)，該指標(biāo)通過一個(gè)預(yù)訓(xùn)練的網(wǎng)絡(luò)來評(píng)估重建圖像與原始圖像之間的感知相似度.不同于 PSNR和 SSIM，越低的LPIPS數(shù)值對(duì)應(yīng)越好的重建結(jié)果.下文中，本文方法(無參考圖)代表將網(wǎng)絡(luò)中的紋理轉(zhuǎn)換模塊替換為一個(gè)卷積層時(shí)所對(duì)應(yīng)的單圖像超分辨率網(wǎng)絡(luò).

3.1 定量結(jié)果對(duì)比

表1從PSNR、SSIM和LPIPS 3個(gè)方面展示了本文提出的方法與其他方法在4×和8×超分辨率任務(wù)上的重建性能.可以看出本文方法(無參考圖)相較于其他的單圖像超分辨率方法，在性能上并沒有過多的損失，這說明在缺少參考圖像時(shí)，本文提出的多尺度特征自適應(yīng)融合模塊仍然能夠幫助骨干網(wǎng)絡(luò)獲得更好的 8×超分辨率結(jié)果，本文方法相較于次優(yōu)的方法在4個(gè)數(shù)據(jù)集上分別獲得了PSNR/SSIM/LPIPS為 0.08dB/0.003/0.002、0.06dB/0.002/0.003、0.09dB/0.003/0.003、0.0.07dB/0.002/0.001的提升.以上定量對(duì)比結(jié)果證明了本文提出的基于位置編碼的紋理轉(zhuǎn)換模塊和多尺度特征自適應(yīng)融合模塊的有效性，使網(wǎng)絡(luò)在多個(gè)尺度的超分辨率任務(wù)上均獲得出色的重建性能.

表1 在4個(gè)測(cè)試集上的PSNR/SSIM/LPIPS結(jié)果Tab.1 PSNR/SSIM/LPIPS results comparison among different methods on four testing datasets

3.2 定性結(jié)果對(duì)比

圖3和圖4分別展示了本文的方法與其他對(duì)比方法在RRSSRD-2和RRSSRD-4測(cè)試集上的4×超分辨率結(jié)果.圖3(a)為原始的高分辨率圖像，圖3(j)為原始高分辨率圖像在圖3(a)中紅色框區(qū)域的放大結(jié)果，圖3(f)為參考圖像，圖3(b)～(e)及圖3(g)～(i)為各超分辨率方法的重建圖像在(a)中紅色框區(qū)域的放大結(jié)果.從圖3和圖4可知，由于低分辨率輸入能夠提供的紋理信息有限，所以單圖像超分辨率方法的重建結(jié)果均顯得較為平滑，且無法恢復(fù)出清晰的紋理輪廓.TTSR雖然能夠獲取一定的參考圖像信息，但在全局維度上的塊匹配缺少更多的約束條件，導(dǎo)致匹配準(zhǔn)確度下降，從而影像最終的重建性能.RRSNet中提出的基于梯度的匹配方法更適用于處理大尺度的地物目標(biāo)，所以在對(duì)一些較為細(xì)節(jié)的紋理進(jìn)行恢復(fù)時(shí)，能獲得的性能提升較為有限.本文通過對(duì)位置約束的引入，有效提高了紋理轉(zhuǎn)換模塊的匹配精度，進(jìn)而再利用多尺度特征自適應(yīng)融合模塊幫助網(wǎng)絡(luò)重建出了最清晰和銳利的細(xì)節(jié)紋理，如圖3(i)和圖4(i)所示.

圖3 RRSSRD-2測(cè)試集上的4×超分辨率結(jié)果Fig.3 Visual comparison results on RRSSRD-2 at 4× SR

圖4 RRSSRD-4測(cè)試集上的4×超分辨率結(jié)果Fig.4 Visual comparison results on RRSSRD-4 at 4× SR

圖5和圖6分別展示了本文方法與其他對(duì)比方法在RRSSRD-1和RRSSRD-3測(cè)試集上的8×超分辨率結(jié)果.對(duì)于8×超分辨率，ILR↑和 IRef↓↑將變得尤為模糊，相似塊的匹配也會(huì)變得特別困難.但本文提出的方法仍然能夠在所有對(duì)比方法中生成最清晰的重建結(jié)果.由此可以證明，即使匹配條件并不理想，位置編碼的策略仍然可以幫助網(wǎng)絡(luò)保持較為穩(wěn)定的匹配精度，并通過跨尺度的自適應(yīng)融合機(jī)制對(duì)超分辨率過程進(jìn)行有效引導(dǎo).

圖5 RRSSRD-1測(cè)試集上的8×超分辨率結(jié)果Fig.5 Visual comparison results on RRSSRD-1 at 8× SR

圖6 RRSSRD-3測(cè)試集上的8×超分辨率結(jié)果Fig.6 Visual comparison results on RRSSRD-3 at 8× SR

3.3 魯棒性分析

在實(shí)際應(yīng)用中，低分辨率輸入圖像和參考圖像通常是由不同衛(wèi)星在不同時(shí)間段拍攝的，所以可能會(huì)出現(xiàn)衛(wèi)星坐標(biāo)不匹配、參考圖像缺失、參考圖像被云覆蓋等情況.因此，網(wǎng)絡(luò)在使用不同相似度的參考圖像時(shí)，能夠具保持一定的魯棒性也是尤為重要的.圖7展示了本文提出的方法在使用不同的參考圖像時(shí)所獲得的重建結(jié)果.圖7(a)為原始的高分辨率圖像，圖7(f)為(a)中紅色框區(qū)域的放大結(jié)果，圖7(g)～(i)分別為使用圖7(b)～(d)作為參考圖像時(shí)，本文方法的重建圖像在圖7(a)中紅色框區(qū)域的放大結(jié)果.圖7(e)為不使用參考圖像時(shí)，本文方法重建圖像的放大結(jié)果.圖7(j)為 HAN 重建圖像的放大結(jié)果.顯然，當(dāng)使用的參考圖像來自于 RRSSRD數(shù)據(jù)集時(shí)，本文方法具有最好的重建性能，并生成更多真實(shí)清晰的細(xì)節(jié)紋理.即使使用了不相干或被云覆蓋的參考圖像，本文的方法仍然可以不受其干擾，并對(duì)不相似的紋理進(jìn)行抑制，獲得與HAN相近的重建性能.

圖7 使用不同參考圖像的4×超分辨率結(jié)果Fig.7 4×SR results with different reference images

4 結(jié) 語

本文提出了一種基于位置約束的參考圖引導(dǎo)的遙感影像超分辨率網(wǎng)絡(luò)，并同時(shí)引入了對(duì)跨尺度特征進(jìn)行自適應(yīng)融合的策略.在紋理轉(zhuǎn)換模塊，通過位置編碼的方式來對(duì)匹配到的參考特征塊進(jìn)行約束，有效提高了匹配的準(zhǔn)確度.然后，基于通道注意力機(jī)制，對(duì) 3個(gè)尺度上的參考特征圖和低分辨率特征進(jìn)行自適應(yīng)的融合，提高了網(wǎng)絡(luò)的特征表達(dá)能力和重建性能.實(shí)驗(yàn)結(jié)果表明，本文所提出的方法在定量和定性兩個(gè)方面均表現(xiàn)出了優(yōu)于現(xiàn)有超分辨率方法的重建性能.