成科揚(yáng)， 榮 蘭， 蔣森林， 詹永照

(1.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院，江蘇 鎮(zhèn)江 212013； 2.鎮(zhèn)江昭遠(yuǎn)智能科技有限公司，江蘇 鎮(zhèn)江 212013； 3.江蘇省大數(shù)據(jù)泛在感知與智能農(nóng)業(yè)應(yīng)用工程研究中心，江蘇 鎮(zhèn)江 212013)

0 引言

遙感圖像超分辨率重建是對(duì)具有互補(bǔ)信息的低分辨率遙感圖像進(jìn)行處理，來獲得高分辨率遙感圖像的技術(shù)[1]。遙感圖像是遙感技術(shù)的數(shù)據(jù)支撐和應(yīng)用基礎(chǔ)[2]，為監(jiān)視地球表面提供了豐富的信息，在災(zāi)害監(jiān)控、城市經(jīng)濟(jì)水平評(píng)估、資源勘探等領(lǐng)域具有廣泛的應(yīng)用。目前從衛(wèi)星獲得的遙感圖像質(zhì)量無法滿足地物目標(biāo)識(shí)別、土地檢測(cè)等應(yīng)用的需求[3-4],并且從硬件上著手提升遙感圖像成本高、難度大，因此嘗試從軟件上通過圖像處理技術(shù)使遙感影像分辨率得以提升，以較小的經(jīng)濟(jì)代價(jià)改善影像分辨率，提高影像利用效益。由此可見，遙感圖像超分辨率重建技術(shù)的研究具有重要的研究意義。

隨著深度學(xué)習(xí)的發(fā)展，人們將深度學(xué)習(xí)方法用于圖像超分辨率重建，該方法提升了超分辨率算法的重建效果并且克服了傳統(tǒng)算法的缺點(diǎn)。深度學(xué)習(xí)方法在自然圖像超分辨率重建上的成功讓很多遙感領(lǐng)域的學(xué)者將它應(yīng)用在遙感圖像超分辨率重建中，并且取得了不錯(cuò)的效果。

隨著基于深度學(xué)習(xí)的遙感圖像超分辨率重建問題研究的深入，大量方法不斷出現(xiàn)。一些學(xué)者對(duì)該領(lǐng)域工作進(jìn)行了綜述[5-6]，但涉及算法種類少，分類不夠全面。因此，本文在前人工作的基礎(chǔ)上，對(duì)基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法進(jìn)行系統(tǒng)總結(jié)，總體框架如圖1所示。

圖1 基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法框架圖Figure 1 Fram diagram classification of super-resolution reconstruction method of remote sensing image based on deep learing

1 基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法淵源

傳統(tǒng)的遙感圖像超分辨率重建方法主要有3類:頻域法、空域法和頻域-空域結(jié)合的方法。頻域法主要分為頻譜解混疊算法、遞歸最小二乘法等，基于的理論前提過于理想化，不能有效地應(yīng)用于多個(gè)場(chǎng)合，所以目前這類方法已不再成為研究的主流；空域法雖然靈活性好，但是涉及幀內(nèi)運(yùn)動(dòng)模糊、光學(xué)模糊以及其他復(fù)雜的降質(zhì)模型等諸多因素，導(dǎo)致其優(yōu)化方法復(fù)雜，計(jì)算的代價(jià)大，不能成為主流的方法；頻域-空域結(jié)合的方法雖然結(jié)合了頻域法和空域法的優(yōu)勢(shì)，但運(yùn)算復(fù)雜，計(jì)算量大，也不能成為主流的方法[7]。

基于深度學(xué)習(xí)的圖像超分辨率重建方法最先由Dong等[8]于2016年提出，深度學(xué)習(xí)方法打破了頻域法、空域法和頻域-空域法的局限性，在重建效果上有了很大的提升，該方法步驟如圖2所示。先將低分辨率和高分辨率遙感圖像對(duì)送入深度學(xué)習(xí)方法中進(jìn)行學(xué)習(xí)訓(xùn)練，得到低分辨率和高分辨率遙感圖像之間的關(guān)系，再將低分辨率遙感圖像送入訓(xùn)練好的深度模型中，得到重建后的超分辨率遙感圖像。目前，最常用的基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法主要有2種架構(gòu)，分別是基于CNN(convolutional neural networks)的方法和基于GAN(generative adversarial network)的方法,在這些架構(gòu)基礎(chǔ)上，研究者們根據(jù)遙感圖像的不同特點(diǎn)，設(shè)計(jì)、組合不同的模塊來提高遙感圖像的超分辨率重建效果[9]。

圖2 基于深度學(xué)習(xí)的遙感圖像超分辨率重建步驟Figure 2 Steps of super-resolution reconstruction of remote sensing image based on deep learning

2 基于深度學(xué)習(xí)的單幅遙感圖像超分辨率重建

單圖像超分辨率重建方法可以有效地用于一般的分類、目標(biāo)檢測(cè)和對(duì)象提取等計(jì)算機(jī)視覺任務(wù)的預(yù)處理操作。目前單幅遙感圖像超分辨率重建常常采用CNN和GAN兩種網(wǎng)絡(luò)。

2.1 基于CNN的單幅遙感圖像超分辨率重建

在遙感圖像超分辨率重建領(lǐng)域，有3種最常用的CNN架構(gòu)，分別為SRCNN(deep convolutional networks for super-reselution)、VDSR[10](very deep convolutional networks for super-reselution)和EDSR[11](enhanced deep residual networks for super-reselution),這3種方法在自然圖像的超分辨率重建上均取得了不錯(cuò)的效果。SRCNN是第一個(gè)將CNN應(yīng)用于超分辨率問題的方法；VDSR在SRCNN的基礎(chǔ)上引入了殘差網(wǎng)絡(luò)，擴(kuò)展了SRCNN的功能；EDSR是目前通用圖像超分辨率重建性能最好的方法之一。在這些架構(gòu)的基礎(chǔ)上，根據(jù)各種遙感圖像超分辨率重建任務(wù)的獨(dú)特性，研究者們?cè)O(shè)計(jì)出了不同模型，本節(jié)將給出其中具有代表性的幾種網(wǎng)絡(luò)模型。

2.1.1 基于SRCNN的遙感圖像超分辨率重建

Liebel等[12]首次提出將SRCNN用于單幅遙感圖像超分辨率重建。在這項(xiàng)工作中，使用專門設(shè)計(jì)的由Sentinel-2遙感圖像組成的數(shù)據(jù)集來訓(xùn)練SRCNN。結(jié)果表明，該方法比傳統(tǒng)的雙三次插值方法取得的效果好，并且速度快、易于訓(xùn)練，這也說明了基于深度學(xué)習(xí)方法的有效性。但是該方法沒有考慮遙感圖像尺度多樣性的特點(diǎn)，所以重建效果不太明顯，于是人們根據(jù)遙感圖像的尺度多樣性特點(diǎn)，提出了許多基于多尺度特征提取的方法。

2.1.2 基于多尺度特征提取的遙感圖像超分辨率重建

由于遙感圖像和自然圖像有很大的不同，遙感圖像中包含的物體和環(huán)境常常耦合在一起，而且圖像尺度跨度較大，但是目前大部分網(wǎng)絡(luò)都是在單個(gè)對(duì)象范圍內(nèi)構(gòu)建字典或者先驗(yàn)知識(shí)，忽略了環(huán)境信息。于是Lei等[13]提出一種基于VDSR[10]的網(wǎng)絡(luò)，稱為局部-全局結(jié)合網(wǎng)絡(luò)(local-global combined networks，LGCNet)。如圖3所示，該網(wǎng)絡(luò)包括3個(gè)部分：①特征提取部分，利用L層卷積，獲取不同層的特征表示；②局部-全局信息結(jié)合部分，這部分也是整個(gè)LGCNet的核心部分，主要將不同層的結(jié)果級(jí)聯(lián)起來，也就是所謂的“多叉結(jié)構(gòu)”；③重建部分，重建出高分辨率的遙感圖像。該方法在UC Merced數(shù)據(jù)集的上進(jìn)行實(shí)驗(yàn)，結(jié)果表明，和SRCNN相比,可以實(shí)現(xiàn)更高質(zhì)量的重建效果。

圖3 LGCNet網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 Structure of LGCNet network

Xu等[14]也針對(duì)多個(gè)尺度特征提取的問題，提出深度記憶連接網(wǎng)絡(luò)(deep memory connected network，DMCN)。DMCN是一種對(duì)稱的沙漏結(jié)構(gòu)CNN，具有多個(gè)跳躍連接。該網(wǎng)絡(luò)在NWPU-RESISC45、UC Merced和GaoFen1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與LGCNet[13]相比，雖然它的重建效果只有略微的提升，但是內(nèi)存占用量和測(cè)試時(shí)間都大大減少了。

上述研究雖然都使用了多尺度特征提取的方法，但是網(wǎng)絡(luò)較深且結(jié)構(gòu)單一，不能靈活適應(yīng)多尺度特征，于是Wang等[15]提出了一種用于遙感圖像的超分辨率重建的自適應(yīng)多尺度特征融合網(wǎng)絡(luò)。該方法提出了一種自適應(yīng)多尺度特征提取模塊，該模塊結(jié)合了擠壓激勵(lì)網(wǎng)絡(luò)和自適應(yīng)門控機(jī)制。通過該模塊可以自適應(yīng)地將提取的多尺度信息進(jìn)行融合，該方法優(yōu)于SRCNN、ESPCN[16](efficient sub-pixel convolutional neural network for super-reselution)、MSRN[17](multi-scale residual network for image super-resolution)等經(jīng)典方法。

2.1.3 結(jié)合小波變換的遙感圖像超分辨率重建

Ma等[18]提出另外一種結(jié)合小波變換和帶有局部、全局殘差連接的CNN超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)(wavelet transform combined with the recursire res-net, WTCRR)。如圖4所示,該網(wǎng)絡(luò)帶有局部和全局的殘差連接，通過關(guān)注頻域來解決超分辨率重建問題。該網(wǎng)絡(luò)包含3個(gè)部分：分解、預(yù)測(cè)和重建。分解部分就是將經(jīng)過雙三次插值的圖像通過2D離散小波變換分解為4張低分辨率圖像；預(yù)測(cè)部分指的是把上一步分解出的4張圖像輸入到具有遞歸和殘差網(wǎng)絡(luò)的CNN網(wǎng)絡(luò)結(jié)構(gòu)中，得到初步的預(yù)測(cè)結(jié)果；重建部分將預(yù)測(cè)部分得到的圖片通過逆離散小波變換進(jìn)行組合，重建出最終的高分辨率圖像。該方法在NWPU-RESISC45數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與DRNN[19](deep recurrent neural network)相比，該方法重建后的圖片邊緣有所改進(jìn)。

圖4 WTCRR網(wǎng)絡(luò)結(jié)構(gòu)Figure 4 Structure of WTCRR network

2.1.4 高放大因子的遙感圖像超分辨率重建

目前，適度放大單幅遙感圖像空間分辨率(例如×2、×3)的問題得到了有效的解決，但是高放大因子(例如×4、×8)的遙感圖像超分辨率重建仍是個(gè)難題。Pan等[20]針對(duì)上述問題提出快速殘差密集反投影網(wǎng)絡(luò)(fast residual dense backprojection network，F(xiàn)RDBPN)，該方法受文獻(xiàn)[21]中自然圖像超分辨率重建方法的啟發(fā),采用上投影和包含特定卷積和擴(kuò)張卷積序列的下采樣單元以及全局和局部殘差連接。該方法在UC Merced數(shù)據(jù)上的實(shí)驗(yàn)表明，與其他基于深度學(xué)習(xí)的自然圖像超分辨率重建方法相比，該方法在重建效果上有所提升。

2.2 基于GAN的單幅遙感圖像超分辨率重建

生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種深度模型，模型中至少包含2個(gè)模塊：生成模型和判別模型，通過這2個(gè)模型的相互博弈學(xué)習(xí)產(chǎn)生好的結(jié)果?；谏蓪?duì)抗網(wǎng)絡(luò)的圖像超分辨率重建方法是由Ledig等[22]提出。隨后研究者們將GAN用于遙感圖像的超分辨率重建，針對(duì)不同的遙感圖像超分辨率任務(wù)設(shè)計(jì)出不同模塊組合。本小節(jié)主要介紹幾種具有代表性的基于GAN網(wǎng)絡(luò)的單幅遙感圖像超分辨率重建模型。

2.2.1 沙漏狀生成網(wǎng)絡(luò)的遙感圖像超分辨率重建

Haut等[23]聚焦于生成模型，提出一種沙漏狀的生成網(wǎng)絡(luò)架構(gòu)。該網(wǎng)絡(luò)以無監(jiān)督的方式進(jìn)行訓(xùn)練。生成網(wǎng)絡(luò)將隨機(jī)噪聲作為輸入，通過下采樣生成低空間分辨率數(shù)據(jù)，并傳遞給上采樣結(jié)構(gòu)，如此反復(fù)優(yōu)化，最終生成高分辨率圖片。與目前最新的無監(jiān)督方法相比，該模型在UC Merced、RSCNN7和NWPU-RESIS45數(shù)據(jù)集上取得了不錯(cuò)的效果，尤其當(dāng)圖像放大4倍時(shí)，效果更好。

2.2.2 邊緣增強(qiáng)網(wǎng)絡(luò)的遙感圖像超分辨率重建

由于受噪聲的污染，遙感圖像恢復(fù)高頻邊緣細(xì)節(jié)方面仍然需要改善。于是，Jiang等[24]提出一種基于生成對(duì)抗網(wǎng)絡(luò)的邊緣增強(qiáng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)的生成網(wǎng)絡(luò)由兩個(gè)子網(wǎng)絡(luò)超密集子網(wǎng)(ultra dense sub network，UDSN)和邊緣增強(qiáng)子網(wǎng)(edge-enhancement sub network，EESN)組成。當(dāng)UDSN用于重建圖像時(shí)，重建結(jié)果看上去很銳化，邊緣受噪聲污染嚴(yán)重，因此，專門設(shè)計(jì)了EESN通過學(xué)習(xí)噪聲掩碼來增強(qiáng)邊緣。該方法相比經(jīng)典的SRCNN、VDSR[10]和SRGAN[22]方法的重建效果有很大提升。

2.2.3 可跨傳感器的遙感圖像超分辨率重建

用于遙感圖像超分辨率重建的數(shù)據(jù)通常局限于特定的位置和特定的傳感器，導(dǎo)致不同位置和傳感器之間推廣模型的能力有限。于是Xiong等[25]修改了SRGAN的損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu)，并提出改進(jìn)的SRGAN方法(improved SRGAN,ISRGAN)。ISRGAN方法使得模型訓(xùn)練更加穩(wěn)定，并增強(qiáng)了泛化能力，實(shí)現(xiàn)遙感圖像一次訓(xùn)練，就可以用于任何地方和不同的傳感器。實(shí)驗(yàn)結(jié)果表明，使用ISRGAN超分辨率重建之后的土地覆蓋分類的準(zhǔn)確性可以得到顯著提高，尤其在具有高分辨率紋理道路和建筑物上，準(zhǔn)確率提高了15%。

3 基于深度學(xué)習(xí)的多幅遙感圖像超分辨率重建

單幅遙感圖像的超分辨率重建技術(shù)引起了計(jì)算機(jī)視覺和深度學(xué)習(xí)社區(qū)的廣泛關(guān)注，但是對(duì)于更通用的多幅遙感圖像超分辨率重建方法卻沒有太多的研究，特別是基于深度學(xué)習(xí)的方法。與單幅遙感圖像超分辨率重建相比，多幅遙感圖像超分辨率重建中包含有更多的互補(bǔ)信息，過程也更具有挑戰(zhàn)性，需要解決多個(gè)低分辨率圖像之間聯(lián)合配準(zhǔn)和融合等額外問題。

針對(duì)上述提出的挑戰(zhàn)，Deudon等[26]提出了HightRes-net網(wǎng)絡(luò)，首次將深度學(xué)習(xí)的方法引用到多幅遙感圖像超分辨率重建中，該方法以端到端的方式學(xué)習(xí)子任務(wù)，子任務(wù)包括：①圖像配準(zhǔn);②圖像融合;③上采樣;④配準(zhǔn)損失函數(shù)。圖5為HightRes-net網(wǎng)絡(luò)結(jié)構(gòu)圖。如圖5(a)所示，HightRes-net是一種深層結(jié)構(gòu)，通過參考幀通道，學(xué)習(xí)將任意數(shù)量的低分辨率圖像進(jìn)行聯(lián)合配準(zhǔn)，然后進(jìn)行上采樣和超分辨率重建。如圖5(b)所示，將得到的Shiftnet損失反饋到HightRes-net模型中，得到重建圖片。Shiftnet損失ISRGAN函數(shù)保證了多幅遙感圖像的超分辨率重建不會(huì)因?yàn)榕錅?zhǔn)不足、亞像素偏移等導(dǎo)致輸出結(jié)果模糊。結(jié)果表明，該方法達(dá)到很好的超分辨率效果并且在歐洲航天局的真實(shí)遙感圖像的多幅超分辨率重建比賽中取得較好的成績(jī)。

圖5 HightRes-net網(wǎng)絡(luò)結(jié)構(gòu)圖Figure 5 Structure of HightRes-net network

4 基于深度學(xué)習(xí)的多/高光譜遙感圖像超分辨率重建

本文還總結(jié)了多/高光譜遙感圖像的空間分辨率和光譜分辨率的重建方法。光譜圖像包含數(shù)百個(gè)波段，提供了豐富的光譜特征，每張圖像代表不同電磁波段下場(chǎng)景的反射率和輻射率，這種物理表示在許多應(yīng)用中起著至關(guān)重要的作用，例如遙感分類、目標(biāo)檢測(cè)和異常檢測(cè)。但是由于硬件限制，收集高質(zhì)量的高光譜圖像比全色圖像困難，并且分辨率也較低，因此超分辨率重建技術(shù)也被引入到該領(lǐng)域。Li等[27]和Wang等[28]將深度學(xué)習(xí)的方法用于多/高光譜遙感圖像超分辨率重建，隨后學(xué)者們積極地探索基于深度學(xué)習(xí)的多/高光譜圖像超分辨率重建方法，下面將介紹幾種有代表性的方法。

4.1 基于SRCNN的多/高光譜圖像超分辨率重建

Yuan等[29]將用在自然圖像上預(yù)先訓(xùn)練的單圖像超分辨率重建方法SRCNN用來獨(dú)立增強(qiáng)多/高光譜遙感圖像的每個(gè)頻段，并借鑒轉(zhuǎn)移學(xué)習(xí)思想將其轉(zhuǎn)化為高光譜圖像。另外，為了研究低分辨率和多/高分辨率高光譜圖像之間的光譜性質(zhì)，還提出了協(xié)作非負(fù)矩陣分解來增強(qiáng)低分辨率和高分辨率光譜之間的關(guān)聯(lián)。實(shí)驗(yàn)結(jié)果表明，所提方法不需要相同場(chǎng)景的任何輔助圖像就可以達(dá)到不錯(cuò)的超分辨率效果。He等[30]也考慮了Yuan等[29]的方法，首先，用自然圖像訓(xùn)練拉普拉斯金字塔網(wǎng)絡(luò)[31]；其次，利用預(yù)訓(xùn)練好的網(wǎng)絡(luò)對(duì)多/高光譜遙感圖像的每個(gè)波段進(jìn)行超分辨率重建；最后，利用編碼光譜在低空間分辨率多/高光譜圖像上進(jìn)行訓(xùn)練，來提高多/高光譜分辨率。

4.2 改進(jìn)損失函數(shù)的多/高光譜圖像超分辨率重建

大多數(shù)基于CNN的圖像超分辨率重建網(wǎng)絡(luò)，都是使用默認(rèn)的L2損失函數(shù)，但是對(duì)于高光譜圖像，該損失函數(shù)可能會(huì)導(dǎo)致光譜不一致。對(duì)多/高光譜圖像的超分辨率重建，損失函數(shù)不僅應(yīng)該關(guān)注空間信息，還要關(guān)注光譜信息。于是Zheng等[32]提出一種同時(shí)考慮空間和光譜信息的多損失函數(shù)網(wǎng)絡(luò)，它由串聯(lián)密集殘差網(wǎng)絡(luò)(concatenate dense residual network，CDRN)和損失網(wǎng)絡(luò)(loss network，LN)組成。CDRN是圖像重建部分;LN包括像素的空間損失和光譜損失，它驅(qū)動(dòng)整個(gè)模型的學(xué)習(xí)。該方法與VDSR和EDSR相比，峰值信噪比分別提高了1.8 dB和0.5 dB。

5 相關(guān)實(shí)驗(yàn)對(duì)比和分析

5.1 數(shù)據(jù)集

目前前沿的基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法的常見數(shù)據(jù)集如下。

(1)UC Merced數(shù)據(jù)集[33]，它是一個(gè)用于研究土地利用的數(shù)據(jù)集，一共有2 100張圖片，包含21類場(chǎng)景，每類100張，每張圖片的像素大小為256×256。

(2)RSCNN7數(shù)據(jù)集[34]，一共包含2 800幅遙感圖像，分別來自7個(gè)不同的場(chǎng)景類別，每個(gè)類別包含400張圖像。

(3)NWPU-RESISC45[35]數(shù)據(jù)集，來自西北工業(yè)大學(xué)，一共含有31 500張圖片，分為45個(gè)場(chǎng)景類別，每類有700張，每張圖像的像素大小為256×256。

(4)Kaggle開源數(shù)據(jù)集，該數(shù)據(jù)集中Draper衛(wèi)星圖像包含了1 000多張?jiān)谀霞又菖臄z的高分辨率航空照片。

(5)Sentinel-2數(shù)據(jù)集，它是Sentinel系列里的一個(gè)系列，數(shù)據(jù)免費(fèi)，主要有效載荷是多光譜成像儀，共有13個(gè)波段，光譜在0.4～2.4 μm，涵蓋了可見光、近紅外和短波紅外，并且該數(shù)據(jù)集作為L(zhǎng)andsat系統(tǒng)在對(duì)地觀測(cè)領(lǐng)域的補(bǔ)充，目前應(yīng)用越來越多。

5.2 實(shí)驗(yàn)結(jié)果對(duì)比

表1展示了在×2、×3、×4放大因子下，不同的遙感圖像超分辨率重建方法與雙三次插值相比，峰值信噪比PSNR提升的百分比。單幅遙感圖像超分辨率重建方法的結(jié)果表明，使用基于GAN的結(jié)構(gòu)，并在通用圖像上進(jìn)行預(yù)訓(xùn)練，PSNR提升得更高，可以取得目前最好的重建效果。對(duì)于多/高光譜遙感圖像超分辨率重建方法，PSNR提升明顯較低，這主要是由于多/高光譜遙感圖像的特殊性造成的，這一結(jié)果表明，同時(shí)利用空間和光譜信息，可以獲得更好的性能。

表1 不同的遙感圖像超分辨率重建方法與雙三次插值相比的PSRN提升百分比Table 1 The PSRN improvement performance of different remote sensing image super-reconstruction methods compared with bicubic

5.3 分析與討論

自從SRCNN被用于遙感圖像的超分辨率重建以來，各種基于深度學(xué)習(xí)的方法被用于遙感圖像的超分辨率重建，總結(jié)上述具有代表性的遙感圖像超分辨率重建算法，可以發(fā)現(xiàn)：

(1)從模型類型來看，基于CNN的方法仍然是目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建中的主流方法，但也有少部分學(xué)者將其他的深度模型應(yīng)用于遙感圖像的超分辨率重建中。

(2)從單幅遙感圖像重建方法及其效果來看，基于GAN的方法可以取得目前最好的重建效果，這與在自然圖像上的方法結(jié)果是一致的。

(3)對(duì)于多幅遙感圖像超分辨率重建而言，需要考慮圖像配準(zhǔn)和融合等額外問題，所以重建模型會(huì)比較大，并且目前基于深度學(xué)習(xí)的多幅遙感圖像超分辨率重建方法較少，主要都是針對(duì)單幅遙感圖像重建的方法。

(4)對(duì)于多/高光譜遙感圖像超分辨率重建的情況，性能最好的方法是同時(shí)注意提高空間分辨率和光譜分辨率，而不是像早期的方法那樣只是獨(dú)立地考慮光譜通道。

(5)大部分的基于深度學(xué)習(xí)的遙感圖像超分辨率重建網(wǎng)絡(luò)使用的是L1和L2損失函數(shù)，這兩個(gè)損失函數(shù)都是基于像素差異。對(duì)于多/高光譜遙感圖像進(jìn)行光譜分辨率重建時(shí)，需要設(shè)計(jì)合適的光譜信息損失函數(shù)，這樣才能生成高質(zhì)量的多/高光譜遙感圖像。

6 結(jié)論及展望

遙感圖像的超分辨率重建是近幾年來計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn)，具有重要的研究意義和應(yīng)用價(jià)值。在農(nóng)業(yè)遙感領(lǐng)域[36]，可以利用遙感技術(shù)進(jìn)行種植土地分析、農(nóng)業(yè)資源調(diào)查等。在生態(tài)環(huán)境和應(yīng)急管理領(lǐng)域，可以通過超分辨率遙感圖像檢測(cè)大氣污染、監(jiān)測(cè)生態(tài)紅線、獲取災(zāi)情信息等。在公共安全領(lǐng)域，可以利用超分辨率遙感圖像進(jìn)行目標(biāo)檢測(cè)[37]、目標(biāo)識(shí)別[38-39]和目標(biāo)跟蹤等。遙感圖像超分辨率重建相關(guān)技術(shù)的發(fā)展和成熟，全面促進(jìn)了其在各個(gè)計(jì)算機(jī)視覺領(lǐng)域的深入應(yīng)用[40-44]，同時(shí)也給未來的研究工作提出了更高更新的要求。結(jié)合目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法中存在的不足[45-48]，認(rèn)為基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法未來還可以從以下幾個(gè)方面著手進(jìn)行深入研究。

(1)研究針對(duì)遙感圖像特點(diǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。盡管現(xiàn)有基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法已經(jīng)取得了不錯(cuò)成果，但是遙感圖像具有尺度多樣性、視角特殊性、多方向和背景復(fù)雜度高等特點(diǎn)，所以如何利用現(xiàn)有技術(shù)(如注意力機(jī)制、多尺度特征融合、強(qiáng)化學(xué)習(xí)等)構(gòu)建更高效的和適應(yīng)遙感圖像特點(diǎn)的超分辨率網(wǎng)絡(luò)仍然是一個(gè)值得探索的問題。

(2)研究無監(jiān)督學(xué)習(xí)的遙感圖像超分辨率重建方法。遙感圖像在同一場(chǎng)景下的不同分辨率的圖像很難獲取，所以缺乏訓(xùn)練樣本，而且目前主要的研究是有監(jiān)督的遙感圖像超分辨率重建方法，但是有監(jiān)督學(xué)習(xí)的超分辨率重建方法訓(xùn)練出來的模型不能很好地應(yīng)對(duì)一些實(shí)際場(chǎng)景的超分辨率重建任務(wù)，所以無監(jiān)督的遙感圖像超分辨率重建模型具有重要的研究?jī)r(jià)值。

(3)研究多源遙感圖像的超分辨率重建方法。融合同一場(chǎng)景不同傳感器的圖像信息(包括空間信息、時(shí)間信息、光譜信息和位置信息等)，目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法中，大多只是根據(jù)一種信息來進(jìn)行重建，模型學(xué)習(xí)到的信息較少，重建效果有限，所以研究多源遙感圖像信息的融合問題，充分挖掘這些互補(bǔ)信息，以提高遙感圖像重建效果,這也是未來一個(gè)十分重要的研究方向。