成科揚(yáng), 榮 蘭, 蔣森林, 詹永照
(1.江蘇大學(xué) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院,江蘇 鎮(zhèn)江 212013; 2.鎮(zhèn)江昭遠(yuǎn)智能科技有限公司,江蘇 鎮(zhèn)江 212013; 3.江蘇省大數(shù)據(jù)泛在感知與智能農(nóng)業(yè)應(yīng)用工程研究中心,江蘇 鎮(zhèn)江 212013)
遙感圖像超分辨率重建是對(duì)具有互補(bǔ)信息的低分辨率遙感圖像進(jìn)行處理,來獲得高分辨率遙感圖像的技術(shù)[1]。遙感圖像是遙感技術(shù)的數(shù)據(jù)支撐和應(yīng)用基礎(chǔ)[2],為監(jiān)視地球表面提供了豐富的信息,在災(zāi)害監(jiān)控、城市經(jīng)濟(jì)水平評(píng)估、資源勘探等領(lǐng)域具有廣泛的應(yīng)用。目前從衛(wèi)星獲得的遙感圖像質(zhì)量無法滿足地物目標(biāo)識(shí)別、土地檢測(cè)等應(yīng)用的需求[3-4],并且從硬件上著手提升遙感圖像成本高、難度大,因此嘗試從軟件上通過圖像處理技術(shù)使遙感影像分辨率得以提升,以較小的經(jīng)濟(jì)代價(jià)改善影像分辨率,提高影像利用效益。由此可見,遙感圖像超分辨率重建技術(shù)的研究具有重要的研究意義。
隨著深度學(xué)習(xí)的發(fā)展,人們將深度學(xué)習(xí)方法用于圖像超分辨率重建,該方法提升了超分辨率算法的重建效果并且克服了傳統(tǒng)算法的缺點(diǎn)。深度學(xué)習(xí)方法在自然圖像超分辨率重建上的成功讓很多遙感領(lǐng)域的學(xué)者將它應(yīng)用在遙感圖像超分辨率重建中,并且取得了不錯(cuò)的效果。
隨著基于深度學(xué)習(xí)的遙感圖像超分辨率重建問題研究的深入,大量方法不斷出現(xiàn)。一些學(xué)者對(duì)該領(lǐng)域工作進(jìn)行了綜述[5-6],但涉及算法種類少,分類不夠全面。因此,本文在前人工作的基礎(chǔ)上,對(duì)基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法進(jìn)行系統(tǒng)總結(jié),總體框架如圖1所示。
圖1 基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法框架圖Figure 1 Fram diagram classification of super-resolution reconstruction method of remote sensing image based on deep learing
傳統(tǒng)的遙感圖像超分辨率重建方法主要有3類:頻域法、空域法和頻域-空域結(jié)合的方法。頻域法主要分為頻譜解混疊算法、遞歸最小二乘法等,基于的理論前提過于理想化,不能有效地應(yīng)用于多個(gè)場(chǎng)合,所以目前這類方法已不再成為研究的主流;空域法雖然靈活性好,但是涉及幀內(nèi)運(yùn)動(dòng)模糊、光學(xué)模糊以及其他復(fù)雜的降質(zhì)模型等諸多因素,導(dǎo)致其優(yōu)化方法復(fù)雜,計(jì)算的代價(jià)大,不能成為主流的方法;頻域-空域結(jié)合的方法雖然結(jié)合了頻域法和空域法的優(yōu)勢(shì),但運(yùn)算復(fù)雜,計(jì)算量大,也不能成為主流的方法[7]。
基于深度學(xué)習(xí)的圖像超分辨率重建方法最先由Dong等[8]于2016年提出,深度學(xué)習(xí)方法打破了頻域法、空域法和頻域-空域法的局限性,在重建效果上有了很大的提升,該方法步驟如圖2所示。先將低分辨率和高分辨率遙感圖像對(duì)送入深度學(xué)習(xí)方法中進(jìn)行學(xué)習(xí)訓(xùn)練,得到低分辨率和高分辨率遙感圖像之間的關(guān)系,再將低分辨率遙感圖像送入訓(xùn)練好的深度模型中,得到重建后的超分辨率遙感圖像。目前,最常用的基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法主要有2種架構(gòu),分別是基于CNN(convolutional neural networks)的方法和基于GAN(generative adversarial network)的方法,在這些架構(gòu)基礎(chǔ)上,研究者們根據(jù)遙感圖像的不同特點(diǎn),設(shè)計(jì)、組合不同的模塊來提高遙感圖像的超分辨率重建效果[9]。
圖2 基于深度學(xué)習(xí)的遙感圖像超分辨率重建步驟Figure 2 Steps of super-resolution reconstruction of remote sensing image based on deep learning
單圖像超分辨率重建方法可以有效地用于一般的分類、目標(biāo)檢測(cè)和對(duì)象提取等計(jì)算機(jī)視覺任務(wù)的預(yù)處理操作。目前單幅遙感圖像超分辨率重建常常采用CNN和GAN兩種網(wǎng)絡(luò)。
在遙感圖像超分辨率重建領(lǐng)域,有3種最常用的CNN架構(gòu),分別為SRCNN(deep convolutional networks for super-reselution)、VDSR[10](very deep convolutional networks for super-reselution)和EDSR[11](enhanced deep residual networks for super-reselution),這3種方法在自然圖像的超分辨率重建上均取得了不錯(cuò)的效果。SRCNN是第一個(gè)將CNN應(yīng)用于超分辨率問題的方法;VDSR在SRCNN的基礎(chǔ)上引入了殘差網(wǎng)絡(luò),擴(kuò)展了SRCNN的功能;EDSR是目前通用圖像超分辨率重建性能最好的方法之一。在這些架構(gòu)的基礎(chǔ)上,根據(jù)各種遙感圖像超分辨率重建任務(wù)的獨(dú)特性,研究者們?cè)O(shè)計(jì)出了不同模型,本節(jié)將給出其中具有代表性的幾種網(wǎng)絡(luò)模型。
2.1.1 基于SRCNN的遙感圖像超分辨率重建
Liebel等[12]首次提出將SRCNN用于單幅遙感圖像超分辨率重建。在這項(xiàng)工作中,使用專門設(shè)計(jì)的由Sentinel-2遙感圖像組成的數(shù)據(jù)集來訓(xùn)練SRCNN。結(jié)果表明,該方法比傳統(tǒng)的雙三次插值方法取得的效果好,并且速度快、易于訓(xùn)練,這也說明了基于深度學(xué)習(xí)方法的有效性。但是該方法沒有考慮遙感圖像尺度多樣性的特點(diǎn),所以重建效果不太明顯,于是人們根據(jù)遙感圖像的尺度多樣性特點(diǎn),提出了許多基于多尺度特征提取的方法。
2.1.2 基于多尺度特征提取的遙感圖像超分辨率重建
由于遙感圖像和自然圖像有很大的不同,遙感圖像中包含的物體和環(huán)境常常耦合在一起,而且圖像尺度跨度較大,但是目前大部分網(wǎng)絡(luò)都是在單個(gè)對(duì)象范圍內(nèi)構(gòu)建字典或者先驗(yàn)知識(shí),忽略了環(huán)境信息。于是Lei等[13]提出一種基于VDSR[10]的網(wǎng)絡(luò),稱為局部-全局結(jié)合網(wǎng)絡(luò)(local-global combined networks,LGCNet)。如圖3所示,該網(wǎng)絡(luò)包括3個(gè)部分:①特征提取部分,利用L層卷積,獲取不同層的特征表示;②局部-全局信息結(jié)合部分,這部分也是整個(gè)LGCNet的核心部分,主要將不同層的結(jié)果級(jí)聯(lián)起來,也就是所謂的“多叉結(jié)構(gòu)”;③重建部分,重建出高分辨率的遙感圖像。該方法在UC Merced數(shù)據(jù)集的上進(jìn)行實(shí)驗(yàn),結(jié)果表明,和SRCNN相比,可以實(shí)現(xiàn)更高質(zhì)量的重建效果。
圖3 LGCNet網(wǎng)絡(luò)結(jié)構(gòu)Figure 3 Structure of LGCNet network
Xu等[14]也針對(duì)多個(gè)尺度特征提取的問題,提出深度記憶連接網(wǎng)絡(luò)(deep memory connected network,DMCN)。DMCN是一種對(duì)稱的沙漏結(jié)構(gòu)CNN,具有多個(gè)跳躍連接。該網(wǎng)絡(luò)在NWPU-RESISC45、UC Merced和GaoFen1數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,與LGCNet[13]相比,雖然它的重建效果只有略微的提升,但是內(nèi)存占用量和測(cè)試時(shí)間都大大減少了。
上述研究雖然都使用了多尺度特征提取的方法,但是網(wǎng)絡(luò)較深且結(jié)構(gòu)單一,不能靈活適應(yīng)多尺度特征,于是Wang等[15]提出了一種用于遙感圖像的超分辨率重建的自適應(yīng)多尺度特征融合網(wǎng)絡(luò)。該方法提出了一種自適應(yīng)多尺度特征提取模塊,該模塊結(jié)合了擠壓激勵(lì)網(wǎng)絡(luò)和自適應(yīng)門控機(jī)制。通過該模塊可以自適應(yīng)地將提取的多尺度信息進(jìn)行融合,該方法優(yōu)于SRCNN、ESPCN[16](efficient sub-pixel convolutional neural network for super-reselution)、MSRN[17](multi-scale residual network for image super-resolution)等經(jīng)典方法。
2.1.3 結(jié)合小波變換的遙感圖像超分辨率重建
Ma等[18]提出另外一種結(jié)合小波變換和帶有局部、全局殘差連接的CNN超分辨率重建網(wǎng)絡(luò)結(jié)構(gòu)(wavelet transform combined with the recursire res-net, WTCRR)。如圖4所示,該網(wǎng)絡(luò)帶有局部和全局的殘差連接,通過關(guān)注頻域來解決超分辨率重建問題。該網(wǎng)絡(luò)包含3個(gè)部分:分解、預(yù)測(cè)和重建。分解部分就是將經(jīng)過雙三次插值的圖像通過2D離散小波變換分解為4張低分辨率圖像;預(yù)測(cè)部分指的是把上一步分解出的4張圖像輸入到具有遞歸和殘差網(wǎng)絡(luò)的CNN網(wǎng)絡(luò)結(jié)構(gòu)中,得到初步的預(yù)測(cè)結(jié)果;重建部分將預(yù)測(cè)部分得到的圖片通過逆離散小波變換進(jìn)行組合,重建出最終的高分辨率圖像。該方法在NWPU-RESISC45數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明,與DRNN[19](deep recurrent neural network)相比,該方法重建后的圖片邊緣有所改進(jìn)。
圖4 WTCRR網(wǎng)絡(luò)結(jié)構(gòu)Figure 4 Structure of WTCRR network
2.1.4 高放大因子的遙感圖像超分辨率重建
目前,適度放大單幅遙感圖像空間分辨率(例如×2、×3)的問題得到了有效的解決,但是高放大因子(例如×4、×8)的遙感圖像超分辨率重建仍是個(gè)難題。Pan等[20]針對(duì)上述問題提出快速殘差密集反投影網(wǎng)絡(luò)(fast residual dense backprojection network,F(xiàn)RDBPN),該方法受文獻(xiàn)[21]中自然圖像超分辨率重建方法的啟發(fā),采用上投影和包含特定卷積和擴(kuò)張卷積序列的下采樣單元以及全局和局部殘差連接。該方法在UC Merced數(shù)據(jù)上的實(shí)驗(yàn)表明,與其他基于深度學(xué)習(xí)的自然圖像超分辨率重建方法相比,該方法在重建效果上有所提升。
生成對(duì)抗網(wǎng)絡(luò)(GAN)是一種深度模型,模型中至少包含2個(gè)模塊:生成模型和判別模型,通過這2個(gè)模型的相互博弈學(xué)習(xí)產(chǎn)生好的結(jié)果?;谏蓪?duì)抗網(wǎng)絡(luò)的圖像超分辨率重建方法是由Ledig等[22]提出。隨后研究者們將GAN用于遙感圖像的超分辨率重建,針對(duì)不同的遙感圖像超分辨率任務(wù)設(shè)計(jì)出不同模塊組合。本小節(jié)主要介紹幾種具有代表性的基于GAN網(wǎng)絡(luò)的單幅遙感圖像超分辨率重建模型。
2.2.1 沙漏狀生成網(wǎng)絡(luò)的遙感圖像超分辨率重建
Haut等[23]聚焦于生成模型,提出一種沙漏狀的生成網(wǎng)絡(luò)架構(gòu)。該網(wǎng)絡(luò)以無監(jiān)督的方式進(jìn)行訓(xùn)練。生成網(wǎng)絡(luò)將隨機(jī)噪聲作為輸入,通過下采樣生成低空間分辨率數(shù)據(jù),并傳遞給上采樣結(jié)構(gòu),如此反復(fù)優(yōu)化,最終生成高分辨率圖片。與目前最新的無監(jiān)督方法相比,該模型在UC Merced、RSCNN7和NWPU-RESIS45數(shù)據(jù)集上取得了不錯(cuò)的效果,尤其當(dāng)圖像放大4倍時(shí),效果更好。
2.2.2 邊緣增強(qiáng)網(wǎng)絡(luò)的遙感圖像超分辨率重建
由于受噪聲的污染,遙感圖像恢復(fù)高頻邊緣細(xì)節(jié)方面仍然需要改善。于是,Jiang等[24]提出一種基于生成對(duì)抗網(wǎng)絡(luò)的邊緣增強(qiáng)網(wǎng)絡(luò),該網(wǎng)絡(luò)的生成網(wǎng)絡(luò)由兩個(gè)子網(wǎng)絡(luò)超密集子網(wǎng)(ultra dense sub network,UDSN)和邊緣增強(qiáng)子網(wǎng)(edge-enhancement sub network,EESN)組成。當(dāng)UDSN用于重建圖像時(shí),重建結(jié)果看上去很銳化,邊緣受噪聲污染嚴(yán)重,因此,專門設(shè)計(jì)了EESN通過學(xué)習(xí)噪聲掩碼來增強(qiáng)邊緣。該方法相比經(jīng)典的SRCNN、VDSR[10]和SRGAN[22]方法的重建效果有很大提升。
2.2.3 可跨傳感器的遙感圖像超分辨率重建
用于遙感圖像超分辨率重建的數(shù)據(jù)通常局限于特定的位置和特定的傳感器,導(dǎo)致不同位置和傳感器之間推廣模型的能力有限。于是Xiong等[25]修改了SRGAN的損失函數(shù)和網(wǎng)絡(luò)結(jié)構(gòu),并提出改進(jìn)的SRGAN方法(improved SRGAN,ISRGAN)。ISRGAN方法使得模型訓(xùn)練更加穩(wěn)定,并增強(qiáng)了泛化能力,實(shí)現(xiàn)遙感圖像一次訓(xùn)練,就可以用于任何地方和不同的傳感器。實(shí)驗(yàn)結(jié)果表明,使用ISRGAN超分辨率重建之后的土地覆蓋分類的準(zhǔn)確性可以得到顯著提高,尤其在具有高分辨率紋理道路和建筑物上,準(zhǔn)確率提高了15%。
單幅遙感圖像的超分辨率重建技術(shù)引起了計(jì)算機(jī)視覺和深度學(xué)習(xí)社區(qū)的廣泛關(guān)注,但是對(duì)于更通用的多幅遙感圖像超分辨率重建方法卻沒有太多的研究,特別是基于深度學(xué)習(xí)的方法。與單幅遙感圖像超分辨率重建相比,多幅遙感圖像超分辨率重建中包含有更多的互補(bǔ)信息,過程也更具有挑戰(zhàn)性,需要解決多個(gè)低分辨率圖像之間聯(lián)合配準(zhǔn)和融合等額外問題。
針對(duì)上述提出的挑戰(zhàn),Deudon等[26]提出了HightRes-net網(wǎng)絡(luò),首次將深度學(xué)習(xí)的方法引用到多幅遙感圖像超分辨率重建中,該方法以端到端的方式學(xué)習(xí)子任務(wù),子任務(wù)包括:①圖像配準(zhǔn);②圖像融合;③上采樣;④配準(zhǔn)損失函數(shù)。圖5為HightRes-net網(wǎng)絡(luò)結(jié)構(gòu)圖。如圖5(a)所示,HightRes-net是一種深層結(jié)構(gòu),通過參考幀通道,學(xué)習(xí)將任意數(shù)量的低分辨率圖像進(jìn)行聯(lián)合配準(zhǔn),然后進(jìn)行上采樣和超分辨率重建。如圖5(b)所示,將得到的Shiftnet損失反饋到HightRes-net模型中,得到重建圖片。Shiftnet損失ISRGAN函數(shù)保證了多幅遙感圖像的超分辨率重建不會(huì)因?yàn)榕錅?zhǔn)不足、亞像素偏移等導(dǎo)致輸出結(jié)果模糊。結(jié)果表明,該方法達(dá)到很好的超分辨率效果并且在歐洲航天局的真實(shí)遙感圖像的多幅超分辨率重建比賽中取得較好的成績(jī)。
圖5 HightRes-net網(wǎng)絡(luò)結(jié)構(gòu)圖Figure 5 Structure of HightRes-net network
本文還總結(jié)了多/高光譜遙感圖像的空間分辨率和光譜分辨率的重建方法。光譜圖像包含數(shù)百個(gè)波段,提供了豐富的光譜特征,每張圖像代表不同電磁波段下場(chǎng)景的反射率和輻射率,這種物理表示在許多應(yīng)用中起著至關(guān)重要的作用,例如遙感分類、目標(biāo)檢測(cè)和異常檢測(cè)。但是由于硬件限制,收集高質(zhì)量的高光譜圖像比全色圖像困難,并且分辨率也較低,因此超分辨率重建技術(shù)也被引入到該領(lǐng)域。Li等[27]和Wang等[28]將深度學(xué)習(xí)的方法用于多/高光譜遙感圖像超分辨率重建,隨后學(xué)者們積極地探索基于深度學(xué)習(xí)的多/高光譜圖像超分辨率重建方法,下面將介紹幾種有代表性的方法。
Yuan等[29]將用在自然圖像上預(yù)先訓(xùn)練的單圖像超分辨率重建方法SRCNN用來獨(dú)立增強(qiáng)多/高光譜遙感圖像的每個(gè)頻段,并借鑒轉(zhuǎn)移學(xué)習(xí)思想將其轉(zhuǎn)化為高光譜圖像。另外,為了研究低分辨率和多/高分辨率高光譜圖像之間的光譜性質(zhì),還提出了協(xié)作非負(fù)矩陣分解來增強(qiáng)低分辨率和高分辨率光譜之間的關(guān)聯(lián)。實(shí)驗(yàn)結(jié)果表明,所提方法不需要相同場(chǎng)景的任何輔助圖像就可以達(dá)到不錯(cuò)的超分辨率效果。He等[30]也考慮了Yuan等[29]的方法,首先,用自然圖像訓(xùn)練拉普拉斯金字塔網(wǎng)絡(luò)[31];其次,利用預(yù)訓(xùn)練好的網(wǎng)絡(luò)對(duì)多/高光譜遙感圖像的每個(gè)波段進(jìn)行超分辨率重建;最后,利用編碼光譜在低空間分辨率多/高光譜圖像上進(jìn)行訓(xùn)練,來提高多/高光譜分辨率。
大多數(shù)基于CNN的圖像超分辨率重建網(wǎng)絡(luò),都是使用默認(rèn)的L2損失函數(shù),但是對(duì)于高光譜圖像,該損失函數(shù)可能會(huì)導(dǎo)致光譜不一致。對(duì)多/高光譜圖像的超分辨率重建,損失函數(shù)不僅應(yīng)該關(guān)注空間信息,還要關(guān)注光譜信息。于是Zheng等[32]提出一種同時(shí)考慮空間和光譜信息的多損失函數(shù)網(wǎng)絡(luò),它由串聯(lián)密集殘差網(wǎng)絡(luò)(concatenate dense residual network,CDRN)和損失網(wǎng)絡(luò)(loss network,LN)組成。CDRN是圖像重建部分;LN包括像素的空間損失和光譜損失,它驅(qū)動(dòng)整個(gè)模型的學(xué)習(xí)。該方法與VDSR和EDSR相比,峰值信噪比分別提高了1.8 dB和0.5 dB。
目前前沿的基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法的常見數(shù)據(jù)集如下。
(1)UC Merced數(shù)據(jù)集[33],它是一個(gè)用于研究土地利用的數(shù)據(jù)集,一共有2 100張圖片,包含21類場(chǎng)景,每類100張,每張圖片的像素大小為256×256。
(2)RSCNN7數(shù)據(jù)集[34],一共包含2 800幅遙感圖像,分別來自7個(gè)不同的場(chǎng)景類別,每個(gè)類別包含400張圖像。
(3)NWPU-RESISC45[35]數(shù)據(jù)集,來自西北工業(yè)大學(xué),一共含有31 500張圖片,分為45個(gè)場(chǎng)景類別,每類有700張,每張圖像的像素大小為256×256。
(4)Kaggle開源數(shù)據(jù)集,該數(shù)據(jù)集中Draper衛(wèi)星圖像包含了1 000多張?jiān)谀霞又菖臄z的高分辨率航空照片。
(5)Sentinel-2數(shù)據(jù)集,它是Sentinel系列里的一個(gè)系列,數(shù)據(jù)免費(fèi),主要有效載荷是多光譜成像儀,共有13個(gè)波段,光譜在0.4~2.4 μm,涵蓋了可見光、近紅外和短波紅外,并且該數(shù)據(jù)集作為L(zhǎng)andsat系統(tǒng)在對(duì)地觀測(cè)領(lǐng)域的補(bǔ)充,目前應(yīng)用越來越多。
表1展示了在×2、×3、×4放大因子下,不同的遙感圖像超分辨率重建方法與雙三次插值相比,峰值信噪比PSNR提升的百分比。單幅遙感圖像超分辨率重建方法的結(jié)果表明,使用基于GAN的結(jié)構(gòu),并在通用圖像上進(jìn)行預(yù)訓(xùn)練,PSNR提升得更高,可以取得目前最好的重建效果。對(duì)于多/高光譜遙感圖像超分辨率重建方法,PSNR提升明顯較低,這主要是由于多/高光譜遙感圖像的特殊性造成的,這一結(jié)果表明,同時(shí)利用空間和光譜信息,可以獲得更好的性能。
表1 不同的遙感圖像超分辨率重建方法與雙三次插值相比的PSRN提升百分比Table 1 The PSRN improvement performance of different remote sensing image super-reconstruction methods compared with bicubic
自從SRCNN被用于遙感圖像的超分辨率重建以來,各種基于深度學(xué)習(xí)的方法被用于遙感圖像的超分辨率重建,總結(jié)上述具有代表性的遙感圖像超分辨率重建算法,可以發(fā)現(xiàn):
(1)從模型類型來看,基于CNN的方法仍然是目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建中的主流方法,但也有少部分學(xué)者將其他的深度模型應(yīng)用于遙感圖像的超分辨率重建中。
(2)從單幅遙感圖像重建方法及其效果來看,基于GAN的方法可以取得目前最好的重建效果,這與在自然圖像上的方法結(jié)果是一致的。
(3)對(duì)于多幅遙感圖像超分辨率重建而言,需要考慮圖像配準(zhǔn)和融合等額外問題,所以重建模型會(huì)比較大,并且目前基于深度學(xué)習(xí)的多幅遙感圖像超分辨率重建方法較少,主要都是針對(duì)單幅遙感圖像重建的方法。
(4)對(duì)于多/高光譜遙感圖像超分辨率重建的情況,性能最好的方法是同時(shí)注意提高空間分辨率和光譜分辨率,而不是像早期的方法那樣只是獨(dú)立地考慮光譜通道。
(5)大部分的基于深度學(xué)習(xí)的遙感圖像超分辨率重建網(wǎng)絡(luò)使用的是L1和L2損失函數(shù),這兩個(gè)損失函數(shù)都是基于像素差異。對(duì)于多/高光譜遙感圖像進(jìn)行光譜分辨率重建時(shí),需要設(shè)計(jì)合適的光譜信息損失函數(shù),這樣才能生成高質(zhì)量的多/高光譜遙感圖像。
遙感圖像的超分辨率重建是近幾年來計(jì)算機(jī)視覺和圖像處理領(lǐng)域的研究熱點(diǎn),具有重要的研究意義和應(yīng)用價(jià)值。在農(nóng)業(yè)遙感領(lǐng)域[36],可以利用遙感技術(shù)進(jìn)行種植土地分析、農(nóng)業(yè)資源調(diào)查等。在生態(tài)環(huán)境和應(yīng)急管理領(lǐng)域,可以通過超分辨率遙感圖像檢測(cè)大氣污染、監(jiān)測(cè)生態(tài)紅線、獲取災(zāi)情信息等。在公共安全領(lǐng)域,可以利用超分辨率遙感圖像進(jìn)行目標(biāo)檢測(cè)[37]、目標(biāo)識(shí)別[38-39]和目標(biāo)跟蹤等。遙感圖像超分辨率重建相關(guān)技術(shù)的發(fā)展和成熟,全面促進(jìn)了其在各個(gè)計(jì)算機(jī)視覺領(lǐng)域的深入應(yīng)用[40-44],同時(shí)也給未來的研究工作提出了更高更新的要求。結(jié)合目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法中存在的不足[45-48],認(rèn)為基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法未來還可以從以下幾個(gè)方面著手進(jìn)行深入研究。
(1)研究針對(duì)遙感圖像特點(diǎn)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。盡管現(xiàn)有基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法已經(jīng)取得了不錯(cuò)成果,但是遙感圖像具有尺度多樣性、視角特殊性、多方向和背景復(fù)雜度高等特點(diǎn),所以如何利用現(xiàn)有技術(shù)(如注意力機(jī)制、多尺度特征融合、強(qiáng)化學(xué)習(xí)等)構(gòu)建更高效的和適應(yīng)遙感圖像特點(diǎn)的超分辨率網(wǎng)絡(luò)仍然是一個(gè)值得探索的問題。
(2)研究無監(jiān)督學(xué)習(xí)的遙感圖像超分辨率重建方法。遙感圖像在同一場(chǎng)景下的不同分辨率的圖像很難獲取,所以缺乏訓(xùn)練樣本,而且目前主要的研究是有監(jiān)督的遙感圖像超分辨率重建方法,但是有監(jiān)督學(xué)習(xí)的超分辨率重建方法訓(xùn)練出來的模型不能很好地應(yīng)對(duì)一些實(shí)際場(chǎng)景的超分辨率重建任務(wù),所以無監(jiān)督的遙感圖像超分辨率重建模型具有重要的研究?jī)r(jià)值。
(3)研究多源遙感圖像的超分辨率重建方法。融合同一場(chǎng)景不同傳感器的圖像信息(包括空間信息、時(shí)間信息、光譜信息和位置信息等),目前基于深度學(xué)習(xí)的遙感圖像超分辨率重建方法中,大多只是根據(jù)一種信息來進(jìn)行重建,模型學(xué)習(xí)到的信息較少,重建效果有限,所以研究多源遙感圖像信息的融合問題,充分挖掘這些互補(bǔ)信息,以提高遙感圖像重建效果,這也是未來一個(gè)十分重要的研究方向。