孔愛玲， 張承明， 李峰， 韓穎娟， 孫煥英， 杜漫飛

(1.山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院，泰安 271018； 2.山東省氣候中心，濟(jì)南 250031；3.中國(guó)氣象局旱區(qū)特色農(nóng)業(yè)氣象災(zāi)害監(jiān)測(cè)預(yù)警與風(fēng)險(xiǎn)管理重點(diǎn)實(shí)驗(yàn)室，銀川 750002; 4.航天宏圖信息技術(shù)股份有限公司，北京 100195)

0 引言

目前，由于傳感器技術(shù)的限制，單一傳感器還不能直接獲取到同時(shí)具有高光譜分辨率、高空間分辨率的圖像，衛(wèi)星遙感平臺(tái)上一般同時(shí)安裝有兩臺(tái)傳感器，分別用于獲取高空間分辨率的全色圖像和多光譜圖像[1]。在應(yīng)用時(shí)，通常需要先利用圖像融合技術(shù)對(duì)全色圖像和多光譜圖像進(jìn)行融合，以獲取同時(shí)具有高光譜分辨率和高空間分辨率的圖像[2]。

傳統(tǒng)的圖像融合方法主要有成分替代(component substitution,CS)[3]、多分辨率分析(multiresolution analysis,MRA)[4]和稀疏表示(spare representation,SR)[5]。CS融合方法首先將多光譜圖像(multispectral,MS)轉(zhuǎn)化到另一個(gè)空間，將空間結(jié)構(gòu)和光譜信息分離為不同的成分； 然后，將轉(zhuǎn)化后的MS圖像中具有空間結(jié)構(gòu)的分量替換為全色圖像(panchromatic,PAN)。經(jīng)典的基于CS的融合方法包括強(qiáng)度-色調(diào)-飽和度(intensity-hue-saturation,IHS)融合方法[6]、主成分分析(principal component analysis，PCA)融合方法[7]和施密特正交化方法(gram-schmidt,GS)[8]。基于CS的方法可以獲得豐富的細(xì)節(jié)，但光譜失真往往比較嚴(yán)重。MRA融合方法的核心是多尺度細(xì)節(jié)提取和注入。通常采用MRA方法從PAN圖像中提取空間細(xì)節(jié)，然后將其注入上采樣的多光譜圖像中。廣泛使用的MRA方法包括拉普拉斯金字塔[9]、小波變換[10,11]、curvelet變換[12]、非下采樣contourlet變換[13,14]、sheartlet變換[15]、非下采樣sheartlet變換[16]。與基于CS的方法相比，基于MRA的方法將提取到的全色圖像的細(xì)節(jié)信息注入到多光譜圖像中能夠更好地保持光譜特性。稀疏表示的核心思想是將圖像表示為一個(gè)過(guò)完整字典中最少原子的線性組合，但是該方法比較復(fù)雜和費(fèi)時(shí)[17]。

近年來(lái)，基于深度學(xué)習(xí)的遙感圖像融合方法受到了廣泛的關(guān)注，如以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的融合網(wǎng)絡(luò) (pansharpening by convolutional neural networks，PNN)[18]，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)自適應(yīng)融合網(wǎng)絡(luò)(target-adaptive CNN-based pansharpening，Target-PNN)[19〗，多尺度多深度卷積神經(jīng)網(wǎng)絡(luò)(multi-scale and multi-depth convolutional neural network，MSDCNN)[20]，采用深度網(wǎng)絡(luò)結(jié)構(gòu)的圖像融合(a deep network architecture for pan-sharpening，PanNet)[21]，遙感圖像融合深度卷積神經(jīng)網(wǎng)絡(luò)(remote sensing image fusion with deep convolutional neural network ,RSIFNN)[22]，基于卷積自編碼器的MS融合(convolutional autoencoder-based multispectral image fusion,CAE)[23]。其中，PNN網(wǎng)絡(luò)首次在圖像融合任務(wù)中使用卷積神經(jīng)網(wǎng)絡(luò)，其將插值后的多光譜圖像和全色圖像拼接起來(lái)輸入網(wǎng)絡(luò)中進(jìn)行端對(duì)端的訓(xùn)練，網(wǎng)絡(luò)直接學(xué)習(xí)輸入和高分辨率圖像之間的關(guān)系； PanNet網(wǎng)絡(luò)將全色圖像和多光譜圖像的高頻細(xì)節(jié)信息拼接起來(lái)輸入到殘差網(wǎng)絡(luò)中進(jìn)行特征提取與融合，然后將提取到的高頻細(xì)節(jié)信息注入上采樣后的低分辨率多光譜圖像中。與傳統(tǒng)的基于CS和基于MRA的算法相比，基于CNN的方法顯著提高了圖像融合的性能，但這些方法還存在一些問(wèn)題，主要有： Target-PNN和RSIFNN都缺乏具體的紋理細(xì)節(jié)處理，導(dǎo)致融合后的圖像紋理細(xì)節(jié)不夠清晰。PNN只是單純地將全色圖像和上采樣的多光譜圖像輸入卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，沒(méi)有根據(jù)全色圖像和多光譜圖像各自的特點(diǎn)有針對(duì)的進(jìn)行特征提取和融合，可能會(huì)導(dǎo)致一些光譜和空間結(jié)構(gòu)的失真。PanNet雖然增強(qiáng)了紋理細(xì)節(jié)，但沒(méi)有考慮MS圖像光譜通道之間的關(guān)系，可能會(huì)導(dǎo)致一些光譜失真。

注意力機(jī)制源于對(duì)人類視覺(jué)的研究，在認(rèn)知學(xué)中，人類會(huì)有選擇地關(guān)注所有信息的一部分，同時(shí)忽略其他可見信息。該思想最早應(yīng)用在自然語(yǔ)言的處理中。后來(lái)，研究者提出了注意力機(jī)制模型(squeeze-and-excitation networks，SENet)，該模型通過(guò)對(duì)輸入的信息進(jìn)行擠壓、激勵(lì)和特征重標(biāo)定，對(duì)每個(gè)特征通道賦予不同的權(quán)重[24]。該網(wǎng)絡(luò)結(jié)構(gòu)被廣泛應(yīng)用于目標(biāo)檢測(cè)、圖像分類等任務(wù)中，取得了很好的效果。在圖像融合任務(wù)中，需要通過(guò)神經(jīng)網(wǎng)絡(luò)對(duì)全色和多光譜圖像的所有特征進(jìn)行融合操作，但是這樣會(huì)產(chǎn)生大量的冗余信息，如何更準(zhǔn)確高效地融合特征信息成為了一個(gè)亟待解決的問(wèn)題。注意力機(jī)制則可以通過(guò)對(duì)特征賦予權(quán)重來(lái)解決這個(gè)問(wèn)題。

先驗(yàn)知識(shí)是人們通過(guò)經(jīng)驗(yàn)或者數(shù)理統(tǒng)計(jì)等方法得到的對(duì)于事物特性的描述，被廣泛應(yīng)用于自然圖像去模糊、自然圖像去噪中[25]。常用的自然圖像先驗(yàn)知識(shí)有自然圖像的局部平滑性、非局部自相似性、稀疏性等特征。受自然圖像先驗(yàn)知識(shí)的啟發(fā)，考慮到歸一化植被指數(shù)(normalized difference vegetation index，NDVI)能夠反映土地植被的分布信息，歸一化水指數(shù)(normalized difference water index，NDWI)反映了水體的分布信息，而植被和水體是能夠影響光譜的兩種主要信息。所以，我們利用這兩種信息作為先驗(yàn)知識(shí)，對(duì)遙感影像的融合過(guò)程進(jìn)行約束，可以進(jìn)一步提高融合效果，改善光譜失真的問(wèn)題。

基于上述分析，本文提出一種新的圖像融合模型——基于知識(shí)引導(dǎo)的遙感影像融合模型(remote sensing image FuseNet，RSFuseNet)來(lái)改善融合過(guò)程中的光譜失真和空間結(jié)構(gòu)失真問(wèn)題。本文在RSFuseNet模型中引入了SENet網(wǎng)絡(luò)中的擠壓激勵(lì)(squeeze-and-excitation，SE)結(jié)構(gòu)，通過(guò)對(duì)圖像的特征進(jìn)行擠壓、激勵(lì)操作學(xué)習(xí)每個(gè)特征通道的權(quán)重，將學(xué)到的權(quán)重賦予圖像的每個(gè)特征通道，以此來(lái)有針對(duì)性地抑制無(wú)用信息，增強(qiáng)有用信息，減少了冗余信息在網(wǎng)絡(luò)中的傳遞和積累，提高了融合精度，縮短了模型的訓(xùn)練時(shí)間。根據(jù)全色圖像與多光譜圖像的特點(diǎn)引入先驗(yàn)知識(shí)——NDVI和NDWI來(lái)對(duì)融合過(guò)程中的光譜信息進(jìn)行約束。提高了融合過(guò)程中光譜信息的保真度，解決了圖像融合過(guò)程中容易產(chǎn)生的光譜失真問(wèn)題。

1 研究數(shù)據(jù)

1.1 遙感數(shù)據(jù)及其預(yù)處理

本文選擇山東省泰安市的兩幅高景一號(hào)影像，以及其對(duì)應(yīng)的高分六號(hào)影像制作數(shù)據(jù)集。每幅高景一號(hào)影像包含了全色波段和多光譜波段，全色波段的分辨率為0.5 m，多光譜波段的分辨率為2 m。每景高分六(GF-6)影像包含多光譜波段(藍(lán)、綠、紅、近紅外)和全色波段，空間分辨率分別為8 m和2 m，表1給出了本文所使用的高分六號(hào)衛(wèi)星的主要參數(shù)。

表1 高分6號(hào)衛(wèi)星的主要參數(shù)

圖像預(yù)處理主要包括幾何糾正、輻射校正等步驟。本文利用航天宏圖信息技術(shù)股份有限公司生產(chǎn)的新一代遙感與地理信息一體化軟件(pixel information expert，PIE)對(duì)高分六號(hào)衛(wèi)星的圖像以批處理的方式進(jìn)行預(yù)處理，包括： 大氣校正、幾何糾正、正射校正。經(jīng)過(guò)預(yù)處理后，得到空間分辨率為8 m的多光譜圖像和空間分辨率為2 m的全色圖像，其中，多光譜圖像包含藍(lán)、綠、紅、近紅外4個(gè)波段，全色圖像包含一個(gè)波段。在遙感圖像處理平臺(tái)(the environment for visualizing images，ENVI)中對(duì)高景一號(hào)多光譜影像進(jìn)行輻射定標(biāo)、大氣校正及正射校正，得到分辨率為2 m的多光譜影像。

1.2 數(shù)據(jù)集制作

通過(guò)1.1節(jié)中所述步驟，得到高分六號(hào)的全色與多光譜圖像及高景一號(hào)的多光譜圖像，將高分六號(hào)全色圖像裁剪成512×512大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_pan。將對(duì)應(yīng)的高分六號(hào)多光譜圖像裁剪成128×128大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_lrms。將對(duì)應(yīng)的高景一號(hào)的多光譜影像裁剪成512像素×512像素大小的TIF格式的圖片，圖片命名時(shí)采用在后綴的前面添加_target。將裁剪得到的數(shù)據(jù)的80%作為訓(xùn)練樣本，20%的數(shù)據(jù)作為測(cè)試樣本，分別放在train和test文件夾下，即得到實(shí)驗(yàn)所用的數(shù)據(jù)集。

2 研究方法

2.1 模型結(jié)構(gòu)

RSFuseNet模型的輸入數(shù)據(jù)為訓(xùn)練樣本中的高分六號(hào)全色、多光譜圖像，高景一號(hào)的多光譜圖像。其中，高分六號(hào)的全色圖像和多光譜圖像用來(lái)提取特征并進(jìn)行特征融合； 高景一號(hào)的多光譜圖像是參考圖像，用來(lái)計(jì)算模型的損失。模型結(jié)構(gòu)如圖1所示，主要包括特征提取模塊、自適應(yīng)SE模塊以及結(jié)合自適應(yīng)SE的卷積模塊。

圖1 RSFuseNet模型基本結(jié)構(gòu)圖

2.1.1 特征提取模塊

在進(jìn)行圖像融合前，全色圖像要經(jīng)過(guò)高通濾波器，提取高頻細(xì)節(jié)信息，過(guò)濾掉冗余的噪聲信息。構(gòu)建高通濾波器時(shí)，首先用均值濾波器獲取圖像的低頻信息，然后用原始圖像減去低頻信息即得到高頻信息。獲取全色圖像的高頻信息可以減少全色圖像中的噪聲信息對(duì)多光譜圖像中光譜信息的影響，充分發(fā)揮全色圖像中高頻紋理細(xì)節(jié)的優(yōu)勢(shì)，進(jìn)而使融合圖像的光譜信息和紋理信息達(dá)到最優(yōu)的效果。

多光譜圖像輸入模型后首先要進(jìn)行上采樣以達(dá)到與全色圖像相同的分辨率。鑒于雙三次插值法可以充分保持多光譜圖像的光譜信息，故采用雙三次插值進(jìn)行上采樣?？紤]到全色圖像的分辨率是多光譜圖像分辨率的4倍，遂采用分兩次上采樣來(lái)提升多光譜圖像的分辨率，每一次在原來(lái)的基礎(chǔ)上提升兩倍。上采樣模塊由一個(gè)雙三次插值層和一個(gè)1×1卷積的調(diào)整層組成。在上采樣后引入先驗(yàn)知識(shí)，即通過(guò)NDVI和NDWI的計(jì)算公式分別計(jì)算出上采樣后多光譜圖像的每個(gè)像素點(diǎn)的NDVI和NDWI的值，這些值分別組成2個(gè)矩陣，與上采樣后的多光譜圖像一起作為下一層卷積的輸入。NDVI和NDWI的計(jì)算公式為：

，

(1)

，

(2)

式中，NIR，R和G分別為多光譜圖像近紅外波段、紅色波段和綠色波段的反射率。

2.1.2 自適應(yīng)SE模塊

該模塊輸入的特征圖大小為c×h×w，其中c為通道數(shù)，h為高度，w為寬度。該模塊主要由一個(gè)全局平均池化層，兩個(gè)全連接層，一個(gè)ReLU激活函數(shù)層和一個(gè)Sigmoid激活函數(shù)層組成。全局平均池化層將輸入的特征圖壓縮為c×1×1的大小，也就是每一個(gè)通道得到一個(gè)值，這個(gè)值具有全局的感受野，它表征著在特征通道上響應(yīng)的全局分布。第一個(gè)全連接層將全局平均池化層中得到的結(jié)果降維到c/r×1×1的大小，這里的r采用上一層卷積的通道數(shù)也就是c，這也是該模塊叫作“自適應(yīng)”SE模塊的原因，即降維所用的參數(shù)能夠隨著輸入特征通道數(shù)的變化而變化，通過(guò)這種“自適應(yīng)”機(jī)制可以極大地減少參數(shù)量和計(jì)算量。ReLU層對(duì)第一層全連接層的結(jié)果進(jìn)行激活操作，第二個(gè)全連接層將特征升回到原始的維度。通過(guò)全連接層的降維和升維以及ReLU的激活操作可以增加模型的非線性，更好地?cái)M合通道間復(fù)雜的相關(guān)性。Sigmoid激活函數(shù)獲得每個(gè)特征通道的權(quán)重。最后將獲得的權(quán)重乘到每個(gè)通道的特征上，也就是圖中的×操作。具體見圖2。

圖2 自適應(yīng)SE模塊結(jié)構(gòu)圖

2.1.3 結(jié)合自適應(yīng)SE的卷積模塊

RSFuseNet模型的影像融合部分采用結(jié)合自適應(yīng)SE的卷積模塊。該模塊主要包括3個(gè)卷積單元，第一個(gè)和第二個(gè)卷積單元組成相同，都是由一個(gè)卷積層、一個(gè)激活函數(shù)層和一個(gè)自適應(yīng)SE模塊組成； 第三個(gè)卷積單元由一個(gè)卷積層和一個(gè)激活函數(shù)層組成。該模塊輸入為經(jīng)過(guò)高通濾波提取的全色圖像的高頻紋理信息、上采樣后分辨率與全色圖像相同的多光譜圖像和經(jīng)過(guò)逐像素計(jì)算得到的NDVI和NDWI。這樣，第一個(gè)卷積單元一共輸入7個(gè)波段，故該單元卷積層的輸入通道為7，卷積核大小為9×9，步長(zhǎng)大小為1，填充大小為4，輸出特征通道大小為48。第二個(gè)卷積單元卷積層的輸入通道為48，卷積核大小為5×5，步長(zhǎng)大小為1，填充大小為2，輸出通道的大小為32。第三個(gè)卷積單元卷積層的輸入通道為32，卷積核大小為5×5，步長(zhǎng)大小為1，填充大小為2，輸出通道大小為4。由于數(shù)據(jù)輸入模型時(shí)首先對(duì)其進(jìn)行歸一化操作，故卷積層后面沒(méi)有使用歸一化層。

2.2 訓(xùn)練模型

2.2.1 模型損失

由于圖像融合任務(wù)屬于回歸問(wèn)題，所以模型以均值平方差為基礎(chǔ)定義損失函數(shù)，均值平方差損失函數(shù)定義為：

(3)

式中：I(i,j)為目標(biāo)圖像第(i,j)個(gè)像素的值，即真值；K(i,j)為訓(xùn)練完成后結(jié)果圖像第(i,j)個(gè)像素的值；m為圖像的寬度；n為圖像的高度。

根據(jù)MSE函數(shù)，定義RSFuseNet模型的損失函數(shù)為loss，計(jì)算公式為:

，

(4)

(5)

(6)

式中：Lspectral(i,j)為融合圖像光譜部分的損失值；Lspatial(i,j)為融合圖像結(jié)構(gòu)部分的損失值；R(i,j)為參考圖像的值；upLR(i,j)為上采樣后的多光譜圖像的值；HRMS(i,j)為融合后得到的高分辨多光譜圖像的值。

2.2.2 訓(xùn)練方法

模型采用端對(duì)端的方式進(jìn)行訓(xùn)練，使用loss作為損失函數(shù)，使用隨機(jī)梯度下降算法 (stochastic gradient descent,SGD)作為優(yōu)化算法，具體訓(xùn)練步驟為：

1)確定訓(xùn)練過(guò)程中的超參數(shù)，并對(duì)模型的參數(shù)進(jìn)行初始化。

2)將制作出的訓(xùn)練圖像(包括全色，多光譜以及參考圖像)作為訓(xùn)練數(shù)據(jù)輸入到模型。

3)使用模型對(duì)當(dāng)前的訓(xùn)練數(shù)據(jù)進(jìn)行一次前向計(jì)算。

4)使用loss損失函數(shù)進(jìn)行計(jì)算損失。

5)使用隨機(jī)梯度下降算法，對(duì)模型的參數(shù)進(jìn)行更新，完成一次訓(xùn)練過(guò)程。

6)重復(fù)步驟3)—5)，直到損失函數(shù)小于指定的期望值或者損失值不再減小。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)計(jì)

本文以pytorch框架為實(shí)驗(yàn)平臺(tái)，以python語(yǔ)言對(duì)模型進(jìn)行編碼實(shí)現(xiàn)。使用一臺(tái)服務(wù)器開展對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)使用的操作系統(tǒng)為Ubuntu16.04，為了加速數(shù)據(jù)的運(yùn)行，裝載GPU TITAN X，并安裝CUDA和cuDNN加速。實(shí)驗(yàn)使用的數(shù)據(jù)集在1.2節(jié)已經(jīng)進(jìn)行了說(shuō)明，本實(shí)驗(yàn)采用1 850組圖像作為訓(xùn)練樣本、422組圖像作為測(cè)試樣本，訓(xùn)練樣本和測(cè)試樣本互不交叉。每一組圖像包括全色圖像、多光譜圖像、參考圖像。由于全色和多光譜圖像的空間分辨率之比為1∶4，參考圖像與全色圖像的空間分辨率相同，所以在這些樣本中，全色圖像和參考圖像的尺寸為512像素×512像素，多光譜圖像的尺寸為128像素×128像素。這些數(shù)據(jù)均由高分六號(hào)衛(wèi)星的PMS傳感器獲得、經(jīng)過(guò)預(yù)處理得到。另外，本文實(shí)驗(yàn)得到的結(jié)果圖像與高分六號(hào)全色圖像具有相同的空間分辨率，均為2 m，圖像尺寸為512像素×512像素。

本文將RSFuseNet模型與5種常見的圖像融合方法進(jìn)行比較，對(duì)比方法分別是GS變換、PCA、最鄰近插值融合方法(nearest neighbor diffusion，NNDiffuse)、PNN和PanNet。前3種是傳統(tǒng)的圖像融合算法，PNN和PanNet是深度學(xué)習(xí)的圖像融合算法(表2)。

表2 對(duì)比實(shí)驗(yàn)使用的模型

3.2 客觀評(píng)價(jià)指標(biāo)

客觀評(píng)價(jià)指標(biāo)可以定量地評(píng)價(jià)融合圖像的質(zhì)量情況，尤其是在圖像的一些微小的細(xì)節(jié)，僅僅依靠人眼很難發(fā)現(xiàn)圖像的優(yōu)劣，而采用客觀評(píng)價(jià)指標(biāo)，則可以通過(guò)數(shù)值的大小定量地評(píng)價(jià)圖像的好壞。因此，本文選擇峰值信噪比(peak signal to noise ratio,PSNR)[26]、結(jié)構(gòu)相似性指數(shù)(structural similarity,SSIM)[27]和光譜映射角(spectral angle mapper,SAM)[28]3種評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行定量評(píng)價(jià)，從不同的方面對(duì)圖像的質(zhì)量進(jìn)行評(píng)估。

PSNR主要用來(lái)評(píng)價(jià)圖像質(zhì)量的敏感性誤差，是衡量?jī)煞鶊D像差別的重要指標(biāo)，其計(jì)算公式為：

，

(7)

(8)

式中：H和W分別是圖像的高度和寬度；F和R分別為融合結(jié)果圖像和參考圖像。PSNR的值越大，表明融合圖像從原始圖像獲得的信息量越多，圖像和原始圖像相似度越高，融合效果越好。

SSIM從亮度(均值)、對(duì)比度(方差)和結(jié)構(gòu)3個(gè)層次中比較圖像的失真程度，取值范圍為[0,1]，值越大越好，其計(jì)算公式為：

(9)

SAM是可以計(jì)算兩幅圖像在每個(gè)像素處的光譜相似度的一種指標(biāo)。其值較低則表示較低的光譜失真和較好的圖像融合質(zhì)量。其計(jì)算公式為：

(10)

式中：Fj和Rj分別為F和R的第j個(gè)像素向量，F(xiàn)j,Rj為兩個(gè)向量的內(nèi)積，‖·‖為向量的L2范數(shù)。

3.3 實(shí)驗(yàn)結(jié)果

圖3—圖6分別給出了使用NNDiffuse，GS變換、PCA，PanNet，PNN和RSFuseNet方法對(duì)測(cè)試樣本進(jìn)行融合得到的結(jié)果圖。其中a列為用 NNDiffuse融合的結(jié)果圖，b列為用GS變換融合得到的結(jié)果圖，c列為用PCA融合的結(jié)果圖，d列為用PanNet模型融合得到的結(jié)果圖，e列為PNN模型的融合結(jié)果圖，f列為用RSFuseNet模型得到的融合結(jié)果圖。這些圖像中包含了建筑、農(nóng)田、大棚、道路、河流等地物，具有一定的代表性。

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

(a) NNDiffuse(b) GS(c) PCA(d) PanNet(e) PNN(f) RSFuseNet

綜合圖3—圖6可以看出，a列融合圖像顏色偏深，尤其是在有植被的地方，植被的不同區(qū)域展現(xiàn)出的不同顏色在融合圖像中無(wú)法具體區(qū)分。b列和c列圖像還是會(huì)存在部分光譜失真的現(xiàn)象，d列、e列、f列圖像在區(qū)分不同區(qū)域的植被顏色上都有了改進(jìn)，可以區(qū)分出不同區(qū)域不同的顏色。在圖像的紋理特征方面，d列和e列要比f(wàn)列稍遜色一些。在圖像的水體特征方面，通過(guò)圖6可以看出，與f列圖像相比，d列和e列圖像在水體的顏色方面存在著明顯的光譜失真，a列、b列和c列圖像存在著輕微的光譜失真，這也進(jìn)一步說(shuō)明了引入NDWI信息可以改善水體的光譜失真現(xiàn)象。仔細(xì)觀察上述圖像可以發(fā)現(xiàn)，f列圖像的結(jié)果在圖像的邊緣部分更清晰，比如在房子的邊緣、大棚的邊緣以及不同作物的邊緣，f列圖像得到的結(jié)果紋理更明顯，d列和e列則有一些模糊。這說(shuō)明了利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像融合的方法是優(yōu)于傳統(tǒng)的圖像融合方法的，而且不同的卷積神經(jīng)網(wǎng)絡(luò)算法對(duì)融合結(jié)果的影響不同。通道注意力層在圖像的融合過(guò)程中發(fā)揮了作用，能夠通過(guò)學(xué)習(xí)每個(gè)通道的特征信息并根據(jù)其重要程度賦予其權(quán)重，這樣，權(quán)重低的噪聲信息在圖像融合的過(guò)程中就會(huì)被相應(yīng)的抑制，從而使融合結(jié)果更精確。

各個(gè)模型的定量評(píng)價(jià)結(jié)果如表3所示，表中向上的箭頭表示該指標(biāo)的值越高，融合效果越好，向下的箭頭表示該指標(biāo)的值越低，融合效果越好?？梢钥吹絉SFuseNet模型的3個(gè)評(píng)價(jià)指標(biāo)的值均優(yōu)于對(duì)比模型。

表3 對(duì)比模型性能指標(biāo)表

通過(guò)圖3—圖6和表3的分析，可以發(fā)現(xiàn)不論是主觀視覺(jué)感受還是在客觀評(píng)價(jià)指標(biāo)，本文構(gòu)建的RSFuseNet模型都比其他方法表現(xiàn)出更好的效果。

4 討論

4.1 自適應(yīng)SE對(duì)結(jié)果精度的影響

使用自適應(yīng)SE模塊的目的，是為了對(duì)特征重標(biāo)定，從而達(dá)到根據(jù)特征的重要程度進(jìn)行特征融合的目的。在本研究開展的對(duì)比實(shí)驗(yàn)中，RSFuseNet，PanNet和PNN都是通過(guò)對(duì)輸入的特征進(jìn)行卷積操作達(dá)到特征融合的效果。不同的是，RSFuseNet在融合的過(guò)程中采用了自適應(yīng)SE模塊對(duì)特征進(jìn)行重標(biāo)定，而PanNet和PNN在融合的過(guò)程中沒(méi)有進(jìn)行特征的重標(biāo)定操作。

對(duì)比RSFuseNet模型和PanNet模型、PNN模型的融合結(jié)果，可以發(fā)現(xiàn)PanNet模型生成的圖像還普遍存在著棋盤化的現(xiàn)象； PNN模型的結(jié)果圖像在光譜上還是存在著一定的失真。RSFuseNet模型融合的結(jié)果圖像光譜信息較好，細(xì)節(jié)較豐富。尤其是在圖像中建筑的邊緣、道路、農(nóng)田中不同作物的邊緣以及大棚的邊緣，RSFuseNet的融合結(jié)果比PanNet，PNN的融合結(jié)果具有更加清晰的紋理。

造成這種現(xiàn)象的原因，主要是因?yàn)樵赗SFuseNet模型中使用了自適應(yīng)SE模塊。該模塊通過(guò)特征重標(biāo)定增強(qiáng)有用的特征，抑制無(wú)用的特征，從而能夠有針對(duì)性地進(jìn)行圖像融合，減少了冗余信息對(duì)融合結(jié)果的影響。

4.2 先驗(yàn)知識(shí)對(duì)結(jié)果精度的影響

目前，在圖像分類，圖像分割任務(wù)中需要根據(jù)先驗(yàn)知識(shí)對(duì)訓(xùn)練圖像做一個(gè)真值圖，以此來(lái)告訴深度學(xué)習(xí)模型哪些類型的地物是農(nóng)田，哪些地物類型是建筑、小麥、玉米、水體、道路等等。在圖像融合中無(wú)法細(xì)致地對(duì)每一類地物做出標(biāo)記，但是可以利用遙感影像便于計(jì)算的NDVI和NDWI屬性充當(dāng)先驗(yàn)信息來(lái)進(jìn)行圖像融合。因此，使用NDVI和NDWI這兩種先驗(yàn)知識(shí)的目的，是為了在模型中添加一些限制條件，達(dá)到對(duì)圖像融合約束的作用。在本研究開展的對(duì)比實(shí)驗(yàn)中，只有RSFuseNet模型使用了先驗(yàn)知識(shí)NDVI和NDWI。

對(duì)比RSFuseNet模型和GS，PCA，PanNet，PNN及NNDiffuse，可以發(fā)現(xiàn)NNDiffuse得到的結(jié)果圖像光譜失真比較嚴(yán)重，圖像顏色發(fā)暗，難以區(qū)分不同地物。GS和PCA得到的結(jié)果圖像存在著少許的光譜失真。PanNet和PNN模型的結(jié)果圖也存在著輕微的光譜失真。而RSFuseNet模型的結(jié)果圖像則幾乎沒(méi)有出現(xiàn)光譜失真現(xiàn)象，光譜信息更豐富，圖像質(zhì)量更高。

5 結(jié)論

針對(duì)遙感影像融合過(guò)程中容易出現(xiàn)的光譜失真和空間結(jié)構(gòu)失真問(wèn)題，本文利用注意力機(jī)制在特征提取方面的優(yōu)勢(shì)和先驗(yàn)知識(shí)的特性，建立了一種適用于高分六號(hào)遙感影像的融合模型。該模型利用注意力機(jī)制對(duì)圖像的特征通道賦予重要性，并根據(jù)重要程度對(duì)特征進(jìn)行后續(xù)的處理； 同時(shí)在融合過(guò)程中利用先驗(yàn)知識(shí)對(duì)特征進(jìn)行逐像素約束，使得融合結(jié)果的光譜特征和紋理特征都取得了較高的保真度。

本文的不足之處在于本文構(gòu)建的模型是有監(jiān)督模型，但是當(dāng)前圖像融合的參考圖像難以獲得，融合結(jié)果相比理想結(jié)果可能還是存在一些差距。針對(duì)這個(gè)問(wèn)題考慮在下一步的工作中根據(jù)遙感影像的特點(diǎn)設(shè)計(jì)一個(gè)無(wú)監(jiān)督的網(wǎng)絡(luò)，解決參考圖像難以獲得的問(wèn)題。

志謝：感謝山東農(nóng)業(yè)大學(xué)高性能計(jì)算中心的支持。