賈雅男，郭曉杰

天津大學智能與計算學部，天津 300350

0 引 言

高分辨率的多光譜圖像在遙感圖像應用中發(fā)揮著重要的作用，如目標檢測(Cheng和Han，2016)、場景分類(Nogueira等，2017)、環(huán)境監(jiān)測(Foody，2003)和土地測量(Mulders，2001)等。然而，由于機載存儲技術和傳輸技術的限制(Thomas等，2008)，大多數衛(wèi)星無法直接獲取高分辨率的多光譜圖像，只能提供低分辨率的多光譜圖像和高分辨率的全色圖像。低分辨率的多光譜圖像擁有豐富的光譜信息，但缺乏空間細節(jié)信息；而其對應的高分辨率全色圖像有豐富的細節(jié)信息但幾乎沒有光譜信息。顯然，這兩種圖像都無法滿足實際應用的需求，所以將兩種圖像融合為高分辨率的多光譜圖像是很有必要的，這種圖像融合技術稱為全色與多光譜圖像融合或全色銳化(唐霖峰 等，2023)。

傳統(tǒng)的全色與多光譜圖像融合方法可大致分為成分替換法、多分辨率分析法和基于模型的方法。常見的成分替換算法有主成分分析(principal component analysis，PCA)方法(Ghadjati等，2019)、基于強度色彩飽和度(intensity-hue-saturation，IHS)的方法(Tu等，2001)和施密特正交變化(Gram-Schmidt，GS)方法(Laben和Brower，2000)。該類方法使用線性變換將上采樣的低分辨率多光譜圖像分解為光譜分量和空間分量，之后用全色圖像替換空間分量。雖然成分替換法速度快，易于實現，但在融合過程中忽略了兩種圖像的差異性，直接替換導致圖像的低頻信息被破壞，造成了嚴重的光譜失真。多分辨率分析法(Liu，2000；Schowengerdt，1980)利用多尺度濾波器提取全色圖像的高頻信息，之后將其注入到上采樣的低分辨率多光譜圖像中。雖然在一定程度上解決了光譜失真的問題，但這類方法容易產生混疊效應和邊緣偽影(方帥 等，2020)?；谀Ｐ偷姆椒?Ballester等，2006；Fang等，2013；Vivone等，2015，2018)假設低分辨率多光譜圖像和全色圖像分別是高分辨率多光譜的圖像的空間和光譜的退化版本?；谶@個假設，這類方法通過不同的模型建立源圖像和高分辨率多光譜圖像之間的關系。然而，實際情況遠比假設復雜得多，而設計一個優(yōu)良的模型優(yōu)化算法也是極為困難的。

近年來，基于深度學習的全色與多光譜圖像融合算法成為一個新的研究熱點?；谏疃葘W習的方法有更加優(yōu)秀的非線性擬合能力，可以獲得比傳統(tǒng)方法更好的融合效果。Masi等人(2016)提出了一個由3層卷積組成的遙感圖像融合神經網絡(pan-sharpening by convolutional neural networks，PNN)，將上采樣的低分辨率多光譜圖像與全色圖像拼接起來作為輸入，通過卷積重構為高分辨率的多光譜圖像。然而，僅僅3層卷積無法完全發(fā)揮出深度神經網絡優(yōu)秀的擬合能力，還有很大的優(yōu)化空間。所以，很多研究者通過加大網絡的深度進行優(yōu)化。如PANNet(Yang等，2017)利用更深的網絡提取高頻信息，并將提取到的高頻信息注入到上采樣的多光譜圖像中。此外，Wei等人(2017)利用ResNet(He等，2016)架構改進PNN，提出了深度殘差泛銳化神經網絡(deep residual pan-sharpening neural network，DRPNN)。Wang等人(2019)用緊密連接的結構構造了一個44層的網絡，增加了網絡的深度，在一定程度上提升了性能。但隨著網絡深度的增加，訓練會變得越來越困難，并且這種直接增加網絡層數的方式沒有充分利用兩種模態(tài)的圖像特性。

為了更好地從兩種模態(tài)中獲取不同的信息，充分挖掘兩種圖像在空間和光譜上的特性，很多方法使用多個分支的結構提取不同的特征。例如，Liu等人(2020)提出一個雙流融合網絡(two-stream fusion network，TFNet)，使用兩個分支分別提取低分辨率多光譜圖像的光譜信息和全色圖像的空間信息，隨后將兩種特征整合起來重構為高分辨率多光譜圖像。MPNet(multispectral pan-sharpening network)(Wang等，2021)分別使用2-D和3-D卷積從源圖像中提取特征，并添加融合分支將提取到的特征進行融合。FDFNet(full-depth feature fusion network)(Jin等，2022b)使用3個分支進行全色與多光譜圖像的融合，并增加了不同分支之間的交互。由于多光譜圖像和全色圖像分辨率不同，這些方法均采用直接將多光譜圖像上采樣以保持分辨率的一致性。然而，直接將多光譜圖像的分辨率上采樣到原來的4倍，導致多光譜圖像在空間上存在明顯間斷的區(qū)域，為后續(xù)圖像的恢復工作增加了難度，甚至一些區(qū)域無法完全恢復，如圖1(c)所示，選中區(qū)域道路不連貫，出現了中斷。

圖1 GaoFen-2數據集的一個樣例

為了減少空間上的不連貫，一些方法嘗試不直接對多光譜圖像上采樣，而是利用深度神經網絡學習域之間的變換，得到增強的信息表達。SDPNet(surface and deep-level constraint-based pan-sharpening network)(Xu等，2021a)通過兩個不同的編碼—解碼器結構的網絡學習兩個模態(tài)之間的轉化，之后用這兩個網絡提取不同深度的特征作為增強的信息表示。Jin等人(2022a)利用拉普拉斯金字塔提取不同尺度的特征，在不同尺度上進行圖像的恢復，從一定程度上避免了直接上采樣帶來的圖像質量退化的影響。Wang等人(2021)提出了一種從光譜到空間的卷積SSConv(spectral-to-spatial convolution)將光譜特征轉換到空間域上，避免了上采樣的操作。然而，由于缺少參考圖像的監(jiān)督,這些方法通常遵循Wald協(xié)議(Wald等，1997)把下采樣的源圖像當做訓練數據，源圖像作為參考圖像進行訓練，這種處理方式也降低了圖像的質量。于是，一些研究者嘗試使用基于生成對抗網絡的無監(jiān)督方法直接使用源圖像進行訓練。如PANGAN(pan-sharpening based on a generative adversarial network)(Ma等，2020)使用兩個判別器分別使全色圖像和多光譜圖像與生成的高分辨率多光譜圖像進行對抗學習。HPGAN(hyperspectral pansharpening using 3-D generative adversarial networks)(Xie等，2021)分別在全局、光譜和空間上對融合過程進行約束，提出了一種3D的從光譜到空間的生成器生成高分辨率多光譜圖像。此外，李昌潔等人(2021)使用拉普拉斯金字塔結構的生成器提取多個尺度的特征，之后用這些特征構造出最后的結果。然而，這些基于生成對抗網絡的方法在訓練過程中很容易遭受模型坍塌和梯度消失的問題(Nagarajan和Kolter，2017)，難以收斂到一個好的結果。

為了解決上述問題，本文提出一種端到端的漸進式細節(jié)增強網絡，得到增強的多光譜圖像后，將多光譜圖像和全色圖像在通道上拼接進行融合，充分提取兩種圖像的特征，最后將提取到的特征重構為高分辨率的多光譜圖像。如圖2所示，整個網絡有兩個階段：漸進尺度增強和通道融合。在漸進尺度細節(jié)增強階段，全色圖像分別下采樣到原來的1/2和1/4，之后與多光譜圖像拼接起來通過兩個細節(jié)增強模塊得到多光譜圖像的增強表示；在通道融合階段，增強的多光譜圖像在每個通道上與全色圖像通過結構保持模塊進行融合，之后將各個通道的特征重新整合在一起得到最終的融合結果。如圖1所示，本文方法的融合結果在光譜上保持了更多的色彩信息，在空間上也維持了細節(jié)的連續(xù)性。本文的主要貢獻總結如下：

圖2 本文算法網絡結構圖

1)提出了一種端到端的漸進式細節(jié)增強和結構保持的網絡，可以有效地解決空間上的不連續(xù)問題，取得了領先的性能；

2)在通道層面上進行融合，在充分利用全色圖像豐富的空間信息的同時，保持了低分辨率多光譜圖像的光譜信息，獲得更好的融合結果；

3)進行了完備的消融實驗，驗證了各個模塊的有效性，同時大量的對比實驗證明本文方法的融合結果無論在視覺效果上還是客觀指標評價上都達到了最優(yōu)。

1 本文算法

在本文中，將低分辯多光譜圖像記為ILRMS∈Rmn×C，其中m和n分別代表低分辨率多光譜圖像的高度和寬度，C代表圖像的通道數(C=4)；IPAN∈R(rm)(rn)×c代表全色圖像，其空間分辨率是多光譜圖像的r倍，c代表全色圖像的通道數(c=1)；IHRMS∈R(rm)(rn)×C代表理想的高分辨率多光譜圖像。如圖2所示，在漸進尺度細節(jié)增強階段，通過兩個細節(jié)增強模塊將多光譜圖像的分辨率逐步增大4倍；在通道融合階段，利用提出的結構保持模塊將全色圖像和分解的增強圖像在通道上進行融合，最后將特征重建為高分辨率的多光譜圖像。整個網絡在多尺度的增強損失和重構損失的約束下進行端到端的訓練。

1.1 漸進尺度細節(jié)增強

大多數基于深度學習的全色與多光譜融合算法存在的一個問題是直接將多光譜圖像上采樣以保持與全色圖像一致的尺寸。然而這種簡單的方式降低了圖像質量，缺失了一部分空間細節(jié)。如果利用全色圖像額外的信息幫助多光譜圖像在融合前進行增強，那么多光譜圖像缺失的空間信息就能得到一定的恢復。然而，直接將信息注入到多光譜圖像中可能會導致出現邊緣偽影的現象。為了解決上述問題，本文提出了一種漸進尺度細節(jié)增強的策略，利用不同尺度的全色圖像的信息逐步得到增強的結果。

首先，多光譜圖像ILRMS與下采樣4倍的全色圖像IPAN↓4在通道維度上拼接，通過細節(jié)增強模塊得到空間分辨率增大2倍的多光譜圖像，可以表示為

IMS↑2=φ(C(ILRMS,IPAN↓4))

(1)

式中，C(·)代表在通道上進行拼接，φ(·)代表用細節(jié)增強模塊對圖像進行處理。之后將得到的放大2倍的多光譜圖像IMS↑2與下采樣2倍的全色圖像IPAN↓2拼接起來，再通過細節(jié)增強模塊進行增強，得到分辨率與全色圖像一致的多光譜圖像，表示為

IMS↑4=φ(C(IMS↑2,IPAN↓2))

(2)

式中，IMS↑4代表放大4倍的增強的多光譜圖像。

在增強過程中，起到關鍵性作用的就是細節(jié)增強模塊，如圖2所示，細節(jié)增強模塊首先使用轉置卷積層將圖像的尺寸放大至原來的2倍，并使用ReLU(rectified linear unit)作為激活函數。之后再用兩個3×3的卷積將兩個模態(tài)的特征進行整合，得到增強的多光譜信息表示。整體流程可以表示為

F1=ψ(WT*Fin)

(3)

F2=ψ(W1*F1)

(4)

F3=W2*F2

(5)

式中，Fin代表輸入細節(jié)增強模塊的圖像，Fi代表第i個卷積層輸出的特征，ψ(·)代表ReLU激活函數，*代表卷積操作，WT代表轉置卷積的權重，W1和W2分別是兩個卷積的權重。

1.2 通道融合

在漸進尺度增強階段，低分辨率的多光譜圖像在全色圖像額外信息的幫助下獲得了一定的增強，并且使其尺寸與全色圖像保持一致，但還未充分利用兩種圖像的光譜和空間信息。為了充分融合兩種模態(tài)的互補特征，消除邊緣偽影的影響，本文提出了在通道上融合的策略，先將多光譜圖像在通道上進行拆分，讓全色圖像與多光譜圖像的每一個通道都進行融合，之后將融合后的特征整合到一起，重構為高分辨率的多光譜圖像。如圖2所示，通道融合的過程可以概括為3個步驟，分別是分解、融合和重組。

在分解階段，多光譜的每個通道都與全色圖像進行拼接，之后通過兩個3×3的卷積投影到特征空間，得到一個淺層的特征表示，可以表示為

FINi=Wd2*ψ(Wd1*C(IMSi,IPAN))

i=1,2,3,4

(6)

式中，IMSi代表多光譜圖像的第i通道，Wd1和Wd2是兩個卷積核的權重，FINi代表生成的第i個特征。之后的融合階段使用了一種新的融合策略，用8個結構保持模塊在通道上進行融合。如圖2所示，每個結構保持模塊有4個分支，數量與多光譜圖像的通道數相等，每條分支使用卷積提取特征，同時為了信息的有效傳遞，還在每條分支上添加了殘差連接。結構保持模塊可以表示為

FFUSEi=Wf2*ψ(Wf1*FINi)),i=1,2,3,4

(7)

FOUTi=FFUSEi+FINi,i=1,2,3,4

(8)

式中，Wf1和Wf2是各個分支上卷積的權重，FOUTi代表結構保持模塊輸出的第i個特征。前一個模塊輸出的特征FOUTi當做下一個模塊的輸入特征FINi，這樣隨著結構保持模塊數量的增加，更多的圖像特征被提取出來進行融合，為最后的圖像重構做好準備。在重構階段，首先將得到的各個通道的特征重新整合起來，接著使用卷積層將特征重新映射重構為高分辨率的多光譜圖像。這個過程可以表示為

FOUT=C(FOUT1,FOUT2,FOUT3,FOUT4)

(9)

IHRMS=S(Wf2*ψ(Wf1*FOUT))

(10)

式中，S(·)代表Sigmoid激活函數，IHRMS代表生成的高分辨率的多光譜圖像。通過以上步驟可以將特征重構為期望的高分辨率多光譜圖像。

1.3 訓練細節(jié)

訓練的損失函數分為兩個部分，分別是多尺度的增強損失和重構損失。其中重構損失主要為了保證生成的高分辨率多光譜圖像與參考圖像在結構上保持一致，表示為

(11)

(12)

L=Lrecon+Len

(13)

在這個損失函數的約束下，整個網絡可以進行端到端的訓練。

本文算法在PyTorch框架下實現，使用SGD(stochastic gradient descent)算法進行優(yōu)化，共訓練150輪，學習率初始值設置為0.000 5，每40輪衰減為原來的0.1，批量大小設置為8。

2 實驗結果

2.1 數據集與評價指標

本文使用GaoFen-2(GF-2)和QuickBird(QB)數據集評測算法的性能，由于缺少參考圖像作為監(jiān)督，使用Wald協(xié)議(Wald等，1997)將源圖像下采樣作為訓練數據。具體來說，首先分別將全色圖像和多光譜圖像下采樣為源圖像的1/4作為全色圖像和多光譜圖像的低分辨率版本，將原多光譜圖像當做參考圖像。之后，分別將低分辨率的多光譜圖像、全色圖像和參考圖像裁剪成為64×64×4、256×256×1和256×256×4的圖像塊。最后，將其中的90%作為訓練集進行訓練，剩下的10%用于測試。

在測試階段，為了定量評價各個算法的效果，使用峰值信噪比(peak signal-to-noise ratio，PSNR)(Horé和Ziou，2010)、結構相似度(structural similarity，SSIM)(Wang等，2004)、相關系數(correlation coefficient，CC)(Kaneko等，2003)、光譜角映射(spectral angle mapper，SAM)(Yuhas等，1992)和總體相對誤差(erreur relative globale adimensionnelle de synthese，ERGAS)(Wald，2000)評測低分辨率對比實驗中算法的性能。使用無參考質量指標(quality-with-no-reference，QNR)、光譜失真指數Dλ和空間失真指數DS(Alparone等，2008)評測全分辨率對比實驗中算法的性能。

2.2 與其他算法的對比實驗

2.2.1 低分辨率對比實驗

為了驗證本文算法的效果，選用4種傳統(tǒng)算法和4種基于深度學習的算法作為比較。傳統(tǒng)算法分別是GS(Laben和Brower，2000)、SFIM(smoothing filter-based intensity modulation)(Liu，2000)、CNMF(coupled nonnegative matrix factorization)(Yokoya等，2012)和MTF-GLP(modulation transfer function generalized Laplacian pyramid)(Vivone等，2018)。4種基于深度學習的方法分別是PANNet(Yang等，2017)、TFNet(Liu等，2020)、FDFNet(Jin等，2022b)和GPPNN(gradient projection based pan-sharpening neural network)(Xu等，2021b)。所有基于深度學習的方法都使用相同的數據集在配備NVIDIA GeForce RTX 3060的GPU，16 GB RAM的計算機上重新訓練，傳統(tǒng)方法都在Intel i5-9400F的CPU上運行。圖3和圖4分別展示了各算法在GF2和QB數據集上的視覺對比效果，為了便于觀察，僅展示生成的高分辨率多光譜圖像的R、G、B這3個通道?？梢钥吹?，基于深度學習的方法在顏色保持上普遍比傳統(tǒng)方法做得更好，傳統(tǒng)方法整體顏色偏灰暗，沒有保持多光譜圖像的光譜信息。在圖3和圖4中,傳統(tǒng)方法的融合結果都表現出嚴重的光譜退化問題，沒有保持多光譜圖像的顏色信息；而基于深度學習的方法雖然比傳統(tǒng)方法保持了更多的光譜信息，但有些方法的融合結果出現了明顯的色偏，如TFNet和GPPNN(圖3(h)、圖4(h)、圖3(j)和圖4(j))；PANNet的結果(圖3(g))有明顯的邊緣偽影。本文算法的融合結果在空間和光譜的保持上都有優(yōu)異的表現，既沒有出現明顯的偏色現象，也沒有邊緣偽影出現，圖像的整體質量有顯著的提高?？陀^評價指標對比情況如表1和表2所示，可以看到，本文算法在5個有參考值的指標上均取得了最優(yōu)的結果，這與視覺效果的表現一致。

圖3 GaoFen-2數據集的低分辨率視覺對比

圖4 QuickBird數據集的低分辨率視覺對比

表1 GaoFen-2數據集的數值比較

表2 QuickBird數據集的數值比較

2.2.2 全分辨率對比實驗

為了驗證算法在未下采樣圖像上的泛化能力，進行全分辨率圖像的對比實驗。直接將源多光譜圖像和全色圖像裁剪成為128×128×4和512×512的圖像塊進行測試。圖5和圖6分別展示了各算法在GF-2和QuickBird數據集上的視覺對比效果。從圖5來看，傳統(tǒng)方法中SFIM(圖5(d))和CNMF(圖5(e))都存在明顯的色偏現象；觀察紅色邊框區(qū)域可以發(fā)現，本文算法產生的融合結果減少了偽影的出現，在圖5(k)中，沒有出現在低分辨率多光譜圖像中的條紋狀偽影，在視覺效果上明顯優(yōu)于其他對比方法。同時注意觀察圖6的放大區(qū)域，可以發(fā)現本文算法顯著保持了圖像中道路區(qū)域的連續(xù)性，而其他的方法顯然無法保持，出現了明顯的圖像內容間斷現象，如PANNet(圖6(g))、FDFNet(圖6(i))和GPPNN(圖6(j))等。從表1可以看出，本文算法在QNR(quality-with-no-reference)、Dλ和DS這3個無參考指標上都取得了最優(yōu)或者次優(yōu)的成績，這說明了本文模型對于未下采樣圖像同樣具有較強的泛化能力。在表2中可以看出本文算法在指標上沒有達到最優(yōu)，這是因為Dλ衡量了生成的結果與低分辨率多光譜圖像的光譜信息差異，DS代表著融合結果與全色圖像的空間信息偏差。本文算法相比于其他方法恢復了更多的細節(jié)，并且消除了全色圖像的網格偽影，導致在DS指標上表現不夠好，從而影響QNR的結果。從圖像上可以直觀看出本文算法的優(yōu)越性，如圖6(k)，本文算法恢復了道路的連續(xù)性，并且去除了全色圖像中的網格偽影。

圖5 GaoFen-2數據集的全分辨率視覺對比

圖6 QuickBird數據集的全分辨率視覺對比

2.3 消融實驗

為了探究各個模塊的有效性，開展消融實驗，如表3所示，進行4種不同設置的實驗。

1)漸進尺度細節(jié)增強過程中，使用兩個細節(jié)增強模塊將多光譜圖像的分辨率逐步增大到與全色圖像保持一致。第1個實驗中，直接使用上采樣的多光譜圖像作為下一階段的輸入，以驗證細節(jié)增強模塊的有效性。在去掉細節(jié)增強模塊的情況下，所有參考指標均出現了明顯下降，這表明本文所提出的細節(jié)增強模塊對于該任務來說是至關重要的。

2)在第2個實驗中，旨在減少結構保持模塊的數量，以驗證其有效性以及合理的堆疊數量。將結構保持模塊的數量減少到4個，從表3可以看到，去掉一半的結構保持模塊，網絡性能下降，說明該模塊在網絡中發(fā)揮了重要的作用。

表3 在GaoFen-2數據集上消融實驗的結果

3)將結構保持模塊的數量增加到10，其余配置與設置2)一致?？梢钥吹剑^續(xù)增加該模塊性能并不會提高，這可能是因為網絡深度和數據規(guī)模不匹配。

4)去掉多尺度細節(jié)增強損失，探究該損失函數是否有效。可以看到，去掉后網絡的數值表現出一定程度的下降，證明了該損失函數對于提升模型表現的價值。因此，為取得網絡的最佳表現，該損失函數的設置是必要的。

2.4 模型參數量與時間

為比較不同模型的大小及平均處理用時，在GaoFen-2全分辨率測試集上進行測試，該測試集共包含180對多光譜/全色圖像，其中多光譜圖像尺寸為128×128×4，全色圖像尺寸為512×512。結果如表4所示?？梢钥吹交谏疃葘W習的方法比傳統(tǒng)方法運行速度更快，TFNet的運行速度最快，平均每個圖像對只用0.006 s，PANNet的模型參數量最小，只有0.3 M，但本文算法在時間、模型參數量和效果上達到了平衡，以很小的時間和空間代價取得了較大的性能提升。

表4 時間和模型參數比較結果

3 結 論

本文提出了一種端到端的基于通道融合的漸進式細節(jié)增強遙感圖像融合算法，通過通道融合充分利用兩個模態(tài)的互補信息生成高分辨率的多光譜圖像。同時為了解決之前方法上采樣多光譜圖像帶來的圖像質量下降和空間細節(jié)缺失的問題，提出了漸進式增強多光譜圖像，代替直接上采樣的操作。具體來說，算法分為兩個階段：漸進尺度細節(jié)增強和通道融合。在漸進尺度細節(jié)增強中，多光譜圖像與不同尺度的全色圖像拼接在一起，利用全色圖像中豐富的細節(jié)信息增強多光譜圖像；在通道融合中，將增強的多光譜圖像按通道拆分為4個子圖，每個子圖都與全色圖像進行融合，最后將得到的特征重構為高空間分辨率的多光譜圖像。本文開展的所有消融實驗驗證了各個模塊的有效性，同時對比實驗的結果表明本文算法在視覺效果和數值表現上均明顯超過了此前的算法，表明了本文模型的高效性。目前本文方法僅在4通道的多光譜圖像融合上取得了良好的效果，若要擴展到更多通道的數據，如Landsat8等，則需要修改通道融合中各模塊的通道數量，不夠靈活。所以未來的研究方向應著眼于構建一種自適應多光譜圖像通道數的融合結構。