宋加文，朱大明，左小清，付志濤，陳思靜

一種結(jié)合結(jié)構(gòu)與能量信息的全色與多光譜圖像融合方法

宋加文，朱大明，左小清，付志濤，陳思靜

（昆明理工大學(xué) 國(guó)土資源工程學(xué)院，云南 昆明 650093）

分量替換是遙感圖像融合中的一種經(jīng)典方法，其具有良好的空間保真度，但容易產(chǎn)生光譜失真，為此本文提出一種結(jié)合結(jié)構(gòu)與能量信息的全色與多光譜圖像融合方法。方法首先通過(guò)超球面顏色空間變換分解多光譜圖像的空間和光譜信息。其次，通過(guò)聯(lián)合雙邊濾波引入了兩層分解方案。然后，將全色圖像和強(qiáng)度分量分解為結(jié)構(gòu)層和能量層。最后，提出結(jié)構(gòu)層通過(guò)鄰域空間頻率策略融合，強(qiáng)度分量的純能量層用作預(yù)融合圖像的能量層。強(qiáng)度分量定義顏色的強(qiáng)度，通過(guò)將預(yù)融合結(jié)構(gòu)層與強(qiáng)度分量的能量層結(jié)合，可以有效地結(jié)合源圖像的空間和光譜信息，從而減少全色銳化圖像的光譜失真。本文在Pléiades和QuickBird數(shù)據(jù)集上進(jìn)行大量實(shí)驗(yàn)，并對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行定性和定量分析，結(jié)果表明所提方法與現(xiàn)有先進(jìn)方法相比具備一定優(yōu)越性。

全色銳化；超球面色彩空間；聯(lián)合雙邊濾波；空間頻率；全色圖像；多光譜圖像

0 引言

由于衛(wèi)星傳感器、星載存儲(chǔ)和帶寬傳輸?shù)南拗疲b感圖像中多光譜（multispectral，MS）圖像具有多個(gè)波段，光譜分辨率高，但空間分辨率較低。全色（panchromatic，PAN）圖像為單波段，空間分辨率高，但缺少光譜信息[1]。全色銳化是指MS圖像和PAN圖像融合，生成具有高空間分辨率和高光譜分辨率的MS圖像[2]，如圖1所示。并且，隨著高分辨率MS圖像在目標(biāo)識(shí)別、變化檢測(cè)和城市區(qū)域分類等領(lǐng)域需求越來(lái)越高，全色銳化技術(shù)已成為遙感領(lǐng)域的一個(gè)重要而熱門(mén)的問(wèn)題[3-4]。

現(xiàn)有的全色銳化方法大致可歸為4類，即分量替換方法（component substitution，CS）、多分辨率分析（multi-resolution analysis，MRA）方法、基于變分優(yōu)化（variational optimization-based，VO）方法和機(jī)器學(xué)習(xí)（machine learning，ML）方法[5]。其中MRA方法光譜信息保持較好，但容易產(chǎn)生空間失真[6]。VO和ML方法目標(biāo)是實(shí)現(xiàn)高質(zhì)量的融合結(jié)果，但這通常會(huì)增加算法的復(fù)雜性以及計(jì)算量[7-8]。CS方法是一種經(jīng)典的全色銳化方法，許多開(kāi)創(chuàng)性的全色銳化技術(shù)都屬于CS類。CS方法是將MS圖像轉(zhuǎn)換到一個(gè)新顏色空間，從而分離空間和光譜信息，并將空間信息部分或完全替換為PAN圖像的空間信息，以提高M(jìn)S圖像的空間分辨率[9]。例如強(qiáng)度-色調(diào)-飽和度（intensity-hue-saturation，IHS）和主成分分析法（principal component analysis，PCA）等。CS方法簡(jiǎn)單高效，如果算法設(shè)計(jì)得當(dāng)，也可以獲得具有競(jìng)爭(zhēng)力的結(jié)果[10]，但大多數(shù)CS方法存在光譜失真的問(wèn)題。

目前，大量基于IHS變換或者YUV變換的CS方法被提出。這些方法通常先對(duì)MS圖像進(jìn)行IHS變換或者YUV變換提取強(qiáng)度分量I或亮度分量Y，從而分離MS圖像的空間和光譜信息。其次對(duì)PAN圖像和MS圖像的分量進(jìn)行分解，然后設(shè)計(jì)相應(yīng)規(guī)則融合，最后逆變換實(shí)現(xiàn)融合。文獻(xiàn)[11-13]提出將PAN圖像和MS圖像的分量通過(guò)非下采樣剪切波變換（non-subsampled shearlet transform，NSST）得到高頻子帶和低頻子帶，并設(shè)計(jì)高頻和低頻融合策略對(duì)高頻和低頻子帶進(jìn)行融合。此類方法在保持圖像空間和光譜信息方面取得一定效果，但方法受MS圖像的波段限制，并且NSST分解會(huì)增加算法的復(fù)雜度和時(shí)間成本。干等人[14]提出一種使用滾動(dòng)導(dǎo)向?yàn)V波雙尺度分解遙感圖像的融合方法，由于將圖像雙尺度分解使得方法計(jì)算效率較高，但因其基于YUV變換，所以也受MS圖像波段數(shù)限制，并且YUV變換以及低頻融合策略會(huì)使融合圖像的植被等區(qū)域出現(xiàn)明顯光譜失真。

針對(duì)以上問(wèn)題，我們提出一種結(jié)合結(jié)構(gòu)與能量信息的全色與多光譜圖像融合方法。首先引入超球面色彩空間（hyperspheric color space，HCS）變換來(lái)實(shí)現(xiàn)大于3波段的遙感圖像進(jìn)行顏色空間變換。然后，圖像通過(guò)聯(lián)合雙邊濾波（joint bilateral filter，JBF）分解為結(jié)構(gòu)層和純能量層，兩層分解使得方法具備較高的計(jì)算效率。最后，為有效結(jié)合圖像的結(jié)構(gòu)和能量信息，提出結(jié)構(gòu)層通過(guò)鄰域空間頻率策略融合，MS圖像強(qiáng)度分量的純能量層作為融合圖像能量層，融合策略可以減少融合圖像的光譜和空間失真。

圖1 降分辨率數(shù)據(jù)全色銳化示例

1 本文方法

1.1 HCS變換

目前大多數(shù)MS圖像不僅包括紅綠藍(lán)（Red, green and blue，RGB）波段，還包括近紅外等波段。但常見(jiàn)的顏色空間變換方法只能應(yīng)用于RGB圖像。HCS變換[15]與IHS等顏色空間變換類似，但HCS變換可以自由選擇波段，并且支持大于3波段的遙感圖像進(jìn)行顏色空間變換。它是將圖像從原顏色空間變換到超球形顏色空間，輸入一個(gè)波段圖像，可以在超球面空間得到的1個(gè)強(qiáng)度分量和－1個(gè)角度變量。角度變量定義顏色或色調(diào)，而強(qiáng)度分量定義顏色的強(qiáng)度，強(qiáng)度可以縮放而不改變顏色。

以下方程給出了從原始顏色空間到HCS的一般變換過(guò)程：

對(duì)應(yīng)的逆HCS變換可表示為：

1＝cos1(5)

2＝sin1cos2(6)

－1＝sin1sin2…sin－2cos－1(7)

＝sin1sin2…sin－2sin－1(8)

式中：是輸入MS圖像的波段；是強(qiáng)度分量；1,2,…,－1是－1個(gè)角度變量。

1.2 圖像分解

全色銳化的目標(biāo)是結(jié)合PAN圖像的空間信息與MS圖像的光譜信息，如何有效分解圖像之間的互補(bǔ)信息就成為實(shí)現(xiàn)全色銳化的首要問(wèn)題。我們提出一種通過(guò)JBF分解遙感圖像的方法。方法將強(qiáng)度信息和結(jié)構(gòu)信息作為圖像的兩個(gè)重要特征，設(shè)計(jì)了一種分解圖像結(jié)構(gòu)和能量信息的方案，方法包括全局模糊和邊緣恢復(fù)兩個(gè)步驟。

1.2.1 全局模糊

為將輸入圖像的細(xì)節(jié)信息最大限度地傳播到結(jié)構(gòu)層，我們通過(guò)高斯濾波對(duì)圖像進(jìn)行整體平滑。如下所示：

＝*(9)

式中：是輸入圖像；(,)為方差＝2的高斯濾波，為標(biāo)準(zhǔn)差下的平滑結(jié)果。此過(guò)程會(huì)將輸入圖像的細(xì)節(jié)保留在結(jié)構(gòu)層中。

然后，全局模糊圖像使用加權(quán)平均高斯濾波生成：

式中：和分別表示輸入圖像和輸出圖像。和表示像素坐標(biāo)；()為的相鄰像素集合；s表示標(biāo)準(zhǔn)差；Z表示歸一化運(yùn)算。

1.2.2 邊緣恢復(fù)

由于公式(11)在去除小結(jié)構(gòu)的同時(shí)破壞了大尺度結(jié)構(gòu)（大于s的結(jié)構(gòu)），大尺度結(jié)構(gòu)在一定程度上保留在能量層中。因此，我們引入了JBF來(lái)恢復(fù)圖像的大結(jié)構(gòu)，JBF類似于滾動(dòng)制導(dǎo)濾波器，但只有一次迭代[16-17]。同時(shí)，在此過(guò)程中將獲得能量層：

式中：d表示空間距離函數(shù)；r表示強(qiáng)度范圍函數(shù)，計(jì)算如下：

式中：s和r分別控制雙邊濾波器的空間權(quán)重和范圍權(quán)重。

1.3 融合規(guī)則與圖像重構(gòu)

PAN圖像和分量通過(guò)以上JBF濾波過(guò)程得到能量層1和2，然后通過(guò)差分計(jì)算得到結(jié)構(gòu)層1和2。

1.3.1 結(jié)構(gòu)層融合

圖像的結(jié)構(gòu)層包含邊緣、紋理和拐角等活躍信息，反映圖像的主要細(xì)節(jié)信息。鄰域空間頻率（Neighborhood Spatial Frequency, NSF）可以有效地檢測(cè)細(xì)節(jié)特征。故結(jié)構(gòu)層通過(guò)鄰域空間頻率策略融合，并且融合的結(jié)構(gòu)層可以通過(guò)以下公式獲得：

其中NSF定義如下：

1.3.2 能量層融合

通過(guò)1.2節(jié)的分解過(guò)程，純能量層圖像中不包含結(jié)構(gòu)信息。由于分量的能量層決定圖像顏色的強(qiáng)度，因此提出分量的純能量層用作預(yù)融合圖像的能量層，從而減少因分量能量層的變化造成融合圖像的顏色變化，進(jìn)而實(shí)現(xiàn)較高的光譜質(zhì)量：

F＝2(21)

式中：F表示預(yù)融合圖像的能量層。

1.3.3 圖像重構(gòu)

將F,t與F結(jié)合得到￠：

￠＝F,t＋F(22)

￠替換MS圖像分量并進(jìn)行逆HCS變換得到最終融合圖像。

1.4 融合流程

方法首先通過(guò)HCS變換將多光譜圖像分解為分量和角度變量。其次，通過(guò)JBF將PAN圖像和分量分解為結(jié)構(gòu)層和能量層。然后，結(jié)構(gòu)層通過(guò)鄰域空間頻率策略融合，強(qiáng)度分量的純能量層用作融合圖像的能量層。將強(qiáng)度分量的純能量層和融合結(jié)構(gòu)層結(jié)合，并與角度變量逆HCS變換即可得到融合圖像。本文提出的融合方法的流程如圖2所示，具體步驟如下：

1）MS圖像上采樣至PAN圖像像素尺寸；

2）對(duì)MS圖像進(jìn)行HCS變換，得到強(qiáng)度分量和角度變量1,2,3；

3）根據(jù)分量對(duì)PAN圖像進(jìn)行直方圖調(diào)整；

4）PAN圖像分量和通過(guò)JBF分解，得到結(jié)構(gòu)層(1,2)與能量層(1,2)；

5）結(jié)構(gòu)層1和2通過(guò)鄰域空間頻率融合策略得到融合結(jié)構(gòu)層F,t；

6）分量的能量層2作為預(yù)融合圖像的能量層F；

7）F,t和F取和得￠；

8）將￠和角度變量1,2,3逆HCS變換，得到最終融合圖像。

2 實(shí)驗(yàn)細(xì)節(jié)

本節(jié)將介紹實(shí)驗(yàn)的數(shù)據(jù)集、評(píng)價(jià)指標(biāo)、參數(shù)設(shè)置和實(shí)驗(yàn)環(huán)境。然后在Pléiades和QuickBird傳感器數(shù)據(jù)集上進(jìn)行降分辨率實(shí)驗(yàn)，并從視覺(jué)效果、定量評(píng)價(jià)方面將所提方法與對(duì)比方法比較。對(duì)比方法包括：波段相關(guān)空間細(xì)節(jié)方法（band-dependent spatial-detail，BDSD）[18]、基于波段物理約束的波段相關(guān)空間細(xì)節(jié)方法（band-dependent spatial-detail with physical constraints, BDSD-PC）[19]、霧度校正優(yōu)化的Brovey變換方法（optimized Brovey transform with haze correction, BT-H）[20]、基于上下文自適應(yīng)局部參數(shù)估計(jì)的Gram-Schmidt方法（context-based Gram-Schmidt adaptive with local parameter estimation exploiting clustering，C-GSA）[21]、GS[22]、GSA[23]、Indusion[24]，具有調(diào)制傳遞函數(shù)匹配濾波器的廣義拉普拉斯金字塔與基于全尺度回歸的注入模型（generalized Laplacian Pyramid with modulation transfer function-matched filters with a full scale regression-based injection model, MTF-GLP-FS）[25]，具有調(diào)制傳遞函數(shù)匹配濾波器和高通調(diào)制注入模型的廣義拉普拉斯金字塔以及具有基于初步回歸的光譜匹配相位方法（generalized Laplacian Pyramid with modulation transfer function-matched filters and high-pass modulation injection model with a preliminary regression-based spectral matching phase, MTF-GLP-HPM-R）[26]和基于PCA和小波的模型融合方法（model-based fusion using PCA and wavelets, PWMBF）[27]。

圖2 本文融合方法

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文使用21組Pléiades圖像和16組QuickBird圖像制作實(shí)驗(yàn)數(shù)據(jù)集，實(shí)驗(yàn)圖像包括建筑、道路、植被等各種典型場(chǎng)景，部分圖像如圖3所示。Pléiades數(shù)據(jù)集由單波段PAN圖像和4波段MS圖像組成，PAN圖像空間分辨率為0.5m，MS圖像空間分辨率為2.0m，輻射分辨率為12位。QuickBird數(shù)據(jù)集是由4波段MS圖像和一個(gè)單波段PAN圖像組成，PAN圖像空間分辨率為0.61m，MS圖像空間分辨率為2.44m，輻射分辨率為11位。實(shí)驗(yàn)數(shù)據(jù)集細(xì)節(jié)可見(jiàn)表1。

圖3 數(shù)據(jù)集圖像示例

表1 實(shí)驗(yàn)數(shù)據(jù)集細(xì)節(jié)

2.2 評(píng)價(jià)指標(biāo)

在定量評(píng)價(jià)中，我們選取光譜角映射器（spectral angle mapper，SAM）[28]、無(wú)量綱綜合全局誤差（dimensionless global error in synthesis，ERGAS）[29]、空間相關(guān)系數(shù)（spatial correlation coefficient，SCC）[30]、波段平均的通用圖像質(zhì)量指數(shù)（universal image quality index averaged over the bands，QAVE）[31]和Q2n[32]指標(biāo)（4波段MS圖像對(duì)應(yīng)Q4）作為評(píng)價(jià)指標(biāo)。

2.3 參數(shù)設(shè)置

本文方法中有2個(gè)自由參數(shù)需要設(shè)置，即JBF的高斯標(biāo)準(zhǔn)差s和r。通過(guò)測(cè)試發(fā)現(xiàn)，當(dāng)s值較小時(shí)圖像模糊，當(dāng)s值較大時(shí)也會(huì)對(duì)視覺(jué)效果產(chǎn)生不好的影響。結(jié)合圖4點(diǎn)線趨勢(shì)，將s設(shè)置為3。由于r的不同值并不影響融合圖像質(zhì)量，因此將r設(shè)置為默認(rèn)值0.05。

2.4 實(shí)驗(yàn)環(huán)境

文中所有方法都在相同的軟件和硬件平臺(tái)上運(yùn)行。軟件為MATLAB（R2017b）和Windows10操作系統(tǒng)。硬件為：AMD Ryzen 7 4700U with Radeon Graphics 2.00 GHz處理器，16GB RAM。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 定性分析

在圖5中：BT-H方法存在明顯光譜失真，圖像存在黃顏色偽信息；C-GSA、GS、GSA、Indusion、MTF-GLP-FS和MTF-GLP-HPM-R方法在圖像中植被區(qū)域由于空間細(xì)節(jié)注入過(guò)多，雖然空間細(xì)節(jié)清晰，但圖像顏色較淺，與地面真實(shí)（ground truth，GT）圖像的光譜信息不一致；PWMBF方法圖像顏色較淺，光譜信息丟失嚴(yán)重；BDSD、BDSD-PC和本文方法的圖像在空間和光譜信息方面與GT最為接近，取得較好視覺(jué)效果。在圖6中：GS和Indusion方法在圖像中道路區(qū)域顏色較淺，其余方法的融合圖像均取得較好視覺(jué)效果，均有效提升了MS圖像的空間分辨率，但本文方法融合圖像與GT圖像色調(diào)更為一致。為進(jìn)一步比較方法性能，對(duì)圖6中所有圖像求殘差，殘差圖像如圖7所示。在圖7中可以明顯看出BT-H和所提方法圖像的殘差信息更少，與GT圖像更接近，證明所提方法有效結(jié)合了MS和PAN圖像的空間與光譜信息。

圖4 參數(shù)ss對(duì)圖像質(zhì)量影響分析。(a) QuickBird數(shù)據(jù)集 (b)Pléiades數(shù)據(jù)集

圖5 QuickBird圖像融合結(jié)果

圖6 Pléiades圖像融合結(jié)果

圖7 圖6殘差圖像

3.2 定量分析

表2和表3是數(shù)據(jù)集中全部圖像定量評(píng)價(jià)的平均值，本文方法的Q4、QAVE、SAM、ERGAS和SCC定量指標(biāo)值均為最優(yōu)，方法運(yùn)行所用的平均時(shí)間在所有方法中也較少。這表明本文方法的融合圖像質(zhì)量較高，空間和光譜信息被有效結(jié)合，算法簡(jiǎn)單高效，與上述定性評(píng)價(jià)的分析結(jié)果趨于一致。其中平均運(yùn)行時(shí)間較少是由于方法雙層分解圖像，并且結(jié)構(gòu)層與能量層融合使用的融合策略簡(jiǎn)單高效。而定量指標(biāo)最優(yōu)是由于所提出的結(jié)構(gòu)層與能量層的融合策略有效結(jié)合源圖像信息，使得融合圖像失真小質(zhì)量高。

表2 QuickBrid數(shù)據(jù)集融合結(jié)果定量評(píng)價(jià)

表3 Pléiades數(shù)據(jù)集融合結(jié)果定量評(píng)價(jià)

4 結(jié)論

在本文中，為減少光譜失真我們提出了一種結(jié)合HCS變換與JBF的遙感影像融合方法。首先，通過(guò)HCS變換可以實(shí)現(xiàn)了對(duì)任意波段的MS影像進(jìn)行顏色空間變換。其次，通過(guò)聯(lián)合雙邊濾波有效分解了源圖像之間的互補(bǔ)信息。最后，提出一種通過(guò)鄰域空間頻率策略融合結(jié)構(gòu)層，強(qiáng)度分量的能量層作為預(yù)融合圖像能量層的融合策略。方法可以有效結(jié)合源圖像的光譜和空間信息，減少光譜和空間信息失真。實(shí)驗(yàn)將所提方法與10種優(yōu)秀的方法進(jìn)行對(duì)比，結(jié)果表明所提方法在視覺(jué)感知和定量評(píng)價(jià)方面具有更好的性能表現(xiàn)。

[1] 朱衛(wèi)東, 王虎, 邱振戈, 等. 自適應(yīng)多尺度幾何分析的全色和多光譜圖像融合方法研究[J]. 紅外技術(shù), 2019, 41(9): 852-856.

ZHU Weidong, WANG Hu, QIU Zhenge, et al. Fusion of panchromatic and multispectral images based on adaptive multiscale geometric analysis method[J]., 2019, 41(9): 852-856.

[2] Vivone G, Dalla Mura M, Garzelli A, et al. A new benchmark based on recent advances in multispectral pansharpening: revisiting pansharpening with classical and emerging pansharpening methods[J]., 2021, 9(1): 53-81.

[3] LIU P, XIAO L, LI T. A variational pan-sharpening method based on spatial fractional-order geometry and spectral–spatial low-rank priors[J]., 2018, 56(3): 1788-1802.

[4] 王歐, 羅小波. 基于細(xì)節(jié)信息提取的全色與多光譜圖像融合方法[J]. 紅外技術(shù), 2022, 44(9): 920-928.

WANG Ou, LUO Xiaobo. Panchromatic and multispectral images fusion method based on detail information extraction[J]., 2022, 44(9): 920-928.

[5] XIAO J, HUANG T, DENG L, et al. A new context-aware details injection fidelity with adaptive coefficients estimation for variational pansharpening[J]., 2022, 60: 1-15.

[6] WU Z, HUANG T, DENG L, et al. VO+Net: an adaptive approach using variational optimization and deep learning for panchromatic sharpening[J]., 2022, 60: 1-16.

[7] YANG Z, FU X, LIU A, et al. Progressive pan-sharpening via cross-scale collaboration networks[J]., 2022, 19: 1-5.

[8] WU Z, HUANG T, DENG L, et al. A new variational approach based on proximal deep injection and gradient intensity similarity for spatio-spectral image fusion[J]., 2020, 13: 6277-6290.

[9] Deng L, Vivone G, Paoletti M, et al. Machine learning in pansharpening: a benchmark, from shallow to deep networks[J]., 2022, 10(3): 279-315.

[10] ZHANG Z Y, HUANG T Z, DENG L J ,et al. Pan-sharpening via rog-based filtering[C]//2019-2019, 2019:2790-2793. DOI: 10.1109/ IGARSS. 2019.8899330.

[11] 侯昭陽(yáng), 呂開(kāi)云, 龔循強(qiáng), 等. 一種結(jié)合低級(jí)視覺(jué)特征和PAPCNN的NSST域遙感影像融合方法[J]. 武漢大學(xué)學(xué)報(bào): 信息科學(xué)版, 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168.

HOU Zhaoyang, Lü Kaiyun, GONG Xunqiang, et al. Remote sensing image fusion based on low-level visual features and PAPCNN in NSST domain[J]., 2023, 48(6): 960-969. DOI: 10.13203/j.whugis20220168

[12] 呂開(kāi)云, 侯昭陽(yáng), 龔循強(qiáng), 等. 一種基于ASR和PAPCNN的NSCT域遙感影像融合方法[J]. 遙感技術(shù)與應(yīng)用, 2022, 37(4): 829-838.

LUY Kaiyun, HOU Zhaoyang, GONG Xunqiang, et al. A remote sensing image fusion method based on ASR and PAPCNN in NSCT domain [J]., 2022(4): 829-838.

[13] 白鑫, 衛(wèi)琳. 基于IHS變換與自適應(yīng)區(qū)域特征的遙感圖像融合算法[J]. 電子測(cè)量與儀器學(xué)報(bào), 2019, 33(2): 161-167.

BAI Xin, WEI Lin. Remote sensing image fusion algorithm based on ihs transform and adaptive region features[J]., 2019, 33(2): 161-167.

[14] 干林杰, 譚榮建. 一種雙尺度分解的高分辨率遙感影像融合方法[J]. 通信技術(shù), 2022, 55(2): 174-180.

GAN Linjie, TAN Rongjian. A method for fusion of high-resolution remote sensing images based on Dual-Scale decomposition[J]., 2022, 55(2): 174-180.

[15] Padwick C, Deskevich M, Pacifici F, et al. Worldview-2 pan-sharpening[C]//2010, 2010: 1-14.

[16] ZHANG Qi, SHEN Xiaoyong, XU Li, et al. Rolling guidance filter[C]//(ECCV), 2014: 815-830.

[17] LI X, ZHOU F, TAN H, et al. Multimodal medical image fusion based on joint bilateral filter and local gradient energy[J]., 2021, 569: 302-325.

[18] Garzelli A, Nencini F, Capobianco L. Optimal MMSE pan sharpening of very high resolution multispectral images[J]., 2008, 46(1): 228-236.

[19] Vivone G. Robust band-dependent spatial-detail approaches for panchromatic sharpening[J]., 2019, 57(9): 6421-6433.

[20] Lolli S, Alparone L, Garzelli A, et al. Haze correction for contrast-based multispectral pansharpening[J]., 2017, 14(12): 2255-2259.

[21] Restaino R, Dalla Mura M, Vivone G, et al. Context-adaptive pansharpening based on image segmentation[J]., 2017, 55(2): 753-766.

[22] MENG X, XIONG Y, SHAO F, et al. A large-scale benchmark data set for evaluating pansharpening performance: overview and implementation[J]., 2021, 9(1): 18-52.

[23] Aiazzi B, Baronti S, Selva M. Improving component substitution pansharpening through multivariate regression of MS+Pan Data[J]., 2007, 45(10): 3230-3239.

[24] Khan M M, Chanussot J, Condat L, et al. Indusion: fusion of multispectral and panchromatic images using the induction scaling technique[J]., 2008, 5(1): 98-102.

[25] Vivone G, Restaino R, Chanussot J. Full scale regression-based injection coefficients for panchromatic sharpening[J]., 2018, 27(7): 3418-3431.

[26] Vivone G, Restaino R, Chanussot J. A regression-based high-pass modulation pansharpening approach[J]., 2018, 56(2): 984-996.

[27] Palsson F, Sveinsson J R, Ulfarsson M O, et al. Model-based fusion of multi- and hyperspectral images using PCA and wavelets[J]., 2015, 53(5): 2652-2663.

[28] Roberta H. Yuhas A F H G. Discrimination among semi-arid landscape endmembers using the spectral angle mapper (SAM) algorithm[J].3rd, 1992(1): 147-149.

[29] Alparone L, Wald L, Chanussot J, et al. Comparison of pansharpening algorithms: outcome of the 2006 GRS-S data-fusion contest[J]., 2007, 45(10): 3012-3021.

[30] Otazu X, Gonzalez-Audicana M, Fors O, et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods[J]., 2005, 43(10): 2376-2385.

[31] ZHOU Wang, A C Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[32] Alparone L, Baronti S, Garzelli A, et al. A global quality measurement of pan-sharpened multispectral imagery[J]., 2004, 1(4): 313.

A Panchromatic and Multispectral Image Fusion Method Combining Energy and Structural Information

SONG Jiawen，ZHU Daming，ZUO Xiaoqing，F(xiàn)U Zhitao，CHEN Sijing

(Faculty of Land Resources Engineering, Kunming University of Science and Technology, Kumming 650093, China)

Component substitution is a classical method for remote-sensing image fusion that has good spatial fidelity but is prone to spectral distortion. Therefore, a panchromatic and multispectral image fusion method that combines structural and energy information is proposed. First, the method decomposes the spatial and spectral information of multispectral images by hyperspherical color-space transformation. Second, a two-layer decomposition scheme is introduced through joint bilateral filtering. The panchromatic image and intensity components are then decomposed into structural and energy layers. Finally, the structural layer is fused by the neighborhood spatial frequency strategy, and the pure energy layer of the intensity component is used as the energy layer of the pre-fusion image. The intensity component defines the color intensity. By combining the pre-fused structural layer with the energy layer of the intensity component, the spatial and spectral information of the source image can be effectively combined, thereby reducing the spectral distortion of the pansharpened image. In this study, several experiments were conducted on the Pléiades and QuickBird datasets, and the experimental results were qualitatively and quantitatively analyzed. The results show that the proposed method has certain advantages over existing methods.

pansharpening; hypersphere color space; joint bilateral filter; spatial frequency; panchromatic image; multispectral image

TP751

A

1001-8891(2023)07-0696-09

2023-04-14；

2023-06-20.

宋加文（1997-），男，山東蘭陵人，碩士研究生，主要研究方向?yàn)檫b感圖像融合。E-mail：717802899@qq.com。

朱大明（1970-），男，貴州安順人，博士，副教授，主要研究方向?yàn)?S集成、融合及應(yīng)用等。E-mail：634617255@qq.com。

國(guó)家自然科學(xué)基金（41961053）；云南省重大科技專項(xiàng)（202202AD080010）。