王欽煒 李璋,* 江云天 卞一杰 趙宏 葉熠彬

面向廣域場(chǎng)景的可見(jiàn)光-SAR遙感圖像匹配方法

王欽煒1,2李璋1,2,*江云天1,2卞一杰1,2趙宏1,2葉熠彬1,2

（1 國(guó)防科技大學(xué)空天科學(xué)學(xué)院，長(zhǎng)沙 410073）（2 湖南省圖像測(cè)量與視覺(jué)導(dǎo)航重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)沙 410073）

可見(jiàn)光-SAR（合成孔徑雷達(dá)）遙感圖像的高精度匹配是視覺(jué)導(dǎo)航、圖像融合等典型遙感應(yīng)用的基礎(chǔ)，現(xiàn)有匹配方法主要聚焦在非線性輻射失真（NRD）等成像差異的問(wèn)題，并未充分考慮遙感圖像的場(chǎng)景差異，導(dǎo)致匹配方法的場(chǎng)景適應(yīng)性有限。為解決可見(jiàn)光-SAR圖像匹配中成像場(chǎng)景廣域多樣、成像差異等挑戰(zhàn)，文章提出了一種結(jié)合遙感圖像場(chǎng)景分類的廣域場(chǎng)景異源圖像的匹配方法。該方法首先使用廣域圖像匹配場(chǎng)景分類算法按照紋理特征對(duì)遙感圖像進(jìn)行四個(gè)典型場(chǎng)景（重復(fù)紋理、非均勻紋理、弱紋理和混合類別）的分類，然后在統(tǒng)一的特征匹配框架中為每類場(chǎng)景選擇合適特征描述符。將該方法在異源圖像匹配數(shù)據(jù)集上與兩種常用的可見(jiàn)光-SAR匹配方法進(jìn)行比較，通過(guò)實(shí)驗(yàn)驗(yàn)證，文章的方法可以在不增加計(jì)算時(shí)間的前提下，在所有類別上取得最優(yōu)的匹配結(jié)果。該方法為廣域場(chǎng)景下的可見(jiàn)光-SAR遙感圖像匹配提供了一種可行的解決方法。

可見(jiàn)光圖像 合成孔徑雷達(dá)圖像 廣域場(chǎng)景 特征描述 異源圖像匹配 場(chǎng)景分類 遙感應(yīng)用

0 引言

近年來(lái)，隨著遙感成像技術(shù)快速發(fā)展以及商用遙感的普及，遙感圖像的品質(zhì)有了顯著改善，形成了可見(jiàn)光、合成孔徑雷達(dá)（Synthetic Aperture Radar，SAR）等多模態(tài)成像方式下的海量遙感影像數(shù)據(jù)。為了更加有效的利用各成像模式所包含的不同信息，通常需要對(duì)同一區(qū)域的多模態(tài)成像進(jìn)行異源圖像匹配，高精度的匹配結(jié)果是圖像融合、變化檢測(cè)、視覺(jué)導(dǎo)航等遙感典型應(yīng)用的基礎(chǔ)[1-3]。然而，由于成像機(jī)理的不同，可見(jiàn)光和SAR遙感圖像之間存在幾何特性、非線性輻射失真（Nonlinear Radiation Distortions，NRD）以及噪聲等差異[4-5]。此外，遙感圖像覆蓋區(qū)域廣且場(chǎng)景復(fù)雜多樣，給高精度的異源圖像匹配帶來(lái)了挑戰(zhàn)[6]。

常用的異源圖像匹配方法會(huì)基于圖像的特征進(jìn)行匹配[7]，針對(duì)可見(jiàn)光和SAR圖像間存在的NRD等問(wèn)題，常用的圖像特征包括梯度、相位一致性（Phase Congruency，PC）[8]和局部自相似性（Local Self-Similarity，LSS）[9]等特征。

傳統(tǒng)的特征描述符多數(shù)采用梯度特征構(gòu)建[10-14]，但相比于梯度，PC特征已被證明對(duì)光照和對(duì)比度變化更具魯棒性[15]，文獻(xiàn)[16]以分組的方式使用PC結(jié)構(gòu)圖提出了相位一致性結(jié)構(gòu)描述符（Phase Congruency Structural Descriptor，PCSD）；文獻(xiàn)[17]計(jì)算了PC的方向信息，使用方向梯度直方圖（Histogram of Orientated Gradient，HOG）描述符的框架構(gòu)建結(jié)構(gòu)特性描述符——方向相位一致性直方圖（Histogram of Orientated Phase Congruency，HOPC）；文獻(xiàn)[18]提出了一種新的仿射和對(duì)比度不變描述符，稱為最大穩(wěn)定相位一致性（Maximally Stable Phase Congruency，MSPC）；文獻(xiàn)[19]提出了一種基于PC和最大索引圖（Maximum Index Map，MIM）的更通用的方法，即輻射不變特征變換（Radiation-Invariant Feature Transform，RIFT）。

受局部自相似性（LSS）策略的啟發(fā)，文獻(xiàn)[20]提出了一個(gè)密集LSS（Dense Local Self-Similarity，DLSS）描述符來(lái)匹配光學(xué)和SAR圖像；文獻(xiàn)[21]提出了一種基于獨(dú)特順序的自相似性（Distinctive Order-Based Self Similarity，DOBSS）描述符，更準(zhǔn)確但也更費(fèi)時(shí)；文獻(xiàn)[22]引入了一種基于秩的局部自相似性（Rank-Based Local Self-Similarity，RLSS）描述符，以解決用于光學(xué)和SAR圖像之間嚴(yán)重的NRD。

但是，現(xiàn)有方法無(wú)法適應(yīng)廣域場(chǎng)景的匹配問(wèn)題，本文嘗試提出一種適用于廣域場(chǎng)景的異源圖像匹配方法。首先，根據(jù)圖像紋理的強(qiáng)度和空間分布對(duì)SAR進(jìn)行場(chǎng)景分類，不同于語(yǔ)義分類的典型遙感分類方法[23-24]，圍繞匹配的需求，更側(cè)重特征的分布特性。進(jìn)一步在分類的基礎(chǔ)上，選擇合適特征描述符，充分驗(yàn)證各特征描述的場(chǎng)景適應(yīng)性，最終實(shí)現(xiàn)面向廣域場(chǎng)景的魯棒且準(zhǔn)確異源圖像匹配。

1 廣域圖像場(chǎng)景分類算法

典型的遙感圖像場(chǎng)景分類是學(xué)習(xí)和發(fā)現(xiàn)圖像語(yǔ)義標(biāo)簽的過(guò)程，語(yǔ)義標(biāo)簽通常包括居民區(qū)、商業(yè)區(qū)、農(nóng)田、河流以及森林等?；趫D像特征表達(dá)的遙感圖像分類方法，例如全局特征信息（GIST）[25]對(duì)場(chǎng)景的分類更注重特征的分布，而不是語(yǔ)義的標(biāo)簽[26]，更適合基于特征的異源遙感圖像匹配任務(wù)，設(shè)計(jì)適合異源圖像匹配的場(chǎng)景分類方法是提高匹配精度的關(guān)鍵。本文的分類方法受文獻(xiàn)[25]啟發(fā)，將實(shí)際匹配任務(wù)的需求作為本文進(jìn)行場(chǎng)景分類的目的。

針對(duì)俯瞰視角的廣域遙感圖像匹配問(wèn)題，本文更加關(guān)注圖像全局的紋理強(qiáng)度與空間分布。本文根據(jù)圖像匹配任務(wù)設(shè)定的類別，以及場(chǎng)景分類中使用的特征描述和分類方法介紹如下。

1.1 廣域場(chǎng)景類別設(shè)定

圖像中常見(jiàn)的八種語(yǔ)義場(chǎng)景分別為港口、城市、河流、機(jī)場(chǎng)、島嶼、平原、戈壁以及山區(qū)。根據(jù)匹配任務(wù)需求，針對(duì)SAR圖像將以上八類場(chǎng)景按照紋理強(qiáng)度和空間分布分為四個(gè)類別——局部重復(fù)紋理、非均勻紋理、弱紋理以及混合場(chǎng)景。下面具體介紹每一類圖像的特點(diǎn)，并且在圖1中給出每個(gè)類別的兩幅示例圖。

1）重復(fù)紋理類別：主要為城市和平原場(chǎng)景。城市場(chǎng)景中建筑物大多以相似矩形沿著城市道路規(guī)則排列分布，道路將重復(fù)的建筑劃分成重復(fù)區(qū)域；平原場(chǎng)景中的農(nóng)田形狀結(jié)構(gòu)相似，沿道路分布且沒(méi)有明顯的地形差異。

2）非均勻紋理類別：主要為港口和海島場(chǎng)景。這兩種典型場(chǎng)景的共同之處是圖像中較大區(qū)域?yàn)楹Ｓ?，沒(méi)有有效紋理信息的存在。

3）弱紋理類別：主要為丘陵、戈壁和山區(qū)場(chǎng)景。圖像中的紋理信息多為地形起伏造成的非結(jié)構(gòu)性紋理，對(duì)比度較低且可辨別性不強(qiáng)。

4）混合類別：除了以上三種具有明顯紋理分布的場(chǎng)景以外，剩余的場(chǎng)景均被劃到混合類別。該類別場(chǎng)景種類多樣，包含前面提到的幾種類別的組合特點(diǎn)。

圖1 各類別場(chǎng)景示例

1.2 基于紋理分析的場(chǎng)景特征描述

對(duì)于上一節(jié)中提到的四種類別的圖像，可使用紋理強(qiáng)度、均勻度兩項(xiàng)指標(biāo)去衡量其全局的紋理強(qiáng)度和分布。本文采用二維Gabor濾波器組[27]提取圖像紋理信息，然后計(jì)算濾波器組的輸出的均值和標(biāo)準(zhǔn)差從而構(gòu)建特征向量。

1.3 基于支持向量機(jī)（SVM）的場(chǎng)景分類

由于當(dāng)前缺少基于特征分類方式構(gòu)建的公開(kāi)數(shù)據(jù)集，沒(méi)有足夠龐大的數(shù)據(jù)集去訓(xùn)練深度學(xué)習(xí)模型，而上述紋理強(qiáng)度和均勻性度量屬于低維特征，本文采用SVM基于全局紋理特征對(duì)圖像進(jìn)行分類。

在本文的多分類問(wèn)題中，使用“一對(duì)多”策略，又稱為OVR-SVM[28]，訓(xùn)練時(shí)依次把某個(gè)類別的樣本歸為一類，其他剩余的樣本歸為另一類，這樣四個(gè)類別的樣本就構(gòu)造出了四個(gè)二元分類器。給定未知樣本時(shí)，將其分類為具有最大分類函數(shù)值的類別。

在廣域場(chǎng)景分類模塊中，使用Gabor濾波器組構(gòu)建圖像的全局紋理特征向量，然后訓(xùn)練一組SVM二元分類器進(jìn)行多分類。如圖2所示。

圖2 廣域場(chǎng)景分類模塊

2 結(jié)合場(chǎng)景分類的異源遙感圖像匹配方法

2.1 異源圖像特征描述

結(jié)構(gòu)和形狀特性是相對(duì)獨(dú)立于輻射變化的物理特征，通過(guò)提取不同模態(tài)中穩(wěn)定的物理結(jié)構(gòu)特征，并基于特征圖像進(jìn)行異源圖像匹配，通?？捎糜诮鉀Q可見(jiàn)光和SAR圖像中存在的NRD問(wèn)題。相比于梯度，PC特征已被證明對(duì)光照和對(duì)比度變化更具魯棒性[15]，是計(jì)算結(jié)構(gòu)特征的最常用表示。基于PC特征圖的常用特征描述符包括HOPC[17]和RIFT[19]已成功用在了異源圖像匹配中。

相位一致性是一種基于圖像局部相位的特征檢測(cè)器，邊緣和角點(diǎn)等特征常具有高度一致的局部相位信息[29]。文獻(xiàn)[15]使用多尺度和方向上的Log-Gabor濾波器（Log-Gabor Filter，LGF）計(jì)算了相位一致性，作者考慮了圖像的噪聲與模糊，改進(jìn)了相位一致性的計(jì)算，使其對(duì)噪聲更加魯棒[15]，改進(jìn)后相位一致性表達(dá)式如下

通過(guò)計(jì)算得到相位一致性的幅值，在此基礎(chǔ)上，文獻(xiàn)[17]還計(jì)算了相位一致性的方向，然后使用HOG的特征框架，將梯度替換為PC，利用PC的幅值和方向構(gòu)建HOPC特征。

2.2 廣域場(chǎng)景異源圖像匹配

針對(duì)SAR與可見(jiàn)光圖像匹配中成像場(chǎng)景廣域多樣、存在非線性輻射差異等挑戰(zhàn)，本文提出一種結(jié)合遙感圖像場(chǎng)景分類的廣域場(chǎng)景異源圖像的匹配框架，用于提升異源圖像匹配的魯棒性和準(zhǔn)確性，為視覺(jué)導(dǎo)航、圖像融合以及變化檢測(cè)等任務(wù)奠定基礎(chǔ)。

上一節(jié)介紹的兩種特征描述符中，HOPC描述符構(gòu)建過(guò)程中特征單元?jiǎng)澐指邔哟危酶?xì)的紋理信息構(gòu)建更高維的特征描述符，同時(shí)使用了幅值和方向信息，適用于紋理信息豐富的場(chǎng)景上，并且多層次的構(gòu)建單元，使得其在一定程度上適應(yīng)局部重復(fù)的紋理。RIFT描述符中使用MIM作為特征圖，其特征圖的構(gòu)建方式一定程度上克服了特征圖中有效紋理的稀疏性的缺點(diǎn)，對(duì)于包含無(wú)紋理和低對(duì)比度紋理的場(chǎng)景有著更好的魯棒性。

為了比較了兩種特征描述方式在不同類別圖像上的性能，本文統(tǒng)一使用RIFT方法[19]的特征匹配框架，并且根據(jù)其特點(diǎn)用于不同類別的場(chǎng)景：

1）重復(fù)紋理類別：選擇使用了更精細(xì)的紋理信息的HOPC作為特征描述符，記為R-HOPC；

2）非均勻紋理類別：選擇使用MIM作為特征圖的RIFT特征描述符；

3）弱紋理類別：同樣選擇使用MIM作為特征圖的RIFT特征描述符；

4）混合類別：包含的場(chǎng)景種類豐富且混合了以上多種類別的場(chǎng)景特點(diǎn)，紋理信息較為豐富，選擇使用了更精細(xì)的紋理信息的HOPC作為特征描述符。

根據(jù)上面對(duì)四種類別圖像的分析，可以確定廣域場(chǎng)景異源圖像匹配框架中的特征描述方法。在第3章中通過(guò)測(cè)試匹配性能來(lái)調(diào)整描述符的參數(shù)，從而確定最終使用的描述符。匹配模塊如圖3所示。

圖3 異源圖像匹配模塊

廣域場(chǎng)景的異源圖像匹配框架如圖4所示。

圖4 廣域場(chǎng)景異源圖像匹配框架

可以看到，框架中的各部分算法都可以根據(jù)任務(wù)需求進(jìn)行調(diào)整。

3 實(shí)驗(yàn)驗(yàn)證

由于目前尚未存在使用紋理分類的遙感圖像數(shù)據(jù)集，因此本文使用某挑戰(zhàn)賽數(shù)據(jù)集和實(shí)驗(yàn)室自有圖像構(gòu)建數(shù)據(jù)集，用于場(chǎng)景的分類與匹配測(cè)試。為了驗(yàn)證提出的廣域場(chǎng)景異源圖像匹配框架的有效性，本文測(cè)試了SAR圖像紋理分類，R-HOPC和RIFT方法在各類圖像上的匹配性能。在本章中，使用精確率和召回率指標(biāo)驗(yàn)證分類性能，使用均方根誤差和正確匹配率驗(yàn)證匹配性能。

3.1 數(shù)據(jù)集及評(píng)估標(biāo)準(zhǔn)

異源圖像匹配數(shù)據(jù)集包含可見(jiàn)光與SAR圖像對(duì)，均為真實(shí)非合成的圖像。數(shù)據(jù)集中的可見(jiàn)光與SAR圖像之間預(yù)先進(jìn)行了全局幾何矯正。數(shù)據(jù)集中的SAR圖像分辨率為512像素×512像素，經(jīng)過(guò)篩選保留其中325張SAR圖像通過(guò)人工標(biāo)注的方式構(gòu)建場(chǎng)景分類數(shù)據(jù)集。依據(jù)場(chǎng)景中紋理特征分布準(zhǔn)則，數(shù)據(jù)集的組成為：重復(fù)紋理類別55張、非均勻紋理類別67張、弱紋理類別32張以及混合類別171張。

為了測(cè)試分類器的性能，將場(chǎng)景分類數(shù)據(jù)集劃分為訓(xùn)練集和測(cè)試集，測(cè)試集中包括重復(fù)紋理7張、非均勻紋理6張、弱紋理5張和混合類別10張。將與測(cè)試集中SAR圖像成對(duì)的可見(jiàn)光圖像進(jìn)行裁剪，形成完全對(duì)齊一組的圖像對(duì)，構(gòu)成了本文的匹配測(cè)試集。

對(duì)于遙感圖像分類，選取精確率和召回率的計(jì)算公式分別為

式中 TP為真陽(yáng)性；FP為假陽(yáng)性；FN為假陰性。

對(duì)于異源圖像匹配，選取均方根誤差RMSE和正確匹配率CMR作為評(píng)價(jià)標(biāo)準(zhǔn)，其中RMSE的計(jì)算公式為

CMR計(jì)算公式為

式中 CM為匹配結(jié)果中正確匹配的點(diǎn)對(duì)數(shù)；為匹配點(diǎn)對(duì)總數(shù)。只有與真值點(diǎn)的誤差小于給定誤差閾值的匹配點(diǎn)才被認(rèn)為是正確匹配，由于不同場(chǎng)景匹配的難度不同，我們?yōu)槊款悎?chǎng)景選定不同的誤差閾值來(lái)確定正確的匹配數(shù)[17,30]。由于本文使用的是真實(shí)數(shù)據(jù)集，對(duì)于重復(fù)紋理與混合類別的場(chǎng)景，匹配難度相對(duì)較低，使用較小的閾值（2像素）來(lái)確定CM；對(duì)于非均勻與弱紋理類別的場(chǎng)景，匹配過(guò)程非常具有挑戰(zhàn)性，使用較大的閾值（3.5像素）來(lái)確定CM。

3.2 分類性能測(cè)試

在廣域場(chǎng)景分類中，本文使用了兩種以紋理信息構(gòu)建特征描述符的方法，GIST[25]、Gabor特 征[27]和兩種方式的混合記為GIST（Gabor）。在測(cè)試集上計(jì)算每個(gè)類別的精確率和召回率，將每種特征構(gòu)建方法在每個(gè)類別圖像上的和如表1所示。

表1 幾種特征的分類性能比較

Tab.1 Classification performance comparison of several features 單位：%

由表1可知，Gabor特征描述在每類圖像上的精確率和召回率均取得了最優(yōu)值，分類性能最好；通過(guò)結(jié)合GIST和Gabor特征描述方式分類，性能并沒(méi)有進(jìn)一步的提升。另外，本文中每種特征的平均構(gòu)建時(shí)間，如表2所示。

表2 幾種特征的計(jì)算時(shí)間

Tab.2 Computation time of several features

可以看到，低維度的全局特征描述過(guò)程很簡(jiǎn)單，計(jì)算速度非?？?，三種特征描述方式的計(jì)算時(shí)間都在20～35ms的范圍，而使用Gabor特征的SVM分類器在每幅圖上的預(yù)測(cè)時(shí)間為10-2ms左右，相比于匹配過(guò)程10s數(shù)量級(jí)的計(jì)算時(shí)間可以忽略不計(jì)。得到結(jié)論，Gabor特征描述取得了最優(yōu)的分類性能和最快的計(jì)算速度，在廣域場(chǎng)景分類模塊中將其作為本文的特征描述方法。

3.3 匹配性能測(cè)試

本文對(duì)四類圖像需要的特征描述符參數(shù)進(jìn)行測(cè)試，通過(guò)調(diào)整兩種描述符的參數(shù)，尋找每類圖像上匹配性能最優(yōu)的參數(shù)組合。在HOPC描述符中，可調(diào)整的參數(shù)有每個(gè)塊內(nèi)單元的大小、數(shù)量、計(jì)算方向數(shù)以及模板的尺寸，參數(shù)組合記為R-HOPC（---）；在RIFT描述符中，可調(diào)整的參數(shù)有卷積濾波器組的尺度數(shù)、方向數(shù)以及圖像塊大小，參數(shù)組合記為RIFT（--）。

在HOPC特征描述符中，計(jì)算方向數(shù)的選擇是關(guān)鍵參數(shù)，通過(guò)增加計(jì)算的方向數(shù)量可以提高對(duì)重復(fù)紋理的適應(yīng)性，體現(xiàn)了方向信息在結(jié)構(gòu)表征中的重要性。在RIFT特征描述符中，圖像塊大小的選擇是關(guān)鍵參數(shù)；對(duì)于非均勻紋理類別，相對(duì)較小的圖像塊可以減輕紋理信息稀疏性對(duì)特征描述符表示性能的影響；對(duì)于弱紋理類別，適中尺寸的圖像塊既保證足夠的紋理信息，又不會(huì)因?yàn)檩^多非結(jié)構(gòu)紋理而降低描述符的匹配性能。本文中兩種描述符參數(shù)調(diào)整過(guò)程中在各自類別場(chǎng)景中計(jì)算的CMR和RMSE如圖5、圖6所示。

圖5 不同參數(shù)HOPC特征描述符的RRMSE與CMR

圖6 不同參數(shù)RIFT特征描述符的RRMSE與CMR

通過(guò)圖5和圖6中的結(jié)果，本文推薦在四種場(chǎng)景的類別中分別使用參數(shù)為R-HOPC(3-4-8-200)、RIFT(4-8-72)、RIFT(4-8-96)和R-HOPC (3-4-5-200)的特征描述符。

圖7顯示為每個(gè)類別確定的最優(yōu)特征描述符在所有圖像上匹配的平均RMSE（為了方便可視化，我們只保留了RMSE小于2.5個(gè)像素的區(qū)域）。由圖7的結(jié)果可以驗(yàn)證，異源圖像匹配模塊中為每類圖像確定的最優(yōu)特征描述符在該類圖像上取得了最優(yōu)的匹配精度。每個(gè)類別上最優(yōu)描述符計(jì)算的平均RMSE（圖7中綠框選中）分別為1.175像素、1.677像素、1.691像素及1.356像素。

圖7 每類圖像的平均RRMSE

本文按照類別在圖8～圖11中顯示了每對(duì)圖像匹配的RMSE和CMR。

RIFT描述符直接使用特征圖的直方圖得到，相比HOPC的特征描述方式在重復(fù)結(jié)構(gòu)上沒(méi)有任何優(yōu)勢(shì)，從圖8中可以看到其性能遠(yuǎn)落后于HOPC。四種方法計(jì)算的CMR分別為95.43%，48.56%，43.52%，92.79%。R-HOPC(3-4-8-200)的在編號(hào)為1的圖像上的CMR略低于R-HOPC(3-4-5-200)；但是在其余圖像上均不低于R-HOPC(3-4-5-200)，RMSE的趨勢(shì)同CMR。綜上來(lái)看，R-HOPC(3-4-8-200)方法在重復(fù)紋理類別圖像上的匹配性能最優(yōu)。

圖8 重復(fù)紋理類別的RRMSE與CMR

在非均勻紋理類別中，無(wú)紋理區(qū)域的存在導(dǎo)致PC特征圖中有大量零值，因此使用MIM作為特征圖的RIFT描述符一定程度上避免了有效紋理信息的稀疏性，從圖9（a）中（為了方便可視化，我們只保留了RMSE小于3個(gè)像素的區(qū)域）看到幾乎在所有圖像的匹配中得到了更低的RMSE。四種方法計(jì)算的CMR分別為16.55%，78.43%，58.82%，16.00%。RIFT(4-8-72)在編號(hào)為1的圖像上的CMR略微低于RIFT(4-8-96)方法，但是在其余圖像上均高于或與RIFT(4-8-96)相近，綜合來(lái)看，RIFT(4-8-72)方法在非均勻紋理類別圖像上的匹配性能最優(yōu)。

圖9 非均勻紋理類別的RRMSE與CMR

在弱紋理類別中，絕大多數(shù)的紋理為非結(jié)構(gòu)性紋理，RIFT描述符通過(guò)構(gòu)建MIM可以顯著克服紋理低對(duì)比度的挑戰(zhàn)，在圖10（a）中（為了方便可視化，我們只保留了RMSE小于4個(gè)像素的區(qū)域）看到所有圖像的匹配中得到了更低RMSE值。四種方法計(jì)算的CMR分別為15.71%，60.66%，78.84%，15.89%。從圖10（b）上可以看到，RIFT(4-8-96)在編號(hào)為4的圖像上的CMR低于RIFT(4-8-72)方法，但是在其余圖像上均為最優(yōu)且優(yōu)勢(shì)明顯。

混合類別通常包含著上述三種類型以外的所有圖像，因此單元更加精細(xì)的HOPC描述符提取的信息豐富特性得以體現(xiàn)。在圖11（a）中觀察到，R-HOPC(34-5-200)在所有圖像上都取得了最低或者接近最低的RMSE。四種方法計(jì)算的CMR分別為71.36%，57.25%，49.25%，81.37%。R-HOPC(3-4-5-200)僅在編號(hào)為8和10的圖像上略低于R-HOPC(3-4-8-200)方法，在其余圖像上均具有領(lǐng)先優(yōu)勢(shì)。綜合來(lái)看，R-HOPC(34-5-200)方法在混合類別圖像上的匹配性能最優(yōu)。另外該類別圖像的匹配結(jié)果中還有一個(gè)很明顯的特點(diǎn)，由于其場(chǎng)景種類的豐富性，計(jì)算的CMR差異很大，最高的達(dá)到100%的CMR，而最差的僅有60%左右。

圖11 混合類別的RRMSE與CMR

此外，為了還原文獻(xiàn)[17]中HOPC匹配框架的性能，本文使用了文獻(xiàn)[17]中的設(shè)置，將歸一化互相關(guān)（Normalized Cross Correlation，NCC）作為HOPC描述符的相似性度量準(zhǔn)則即HOPCNCC，在所有類別的圖像上進(jìn)行了匹配性能的測(cè)試。得到了在四種類別場(chǎng)景的圖像上計(jì)算的平均CMR分別為89.86%，50.33%，31.30%，78.80%，由上述CMR值可知，在非均勻紋理和弱紋理類別上HOPCNCC的匹配性能相較R-HOPC有明顯的提升，但是與RIFT相比仍然有一定差距。

圖12顯示了配準(zhǔn)結(jié)果。可以看到本文為每類場(chǎng)景確定的特征描述符將可見(jiàn)光-SAR圖像對(duì)很好的對(duì)齊。

圖12 配準(zhǔn)結(jié)果的棋盤格可視化

4 結(jié)束語(yǔ)

本文提出了一種結(jié)合遙感圖像場(chǎng)景分類的廣域場(chǎng)景異源圖像的匹配方法，為解決SAR與可見(jiàn)光圖像匹配中成像場(chǎng)景廣域多樣、存在非線性輻射差異等挑戰(zhàn)。在異源圖像匹配中，現(xiàn)有方法無(wú)法適應(yīng)廣域場(chǎng)景的圖像匹配問(wèn)題。在本文提出的匹配方法中，首先將SAR圖像中的場(chǎng)景類別分為重復(fù)紋理、非均勻紋理、弱紋理以及混合四類，受到GIST的啟發(fā)使用低維的全局紋理特征對(duì)SAR圖像的紋理強(qiáng)度和分布進(jìn)行描述，然后使用一組SVM分類器對(duì)紋理特征進(jìn)行分類，構(gòu)成廣域場(chǎng)景分類模塊。通過(guò)對(duì)異源遙感圖像匹配領(lǐng)域中兩種較優(yōu)的特征描述符HOPC和RIFT進(jìn)行參數(shù)調(diào)整，為每類場(chǎng)景確定具有最優(yōu)匹配性能的參數(shù)，并將特征描述符嵌入到同一個(gè)特征匹配框架中，組成異源圖像匹配模塊。

兩種特征描述符的特點(diǎn)可以較好的適應(yīng)SAR圖像中常出現(xiàn)的幾種場(chǎng)景類別，但是從匹配結(jié)果中也可以看到非均勻和弱紋理兩種類別的圖像沒(méi)能取得與其余兩種類別接近的性能，面臨的挑戰(zhàn)仍然是比較嚴(yán)峻的。在未來(lái)的工作中，將嘗試對(duì)兩種類別的特征檢測(cè)和匹配過(guò)程進(jìn)一步改進(jìn)，例如在非均勻紋理類別中使用紋理豐富度掩模，在弱紋理類別中應(yīng)用圖像增強(qiáng)方法來(lái)增強(qiáng)輪廓或邊緣特征，這些都可能有助于提高圖像匹配的精度。

由于HOPC和RIFT兩種特征描述符可以很好的解決NRD，適用于不同模態(tài)的圖像，因此本文的方法也可以拓展到其他類型的異源圖像匹配任務(wù)中。

[1] MA J Y, MA Y, LI C. Infrared and Visible Image Fusion Methods and Applications: A Survey[J]. Information Fusion, 2019(45): 153-178.

[2] JAMES A P, DASARATHY B V. Medical Image Fusion: A Survey of the State of the Art[J]. Information Fusion, 2014(19): 4-19.

[3] 陸翔, 章皖秋, 鄭雅蘭, 等. 特征選擇的全極化SAR 影像面向?qū)ο笸恋馗采w分類[J]. 航天返回與遙感, 2018, 39(2): 93-103.

LU Xiang, ZHANG Wanqiu, ZHENG Yalan, et al. Object-oriented Land Cover Classification Based on Feature Selection in Quad-polarimetric SAR Images[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(2): 93-103. (in Chinese)

[4] LI Q, FU B H, DONG Y F. Registration of Radar and Optical Satellite Images Using Multiscale Filter Technique and Information Measure[M]//IMPERATORE P, RICCIO D. Geoscience and Remote Sensing New Achievements. London: Intec open Limited, 2010.

[5] HONG T D, SCHOWENGERDT R A. A Robust Technique for Precise Registration of Radar and Optical Satellite Images[J]. Photogrammetric Engineering & Remote Sensing, 2005, 71(5): 585-593.

[6] XIAO G B, LUO H, ZENG K, et al. Robust Feature Matching for Remote Sensing Image Registration via Guided Hyper-plane Fitting[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 60(99): 1-14.

[7] JIANG X Y, MA J Y, XIAO G B, et al. A Review of Multimodal Image Matching: Methods and Applications[J]. Information Fusion, 2021, 73: 22-71.

[8] MORRONE M C, OWENS R A. Feature Detection from Local Energy[J]. Pattern Recognition Letters, 1987, 6(5): 303-313.

[9] SHECHTMAN E, IRANI M. Matching Local Self-similarities Across Images and Videos[C]//2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. IEEE, 2007: 1-8.

[10] XIANG Y M, WANG F, WANG L, et al. OS-Flow: A Robust Algorithm for Dense Optical and SAR Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(9): 6335-6354.

[11] YE Y X, BRUZZONE L, SHAN J, et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 9059-9070.

[12] DALAL N, TRIGGS B. Histograms of Oriented Gradients for Human Detection[C]//2005 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2005, San Diego, CA, USA. IEEE, 2005: 886-893.

[13] XIANG Y M, WANG F, YOU H J. OS-SIFT: A Robust SIFT-like Algorithm for High-resolution Optical-to-SAR Image Registration in Suburban Areas[J]. IEEE Transactions on Geoscience & Remote Sensing, 2018, 56(6): 3078-3090.

[14] FAN B, HUO C L, PAN C H, et al. Registration of Optical and SAR Satellite Images by Exploring the Spatial Relationship of the Improved SIFT[J]. IEEE Geoscience & Remote Sensing Letters, 2013, 10(4): 657-661.

[15] KOVESI P. Image Features from Phase Concurrency[J]. Journal of Computer Vision Research, 1999, 1(3): 1-26.

[16] FAN J W, WU Y, LI M, et al. SAR and Optical Image Registration Using Nonlinear Diffusion and Phase Congruency Structural Descriptor[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(9): 5368-5379.

[17] YE Y X, SHAN J, BRUZZONE L, et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2941-2958.

[18] LIU X Z, AI Y F, ZHANG J L, et al. A Novel Affine and Contrast Invariant Descriptor for Infrared and Visible Image Registration[J]. Remote Sensing, 2018, 10(4): 658.

[19] LI J Y, HU Q W, AI M Y. RIFT: Multi-modal Image Matching Based on Radiation-variation Insensitive Feature Trans-form[J]. IEEE Transactions on Image Processing, 2020(29): 3296-3310.

[20] YE Y X, LI S, HAO M, et al. Robust Optical-to-SAR Image Matching Based on Shape Properties[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(4):1-5.

[21] SEDAGHAT A, EBADI H. Distinctive Order Based Self-similarity Descriptor for Multi-sensor Remote Sensing Image Matching[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015(108): 62-71.

[22] XIONG X, XU Q, JIN G W, et al. Rank-based Local Self-similarity Descriptor for Optical-to-SAR Image Matching[J]. IEEE Geoscience and Remote Sensing Letters, 2019, 17(10): 1742-1746.

[23] YANG Y, NEWSAM S. Spatial Pyramid Co-occurrence for Image Classification[C]//2011 IEEE International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. IEEE, 2011: 1465-1472.

[24] 于夢(mèng)馨, 劉波, 湯恩生. 改進(jìn)粒子群算法優(yōu)化SVM參數(shù)的遙感圖像分類[J]. 航天返回與遙感, 2018, 39(2): 133-140.

YU Mengxin, LIU Bo, TANG Ensheng. Remote Sensing Image Classification Based on Improved PSO Support Vector Machine[J]. Spacecraft Recovery & Remote Sensing, 2018, 39(2): 133-140. (in Chinese)

[25] OLIVA A, TORRALBA A. Modeling the Shape of the Scene: A Holistic Representation of the Spatial Envelope[J]. International Journal of Computer Vision, 2001, 42(3): 145-175.

[26] 楊迎港, 劉培, 張合兵, 等. 基于特征優(yōu)選隨機(jī)森林算法的 GF-2 影像分類[J]. 航天返回與遙感, 2022, 43(2): 115-126.

YANG Yinggang, LIU Pei, ZHANG Hebing, et al. Research on GF-2 Image Classification Based on Feature Optimization Random Forest Algorithm[J]. Spacecraft Recovery & Remote Sensing, 2022, 43(2): 115-126. (in Chinese)

[27] NEWSAM S, WANG L, BHAGAVATHY S, et al. Using Texture to Analyze and Manage Large Collections of Remote Sensed Image and Video Data[J]. Applied Optics, 2004, 43(2): 210-217.

[28] BOTTOU L, CORTES C, DENKER J S, et al. Comparison of Classifier Methods: A Case Study in Handwritten Digit Recognition[C]//1994 IEEE International Conference on Pattern Recognition, October 9-13, 1994, Jerusalem, Israel. IEEE, 1994: 77-82.

[29] KOVESI P. Phase Congruency Detects Corners and Edges[EB/OL]. [2022-03-15]. https://www.docin.com/p-782365141.html.

[30] YE Y X, YANG C, ZHANG J C, et al. Optical-to-SAR Image Matching Using Multiscale Masked Structure Features[J]. IEEE Geoscience and Remote Sensing Letters, 2022(19): 1-5.

An Optical-to-SAR Remote Sensing Image Matching Method for Wide Area Scene

WANG Qinwei1,2LI Zhang1,2,*JIANG Yuntian1,2BIAN Yijie1,2ZHAO Hong1,2YE Yibin1,2

（1 College of Aerospace Science and Engineering, National University of Defense Technology, Changsha 410073, China）（2 Hunan Provincial Key Laboratory of Image Measurement and Vision Navigation, Changsha 410073, China）

Accurate optical-to-SAR image matching plays a fundamental role in typical remote sensing applications such as visual navigation and image fusion. Current image matching methods mainly focus on imaging differences such as the nonlinear radiation distortion (NRD). The differences of remote sensing image scene are not fully considered in common image matching procedure, which limits the adaptability of image matching methods for different scenes. To address the issues of wide-area image scenes and imaging modality differences in optical-to-SAR image matching, this study proposes a multimodal image matching framework with wide-area image scene classifier. The classifier is built on texture features and used to classify the images into four typical scenes (repetitive texture, non-uniform texture, weak texture and mixed classes). Then we select the corresponding feature descriptor for image matching process for a certain scene. The proposed method is compared with two commonly used optical-to-SAR image matching methods on the public dataset. The proposed method can achieve the best matching results for all typical scenes without increasing the calculation time, which provides a solution for optical-to-SAR remote sensing image matching for wide area scene.

optical image; synthetic aperture radar image; wide area scene; feature descriptor; multimodal image matching; scene classification; remote sensing application

V445

A

1009-8518(2022)05-0109-14

10.3969/j.issn.1009-8518.2022.05.011

2022-05-23

國(guó)家自然科學(xué)基金（61801491）；中國(guó)博士后基金項(xiàng)目（2021M693972）

王欽煒, 李璋, 江云天, 等. 面向廣域場(chǎng)景的可見(jiàn)光-SAR遙感圖像匹配方法[J]. 航天返回與遙感, 2022, 43(5): 109-122.

WANG Qinwei, LI Zhang, JIANG Yuntian, et al. An Optical-to-SAR Remote Sensing Image Matching Method for Wide Area Scene[J]. Spacecraft Recovery & Remote Sensing, 2022, 43(5): 109-122. (in Chinese)

王欽煒，男，1998年生，2020年獲南京理工大學(xué)兵器科學(xué)與技術(shù)專業(yè)學(xué)士學(xué)位，現(xiàn)在國(guó)防科技大學(xué)航空宇航科學(xué)與技術(shù)專業(yè)攻讀碩士學(xué)位。主要研究方向是可見(jiàn)光與SAR圖像匹配。E-mail：wqw20@nudt.edu.cn。

李璋，男，1985年生，2015年獲得代爾夫特理工大學(xué)生物醫(yī)學(xué)工程專業(yè)博士學(xué)位，國(guó)防科技大學(xué)空天科學(xué)學(xué)院應(yīng)用力學(xué)系研究員。主要研究方向是圖像測(cè)量與視覺(jué)導(dǎo)航。E-mail：zhangli_nudt@163.com。

（編輯：龐冰）