張永顯,馬國銳,訾栓緊,門 行

1.武漢大學(xué)測繪遙感信息工程國家重點(diǎn)實(shí)驗(yàn)室,湖北 武漢 430079; 2.中國消防救援學(xué)院,北京 102202; 3.65547部隊(duì),遼寧 鞍山 114200

影像配準(zhǔn)是將多時(shí)相、多平臺(tái)、多傳感器等多種手段獲取的兩幅或多幅影像進(jìn)行空間幾何一致性對齊的過程[1],目的是去除或抑制待配準(zhǔn)圖像和參考圖像之間的幾何不一致性,有效降低復(fù)雜環(huán)境對目標(biāo)區(qū)域多源協(xié)同觀測產(chǎn)生的云霧遮擋、晝夜交替等不利因素的影響,獲取目標(biāo)區(qū)域更為全局可靠的信息,得到更為全面準(zhǔn)確的分析結(jié)果,為多源遙感信息的深度挖掘、大數(shù)據(jù)分析提供了重要支撐,在圖像檢索[2]、三維重建[3]、災(zāi)害評估[4]等多種應(yīng)用中發(fā)揮著重要作用。然而,在攝影成像時(shí)由于多源遙感影像的物理輻射信息、成像幾何機(jī)理、攝影成像時(shí)間等不同,在輻射特征和幾何特征上產(chǎn)生了顯著差異,使得建立多源遙感影像亞像元對應(yīng)關(guān)系仍面臨較大挑戰(zhàn)。

為解決多源遙感影像像素級配準(zhǔn)問題,學(xué)者們進(jìn)行了大量研究,從發(fā)展歷程來看,基于影像特征的配準(zhǔn)方法經(jīng)歷了由模型驅(qū)動(dòng)的手工設(shè)計(jì)型特征到由數(shù)據(jù)驅(qū)動(dòng)的學(xué)習(xí)型特征的演化。常見的特征有3種類型:角點(diǎn)、邊緣和區(qū)域。不論是手工設(shè)計(jì)型還是學(xué)習(xí)型特征,理想的特征檢測器應(yīng)具備3個(gè)特點(diǎn)[5]:能夠有效探測圖像中具有可區(qū)分性的關(guān)鍵信息;當(dāng)場景發(fā)生不同的變換時(shí)能夠重復(fù)檢測到一致性特征;提取的特征要具有盡可能低的計(jì)算復(fù)雜度。

基于手工設(shè)計(jì)型特征的影像配準(zhǔn)方法,是依靠研究者經(jīng)驗(yàn)或知識進(jìn)行設(shè)計(jì)特征檢測器、特征描述子及相似性度量模型來實(shí)現(xiàn)圖像配準(zhǔn)。文獻(xiàn)[6—9]通過改進(jìn)SIFT算法或者結(jié)合其他約束信息開展了多源影像高精度配準(zhǔn)研究,在影像灰度和結(jié)構(gòu)較為接近的異源影像中取得了較好的結(jié)果。但當(dāng)影像輻射差異和灰度差異較大時(shí),會(huì)面臨特征梯度信息較小的挑戰(zhàn),使得同名特征點(diǎn)匹配準(zhǔn)確性大大降低,嚴(yán)重影響了配準(zhǔn)算法性能。已有的研究中,梯度互信息方法能夠適應(yīng)影像間輻射差異,被成功應(yīng)用于多源遙感影像配準(zhǔn)[10],但其龐大的計(jì)算代價(jià)限制了應(yīng)用范圍[11]。為解決多源遙感影像灰度和紋理差異顯著導(dǎo)致高精度配準(zhǔn)困難的問題,文獻(xiàn)[12—13]以影像輪廓和局部形狀具有高度相似性特征為出發(fā)點(diǎn),利用多源影像之間的幾何結(jié)構(gòu)特征捕獲共有屬性,顯著提升了多源遙感影像配準(zhǔn)精度,然而這種方式需要較為完備的預(yù)處理以消除影像旋轉(zhuǎn)、尺度、視差等因素帶來的影響,不利于全自動(dòng)化的影像配準(zhǔn)。

基于學(xué)習(xí)型特征的影像配準(zhǔn)方法,是利用深度學(xué)習(xí)特別是卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)作為一種圖像高層特征提取器對影像信息從低層到高層進(jìn)行局部自適應(yīng)學(xué)習(xí),經(jīng)過多層級非線性映射從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)較為穩(wěn)健的特征和描述符[14]。由于是數(shù)據(jù)驅(qū)動(dòng)的,具有較強(qiáng)的靈活性,能夠利用圖像高層語義化信息進(jìn)行匹配,理論上具有更強(qiáng)的泛化性,從而提升影像配準(zhǔn)算法性能[15]。在遙感圖像匹配領(lǐng)域,文獻(xiàn)[16—17]基于Siamese網(wǎng)絡(luò)架構(gòu)提取學(xué)習(xí)型特征。文獻(xiàn)[18]進(jìn)一步利用Triplet網(wǎng)絡(luò)架構(gòu)提取學(xué)習(xí)型特征,均取得了較好的配準(zhǔn)結(jié)果。此外,在計(jì)算機(jī)視覺圖像匹配領(lǐng)域,還有同時(shí)提取特征點(diǎn)和描述符的D2-Net[19]、SuperGlue[20]、SGM-Net[21]等網(wǎng)絡(luò)模型也都應(yīng)用到多源遙感影像配準(zhǔn)的研究,從不同方面提升了多源遙感影像配準(zhǔn)精度和效率。文獻(xiàn)[22]基于對影像配準(zhǔn)整體效率的思考,提出一種基于端到端方式的影像配準(zhǔn)框架,有效提升了整體配準(zhǔn)精度。文獻(xiàn)[23]提出了一種針對光學(xué)圖像和SAR圖像稀疏匹配的深度學(xué)習(xí)框架,實(shí)現(xiàn)了適用于大尺度場景多源遙感影像配準(zhǔn)。這些基于學(xué)習(xí)型特征的多源遙感影像配準(zhǔn)方法重點(diǎn)解決影像非線性幾何和輻射差異造成的影響,以提升配準(zhǔn)精度和效率。然而,對于具有旋轉(zhuǎn)角度較大的多源影像配準(zhǔn),仍鮮有研究。

綜上分析,無論是基于手工設(shè)計(jì)型特征還是學(xué)習(xí)型特征的影像配準(zhǔn)方法均取得了長足發(fā)展。但隨著應(yīng)用領(lǐng)域深度和廣度的不斷拓展,對多源遙感影像配準(zhǔn)提出了更高要求,依然存在較多提升空間,主要表現(xiàn)為:對于具有顯著仿射變化的圖像,現(xiàn)有的多源遙感影像特征匹配算法性能表現(xiàn)不佳;對于旋轉(zhuǎn)、尺度、視角等非線性幾何差異,進(jìn)行自動(dòng)配準(zhǔn)前需要較完備的預(yù)處理來提升配準(zhǔn)精度,增加了工作量;大規(guī)模訓(xùn)練數(shù)據(jù)是提升學(xué)習(xí)型特征表征性能的重要途徑,目前公開的多源遙感影像訓(xùn)練數(shù)據(jù)并不多見,使得影像自動(dòng)配準(zhǔn)應(yīng)用受到限制。

針對以上多源遙感影像配準(zhǔn)存在的特征提取算法適應(yīng)性差、同名特征點(diǎn)利用率不高、訓(xùn)練數(shù)據(jù)規(guī)模不足等問題,本文提出一種具有雙向一致性變換的多源遙感影像學(xué)習(xí)型特征自動(dòng)配準(zhǔn)方法。首先,利用適應(yīng)性改造的ResNet101深層網(wǎng)絡(luò)模型提取輸入影像的學(xué)習(xí)型特征,以提升應(yīng)對多源遙感影像間非線性輻射畸變和幾何畸變的能力,增強(qiáng)影像特征匹配算法對具有顯著仿射變化的配準(zhǔn)性能;然后,采用雙向一致性特征匹配策略,得到穩(wěn)健匹配的同名點(diǎn)對;最后,利用回歸網(wǎng)絡(luò)學(xué)習(xí)變換矩陣參數(shù),完成多源遙感影像的像素級配準(zhǔn)。

1 雙向一致性配準(zhǔn)方法

1.1 算法整體框架

本文提出的多源遙感影像學(xué)習(xí)型特征雙向一致性配準(zhǔn)方法主要由特征提取、特征匹配、參數(shù)估計(jì)3部分組成,如圖1所示。特征提取模塊主要用于提取輸入圖像對{IA,IB}的特征信息{fA,fB},其網(wǎng)絡(luò)結(jié)構(gòu)借鑒了ResNet101模型,并對其進(jìn)行適應(yīng)性改造來提取多源遙感圖像特征。特征匹配模塊是根據(jù)特征圖{fA,fB},采用雙向計(jì)算特征關(guān)聯(lián)圖的非負(fù)皮爾遜相關(guān)系數(shù)的方式獲取特征點(diǎn)對相關(guān)度。變換矩陣參數(shù)回歸模塊是根據(jù)置信度較高的N對匹配點(diǎn),利用加權(quán)方法回歸仿射變換參數(shù)完成圖像配準(zhǔn)。

圖1 本文算法整體流程框架

1.2 學(xué)習(xí)型特征提取模型設(shè)計(jì)

1.3 雙向一致性特征匹配模型

經(jīng)典的暴力匹配、快速最近鄰匹配等方法首先是計(jì)算兩幅圖像中描述符之間的相似性,然后設(shè)置閾值約束相似性得分來提高匹配可靠性,進(jìn)而實(shí)現(xiàn)同名特征匹配。這種匹配方式主要考慮了特征描述符之間的相似性和特征空間位置分布,缺乏對特征描述大小、方向、強(qiáng)度等特性的考慮使得影像配準(zhǔn)精度完全取決于特征匹配精度和空間位置分布,不利于環(huán)境差異顯著的多源遙感影像配準(zhǔn)。為充分利用原始描述符提供的有效信息,本文借鑒特征圖關(guān)聯(lián)思想[25],利用雙向非負(fù)皮爾遜相關(guān)系數(shù)在特征圖的關(guān)聯(lián)網(wǎng)絡(luò)中計(jì)算特征描述符的相似性,再對描述符的相似性得分進(jìn)行排序和歸一化處理,以降低模糊匹配的權(quán)重,增強(qiáng)匹配的可靠性。對于L2正則化后的特征圖fA,fB∈Rh×w×d,經(jīng)過關(guān)聯(lián)層輸出的由fA到fB的關(guān)聯(lián)圖cAB∈Rh×w×(h×w),由fB到fA的關(guān)聯(lián)圖cBA∈Rh×w×(h×w),雙向關(guān)聯(lián)圖cAB和cBA在每一位置都包含一對描述符的標(biāo)量積,如圖2所示。雙向非負(fù)皮爾遜相關(guān)系數(shù)計(jì)算特征關(guān)聯(lián)圖的相似性表達(dá)式如下

圖2 雙向一致性特征匹配模型結(jié)構(gòu)

(1)

式中,(i,j)和(ik,jk)表示特征在特征圖fA、fB的位置;uA和uB表示特征圖fA、fB的平均值。

1.4 變換矩陣參數(shù)加權(quán)回歸

參數(shù)回歸目的是從關(guān)聯(lián)特征圖中學(xué)習(xí)出兩個(gè)輸入圖像之間幾何變換模型參數(shù),本文采用具有6自由度的仿射變換矩陣作為幾何變換模型。參數(shù)回歸網(wǎng)絡(luò)模型[25]是由兩個(gè)Padding值為0,Stride為1的卷積層(Conv)組成,每個(gè)卷積層之后添加了批正則化(BatchNorm)和ReLU激活函數(shù),最后通過全連接層(FC)得到變換矩陣的參數(shù),如圖3所示。

圖3 參數(shù)回歸網(wǎng)絡(luò)結(jié)構(gòu)

由于待配準(zhǔn)圖像和參考圖像的匹配關(guān)系是相互的,因此,二者之間仿射變換矩陣具有可逆性,且其逆矩陣仍是仿射變換矩陣,利用這一特性構(gòu)建了雙向回歸網(wǎng)絡(luò),并對網(wǎng)絡(luò)回歸結(jié)果賦予不同權(quán)值,形成變換矩陣參數(shù)加權(quán)回歸模型,以提高多源遙感影像配準(zhǔn)性能。變換矩陣參數(shù)加權(quán)回歸模型可表達(dá)為

θ=αθs→t+βθt→s+γ

(2)

式中,α、β為系數(shù)調(diào)節(jié)因子,試驗(yàn)中取值均為0.5;γ為變換參數(shù)擾動(dòng)項(xiàng);θs→t、θt→s分別是待配準(zhǔn)圖像與參考圖像之間變換矩陣。

變換矩陣參數(shù)回歸整體過程如圖4所示。

圖4 變換矩陣參數(shù)回歸模型

2 網(wǎng)絡(luò)模型訓(xùn)練

2.1 損失函數(shù)

網(wǎng)絡(luò)損失函數(shù)設(shè)計(jì)以變換格網(wǎng)損失函數(shù)為基礎(chǔ),思想是將參數(shù)回歸網(wǎng)絡(luò)估計(jì)的變換參數(shù)應(yīng)用到待配準(zhǔn)圖像像素格網(wǎng)上,再度量與真值變換的像素網(wǎng)格中對應(yīng)點(diǎn)之間的距離。整個(gè)損失函數(shù)模型設(shè)計(jì)如圖5所示。

圖5 損失函數(shù)模型

對于給定的估計(jì)值θest和真值θgt,變換格網(wǎng)損失函數(shù)可表示為

(3)

式中,Tθest(Gi)和Tθgt(Gi)分別表示參數(shù)回歸網(wǎng)絡(luò)估計(jì)的θest和真值θgt變換得到的格網(wǎng)點(diǎn)Gi,影像格網(wǎng)點(diǎn)Gi={(xi,yi)}i=1,2,…,N。

為能夠在網(wǎng)絡(luò)訓(xùn)練中使回歸網(wǎng)絡(luò)反向傳播參數(shù)更新后輸出的仿射變換模型參數(shù)值與真值差異不斷縮小,在式(3)中增加了θs→t和θt→s兩個(gè)分支項(xiàng),把雙向一致性學(xué)習(xí)嵌入損失函數(shù),提升多源遙感影像配準(zhǔn)精度,最終損失函數(shù)如下

(4)

2.2 模型訓(xùn)練

微調(diào)的模型訓(xùn)練和驗(yàn)證數(shù)據(jù)采用Google Earth數(shù)據(jù)集,它包含10 000個(gè)圖像對,每個(gè)圖像對都是在相同的地方不同時(shí)間拍攝的,由于圖像配準(zhǔn)模型進(jìn)行大規(guī)模訓(xùn)練需要獲取圖像對的嚴(yán)格幾何變換參數(shù)是一項(xiàng)巨大的工作量,因此,部分圖像對是通過隨機(jī)仿射變換作為真值對原始數(shù)據(jù)集進(jìn)行了擴(kuò)充,訓(xùn)練時(shí)首先將其分為9000、500和500個(gè)圖像對,分別進(jìn)行訓(xùn)練、驗(yàn)證和測試[26]。

模型訓(xùn)練平臺(tái)為Dell 7920工作站,CPU Xeon 6126@2.60 GHz,顯卡GeForce RTX2080Ti(12 GB顯存),內(nèi)存64 GB,操作系統(tǒng)Ubuntu18.04。模型的實(shí)現(xiàn)采用Pytorch框架,訓(xùn)練優(yōu)化器選用Adam,學(xué)習(xí)率為0.000 5,BatchSize設(shè)置為10,圖像輸入尺寸為240×240。

3 試驗(yàn)結(jié)果與分析

3.1 試驗(yàn)數(shù)據(jù)

測試數(shù)據(jù)類型包含4種:Google Earth影像數(shù)據(jù)、多源衛(wèi)星影像數(shù)據(jù)、多源無人機(jī)影像、混合Google Earth-衛(wèi)星-無人機(jī)多源遙感數(shù)據(jù)。數(shù)據(jù)差異性除了具有顯著的旋轉(zhuǎn)、光照、紋理、尺度變化,也包含不同成像模式和時(shí)相的多源遙感影像。影像分辨率涵蓋從0.05～10 m的多分辨率圖像。數(shù)據(jù)覆蓋山地、丘陵、平原等多種地貌類型,以充分驗(yàn)證算法的可靠性。數(shù)據(jù)介紹見表1。

表1 數(shù)據(jù)基本情況

圖6展示了測試數(shù)據(jù)縮略圖,其中Google Earth影像數(shù)據(jù)主要測試算法在時(shí)相、旋轉(zhuǎn)角度差異較大時(shí)對不同地物類型的適應(yīng)性;多源衛(wèi)星遙感數(shù)據(jù)存在不同模態(tài)、不同分辨率、不同地形地貌等多種綜合性的差異,測試算法對多源衛(wèi)星遙感影像的適應(yīng)性;無人機(jī)數(shù)據(jù)在地物輻射方面差異顯著,測試算法對非線性輻射差異的多源無人機(jī)影像配準(zhǔn)性能;Google Earth-衛(wèi)星-無人機(jī)的多源遙感數(shù)據(jù)具有地物特征變化明顯、成像模式不同等特點(diǎn),能夠較好測試算法對多源多模態(tài)遙感圖像不變性特征的提取能力。

圖6 測試影像數(shù)據(jù)

3.2 評價(jià)指標(biāo)

3.2.1 歸一化相關(guān)系數(shù)

歸一化相關(guān)系數(shù)(normalized correlation coefficient,NCC)可用來度量圖像之間關(guān)聯(lián)程度,試驗(yàn)中采用減去均值的歸一化相關(guān)系數(shù),以降低相機(jī)曝光參數(shù)不一致帶來的灰度差異影響,具體表示為

NCC(I1,I2)=

(5)

式中,μ1和μ2分別為圖像I1和I2的均值;x為圖像所有的像素點(diǎn)。

3.2.2 結(jié)構(gòu)相似度

結(jié)構(gòu)相似性(strucutral similiairty,SSIM)可用于衡量兩張圖像相似性,給定兩張圖像I1和I2,結(jié)構(gòu)相似性SSIM可描述為

SSIM(I1,I2)=[l(I1,I2)]φ[c(I1,I2)]ψ×

[s(I1,I2)]κ

(6)

(7)

(8)

(9)

式中,l(I1,I2)用于比較亮度;c(I1,I2)用于比較對比度;s(I1,I2)用于比較圖像的結(jié)構(gòu);φ、ψ、κ均為調(diào)整因子;μ1、μ2、σ1、σ2分別為圖像I1和I2的均值和方差;σ12為協(xié)方差;C1、C2、C3為常數(shù),用以維護(hù)穩(wěn)定性。

3.2.3 均方根誤差

配準(zhǔn)精度可通過同名點(diǎn)的均方根誤差(root mean square error,RMSE)進(jìn)行刻畫,描述為

(10)

3.3 試驗(yàn)設(shè)置

試驗(yàn)的對比分析選取了適應(yīng)于多源遙感影像配準(zhǔn)的5種方法,包括基于手工設(shè)計(jì)特征的RIFT(radiation-variation insensitive feature transform)[27]算法、基于ENVI 5.3.1商業(yè)軟件的手工選點(diǎn)配準(zhǔn)方式和基于深度學(xué)習(xí)特征的D2-Net[19]、SGM-Net[21]、文獻(xiàn)[26]算法。實(shí)際操作中圖7顯示了RIFT算法對旋轉(zhuǎn)、尺度等差異較大的多源圖像出現(xiàn)較多無法正確匹配或者有豐富的匹配點(diǎn)對但配準(zhǔn)效果不理想的狀況,未能較好地適應(yīng)于試驗(yàn)數(shù)據(jù),因此,本文僅對比了適應(yīng)性較好的深度學(xué)習(xí)方法和手工選點(diǎn)方式。

3.4 試驗(yàn)結(jié)果

3.4.1 定性評價(jià)與分析

對于本文方法的試驗(yàn)結(jié)果采用定性和定量相結(jié)合的方式進(jìn)行分析評價(jià)。定性評價(jià)主要通過人工觀察配準(zhǔn)結(jié)果,具體做法是首先把配準(zhǔn)后的多源影像進(jìn)行疊置,然后利用棋盤格交錯(cuò)分塊顯示并放大局部區(qū)域的方式呈現(xiàn)配準(zhǔn)效果,結(jié)果如圖8所示。

圖8 本文方法在測試數(shù)據(jù)中的配準(zhǔn)結(jié)果

由圖8可知,本文方法對于所有測試數(shù)據(jù)均取得了較好的配準(zhǔn)效果,能夠有效抵抗不同時(shí)相、尺度、季節(jié)、紋理、視角、成像模式等非線性輻射和幾何差異的影響,適用于多種數(shù)據(jù)源的影像配準(zhǔn)。從Google Earth影像配準(zhǔn)驗(yàn)證結(jié)果可知,本文方法對大旋轉(zhuǎn)角度的多源影像具有較好的效果,由于該組數(shù)據(jù)存在顯著的旋轉(zhuǎn)和季節(jié)差異,為此在多季節(jié)變換的訓(xùn)練數(shù)據(jù)集中采用隨機(jī)旋轉(zhuǎn)矩陣擴(kuò)充多旋轉(zhuǎn)角度影像參與訓(xùn)練,增強(qiáng)了模型對旋轉(zhuǎn)圖像匹配的適應(yīng)性;多源衛(wèi)星影像配準(zhǔn)結(jié)果表明本文方法能夠適用于成像模式有差異或存在多種綜合差異的影像;多源無人機(jī)影像配準(zhǔn)試驗(yàn)證明了本文方法能夠抵抗較大非線性輻射差異的影響;Google Earth-衛(wèi)星-無人機(jī)影像配準(zhǔn)試驗(yàn)進(jìn)一步驗(yàn)證本文方法對地物類型和尺度差異顯著的數(shù)據(jù)同樣具有較好的適應(yīng)性。

3.4.2 定量評價(jià)與分析

定量評價(jià)指標(biāo)采用歸一化相關(guān)系數(shù)NCC、結(jié)構(gòu)相似性SSIM和均方根誤差RMSE進(jìn)行配準(zhǔn)效果評價(jià)。其中,NCC和SSIM值越大配準(zhǔn)精度越高,取值范圍分別為NCC∈[-1,1],SSIM∈[0,1]。配準(zhǔn)之前和配準(zhǔn)之后的NCC、SSIM對比結(jié)果如圖9所示。

由圖9可知,歸一化相關(guān)系數(shù)NCC配準(zhǔn)之后有著明顯的提高,表明了本文方法對多源遙感影像配準(zhǔn)的有效性,其中第4組光學(xué)-光學(xué)測試數(shù)據(jù)配準(zhǔn)之后NCC增幅最為顯著,從0.088提升至0.613,增長0.525,顯著提升了具有綜合差異的多源遙感影像關(guān)聯(lián)度,實(shí)現(xiàn)了可靠的配準(zhǔn)結(jié)果;最小增加值呈現(xiàn)負(fù)方向的增長,即第8組無人機(jī)光學(xué)-SAR圖像,由配準(zhǔn)前的-0.04到配準(zhǔn)后的-0.09,這是由于成像模式不同,非線性輻射差異顯著,使得配準(zhǔn)之后其歸一化相關(guān)系數(shù)仍不顯著;其余測試數(shù)據(jù)配準(zhǔn)后NCC均有顯著提升。對于SSIM值,雖然配準(zhǔn)之后均有所增加,但增幅較低,多在0.1以內(nèi),表明配準(zhǔn)前后對圖像結(jié)構(gòu)調(diào)整變動(dòng)不大。

均方根誤差RMSE是衡量配準(zhǔn)精度的重要指標(biāo),配準(zhǔn)耗時(shí)T是衡量配準(zhǔn)效率的重要指標(biāo),二者均為值越小配準(zhǔn)效果越好,為驗(yàn)證本文方法的穩(wěn)健性與高效性,表2重點(diǎn)對比了在所有測試數(shù)據(jù)上本文方法和其他幾種方法的配準(zhǔn)精度和效率,可以發(fā)現(xiàn)相比于其他幾種方法出現(xiàn)精度不穩(wěn)定、效率低下、失配等問題,本文方法配準(zhǔn)誤差能夠基本控制在2像素以內(nèi),配準(zhǔn)耗時(shí)控制在5 s以內(nèi),驗(yàn)證了本文算法對多源遙感影像配準(zhǔn)的可靠性。

表2 不同方法配準(zhǔn)精度和效率比較

4 結(jié)論與展望

多源遙感影像之間由于存在顯著的非線性輻射和幾何等差異,使得相同區(qū)域的同名特征匹配存在多解和誤匹配等現(xiàn)象,利用匹配關(guān)系解算的變換矩陣精確性不高,導(dǎo)致了配準(zhǔn)性能低下、精度較差等問題。本文提出了一種具有雙向一致性變換的多源遙感影像學(xué)習(xí)型特征自動(dòng)配準(zhǔn)方法。該方法基于微調(diào)的ResNet101網(wǎng)絡(luò)模型實(shí)現(xiàn)多源遙感影像學(xué)習(xí)型特征提取,利用雙向一致性特征匹配模型提升同名特征匹配的可靠性,并通過小型輕量級網(wǎng)絡(luò)加權(quán)回歸變換矩陣參數(shù),最終實(shí)現(xiàn)多源遙感影像穩(wěn)健可靠的一致性配準(zhǔn)。選取Google Earth影像、衛(wèi)星影像、無人機(jī)影像、混合Google Earth-衛(wèi)星-無人機(jī)影像4種不同數(shù)據(jù)源測試本文方法的性能,并與具有代表性的多種方法進(jìn)行比較,表明本文方法對于多源遙感影像在配準(zhǔn)精度和穩(wěn)健性方面的優(yōu)勢。

本文方法僅使用局部學(xué)習(xí)型特征和變換參數(shù)自學(xué)習(xí)的方式來探索多源遙感影像自動(dòng)配準(zhǔn)。然而,多源遙感影像表現(xiàn)形式差異顯著,同一區(qū)域可能會(huì)由于尺度、遮擋、視角、紋理等因素,在多源影像上無法獲取同名特征,嚴(yán)重影響配準(zhǔn)的可靠性和穩(wěn)健性。此外,深度學(xué)習(xí)模型是數(shù)據(jù)驅(qū)動(dòng)的,其性能高度依賴于訓(xùn)練數(shù)據(jù)的質(zhì)量、數(shù)量和多樣性,而獲取高質(zhì)量的大規(guī)模多源遙感影像配準(zhǔn)的訓(xùn)練數(shù)據(jù)集仍面臨巨大挑戰(zhàn)。因此,在進(jìn)一步的研究中,需要更加深入探索學(xué)習(xí)型特征匹配機(jī)理,借鑒遷移學(xué)習(xí)、自監(jiān)督學(xué)習(xí)等思想,提升多源遙感影像配準(zhǔn)的精度、效率和適用范圍,以更好地服務(wù)于實(shí)際工程應(yīng)用。