徐辛超,李旭佳,馬鈺,劉少創(chuàng),焦慧慧
(1.遼寧工程技術(shù)大學(xué) 測繪與地理科學(xué)學(xué)院,遼寧 阜新 123000;2.中國科學(xué)院遙感與數(shù)字地球研究所,北京 100101)
嫦娥三號著陸器在下降過程中,其下方攜帶的降落相機以不低于10幀/秒的頻率拍攝影像,整個降落過程獲取了4 000余幅降落影像[1-3]。降落序列影像的快速匹配對于著陸器著陸軌跡的恢復(fù)、著陸區(qū)三維地形重建和巡視器路徑規(guī)劃等任務(wù)有著重要的意義[4-5]。與嫦娥一號和二號遙感影像數(shù)據(jù)相比,降落序列影像具有更高的分辨率,且著陸器攜帶的姿態(tài)測量設(shè)備和激光高度計等設(shè)備可以獲取影像拍攝時刻的姿態(tài)和高度,這些都為降落序列影像的快速匹配提供了基礎(chǔ)條件。
現(xiàn)有的降落序列影像匹配方法中,由于考慮到降落影像間發(fā)生了尺度變化,因此,往往采用SIFT、SURF或者其改進(jìn)方法實現(xiàn)。劉斌等2014采用SIFT算法進(jìn)行了降落影像的匹配,并開展了嫦娥三號著陸軌跡恢復(fù)[6]。賈陽等采用SIFT方法進(jìn)行了降落影像匹配,并開展了嫦娥三號著陸點的定位[7]。徐辛超等提出了一種改進(jìn)SIFT的降落影像匹配方法,重構(gòu)了降落過程得幾何模型,并將其用于匹配約束,提高了匹配效率[8]。馬欽華結(jié)合Forstner與SIFT組成一種改進(jìn)的算法,實現(xiàn)了降落序列影像的特征點初步匹配[9]。孫澤洲等利用降落影像序列通過SIFT(scale-invariant feature transform)方法實現(xiàn)嫦娥三號系統(tǒng)著陸點高精度定位[10]。萬文輝等通過降落序列圖像間的SIFT匹配,完成了著陸器在低分辨率降落圖像上的定位[11]。Xu等通過下降序列影像結(jié)合明暗恢復(fù)形狀技術(shù)完成了著陸區(qū)地形的初步重建[12]。上述方法雖然效果比較理想,但是由于其實現(xiàn)過程中需要經(jīng)過較為復(fù)雜的特征描述過程,導(dǎo)致程序耗時較多,程序時效性較差。為了減少降落序列影像匹配過程的耗時,針對著陸器懸停及后續(xù)過程拍攝的降落影像的成像特點,提出了一種降落序列影像的快速匹配方法,為后續(xù)著陸軌跡恢復(fù)、著陸區(qū)地形重建等任務(wù)提供基礎(chǔ)。
考慮到降落序列影像的拍攝特點,各影像間存在較大的尺度差異,但是旋轉(zhuǎn)等情況較少,因此,采用傳統(tǒng)的特征點提取方法結(jié)合相關(guān)系數(shù)匹配實現(xiàn)其快速匹配。傳統(tǒng)特征點提取方法中Moravec方法實現(xiàn)過程簡單,耗時較少,因此,后續(xù)匹配中以該方法為基礎(chǔ)展開。
Moravec于1977年提出了直接利用圖像灰度信息探測特征點的方法,其基本思想是計算影像中的某個局部窗口的灰度方差的變化,確定興趣值大于某一閾值的點作為特征點。該方法的具體實現(xiàn)過程如下:
①確定當(dāng)前像素位置(c,r),并確定一定大小的窗口w1,用于計算后續(xù)灰度梯度,并確定k值的取值。一般情況下窗口大小取值為7×7、9×9、11×11等。
②確定計算各像元在4個方向的興趣值,并確定最小方向的興趣值作為該點的最終興趣值,公式如下:
(1)
③給定一經(jīng)驗閾值,將興趣值大于閾值的點作為候選點。
④確定一定大小的窗口w2,選取候選點中的極值點作為最終特征點。
降落序列影像是著陸器在下降過程中連續(xù)拍攝的影像。著陸器在懸停后的下降過程中的獲取的降落影像只存在較大尺度變化,相互之間的旋轉(zhuǎn)角度非常小,且處于近似垂直狀態(tài)拍攝。針對降落影像的特點,提出了一種降落序列影像快速匹配方法。
提出的快速匹配方法主要過程包括影像尺度統(tǒng)一、初步特征點提取、幾何約束、相關(guān)系數(shù)匹配及誤匹配剔除、匹配點坐標(biāo)計算5個部分??焖倨ヅ浞椒ǖ恼w實現(xiàn)流程如圖1所示。
1)影像尺度統(tǒng)一。首先選取待匹配的降落影像,并獲取降落影像的拍攝高度。拍攝高度可以根據(jù)對應(yīng)的激光高度計數(shù)據(jù)獲取。
根據(jù)影像1和影像2對應(yīng)的高度數(shù)據(jù),計算兩者間的尺度差異。假設(shè)影像1的拍攝高度為h1,影像2的拍攝高度為h2,且h1
m=h2/h1
(2)
由拍攝高度可以得到影像1的覆蓋范圍小于影像2,但影像1的分辨率高于影像2。考慮到進(jìn)行尺度變換后再進(jìn)行匹配的過程中,得到的匹配點坐標(biāo)還需要重新轉(zhuǎn)換為原始影像坐標(biāo)。如果將影像1參照尺度比例進(jìn)行縮小,則在還原原始影像坐標(biāo)過程中,無法客觀還原出準(zhǔn)確的原始點位。因此,最終實現(xiàn)時采用了將拍攝高度較高的影像2按照尺度比例進(jìn)行放大的操作,方便后續(xù)匹配點坐標(biāo)還原。根據(jù)尺度比例,將影像2放大至與影像1同一尺度后方可進(jìn)行特征點提取操作。影像2尺度變化過程中采用雙線性插值作為重采樣方法。
圖1 快速匹配技術(shù)路線
2)Moravec特征點提取。采用Moravec算子分別對影像1和尺度變化后的影像2進(jìn)行初步特征點提取。為了盡可能多地提取特征點,對于閾值的選擇時要適當(dāng)取小閾值,本文中選取的閾值為200。特征點提取窗口w1過小對于特征點提取不夠準(zhǔn)確,窗口過大會影響程序執(zhí)行的效率,因此,算法執(zhí)行過程中,需要綜合考慮匹配點的數(shù)量,程序耗時和后續(xù)誤匹配數(shù)量3種因素,最終確定最佳的窗口大小。
降落影像中著陸器發(fā)動機部分在影像中始終出現(xiàn),為了不影響最終匹配效果,設(shè)置了掩模用于該部分的特殊處理,如果特征點出現(xiàn)在該部分,則剔除該特征點。
3)匹配約束。為盡可能地提高匹配效率,采用了前期研究提出的幾何約束剔除誤匹配。著陸器在懸停后的降落過程近似呈垂直狀態(tài),所拍攝的影像變形較小且易于處理,因此進(jìn)行地形重建、軌跡恢復(fù)時主要采用這一階段拍攝的影像作為數(shù)據(jù)源。著陸器懸停后的降落過程近似幾何結(jié)構(gòu)如圖2所示。假設(shè)S1、S2分別為影像1和影像2的攝影中心,二者近似在一條垂線上。h1、h2分別為二者的拍攝高度,P1、P2分別為月面點P對應(yīng)的像點,其在對應(yīng)的相像平面直角坐標(biāo)系下的坐標(biāo)分別為(x1,y1)和(x2,y2),由圖2可得:
x2≈x1·h2/h1
(3)
圖2 降落過程匹配約束示意圖
同理可得y方向的相似約束條件。根據(jù)文獻(xiàn)[12]中的匹配約束條件,最終進(jìn)行特征匹配點搜索時,首先確定影像1中待匹配點位置,然后判斷影像2中的匹配點是否在其周圍±5個像素大小的搜索范圍,如果超出該范圍則放棄該匹配點對,否則認(rèn)為是可靠的匹配點。
4)相關(guān)系數(shù)匹配及誤匹配剔除。采用相關(guān)系數(shù)作為匹配測度進(jìn)行了左右影像的匹配,匹配模板窗口大小取值為11×11。相關(guān)系數(shù)閾值設(shè)置較大會導(dǎo)致匹配點數(shù)量過少,閾值較小則會導(dǎo)致誤匹配點數(shù)量增多,影響匹配效果,需要經(jīng)過多次試驗,確定最佳的相關(guān)系數(shù)閾值。最后采用隨機抽樣一致算法(random sample consensus,RANSAC)進(jìn)行了誤匹配點的剔除。
5)原始匹配點坐標(biāo)計算。由于影像2進(jìn)行了尺度變化,初步匹配點的坐標(biāo)實際為變換后的坐標(biāo),因此,還需要根據(jù)尺度比例將其坐標(biāo)返回至原始降落影像2中。假設(shè)變換后的影像2中匹配點坐標(biāo)為(x′,y′),原始影像中最終匹配點坐標(biāo)為(x,y),則二者之間存在以下變換關(guān)系:
(4)
為了驗證提出方法的執(zhí)行效果,設(shè)計了3種類型的對比實驗。①取多個特征點提取窗口開展降落序列影像匹配,以確定特征點提取時的最佳窗口大小。②取不同的相關(guān)系數(shù)閾值,結(jié)合匹配點數(shù)量、程序耗時和誤匹配率等,確定最佳相關(guān)系數(shù)閾值。③采用提出的快速匹配方法和SIFT匹配方法開展多組影像的匹配,分析提出方法的匹配效果。圖3(a)、圖3(b)、圖3(c)和圖3(d)為部分降落影像,圖3(e)為掩模,實驗影像編號右左至右分別為0418、0422、0438與0442,最右側(cè)圖像為掩模。
圖3 實驗影像與掩模
為了驗證窗口大小對匹配結(jié)果的影響,確定最佳匹配窗口,選取了5×5、7×7、9×9、11×11、13×13和15×15窗口大小,對下降影像0418-0422進(jìn)行了測試。表1為提出方法針對不同窗口大小在相關(guān)系數(shù)閾值為0.92時,采用RANSAC算法剔除誤匹配后的匹配點數(shù)量、匹配耗時和正確匹配率。文中實驗所用電腦配置為:CPU主頻3.5 GHz,內(nèi)存4 GB,硬盤500 GB。下文所有表中的時間單位均為s。
表1 不同窗口大小匹配性能統(tǒng)計
由表1的統(tǒng)計結(jié)果可以得出:匹配程序耗時與隨著窗口的增大而增加,窗口大小為5×5時初始匹配點數(shù)最少,僅為164個,同時其誤匹配率最高,為32.93%;窗口大小為其他值時,匹配點的數(shù)量與窗口大小沒有固定關(guān)系,窗口大小為9×9時獲取的匹配點數(shù)量可以達(dá)到247個,誤匹配率最低,僅為0.40%。綜合考慮程序耗時、匹配點數(shù)量與匹配正確率,最終選定匹配窗口大小為9×9。
為了驗證閾值對匹配結(jié)果的影響,選取了6個閾值,對下降影像0418-0422進(jìn)行了測試。表2為提出方法在不同相關(guān)系數(shù)閾值條件下,采用RANSAC算法剔除誤匹配后的匹配點數(shù)量、匹配耗時和正確匹配率。
表2 不同閾值匹配性能統(tǒng)計
由表2的統(tǒng)計結(jié)果可得:匹配程序耗時與相關(guān)系數(shù)閾值無固定關(guān)系,當(dāng)閾值增大時,初始點數(shù)和最終點數(shù)均存在不同程度的減少,閾值為0.89時提取的特征點數(shù)量較多,最終匹配點數(shù)量也較多,但是也存在一定程度的誤匹配,閾值為0.94時獲得特征點數(shù)量最少,最終匹配點數(shù)量也最少,但是誤匹配率也最高,閾值為0.90時,特征點數(shù)量較多,且誤匹配率最少,因此,算法最終確定相關(guān)系數(shù)閾值為0.90。
在上述實驗的基礎(chǔ)上,最終在窗口大小為9×9,閾值為0.90時,采用嫦娥三號真實的降落影像開展了匹配實驗,并對程序匹配耗時進(jìn)行了分析。選取的降落影像范圍由0418開始至0467結(jié)束,每隔5幅影像進(jìn)行匹配,即0418-4022、4023-4027、0463-0467等進(jìn)行匹配。表3為采用RANSAC算法剔除誤匹配后,提出方法與經(jīng)典SIFT 2種方法的初始匹配點和剔除誤匹配后的最終匹配點數(shù)量,圖4(a)和圖4(c)分別為經(jīng)典SIFT方法對0418-0422和0438-0442的匹配結(jié)果,圖4(b)和圖4(d)為提出方法對應(yīng)的匹配結(jié)果。
針對不同降落影像,2種方法都可以取得較好的匹配結(jié)果,證明提出的方法是可行的。
表3 匹配性能統(tǒng)計
由表3可以得出:①提出的快速匹配方法正確率最低為92.89%,最高為99.60%,可見提出的方法可以有效的開展降落影像間的匹配,并且具有較高的穩(wěn)定性;②提出的快速方法在采用RANSAC算法之前仍然存在少量的誤匹配,主要是由于月面影像中紋理信息較傳統(tǒng)影像特殊,存在大量的紋理重復(fù)或者匱乏的區(qū)域,導(dǎo)致幾何模型約束匹配過程中的搜索范圍內(nèi)出現(xiàn)多余候選匹配點,導(dǎo)致誤匹配出現(xiàn);③SIFT算法的平均正確率為95.13%,提出方法的平均正確率為97.55%,改進(jìn)方法提出的匹配點正確率高于經(jīng)典SIFT方法,主要是由于采用了較為嚴(yán)密的幾何模型約束匹配。
為了驗證提出方法的方法的匹配效率,采用上述多組降落影像進(jìn)行了匹配耗時測試,并與經(jīng)典SIFT方法進(jìn)行了對比分析,圖5為2種方法的匹配結(jié)果耗時。
圖4 不同方法匹配結(jié)果
圖5 2種方法的匹配結(jié)果耗時
由圖5可以得出,提出的降落影像快速匹配方法最大耗時為84.78 s,最少為83.53 s,平均耗時84.11 s。經(jīng)典SIFT方法的最大耗時為262.89 s,最短為166.13 s,平均耗時為210.64 s,平均降低耗時126.53 s,且提出的方法匹配過程耗時更為穩(wěn)定。以SIFT方法的耗時為基準(zhǔn),同組影像匹配中,提出的快速匹配方法效率最多提高了68.10%,最低提高了50.19%,平均提高約59.62%,由此說明提出的快速匹配方法對于不同降落影像間的匹配可以相對穩(wěn)定的提高59%左右。
通過上述實驗可以得出,同一閾值的條件下,匹配耗時隨著窗口的增大而增加;而同一窗口大小時,匹配耗時與相關(guān)系數(shù)閾值無明顯關(guān)系;與經(jīng)典SIFT算法相比,提出的快速匹配方法可以大幅度減少匹配過程得耗時,并且可以獲得數(shù)量穩(wěn)定的特征點,進(jìn)而為后續(xù)地形重建等任務(wù)提供基礎(chǔ)。
針對現(xiàn)有降落序列影像匹配過程耗時較多,效率較低的問題,提出了一種適合降落序列影像的快速匹配方法。該方法以經(jīng)典Moravec特征點提取方法為基礎(chǔ),通過尺度變換、匹配過程幾何約束、相關(guān)系數(shù)匹配、坐標(biāo)變換,最終實現(xiàn)了降落序列影像的快速匹配。通過真實降落影像匹配測試,得出特征點提取窗口大小為9×9、相關(guān)系數(shù)閾值為0.90時,可以獲得的數(shù)量較多特征點。與經(jīng)典SIFT匹配方法相比,提出的快速匹配方法可以大幅減少匹配耗時,且能夠取得較為穩(wěn)定的匹配結(jié)果。提出方法可以平均減少59%左右的匹配耗時,極大的提高了降落序列影像的匹配效率,且誤匹配率小于SIFT匹配方法,證明本文提出的方法是有效和切實可行的。通過本文方法的改進(jìn)可以為后續(xù)下降序列影像的應(yīng)用提供了更好的基礎(chǔ)。