羅世彬，劉海橋，胡茂青，董 晶

(1. 中南大學(xué) 自動(dòng)化學(xué)院， 湖南 長(zhǎng)沙 410083； 2. 中南大學(xué) 航空航天學(xué)院， 湖南 長(zhǎng)沙 410083；3. 國(guó)防科技大學(xué) 空天科學(xué)學(xué)院， 湖南 長(zhǎng)沙 410073)

無(wú)人駕駛空中飛行器(Unmanned Aerial Vehicle, UAV)近些年得到了迅速發(fā)展，逐步應(yīng)用到生活中，如巡航導(dǎo)彈、無(wú)人偵察機(jī)等[1-2]。由于空中環(huán)境的特殊性，常用于陸地和水中的一些傳感器(如里程計(jì)、聲吶)不能得到有效應(yīng)用，在無(wú)GPS或GPS信號(hào)受到干擾、欺騙等情況下，空中飛行器定位將面臨巨大挑戰(zhàn)[3-4]。

近年來(lái)，國(guó)內(nèi)外學(xué)者開(kāi)始對(duì)UAV采用自身攜帶的圖像傳感器，配合其他傳感器(慣性導(dǎo)航系統(tǒng)、羅盤(pán)等)在航行過(guò)程中自主探索、識(shí)別周邊環(huán)境進(jìn)行自身定位等問(wèn)題進(jìn)行研究[5]。上述導(dǎo)航定位方法就是飛行器領(lǐng)域的研究熱點(diǎn)，特別是視覺(jué)與慣性導(dǎo)航的融合技術(shù)[6-7]。為了得到全天候的定位系統(tǒng)，異源圖像匹配輔助慣性導(dǎo)航定位方法是飛行器在未知環(huán)境中實(shí)現(xiàn)真正自主導(dǎo)航的有效途徑。目前，圖像匹配輔助慣性導(dǎo)航理論大多應(yīng)用在結(jié)構(gòu)化的環(huán)境、固定的場(chǎng)所或者是低空飛行環(huán)境[8-9]，能夠形成有效閉環(huán)信息，從而達(dá)到消除累積誤差的目的，而在高空中較難獲取有效閉環(huán)信息來(lái)消除累積誤差。因此，為了能夠得到有效閉環(huán)信息，達(dá)到消除累積誤差的目的，需要引入圖像匹配技術(shù)，同源圖像匹配易受到環(huán)境變化和圖像采集時(shí)間不同的影響[10-11]，因此，需要采用異源圖像匹配。由于異源圖像匹配需要考慮的因素較多，精度提升較難，確定控制點(diǎn)算法魯棒性不高，因此在飛行器自主定位中應(yīng)用的還較少。

異源圖像匹配技術(shù)結(jié)合慣性導(dǎo)航技術(shù)進(jìn)行定位，具有無(wú)源、自主式定位的優(yōu)點(diǎn)[12-14]。異源圖像匹配導(dǎo)航技術(shù)是指采用機(jī)載傳感器采集的實(shí)時(shí)數(shù)據(jù)與預(yù)存儲(chǔ)的地圖進(jìn)行匹配，得到飛行器位置的一種導(dǎo)航方式[15]。異源圖像匹配定位方法的精度能達(dá)到米級(jí)，慣性導(dǎo)航結(jié)果隨時(shí)間發(fā)散，可采用異源圖像匹配的結(jié)果對(duì)慣性導(dǎo)航的結(jié)果進(jìn)行修正，達(dá)到提高飛行器定位的目的[16-18]。

以往飛行器導(dǎo)航定位技術(shù)進(jìn)行綜述的文獻(xiàn)中，已經(jīng)包含了對(duì)現(xiàn)有的飛行器導(dǎo)航技術(shù) (如：GPS、慣性導(dǎo)航、視覺(jué)導(dǎo)航和地球物理導(dǎo)航)的綜述[19-21]，異源圖像匹配輔助慣性導(dǎo)航技術(shù)的綜述報(bào)道還較少。文獻(xiàn)[22]是對(duì)飛行器異源圖像輔助慣性導(dǎo)航方法理論進(jìn)行了總體論述，并沒(méi)有指明具體的應(yīng)用環(huán)境和應(yīng)用對(duì)象；文獻(xiàn)[23]雖然是針對(duì)飛行器異源圖像輔助慣性導(dǎo)航方法的綜述，但只介紹了飛行器異源圖像匹配輔助慣性導(dǎo)航方法的幾種常用方法，未將異源圖像匹配輔助慣性導(dǎo)航的飛行器自主定位方法關(guān)鍵技術(shù)進(jìn)行研究和分析。到目前為止，尚沒(méi)有文獻(xiàn)對(duì)飛行器異源圖像匹配輔助慣性導(dǎo)航方法及關(guān)鍵技術(shù)進(jìn)行全面綜述。近十年來(lái)，隨著傳感器技術(shù)和處理器計(jì)算能力的發(fā)展，異源圖像匹配輔助慣性導(dǎo)航的飛行器定位問(wèn)題也有了新進(jìn)展[24-26]。因此，本文主要對(duì)異源圖像輔助慣性導(dǎo)航方法在飛行器中的應(yīng)用進(jìn)行綜述，主要內(nèi)容包括：國(guó)內(nèi)外研究進(jìn)展、異源圖像輔助慣性導(dǎo)航方法的關(guān)鍵技術(shù)，并探討了飛行器異源圖像輔助慣性導(dǎo)航方法未來(lái)的發(fā)展趨勢(shì)。

1 異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)研究進(jìn)展

飛行器定位技術(shù)按照主動(dòng)和被動(dòng)方式進(jìn)行劃分，可以分為有源和無(wú)源兩種，有源定位方法主要有衛(wèi)星導(dǎo)航(如GPS導(dǎo)航、北斗導(dǎo)航)和雷達(dá)導(dǎo)航，無(wú)源導(dǎo)航方式主要有地磁導(dǎo)航、慣性導(dǎo)航、視覺(jué)導(dǎo)航和視覺(jué)、慣性的組合導(dǎo)航[27-29]。

GPS導(dǎo)航技術(shù)由美國(guó)開(kāi)始研究并在全球進(jìn)行推廣，具有定位精度高、使用方便等優(yōu)點(diǎn)，但GPS易受到遮擋影響，并能夠被干擾、欺騙，因此，在部分領(lǐng)域的應(yīng)用受到了一定限制，特別是在軍用領(lǐng)域[30]。北斗導(dǎo)航系統(tǒng)是由我國(guó)自主研發(fā)和使用，目前正逐步接替GPS導(dǎo)航系統(tǒng)，但北斗系統(tǒng)由于起步較晚，現(xiàn)階段還不是很成熟，目前無(wú)論是民用，還是軍用都還相對(duì)較少[31]。地磁匹配依靠地球本身的磁場(chǎng)性質(zhì)來(lái)進(jìn)行導(dǎo)航，使用方便、安全，但地磁導(dǎo)航精度較低，無(wú)法實(shí)現(xiàn)飛行器高精度自主導(dǎo)航[32]。視覺(jué)導(dǎo)航精度高，無(wú)累積誤差，但計(jì)算量較大，而且容易受到環(huán)境影響，在高動(dòng)態(tài)環(huán)境下難以實(shí)現(xiàn)穩(wěn)定、實(shí)時(shí)、高精度定位[33]。慣性導(dǎo)航具有自主定位和不受環(huán)境影響的優(yōu)點(diǎn)，短時(shí)間內(nèi)具有較高精度，但長(zhǎng)時(shí)間導(dǎo)航具有累積誤差，難以單獨(dú)實(shí)現(xiàn)長(zhǎng)航時(shí)、高精度的飛行器定位[34]。為了達(dá)到長(zhǎng)航時(shí)高精度的導(dǎo)航目的，需要融合視覺(jué)和慣性導(dǎo)航，如異源圖像匹配輔助慣性導(dǎo)航定位。

異源圖像匹配導(dǎo)航技術(shù)，包括：可見(jiàn)光與高分地圖之間的匹配、紅外與高分地圖之間的匹配、合成孔徑雷達(dá)(Synthetic Aperture Radar，SAR)與高分地圖之間的匹配以及各種不同傳感器采集的圖像之間的匹配導(dǎo)航技術(shù)，統(tǒng)稱(chēng)為異源圖像匹配導(dǎo)航定位技術(shù)[35]。

異源圖像匹配技術(shù)可包含在景象匹配范疇，并對(duì)慣性導(dǎo)航進(jìn)行輔助。國(guó)內(nèi)外學(xué)者取得了較為豐富的研究成果，文獻(xiàn)[36]提出順序相似度檢測(cè)算法(Sequential Similarity Detection Algorithm，SSDA)，利用像素間的相關(guān)性進(jìn)行有效圖像匹配，該方法是早期圖像匹配的經(jīng)典手段，是后期匹配方法的基礎(chǔ)；文獻(xiàn)[37]通過(guò)利用快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)把圖像變換到頻域進(jìn)行匹配，有效縮短了匹配時(shí)間。文獻(xiàn)[38]通過(guò)改進(jìn)圖像間的相似度度量方法，克服了異源圖像方向反轉(zhuǎn)的問(wèn)題，有效提高了匹配算法可靠性。文獻(xiàn)[39]使用小波變換和多分辨率分析的方法，由粗匹配到精匹配，使得計(jì)算量有較大幅度的減小，提高了匹配計(jì)算效率；文獻(xiàn)[40]通過(guò)采用3D-2D的立體匹配方式，通過(guò)提取圖像邊緣特性，減小計(jì)算量的同時(shí)，也提高了匹配可靠性。文獻(xiàn)[41]通過(guò)增加快速旋轉(zhuǎn)的手段，改進(jìn)特征，使得該方法在大角度旋轉(zhuǎn)的異源圖像尺度不變特征變換(Scale Invariant Feature Transform, SIFT)匹配中具有良好性能。

國(guó)內(nèi)在異源圖像匹配輔助慣性導(dǎo)航的飛行器定位技術(shù)領(lǐng)域的研究雖然起步較晚，但也取得了很多重要的成果。文獻(xiàn)[42]提出一種基于自適應(yīng)多尺度方向的圖像描述，它能夠準(zhǔn)確地提取圖像結(jié)構(gòu)信息并且適應(yīng)異源圖像間的非線性畸變和噪聲。文獻(xiàn)[43]提出一種采用圖像相位描述圖像特征的方法，并通過(guò)改進(jìn)SIFT算法，采用主成分分析(Principal Component Analysis, PCA)方法提取圖像主方向，有效解決了因光線而導(dǎo)致的匹配效率低的問(wèn)題。

異源圖像匹配技術(shù)在飛行器中的應(yīng)用具有學(xué)術(shù)研究意義，同時(shí)武器裝備也有很好的應(yīng)用前景。國(guó)外研究人員開(kāi)始對(duì)異源圖像匹配研究較早，他們利用異源圖像匹配提高了巡航飛行器的制導(dǎo)精度，文獻(xiàn)[44]中的飛行器使用視覺(jué)進(jìn)行自主定位，并指引飛行器飛行，該方法不僅實(shí)現(xiàn)了自主定位，同時(shí)進(jìn)行地圖構(gòu)建，為飛行器的路徑規(guī)劃等后續(xù)動(dòng)作提供了保障。文獻(xiàn)[45]中，采用視覺(jué)和慣性導(dǎo)航融合定位，同時(shí)采用非線性優(yōu)化的方式進(jìn)行最優(yōu)位置求解，方法不僅有局部的視覺(jué)修正慣導(dǎo)，同時(shí)也有全局的圖像匹配修正視覺(jué)慣性里程計(jì)，定位精度得到提高，同時(shí)不容易發(fā)散。文獻(xiàn)[46]采用了單目、雙目和深度相機(jī)進(jìn)行圖像匹配輔助慣性導(dǎo)航，該方法為后面研究者提供了多樣研究方向，同時(shí)可針對(duì)不同設(shè)備需求進(jìn)行裝配。異源圖像匹配屬于景象匹配領(lǐng)域中的一類(lèi)，國(guó)內(nèi)外景象匹配飛行器定位研究詳情如表1所示。

表1 國(guó)內(nèi)外景象匹配飛行器定位研究情況

總的來(lái)說(shuō)，異源圖像匹配輔助慣性導(dǎo)航的飛行器定位技術(shù)取得了巨大進(jìn)展，國(guó)內(nèi)外學(xué)者提出了各種穩(wěn)定可靠的算法，但由于環(huán)境差異、異源圖像匹配基準(zhǔn)圖、實(shí)時(shí)圖獲取的時(shí)間、天氣以及攝像頭都不同，難以實(shí)現(xiàn)統(tǒng)一的匹配方法。目前提出的異源圖像匹配輔助慣性導(dǎo)航還局限于基于灰度信息和基于特征的層次上，算法也都存在部分缺陷，要構(gòu)造出穩(wěn)定可靠的導(dǎo)航系統(tǒng)尚需進(jìn)一步研究。

2 異源圖像匹配輔助慣性導(dǎo)航飛行器定位關(guān)鍵技術(shù)

與視覺(jué)精確制導(dǎo)技術(shù)類(lèi)似，異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)使用紅外相機(jī)或SAR兩種或多種不同成像設(shè)備，以獲得全天時(shí)、全天候的導(dǎo)航能力。這也使得異源圖像匹配技術(shù)成為視覺(jué)導(dǎo)航系統(tǒng)中的一項(xiàng)關(guān)鍵技術(shù)，異源圖像輔助慣性導(dǎo)航飛行器定位整體系統(tǒng)組成如圖1所示。

圖1 飛行器平臺(tái)及定位系統(tǒng)結(jié)構(gòu)Fig.1 Aircraft platform and positioning system structure

由視覺(jué)傳感器(相機(jī))和慣性傳感器進(jìn)行數(shù)據(jù)采集，在中央處理器中進(jìn)行數(shù)據(jù)預(yù)處理和實(shí)時(shí)處理，將處理結(jié)果傳到地面站進(jìn)行顯示，同時(shí)進(jìn)行存儲(chǔ)。異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)關(guān)鍵技術(shù)主要包括相機(jī)-慣性導(dǎo)航標(biāo)定技術(shù)、異源圖像匹配技術(shù)、視覺(jué)位姿解算技術(shù)、數(shù)據(jù)融合技術(shù)和后端優(yōu)化技術(shù)五個(gè)部分。

2.1 相機(jī)-慣性導(dǎo)航標(biāo)定技術(shù)

視覺(jué)、慣性導(dǎo)航融合算法都需要精確的相機(jī)-慣性導(dǎo)航外參標(biāo)定值。相機(jī)-慣性導(dǎo)航外參起到相機(jī)坐標(biāo)系和慣性導(dǎo)航坐標(biāo)系之間狀態(tài)轉(zhuǎn)換的作用。不準(zhǔn)確的外參標(biāo)定會(huì)造成運(yùn)動(dòng)估計(jì)中的系統(tǒng)誤差，降低系統(tǒng)的整體精度，甚至導(dǎo)致定位發(fā)散。目前，單目相機(jī)-慣性導(dǎo)航外參標(biāo)定主要有離線標(biāo)定和自動(dòng)標(biāo)定兩種方法。

文獻(xiàn)[47]中首次提出利用最優(yōu)估計(jì)來(lái)計(jì)算相機(jī)-慣性導(dǎo)航的安裝關(guān)系，并開(kāi)源了標(biāo)定工具Kalibr，該方法分別根據(jù)相機(jī)、慣性導(dǎo)航進(jìn)行姿態(tài)解算，再用優(yōu)化算法估計(jì)出兩者的相對(duì)位置關(guān)系。但相機(jī)-慣性導(dǎo)航外參離線標(biāo)定過(guò)程復(fù)雜且耗時(shí)，標(biāo)定需要技術(shù)人員在設(shè)備使用前移動(dòng)棋盤(pán)格標(biāo)定目標(biāo)，并且當(dāng)傳感器因受到?jīng)_擊或調(diào)整時(shí)，導(dǎo)航參數(shù)發(fā)生變化會(huì)影響定位精度，需要重新標(biāo)定，進(jìn)行設(shè)備重校準(zhǔn)[48-50]。圖2表示視覺(jué)、慣性坐標(biāo)系和導(dǎo)航坐標(biāo)系之間的轉(zhuǎn)換過(guò)程。

圖2 坐標(biāo)系示意圖Fig.2 Coordinate system diagram

相機(jī)-慣性導(dǎo)航外參自動(dòng)標(biāo)定是指系統(tǒng)的初始化中，估計(jì)系統(tǒng)的初始狀態(tài)并在線標(biāo)定相機(jī)-慣性導(dǎo)航外參。

自動(dòng)標(biāo)定法快速為系統(tǒng)提供結(jié)果，同時(shí)也對(duì)初始化過(guò)程提出了更高的要求[51]。文獻(xiàn)[51]將相機(jī)-慣性導(dǎo)航外參作為待求解的狀態(tài)向量，使用擴(kuò)展卡爾曼濾波 (Extended Kalman Filter，EKF)進(jìn)行估計(jì)，該算法沒(méi)有對(duì)外參標(biāo)定結(jié)果進(jìn)行系統(tǒng)的分析，并且其收斂情況取決于初始化過(guò)程中狀態(tài)估計(jì)情況。也有文獻(xiàn)在初始化過(guò)程中利用線性估計(jì)方法優(yōu)化求解相機(jī)-慣性組合導(dǎo)航的零偏，在后續(xù)發(fā)布的視覺(jué)、慣性導(dǎo)航系統(tǒng)中，將零偏作為一個(gè)狀態(tài)量，在滑動(dòng)窗口中進(jìn)行優(yōu)化估計(jì)，這類(lèi)方法可以有效減小慣性導(dǎo)航的系統(tǒng)誤差和隨機(jī)誤差，但增加了優(yōu)化算法的維度，計(jì)算量增大。在運(yùn)動(dòng)初始化過(guò)程中假設(shè)慣性導(dǎo)航零偏未知，但固定不變，構(gòu)造線性方程組標(biāo)定相機(jī)-慣性導(dǎo)航外參與其他參數(shù)，這類(lèi)方法初始化精度較高，但相機(jī)-慣性導(dǎo)航外參在初始化后就成為定值，沒(méi)有達(dá)到在線估計(jì)的目的。還有文獻(xiàn)提出利用強(qiáng)化學(xué)習(xí)輔助標(biāo)定相機(jī)、慣性導(dǎo)航系統(tǒng)外參的方法，通過(guò)不斷迭代反饋和訓(xùn)練，得到最優(yōu)的外參參數(shù)，該類(lèi)方法可以有效提高精度，但標(biāo)定過(guò)程復(fù)雜、耗時(shí)，不能有效實(shí)時(shí)應(yīng)用[52-55]。相機(jī)-慣性導(dǎo)航具體的標(biāo)定過(guò)程如圖3所示。

圖3 相機(jī)-慣導(dǎo)標(biāo)定過(guò)程Fig.3 Camera and inertial calibration process

目前來(lái)看，相機(jī)-慣性導(dǎo)航系統(tǒng)參數(shù)在線自動(dòng)標(biāo)定技術(shù)使用更加方便，應(yīng)用更加廣泛。

2.2 異源圖像匹配技術(shù)

圖像采集、傳感器參數(shù)、傳感器類(lèi)型不同以及光照條件變化都會(huì)導(dǎo)致圖像產(chǎn)生灰度畸變，對(duì)匹配產(chǎn)生不利影響，從而降低結(jié)果的可靠性?；叶然兪钱悤r(shí)異源圖像匹配研究力圖解決的主要難題，異源圖像匹配基本流程包括基準(zhǔn)圖、實(shí)時(shí)圖的制備、特征描述、相似度度量和誤匹配剔除，如圖4所示。

圖4 異源圖像匹配基本流程Fig.4 Basic process of multi-modal image matching

現(xiàn)行的異源圖像匹配方法可分為特征匹配和模板匹配兩種。特征匹配的主要步驟包含：特征檢測(cè)、特征描述、相似度計(jì)算和特征匹配四個(gè)步驟，匹配過(guò)程如圖5所示。

圖5 基于特征的圖像匹配示意圖Fig.5 Feature-based image matching diagram

模板匹配的主要步驟包含：本征圖像提取、差別或相似性測(cè)量、幾何變換空間搜索三個(gè)步驟，過(guò)程如圖6所示。

圖6 基于模板的圖像匹配示意圖Fig.6 Schematic image matching based on templates

現(xiàn)有的異時(shí)異源圖像匹配算法提升手段通?？梢苑譃閮深?lèi)：一類(lèi)是通過(guò)優(yōu)化差別/相似性測(cè)量準(zhǔn)則來(lái)提高算法對(duì)灰度畸變適應(yīng)能力的方法；另一類(lèi)是通過(guò)獲取圖像結(jié)構(gòu)信息并進(jìn)行分析，以避免灰度畸變對(duì)匹配的影響。改進(jìn)測(cè)量準(zhǔn)則的算法通常是假設(shè)成像條件造成的灰度畸變滿足某種變換模型，代表算法主要有：歸一化互相關(guān)(Normalized Cross Correlation, NCC)、互信息(Mutual Information, MI)和非線性調(diào)色原理(Matching by Tone Mapping, MTM)的圖像匹配算法[56]。

僅僅改進(jìn)匹配的測(cè)量準(zhǔn)則并直接對(duì)灰度圖像進(jìn)行匹配，效果往往不太理想，因?yàn)檫@忽略了圖像的紋理結(jié)構(gòu)信息。一些匹配算法先使用密集特征描述(Dense Feature Descriptor, DFD)提取圖像中的紋理結(jié)構(gòu)信息得到本征圖像，然后再對(duì)本征圖像進(jìn)行匹配，由于圖像中的結(jié)構(gòu)特征通常能夠隨著成像條件變化保持穩(wěn)定并且密集特征描述一般不需要對(duì)灰度畸變的模型進(jìn)行假設(shè)，基于本征圖像提取的異源圖像匹配算法在適應(yīng)灰度畸變上具有優(yōu)勢(shì)[57]。現(xiàn)有的本征圖像提取算法可以分為基于梯度的和基于相位的兩類(lèi)算法：基于梯度的提取算法能夠適應(yīng)圖像對(duì)比度和照度的變化，并能有效提取適應(yīng)圖像的結(jié)構(gòu)方向信息，但灰度映射會(huì)導(dǎo)致方向反轉(zhuǎn)，影響相似度評(píng)價(jià)；基于相位的提取算法，能適應(yīng)各種灰度畸變，但是無(wú)法準(zhǔn)確提取圖像的結(jié)構(gòu)方向信息，并且可能導(dǎo)致混淆效應(yīng)。除此之外，兩類(lèi)提取算法都對(duì)噪聲比較敏感，對(duì)于極具挑戰(zhàn)性的異源圖像匹配，這兩類(lèi)算法往往都無(wú)法取得較高的匹配正確率[58]。

綜合分析不難發(fā)現(xiàn)，現(xiàn)有異時(shí)異源圖像匹配算法在適應(yīng)灰度畸變、圖像噪聲和計(jì)算速度等問(wèn)題上仍然存在諸多不足，需要進(jìn)一步進(jìn)行研究，才能夠提高視覺(jué)導(dǎo)航的定位精度。

異源圖像匹配的視覺(jué)導(dǎo)航技術(shù)可以分為異源圖像匹配的導(dǎo)航和三維重建的地形匹配導(dǎo)航。其中異源圖像匹配導(dǎo)航與精確制導(dǎo)技術(shù)原理類(lèi)似，所不同的是事先裝載的基準(zhǔn)圖像標(biāo)有絕對(duì)坐標(biāo)。異源圖像匹配導(dǎo)航技術(shù)可以獲取載體的速度和水平位置等參數(shù)。立體匹配是三維地形匹配的基礎(chǔ)，而立體匹配首先需要進(jìn)行三維重建，將實(shí)時(shí)獲取的圖像數(shù)據(jù)重新構(gòu)建成三維地圖；然后將重建的三維點(diǎn)云地圖與帶高程的基準(zhǔn)圖像進(jìn)行匹配，從而得到三維點(diǎn)云的絕對(duì)坐標(biāo)；最后利用三維點(diǎn)云的絕對(duì)坐標(biāo)反解出成像載體的運(yùn)動(dòng)參數(shù)?；谌S重建的地形匹配導(dǎo)航可以得到成像載體相對(duì)于地物的位置、速度、姿態(tài)、高度和飛行方向等導(dǎo)航參數(shù)，從而為運(yùn)動(dòng)平臺(tái)提供全參數(shù)的導(dǎo)航信息[59-60]。

2.3 視覺(jué)位姿解算技術(shù)

視覺(jué)位姿解算技術(shù)是基于視覺(jué)技術(shù)和坐標(biāo)測(cè)量的一門(mén)技術(shù)，該技術(shù)一般實(shí)現(xiàn)過(guò)程為：先獲取物體的二維圖像，通過(guò)反解算，對(duì)相機(jī)或載體的位置信息及幾何信息進(jìn)行測(cè)量。視覺(jué)位姿解算技術(shù)廣泛應(yīng)用于虛擬現(xiàn)實(shí)、逆向工程、工業(yè)檢測(cè)等實(shí)時(shí)測(cè)量中[61]。

對(duì)于視覺(jué)位姿解算技術(shù)應(yīng)用研究，國(guó)內(nèi)外學(xué)者進(jìn)行了大量的深入探索。文獻(xiàn)報(bào)道盾構(gòu)機(jī)的研發(fā)過(guò)程中就采用了視覺(jué)位姿解算的相關(guān)技術(shù)，采用全站儀透光在成像系統(tǒng)上的方式進(jìn)行位姿解算，該方法精度高、穩(wěn)定性好，但需要檢測(cè)到足夠數(shù)量的特征點(diǎn)，動(dòng)態(tài)環(huán)境影響較大。另外，室內(nèi)定位中采用視覺(jué)位姿解算技術(shù)，結(jié)果精度可達(dá)到厘米級(jí)，是目前視覺(jué)位姿解算技術(shù)應(yīng)用最廣泛的領(lǐng)域之一[62-63]。圖7為視覺(jué)位姿解算的基本示意圖，載體通過(guò)掛載的視覺(jué)傳感器進(jìn)行成像，得到地面控制點(diǎn)的坐標(biāo)，在進(jìn)行反解算，得到目標(biāo)位置。

圖7 測(cè)量系統(tǒng)坐標(biāo)系Fig.7 Coordinate system of measurement system

位姿解算精度直接影響定位系統(tǒng)，是定位系統(tǒng)精度提升的關(guān)鍵因素。常見(jiàn)N點(diǎn)透視(Perspective-N-Point, PNP)位姿解算算法是通過(guò)3至N個(gè)(其中N≥3)控制點(diǎn)進(jìn)行反解算[64]。飛行器定位過(guò)程中，視覺(jué)位姿解算如圖8所示：a、b、c、d、e分別代表地面控制點(diǎn)，且坐標(biāo)已知，通過(guò)反解算，可以得到空中飛行器的位置。

圖8 PNP飛行器位置解算Fig.8 PNP aircraft position solution

針對(duì)位姿解算過(guò)程的精度失真問(wèn)題，可以采用最小二乘算法，以進(jìn)一步提高視覺(jué)測(cè)量系統(tǒng)光學(xué)特征點(diǎn)的位姿解算精度。

2.4 數(shù)據(jù)融合技術(shù)

異源圖像匹配輔助慣性導(dǎo)航一般可分為兩類(lèi)：一類(lèi)是利用相機(jī)觀測(cè)已知絕對(duì)坐標(biāo)的特征點(diǎn)進(jìn)行飛行器絕對(duì)位姿的估計(jì)。另一類(lèi)是利用相機(jī)連續(xù)觀測(cè)坐標(biāo)未知的特征點(diǎn)進(jìn)行載體相對(duì)位姿信息的估計(jì)：第一類(lèi)方式的典型應(yīng)用包括航天器著陸與返回和巡航導(dǎo)彈的自主導(dǎo)航，都可以使用異源圖像匹配輔助的方式。由于圖像不包含成像場(chǎng)景的深度信息，異源圖像匹配導(dǎo)航一般采用與雙目相機(jī)或慣性導(dǎo)航等傳感器組合的方式來(lái)估計(jì)飛行器與成像空間之間的尺度因子，再進(jìn)一步得到所需的導(dǎo)航參數(shù)。另一類(lèi)方式主要用于低空飛行器，它要求目標(biāo)區(qū)域具有較明顯的特征，一般分辨率較低[65]。兩種方式現(xiàn)階段都有廣泛應(yīng)用，主要區(qū)別在于圖像匹配結(jié)果和慣性導(dǎo)航結(jié)果的融合方式，因此，數(shù)據(jù)融合技術(shù)是異源圖像匹配輔助慣性導(dǎo)航飛行器自主定位的關(guān)鍵技術(shù)。圖9描述的是數(shù)據(jù)融合的基本過(guò)程。

圖9 融合定位方法架構(gòu)Fig.9 Fusion positioning method architecture diagram

近年來(lái)，國(guó)內(nèi)外在異源圖像匹配與慣性導(dǎo)航的融合定位方面取得了較多的研究進(jìn)展，其中基于濾波的異源圖像匹配與慣性導(dǎo)航融合方法越來(lái)越多。依據(jù)異源圖像匹配與慣性導(dǎo)航融合現(xiàn)狀，現(xiàn)階段的異源圖像匹配和慣性導(dǎo)航數(shù)據(jù)融合有兩種方法：一種是異源圖像匹配、慣性導(dǎo)航在前端通過(guò)導(dǎo)航信息進(jìn)行融合，從而達(dá)到數(shù)據(jù)融合的目的，被稱(chēng)為松組合，如圖10(a)所示；另一種是兩種傳感器分別進(jìn)行解算，對(duì)解算結(jié)果進(jìn)行融合，這種稱(chēng)為緊耦合的融合方式，如圖10(b)所示[66-67]。

(a) 松耦合方法(a) Loose coupling method

(b) 緊耦合方法(b) Tight coupling method圖10 異源圖像匹配和慣性導(dǎo)航的融合方式Fig.10 Fusion of multi-modal image matching and inertial navigation

國(guó)內(nèi)外學(xué)者在數(shù)據(jù)融合技術(shù)上做了很多的研究。通過(guò)融合圖像特征點(diǎn)和無(wú)人機(jī)狀態(tài)，實(shí)現(xiàn)了未知環(huán)境下無(wú)人機(jī)導(dǎo)航與標(biāo)志點(diǎn)坐標(biāo)估計(jì)，但隨著觀測(cè)特征點(diǎn)數(shù)量的增加，待估量維度增大，算法的計(jì)算復(fù)雜度也急劇增大，這種方法屬于緊耦合方式。香港科技大學(xué)沈劭劼教授團(tuán)隊(duì)采用緊耦合的方式，用視覺(jué)和慣性導(dǎo)航采集數(shù)據(jù)進(jìn)行后端融合，并開(kāi)源了VINS框架[68]；文獻(xiàn)[69-70]在進(jìn)行視覺(jué)慣性融合的時(shí)候采用視覺(jué)、慣性導(dǎo)航分別解算，然后采用Kalman濾波進(jìn)行數(shù)據(jù)融合，這就是典型的松耦合方式。

就目前來(lái)看，緊耦合方式使用得較多，同時(shí)由于緊耦合采用的是原始數(shù)據(jù)而不是導(dǎo)航結(jié)果進(jìn)行融合，充分發(fā)揮了兩種傳感器的優(yōu)勢(shì)，使得緊耦合方式一般比松耦合方式略高，但隨著數(shù)據(jù)緯度的上升，緊耦合又面臨數(shù)據(jù)維度過(guò)大、計(jì)算過(guò)程復(fù)雜的問(wèn)題，所以選用哪種方式進(jìn)行數(shù)據(jù)融合，需要根據(jù)實(shí)際情況和實(shí)際需要進(jìn)行選擇，并沒(méi)有統(tǒng)一的準(zhǔn)則進(jìn)行參考和指導(dǎo)。

2.5 后端優(yōu)化技術(shù)

異源圖像匹配輔助慣性導(dǎo)航飛行器定位系統(tǒng)后端負(fù)責(zé)對(duì)前端提供的結(jié)果進(jìn)行優(yōu)化處理，主要有濾波理論(優(yōu)化理論、擴(kuò)展卡爾曼濾波、粒子濾波、擴(kuò)展信息濾波)或圖優(yōu)化算法， 從而得到最佳的位姿估計(jì)[71]。

飛行器視覺(jué)、慣性導(dǎo)航融合后端優(yōu)化算法目前研究已經(jīng)較為深入，從早期的基于濾波的融合到基于圖優(yōu)化的融合，再到現(xiàn)在最前沿的基于深度學(xué)習(xí)的框架，飛行器視覺(jué)、慣性導(dǎo)航后端優(yōu)化已經(jīng)初步實(shí)現(xiàn)了自主導(dǎo)航優(yōu)化功能，但也遠(yuǎn)沒(méi)有達(dá)到實(shí)際應(yīng)用階段，研究潛力依然很大。對(duì)于多飛行器定位系統(tǒng)后端優(yōu)化算法，由于涉及局部?jī)?yōu)化到全局優(yōu)化的轉(zhuǎn)變，單一定位信息到多定位信息的轉(zhuǎn)變，還有彼此之間位姿關(guān)系確定的問(wèn)題，濾波算法在處理過(guò)程中可進(jìn)行獨(dú)立累加處理，容易進(jìn)行數(shù)據(jù)融合優(yōu)化，這樣從單飛行器算法擴(kuò)展到多飛行器比較方便，所以目前應(yīng)用到實(shí)際的多飛行器定位系統(tǒng)大多是基于濾波的方法，但基于圖優(yōu)化的飛行器后端優(yōu)化算法和基于深度學(xué)習(xí)的飛行器后端優(yōu)化算法在復(fù)雜性和精確性上的優(yōu)勢(shì)，多飛行器定位系統(tǒng)領(lǐng)域也逐步開(kāi)始向基于圖優(yōu)化的定位系統(tǒng)和基于深度學(xué)習(xí)的定位系統(tǒng)算法研究方向遷徙。下面將詳細(xì)介紹兩類(lèi)后端優(yōu)化算法。

1) 濾波理論優(yōu)化?；跒V波理論優(yōu)化的方法主要是利用貝葉斯原理，從開(kāi)始時(shí)刻到結(jié)束遞歸地進(jìn)行。依據(jù)上一時(shí)刻置信度和運(yùn)動(dòng)變換概率的積分(或求和)估計(jì)當(dāng)前狀態(tài)的置信度，然后利用當(dāng)前時(shí)刻傳感器的觀測(cè)數(shù)據(jù)概率乘以當(dāng)前時(shí)刻狀態(tài)的置信度，得到后驗(yàn)概率。對(duì)于全局估計(jì)問(wèn)題，由于存在很多不同的假設(shè)，每一種假設(shè)都會(huì)形成不同的后驗(yàn)?zāi)Ｊ?，從而存在不同的濾波器算法。常見(jiàn)的有：卡爾曼濾波(Kalman Filter, KF)和EKF、信息濾波器(Information Filter, IF)和粒子濾波器(Particle Filter, PF)[72-73]。濾波算法具有時(shí)間約束和增量特性。濾波理論描述如圖11所示。

圖11 濾波優(yōu)化原理Fig.11 Filter optimization schematic

2) 圖優(yōu)化方法。與濾波理論的求解過(guò)程不同，基于非線性圖優(yōu)化方法不依賴(lài)于某一時(shí)刻的信息，而是通過(guò)飛行器所有的運(yùn)動(dòng)信息和觀測(cè)數(shù)據(jù)來(lái)優(yōu)化飛行器完整的運(yùn)動(dòng)軌跡。其核心思想是：把后端優(yōu)化算法轉(zhuǎn)換成圖的一種形式，圖中的頂點(diǎn)代表了不同時(shí)刻飛行器的位姿和環(huán)境特征，有約束關(guān)系的各個(gè)頂點(diǎn)用邊來(lái)表示。建好圖之后，利用圖優(yōu)化算法對(duì)飛行器的位姿進(jìn)行求解，使得頂點(diǎn)更好地滿足對(duì)應(yīng)邊上的約束條件，優(yōu)化算法結(jié)束之后，對(duì)應(yīng)的圖即是飛行器運(yùn)動(dòng)軌跡和觀測(cè)量對(duì)應(yīng)的約束關(guān)系。現(xiàn)階段的圖優(yōu)化方法基本可分為：最小二乘法的優(yōu)化、松弛技術(shù)的優(yōu)化、隨機(jī)梯度下降法的優(yōu)化、流形優(yōu)化四種[74-75]。圖12為基于圖優(yōu)化的后端優(yōu)化方法流程圖。

圖12 基于圖優(yōu)化的后端優(yōu)化方法框架Fig.12 Framework of back-end optimization method based on graph optimization

3 異源圖像匹配輔助慣性導(dǎo)航飛行器定位發(fā)展趨勢(shì)

異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)發(fā)展迅速，但目前研究依然存在諸多不足：針對(duì)更加符合實(shí)際的地球曲面3D圖像匹配較少，平面匹配居多；前端數(shù)據(jù)融合，后端結(jié)果優(yōu)化的框架，計(jì)算量較大，在實(shí)際工程應(yīng)用中受到限制；單一飛行器定位研究較多，多機(jī)協(xié)同定位研究較少等。未來(lái)，將會(huì)以高精度、未知環(huán)境實(shí)用化、智能化發(fā)展為方向進(jìn)行如下研究。

1)隨著飛行器可利用機(jī)載設(shè)備的不斷發(fā)展，結(jié)合模式識(shí)別和立體視覺(jué)的最新進(jìn)展，使用雙目立體視覺(jué)傳感器可獲得更多、更準(zhǔn)確的3D環(huán)境特征，進(jìn)行空中立體匹配，并結(jié)合視覺(jué)慣性及時(shí)定位與建圖(Visual Inertial Simultaneous Localization And Mapping, VISLAM)技術(shù)，消除VISLAM的累積誤差，從而達(dá)到飛行器高精度定位的目的。

2)隨著通信技術(shù)，特別是5G技術(shù)的飛速發(fā)展，多飛行器之間數(shù)據(jù)傳輸將變得容易，彼此之間共享傳感器數(shù)據(jù)和各自位姿信息，進(jìn)行協(xié)同定位。多方面定位結(jié)果可以相互補(bǔ)充，使每個(gè)飛行器都具有定位誤差分辨能力，從而提高定位精度。

3)深度學(xué)習(xí)技術(shù)的快速發(fā)展，其多層網(wǎng)格特性可用于異源圖像特征點(diǎn)提取，提高準(zhǔn)確性，同時(shí)可將特征描述變得多元性，提高異源圖像匹配精度。另外，網(wǎng)絡(luò)結(jié)構(gòu)具有的多路反饋機(jī)制，為判定數(shù)據(jù)準(zhǔn)確性提供了幫助，用于數(shù)據(jù)融合，可提高傳感器互相修正的能力，得到魯棒性更好的導(dǎo)航系統(tǒng)。

4)隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，計(jì)算能力大幅提升，未來(lái)，可將相機(jī)內(nèi)參、慣性導(dǎo)航系統(tǒng)內(nèi)參系數(shù)無(wú)偏差地帶入網(wǎng)絡(luò)，經(jīng)過(guò)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)與反饋，確定異源圖像匹配和慣性導(dǎo)航的各項(xiàng)重要參數(shù)，提高組合導(dǎo)航的定位精度。

4 結(jié)論

本文對(duì)異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)做了全面的分析、研究和總結(jié)。從相機(jī)-慣性導(dǎo)航標(biāo)定技術(shù)、異源圖像匹配技術(shù)、視覺(jué)位姿解算技術(shù)、數(shù)據(jù)融合技術(shù)和后端優(yōu)化技術(shù)五個(gè)部分分別進(jìn)行分析研究，歸納性地闡述了異源圖像匹配輔助慣性導(dǎo)航飛行器定位的關(guān)鍵技術(shù)，并指出了基于深度學(xué)習(xí)的異源圖像輔助慣性導(dǎo)航飛行器定位等四個(gè)未來(lái)可能的發(fā)展方向，為未來(lái)智能飛行器定位提供了一個(gè)新的研究思路。隨著異源圖像匹配技術(shù)的不斷成熟和完善，相信異源圖像匹配輔助慣性導(dǎo)航飛行器定位技術(shù)一定能在智能飛行器導(dǎo)航領(lǐng)域具有更加顯著的應(yīng)用價(jià)值以及更加廣闊的應(yīng)用空間。