高 揚(yáng),胡慶武,郭 浩
(1 西安測(cè)繪研究所,西安 710054;2 武漢大學(xué),武漢 430072)
以人工智能、大數(shù)據(jù)和量子糾纏為標(biāo)志的現(xiàn)代高科技迅猛發(fā)展,新的多維立體、無(wú)人智能、多信息協(xié)同融合和快速多模式能量對(duì)抗的未來戰(zhàn)爭(zhēng)模式已經(jīng)形成[1-3]。未來戰(zhàn)爭(zhēng)下無(wú)人化、智能化顛覆創(chuàng)新,對(duì)現(xiàn)代裝備導(dǎo)航定位定姿、高動(dòng)態(tài)控制和實(shí)時(shí)戰(zhàn)場(chǎng)環(huán)境智能感知等核心技術(shù)提出更高要求。導(dǎo)航定位技術(shù)已成為人類全方位活動(dòng)的重要支撐,是信息化、網(wǎng)絡(luò)化、智能化的基礎(chǔ),更是現(xiàn)代國(guó)防裝備精確打擊和戰(zhàn)場(chǎng)態(tài)勢(shì)感知的關(guān)鍵[4-5]。
衛(wèi)星導(dǎo)航采用導(dǎo)航衛(wèi)星對(duì)地面、海洋、空中和空間用戶進(jìn)行導(dǎo)航定位,用戶必須接收到足夠的導(dǎo)航衛(wèi)星信號(hào)才能實(shí)現(xiàn)可靠、精準(zhǔn)的導(dǎo)航定位[6];慣性導(dǎo)航以陀螺儀和加速度進(jìn)行角速度/線加速度積分實(shí)現(xiàn)主動(dòng)位置和姿態(tài)計(jì)算,導(dǎo)航精度隨時(shí)間迅速發(fā)散[7];天文導(dǎo)航建立在慣性參考系基礎(chǔ)上,運(yùn)用天體測(cè)量?jī)x器來獲取天體相對(duì)于測(cè)量點(diǎn)的天體方位和高度等信息,以此解算出導(dǎo)航信息,其使用場(chǎng)景受限[8];仿生導(dǎo)航技術(shù)包括仿生光流、偏振光、類腦和地磁導(dǎo)航等方向,受器件靈敏度、加工工藝與材料限制,仿生導(dǎo)航的穩(wěn)定性和靈敏度還不夠[9]。
視覺激光匹配導(dǎo)航是一種新的自主導(dǎo)航技術(shù),它是利用地球表面的山川、平原、森林、河流、海灣、道路、建筑物等不隨時(shí)間和氣候變化而變化的地形地表特征性狀,通過對(duì)移動(dòng)載體/人配備的攝像機(jī)、激光雷達(dá)、紅外、超聲波等傳感器在運(yùn)動(dòng)過程中實(shí)時(shí)采集獲取的周圍環(huán)境影像/激光點(diǎn)云等數(shù)據(jù)進(jìn)行匹配對(duì)準(zhǔn)和智能分析,從而確定自身位置、姿態(tài)和路徑識(shí)別,并做出導(dǎo)航?jīng)Q策。視覺激光匹配導(dǎo)航最主要的特點(diǎn)是其具有較強(qiáng)的自主性和實(shí)時(shí)性,無(wú)需依靠外部系統(tǒng)或信息源,僅依靠自身傳感器對(duì)周圍環(huán)境信息進(jìn)行采集、計(jì)算就可以實(shí)時(shí)給出導(dǎo)航信息[10-15]。近年來,視覺激光匹配導(dǎo)航在飛機(jī)、無(wú)人飛行器、巡航導(dǎo)彈、深空探測(cè)器以及室內(nèi)外機(jī)器人等方面被廣泛應(yīng)用,可作為現(xiàn)代導(dǎo)航時(shí)頻體系的重要組成,與衛(wèi)星導(dǎo)航、慣性導(dǎo)航、天文導(dǎo)航、地磁導(dǎo)航等融合,實(shí)現(xiàn)全域全時(shí)無(wú)縫可靠導(dǎo)航,一直是各種無(wú)人系統(tǒng)(無(wú)人機(jī)、無(wú)人車、無(wú)人船等)、人工智能領(lǐng)域研究和應(yīng)用的熱點(diǎn)[16-19]。
本文從視覺激光匹配導(dǎo)航的概念出發(fā),系統(tǒng)分析了視覺激光匹配導(dǎo)航技術(shù)背景和需求,闡述了視覺匹配導(dǎo)航概念與分類,從同步定位與建圖角度提出了多傳感器集成視覺激光匹配導(dǎo)航的技術(shù)框架,提煉出視覺激光匹配導(dǎo)航與勘測(cè)關(guān)鍵技術(shù),對(duì)視覺激光匹配導(dǎo)航技術(shù)在移動(dòng)機(jī)器人、無(wú)人駕駛、增強(qiáng)現(xiàn)實(shí)、測(cè)繪等領(lǐng)域應(yīng)用進(jìn)行了探討與展望。
視覺激光匹配導(dǎo)航實(shí)質(zhì)上是與地標(biāo)導(dǎo)航或?qū)椖┲茖?dǎo)景象匹配導(dǎo)航原理類似的匹配導(dǎo)航[20-21]。人在行走過程中通過人眼觀察到地標(biāo)的距離和方位來判斷自己當(dāng)前所在的位置,導(dǎo)彈通過前置相機(jī)與目標(biāo)地形景象匹配做末制導(dǎo)。視覺激光匹配導(dǎo)航是利用當(dāng)前時(shí)刻影像/激光地圖與之前時(shí)刻影像/激光地圖匹配,恢復(fù)載體運(yùn)動(dòng)過程(位姿與姿態(tài)參數(shù))從而實(shí)現(xiàn)導(dǎo)航定位的技術(shù),其原理如圖1 所示。
圖1 中,地標(biāo)點(diǎn)在不同時(shí)刻獲取的影像/激光地圖中的位置是不變的,利用這一特性進(jìn)行位姿平差計(jì)算,即可實(shí)現(xiàn)任意時(shí)刻移動(dòng)單元的坐標(biāo)和姿態(tài)計(jì)算。利用攝像機(jī)、激光雷達(dá)可以替代人的眼睛,對(duì)環(huán)境進(jìn)行信息收集,計(jì)算機(jī)則可以進(jìn)行類似大腦的計(jì)算,從而判斷其本身在環(huán)境中的位置。如果周圍環(huán)境本身是已知的,如有預(yù)先制備的周圍環(huán)境的三維地圖,就可以計(jì)算出移動(dòng)單元的絕對(duì)坐標(biāo)。如果沒有周圍環(huán)境三維地圖,也可以實(shí)現(xiàn)當(dāng)前環(huán)境中相對(duì)位置導(dǎo)航。因此,本質(zhì)上,視覺激光匹配導(dǎo)航就是一個(gè)對(duì)周圍環(huán)境進(jìn)行景象匹配和智能理解的地標(biāo)導(dǎo)航,因?yàn)橐敫鼜V視角、更智能、適應(yīng)性更強(qiáng)的相機(jī)、激光雷達(dá)等傳感器,視覺激光匹配導(dǎo)航可以做到更精確、更可靠的自主智能導(dǎo)航。
視覺激光匹配導(dǎo)航除了能夠自主完成導(dǎo)航計(jì)算外,由于視覺激光傳感器本身也可以對(duì)周圍環(huán)境進(jìn)行精確的三維測(cè)量,因此,視覺激光導(dǎo)航技術(shù)通常是集自主定位與三維地圖生成于一體,即同步定位與地圖構(gòu)建(Simultaneous Localization and Mapping,SLAM)[22-24]。因此,視覺激光匹配導(dǎo)航技術(shù)一方面用于定位導(dǎo)航,尤其是在室內(nèi)、山區(qū)等導(dǎo)航衛(wèi)星受遮擋無(wú)法提供連續(xù)導(dǎo)航服務(wù)的使用場(chǎng)景;另一方面,也可以用于更為抵近的三維勘察測(cè)繪,獲取周圍環(huán)境更為精細(xì)的實(shí)景三維地圖。視覺激光導(dǎo)航將定位與勘測(cè)制圖一體,是測(cè)繪導(dǎo)航與電子信息、傳感器與人工智能深度交叉融合發(fā)展起來的顛覆性的移動(dòng)測(cè)量地理環(huán)境勘測(cè)技術(shù),能夠適應(yīng)城市作戰(zhàn),室內(nèi)、山區(qū)等復(fù)雜環(huán)境下的自主導(dǎo)航與勘察。
根據(jù)傳感器不同,視覺激光匹配導(dǎo)航技術(shù)包括以相機(jī)為中心的視覺SLAM、以激光雷達(dá)為中心的激光SLAM 和視覺激光融合SLAM。
(1)視覺SLAM:基于各種低成本相機(jī)、基于計(jì)算機(jī)視覺技術(shù)的視覺SLAM 一直是匹配導(dǎo)航的主要研究方向,也是計(jì)算機(jī)視覺領(lǐng)域研究熱點(diǎn)。通過對(duì)各種時(shí)序圖像序列特征運(yùn)動(dòng)感知來估計(jì)相機(jī)運(yùn)動(dòng)實(shí)現(xiàn)導(dǎo)航位姿計(jì)算。典型的視覺SLAM 算法有ORB-SLAM[25]、LSD-SLAM[26]、MonoSLAM[27]、RGBD-SLAM[28]、DSO[29]等。當(dāng)前算法研究主要集中在提高匹配魯棒性以適應(yīng)低光照和弱紋理特征環(huán)境,解決尺度不確定性、深度估計(jì)能力差、立體視覺范圍窄小以及RGB-D 相機(jī)室外場(chǎng)景使用等難題。
(2)激光SLAM:激光雷達(dá)掃描快速得到場(chǎng)景三維點(diǎn)云,通過不同幀激光點(diǎn)云匹配實(shí)現(xiàn)導(dǎo)航計(jì)算與實(shí)時(shí)制圖。典型的激光 SLAM 算法有Cartographer[30]、HectorSLAM[31]、GMapping[32]、KartoSLAM[33]等。當(dāng)前算法研究主要集中在提高實(shí)時(shí)計(jì)算效率、解決動(dòng)態(tài)場(chǎng)景穩(wěn)健重定位、粗差處理和閉環(huán)處理等方面。
(3)視覺激光融合SLAM:傳感器融合能夠彌補(bǔ)不同傳感器在某些特殊環(huán)境下的劣勢(shì),將視覺和激光二者融合可以互相彌補(bǔ)各自的不足,也是當(dāng)前SLAM 研究的前沿?zé)狳c(diǎn)。
視覺激光匹配SLAM 通過不同類型的場(chǎng)景感知傳感器實(shí)現(xiàn)同時(shí)定位導(dǎo)航與地圖構(gòu)建。視覺激光匹配導(dǎo)航與制圖技術(shù)框架如圖2 所示。
從圖2 可知,視覺激光匹配SLAM 首先采用各種傳感器獲取環(huán)境信息,對(duì)這些數(shù)據(jù)進(jìn)行時(shí)空基準(zhǔn)對(duì)齊;其次,對(duì)不同幀數(shù)據(jù)進(jìn)行特征提取和匹配,以此推算相鄰幀間的傳感器運(yùn)動(dòng),該處理過程通常在采集端計(jì)算機(jī)上實(shí)時(shí)處理完成,故稱為前端處理;再次,從全局角度,進(jìn)行回環(huán)檢測(cè)來判斷傳感器是否到過之前的位置,以此作為約束,對(duì)前端推算的位姿軌跡進(jìn)行全局平差優(yōu)化,進(jìn)一步提高導(dǎo)航位姿計(jì)算精度,該過程通常以后處理方式完成,故稱為后端處理;最后,根據(jù)全局優(yōu)化的位姿與傳感器數(shù)據(jù)進(jìn)行融合,構(gòu)建場(chǎng)景三維地圖,實(shí)現(xiàn)場(chǎng)景重建。
視覺激光匹配SLAM 的關(guān)鍵是實(shí)現(xiàn)不同類型傳感器對(duì)同一目標(biāo)、同一場(chǎng)景在同一時(shí)刻的可靠描述,其關(guān)鍵技術(shù)主要包括五個(gè)方面:
(1)多傳感器時(shí)空基準(zhǔn)統(tǒng)一:包括多傳感器時(shí)間基準(zhǔn)同步和空間基準(zhǔn)自動(dòng)標(biāo)定。一方面,建立統(tǒng)一時(shí)鐘,實(shí)現(xiàn)優(yōu)于1 ms 的時(shí)間同步精度是視覺激光匹配SLAM 的最低要求;另一方面,對(duì)各個(gè)傳感器安裝關(guān)系進(jìn)行自動(dòng)精確標(biāo)定,為精確位姿計(jì)算提供關(guān)鍵系統(tǒng)參數(shù)。
(2)圖像/點(diǎn)云匹配技術(shù):匹配是建立視覺激光SLAM 幀間運(yùn)動(dòng)關(guān)系的基礎(chǔ),由于幀間場(chǎng)景成像條件的變化及場(chǎng)景中存在動(dòng)目標(biāo),因此,穩(wěn)健的特征提取和特征匹配對(duì)于建立不同時(shí)刻圖像/點(diǎn)云幀間關(guān)系至關(guān)重要。構(gòu)建光照/旋轉(zhuǎn)/尺度不變的特征描述子,提高視覺激光匹配導(dǎo)航的魯棒性和精度是當(dāng)前研究熱點(diǎn)。
(3)粗差探測(cè)技術(shù):匹配中錯(cuò)誤匹配對(duì)于位姿計(jì)算影響很大,剔除錯(cuò)誤匹配點(diǎn)與錯(cuò)誤閉環(huán)觀測(cè)的粗差探測(cè)計(jì)算也是視覺激光匹配SLAM 的另一項(xiàng)關(guān)鍵技術(shù)。
(4)穩(wěn)健位姿估計(jì):根據(jù)幀間匹配關(guān)系進(jìn)行載體位置和姿態(tài)估計(jì)以恢復(fù)運(yùn)動(dòng)信息。擴(kuò)展卡爾曼濾波、粒子濾波和最大似然估計(jì)等傳統(tǒng)運(yùn)動(dòng)估計(jì)模型以估計(jì)理論作為基礎(chǔ),為不同傳感器數(shù)據(jù)建立狀態(tài)空間模型,計(jì)算復(fù)雜。通過引入決策樹、D-S 證據(jù)理論及人工智能方法計(jì)算幀間運(yùn)動(dòng)位姿,能夠降低計(jì)算復(fù)雜度并且更好地適應(yīng)復(fù)雜動(dòng)態(tài)環(huán)境,是視覺激光匹配位姿估計(jì)研究前沿。
(5)閉環(huán)檢測(cè)與平差優(yōu)化技術(shù):視覺激光匹配SLAM 幀間位姿推算誤差會(huì)累計(jì),根據(jù)重復(fù)場(chǎng)景構(gòu)建環(huán)路約束,是限制位姿計(jì)算漂移的關(guān)鍵。根據(jù)全局地圖進(jìn)行閉環(huán)檢測(cè),以檢測(cè)的匹配進(jìn)行全局位姿優(yōu)化平差,是克服視覺激光匹配SLAM 漂移,提高位姿估計(jì)的魯棒性的關(guān)鍵。
視覺激光匹配SLAM 的應(yīng)用領(lǐng)域廣泛,包括移動(dòng)機(jī)器人、無(wú)人駕駛、AR、測(cè)繪等領(lǐng)域。
(1)移動(dòng)機(jī)器人
視覺激光匹配導(dǎo)航已經(jīng)在交通運(yùn)輸、自動(dòng)化倉(cāng)庫(kù)和生產(chǎn)線運(yùn)輸小車等各種移動(dòng)機(jī)器人中廣泛應(yīng)用,應(yīng)用的環(huán)境場(chǎng)景包括結(jié)構(gòu)化的室內(nèi)環(huán)境和非結(jié)構(gòu)化的室外場(chǎng)景等,如掃地機(jī)器人、物流倉(cāng)儲(chǔ)機(jī)器人、餐飲服務(wù)機(jī)器人、醫(yī)療服務(wù)機(jī)器人、變電站巡檢機(jī)器人等,如圖3 所示。未來,視覺激光匹配導(dǎo)航將應(yīng)用在空間飛行器和星際探測(cè)器上,如月球車?yán)靡曈X激光導(dǎo)航系統(tǒng),不僅可以對(duì)環(huán)境地形重構(gòu)、實(shí)時(shí)避障,而且還可以利用其得到的序列圖像進(jìn)行月球車運(yùn)動(dòng)估計(jì)。
(2)無(wú)人駕駛系統(tǒng)
從20 世紀(jì)90年代末美軍發(fā)起的DAPAA 無(wú)人車挑戰(zhàn)賽,到現(xiàn)在發(fā)展迅猛的智能無(wú)人駕駛系統(tǒng),如特斯拉無(wú)人駕駛汽車、Google 無(wú)人駕駛汽車、百度無(wú)人駕駛汽車、美國(guó)陸軍下一代作戰(zhàn)車輛NGCV、俄羅斯“天王星—9”無(wú)人戰(zhàn)車等[34-35],如圖4 所示。
視覺激光匹配SLAM 提供無(wú)人駕駛系統(tǒng)未知環(huán)境同步定位與建圖,規(guī)避路程中遇到的障礙物,實(shí)現(xiàn)路徑規(guī)劃。
(3)AR
視覺激光匹配SLAM 在導(dǎo)航定位的同時(shí)獲取的周邊環(huán)境影像和激光點(diǎn)云可以構(gòu)建360 度實(shí)景三維場(chǎng)景,可進(jìn)一步應(yīng)用于增強(qiáng)現(xiàn)實(shí)(Augmented Reality,AR),如各種仿真可視化、單兵增強(qiáng)現(xiàn)實(shí)戰(zhàn)場(chǎng)感知等。2021年美國(guó)軍方與微軟簽訂219 億美元合同采購(gòu)AR 頭盔,如圖5 所示,為單兵提供戰(zhàn)場(chǎng)全息影像,提升復(fù)雜戰(zhàn)場(chǎng)環(huán)境中的作戰(zhàn)能力,在未來數(shù)字化士兵領(lǐng)域有著廣泛的應(yīng)用前景。
(4)測(cè)繪
視覺激光匹配SLAM 利用各種相機(jī)、激光雷達(dá)等傳感器在實(shí)現(xiàn)導(dǎo)航位姿計(jì)算的同時(shí),還可以進(jìn)行三維模型重建和地圖構(gòu)建,如圖6 所示。這些三維模型及地圖在測(cè)繪領(lǐng)域有著廣泛的應(yīng)用,尤其是復(fù)雜環(huán)境,如城市、室內(nèi)、地下空間、叢林等衛(wèi)星導(dǎo)航信號(hào)弱或無(wú)條件下的高精度測(cè)繪。視覺激光匹配SLAM 可廣泛應(yīng)用于室內(nèi)外、地下空間三維場(chǎng)景重建、遺跡數(shù)字化保存、偵察測(cè)繪等領(lǐng)域。
隨著人工智能技術(shù)的發(fā)展,深度學(xué)習(xí)、多智能體、協(xié)同群智等為視覺激光匹配SLAM 發(fā)展開創(chuàng)了更為廣闊的空間。在復(fù)雜動(dòng)態(tài)環(huán)境下,深度學(xué)習(xí)特征描述比傳統(tǒng)特征描述性能更加魯棒,且速度更快,深度學(xué)習(xí)算法將為激光視覺匹配導(dǎo)航計(jì)算與建圖提供更可靠、實(shí)時(shí)性更高、精度更準(zhǔn)確的結(jié)果。與多機(jī)器人系統(tǒng)相結(jié)合,在大型、復(fù)雜、危險(xiǎn)和人類難以到達(dá)的未知環(huán)境中執(zhí)行災(zāi)難救援、資源勘探和空間探測(cè)等特殊任務(wù)時(shí),幾百個(gè)甚至成千上萬(wàn)個(gè)不同類型的無(wú)人系統(tǒng)自動(dòng)地協(xié)同工作,特別是協(xié)同作戰(zhàn),是一個(gè)有待克服的難題,也是視覺激光匹配SLAM非常有挑戰(zhàn)、且也很有前景的研究方向。