李凱林，李建勝，王安成

GNSS/INS/視覺(jué)組合導(dǎo)航數(shù)據(jù)融合研究探討

李凱林，李建勝，王安成

（信息工程大學(xué) 地理空間信息學(xué)院，鄭州 450000）

為了進(jìn)一步提高導(dǎo)航定位的可靠性、精度、連續(xù)性和完好性，融合各類可用導(dǎo)航傳感器構(gòu)成組合導(dǎo)航系統(tǒng)成為必然趨勢(shì)；隨著全球?qū)Ш叫l(wèi)星系統(tǒng)（GNSS）終端、慣性導(dǎo)航系統(tǒng)(INS)器件和視覺(jué)傳感器向模塊化、小型化、低成本不斷發(fā)展，GNSS/INS/視覺(jué)組合導(dǎo)航得到了廣泛關(guān)注。分析其研究進(jìn)展：通過(guò)介紹GNSS/INS/視覺(jué)組合系統(tǒng)的基本結(jié)構(gòu)與原理，總結(jié)出GNSS/INS/視覺(jué)組合系統(tǒng)關(guān)鍵技術(shù)發(fā)展現(xiàn)狀及行業(yè)應(yīng)用情況；然后梳理GNSS/INS/視覺(jué)融合架構(gòu)與典型算法；最后分析GNSS/INS/視覺(jué)組合系統(tǒng)中當(dāng)前存在的主要問(wèn)題與發(fā)展趨勢(shì)。

組合導(dǎo)航；數(shù)據(jù)融合；時(shí)空同步；聯(lián)邦濾波；圖優(yōu)化

0 引言

隨著綜合定位、導(dǎo)航與授時(shí)（positioning, navigation and timing，PNT）體系[1]和彈性PNT框架[2]的完善，多源PNT數(shù)據(jù)融合技術(shù)朝著智能融合和自適應(yīng)融合不斷發(fā)展。為了防止國(guó)防行動(dòng)過(guò)分依賴于全球定位系統(tǒng)（global positioning system，GPS），早在2010年，美國(guó)就開(kāi)始謀劃國(guó)家綜合PNT架構(gòu)[3]，多源PNT系統(tǒng)在美軍的無(wú)人潛航器、無(wú)人機(jī)等無(wú)人自主平臺(tái)上應(yīng)用廣泛[4]，是未來(lái)無(wú)人系統(tǒng)自主導(dǎo)航發(fā)展的重點(diǎn)方向。全球?qū)Ш叫l(wèi)星系統(tǒng)（global navigation satellite system，GNSS）/慣性導(dǎo)航系統(tǒng)（inertial navigation system，INS）/視覺(jué)組合導(dǎo)航系統(tǒng)作為多源PNT系統(tǒng)的一種，單目相機(jī)和低成本慣性測(cè)量單元（inertial measurement unit，IMU）的融合可以顯著提高GNSS失效情況下的局部定位精度和魯棒性，而GNSS定位有效時(shí)可以為視覺(jué)/慣導(dǎo)組合導(dǎo)航位置解算提供全局性的定位軌跡修正，對(duì)研究低成本、高精度、高可靠性的導(dǎo)航方式具有重大意義。

國(guó)內(nèi)外對(duì)GNSS/INS、INS/視覺(jué)2種傳感器組合的研究已經(jīng)比較成熟，綜述類文獻(xiàn)比較多。文獻(xiàn)[5]對(duì)2009年以前20年內(nèi)非線性濾波理論所取得的成果進(jìn)行了總結(jié)，且闡述了它們的優(yōu)缺點(diǎn)及在組合導(dǎo)航系統(tǒng)中的應(yīng)用情況。文獻(xiàn)[6]對(duì)新近的GNSS/INS自適應(yīng)智能組合導(dǎo)航算法進(jìn)行了分類并一一解析。文獻(xiàn)[7]對(duì)基于濾波技術(shù)的視覺(jué)/慣性組合技術(shù)做了全面的介紹，特別是對(duì)濾波器的客觀性和濾波狀態(tài)的一致性進(jìn)行了深入分析。文獻(xiàn)[8]的研究中介紹了近年來(lái)發(fā)展迅猛的基于機(jī)器學(xué)習(xí)的視覺(jué)/慣性組合導(dǎo)航方法。GNSS/INS/視覺(jué)組合導(dǎo)航技術(shù)近年來(lái)取得了長(zhǎng)足的發(fā)展，文獻(xiàn)[9]對(duì)GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)的現(xiàn)狀、架構(gòu)、測(cè)量模型進(jìn)行了全面的解析。國(guó)內(nèi)在GNSS/INS/視覺(jué)組合方面的研究相對(duì)較少，這方面的綜述性文獻(xiàn)不多。本文首先介紹GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)組成，其次從數(shù)據(jù)融合方式和算法框架等層面給出GNSS/INS/視覺(jué)組合導(dǎo)航技術(shù)目前的整體現(xiàn)狀，最后分析GNSS/INS/視覺(jué)組合導(dǎo)航技術(shù)當(dāng)前所處階段以及未來(lái)的發(fā)展趨勢(shì)，以期在GNSS/INS/視覺(jué)組合導(dǎo)航技術(shù)的系統(tǒng)層面和算法層面為后續(xù)研究提供參考。

1 系統(tǒng)組成與工作原理

GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)按硬件結(jié)構(gòu)可以劃分為GNSS接收機(jī)、慣性測(cè)量單元、圖像采集單元（相機(jī)）、時(shí)間同步電路和數(shù)據(jù)處理單元（如圖1所示）。

圖1 GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)組成

1.1 傳感器組成

GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)的傳感器由GNSS接收機(jī)、慣性測(cè)量單元和圖像采集單元（相機(jī)）3個(gè)部分組成。GNSS接收機(jī)在空曠環(huán)境下可以解算載體的位置、速度和航向，也能夠輸出偽距、偽距率、載波相位等觀測(cè)量。一般而言，其輸出頻率不超過(guò)10 Hz，在組合系統(tǒng)中輸出頻率最低。慣性測(cè)量單元由三軸陀螺儀和三軸加速度計(jì)組成，直接輸出慣性坐標(biāo)系下的三軸角速度和比力測(cè)量值。慣性測(cè)量單元作為組合導(dǎo)航的核心單元，輸出頻率最高，一般為50、100、200 Hz甚至以上[10]。圖像采集單元即為一般意義上的相機(jī)，由視角數(shù)分類，有單目、雙目、全向相機(jī)等。相機(jī)用來(lái)提供對(duì)應(yīng)時(shí)刻的圖像，為后續(xù)位姿估計(jì)提供原始數(shù)據(jù)。一般的相機(jī)輸出頻率可達(dá)20 Hz。在3種傳感器中，由于相機(jī)和IMU的輸出頻率較GNSS更大，因此在局部或短期內(nèi)，利用相機(jī)和慣導(dǎo)的組合可以提供精度更高的定位定姿結(jié)果。

1.2 組合導(dǎo)航系統(tǒng)時(shí)空同步

在GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)中，由于3種傳感器具有不同的采樣電路和輸出頻率，需要時(shí)間同步電路實(shí)現(xiàn)數(shù)據(jù)之間嚴(yán)格的時(shí)間同步。時(shí)間同步的主要目的是為了避免數(shù)據(jù)融合時(shí)產(chǎn)生較大的時(shí)間偏移，導(dǎo)致系統(tǒng)發(fā)散，因此需要將傳感器輸出數(shù)據(jù)的時(shí)間戳統(tǒng)一到同一時(shí)間參考系下。除了硬件上的時(shí)間同步，在軟件層面上，需要對(duì)傳感器進(jìn)行空間同步?？臻g同步的過(guò)程就是組合導(dǎo)航系統(tǒng)的初始化過(guò)程，用以確定各傳感器坐標(biāo)系之間的旋轉(zhuǎn)平移關(guān)系。對(duì)于 GNSS/INS/視覺(jué)組合導(dǎo)航而言，需要同時(shí)確定GNSS和慣導(dǎo)的桿臂值以及相機(jī)和慣導(dǎo)坐標(biāo)系之間的相機(jī)-慣導(dǎo)外參數(shù)。

1.3 數(shù)據(jù)融合框架

數(shù)據(jù)融合處理單元在硬件選擇上往往是一臺(tái)計(jì)算能力可觀的上位機(jī)，用來(lái)對(duì)經(jīng)過(guò)時(shí)間同步后的傳感器數(shù)據(jù)進(jìn)行融合，具體的融合框架視使用的算法結(jié)構(gòu)而定。目前主流的算法框架有濾波和圖優(yōu)化2種。

利用融合結(jié)果重置子濾波器，進(jìn)行時(shí)間更新。仿真結(jié)果表明，整體定位誤差控制在6 m以內(nèi)。

第二級(jí)濾波，即信息融合，融合過(guò)程的表達(dá)式為

在子濾波器的算法選擇上，GNSS/INS組合除了EKF之外，還有能夠有效解決顯著動(dòng)態(tài)模型誤差問(wèn)題的模型預(yù)測(cè)濾波器（models predictive filter，MPF）算法[12]、以近似非線性函數(shù)的概率分布為核心思想的無(wú)跡卡爾曼濾波（unscented Kalman filter，UKF）算法[13]和基于貝葉斯采樣估計(jì)的順序重要采樣濾波方法粒子濾波（particle filter，PF）算法[14]等等。相比于EKF，MPF能夠通過(guò)模型誤差實(shí)時(shí)調(diào)整系統(tǒng)模型，UKF在處理強(qiáng)非線性系統(tǒng)時(shí)具有更高的穩(wěn)定性和濾波精度，PF不受高斯模型以及非線性的限制。還有學(xué)者將EKF、MPF、UKF、PF等算法綜合應(yīng)用于GNSS/INS組合濾波器中[15]，取得了不錯(cuò)的濾波效果。在INS/視覺(jué)子濾波器的選擇上，使用最廣泛的是多狀態(tài)約束卡爾曼濾波（multi-state constraint Kalman filter，MSCKF），該方法能在保證算法實(shí)時(shí)性的基礎(chǔ)上取得較高的精度。

2）基于圖優(yōu)化的算法框架。文獻(xiàn)[16]提到信息融合問(wèn)題可表述為給定所有可用測(cè)度，計(jì)算系統(tǒng)狀態(tài)隨時(shí)間后驗(yàn)概率的最大后驗(yàn)概率( maximum a posteriori, MAP )估計(jì)值。其中因子圖優(yōu)化方法將系統(tǒng)狀態(tài)的改變表示成因子形式的遞進(jìn)，因子圖模型如圖2所示。

以貴州習(xí)水案為例，此案中人們的普遍感受是，行為人主觀惡性大，造成社會(huì)影響十分惡劣，行為上符合強(qiáng)奸罪構(gòu)成要件，但也許攝于行為人手中掌握的公權(quán)力的強(qiáng)大，他們被定為嫖宿幼女罪，替換了強(qiáng)奸罪，免去了強(qiáng)奸罪的更高刑法處罰，拿到了免死牌。惡劣行徑不能施以應(yīng)有懲處，此罪因此被認(rèn)為是讓人鉆了法律的漏洞。

圖2 因子圖模型

施工技術(shù)人員應(yīng)在生產(chǎn)制造鋼結(jié)構(gòu)構(gòu)件時(shí)利用Tekla Structure軟件模擬建檔施工時(shí)間與構(gòu)件制造時(shí)間，得到最佳的鋼結(jié)構(gòu)施工工期，有效控制施工進(jìn)度。實(shí)際施工期間，為了確保鋼結(jié)構(gòu)工程在預(yù)期時(shí)間內(nèi)完成，技術(shù)人員應(yīng)有效開(kāi)展工期控制，充分利用BIM技術(shù)的4D演示功能，全方程模擬鋼結(jié)構(gòu)的施工情況。除此之外，在施工管理期間，技術(shù)人員還應(yīng)利用4D模型全過(guò)程分析施工流程，及時(shí)發(fā)現(xiàn)施工期間存在的時(shí)間問(wèn)題，并完善改進(jìn)，提高施工效率。

并行式在GNSS/INS/視覺(jué)組合導(dǎo)航中，是將傳感器分組融合，最后再將組合結(jié)果進(jìn)行融合，例如文獻(xiàn)[19]采用的聯(lián)邦卡爾曼濾波算法。算法結(jié)構(gòu)如圖3所示，其中GNSS/IMU、IMU/相機(jī)分別構(gòu)成2個(gè)子濾波器，將子濾波器的局部最優(yōu)估計(jì)輸入到主濾波器求解，得到最終導(dǎo)航結(jié)果。

通常，因子節(jié)點(diǎn)所代表的誤差函數(shù)可以由導(dǎo)航系統(tǒng)的量測(cè)函數(shù)和測(cè)量值的差值給出，即

東博會(huì)舉辦的十幾年確實(shí)給南寧的旅游業(yè)帶來(lái)了極大的促進(jìn)作用，南寧的知名度在一定程度上得到了提升，來(lái)南寧旅游人次每年都有不同程度的上升，但同時(shí)也存在較多問(wèn)題。

1) 從通航設(shè)施看，船舶吃水主要受航道水深和船閘門檻水深兩方面制約，但結(jié)合航運(yùn)實(shí)際經(jīng)驗(yàn)，考慮到進(jìn)船閘時(shí)船舶航速較低，最大船舶限制吃水通常指向航道限制吃水。因此，船閘門檻水深一般不作為船舶通航的限制因素。

隨著新獲取的觀測(cè)信息，根據(jù)相應(yīng)的觀測(cè)方程和代價(jià)函數(shù)進(jìn)行變量節(jié)點(diǎn)的狀態(tài)更新。

文獻(xiàn)[17]分別采用基于因子圖框架的增量式平滑組合導(dǎo)航方法和傳統(tǒng)的擴(kuò)展卡爾曼濾波方法，在裝配有IMU、光流傳感器的四旋翼無(wú)人機(jī)上進(jìn)行實(shí)驗(yàn)，結(jié)果驗(yàn)證了基于因子圖的增量式平滑算法在即插即用和整體精度方面，相比傳統(tǒng)的濾波算法性能更好。

以佳能專業(yè)級(jí)膠片單反相機(jī)EOS-1V為藍(lán)本而開(kāi)發(fā)的1Ds在機(jī)身性能上得到了充分性的優(yōu)勢(shì)性特顯，不論是機(jī)身的耐用程度還是操控性設(shè)計(jì)都超越了同時(shí)期的對(duì)手。再加上優(yōu)秀的對(duì)焦系統(tǒng)和成像，1Ds成了當(dāng)時(shí)當(dāng)之無(wú)愧的旗艦。1Ds機(jī)身設(shè)計(jì)指標(biāo)足夠過(guò)硬，因此市場(chǎng)反響非常強(qiáng)烈，是一款極受歡迎的頂級(jí)產(chǎn)品。最終這款產(chǎn)品在2003年初上市后的三年的2006年內(nèi)退市。

林孟是個(gè)性格開(kāi)朗的人，他的茶杯是一只很大的玻璃瓶，裝速溶雀巢咖啡的玻璃瓶，他喜歡將一把椅子拖到門后，靠著門坐下來(lái)，端著那只大玻璃瓶，對(duì)著我們哈哈地笑，他的話超過(guò)十句以后，就會(huì)胡說(shuō)八道了。他經(jīng)常很不謹(jǐn)慎地將他和萍萍之間的隱私泄露出來(lái)，并且以此為樂(lè)，笑得腦袋抵在門上，把門敲得咚咚直響。

2 GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)發(fā)展與應(yīng)用現(xiàn)狀

2.1 GNSS/INS/視覺(jué)組合導(dǎo)航數(shù)據(jù)融合方式

文獻(xiàn)[18]將多源傳感器的數(shù)據(jù)處理方法分為集中式、并行式和序貫式3類，GNSS/INS/視覺(jué)組合導(dǎo)航數(shù)據(jù)融合方式也是基于這3類發(fā)展的。

集中式立足于建立統(tǒng)一的觀測(cè)方程組求解導(dǎo)航參數(shù)，缺點(diǎn)是隨著變量數(shù)增加，計(jì)算負(fù)擔(dān)會(huì)變得很大，實(shí)時(shí)性較差。由于各個(gè)傳感器的輸出頻度不一致，GNSS/INS/視覺(jué)組合導(dǎo)航中很少采用這種方式。

紫蘇葉總?cè)瞥曁崛」に噧?yōu)化及對(duì)10種常見(jiàn)致病菌的抑菌作用研究 …………………………………… 魏 磊等（16）：2193

圖3 聯(lián)邦卡爾曼濾波結(jié)構(gòu)

序貫式是將各個(gè)傳感器的觀測(cè)量按照其輸出頻率依次融合，適應(yīng)傳感器的輸出頻率不同的融合場(chǎng)景，融合結(jié)構(gòu)靈活。例如，文獻(xiàn)[20]在對(duì)描述衛(wèi)星和特征點(diǎn)空間幾何分布強(qiáng)度的性能指標(biāo)所展開(kāi)的研究中，采用了序貫的數(shù)據(jù)融合模式。如圖4所示，IMU為核心傳感器，先利用更新頻率次于IMU的相機(jī)測(cè)量值與IMU測(cè)量值進(jìn)行融合，最后再用更新頻率最低的GNSS測(cè)量值與二者結(jié)果進(jìn)行融合。

圖4 序貫式數(shù)據(jù)處理方式

2.2 GNSS/INS/視覺(jué)組合導(dǎo)航算法框架

GNSS/INS/視覺(jué)組合導(dǎo)航技術(shù)是在GNSS/INS、INS/視覺(jué)組合導(dǎo)航技術(shù)的基礎(chǔ)之上發(fā)展的，因此很多方法繼承了傳統(tǒng)的組合導(dǎo)航卡爾曼濾波框架以及實(shí)時(shí)定位與地圖構(gòu)建（simultaneous localization and mapping，SLAM）領(lǐng)域的圖優(yōu)化框架。

國(guó)外相關(guān)研究中，文獻(xiàn)[21]于2005年在GNSS/INS導(dǎo)航系統(tǒng)中融合了計(jì)算6自由度位姿的SLAM方法，仿真實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)能夠在GNSS拒止環(huán)境中提供可靠的導(dǎo)航解。但由于采用松耦合的濾波結(jié)構(gòu)，在視覺(jué)信息的利用上不夠充分，精度有待提高。2012年文獻(xiàn)[22]同樣基于EKF采用松耦合模式構(gòu)建了相機(jī)/IMU/GNSS 組合導(dǎo)航系統(tǒng)，利用GPS偽距觀測(cè)值來(lái)恢復(fù)相機(jī)幀間尺度信息，從而計(jì)算幀間旋轉(zhuǎn)和平移，最后將結(jié)果與慣導(dǎo)進(jìn)行松耦合。該方法中尺度的確定依賴于初始的GPS定位精度且在初始環(huán)境處于衛(wèi)星拒止條件時(shí)不可用。2013年文獻(xiàn)[23]提出了一種多傳感器融合的拓展卡爾曼濾波框架，能夠處理具有時(shí)延的相對(duì)測(cè)量和絕對(duì)測(cè)量。同年，文獻(xiàn)[16]提出了一種基于因子圖優(yōu)化的增量式平滑方法，該方法同樣采取松耦合方式。與卡爾曼濾波框架不同的是，該方法采用因子圖模型來(lái)表示聯(lián)合概率分布的最大后驗(yàn)估計(jì)，充分利用了系統(tǒng)的稀疏性，提供了傳感器即插即用的能力，實(shí)現(xiàn)了多位姿約束下的整體最優(yōu)解，但仍存有誤差向下累積的問(wèn)題。2014年，針對(duì)GNSS衛(wèi)星和視覺(jué)傳感器特征點(diǎn)分布不均勻，GNSS挑戰(zhàn)環(huán)境下的位置解算精度有時(shí)會(huì)下降的問(wèn)題，文獻(xiàn)[20]提出并采用加權(quán)最小二乘法推導(dǎo)了衡量衛(wèi)星和特征點(diǎn)空間幾何分布強(qiáng)度的性能指標(biāo)權(quán)重精度因子（weighted dilution of precision，WDOP），該成果在評(píng)估傳感器測(cè)量值質(zhì)量上邁出了第一步。仿真和實(shí)測(cè)結(jié)果表明，WDOP值合理地對(duì)3種傳感器進(jìn)行了選擇性集成，提高了GNSS挑戰(zhàn)環(huán)境下的定位精度。同年，文獻(xiàn)[24]首次將GPS載波相位差分計(jì)算出的位置測(cè)量值納入基于光束法平差的SLAM算法中，GPS差分得到的全局位置用于關(guān)鍵幀的選擇，IMU測(cè)量值只作用于導(dǎo)航濾波器來(lái)進(jìn)行狀態(tài)更新，而不作用于后端批優(yōu)化（bundle adjustment，BA）。仿真表明，該系統(tǒng)在室外開(kāi)放區(qū)域可獲得厘米級(jí)以上的絕對(duì)定位精度和分度級(jí)絕對(duì)姿態(tài)精度。自2013年，基于優(yōu)化的組合導(dǎo)航方法不斷發(fā)展延拓，到2018年，文獻(xiàn)[25]提出了一種基于解耦圖優(yōu)化的多傳感器融合方法（graph-optimization based multi-sensor fusion，GOMSF），該方法將融合看作視覺(jué)慣性里程計(jì)局部坐標(biāo)系與全局坐標(biāo)系之間的實(shí)時(shí)對(duì)準(zhǔn)問(wèn)題，通過(guò)優(yōu)化包含機(jī)器人最新?tīng)顟B(tài)的滑動(dòng)窗口位姿圖來(lái)不斷更新與這些坐標(biāo)系相關(guān)的對(duì)準(zhǔn)變換。實(shí)驗(yàn)結(jié)果表明，該方法可以為無(wú)人機(jī)在非結(jié)構(gòu)化室外環(huán)境中進(jìn)行長(zhǎng)期作業(yè)提供精確、高速率的位姿估計(jì)。

國(guó)內(nèi)相關(guān)研究起步較晚，文獻(xiàn)[26]最早在2013年將數(shù)字可量測(cè)影像（digital measurable image,DMI）作為融合濾波框架的一部分與GPS/IMU進(jìn)行松耦合，信息的融合與利用尚不夠充分。2015年，文獻(xiàn)[27]對(duì)基于GPS 位置的影像/ GPS/INS 組合導(dǎo)航算法開(kāi)展了研究，采用GPS/INS松組合、INS/影像緊組合的模式。仿真與實(shí)驗(yàn)結(jié)果表明，該算法能夠在局部GNSS拒止環(huán)境下提供較高的定位定姿精度。2017年，文獻(xiàn)[28]將卡爾曼濾波與圖優(yōu)化方法結(jié)合，通過(guò)GPS/INS卡爾曼濾波松組合，解算圖像幀初始位姿，從而解算特征點(diǎn)空間位置，最后用SLAM圖優(yōu)化方法對(duì)信息進(jìn)行融合得到最終的定位定姿結(jié)果。該方法在GPS惡劣的情況下本質(zhì)上是一種基于圖優(yōu)化的視覺(jué)慣性實(shí)時(shí)定位與建圖（visual inertial-simultaneous localization and mapping，VI-SLAM）方法。2019年，文獻(xiàn)[29]對(duì)低成本衛(wèi)星/慣性/視覺(jué)組合導(dǎo)航關(guān)鍵技術(shù)開(kāi)展了研究，提出借助載波相位歷元間差分定位結(jié)果對(duì)系統(tǒng)進(jìn)行約束，解決了由于偽距定位誤差較大而導(dǎo)致視覺(jué)慣導(dǎo)解算約束效果差的問(wèn)題。位姿融合后位置精度優(yōu)于3 m，航向角精度優(yōu)于0.12°。同年，文獻(xiàn)[30]基于滑動(dòng)窗口的非線性優(yōu)化方法提出了一種基于圖優(yōu)化的多傳感器狀態(tài)估計(jì)器視覺(jué)慣性系統(tǒng)-融合（visual-inertial system-fusion，VINS-Fusion），該方法采用視覺(jué)/IMU緊耦合的方式，獲得了較小的全局誤差漂移和厘米級(jí)的局部定位定姿精度。

總體上，GNSS/INS/視覺(jué)組合導(dǎo)航經(jīng)歷了卡爾曼濾波框架到圖優(yōu)化框架的發(fā)展過(guò)程，這個(gè)過(guò)程很大程度上受到GNSS/INS組合導(dǎo)航、INS/視覺(jué)SLAM技術(shù)發(fā)展的影響。目前的研究大部分是在算法框架和濾波結(jié)構(gòu)上的改進(jìn)，在傳感器的接入策略和測(cè)量值的優(yōu)劣評(píng)價(jià)機(jī)制上進(jìn)行的研究還比較少。

2.3 GNSS/INS/視覺(jué)組合導(dǎo)航系統(tǒng)應(yīng)用

由于GNSS/INS/視覺(jué)組合導(dǎo)航硬件成本較低，因此廣泛應(yīng)用于機(jī)器人、無(wú)人車等智能平臺(tái)，國(guó)內(nèi)外眾多研究機(jī)構(gòu)也發(fā)布了自己的數(shù)據(jù)集。例如，米蘭理工大學(xué)在輪式機(jī)器人上搭載單目、雙目、三目及全向相機(jī)、IMU、GPS接收機(jī)和激光測(cè)距儀等傳感器，搭建了一個(gè)適用于大場(chǎng)景的組合導(dǎo)航平臺(tái)[31]。德國(guó)卡爾斯魯厄理工學(xué)院于2012年公開(kāi)了基蒂（KITTI）數(shù)據(jù)集[32]，研究人員在自動(dòng)駕駛平臺(tái)上搭載雙目相機(jī)、IMU、激光雷達(dá)、載波相位差分（real-time kinematic，RTK）/INS組合導(dǎo)航系統(tǒng)，采集了不同城市、鄉(xiāng)村等場(chǎng)景下的多組數(shù)據(jù)，KITTI數(shù)據(jù)集是目前視覺(jué)、激光、慣導(dǎo)、衛(wèi)導(dǎo)組合導(dǎo)航方向使用最為廣泛的數(shù)據(jù)集。密歇根大學(xué)研究人員在平衡車上搭載了高精度GNSS接收機(jī)、全向相機(jī)、激光雷達(dá)、IMU等傳感器采集數(shù)據(jù)，于2015年公開(kāi)了北校區(qū)長(zhǎng)期數(shù)據(jù)集（north campus long-term，NCLT）[33]。阿爾托大學(xué)在2018年公開(kāi)了一組真實(shí)的視覺(jué)慣性里程測(cè)量數(shù)據(jù)集（authentic dataset for visual-inertial odometry，ADVIO）[34]，他們將GNSS、IMU 和相機(jī)集成在智能設(shè)備上，該數(shù)據(jù)集同樣被業(yè)界研究人員廣泛使用。此外，一些商用公司也開(kāi)始設(shè)計(jì)和研發(fā)自己的組合導(dǎo)航智能平臺(tái)來(lái)滿足自身的自動(dòng)駕駛需求，例如百度的阿波羅（Apollo）平臺(tái)、恩智浦的自動(dòng)駕駛工具包（automated drive kit），以及英偉達(dá)（NVIDIA）的海普瑞開(kāi)發(fā)者工具包（ Hyperion developer kit）等等。

3 存在的問(wèn)題與發(fā)展趨勢(shì)

近十年內(nèi)，隨著濾波方法和圖優(yōu)化方法不斷發(fā)展，局部定位精度達(dá)到厘米級(jí)，GNSS/INS/視覺(jué)組合技術(shù)的發(fā)展也在不斷向前推進(jìn)，總的目標(biāo)是精度更高、實(shí)時(shí)性更好、硬件模塊化、環(huán)境適應(yīng)力更強(qiáng)。未來(lái)的主要工作在以下幾個(gè)方面展開(kāi)：

1）更具備環(huán)境挑戰(zhàn)性的數(shù)據(jù)集。目前的數(shù)據(jù)集如KITTI和ADVIO，數(shù)據(jù)質(zhì)量相對(duì)完好。在GNSS數(shù)據(jù)方面，基本不存在如GNSS干擾區(qū)域、欺騙區(qū)域的數(shù)據(jù)；在視覺(jué)方面，對(duì)于光照強(qiáng)度變化大、紋理特征少、特征不明顯的區(qū)域，缺乏如隧道、地底通道等場(chǎng)景。由于環(huán)境魯棒性算法的研究依賴于涵蓋特殊場(chǎng)景的數(shù)據(jù)集，因此，目前的GNSS/INS/視覺(jué)組合算法所具備的魯棒性還只是停留在GNSS拒止環(huán)境下組合導(dǎo)航定位這一階段，未來(lái)的數(shù)據(jù)集將會(huì)具備更強(qiáng)的環(huán)境復(fù)雜度。

Application of the tongue-and-groove method in concrete pipeline joint construction

2）更具魯棒性的算法框架。目前的數(shù)據(jù)集不能滿足算法魯棒性的進(jìn)一步拓展。文獻(xiàn)[20]建立了一種衛(wèi)星和空間特征強(qiáng)度的評(píng)估機(jī)制，是魯棒性算法的先驅(qū)性工作。傳感器數(shù)據(jù)是組合導(dǎo)航算法的基礎(chǔ)；基于傳感器的數(shù)據(jù)接入策略，應(yīng)用于算法相關(guān)權(quán)重的數(shù)據(jù)質(zhì)量評(píng)估機(jī)制將會(huì)成為未來(lái)魯棒性算法的拓展方向。其次，目前的算法框架都具有很強(qiáng)的獨(dú)立性。文獻(xiàn)[23]的濾波算法和文獻(xiàn)[16]的優(yōu)化算法各自在實(shí)時(shí)性和定位精度上尋求平衡點(diǎn)，二者在不同環(huán)境下具備各自領(lǐng)先的精度優(yōu)勢(shì)，未來(lái)的組合導(dǎo)航算法會(huì)考慮最優(yōu)的算法框架應(yīng)用于當(dāng)前環(huán)境，實(shí)現(xiàn)真正意義上的算法靈活性和魯棒性。

3）多機(jī)協(xié)同組合導(dǎo)航定位。目前國(guó)內(nèi)外的組合導(dǎo)航平臺(tái)大多是單一的獨(dú)立平臺(tái)，是為數(shù)據(jù)采集、算法驗(yàn)證服務(wù)的。鑒于未來(lái)導(dǎo)航任務(wù)的復(fù)雜性，在完成大場(chǎng)景、寬范圍的定位導(dǎo)航以及SLAM建圖任務(wù)時(shí)，單一平臺(tái)的工作效率往往很低，而且受到自身平臺(tái)誤差影響會(huì)很大，多機(jī)協(xié)同的定位與建圖模式能夠平衡單機(jī)誤差，并且成倍提高工作效率。但是由于目前無(wú)論是在誤差分析還是在算法模型上，多機(jī)組合的研究還不夠深入，GNSS/INS/視覺(jué)的組合在多機(jī)協(xié)同導(dǎo)航定位方向上還有很長(zhǎng)的路要走。

傳統(tǒng)的教學(xué)評(píng)價(jià)過(guò)分強(qiáng)調(diào)了對(duì)學(xué)科知識(shí)的考查，而忽視了對(duì)學(xué)生思維品質(zhì)、學(xué)習(xí)策略、情感態(tài)度、文化意識(shí)等方面的評(píng)價(jià)。殊不知，英語(yǔ)核心素養(yǎng)的培養(yǎng)離不開(kāi)對(duì)學(xué)生思維能力的培養(yǎng)、對(duì)英語(yǔ)學(xué)習(xí)策略的點(diǎn)撥和對(duì)文化意識(shí)的灌輸。新課標(biāo)指出，英語(yǔ)課程評(píng)價(jià)體系要有利于促進(jìn)學(xué)生綜合語(yǔ)言運(yùn)用能力的發(fā)展，要采用多元優(yōu)化的評(píng)價(jià)方式。所以，教學(xué)評(píng)價(jià)的內(nèi)容和標(biāo)準(zhǔn)要以新課標(biāo)為依據(jù)，優(yōu)化評(píng)價(jià)方式，從多個(gè)維度進(jìn)行評(píng)價(jià)，形成科學(xué)、立體的多元評(píng)價(jià)模式，激發(fā)學(xué)生學(xué)習(xí)的積極性。

4）更加模塊化、小型化、低成本的GNSS/INS/視覺(jué)組合導(dǎo)航硬件。目前國(guó)內(nèi)尚無(wú)公開(kāi)報(bào)道滿足實(shí)用要求的GNSS/INS/視覺(jué)組合模塊，更多的是2種傳感器組合的設(shè)備集成來(lái)應(yīng)用于GNSS/INS/視覺(jué)組合的定位，成本方面會(huì)偏高。文獻(xiàn)[29]設(shè)計(jì)的低成本衛(wèi)星/慣性/視覺(jué)組合導(dǎo)航具有模塊化的雛形，但是在小型化方面做得還不夠好。隨著視覺(jué)相機(jī)和慣導(dǎo)設(shè)備越做越小，GNSS定位元件目前也已經(jīng)是芯片級(jí)，低成本的GNSS/INS/視覺(jué)組合導(dǎo)航定位器件將會(huì)做到更加模塊化、小型化。

很多家長(zhǎng)會(huì)覺(jué)得被欺負(fù)就打回去，是最簡(jiǎn)單粗暴有效的方式。但這種方式“粗暴”是夠粗暴的，但真的簡(jiǎn)單和有效么？我們?cè)O(shè)想一下自己如果被“欺負(fù)”了會(huì)如何。

4 結(jié)束語(yǔ)

隨著研究的深入和技術(shù)的發(fā)展，GNSS/INS/視覺(jué)組合導(dǎo)航作為一種高精度、高可靠性、低成本的導(dǎo)航方式目前已經(jīng)被廣泛采用。GNSS/INS組合導(dǎo)航技術(shù)的不斷發(fā)展以及VI-SLAM技術(shù)的推廣應(yīng)用，都為GNSS/INS/視覺(jué)組合導(dǎo)航的融合與創(chuàng)新奠定了基礎(chǔ)，以低成本的組合方式來(lái)解決全域、無(wú)縫導(dǎo)航定位也將成為重點(diǎn)的研究方向。而未來(lái)的導(dǎo)航定位任務(wù)面臨更強(qiáng)的環(huán)境復(fù)雜度，GNSS和視覺(jué)技術(shù)的應(yīng)用在很多具備挑戰(zhàn)性的環(huán)境中仍然存在很多難題需要解決。本文研究結(jié)果可為該領(lǐng)域?qū)W習(xí)者和研究人員提供參考思路。

[1] 楊元喜. 綜合PNT體系及其關(guān)鍵技術(shù)[J]. 測(cè)繪學(xué)報(bào), 2016, 45(5): 505-510.

[2] 楊元喜. 彈性PNT基本框架[J]. 測(cè)繪學(xué)報(bào), 2018, 47(7): 893-898.

[3] HUESTED P, POPEJOY P. National positioning, navigation, and timing architecture[C]//The Institute of Aeronautics and Astronautics(AIAA).AIAA SPACE 2008 Conference & Exposition. San Diego, California: ARC, 2008: 7785[2022-03-09].

[4] 薛春祥, 黃孝鵬, 朱咸軍, 等. 外軍無(wú)人系統(tǒng)現(xiàn)狀與發(fā)展趨勢(shì)[J]. 雷達(dá)與對(duì)抗, 2016, 36(1): 1-5,10.

[5] 趙琳, 王小旭, 丁繼成, 等. 組合導(dǎo)航系統(tǒng)非線性濾波算法綜述[J]. 中國(guó)慣性技術(shù)學(xué)報(bào), 2009, 17(1): 46-52,58.

[6] 趙方, 吳凡. GNSS/INS自適應(yīng)智能組合導(dǎo)航算法綜述[J]. 北京郵電大學(xué)學(xué)報(bào), 2022, 45(2): 1-7.

[7] HUANG G. Visual-inertial navigation: a concise review[C]//The Institute of Electrical and Electronics Engineers (IEEE).2019 international conference on robotics and automation (ICRA). Brisbane, Australia: IEEE,2019:9572-9582[2022-03-09].

[8] 張禮廉, 屈豪, 毛軍, 等. 視覺(jué)/慣性組合導(dǎo)航技術(shù)發(fā)展綜述[J]. 導(dǎo)航定位與授時(shí), 2020, 7(4): 50-63.

[9] AFIA A B. Development of GNSS/INS/SLAM algorithms for navigation in constrained environments[D]. Toulouse: Institut National Polytechnique de Toulouse, 2017.

[10] 莫善會(huì). GNSS與視覺(jué)里程計(jì)輔助IMU的行人導(dǎo)航方法研究[D]. 成都: 電子科技大學(xué), 2019.

[11] 薛偉羅晨, 岳富占, 董啟甲. 視覺(jué)輔助的INS/GNSS導(dǎo)航系統(tǒng)在動(dòng)態(tài)場(chǎng)景下的特性分析[C]//中國(guó)衛(wèi)星導(dǎo)航系統(tǒng)管理辦公室學(xué)術(shù)交流中心.第九屆中國(guó)衛(wèi)星導(dǎo)航學(xué)術(shù)年會(huì)論文集: S10多源融合導(dǎo)航技術(shù).北京:中國(guó)衛(wèi)星導(dǎo)航系統(tǒng)管理辦公室, 2018: 113-117[2022-03-09].

[12] CRASSIDIS J L, MARKLEY F L. Predictive filtering for nonlinear systems[J]. Journal of Guidance, Control, and Dynamics, 1997, 20(3): 566-572.

[13] JULIER S J, UHLMANN J K. A new approach for filtering nonlinear system[C]//The Institute of Electrical and Electronics Engineers (IEEE).Proceedings of the 1995 American Control Conference. Seattle, WA, USA: IEEE,1995: 1628-1632[2022-03-09].

[14] GORDON N, SALMOND D. Novel approach to non-linear and non-Gaussian Bayesian state estimation[J]. IEEE Proceeding of Institute Electric Engineering, 2002, 140(2): 107-113.

[15] MOURIKIS A I, ROUMELIOTIS S I. A multi-state constraint Kalman filter for vision-aided inertial navigation[C]//The Institute of Electrical and Electronics Engineers (IEEE).International Conference on Robotics & Automation. Brisbane, Australia: IEEE, 2007: 2-6[2022-03-09].

[16] INDELMAN V, WILLIAMS S, KAESS M, et al. Information fusion in navigation systems via factor graph based incremental smoothing[J]. Robotics and Autonomous Systems, 2013, 61(8): 721-738.

[17] LANGE S, SüNDERHAUF N, PROTZEL P. Incremental smoothing vs. filtering for sensor fusion on an indoor UAV[C]//The Institute of Electrical and Electronics Engineers (IEEE).Proceeding of International Conference on Robotics and Automation(ICRA). Brisbane, Australia: IEEE,2013: 1773-1778[2022-03-09].

[18] 唐璐楊, 唐小妹, 李柏渝, 等. 多源融合導(dǎo)航系統(tǒng)的融合算法綜述[J]. 全球定位系統(tǒng), 2018, 43(3): 39-44.

[19] CARLSON N A. Federated square root filter for decentralized parallel processors[J]. IEEE Transactions on Aerospace and Electronic Systems, 1990, 26(3): 517-525.

[20] WON D H, LEE E, HEO M, et al. Selective integration of GNSS, vision sensor, and INS using weighted DOP under GNSS-challenged environments[J]. Transactions on Instrumentation and Measurement, 2014,63(9): 2288-2298.

[21] KIM J, SUKKARIEH S. 6DoF SLAM aided GPS/INS navigation in GPS denied and unknown environments[J]. Journal of Global Positioning Systems, 2005,4(1): 120-128.

[22] CHU T, GUO N, BACKéN S, et al. Monocular camera/IMU/GNSS integration for ground vehicle navigation in challenging GNSS environments[J]. Sensors, 2012, 12(3): 3162-3185.

[23] LYNEN S, ACHTELIK M W, WEISS S, et al. A robust and modular multi-sensor fusion approach applied to mav navigation[C]//The Institute of Electrical and Electronics Engineers (IEEE). 2013 IEEE/RSJ International Conference on Intelligent Robots and Systems. Tokyo, Japan: IEEE, 2013:3923-3929[2022-03-09].

[24] SHEPARD D P, HUMPHREYS T E. High-precision globally-referenced position and attitude via a fusion of visual SLAM, carrier-phase-based GPS, and inertial measurements[C]//The Institute of Electrical and Electronics Engineers (IEEE).Position, Location and Navigation Symposium. Monterey, CA, USA: IEEE, 2014:1309-1328[2022-03-09].

[25] MASCARO R, TEIXEIRA L, HINZMANN T, et al. GOMSF: graph-optimization based multi-sensor fusion for robust UAV pose estimation[C]//The Institute of Electrical and Electronics Engineers (IEEE).International Conference on Robotics and Automation(ICRA). Brisbane, Australia: IEEE,2018:1421-1428[2022-03-09].

[26] 張曉東. 可量測(cè)影像與GPS/IMU融合高精度定位定姿方法研究[D]. 鄭州: 信息工程大學(xué), 2013.

[27] 王力. 影像/GNSS/INS組合精密定位定姿方法研究[D]. 武漢: 武漢大學(xué), 2015.

[28] 王加芳. GPS/Visual/INS多傳感器融合導(dǎo)航算法的研究[D]. 杭州: 浙江大學(xué), 2017.

[29] 馮哲煜. 低成本衛(wèi)星/慣性/視覺(jué)組合導(dǎo)航關(guān)鍵技術(shù)研究[D]. 鄭州:信息工程大學(xué), 2019.

[30] QIN T, CAO S, PAN J, et al. A general optimization-based framework for global pose estimation with multiple sensors[EB/OL]. [2022-03-09]. https://arxiv.org/pdf/1901.03642.pdf.

[31] CERIANI S, FONTANA G, GIUSTI A, et al. Rawseeds ground truth collection systems for indoor self-localization and mapping[J]. Autonomous Robots, 2009, 27(4): 353-371.

[32] GEIGER A, LENZ P, URTASUN R. Are we ready for autonomous driving? the kitti vision benchmark suite[C]// The Institute of Electrical and Electronics Engineers (IEEE).2012 IEEE Conference on Computer Vision and Pattern Recognition. Providence, RI: IEEE, 2012: 3354-3361[2022-03-09].

[33] CARLEVARIS-BIANCO N, USHANI A K, EUSTICE R M. University of Michigan north campus long-term vision and LiDAR dataset[J]. The International Journal of Robotics Research, 2016, 35(9): 1023-1035.

[34] CORTéS S, SOLIN A, RAHTU E, et al. ADVIO: an authentic dataset for visual-inertial odometry[C]//FERRARI V. Proceedings of the European Conference on Computer Vision(ECCV). Munich, Germany: Springer, 2018: 425–440[2022-03-09].

Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusion

LI Kailin, LI Jiansheng, WANG Ancheng

（Institute of Geospatial Information, Information Engineering University, Zhengzhou 450000, China）

In order to further improve the reliability, accuracy, continuity and integrity of navigation and positioning, it is an inevitable trend to integrate various available navigation sensors into an integrated navigation system; furthermore, with the continuous development of global navigation satellite system (GNSS) terminals, inertial navigation system (INS) devices and visual sensors towards modularization, miniaturization and low cost, GNSS/INS/visual integrated navigation has received extensive attention. The paper analyzed the research development: the basic structure and principle of GNSS/INS/visual integrated system were introduced, and the key technology development status and industry application of the integrated system were summarized; then the visual fusion architecture and typical algorithms were sorted; finally, the main problems and development trends in GNSS/INS/visual integrated system were discussed.

integrated navigation; data fusion; space-time synchronization; federated filtering; graph optimization

P228

A

2095-4999(2023)01-0009-07

李凱林，李建勝，王安成. GNSS/INS/視覺(jué)組合導(dǎo)航數(shù)據(jù)融合研究探討[J]. 導(dǎo)航定位學(xué)報(bào), 2023, 11(1): 9-15.（LI Kailin, LI Jiansheng, WANG Ancheng. Discussion on development of GNSS/INS/Visual integrated navigation technology and data fusion[J]. Journal of Navigation and Positioning, 2023, 11(1): 9-15.）DOI:10.16547/j.cnki.10-1096.20230102.

2022-03-31

李凱林（1998—），男，湖南婁底人，碩士研究生，研究方向?yàn)闄C(jī)器視覺(jué)與智能應(yīng)用。

李建勝（1975—），男，湖北鐘祥人，博士，教授，研究方向?yàn)橐曈X(jué)導(dǎo)航、計(jì)算機(jī)視覺(jué)等。