王慧穎吳琦鳴王兆強(qiáng)

(1.中國(guó)消防救援學(xué)院基礎(chǔ)部，北京 102202；2.火箭軍工程大學(xué)基礎(chǔ)部，陜西 西安 710025)

視覺(jué)SLAM 技術(shù)可以實(shí)現(xiàn)智能機(jī)器對(duì)場(chǎng)景環(huán)境的觀測(cè)確定自身的運(yùn)動(dòng)軌跡，同時(shí)構(gòu)建出場(chǎng)景地圖[1]。 SLAM 技術(shù)的實(shí)現(xiàn)方式與難度和傳感器的形式與安裝方式密切相關(guān)。 比較成熟的視覺(jué)SLAM 系統(tǒng)有ORB-SLAM[2]、LSD-SLAM[3]、DSO[4]等。 基于目前的視覺(jué)SLAM 在靜態(tài)環(huán)境下技術(shù)已發(fā)展較成熟[5]，但離實(shí)際應(yīng)用還存在著距離，因?yàn)橥趯?shí)際場(chǎng)景中，尤其是室外存在著可移動(dòng)的人、汽車(chē)和自行車(chē)等，那么針對(duì)于靜態(tài)環(huán)境的SLAM 應(yīng)用于動(dòng)態(tài)場(chǎng)景中會(huì)被誤認(rèn)為是相機(jī)在運(yùn)動(dòng)，從而大大降低了其定位和構(gòu)圖的精度。 動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)物體會(huì)打破視覺(jué)SLAM 的靜態(tài)環(huán)境假設(shè)，因此動(dòng)態(tài)場(chǎng)景下提高視覺(jué)SLAM 精度成為一個(gè)重要的研究方向[6]。

運(yùn)動(dòng)著的物體行為相對(duì)比較復(fù)雜和具有不可預(yù)測(cè)性，目前研究對(duì)動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)物體進(jìn)行建模是先找出場(chǎng)景中動(dòng)態(tài)區(qū)域，然后在位姿估計(jì)中濾除這部分。 因此動(dòng)態(tài)場(chǎng)景區(qū)域的正確分割對(duì)于視覺(jué)SLAM 在動(dòng)態(tài)場(chǎng)景下的定位與構(gòu)圖精度的提升是非常重要。 動(dòng)態(tài)場(chǎng)景區(qū)域的分割往往采用多傳感器融合或者單個(gè)視覺(jué)傳感器來(lái)完成。 然而多傳感器融合[7－8]可以增加數(shù)據(jù)的維度，但在數(shù)據(jù)融合、傳感器標(biāo)定、搭載小型設(shè)備等方面還存在多個(gè)難題。 單個(gè)視覺(jué)傳感器方案中存在運(yùn)用深度學(xué)習(xí)檢測(cè)運(yùn)動(dòng)物體[9－10]，但深度學(xué)習(xí)方法僅僅能夠識(shí)別出移動(dòng)的人，無(wú)法與同樣移動(dòng)的椅子進(jìn)行區(qū)分，該方法對(duì)計(jì)算機(jī)硬件有著較高的要求。

動(dòng)態(tài)場(chǎng)景下，稠密光流算法也可以對(duì)動(dòng)態(tài)場(chǎng)景進(jìn)行分析[11－12]。 歐陽(yáng)玉梅[13]將稠密光流法應(yīng)用于運(yùn)動(dòng)物體檢測(cè)，采用Gunner Farneback 稠密光流法計(jì)算各像素點(diǎn)位移矢量的光流矩陣，從而檢測(cè)運(yùn)動(dòng)物體，但該算法的計(jì)算量大，難以實(shí)現(xiàn)實(shí)時(shí)計(jì)算。

掩模[14]是指用選定的圖像、圖形或物體，對(duì)處理的圖像(全部或局部)進(jìn)行遮擋，來(lái)控制圖像處理的區(qū)域或處理過(guò)程。 用于覆蓋的特定圖像或物體稱(chēng)為掩模。 掩?？梢杂糜谔崛「信d趣區(qū)域、屏蔽某些區(qū)域或結(jié)構(gòu)特征提出等用途。

基于上述分析，本文提出動(dòng)態(tài)場(chǎng)景下基于圖像掩模技術(shù)的雙目SLAM 算法，該算法可以保證實(shí)時(shí)性，其硬件成本低，便于攜帶，并方便搭載在其他設(shè)備上。 動(dòng)態(tài)區(qū)域掩模分割算法不受視覺(jué)SLAM 定位結(jié)果影響。

1 雙目SLAM 算法流程

本文提出的改進(jìn)的ORB-SLAM 算法采用雙目視覺(jué)SLAM 系統(tǒng)，利用ORB-SLAM 算法檢測(cè)出運(yùn)動(dòng)物體提取動(dòng)態(tài)特征點(diǎn)，將檢測(cè)出的運(yùn)動(dòng)物體區(qū)域作為圖像掩模并對(duì)該區(qū)域進(jìn)行分割，然后剔除特征匹配中動(dòng)態(tài)特征點(diǎn)，保證相機(jī)的定位和構(gòu)圖不受動(dòng)態(tài)場(chǎng)景中的運(yùn)動(dòng)物體的影響。 算法流程如圖1 所示。

圖1 基于圖像掩模技術(shù)的雙目SLAM 算法

2 基于圖像掩模技術(shù)的雙目SLAM算法

2.1 運(yùn)動(dòng)物體檢測(cè)

式中:σ0，σ1分別為前景和背景的像素?cái)?shù)目在整個(gè)圖像像素?cái)?shù)目中的占比；ω0，ω1分別為前景和背景的平均視差值；h 的最大值為分割閾值。 前景和背景分割如2(b)。 將錯(cuò)誤分類(lèi)的靜態(tài)點(diǎn)剔除后，得到動(dòng)態(tài)特征點(diǎn)檢測(cè)結(jié)果，使用白色點(diǎn)標(biāo)出，如圖2(c)。并將動(dòng)態(tài)特征點(diǎn)所在區(qū)域視為運(yùn)動(dòng)物體區(qū)域，這里將運(yùn)動(dòng)物體區(qū)域作為圖像掩模。

圖2 運(yùn)動(dòng)物體檢測(cè)

2.2 動(dòng)態(tài)區(qū)域掩模分割

運(yùn)用圖像分割方法(simple linear iterative clustering，SLIC)[15]和SPS(slanted plane smoothing)[16]算法，對(duì)場(chǎng)景區(qū)域進(jìn)行分割，目的是為了獲得前景所有動(dòng)態(tài)掩模區(qū)域。 對(duì)于視差圖初始值的計(jì)算，利用SGBM(semi-global matching)算法可以得到更快速計(jì)算的方案，時(shí)長(zhǎng)可以從2 s/frame 提升到80 ms/frame，滿(mǎn)足實(shí)時(shí)的計(jì)算要求。

輸入雙目圖像。 利用超像素分割算法對(duì)圖像初始分割，如圖3(a)。 為了彌補(bǔ)RGB 圖像色彩分布不均的情況，將RGB 轉(zhuǎn)為L(zhǎng)ab 色彩空間圖像。 每個(gè)像素i，利用其顏色(Li，ai，bi)和坐標(biāo)(xi，yi)得到一個(gè)5 維向量(Li，ai，bi，xi，yi)，每?jī)蓚€(gè)像素的相似性可由它們的向量距離來(lái)度量，距離越大，相似性越小。 該算法首先初始化種子點(diǎn)，然后每個(gè)種子點(diǎn)的周?chē)臻g里搜索距離該種子點(diǎn)最近的若干像素，將它們歸為與該種子點(diǎn)一類(lèi)，通過(guò)多次迭代直到所有像素點(diǎn)都?xì)w類(lèi)完畢。 如圖3(a)分割結(jié)果，其中圖像的分割邊界對(duì)物體輪廓的描述較好。

圖3 場(chǎng)景區(qū)域的超像素分割

以總代價(jià)函數(shù)作為目標(biāo)函數(shù)，采用塊坐標(biāo)下降算法優(yōu)化該目標(biāo)函數(shù)求解最小值，經(jīng)迭代最終給出每個(gè)超像素塊對(duì)應(yīng)的斜面視差模型和邊界類(lèi)型，邊界類(lèi)型有相互遮擋型、共面型以及鉸鏈型，共3 種類(lèi)型。 建立總代價(jià)函數(shù)，如下:

①當(dāng)前像素的顏色與分割塊中的平均顏色越接近，則其代價(jià)值Ccolor越小，其計(jì)算公式為:

式中:?l為當(dāng)前像素p在當(dāng)前分割塊l上的斜面參數(shù)，?i＝(Ai，Bi，Ci)，fp為當(dāng)前像素p的局外點(diǎn)所在的位置，如果符合當(dāng)前分割塊的斜面參數(shù)，則fp＝0；如果不符合則fp＝1，視差代價(jià)為λd。

④相鄰間的分割塊lp與lq像素點(diǎn)的數(shù)量越少則邊界長(zhǎng)度代價(jià)Cbou越小，其計(jì)算公式:

如果兩個(gè)分割塊li和lj邊界為共面或鉸鏈型，則邊界上像素p的視差值可以近似由斜面參數(shù)?i和?j得出相鄰的兩個(gè)分割塊li和lj的視差值；如果兩個(gè)分割塊li和lj邊界為遮擋型，其遮擋塊的視差值大于被遮擋塊的視差值，這里γpen＝0。

場(chǎng)景分割優(yōu)化結(jié)果如圖3(b)所示，圖中標(biāo)的分割線(xiàn)為場(chǎng)景分割后的遮擋邊界，可以看出場(chǎng)景中主要區(qū)域輪廓都能得到正確分割。

基于上述成果，接下來(lái)圖像進(jìn)行動(dòng)態(tài)區(qū)域掩模分割，本文利用種子點(diǎn)生長(zhǎng)的方法，把運(yùn)動(dòng)物體的特征點(diǎn)與區(qū)域輪廓進(jìn)行關(guān)聯(lián)，用矩形框標(biāo)記出運(yùn)動(dòng)物體所在的區(qū)域，該關(guān)聯(lián)算法如算法1 所示。

算法1 Rectangular box of dynamic region selection

算法將場(chǎng)景動(dòng)態(tài)區(qū)域掩模與區(qū)域中的動(dòng)態(tài)特征點(diǎn)進(jìn)行對(duì)應(yīng)實(shí)現(xiàn)關(guān)聯(lián)，結(jié)果如圖4(a)所示，其中圓點(diǎn)和三角點(diǎn)是動(dòng)態(tài)特征點(diǎn)和生長(zhǎng)交點(diǎn)，分割線(xiàn)為場(chǎng)景分割后的遮擋邊界。 本文通過(guò)動(dòng)態(tài)特征點(diǎn)和生長(zhǎng)交點(diǎn)來(lái)擬合最小多邊形，給出最小包圍矩形框，進(jìn)而得到場(chǎng)景區(qū)域中動(dòng)態(tài)區(qū)域掩模分割結(jié)果，如圖4(b)所示，白色框?yàn)閯?dòng)態(tài)區(qū)域掩模。

圖4 動(dòng)態(tài)區(qū)域掩模分割

2.3 基于圖像掩模剔除動(dòng)態(tài)區(qū)域

提升動(dòng)態(tài)場(chǎng)景中雙目SLAM 算法定位和構(gòu)圖的精度，本文在ORB-SLAM 算法中引入場(chǎng)景中動(dòng)態(tài)區(qū)域掩模分割和剔除動(dòng)態(tài)區(qū)域的功能，從而降低場(chǎng)景中運(yùn)動(dòng)物體對(duì)算法精度的影響。

ORB-SLAM 算法主要使用跟蹤、地圖構(gòu)建、閉環(huán)檢測(cè)三個(gè)線(xiàn)程[17－18]。 ORB-SLAM 算法將ORB 特征點(diǎn)輸入，利用光束平差法剔除誤差較大的特征點(diǎn)，從而減少場(chǎng)景中較遠(yuǎn)的運(yùn)動(dòng)物體的影響，但此方法對(duì)離相機(jī)較近的運(yùn)動(dòng)物體，其動(dòng)態(tài)特征點(diǎn)較多對(duì)相機(jī)位姿的估計(jì)精度會(huì)大大降低。 因此，本文在跟蹤線(xiàn)程中，為每一幀場(chǎng)景圖像都建立圖像掩模，那么ORB-SLAM 在輸入關(guān)鍵幀時(shí)也將與其對(duì)應(yīng)的圖像掩模保存下來(lái)，運(yùn)用這些關(guān)鍵幀形成點(diǎn)云地圖時(shí)，便可以利用圖像掩模將動(dòng)態(tài)區(qū)域剔除，從而繪制出靜態(tài)背景環(huán)境，最后利用靜態(tài)特征點(diǎn)進(jìn)行場(chǎng)景定位和構(gòu)圖，該操作大大降低了運(yùn)動(dòng)物體對(duì)雙目視覺(jué)SLAM系統(tǒng)的影響。

3 實(shí)驗(yàn)結(jié)果與分析

通過(guò)實(shí)驗(yàn)來(lái)驗(yàn)證本文提出算法的定位和構(gòu)圖的精準(zhǔn)度。 采用室外雙目相機(jī)和pioneer 移動(dòng)機(jī)器人小車(chē)一體化實(shí)驗(yàn)平臺(tái)在某小區(qū)獲取實(shí)拍數(shù)據(jù)。 采用計(jì)算機(jī)硬件為惠普筆記本電腦(CPU 為Intel i7－4720HQ，主頻最高為2.6 GHz，內(nèi)存8G，Windows 系統(tǒng))對(duì)雙目實(shí)拍場(chǎng)景圖片進(jìn)行處理實(shí)現(xiàn)室外機(jī)器人移動(dòng)狀態(tài)下的動(dòng)態(tài)區(qū)域掩模分割，例如對(duì)行走的人、行駛的車(chē)或其他運(yùn)動(dòng)物體，算法能夠?qū)崟r(shí)用矩形框?qū)?chǎng)景區(qū)域中動(dòng)態(tài)區(qū)域掩模完整框選出。

3.1 室外場(chǎng)景中動(dòng)態(tài)區(qū)域掩模分割實(shí)驗(yàn)

圖5(a)為實(shí)拍室外場(chǎng)景中出現(xiàn)行走的人(左)和靜止的人(右)，圖5(b)為實(shí)拍室外場(chǎng)景中出現(xiàn)騎車(chē)的人。 采用本文算法對(duì)實(shí)拍室外場(chǎng)景圖5 進(jìn)行動(dòng)態(tài)區(qū)域掩模分割，算法檢測(cè)結(jié)果采用白色框標(biāo)出，黑色框?yàn)槭謩?dòng)標(biāo)出真實(shí)動(dòng)態(tài)區(qū)域。 從圖中可以得出本文提出的算法能夠準(zhǔn)確標(biāo)注出場(chǎng)景區(qū)域中的動(dòng)態(tài)區(qū)域掩模部分。

圖5 室外動(dòng)態(tài)場(chǎng)景的動(dòng)態(tài)區(qū)域掩模分割

3.2 動(dòng)態(tài)場(chǎng)景下改進(jìn)的雙目視覺(jué)SLAM 算法實(shí)驗(yàn)

本文設(shè)計(jì)3 個(gè)實(shí)驗(yàn)將雙目相機(jī)的場(chǎng)景定位和構(gòu)圖的實(shí)驗(yàn)結(jié)果看作改進(jìn)SLAM 算法精度提升的檢驗(yàn)標(biāo)準(zhǔn)。 實(shí)驗(yàn)一設(shè)計(jì)雙目機(jī)器人處于靜止?fàn)顟B(tài)，雙目相機(jī)視野中存在運(yùn)動(dòng)物體(行人)。 實(shí)驗(yàn)二設(shè)計(jì)的方案是雙目機(jī)器人直線(xiàn)行走，視覺(jué)場(chǎng)景中始終有運(yùn)動(dòng)物體(行人)。 實(shí)驗(yàn)三設(shè)計(jì)的方案是雙目機(jī)器人行走軌跡是一個(gè)12 m×10 m 的矩形軌跡。 通過(guò)上述實(shí)驗(yàn)來(lái)驗(yàn)證本文提出的改進(jìn)SLAM 算法在動(dòng)態(tài)場(chǎng)景下的效果。

實(shí)驗(yàn)一設(shè)計(jì)的方案是行人在靜止的雙目機(jī)器人前方來(lái)回行走。 如圖6(a)所示，由于場(chǎng)景中動(dòng)態(tài)特征點(diǎn)導(dǎo)致相機(jī)定位軌跡出現(xiàn)漂移，場(chǎng)景構(gòu)建誤差大，跟蹤481 幀，平移RMSE 為0.128 7 m。 圖中場(chǎng)景構(gòu)建中黑色點(diǎn)為稀疏地圖，灰色點(diǎn)為雙目相機(jī)當(dāng)前位置，灰色曲線(xiàn)為漂移軌跡，場(chǎng)景構(gòu)建失真且存在動(dòng)態(tài)特征點(diǎn)。 如圖6(b)所示，通過(guò)本文算法采取動(dòng)態(tài)區(qū)域掩模分割和完全剔除動(dòng)態(tài)特征點(diǎn)，并利用環(huán)境中靜態(tài)特征點(diǎn)進(jìn)行定位，可以得到相對(duì)較準(zhǔn)確的定位結(jié)果，顯然圖中點(diǎn)云地圖與場(chǎng)景環(huán)境相符。

圖6 雙目相機(jī)靜止條件下的定位誤差對(duì)比圖

實(shí)驗(yàn)二設(shè)計(jì)的方案是雙目機(jī)器人直線(xiàn)行走，視覺(jué)場(chǎng)景中有持續(xù)運(yùn)動(dòng)物體(行人)。 圖7(a)為相機(jī)在動(dòng)態(tài)場(chǎng)景下分別采用ORB-SLAM 算法和本文算法進(jìn)行直線(xiàn)運(yùn)動(dòng)軌跡的定位結(jié)果，圖中給出的真實(shí)數(shù)據(jù)是以導(dǎo)航系統(tǒng)RTK(real-time kinematic)信號(hào)輸出的定位結(jié)果并作為參考數(shù)據(jù)；圖中ORB-SLAM 算法定位的結(jié)果，從圖7(b)中重建出的點(diǎn)云地圖出現(xiàn)較多雜點(diǎn)，相機(jī)定位產(chǎn)生嚴(yán)重漂移，該算法受到運(yùn)動(dòng)物體的影響較大；圖中本文算法定位軌跡，其定位軌跡漂移現(xiàn)象大幅度減少，圖7(c)中地圖重建雜點(diǎn)較少，點(diǎn)云地圖創(chuàng)建較準(zhǔn)確。 兩種算法直線(xiàn)定位軌跡絕對(duì)誤差如表1 所示。

圖7 室外機(jī)器人在實(shí)驗(yàn)1 中定位結(jié)果

表1 直線(xiàn)定位軌跡的絕對(duì)誤差

從實(shí)驗(yàn)一中，本文算法在動(dòng)態(tài)場(chǎng)景中的定位精度能夠提高76.1%，該值的計(jì)算公式如下:

式中:κ為定位精度提高值，τ和m分別為ORBSLAM 算法和本文算法在實(shí)驗(yàn)一中的定位誤差。

實(shí)驗(yàn)三設(shè)計(jì)的方案是雙目機(jī)器人行走軌跡為12 m×12 m 的矩形軌跡，視覺(jué)場(chǎng)景中有持續(xù)運(yùn)動(dòng)的多目標(biāo)(行人)。 根據(jù)本文提出的算法需要將動(dòng)態(tài)場(chǎng)景中的動(dòng)態(tài)區(qū)域掩模分割，然后剔除ORB 特征點(diǎn)，如圖8 所示。

圖8 實(shí)驗(yàn)二動(dòng)態(tài)區(qū)域處理結(jié)果

為了更好的驗(yàn)證本文算法的可靠性，實(shí)驗(yàn)對(duì)動(dòng)態(tài)場(chǎng)景下雙目機(jī)器人行走定位軌跡進(jìn)行5 次重復(fù)測(cè)量，如圖9 所示。 圖中“Δ”為軌跡真實(shí)數(shù)據(jù)，黑色粗線(xiàn)(本文算法)定位軌跡相比黑色細(xì)線(xiàn)(ORB-SLAM算法)的定位軌跡誤差小，定位更準(zhǔn)確。

圖9 本文算法與ORB-SLAM 算法的重復(fù)5 次實(shí)驗(yàn)定位軌跡對(duì)比

3.3 改進(jìn)SLAM 算法的時(shí)間分析

利用本文提出的改進(jìn)SLAM 算法對(duì)雙目機(jī)器人在動(dòng)態(tài)場(chǎng)景下采集的前后幀圖像的處理時(shí)間進(jìn)行測(cè)試。 測(cè)試步驟包括:①動(dòng)態(tài)特征點(diǎn)檢測(cè)；②場(chǎng)景區(qū)域分割；③動(dòng)態(tài)區(qū)域掩模分割。 算法運(yùn)行時(shí)間測(cè)試結(jié)果如表2 所示，總體平均下來(lái)耗費(fèi)時(shí)間為85.2ms，該算法在跟蹤線(xiàn)程上處理速度可達(dá)4.7 frame/s。

表2 改進(jìn)SLAM 算法圖像處理時(shí)間測(cè)試結(jié)果

4 結(jié)論

本文提出了基于圖像掩模技術(shù)的雙目SLAM 算法能夠提高室外定位和構(gòu)圖精度。 該方法以前后幀的特征點(diǎn)到極線(xiàn)的距離與閾值之間關(guān)系作為動(dòng)態(tài)特征點(diǎn)的判斷依據(jù)，從而在圖像中得出動(dòng)態(tài)特征點(diǎn)，再者利用圖像分割法和SPS 算法對(duì)場(chǎng)景區(qū)域進(jìn)行分割，融合上述圖像處理成果，通過(guò)計(jì)算在圖像中準(zhǔn)確標(biāo)出動(dòng)態(tài)區(qū)域掩模分割框，再利用圖像掩模剔除圖像中動(dòng)態(tài)特征點(diǎn)，利用得到的靜態(tài)環(huán)境來(lái)獲得場(chǎng)景定位及構(gòu)圖結(jié)果。 通過(guò)對(duì)改進(jìn)算法的實(shí)驗(yàn)測(cè)試結(jié)果得出，在雙目相機(jī)按照設(shè)定軌跡移動(dòng)的情況下，在動(dòng)態(tài)場(chǎng)景中的定位精度提高76.1%，構(gòu)圖精度顯著提高，改進(jìn)SLAM 算法圖像處理整體耗費(fèi)時(shí)長(zhǎng)符合實(shí)時(shí)性要求。 因此，本文提出的改進(jìn)SLAM 算法在動(dòng)態(tài)場(chǎng)景下是有效的。