楊海清, 曾俊飛

(浙江工業(yè)大學(xué) 信息工程學(xué)院, 浙江 杭州 310000)

0 引 言

同時(shí)定位與地圖構(gòu)建(simultaneous localization and mapping,SLAM)指搭載特定傳感器的主體，在沒有先驗(yàn)環(huán)境信息條件下，通過自身運(yùn)動(dòng)的過程來建立所處環(huán)境的空間模型，同時(shí)估計(jì)自身的運(yùn)動(dòng)軌跡。當(dāng)傳感器為相機(jī)時(shí)，稱之為“視覺SLAM”。根據(jù)使用視覺傳感器的數(shù)量和類型的不同，視覺 SLAM 系統(tǒng)主要可分為3 類:單目視覺SLAM、多目視覺SLAM和RGB-D SLAM[1]。

重建稠密地圖是視覺SLAM的兩大目標(biāo)之一，使用RGB-D相機(jī)進(jìn)行地圖重建是目前的主流方法[2]，但是RGB-D相機(jī)存在測(cè)量范圍窄、噪聲大、視野小、易受日光干擾等諸多問題，主要適用于室內(nèi)環(huán)境。而雙目相機(jī)的配置與標(biāo)定較為復(fù)雜，其深度量程和精度受雙目相機(jī)的基線與分辨率所限。對(duì)此，本研究選用單目相機(jī)傳感器，其結(jié)構(gòu)簡(jiǎn)單，成本較低，環(huán)境適應(yīng)性較強(qiáng)，且抗干擾能力顯著。當(dāng)單目相機(jī)移動(dòng)時(shí)圖像會(huì)形成視差，利用視差可獲取像素的深度信息[3]。因此，SLAM系統(tǒng)使用了一種既節(jié)省計(jì)算量還可使估計(jì)的地圖點(diǎn)更為準(zhǔn)確的方法——深度濾波，通過深度濾波可計(jì)算出真實(shí)地圖點(diǎn)最有可能存在的坐標(biāo)位置[4]。

無論哪種工業(yè)機(jī)器人，想要完成準(zhǔn)確跟蹤定位、精確導(dǎo)航、實(shí)時(shí)避障和完美還原三維場(chǎng)景的任務(wù)，都需有高精度的稠密地圖[5]。但是，由于單目相機(jī)圖像像素可能出現(xiàn)誤匹配，且傳感器噪聲和環(huán)境噪聲時(shí)刻存在，總是會(huì)形成一些誤差極大甚至假的地圖點(diǎn)，導(dǎo)致稠密地圖重建準(zhǔn)確率不高。因此，為提高單目相機(jī)恢復(fù)原始場(chǎng)景的能力，本文提出了一種基于深度濾波器優(yōu)化的稠密重建算法，旨在獲取重建準(zhǔn)確率更高、表面更加細(xì)膩的三維稠密地圖。

1 地圖重建系統(tǒng)的總體框架

系統(tǒng)的框架主要由三大部分組成，包括：關(guān)鍵幀選取與匹配像素點(diǎn)對(duì)、深度濾波技術(shù)和稠密建圖。具體模塊如圖1所示。

圖1 地圖重建系統(tǒng)總體框架

首先，系統(tǒng)對(duì)關(guān)鍵幀數(shù)據(jù)進(jìn)行極線搜索，采用像素塊匹配策略來提高匹配準(zhǔn)確率；其次，利用三角化測(cè)量獲取像素的深度數(shù)據(jù)，使用濾波器技術(shù)對(duì)深度數(shù)據(jù)進(jìn)行跟蹤并融合，實(shí)現(xiàn)高效的場(chǎng)景重建；最后，本文綜合考慮因光照、遮擋、運(yùn)動(dòng)模糊等原因引起的深度值錯(cuò)誤估計(jì)，顯式處理外點(diǎn)，采用優(yōu)化后的算法對(duì)每一像素點(diǎn)的深度估計(jì)值進(jìn)行監(jiān)控，及時(shí)剔除異常深度值，對(duì)深度圖中相鄰像素深度變化過大的情況進(jìn)一步判斷與處理，保證稠密地圖的重建準(zhǔn)確性。

2 基于深度濾波技術(shù)的稠密重建

2.1 稠密地圖前端預(yù)處理

重建稠密地圖，需估計(jì)每一個(gè)像素點(diǎn)的深度值，如若利用地圖中每個(gè)像素點(diǎn)的描述子進(jìn)行匹配，會(huì)在前端階段占用大量的工作時(shí)間，這在實(shí)時(shí)性要求較高的SLAM系統(tǒng)里是不允許的。因此，采用極線搜索[6]和塊匹配技術(shù)[7]來確定第一幅圖像中像素在其他關(guān)鍵幀的位置，如圖2所示。

圖2 極線搜索示意

左邊相機(jī)O1觀測(cè)到參考幀IR存在像素點(diǎn)PR，假設(shè)其深度存在的范圍區(qū)域是最小值dmin到無窮大，即該像素點(diǎn)到對(duì)應(yīng)空間點(diǎn)的距離為圖2中的d射線。d射線的投影在當(dāng)前幀IC上形成一條線，為極線l1，在極線上比較每個(gè)像素與PR的相似程度。

本研究采用比較像素塊的方法，以提高像素匹配的區(qū)分性。先在PR周圍選取一個(gè)w×w大小矩形窗口W1，再在極線l1上取多個(gè)同樣大小的矩陣塊進(jìn)行比較，把PR周圍的矩形窗口記為W1∈Rw×w，極線l1上的n個(gè)小塊記為Wi∈Rw×w(i=1,2,…,n)。計(jì)算矩形窗口W1與Wi的相似性，采用去均值的NCC方法[8]，即

S(W1,Wi)=

(1)

式(1)的結(jié)果接近于0時(shí)表示兩個(gè)矩陣塊不相似，接近于1則代表相似。

此外，利用仿射矩陣獲取到更佳的像素匹配結(jié)果[9]，并由像素匹配點(diǎn)對(duì)估計(jì)出當(dāng)前幀像素深度值，定義為

dRPR=dCRPC+t

(2)

式中R為旋轉(zhuǎn)矩陣，t為平移向量。式(2)兩端同時(shí)左乘PR的反對(duì)稱矩陣M可求得當(dāng)前幀像素深度dC。

2.2 基于均勻—高斯濾波的稠密重建算法

前端預(yù)處理階段提供深度初值，后端濾波器負(fù)責(zé)對(duì)這些數(shù)據(jù)進(jìn)行深度融合。均勻—高斯濾波算法[10]采用高斯濾波[11]跟均勻?yàn)V波相結(jié)合的方法，對(duì)同一空間點(diǎn)投射在不同關(guān)鍵幀的像素點(diǎn)深度值進(jìn)行概率統(tǒng)計(jì)分析，不斷融合更新深度圖。如圖3所示。

圖3 深度圖融合更新過程

圖3中，Zk-1是k-1時(shí)刻狀態(tài)的深度值，dk是k時(shí)刻的深度估計(jì)值。以此類推，可以獲取k+n時(shí)刻狀態(tài)的深度值。均勻—高斯濾波器算法模型如下

(1-p)u(μobs|μmin,μmax)

(3)

記均勻分布中上一個(gè)狀態(tài)的參數(shù)為aest,best，由新的觀測(cè)數(shù)據(jù)計(jì)算得到的參數(shù)為a,b。經(jīng)過融合更新后的深度值和方差為μupdate,σupdate,均勻分布的參數(shù)變?yōu)閍update和bupdate。深度融合過程如下

(4)

計(jì)算權(quán)重系數(shù)C1，C2

(5)

計(jì)算U1，U2來更新均勻分布的系數(shù)a，b

(6)

進(jìn)而，深度融合后的均勻分布系數(shù)分別為

(7)

融合后像素點(diǎn)的深度值為

μupdate=C′1*m+C′2*μest

(8)

融合后深度值的方差為

(9)

隨著深度的融合，像素深度值方差逐漸收斂，當(dāng)方差保持收斂不變時(shí)，則停止對(duì)該像素點(diǎn)更新融合，并將深度值記錄為真實(shí)值。反之，如果深度值的方差經(jīng)過若干次融合后反而變大，則判斷該像素點(diǎn)為外點(diǎn)，將其剔除，并停止更新融合。當(dāng)所有像素點(diǎn)停止融合時(shí)，算法完成場(chǎng)景的稠密重建工作。

3 基于簇的均勻—高斯濾波算法改進(jìn)

均勻—高斯濾波算法對(duì)圖像各像素點(diǎn)獨(dú)立計(jì)算深度值，由于像素匹配多義性、噪聲等問題的存在，造成相鄰像素深度相差過大，算法在遇到弱紋理、傾斜表面等區(qū)域時(shí)，場(chǎng)景的重建完整性仍存在問題。本文算法對(duì)均勻—高斯濾波算法進(jìn)行改進(jìn)，在正確處理外點(diǎn)的基礎(chǔ)上，構(gòu)建了用于深度值優(yōu)化的聚簇分類，簇結(jié)構(gòu)可表征場(chǎng)景的空間平面幾何關(guān)系，在簇內(nèi)進(jìn)行深度值優(yōu)化可更好重現(xiàn)場(chǎng)景的三維結(jié)構(gòu)。

3.1 簇類劃分

均勻—高斯算法實(shí)時(shí)更新深度圖，使用簇類劃分對(duì)每個(gè)時(shí)刻更新的深度圖進(jìn)行跟蹤，將具有相似特性的區(qū)域劃分為同一個(gè)簇，在簇內(nèi)對(duì)深度值進(jìn)行優(yōu)化處理?；诖氐纳疃雀铝鞒倘鐖D4所示。

圖4 基于簇的深度更新流程

將深度圖均分為400個(gè)區(qū)域，區(qū)域中心像素作為初始種子點(diǎn)，篩選種子點(diǎn)的條件為

λσi<σ

(10)

式中σ為所有像素的深度方差，σi為第i區(qū)域內(nèi)像素的深度方差，λ為自適應(yīng)閾值，由σ的大小情況而決定。

將篩選后的種子點(diǎn)深度值作為初始均值向量μ={μ1,μ2,…,μi,…,μN(yùn)}其中N為篩選后的種子總個(gè)數(shù)。根據(jù)劃分規(guī)則將像素xi劃入相應(yīng)的簇C={C1,C2,…,Ci,…,CN}，簇類劃分規(guī)則定義為

(11)

式中μi為第i個(gè)簇的深度均值，xμ為第i個(gè)簇中心像素的位置，di為第i個(gè)像素的深度值，xi為對(duì)應(yīng)的像素位置。T1為像素距離閾值，T2為深度閾值。將滿足式(11)的像素落入相應(yīng)的簇，未落入任何簇的像素標(biāo)記為外點(diǎn)，并剔除外點(diǎn)此次狀態(tài)深度值。

所有像素劃分完成后重新計(jì)算簇的深度均值，定義為

(12)

式中d為像素深度，|Ci|為簇Ci內(nèi)像素總個(gè)數(shù)。更新當(dāng)前均值向量和簇的中心像素位置后，重復(fù)執(zhí)行上述過程，直至所有簇更新很小甚至不再更新或者達(dá)到最大迭代次數(shù)，則終止迭代，進(jìn)而得到簇劃分。

3.2 簇內(nèi)優(yōu)化

簇內(nèi)優(yōu)化算法如下：

2)若選取的圓上有連續(xù)12個(gè)像素點(diǎn)深度大于du+T3或者小于du-T3(實(shí)驗(yàn)中閾值T3設(shè)置為du的10 %)，則以該像素點(diǎn)為圓心，選取半徑為1個(gè)像素大小的圓上的8個(gè)像素點(diǎn)；

3)將圓上的8個(gè)像素點(diǎn)深度均值作為像素點(diǎn)u的深度值，若像素點(diǎn)u為邊緣像素或者圓內(nèi)包含其他簇的像素時(shí)，則對(duì)像素點(diǎn)u的深度值不進(jìn)行處理；

4)循環(huán)執(zhí)行以上三步，對(duì)圖像中每一個(gè)像素執(zhí)行相同的操作。

深度校準(zhǔn)示意圖如圖5所示。

圖5 深度校準(zhǔn)示意

故此，采用改進(jìn)的均勻—高斯濾波算法觀測(cè)每一時(shí)刻的深度圖，為后續(xù)的深度融合提供精確的深度值，極大避免了像素匹配錯(cuò)誤、深度值估計(jì)錯(cuò)誤所帶來的誤差，使得重建的稠密地圖更加平滑細(xì)致。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文算法的有效性和可行性，實(shí)驗(yàn)中使用了公共圖像幀數(shù)據(jù)集進(jìn)行測(cè)試。測(cè)試數(shù)據(jù)集包含Remode數(shù)據(jù)集、Valbonne數(shù)據(jù)集和Wadham數(shù)據(jù)集[12]，三個(gè)公共數(shù)據(jù)集的真實(shí)場(chǎng)景圖像如圖6所示。實(shí)驗(yàn)環(huán)境為：Intel 八核計(jì)算機(jī)，8 GB內(nèi)存，Windows 64操作系統(tǒng)；算法在Ubuntu14.04系統(tǒng)[13]中進(jìn)行實(shí)現(xiàn)，采用了C++語言和Opencv庫[14]。

圖6 公共數(shù)據(jù)集原圖

本文分別采用高斯濾波器、均勻—高斯濾波器和改進(jìn)型高斯濾波器三種深度濾波算法對(duì)測(cè)試數(shù)據(jù)集進(jìn)行試驗(yàn)來獲取評(píng)測(cè)數(shù)據(jù)，評(píng)測(cè)指標(biāo)包括地圖的重建情況和重建準(zhǔn)確率。實(shí)驗(yàn)結(jié)果如圖7所示。

圖7 稠密重建地圖

Valbonne數(shù)據(jù)集背景為天空，深度距離較遠(yuǎn)，Wadham數(shù)據(jù)集建筑物包含大量細(xì)節(jié)，各細(xì)節(jié)深度相差較小，這些圖像特點(diǎn)都會(huì)對(duì)深度估計(jì)造成影響。由圖7(a)可知，高斯濾波器對(duì)三個(gè)數(shù)據(jù)集的深度估計(jì)大致正確，但也存在較多的錯(cuò)誤估計(jì)，其表現(xiàn)為地圖中很多像素點(diǎn)與周圍像素點(diǎn)深度不一致，而位于邊緣區(qū)域的深度也沒有得到正確估計(jì)。均勻—高斯濾波器將內(nèi)點(diǎn)和外點(diǎn)進(jìn)行區(qū)別處理，正確處理錯(cuò)誤匹配的像素點(diǎn)，圖7(b)的三張地圖相比圖7(a)更為平滑，但在物體與天空的邊緣區(qū)域仍存在較多地錯(cuò)誤估計(jì)。從圖7(c)中可以明顯看出，改進(jìn)型算法對(duì)三個(gè)數(shù)據(jù)集的物體邊緣區(qū)域進(jìn)行正確處理，剔除錯(cuò)誤估計(jì)的深度數(shù)據(jù)后，重建的稠密地圖比其他兩種濾波算法重建的地圖更加符合實(shí)際的三維場(chǎng)景。

將重建的稠密地圖與原圖進(jìn)行比對(duì)，獲取重建后的有效特征匹配對(duì)。各測(cè)試數(shù)據(jù)集在各算法上的平均有效特征匹配對(duì)如表1和圖8所示。圖8中的1,2,3分別表示基于改進(jìn)型均勻—高斯濾波器、均勻—高斯濾波器以及高斯濾波器的特征匹配對(duì)數(shù)量。

圖8 改進(jìn)型均勻—高斯算法重建的稠密地圖有效特征點(diǎn)相對(duì)于其他算法的增長(zhǎng)比例

由表1數(shù)據(jù)和圖8可知，改進(jìn)型均勻—高斯算法重建的稠密地圖有效特征點(diǎn)大幅增加，稠密度增高，原算法中存在空洞的區(qū)域在算法改進(jìn)后空洞變小。

表1 不同算法的特征匹配對(duì)數(shù)量對(duì)比

為了進(jìn)一步衡量本文算法的有效性，需定量比較三種濾波算法的重建準(zhǔn)確率[15]。記重建準(zhǔn)確率為R，參考幀及其相鄰的K-1個(gè)關(guān)鍵幀為Ci(i=1,2,…,k)，關(guān)鍵幀的全部像素點(diǎn)集合為P，關(guān)鍵幀中某一像素點(diǎn)u(u∈P)對(duì)應(yīng)的實(shí)際深度值記為Z(u,Ci),由濾波器估計(jì)得到的深度值記為Zest(u,Ci)。當(dāng)像素點(diǎn)u在N個(gè)相鄰關(guān)鍵幀中都符合這個(gè)條件，則認(rèn)為像素點(diǎn)u的深度值估計(jì)成功。故準(zhǔn)確率R可定義為

(13)

式中 函數(shù)f在括號(hào)內(nèi)條件為真時(shí)為1，反之為0，μ為深度值差異閾值，實(shí)驗(yàn)中N設(shè)置為6。重建準(zhǔn)確率對(duì)比情況如表2所示。

表2 稠密重建準(zhǔn)確率比較

從表2可以看出，本文提出的改進(jìn)型均勻—高斯濾波器算法在三個(gè)測(cè)試數(shù)據(jù)集上的稠密地圖重建準(zhǔn)確率分別為0.836 2，0.803 4和0.843 7，各個(gè)數(shù)據(jù)集的重建準(zhǔn)確率相比于高斯濾波和均勻—高斯濾波這兩種深度濾波方式分別提高了約30 %和10 %。顯然，改進(jìn)型算法無論是在室內(nèi)場(chǎng)景還是在復(fù)雜環(huán)境的室外場(chǎng)景，都表現(xiàn)出較強(qiáng)的深度濾波能力，說明該算法在單目稠密重建地圖方面有著較顯著的有效性和較高的準(zhǔn)確性。

5 結(jié)束語

稠密建圖是視覺SLAM的主流建圖方式之一，其廣泛應(yīng)用于各項(xiàng)工業(yè)任務(wù)中。針對(duì)高斯濾波算法重建稠密地圖存在像素點(diǎn)誤匹配、重建準(zhǔn)確率不高的問題，本文提出了一種基于簇的均勻—高斯深度濾波算法，將深度估計(jì)值從一個(gè)非常不確定的值逐漸逼近到一個(gè)穩(wěn)定值，重建出更加準(zhǔn)確的三維稠密地圖。實(shí)驗(yàn)結(jié)果表明，本文算法在不同環(huán)境下的數(shù)據(jù)集中都表現(xiàn)出較強(qiáng)的適應(yīng)性，能較好地處理弱紋理區(qū)域、光照遮擋區(qū)域和弧面區(qū)域中存在的深度錯(cuò)誤估計(jì)問題，并實(shí)時(shí)剔除外點(diǎn)數(shù)據(jù)，優(yōu)化簇內(nèi)深度值數(shù)據(jù)，在三個(gè)數(shù)據(jù)集上的重建準(zhǔn)確率都高于高斯濾波算法和均勻—高斯濾波算法，重建的稠密地圖也比其他兩種算法更加準(zhǔn)確、細(xì)致。在下一步工作中，將根據(jù)圖像顏色分布情況和幀間變換信息，進(jìn)一步改進(jìn)復(fù)雜環(huán)境的深度估計(jì)，構(gòu)建更加完善的稠密地圖。