趙黎明,陳　寧

(集美大學(xué)機(jī)械與能源工程學(xué)院，福建 廈門 361021)

?

一種改進(jìn)SIFT算法的單目視覺里程計(jì)

趙黎明,陳寧

(集美大學(xué)機(jī)械與能源工程學(xué)院，福建 廈門 361021)

[摘要]針對如何準(zhǔn)確獲取位姿信息來實(shí)現(xiàn)移動(dòng)機(jī)器人的避障問題，提出一種改進(jìn)SIFT特征點(diǎn)匹配的單目車載視覺里程計(jì)算法.首先，為了提高特征點(diǎn)匹配的正確率和實(shí)時(shí)性，結(jié)合主成分分析法和平面極線幾何約束，改進(jìn)了傳統(tǒng)SIFI匹配算法，其次，建立合理的移動(dòng)機(jī)器人運(yùn)動(dòng)數(shù)學(xué)模型，得到連續(xù)幀間圖像信息和移動(dòng)機(jī)器人運(yùn)動(dòng)位姿變化的轉(zhuǎn)換關(guān)系.試驗(yàn)結(jié)果表明，誤差僅為1.6%，算法運(yùn)行時(shí)間縮短0.022 s.

[關(guān)鍵詞]視覺里程計(jì)；改進(jìn)SIFT；平面極線幾何約束

0引言

視覺里程計(jì)(VO)是僅利用單個(gè)或多個(gè)相機(jī)的輸入信息估計(jì)智能機(jī)器人的運(yùn)動(dòng)信息的過程[1].相比傳統(tǒng)的里程計(jì)，視覺里程計(jì)不會(huì)存在編碼器讀數(shù)不準(zhǔn)、傳感器精度降低或慣導(dǎo)漂移等因素引起的數(shù)據(jù)誤差.

視覺里程計(jì)根據(jù)研究方法不同可分為基于特征跟蹤和基于光流兩種方法[2]，近年來，隨著具有尺度、旋轉(zhuǎn)等不變特性的圖像特征點(diǎn)匹配方面的研究不斷發(fā)展，使得基于特征點(diǎn)的視覺里程計(jì)方法成為當(dāng)前主流方法.文獻(xiàn)[3-4]采用了基于SIFT特征點(diǎn)匹配的VO算法，文獻(xiàn)[5-6]采用基于SURF特征點(diǎn)匹配的VO算法，SIFT尺度變換效果最好，但實(shí)時(shí)性最差，SURF速度最快，但尺度變換效果一般.

本文針對兩輪差速驅(qū)動(dòng)模型的車輛進(jìn)行分析，通過單目相機(jī)獲取平面道路信息，假設(shè)車輛在平坦的平面內(nèi)行駛，以解決單目相機(jī)缺少尺度因子問題，車輛的位姿可以用p=(x,y,θ)表示，相機(jī)安裝位于車體前軸中心，即相機(jī)的運(yùn)動(dòng)估計(jì)與車體運(yùn)動(dòng)估計(jì)完全一致.采用南加州大學(xué)的 Camera Calibration Toolbox for Matlab對相機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定，采用主成分分析法對SIFT描述子進(jìn)行改進(jìn)，結(jié)合平面極線幾何約束，提高改進(jìn)SIFT特征點(diǎn)匹配的正確率，通過坐標(biāo)變換得到車輛位姿變換.

1模型建立

1.1　坐標(biāo)系建立

圖像像素坐標(biāo)系{I}：固定在圖像上的以像素為單位的平面直角坐標(biāo)系，原點(diǎn)位于圖左上角，u，v為像素坐標(biāo)系橫、縱坐標(biāo)軸，平行于圖像物理坐標(biāo)系X、Y軸.

攝像機(jī)坐標(biāo)系{C}：以針孔相機(jī)模型的聚焦中心為原點(diǎn)，相機(jī)光軸為Zc軸建立的三維直角坐標(biāo)系，Xc，Yc與圖像物理坐標(biāo)系平行.

車體坐標(biāo)系{V}：車體坐標(biāo)系的原點(diǎn)位于地面，且位于相機(jī)坐標(biāo)系原點(diǎn)的正下方，Xv軸與車輛正前方一致，Zv軸垂直向下.

世界坐標(biāo)系{W}：作為空間點(diǎn)的參考坐標(biāo)系，選取具有任意性，在本文中，世界坐標(biāo)系與拍攝第一幀圖像時(shí)的車體坐標(biāo)系{V1}重合.

1.2　數(shù)學(xué)模型建立

圖1表示相機(jī)坐標(biāo)系與圖像坐標(biāo)系的關(guān)系.圖2指出相機(jī)固定在車體的位置關(guān)系以及車體坐標(biāo)系的建立.圖3指出相機(jī)坐標(biāo)系與車體坐標(biāo)系的位置關(guān)系.由相機(jī)坐標(biāo)系和車體坐標(biāo)系的位置關(guān)系得到相機(jī)外參數(shù)Rc和Tc，Tc=[0,0,-h0]T，h0是相機(jī)距離地面的高度.前后兩幀車體的運(yùn)動(dòng)估計(jì)與車體坐標(biāo)系的變化一致，因此問題轉(zhuǎn)化為求解前后兩幀車體坐標(biāo)系之間的變換關(guān)系.對此本文需要做如下假設(shè)：1)車輛保持在平坦的地面行駛;2)車輛行駛不會(huì)發(fā)生橫向漂移；3)第一幀時(shí)刻車體坐標(biāo)系{V1}與世界坐標(biāo)系{W}重合.

由假設(shè)1)可知車輛姿態(tài)可由p=(x,y,θ)表示，其中θ表示在{w}坐標(biāo)系中車輛與X軸的角度.圖4路面上匹配到的改進(jìn)SIFT特征點(diǎn)M分別在第k幀和第k-1幀圖像坐標(biāo)系{I}的坐標(biāo)值為(uk,vk)和(uk-1,vk-1)，根據(jù)相機(jī)針孔模型，求得M點(diǎn)在第k幀和第k-1幀車體坐標(biāo)系內(nèi)的坐標(biāo)值，至少匹配到兩個(gè)特征點(diǎn)，利用線性最小二乘法求得第k幀時(shí)刻車體坐標(biāo)系與第k-1幀時(shí)刻車體坐標(biāo)系的變換矩陣.其中，Δθ表示連續(xù)兩幀間車體坐標(biāo)系的角度變化.根據(jù)假設(shè)3)把車體坐標(biāo)系原點(diǎn)轉(zhuǎn)換到世界坐標(biāo)系中，即求得每一時(shí)刻車輛的位姿.

2改進(jìn)SIFT特征點(diǎn)匹配算法

視覺里程計(jì)的精度和實(shí)時(shí)性很大程度上依賴于特征點(diǎn)匹配的準(zhǔn)確度以及匹配速度.從Moravec的興趣點(diǎn)到harris角點(diǎn)，再從SIFT局部特征到SURF局部特征,越來越多的局部視覺特征正在被研究員提出并應(yīng)用于視覺里程計(jì).SIFT特征在旋轉(zhuǎn)、尺度、仿射和灰度方面具有很好的不變性，但實(shí)時(shí)性比較差.SURF特征匹配速度最好，但SURF特征在旋轉(zhuǎn)、尺度、仿射、灰度都要差于SIFT.本文對SIFT算法改進(jìn)以提高其匹配的正確率和實(shí)時(shí)性，圖5為改進(jìn)SIFT算法的流程圖.

圖5　改進(jìn)SIFT特征點(diǎn)匹配流程圖Fig.5　Flow chart of an improved SIFT algorithm

2.1　改進(jìn)SIFT描述子提取

在圖5中改進(jìn)SIFT算法的第三步，不用原先的4×4×8個(gè)描述子，而是在41×41的圖像塊上計(jì)算39×39×2個(gè)梯度導(dǎo)數(shù)，然后使用主成分分析技術(shù)將得到的3042維向量降到36維，改進(jìn)SIFT描述子將所有描述子中提取出更有區(qū)分度，更魯棒性的特征，從而大幅度提高匹配速率.

2.2　改進(jìn)SIFT特征點(diǎn)匹配

原始的SIFT特征點(diǎn)匹配，采用優(yōu)先K-d樹進(jìn)行優(yōu)先搜索來查找每個(gè)特征點(diǎn)的近似最近鄰特征點(diǎn).在這兩個(gè)特征點(diǎn)中，如果最近的距離除以次近鄰距離小于某個(gè)比例閾值，則接受這一對匹配點(diǎn).通過最近鄰匹配的閾值進(jìn)行判斷的SIFT匹配算法，通常存在較多錯(cuò)誤匹配點(diǎn)，因此還需進(jìn)行進(jìn)一步約束，以保障匹配的正確率.

平面極線幾何約束是指圖像平面與以基線為軸的平面束交的幾何，如圖6所示.令C、C′分別在第k-1幀和第k幀時(shí)刻攝像機(jī)的光心位置，C′在第k-1時(shí)刻像平面I上的投影為e，C在第k時(shí)刻像平面I′上的投影為e′，它們稱為極點(diǎn)，像平面I(I′)上通過極點(diǎn)e(e′)的直線稱為極線.

2.3　改進(jìn)SIFT特征點(diǎn)匹配試驗(yàn)分析

在車輛平移和轉(zhuǎn)彎時(shí)采集多組圖像進(jìn)行匹配分析，傳統(tǒng)SIFT匹配算法平均耗費(fèi)時(shí)間為0.035 s，改進(jìn)SIFT匹配算法耗費(fèi)時(shí)間為0.013 s.圖8a和圖8b分別在平移和轉(zhuǎn)彎時(shí)兩種算法的匹配正確率.圖9a—圖9d分別為傳統(tǒng)SIFT和改進(jìn)SIFT算法匹配的效果圖.

綜合上述分析可得到結(jié)論：改進(jìn)SIFT匹配算法比傳統(tǒng)的SIFT算法有更高正確匹配率和實(shí)時(shí)性.

3單目視覺里程計(jì)數(shù)學(xué)模型求解

單目視覺里程計(jì)是指系統(tǒng)通過單目攝像機(jī)獲取圖像序列，經(jīng)過特征提取、匹配和坐標(biāo)變換，恢復(fù)車輛的運(yùn)動(dòng)估計(jì)，圖10給出了單目視覺里程計(jì)的設(shè)計(jì)流程.

圖10　單目視覺里程計(jì)設(shè)計(jì)流程圖Fig.10　Flow chart of VO

根據(jù)第1部分所建立的數(shù)學(xué)模型，單目視覺里程計(jì)的求解即轉(zhuǎn)化為求解前后兩幀車體坐標(biāo)系之間的變換關(guān)系.采用南加州大學(xué)的CameraCalibrationToolboxforMatlab對固定在車體上的相機(jī)進(jìn)行線下標(biāo)定[7]，求得相機(jī)的內(nèi)部參數(shù)為A，外部參數(shù)為相機(jī)坐標(biāo)系和車體坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，由一個(gè)旋轉(zhuǎn)矩陣Rc和一個(gè)平移矩陣Tc表示.

相機(jī)的內(nèi)部參數(shù):

車體坐標(biāo)系內(nèi)任意一點(diǎn)M(xv,yv)在圖像上的成像位置(u,v)可以用針孔模型表示：

(1)

根據(jù)相機(jī)標(biāo)定結(jié)果，結(jié)合式(1)得到特征點(diǎn)在{V}中的坐標(biāo)：

(2)

特征點(diǎn)M在第k幀車體坐標(biāo)系和第k-1幀車體坐標(biāo)系之間的轉(zhuǎn)換關(guān)系為：

(3)

由式(3)分解得到如下方程組：

(4)

方程組(4)有四個(gè)未知數(shù)，只需要匹配到兩個(gè)特征點(diǎn)就能求解.當(dāng)匹配到的特征點(diǎn)多于兩個(gè)時(shí)，假如匹配到的特征點(diǎn)數(shù)為n，可以采用線性最小二乘法求解一組最優(yōu)解[cos(Δθ),sin(Δθ),Δtx,Δty]T，即為連續(xù)幀間車輛位姿變化.

4實(shí)驗(yàn)結(jié)果與分析

首先搭建基于單目視覺系統(tǒng)的智能車輛試驗(yàn)平臺(tái)，智能車組成部分由NISbRIO小車、控制器SbRIO-9631單板、超聲波傳感器、AXISM1013IPCamera、無線路由器DIR-617、移動(dòng)電源組成.IPCamera固定在NIsbRIO小車前沿，由無線路由器建立一個(gè)無線局域網(wǎng)，把小車和IPCamera通過網(wǎng)線與路由器連接，各個(gè)設(shè)備把IP設(shè)置在無線路由器的統(tǒng)一局域網(wǎng)內(nèi)，實(shí)現(xiàn)上位機(jī)PC、IPCamera和NIsbRIO小車之間的無線通信，圖像實(shí)時(shí)傳回PC機(jī)，由PC機(jī)做圖像處理，從而實(shí)時(shí)獲取小車的運(yùn)動(dòng)軌跡.其結(jié)構(gòu)如圖11所示.

由于車體比較小且速度在0-0.35m/s的低速狀態(tài)下運(yùn)行，因此相機(jī)采集速率設(shè)置為1Hz，試驗(yàn)小車在校園內(nèi)行駛117s，實(shí)際行駛距離和角度由車輪編碼器獲取的實(shí)時(shí)車速和角速度計(jì)算得到.最后將視覺里程計(jì)得到的小車運(yùn)動(dòng)軌跡圖與由車輪編碼器計(jì)算得到的小車運(yùn)動(dòng)軌跡進(jìn)行比較.小車行駛共計(jì)30.166 4m.視覺里程計(jì)算法計(jì)算共計(jì)29.686 5m,誤差約1.6%.結(jié)果如圖12所示.

5總結(jié)與展望

本文提出了一種精度和實(shí)時(shí)性都較好的車載單目視覺里程計(jì)算法.實(shí)驗(yàn)結(jié)果中的誤差原因有兩點(diǎn)，1)由于車體本身的側(cè)滑移導(dǎo)致；2)由于單目相機(jī)采用線下標(biāo)定，而車輛行駛過程中的振動(dòng)會(huì)導(dǎo)致相機(jī)外部參數(shù)發(fā)生改變.

未來車載視覺里程計(jì)算法的進(jìn)一步改進(jìn)，將會(huì)考慮采用相機(jī)自標(biāo)定技術(shù)，線上標(biāo)定技術(shù)更適合實(shí)時(shí)性要求較高的車載視覺里程計(jì).目前大部分視覺里程計(jì)的研究都是基于幾何方法，即根據(jù)標(biāo)定相機(jī)，通過跟蹤特征點(diǎn)恢復(fù)旋轉(zhuǎn)和平移.將機(jī)器學(xué)習(xí)的方法引入視覺里程計(jì)為今后發(fā)展的趨勢.

[參考文獻(xiàn)]

[1]蔡自興,賀漢根,陳虹.未知環(huán)境中移動(dòng)機(jī)器人導(dǎo)航控制研究的若干問題[J].控制與決策,2002,04:385-390.

[2]李宇波,朱效洲,盧惠民,等.視覺里程計(jì)技術(shù)綜述[J].計(jì)算機(jī)應(yīng)用研究,2012,08:2801-2805.

[3]SCARAMUZZAD,SIEGWARTR.Apperarance-guidedmonocularomnidirectionalvisualodometryforoutdoorgroundvehicles[J].IEEETransonRobotics,2008,24(5):1015-1026.

[4]SCARAMUZZAD,FRAUNDORFERF,SIEGWARTR.Real-timemonocularvisualodometryforon-roadvehicleswith1-pointransac[C]//ProcofIEEEInternationalConferenceonRoboticsandAutomation.Piscataway,NJ:IEEEPress,2009:4293-4299.

[5]高云峰,李偉超,李建輝.室內(nèi)移動(dòng)機(jī)器人視覺里程計(jì)研究[J].傳感器與微系統(tǒng),2012,02:26-29.

[6]王亞龍,張奇志,周亞麗.基于Kinect的三維視覺里程計(jì)的設(shè)計(jì)[J].計(jì)算機(jī)應(yīng)用,2014,08:2371-2374.

[7]JEAN-YVESBOUGUET.CameraCalibrationToolboxforMatlab[EB/OL].(2013-12-02).http://www.vision.caltech.edu/bouguetj/calib_doc/..2014.11

[8]HANWANG,WEIMOU,GERALDSEET,etal.Real-timeVisualOdometryEstimationBasedonPrincipalDirectionDetectiononCeilingVision[J].InternationalJournalofAutomationandComputing,2013,05:397-404.

[9]FRAUNDORFERF,SCARAMUZZAD.VisualodometryPartII:Matching,robustness,optimization,andapplications[J].Robotics&AutomationMagazine,IEEE,2012,19(2):78-90.

(責(zé)任編輯陳敏英文審校鄭青榕)

An Improved-SIFT Algorithm for a Monocular Visual Odometry

ZHAO Li-ming，CHEN Ning

(School of Mechanical and Energy Engineering,Jimei University,Xiamen 361021,China)

Abstract:This paper presents a robust method for monocular visual odometry capable of accurate position estimation of a mobile robot based on an improved SIFT algorithm.Firstly,for improving the accuracy and performance of real-time of feature points matching,improvements have been made on SIFT algorithm by combining Principal Component Analysis and Epipolar geometric constraint.Secondly,a mathematical model has been developed to determine the relationship between the information of consecutive frames and pose change of mobile robot.Results show that the algorithm brought about an accuracy with relative error less than 1.6%,and the running time of the algorithm reduces 0.022 seconds correspondingly.

Key words:visual odometry;improved-SIFT;epipolar geometric constraint

[文獻(xiàn)標(biāo)志碼]A

[中圖分類號]TP 24

[文章編號]1007-7405(2015)03-0218-06

[作者簡介]趙黎明(1987—)，男，碩士生，從事計(jì)算機(jī)視覺及導(dǎo)航研究.通信作者：陳寧(1972—)，男，博士，副教授，從事工程機(jī)器人及計(jì)算機(jī)視覺技術(shù)研究.

[基金項(xiàng)目]福建省科技廳省屬高校專項(xiàng)課題資助項(xiàng)目(JIC2014024)

[收稿日期]2014-11-02[修回日期]2014-11-27