王懷超，張學(xué)全，李海豐

(1.中國民航大學(xué)中國民航信息技術(shù)科研基地，天津300300;2.中國科學(xué)院國家空間科學(xué)中心，北京100190)

一種行星車視覺導(dǎo)航系統(tǒng)的立體校正算法

王懷超1，張學(xué)全2，李海豐1

(1.中國民航大學(xué)中國民航信息技術(shù)科研基地，天津300300;2.中國科學(xué)院國家空間科學(xué)中心，北京100190)

針對行星車軟著陸過程中，視覺導(dǎo)航系統(tǒng)參數(shù)變化后星面再標(biāo)定難度大的問題，在傳統(tǒng)立體校正算法基礎(chǔ)上提出了一種適用于行星車視覺導(dǎo)航的弱標(biāo)定立體校正算法。算法利用地面標(biāo)定結(jié)果和對應(yīng)匹配點(diǎn)進(jìn)行優(yōu)化計(jì)算，約束校正矩陣形式，保證了校正結(jié)果為以光心為投影點(diǎn)的單應(yīng)變換，并進(jìn)一步簡化參數(shù)，降低計(jì)算復(fù)雜度。在理論上證明了算法的正確性，實(shí)驗(yàn)驗(yàn)證了算法的有效性。實(shí)驗(yàn)結(jié)果表明，算法校正結(jié)果與已知相機(jī)內(nèi)、外參數(shù)的歐幾里德校正方法性能相當(dāng)，校正誤差和校正畸變均較小，滿足行星車視覺導(dǎo)航系統(tǒng)要求。

行星車;視覺導(dǎo)航;立體校正;基礎(chǔ)矩陣;極線幾何

0 引 言

基于視覺的環(huán)境感知技術(shù)屬于被動(dòng)感知，與主動(dòng)感知技術(shù)相比具有功耗小、可一次性捕獲整幅畫面且無需機(jī)械掃描部件等優(yōu)點(diǎn)，因而廣泛地應(yīng)用于行星車(Planetary rover，PR)中，特別是基于雙目視覺的環(huán)境感知技術(shù)，如美國好奇號火星車探測器［1］、我國月兔號月球車［2－3］。通過處理視覺信息，行星車可以獲得對周圍環(huán)境的感知進(jìn)而實(shí)現(xiàn)路徑規(guī)劃。環(huán)境感知能力對行星車的生存和安全有著非同尋常的意義。其中，雙目立體匹配的精度是影響行星車環(huán)境感知能力的重要因素，作為立體匹配重要步驟的立體校正通過對兩幅圖像各進(jìn)行一次單應(yīng)變換，使立體匹配問題從二維的搜索問題變?yōu)樵谝痪S掃描線上的搜索問題，大大減少冗余計(jì)算，加快匹配速度，也降低了誤匹配出現(xiàn)的可能性。

針對雙目視覺系統(tǒng)的立體校正，現(xiàn)有的方法主要分為兩類。第一類方法基于相機(jī)的內(nèi)、外參數(shù)標(biāo)定［4］的歐幾里德校正方法。這種方法需要提前標(biāo)定立體相機(jī)內(nèi)、外參數(shù)，操作較為繁鎖，但校正精度高［5－6］。對于行星車視覺導(dǎo)航系統(tǒng)，由于受到軟著陸過程中的沖擊、震動(dòng)、溫度變化等因素的影響，立體視覺系統(tǒng)中的相機(jī)參數(shù)會發(fā)生微小變化。如果直接利用地面的歐幾里德標(biāo)定結(jié)果進(jìn)行三維重建，必然精度不高，并對后續(xù)的路徑規(guī)劃造成影響，降低行星車的星面生存能力。第二類方法基于圖像本身的特性，通過圖像中的特征點(diǎn)作為標(biāo)志點(diǎn)，利用雙目圖像中對應(yīng)點(diǎn)的極線特性，構(gòu)建圖像變換矩陣，將特征點(diǎn)的極線在極平面內(nèi)保持平行，從而消除圖像間的垂直視差［7－9］。此類方法都要用到復(fù)雜的非線性優(yōu)化計(jì)算，不能直接應(yīng)用于行星車這種計(jì)算資源有限的系統(tǒng)，需要在算法穩(wěn)定性、速度等方面進(jìn)行改進(jìn)和完善。同時(shí)，這類算法往往只利用射影變換本身性質(zhì)進(jìn)行優(yōu)化，所得到的解是不適定的，產(chǎn)生的結(jié)果不一定是以光心為投影點(diǎn)的單應(yīng)變換，校正后的兩圖像間的基線會發(fā)生變化，在一定程度上降低后續(xù)三維重建的精度，從而降低行星車的生存能力。

本文綜合應(yīng)用以上兩類方法的思想，針對行星車視覺系統(tǒng)在軟著陸過程中的參數(shù)變化后星面再標(biāo)定難度大的問題，設(shè)計(jì)了一種應(yīng)用于精確的三維星面地形重建的弱標(biāo)定立體校正算法。本算法利用地面歐幾里德標(biāo)定結(jié)果和對應(yīng)匹配點(diǎn)進(jìn)行優(yōu)化計(jì)算，約束校正矩陣形式，并從理論上證明了所加約束的合理性，保證校正結(jié)果為以光心為投影點(diǎn)的單應(yīng)變換和基線長度不變，進(jìn)一步簡化參數(shù)、降低計(jì)算復(fù)雜度，最終校正結(jié)果與已知參數(shù)的標(biāo)定方法相差很小。

1 極線幾何

雙目視覺成像系統(tǒng)由兩個(gè)針孔攝像機(jī)構(gòu)成，如圖1。三維空間點(diǎn)W投影到像平面R1和R2上，得到像點(diǎn)M1和M2(M1和M2是一對共軛點(diǎn))。M2必位于由M1和兩個(gè)相機(jī)的幾何位置決定的某一條直線上，也就是像平面R2上對應(yīng)于M1點(diǎn)的極線。

設(shè)m1和m2分別是對應(yīng)點(diǎn)M1與點(diǎn)M2的圖像齊次坐標(biāo)，它們滿足以下關(guān)系式［8］:式中:F稱為基本矩陣。在給定m1的情況下，式(1)是一個(gè)關(guān)于m2的極線方程，即像平面R2上的極線方程，反之亦然。

兩像平面(如圖1)一般不共面，而若兩像平面共面，則對應(yīng)外極線處于同一水平線上，即在掃描線上(如圖2)。圖像的立體校正就是把外極線變換成掃描線的過程?；揪仃嘑可分解為F=［e1］×M，M是一個(gè)包含三個(gè)參數(shù)的非奇異矩陣。兩個(gè)極點(diǎn)e1和e2，滿足Me2=e1。對于校正后的圖像，極點(diǎn)坐標(biāo)為e1=e2=［1，0，0］T，基本矩陣F變?yōu)?

2 本文算法

2.1 歐幾里德校正

定義1.在已知左右相機(jī)內(nèi)參數(shù)矩陣Kl、Kr和相對外參數(shù)R、t的情況下，在歐幾里德空間內(nèi)，利用歐幾里德幾何性質(zhì)進(jìn)行的兩相機(jī)的立體校正過程，稱為歐幾里德校正。所求得的左右相機(jī)的立體校正矩陣Hl、Hr稱為歐幾里德校正矩陣。

2.2 弱標(biāo)定情況下的歐幾里德校正

2.2.1 優(yōu)化函數(shù)

設(shè)Hl、Hr為待求的用于左右相機(jī)校正的單應(yīng)矩陣，對于j對共軛對應(yīng)點(diǎn)

可以看出等式左邊只是一個(gè)代數(shù)的上的誤差，并不存在任何幾何信息。所以本文利用Sampson誤差。矩陣可以看成是校正前左右圖像間的基礎(chǔ)矩陣，故可將Sampson誤差表示成:

式中:u2=(0，0，1)。

給定j對共軛對應(yīng)點(diǎn)，則存在關(guān)于Hl和Hr的j個(gè)非線性方程{=0}，i=1，2，…，j。則優(yōu)化函數(shù)有如下形式，

使這個(gè)優(yōu)化函數(shù)最小的Hl和Hr就是需要求取的投影變換矩陣。

式(5)中由于參數(shù)過多，直接優(yōu)化計(jì)算量較大，而且約束較少，為保證所得的校正矩陣為歐幾里德校正矩陣，減小計(jì)算復(fù)雜度，本文對如下兩個(gè)小節(jié)所述的5個(gè)方面進(jìn)行了優(yōu)化。

2.2.2 約束校正矩陣形式

為保證行星車自主行駛安全，視覺導(dǎo)航系統(tǒng)在行星的表面三維重建過程中必須具有較高的精度，這就要求立體校正不能產(chǎn)生較大的次采樣和過采樣，這樣變換后結(jié)果必須與歐幾里德校正相似。如果不對Hl和Hr進(jìn)行約束或只利用校正投影變換的性質(zhì)進(jìn)行約束，直接對式(5)進(jìn)行優(yōu)化，則校正結(jié)果一般會與歐幾里德校正偏差較大，次采樣和過采樣效果明顯，而且有可能改變基線長度，并不能直接用于精確三維重建。

命題1.Hl、Hr為歐幾里德校正矩陣且同時(shí)Hl、Hr為左右光心的單應(yīng)矩陣的充分必要條件為。其中Kol、Kor分別為左右相機(jī)校正前內(nèi)參數(shù)，Knl、Knr為校正后左右虛擬相機(jī)內(nèi)參數(shù)，Rl、Rr分別為左右相機(jī)校正前后像平面之間的旋轉(zhuǎn)矩陣。

證.以左相機(jī)為例，先證充分性。

式中:Kol和 Knl為校正前后左相機(jī)內(nèi)參數(shù)矩陣，Rol、Rnl、tol和tnl分別對應(yīng)于校正前后左相機(jī)外參數(shù)中的旋轉(zhuǎn)矩陣和平移向量。公式中的Qol和Qnl滿足，

若校正前后均為左相機(jī)光心的單應(yīng)矩陣，則，

式中:Ocl為左相機(jī)的光心坐標(biāo)。這樣，

將式(8)代入式(10)，得到，

同理可證。

必要性:可按照充分性的逆過程證明，略。

本文為保證在相機(jī)參數(shù)變化情況下變換后結(jié)果依然是歐幾里德校正，根據(jù)命題1結(jié)果，約束變換投影矩陣Hl和Hr有如下形式:

則式(5)中的基本矩陣F可以表示成，

這樣，對基本矩陣F有式(13)的約束后，對優(yōu)化函數(shù)(5)進(jìn)行優(yōu)化所得的變換投影矩陣Hl和Hr就為歐幾里德校正矩陣，次采樣和過采樣均較小，而且變換投影矩陣Hl和Hr為光心點(diǎn)的單應(yīng)矩陣，保證基線長度不變。

2.2.3 簡化參數(shù)和優(yōu)化

由于優(yōu)化函數(shù)中的所有參數(shù)均在F中，式(13)中共包括22個(gè)參數(shù)，參數(shù)過多，直接優(yōu)化計(jì)算量較大，下面根據(jù)各個(gè)參數(shù)間的性質(zhì)，對參數(shù)進(jìn)行簡化。

(1)消去內(nèi)參數(shù)Knl和Knr

根據(jù)立體校正性質(zhì)，得Knl=Knr，

這說明對于變換后的兩相機(jī)內(nèi)參數(shù)Knl和Knr，滿足，則式(13)中的基本矩陣F可以簡化成如下形式:

消去內(nèi)參數(shù)Knl和Knr后，F(xiàn)中的共含有14個(gè)未知參數(shù)。

(2)減少旋轉(zhuǎn)參數(shù)

繞X軸旋轉(zhuǎn)α，則旋轉(zhuǎn)矩陣

(3)像主點(diǎn)坐標(biāo)不變假設(shè)

在行星車視覺導(dǎo)航系統(tǒng)中，由于相機(jī)本身是制造成一體的，所以可以假設(shè)相機(jī)的內(nèi)參數(shù)在軟著陸過程中是不變。本文中只假設(shè)相機(jī)內(nèi)參數(shù)中相主點(diǎn)坐標(biāo)不變，焦距可能發(fā)生變化。其中，

這樣我們最終得到

其中共包括αl，αr兩個(gè)內(nèi)參數(shù)和α，β，φ，φ，ω五個(gè)旋轉(zhuǎn)參數(shù)。

經(jīng)過一系列簡化后，式(13)中，F(xiàn)中共含有7個(gè)參數(shù)。

(4)增加約束

然而對于行星車視覺導(dǎo)航系統(tǒng)來講，左右相機(jī)在地面上已經(jīng)幾乎平行放置，即外參數(shù)中的五個(gè)旋轉(zhuǎn)參數(shù)都很小，但如果直接最小化優(yōu)化函數(shù)(5)，但所求得的參數(shù)則有可能使校正后的圖像存在較大的變形，因此為式(5)增加一個(gè)旋轉(zhuǎn)角度的約束。

最終得到優(yōu)化函數(shù)，

式中:所有參數(shù)均在F中，共含有7個(gè)參數(shù)。

2.2.4 求解校正矩陣

顯然上述優(yōu)化問題可以看成是一個(gè)非線性最小二乘問題，可以用Levenberg-Marquardt算法優(yōu)化。Levenberg-Marquardt算法存在對初值較為敏感的問題，本文背景中，由于行星車在軟著陸過程中參數(shù)發(fā)生微小的變化，故可以利用地面的標(biāo)定結(jié)果作為Levenberg-Marquardt算法的初值，這樣，很快便可以得到最優(yōu)解。最后將優(yōu)化的結(jié)果αl，αr兩個(gè)內(nèi)參數(shù)和α，β，φ，φ，ω五個(gè)旋轉(zhuǎn)參數(shù)代入到式(12)中，適當(dāng)選取Knl和Knr便可得到最終的立體校正矩陣。本文中選取

這樣最終所求的的立體校正矩陣為:

3 實(shí)驗(yàn)及結(jié)果分析

在實(shí)驗(yàn)室內(nèi)搭建雙目視覺系統(tǒng)驗(yàn)證平臺，如圖3所示，將兩臺Baslar CCD相機(jī)(分辨率為1024× 1024，感光芯片為KAI－1050，像素尺寸為5.5 μm× 5.5 μm)固定在攝影基線約為20 cm的基線上，并進(jìn)行了精確的標(biāo)定，兩相機(jī)的內(nèi)參數(shù)如表1所示，相對外參數(shù)如表2所示。

表1 兩相機(jī)的內(nèi)參數(shù)Table 1 The intrinsic parameters of the two cameras

表2 兩相機(jī)的相對外參數(shù)Table 2 The calibrated outer parameters on the earth

表3 參數(shù)變化后兩相機(jī)的相對外參數(shù)Table 3 The calibrated outer parameters changed

在試驗(yàn)場內(nèi)對雙目視覺驗(yàn)證系統(tǒng)中的兩相機(jī)相對位置做微小的變動(dòng)，參數(shù)變化后對視覺系統(tǒng)進(jìn)行再標(biāo)定，標(biāo)定結(jié)果如表3所示。以此來模擬在軟著陸過程中行星車視覺導(dǎo)航系統(tǒng)的參數(shù)變化。在試驗(yàn)場內(nèi)獲取一系列圖像，圖像采樣大小為512×512，部分圖像如圖4所示。按照本文算法對兩圖像進(jìn)行立體校正，算法的初值如表1和表2所示，對于行星車來講，初值即為地面的標(biāo)定結(jié)果。圖4(c)和圖4(d)為對變動(dòng)后的視覺系統(tǒng)進(jìn)行再標(biāo)定，然后利用標(biāo)定后內(nèi)外參數(shù)進(jìn)行歐幾里德校正的結(jié)果。圖4(e)和圖4(f)為利用本文算法進(jìn)行校正的結(jié)果?？梢钥闯霰疚乃惴óa(chǎn)生的校正結(jié)果與參數(shù)變化后再標(biāo)定的歐幾里德校正結(jié)果基本一致，說明了本算法的有效性。

為了將本文算法與歐幾里德校正在校正性能上進(jìn)行定量對比分析，利用如下兩個(gè)常用的衡量指標(biāo):

(1)校正誤差:該項(xiàng)指標(biāo)用于衡量校正后圖像匹配點(diǎn)之間的垂直視差大小，該指標(biāo)定義為:

(2)校正畸變:該項(xiàng)指標(biāo)用于衡量校正算法對圖像產(chǎn)生的變形大小，該項(xiàng)指標(biāo)定義為:

式中:Spixel為校正后圖像像素所占的面積，而SAR為校正后圖像最小外接矩形的面積。

表4給出了以上兩個(gè)指標(biāo)針對圖5的測試圖像的計(jì)算結(jié)果。

表4 本文算法與歐幾里德校正結(jié)果比較Table 4 The rectification error and distortion comparison between the Euclidean rectification after re-calibration and our method

由以上比較結(jié)果可以得出結(jié)論，本文算法產(chǎn)生的校正結(jié)果與已知內(nèi)外參數(shù)的歐幾里德校正算法校正性能相當(dāng)，校正誤差和校正畸變均較小。由于其他弱標(biāo)定系統(tǒng)的立體校正算法，如文獻(xiàn)［7－11］，都不約束校正矩陣為光心點(diǎn)的單應(yīng)矩陣，產(chǎn)生的結(jié)果有可能導(dǎo)致基線長度發(fā)生變化，并不能用于精確的三維重建，故本文并未與此類算法進(jìn)行比較。

4 結(jié) 論

由以上論述和測試結(jié)果可以看出本文提出的立體校正算法具有以下特點(diǎn):

(1)本文立體校正算法為弱標(biāo)定系統(tǒng)下的立體校正算法，算法原理上不需要對雙目視覺系統(tǒng)的全部參數(shù)進(jìn)行標(biāo)定。行星車視覺導(dǎo)航系統(tǒng)在軟著陸過程中參數(shù)發(fā)生變化后，本文算法可完成校正。

(2)本文立體校正算法所得到的校正矩陣為光心點(diǎn)的單應(yīng)矩陣，保證雙目視覺系統(tǒng)的基線長度不變，可用于精確的三維重建。

(3)本文算法產(chǎn)生的校正結(jié)果與已知內(nèi)外參數(shù)的歐幾里德校正算法校正性能相當(dāng)，校正誤差和校正畸變均較小，滿足行星車視覺系統(tǒng)要求。

［1］ Thomas M H，Arin M，Jack M，et al.Enabling continuous planetary rover navigation through FPGA stereo and visual odometry［C］.2012 IEEE Aerospace Conference，MT，March，2012.

［2］ Du J J，He J S，Zhu J J，et al.A method study of generating digital terrain map for lunar exploration based on the stereo vision［C］.The IEEE International Conference on Information and Automation，Shenzhen，China，June，2011.

［3］ Mao X Y，Chen J X，Xing Y，et al.Lunar rover’s vision technology for auto-navigation［C］.The 33rd Chinese Control Conference，Nanjing，China，July，2014.

［4］ 王保豐，毛曉艷，唐歌實(shí).月球車魚眼相機(jī)的標(biāo)定方法研究［J］.宇航學(xué)報(bào)，2011，32(4):933－939.［Wang Bao-feng，Mao Xiao-yan，Tang Ge-shi.A calibration method for fish-eye camera of lunar rover［J］.Journal of Astronautics，2011，32 (4):933－939.］

［5］ Kanbara M，Okuma T，Takemura H.A stereo-scopic video seethrough augmented reality system based on real-time vision-based registration［C］. International Conference on Pattern Recognition，New Brunswick，Canada，March，2000.

［6］ Takagi A，Yamazaki S，Saito Y.Development of a stereo video see-through HMD for AR systems［C］.IEEE and ACM InternationalSymposium on Augmented Reality， Munich Germany，August，2002.

［7］ Richard I H.Theory and practice of projective rectification［J］.International Journal of Computer Vision.1999，35(2):115－127.

［8］ Loop C，Zhang Z Y.Computing rectifying homographies for stereo vision［C］.The International Conference on Computer Vision and Pattern Recognition.Collins，USA，January，1999.

［9］ Fusiello A，Trucco E，Verri A.A compact algorithm for rectification of stereo pairs［J］. Machine Vision and Applications，2000，12(1):16－22.

［10］ Andrea F，Luca I.Quasi-Euclidean uncalibrated epipolar rectification［C］.The 19th International Conference on Pattern Recognition.Tampa，USA，January，2009.

［11］ 林國余，張為公.一種無需基礎(chǔ)矩陣的魯棒性極線校正算法［J］.中國圖象圖形學(xué)報(bào)，2006，11(2):203－209.［Lin Guo-yu，ZhangWei-gong.An effectiverobustrectification method for stereo vision［J］.Journal of Image and Graphics，2006，11(2):203－209.］

通信地址:天津市東麗區(qū)中國民航大學(xué)南院南教 4－320 (300300)

電話:(022)24092488

E-mail:junkda@163.com

(編輯:張宇平)

A Stereo Rectification Algorithm for Planetary Rover Visual Navigation System

WANG Huai-chao1，ZHANG Xue-quan2，LI Hai-feng1
(1.Information Technology Research Base of Civil Aviation Administration of China，Civil Aviation University of China，Tianjin 300300，China; 2.National Space Science Center，Chinese Academy of Sciences，Beijing 100190，China)

During the process of soft-landing for a planetary rover，the parameters of the video navigation system will be changed.There exists the problem about the increased difficulty for the re-calibration of the two cameras.Based on the common stereo rectification algorithm，a weak calibrated stereo rectification algorithm for the visual navigation system of the planetary rover is proposed in this paper.In this algorithm，the rectification matrix is calculated by corresponding points and parameters calibrated on the Earth;the rectification matrix is constrained to ensure that the projection is a homograph transformation whose projection point is the optical center;the computational complexity is reduced by reducing the number of the parameters.The rectification performance comparison experiments between our algorithm and the Euclidean Rectification algorithm have demonstrated the effectiveness of our proposed algorithm.The correction error and the correction distortion are both smaller，which meets the requirements about the vision system of the planetary rover.

Planetary rover;Vision navigation;Stereo rectification;Fundamental matrix;Epiploar geometry

TP752

A

1000-1328(2017)02-0159-07

10.3873/j.issn.1000-1328.2017.02.007

王懷超(1984－)，男，博士，講師，主要從事圖像處理與視覺導(dǎo)航研究。

2016-05-10;

2016-12-04