周 星， 高志軍

（上海航天技術(shù)研究院第805研究所，上海 201108）

計(jì)算機(jī)立體視覺是被動(dòng)式測(cè)距方法中最重要的距離感知技術(shù),它直接模擬了人類視覺處理景物的方式，可以在多種條件下靈活地測(cè)量景物的立體信息。其作用是其它計(jì)算機(jī)視覺方法所不能取代的，對(duì)它的研究無論從視覺生理的角度還是在工程應(yīng)用中都具有十分重要的意義。計(jì)算機(jī)立體視覺的開創(chuàng)性工作是從20世紀(jì)60年代中期開始的，美國麻省理工學(xué)院的Robert把2維圖像分析推廣到3維景物分析，標(biāo)志著計(jì)算機(jī)立體視覺技術(shù)的誕生，并在隨后的 20年中迅速發(fā)展成一門新的學(xué)科。特別是20世紀(jì)70年代末，Marr等創(chuàng)立的視覺計(jì)算理論[1-2]對(duì)立體視覺的發(fā)展產(chǎn)生了巨大影響，現(xiàn)已形成了從圖像獲取到最終的景物可視表面重建的比較完整的體系[3]。

本文立足于雙目視覺導(dǎo)航技術(shù)，簡要闡述其基本原理，著重論述視覺導(dǎo)航技術(shù)的核心——立體匹配技術(shù)的研究現(xiàn)狀與進(jìn)展[4]，最后總結(jié)分析目前雙目視覺導(dǎo)航技術(shù)研究存在的問題和今后的發(fā)展方向。

1 雙目視覺導(dǎo)航技術(shù)

1.1 雙目視覺的基本原理[5]

人眼在觀察物體時(shí)存在視差和頻差，這一發(fā)現(xiàn)奠定了雙目立體視覺的理論基礎(chǔ)。雙目立體視覺是由不同位置的兩臺(tái)或者一臺(tái)攝像機(jī)(CCD)經(jīng)過移動(dòng)或旋轉(zhuǎn)拍攝同一幅場景，通過各種算法匹配出相應(yīng)像點(diǎn)，從而計(jì)算出視差，然后基于三角測(cè)量原理恢復(fù)深度（距離）信息。80年代美國麻省理工學(xué)院人工智能實(shí)驗(yàn)室的 Marr創(chuàng)建了視覺計(jì)算理論并應(yīng)用于雙眼匹配，雙目視覺直接模擬人類雙眼處理景物的方式，可靠簡便，在許多領(lǐng)域均極具應(yīng)用價(jià)值。

雙目立體視覺技術(shù)[6]的實(shí)現(xiàn)可分為以下步驟：圖像采集、圖像處理、立體匹配、三維重建。

典型的雙目立體視覺系統(tǒng)如圖1所示。

圖1 雙目立體視覺系統(tǒng)原理示意圖

圖1中C1，C2是兩個(gè)光軸平行放置的攝像機(jī)，它們的x軸重合，y軸平行，I1，I2分別是它們的成像平面，O1，O2分別是它們的光心。兩個(gè)攝像機(jī)坐標(biāo)系只相差x軸方向的平移距離b，稱為基線長度。任意物點(diǎn)P在I1，I2上的成像點(diǎn)分別為 P1，P2，通過外極線矯正使它們具有相同的y坐標(biāo)，它們的圖像坐標(biāo)之間的差值d，就是視差。

當(dāng)攝像機(jī)焦距f已知，任意物點(diǎn)P的深度信息，即P點(diǎn)在其中一個(gè)攝像機(jī)坐標(biāo)系z(mì)軸上的坐標(biāo)可由式（1）計(jì)算得到

在得到深度信息后，可以根據(jù)攝像機(jī)線性成像幾何模型及三角測(cè)量原理求得物點(diǎn) P在攝像機(jī)坐標(biāo)系下的Xc，Yc分量，如式(2)、式(3)所示。

這樣就得到了視差圖里各點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)。其中，圖像中心坐標(biāo) U0，V0和焦距f都屬于攝像機(jī)的內(nèi)部參數(shù)，可以通過攝像機(jī)標(biāo)定獲得。

1.2 立體匹配技術(shù)[7]

立體匹配是立體視覺中最困難的一步?？陀^景物被投影為二維圖像時(shí)，景物的豐富信息(如光照背景，幾何形狀，環(huán)境特征，畸變等)最終以像素的灰度值反映，立體匹配是典型的視覺計(jì)算“病態(tài)”問題，因此對(duì)圖像無歧義的匹配是相當(dāng)困難的。立體匹配方法必須解決3個(gè)問題：

（1）正確選擇圖像的匹配特征；

（2）尋找特征間的本質(zhì)屬性；

（3）建立正確的匹配策略。

目前，立體匹配的研究基本上分為兩個(gè)方向：① 從理解人類視覺的立體融合機(jī)制出發(fā)，試圖建立一種通用的人類雙眼視覺計(jì)算模型；②從實(shí)際應(yīng)用和要求出發(fā)，建立實(shí)用的立體視覺系統(tǒng)。

1.2.1 匹配約束準(zhǔn)則

辨認(rèn)兩幅圖像中的對(duì)應(yīng)位置之所以很難，其原因在于存在假目標(biāo)問題。這時(shí)就需要某些附加的信息，以便用某種方法來得到正確的匹配。這里的附加信息就是匹配約束準(zhǔn)則。對(duì)于一對(duì)立體圖對(duì)，首先必須考慮的3條約束準(zhǔn)則是：

（1）相容性 兩匹配元素必須由同一物理標(biāo)記產(chǎn)生；

（2）唯一性 一個(gè)特征點(diǎn)最多只能和另一幅圖上的一個(gè)特征點(diǎn)相匹配；

（3）連續(xù)性 匹配得到的視差值在圖像平面上幾乎處處平滑。

在實(shí)際應(yīng)用中，還會(huì)分析特定的應(yīng)用環(huán)境，加入完備的先驗(yàn)知識(shí)，增加約束條件使匹配問題得到簡化，如外極限約束就把一個(gè)二維空間搜索問題降為一維搜索問題，大大減小了運(yùn)算量；又如在立體相機(jī)安裝的時(shí)候，由安裝基線長度可以估算視差的范圍，從而進(jìn)一步簡化一維搜索問題。實(shí)踐證明，增加必要的約束條件是可行的，而且很多匹配算法的優(yōu)化也是基于對(duì)實(shí)際環(huán)境約束條件的提取。

1.2.2 匹配算法[8]

在目前的立體視覺研究中，絕大多數(shù)都是針對(duì)各自的應(yīng)用目的和要求建立實(shí)用的立體視覺系統(tǒng)。根據(jù)匹配基元的不同，立體匹配技術(shù)可以分為3大類：區(qū)域匹配、特征匹配、相位匹配。

（1）區(qū)域匹配

區(qū)域匹配以基準(zhǔn)圖的待匹配點(diǎn)為中心創(chuàng)建一個(gè)窗口，用鄰域像素的灰度值分布來表征該像素，然后在對(duì)準(zhǔn)圖中搜索這么一個(gè)像素，以其為中心創(chuàng)建同樣的一個(gè)窗口，并將其鄰域像素的灰度值分布來表征它，兩者間的相似性必須滿足一定的閾值條件。

（2）特征匹配[9-10]

特征匹配是為使匹配過程滿足一定抗噪能力且減少歧義性問題而提出。一般地，用于匹配的特征應(yīng)滿足以下特性：唯一性、再現(xiàn)性、具有物理意義。

基于特征的匹配一般含有特征提取和定位、特征描述、特征匹配三個(gè)步驟。作為匹配基元的特征分為局部特征和全局特征兩大類。面向點(diǎn)、線、面和局部能量等局部特征提取的算法很多。全局特征的定義和提取和具體應(yīng)用有關(guān)，如用于人臉匹配的三角形網(wǎng)格結(jié)構(gòu)就是全局特征的一種。

（3）相位匹配

繼區(qū)域匹配和特征匹配出現(xiàn)之后，Kuglin和Hines[11]等提出了第三種立體視覺匹配算法——相位匹配。相位匹配基于這么一個(gè)假定，即認(rèn)為像對(duì)中對(duì)應(yīng)點(diǎn)的局部相位是相等的?？紤]傅立葉變換的空間支撐為無限，一般地，相位匹配方法對(duì)帶通濾波信號(hào)的相位信息進(jìn)行處理而得到像對(duì)間的視差。最常用的相位匹配方法有相位相關(guān)法和相位差―頻率法[12-13]。

1.3 雙目視覺導(dǎo)航技術(shù)的技術(shù)難點(diǎn)

雖然雙目視覺導(dǎo)航技術(shù)隨著計(jì)算機(jī)科學(xué)技術(shù)的發(fā)展，逐漸成為主流的導(dǎo)航技術(shù)，但就其自身而言存在一些目前還未能很好解決的問題，歸納起來有以下幾點(diǎn)：

（1）攝相機(jī)對(duì)環(huán)境的自適應(yīng)能力

攝像機(jī)作為整個(gè)導(dǎo)航系統(tǒng)的數(shù)據(jù)來源，能否獲得高質(zhì)量的圖像決定了整個(gè)導(dǎo)航系統(tǒng)的成敗。

（2）運(yùn)算量過大

在進(jìn)行圖像預(yù)處理及之后的立體匹配時(shí)，如果不對(duì)圖像進(jìn)行壓縮會(huì)導(dǎo)致圖像數(shù)據(jù)量過大而影響實(shí)時(shí)性要求，目前普遍采用的方法是首先對(duì)圖像進(jìn)行降采樣，但這種做法只是在特定的假設(shè)條件下才是可行了，并沒有理論依據(jù)，只是在算法精度與實(shí)時(shí)性之間獲得折中。

（3）立體匹配精度

所謂立體匹配就是在左右攝像機(jī)所拍攝的兩幅圖中尋找對(duì)應(yīng)點(diǎn)。通過外極線矯正可以使匹配空間由2維降至1維，大大減少了運(yùn)算量。但目前的技術(shù)瓶頸是如何建立左右匹配對(duì)的相似性準(zhǔn)則。對(duì)于不同的特征，相似性準(zhǔn)則的選取決定著匹配精度。

（4）科學(xué)視覺模型的建立

目前，雙目視覺模型是建立在 Marr的視覺理論基礎(chǔ)之上的，要能夠完全達(dá)到人眼視覺模型還有很長的路要走。也許有一天，通過建立更為科學(xué)的雙目視覺模型，以上問題都會(huì)迎刃而解。

2 雙目視覺導(dǎo)航技術(shù)的應(yīng)用

2.1 DARPA2005挑戰(zhàn)賽上的應(yīng)用

DARPA(Defense Advanced Research Projects Agency)由美國國防部主辦，旨在開發(fā)出適合在未知地形里行駛的自主車。DARPA2005挑戰(zhàn)賽斯坦福大學(xué)的自主車Stanley[14]以6小時(shí)53分鐘58秒自主駕駛142英里最終獲得冠軍。

Stanley的成功取決于很多方面，如多傳感器融合，路徑規(guī)劃策略，速度選擇等等。而雙目視覺技術(shù)也在其中得到應(yīng)用并發(fā)揮著至關(guān)重要的作用，Stanley利用雷達(dá)進(jìn)行障礙物檢測(cè)，最大檢測(cè)距離為22m，由此對(duì)它造成的影響是車速最高只能達(dá)到25英里/每小時(shí)，否則難以保證安全行駛。在 2005挑戰(zhàn)賽中，開發(fā)小組估計(jì)要想成功的完成比賽，速度必須達(dá)到35英里/每小時(shí)，而由于受到雷達(dá)的局限，開發(fā)小組最終采用彩色相機(jī)來探測(cè)更大范圍內(nèi)的可行使區(qū)域。圖2比較了雷達(dá)成像地圖和視覺成像地圖。左圖為雷達(dá)地圖，其障礙物檢測(cè)距離是22m，右圖是視覺地圖，其障礙物檢測(cè)距離是70m。

圖2 雷達(dá)地圖與視覺地圖比較

2.2 勇氣號(hào)、機(jī)遇號(hào)火星車上的應(yīng)用

雙目立體視覺的成功運(yùn)用典范當(dāng)屬在美國NASA勇氣號(hào)與機(jī)遇號(hào)火星探測(cè)車的應(yīng)用，火星與地球的距離是5.57～40.13×107km，從地面發(fā)射電磁波需要將近 20分鐘才能到達(dá)火星，這么大的時(shí)延以及火星與地球之間直接通信的局限，很難做到通過遙控操作來控制火星車，這就對(duì)火星車的自主能力提出了很高的要求。

路徑規(guī)劃和位置檢測(cè)需要高精度和高分辨率的地圖做基礎(chǔ)，而衛(wèi)星地圖不能滿足要求，為了解決上述問題，Athena火星車[15]共裝備有四對(duì)立體相機(jī)，相機(jī)參數(shù)如表1所示。

表1 立體相機(jī)的技術(shù)參數(shù)

立體相機(jī)獲取圖像，經(jīng)立體匹配、路徑規(guī)劃找到合適的導(dǎo)航路徑，具體流程圖及導(dǎo)航結(jié)果如圖3所示[16]。

圖3 自主導(dǎo)航流程及結(jié)果

2.3 在研月球車上的應(yīng)用

我國的嫦娥工程規(guī)劃為三期，簡稱為“繞、落、回”三步走。二期工程“落”即發(fā)射月球軟著陸器，并攜帶月球巡視勘察器（俗稱月球車），在著陸區(qū)附近進(jìn)行就位探測(cè)。

目前，全國高校及各科研單位都對(duì)月球車的研制有濃厚的興趣并且投入了相當(dāng)大的精力。上海航天局805所自1995年成立月球探測(cè)小組以來，完成了原理樣機(jī)、試驗(yàn)樣機(jī)和攻關(guān)樣機(jī)的研制，在月球車探測(cè)技術(shù)領(lǐng)域取得了領(lǐng)先的優(yōu)勢(shì)。這里簡要介紹雙目視覺導(dǎo)航技術(shù)在攻關(guān)樣機(jī)（簡稱MR-3，如圖4所示）上的應(yīng)用。

圖4 MR-3攻關(guān)樣機(jī)

2.3.1 立體相機(jī)

立體視覺系統(tǒng)采用了符合工業(yè)標(biāo)準(zhǔn)的高分辨率(1024*768)1394接口的數(shù)字CCD攝像機(jī)，采樣率最大為 10幀，兩個(gè)攝像機(jī)固定安裝在一個(gè)緊湊的立方體金屬盒中，如圖5所示。系統(tǒng)外形尺寸為：長157mm，寬47.4mm，高36mm，通過1394圖像采集卡捕捉圖像。鏡頭焦距固定，水平視角為 70°。系統(tǒng)在應(yīng)用之前經(jīng)過精確的標(biāo)定，標(biāo)定信息包括：圖像原點(diǎn)的位置，基線長度，最大視差范圍和鏡頭徑向失真校正。

圖5 立體視覺系統(tǒng)

經(jīng)過實(shí)測(cè)，相機(jī)雙目公共區(qū)水平視角為55°，垂直視角為40°。

2.3.2 實(shí)現(xiàn)算法

由于月球地表在局域范圍內(nèi)的紋理色彩并不是很豐富，采用基于特征提取的方法來進(jìn)行立體匹配獲得的正確率不會(huì)很高。所以所采用的算法并不致力于特征點(diǎn)、線或面的提取，而是直接采用圖像對(duì)進(jìn)行特征匹配。同時(shí)月球表面由各種各樣的礦物質(zhì)組成，其表面粗糙度比環(huán)境光的波長大得多，因此在地表面的反射主要由漫散射組成。當(dāng)兩個(gè)相距不是很遠(yuǎn)的攝像機(jī)拍攝同一目標(biāo)時(shí)，目標(biāo)特征的灰度值及其鄰域中各點(diǎn)的灰度值在兩個(gè)攝像機(jī)中具有一定的相似性。具體的算法流程如圖6所示。

圖6 立體視覺算法流程

2.3.3 測(cè)試結(jié)果

用開發(fā)的“立體分析.exe”軟件可查看左右相機(jī)拍攝到的圖像，以及特征點(diǎn)圖和深度信息圖，如圖7所示。

圖7 由立體視覺系統(tǒng)獲得的左右兩幅圖像(a), (b)及由他們重建出的深度圖和特征圖(c)

由圖7可以發(fā)現(xiàn)目前該系統(tǒng)已經(jīng)能夠很可靠的匹配出兩幅圖像中的特征，進(jìn)而恢復(fù)出目標(biāo)的深度信息，為視覺導(dǎo)航提供了比較可靠的數(shù)據(jù)源。

2.3.4 存在的問題及初步解決方法

在調(diào)試中發(fā)現(xiàn)在深度圖右斜側(cè)和左下腳區(qū)域有時(shí)會(huì)出現(xiàn)不穩(wěn)定或錯(cuò)誤數(shù)據(jù)，這主要是因?yàn)檫@兩個(gè)區(qū)域?yàn)樽笥蚁鄼C(jī)公共視野區(qū)的兩側(cè)邊界，處理起來會(huì)有些問題，如圖8所示。目前解決方法是在提取三維數(shù)據(jù)時(shí)，丟棄了這兩塊區(qū)域的數(shù)據(jù)，以消除其影響，當(dāng)然這對(duì)視野大小有一定影響，但這影響很小。

圖8 不穩(wěn)定區(qū)域

目前立體系統(tǒng)對(duì)車輪在沙地上留下的齒輪印識(shí)別存在一定的問題，有時(shí)會(huì)識(shí)別出錯(cuò)誤的數(shù)據(jù)，經(jīng)過查看錯(cuò)誤三維數(shù)據(jù)，發(fā)現(xiàn)大部分?jǐn)?shù)據(jù)的y（高度）都很大或很?。ㄒ话闶?1米多，或兩米多），而目前相機(jī)安裝傾角和高度使得它最高只能看到離地0.5米，最低約深0.6米的地方，因此可在程序中判斷y高度是否在(-0.6～0.5)米之間，可濾除一部分錯(cuò)誤數(shù)據(jù)，經(jīng)過測(cè)試效果有明顯改善。當(dāng)然還正在努力想從根本上解決誤識(shí)別的問題。

3 雙目視覺導(dǎo)航技術(shù)的發(fā)展方向

綜上所述，要精確模擬人眼立體視覺系統(tǒng)還存在很多困難，但就其今后的發(fā)展方向有如下幾個(gè)方面：

（1）深入研究人眼視覺機(jī)理，建立更有效的雙目視覺模型，更充分地反映立體視覺不確定性的本質(zhì)屬性，為匹配提供更多的約束信息，降低立體匹配的難度；

（2）利用對(duì)人眼選擇性注意機(jī)制的研究和主動(dòng)視覺的方法解決視覺計(jì)算病態(tài)結(jié)構(gòu)問題，選擇性注意機(jī)制將不適定問題轉(zhuǎn)化為適定問題并在已知攝像機(jī)的外部參數(shù)情況下，將非線性問題轉(zhuǎn)化為線性問題；

（3）探索新的適用于立體視覺的計(jì)算理論和匹配策略，選擇有效的匹配準(zhǔn)則和算法結(jié)構(gòu)，以解決存在灰度失真、幾何畸變、噪聲干擾、特殊結(jié)構(gòu)的匹配問題；

（4）算法向并行化發(fā)展，提高速度，減少運(yùn)算量，增強(qiáng)系統(tǒng)的實(shí)時(shí)性。

[1]Marr D. Vision [M]. W H Freeman and Company,1982. 25-40.

[2][美]Marr D. 視覺計(jì)算理論[M]. 姚國正等譯. 北京:科學(xué)出版社, 1998. 65-90.

[3]羅 翔, 席文明, 顏景平. 一種雙目主動(dòng)立體視覺系統(tǒng)的目標(biāo)定位算法[J]. 東南大學(xué)學(xué)報(bào), 2002, 32(1):60-63.

[4]游素亞, 徐光祐. 立體視覺研究的現(xiàn)狀與進(jìn)展[J].中國圖形圖像學(xué)報(bào), 1997, 2(1): 17-21.

[5]賈云德. 機(jī)器視覺[M]. 北京: 科學(xué)出版社, 2001.243-322.

[6]李 奇, 馮華君. 計(jì)算機(jī)立體視覺技術(shù)綜述[J]. 光學(xué)技術(shù), 1999, (5): 71-73.

[7]徐 奕, 周 軍, 周源華. 立體視覺匹配技術(shù)[J]. 計(jì)算機(jī)工程與應(yīng)用, 2003, (1): 1-6.

[8]潘 華, 郭 戈. 立體視覺研究的進(jìn)展[J]. 計(jì)算機(jī)測(cè)量與控制, 2004, 12(12): 1121-1124.

[9]Loaiza H, Triboulet J, Lelandais S. Matching segments in stereoscopic vision [J]. IEEE Instrumentation &Measurement Magazine, 2001, (3): 37-42.

[10]Kuijper A, Florack L M J. On the creation of critical points in scale space with application to medical image analysis [R]. UU-CS-2001-25 TR.

[11]Kuglin C D, Hines D C. The phase correlation image alignment method [C]//Proc. of IEEE Int. Conf. on Cybernetics and Scociety, 1975: 163-165.

[12]徐彥君, 杜利民, 侯自強(qiáng). 基于相位的尺度自適應(yīng)立體匹配方法[J]. 電子學(xué)報(bào), 1999, 27(7): 38-41.

[13]游素亞, 柳 建, 徐光祐. 利用視覺相位鑒別能力求解立體視覺匹配[J]. 電子學(xué)報(bào), 1996, 24(10):23-27.

[14]Sebastian Thrun, Mike Montemerlo. Stanley: the robot that won the DARPA grand challenge [J].Journal of Field Robotics, 2006, 23(9): 661-692.

[15]顧 征, 蘇顯渝, 李美菊. “勇氣”號(hào)火星車的全景照相系統(tǒng)分析[J]. 激光雜志, 2005, 26(4): 48-50.

[16]Maurette M. Mars rover autonomous navigation [J].Autonomous Robots, 2003, (14): 199-208.