鄒進(jìn)貴，萬(wàn) 熒，孟麗媛

(1. 武漢大學(xué)測(cè)繪學(xué)院，湖北 武漢 430079； 2. 精密工程與工業(yè)測(cè)量國(guó)家測(cè)繪地理信息局重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430079)

雙目立體視覺(jué)的目的是從二維圖像中提取三維信息，從而恢復(fù)三維場(chǎng)景，它在三維測(cè)量、虛擬現(xiàn)實(shí)、機(jī)器人導(dǎo)航等領(lǐng)域中有著廣泛應(yīng)用[1]。立體匹配是立體視覺(jué)技術(shù)中的關(guān)鍵，其任務(wù)是計(jì)算圖像對(duì)中同名像素點(diǎn)間的視差，得到視差圖[2]。

立體匹配算法可以分為全局算法和局部算法。全局算法匹配精度高，但計(jì)算復(fù)雜且計(jì)算量大；局部算法易于實(shí)現(xiàn)且效率較高，但易造成誤匹配[3]。在局部算法中，差的絕對(duì)值之和(sum of absolute differences，SAD)算法是常用的算法，該算法匹配速度快，但對(duì)曝光程度和光照條件較為敏感；Census算法是一種非參數(shù)變換的算法，該算法可以克服曝光和光照不同對(duì)匹配的影響，但其過(guò)度依賴中心像素灰度值的大小，也沒(méi)有利用臨近像素灰度值之間的連續(xù)性約束，整體精度不高[4-5]。

本文研究SAD算法與Census算法，將改進(jìn)后的SAD算法與Census算法融合，提出一種基于SAD算法和Census算法的自適應(yīng)權(quán)重的立體匹配算法，該算法可以提高匹配精度，且對(duì)光照變化和曝光不同引起的圖像亮度差異，也可保持較好的穩(wěn)健性。

1 SAD算法與Census算法

1.1 SAD算法原理

局部立體匹配算法處理的是水平雙目立體視覺(jué)系統(tǒng)攝取的圖像對(duì)，圖像對(duì)的外極線平行，即同一物方點(diǎn)在左右圖像上成像，兩個(gè)像點(diǎn)的行坐標(biāo)一致。這類算法需要建立窗口來(lái)輔助匹配，其原理如圖1所示。

圖1 局部立體匹配原理

以圖(b)為參考圖，在圖(a)上尋找匹配點(diǎn)。首先以圖(b)中的某一待匹配點(diǎn)作為中心點(diǎn)，創(chuàng)建一個(gè)參考窗口，然后在圖(a)像中同一位置創(chuàng)建一個(gè)相同的子窗口，用窗口中的多個(gè)像素灰度值來(lái)表征中心點(diǎn)。在圖(a)像中的搜索范圍內(nèi)，逐一建立子窗口與參考窗口進(jìn)行比較，用相似性測(cè)度函數(shù)的計(jì)算值來(lái)評(píng)價(jià)兩個(gè)窗口的相似度，當(dāng)某個(gè)子窗口與圖(b)的參考窗口最相似時(shí)，即認(rèn)為這個(gè)窗口的中心點(diǎn)與圖(b)中的待匹配點(diǎn)是匹配點(diǎn)對(duì)。對(duì)每一個(gè)像素點(diǎn)進(jìn)行處理，即可完成兩幅圖像的匹配。若以圖(a)為參考圖，在圖(b)上尋找匹配點(diǎn)，匹配原理一致。

SAD是其中的一種相似性測(cè)度函數(shù)，其計(jì)算公式如下

(1)

式中，IL(x,y)、IR(x,y)為左右圖像中(x,y)位置的像素灰度值。用i、j遍歷窗口中每個(gè)元素，每進(jìn)行一次計(jì)算后，d的數(shù)值加1，完成范圍內(nèi)的逐一搜尋。兩個(gè)子窗口計(jì)算所得SAD值最小時(shí)，其對(duì)應(yīng)的點(diǎn)就是匹配點(diǎn)，此時(shí)的d即為視差值[6]。

1.2 Census算法原理

Census算法也需要建立子窗口，其首要工作是對(duì)窗口中的元素進(jìn)行Census變換。Census變換是一種局部非參數(shù)變換，計(jì)算窗口的灰度值大小序列，將中心像素以外的像素用一個(gè)比特串表示。如果窗口中某個(gè)像素的灰度值比中心像素的灰度值大，則在比特串相應(yīng)位置標(biāo)記為1，反之標(biāo)記為0。Census變換公式如下

(2)

式中，I(p)為窗口中心像素的灰度值；I(p′)為中心點(diǎn)以外的像素灰度。左右兩個(gè)窗口進(jìn)行Census變換后，計(jì)算漢明距離表征相似度，即將這兩點(diǎn)的Census編碼逐位進(jìn)行異或運(yùn)算，結(jié)果為1的個(gè)數(shù)就是漢明距，漢明距越小，兩點(diǎn)相似度越高。依次尋找圖像中每一點(diǎn)的匹配點(diǎn)，完成匹配[5]。

2 自適應(yīng)權(quán)重SAD-Census算法

2.1 自適應(yīng)權(quán)重的SAD算法

傳統(tǒng)的SAD算法中，求得每個(gè)窗口對(duì)應(yīng)位置的像素灰度差的絕對(duì)值后，直接累加獲得SAD值，即窗口中的每個(gè)位置求出的灰度差絕對(duì)值都是等權(quán)的。但在實(shí)際情況中，距離中心點(diǎn)越遠(yuǎn)的像素，與中心點(diǎn)的相關(guān)性越小，因此本文將鄰域像素點(diǎn)到中心像素點(diǎn)的幾何距離作為權(quán)重因子來(lái)求取SAD值，然后再進(jìn)行匹配。在比較多種函數(shù)形式之后，發(fā)現(xiàn)正態(tài)分布比較合適，故權(quán)重W取正態(tài)分布形式，如下

W=e-kf2

(3)

式中，f為鄰域像素點(diǎn)到中心點(diǎn)的幾何距離；k為與窗口大小有關(guān)的系數(shù)。經(jīng)試驗(yàn)分析，得到k的表達(dá)式如下

(4)

式中，a為窗口大小。權(quán)重W既與距離有關(guān)，也與窗口大小有關(guān)。以9×9大小的窗口為例，其權(quán)重W的特性曲線如圖2所示。

圖2 9×9的窗口權(quán)重曲線

圖2中以0為中心點(diǎn)，橫坐標(biāo)代表鄰域像素與中心點(diǎn)的距離(以像素為單位)，縱坐標(biāo)代表權(quán)重值?？梢钥闯鲈娇拷行狞c(diǎn)，權(quán)重W數(shù)值越大，即該點(diǎn)的參考價(jià)值越大。

2.2 自適應(yīng)權(quán)重的SAD算法與Census算法的融合

Census具有灰度不變的特性，即編碼與像素灰度值具體數(shù)值關(guān)聯(lián)不強(qiáng)，只與像素之間的大小關(guān)系有關(guān)，保證了它對(duì)曝光或光照不同的兩幅圖像的匹配有一定的穩(wěn)健性。但這種算法整體誤匹配較多，要解決這個(gè)問(wèn)題，就需要加入更多信息來(lái)輔助計(jì)算，因此考慮將一部分圖像像元的灰度信息加入Census匹配中。SAD算法是基于圖像像元灰度值的匹配算法，而自適應(yīng)權(quán)重的SAD算法理論上比傳統(tǒng)SAD算法匹配效果更好。因此，針對(duì)兩者可以相互補(bǔ)充的特點(diǎn)，將Census算法與自適應(yīng)權(quán)重的SAD算法進(jìn)行融合：在分別求取改進(jìn)后的SAD值與漢明距后，將兩者加權(quán)求和，得到新的相似度數(shù)值C，C的求取方式如下

(5)

式中，CCensus表示漢明距；CSAD表示SAD值；a表示窗口大小。窗口大小對(duì)CSAD和CCensus值影響很大，將窗口大小引入公式，目的是保持兩者的權(quán)重關(guān)系。取指數(shù)的目的是歸一化，CCensus與CSAD的取值范圍可能會(huì)相差很大，這樣便有必要將兩者都?xì)w化到[0,1]區(qū)間，使計(jì)算出來(lái)的C值更可靠。

2.3 自適應(yīng)權(quán)重SAD-Census算法流程

自適應(yīng)權(quán)重SAD-Census算法流程如圖3所示，可基本概述如下：

(1) 輸入圖像對(duì)，以左圖像為參考圖像、右圖像為目標(biāo)圖像，運(yùn)用算法依次尋找匹配點(diǎn)對(duì)，匹配點(diǎn)對(duì)在左右圖像上的橫坐標(biāo)差值即為以像素為單位的視差值，逐一匹配得到稠密的視差圖。

(2) 以右圖像為參考圖像、左圖像為目標(biāo)圖像，運(yùn)用算法依次尋找匹配點(diǎn)對(duì)，得到另一幅稠密的視差圖。

(3) 對(duì)兩幅視差圖進(jìn)行左右一致性檢驗(yàn)，對(duì)遮擋點(diǎn)進(jìn)行補(bǔ)充(由于兩張圖像拍攝的視角不同，被遮擋的部分也不盡相同，因此兩幅視差圖存在不一致的地方，有必要對(duì)這些地方進(jìn)行一致性校驗(yàn)并賦值[7-8])。

(4) 進(jìn)行中值濾波，得到優(yōu)化后的視差圖。

圖3 自適應(yīng)權(quán)重SAD-Census算法流程

3 試驗(yàn)結(jié)果與算法評(píng)價(jià)

為了評(píng)價(jià)本文匹配算法的準(zhǔn)確性，基于VS 2013開(kāi)發(fā)環(huán)境，采用C++語(yǔ)言實(shí)現(xiàn)了傳統(tǒng)SAD算法、傳統(tǒng)Census算法與自適應(yīng)權(quán)重SAD-Census算法，分別對(duì)無(wú)亮度差異的圖像組和存在亮度差異的圖像組進(jìn)行匹配處理，并分析比較匹配結(jié)果。

3.1 基于無(wú)亮度差異的圖像對(duì)試驗(yàn)

首先利用Middlebury平臺(tái)提供的3組無(wú)幅度失真圖像Tsukuba、Teddy和Cones進(jìn)行試驗(yàn)，原始圖像和理想視差圖如圖4所示。

圖4中，第一、二、三行分別是Tsukuba、Teddy和Cones圖像，(a)、(b)、(c)列分別是原始圖像組中的左圖、右圖和理想視差圖。

圖4 原始圖像組和理想視差圖的匹配結(jié)果

對(duì)3組試驗(yàn)樣本分別采用傳統(tǒng)SAD算法、傳統(tǒng)Census算法和自適應(yīng)權(quán)重SAD-Census算法進(jìn)行匹配，視差結(jié)果如圖5所示。

圖5 基于無(wú)亮度差異的圖像對(duì)的匹配試驗(yàn)

圖5中，(a)、(b)、(c)列分別是采用傳統(tǒng)SAD算法(窗口大小為9×9)、傳統(tǒng)Census算法(窗口大小為23×23)和自適應(yīng)權(quán)重SAD-Census算法(窗口大小為19×19)對(duì)3組樣本進(jìn)行匹配得到的結(jié)果，其中采用的窗口均是各自算法中最優(yōu)窗口(窗口大小的確定：在各自算法內(nèi)，依次用多個(gè)大小的窗口進(jìn)行匹配，匹配結(jié)果最佳時(shí)，其對(duì)應(yīng)的窗口即為此算法的最優(yōu)窗口)。

將3種算法獲取的最佳視差圖與理想視差圖作差，差值超出閾值的標(biāo)記為誤匹配，采用誤匹配率量化匹配質(zhì)量，誤匹配率越小，匹配效果越好。試驗(yàn)樣本的誤匹配率結(jié)果見(jiàn)表1。

表1 無(wú)亮度差異的圖像匹配結(jié)果的誤匹配率 (%)

幾種算法運(yùn)算時(shí)間的比較見(jiàn)表2(以SAD算法Tsukuba圖像匹配用時(shí)作為衡量標(biāo)準(zhǔn))。

表2 無(wú)亮度差異的圖像匹配所需時(shí)間比較

從匹配質(zhì)量上看，相對(duì)于傳統(tǒng)SAD算法和傳統(tǒng)Census算法，自適應(yīng)權(quán)重SAD-Census算法匹配的效果更優(yōu)質(zhì)。從運(yùn)行效率上看，傳統(tǒng)SAD算法效率較高，自適應(yīng)權(quán)重的SAD-Census算法與傳統(tǒng)Census算法效率相近。

3.2 基于亮度不一致的圖像對(duì)的試驗(yàn)

通過(guò)只改變目標(biāo)圖像的亮度構(gòu)建了3組新的試驗(yàn)樣本(對(duì)Tsukuba、Teddy和Cones 3組原始圖像中的右圖提高整體亮度，左圖不改變，調(diào)整之后的左右圖像形成新的試驗(yàn)樣本)，對(duì)這3組新樣本進(jìn)行試驗(yàn)，視差結(jié)果如圖6所示。

圖6 基于亮度不一致的圖像的匹配試驗(yàn)

圖6中，(a)、(b)、(c)列分別是采用傳統(tǒng)SAD算法、傳統(tǒng)Census算法和自適應(yīng)權(quán)重SAD-Census算法對(duì)3組樣本進(jìn)行匹配得到的結(jié)果(各算法均采用最優(yōu)窗口)。直觀來(lái)看，對(duì)于存在亮度差異的圖像對(duì)，傳統(tǒng)的SAD算法誤匹配嚴(yán)重，得到的匹配結(jié)果幾乎不能分辨出目標(biāo)物，傳統(tǒng)Census算法和自適應(yīng)權(quán)重SAD-Census算法相比較而言呈現(xiàn)的結(jié)果較好。3種算法匹配結(jié)果的誤匹配率見(jiàn)表3。

表3 基于亮度不一致的圖像匹配結(jié)果的誤匹配率 (%)

從誤匹配率結(jié)果來(lái)看，當(dāng)待匹配的左右圖像亮度存在差異時(shí)，3種算法中的傳統(tǒng)SAD算法效果最差，幾乎不能達(dá)到匹配目的，傳統(tǒng)Census算法與自適應(yīng)權(quán)重SAD-Census算法結(jié)果較穩(wěn)定。

3.3 實(shí)拍圖像試驗(yàn)

為了驗(yàn)證算法的實(shí)用性，在實(shí)際場(chǎng)景中拍攝左右圖像，采用3種算法進(jìn)行處理。其中，在拍攝左右視角的圖像時(shí)，采用不同的測(cè)光點(diǎn)，使左右圖像的亮度不一致。匹配結(jié)果如圖7所示。

圖7 基于真實(shí)場(chǎng)景的圖像匹配試驗(yàn)

圖7中，(a)、(b)、(c)、(d)分別是原始圖像的右圖和分別采用傳統(tǒng)SAD算法、傳統(tǒng)Census算法、自適應(yīng)權(quán)重SAD-Census算法匹配得到的視差圖。對(duì)比結(jié)果可以發(fā)現(xiàn)，自適應(yīng)權(quán)重SAD-Census算法得到的視差圖效果優(yōu)質(zhì)，且呈現(xiàn)的深度信息與實(shí)際情況保持一致，表明自適應(yīng)權(quán)重SAD-Census算法在實(shí)際情況中可以適應(yīng)，對(duì)亮度有差異的圖像也有較好的穩(wěn)定性；瑕疵之處是在紋理不豐富的區(qū)域存在一些誤匹配。

綜合以上3個(gè)試驗(yàn)的結(jié)果，可以得到如下結(jié)論：傳統(tǒng)SAD算法效率高，但對(duì)于存在亮度差異的左右圖像，其匹配效果很差；傳統(tǒng)Census算法對(duì)于存在亮度差異的左右圖像，其穩(wěn)健性較好，但整體匹配精度不足；本文提出的自適應(yīng)權(quán)重的SAD-Census算法，匹配精度優(yōu)于傳統(tǒng)SAD算法與傳統(tǒng)Census算法，在面對(duì)存在亮度差異的左右圖像時(shí)，也可以保持較好的穩(wěn)健性，在實(shí)際場(chǎng)景中，該算法也可以較好地實(shí)現(xiàn)其功能。

4 結(jié) 語(yǔ)

本文將改進(jìn)的SAD算法與傳統(tǒng)Census算法融合，提出了自適應(yīng)權(quán)重的SAD-Census算法。經(jīng)過(guò)對(duì)比試驗(yàn)可以發(fā)現(xiàn)，本文提出的自適應(yīng)權(quán)重SAD-Census算法，在精度上要優(yōu)于傳統(tǒng)SAD算法和傳統(tǒng)Census算法，且能有效地減弱由光照或曝光不同所引起的圖像亮度不一致對(duì)匹配結(jié)果的影響，但對(duì)于圖像中的弱紋理區(qū)域的匹配，本文算法仍需要進(jìn)一步優(yōu)化。