楊 科，劉 凱

(四川大學 電氣工程學院，四川 成都 610065)

0 引 言

立體匹配的過程可以概括為匹配代價計算、代價聚合、初始視差計算和視差求精4個步驟，并根據(jù)代價聚合方式將匹配算法劃分為全局算法和局部算法兩大類[1]。全局算法[2,3]主要采用全局優(yōu)化理論方法估計視差，建立并最小化全局能量函數(shù)得到最優(yōu)視差值，計算精度較高，但是運算效率低，實時性差。局部算法[4,5]給定圖像中一點并在其鄰域內(nèi)的一個窗口中，根據(jù)某種相似性度量，尋找與子窗口圖像最相似的子圖，其運行效率高且易于實現(xiàn)，但容易陷入局部最優(yōu)解。近年來，隨著深度學習的不斷發(fā)展，一些深度學習方法[6,7]被應(yīng)用在立體匹配領(lǐng)域來同時達到高精度和實時性，但這類算法對硬件性能和數(shù)據(jù)集依賴較強，成本較高。Yang[8]提出基于樹形結(jié)構(gòu)的非局部匹配算法，解決了全局算法計算效率低，局部算法容易陷入局部最優(yōu)的問題，但是代價計算階段只考慮單一的圖像信息，圖像邊緣的匹配精度不高。針對以上方法的不足，本文提出了一種融合顏色、邊緣和Census信息的立體匹配代價計算方法，通過自適應(yīng)窗口獲得更優(yōu)的匹配代價策略，同時提出一種基于圖像分割的最小生成樹權(quán)重策略，計算代價聚合，進一步提高視差精度。該算法能夠在對硬件性能和數(shù)據(jù)集沒有明顯依賴的條件下，實現(xiàn)高精度立體匹配。

1 匹配代價計算

立體匹配算法的輸入為兩張存在視差關(guān)系(一般為水平視差)的圖像，其中一張被稱為參考圖像(reference image)，另一張為目標圖像(target image)。匹配代價計算作為立體匹配的第一步，它被用來衡量參考圖像和目標圖像像素之間的相似程度。由于圖像的復雜性，當前的匹配算法在光照變化區(qū)域、像素邊緣區(qū)域的匹配精度較低。針對以上問題，本章提出了一種自適應(yīng)窗口的融合匹配代價計算方法，其融合了圖像顏色信息、Census信息和邊緣信息。顏色信息計算簡單，對圖像細節(jié)辨識能力強，但容易受噪聲和光照變換的影響；Census信息對光照變化不敏感，魯棒性高；像素邊緣信息復雜，圖像特征顯著，常處于視差不連續(xù)區(qū)域，融合邊緣信息能減少在邊緣上的錯誤匹配。

1.1 自適應(yīng)窗口的Census變換

Census變換[9]是一種局部非參數(shù)變換，計算存儲點在窗口中的灰度順序和局部鄰域的空間結(jié)構(gòu)信息。傳統(tǒng)的Census變換流程為：使用一個固定大小的矩形窗口遍歷圖像，比較像素鄰域內(nèi)的局部灰度差異并將比較后的差異大小轉(zhuǎn)換成比特串，最后根據(jù)比特串計算左右圖像像素對的Hamming距離，作為匹配代價，衡量圖像之間的相似度。Census變換公式為

(1)

式中：I(p)、I(q)為像素點p,q的灰度值，?為位串聯(lián)符，W′(p)是W(p)內(nèi)除中心像素點p外的鄰域點集。ζ表示按位比較，滿足

(2)

將Census變換得到的比特串，計算Hamming距離作為匹配代價，Hamming距離越小，則代表兩個像素點間的相似度越高，也就是匹配代價越低。Hamming公式為

CCensus(p,d)=TCensus(p)⊕TCensus(p+d)

(3)

式中：TCensus(p)和TCensus(p+d)分別表示參考圖像和目標圖像中視差值為d的Census變換值。

由于傳統(tǒng)的Census變換依賴于固定矩形窗大小的選擇，但針對圖像不同區(qū)域，需要選擇不同的窗口策略。在邊緣區(qū)域，通常需要較小的窗口來進行代價計算，否則會造成圖像的模糊；而在非邊緣區(qū)域選用較大的窗口進行代價計算，能較好反映圖像紋理信息。為了提高圖像匹配精度，適應(yīng)不同的圖像區(qū)域，提出一種基于Sobel邊緣檢測算子的自適應(yīng)窗口Census變換算法。

Sobel算子使用兩個3×3矩陣作為卷積模版，分別代表橫向和縱向。令A為被處理后的圖像像素矩陣，Gx和Gy各自為每一個像素橫向和縱向的灰度梯度，G為該像素點的灰度梯度，則公式為

(4)

通過Sobel算子檢測出像素點的梯度值后，根據(jù)計算出的像素邊緣大小在不同區(qū)域采用不同的窗口尺寸進行Census變換，自適應(yīng)選用窗口的具體規(guī)則如下

(5)

式中：W代表選定的窗口大小，W1,W2分別代表大小不同的窗口。

當像素邊緣值G小于等于閾值T時，表明該區(qū)域紋理平緩像素信息變化較小應(yīng)采用大窗口，而在其它邊緣深度不連續(xù)區(qū)域采用小窗口用以保護邊緣。圖1表示傳統(tǒng)Census變換和改進的自適應(yīng)窗口Census變換得到的視差，如圖像中部矩形框所示，在房頂煙囪附近，改進后的Census變換算法圖像更加平滑，在右上角弱紋理區(qū)域，玩具手部和背景更好的區(qū)分開來。因此，改進后的算法具有更好的邊緣保持特性，從而匹配精度提高。

圖1 傳統(tǒng)的Census變換和改進Census變換得到的視差

1.2 多測度融合代價計算

首先對顏色信息進行代價計算。一般情況，左右圖中像素顏色越相似，越可能有相近的視差，構(gòu)造像素p以d為視差值的顏色信息匹配代價CTAD(p,d)，公式為

(6)

對邊緣信息進行代價計算。為了減小計算復雜度，避免重復計算，結(jié)合1.1節(jié)中的Sobel邊緣算子計算得到的邊緣值，構(gòu)造邊緣匹配代價CE(p,d)，公式為

CE(p,d)=min(|edge(p)-edge(p+d)|,τ3)

(7)

式中：edge(p)函數(shù)為像素點p的Sobel值，τ3為截斷值。

對Census信息進行代價計算。同式(3)。

先將相同一尺度下的顏色和邊緣信息代價融合CR(p,d)，公式為

(8)

再將顏色、邊緣和Census信息代價融合C(p,d)，公式為

C(p,d)=ρ(CR(p,d),λR)+ρ(CCensus(p,d),λCensus)

(9)

式中：ρ(C,λ)是關(guān)于變量C的歸一化函數(shù)，定義為

(10)

2 代價聚合

由于圖像中的單個像素點極易受噪聲影響，且沒有考慮到像素之間的視差值存在一定相互關(guān)系，通過初始代價計算后得到的像素視差往往不準確且不連續(xù)，所以需要對參考圖像中每個像素點進行代價聚合。文獻[8]構(gòu)造了基于最小生成樹的代價聚合，但尺度單一，權(quán)重僅依賴顏色信息，匹配精度有待提高。針對此問題，本章提出一種基于圖像分割的樹形濾波代價聚合算法。

2.1 最小生成樹的構(gòu)造

基于圖論的樹形濾波器，將參考圖像視作為一張連通無向圖G=(V,E)，頂點V為圖像的像素點集合，E為邊的集合，可以連接圖中任意兩點。假設(shè)圖像中兩個像素點p,q，連接兩點的邊的權(quán)重表示為w(p,q)，其值大小可以衡量相鄰像素的相似度，如果?K∈V且為無圈圖，使w(K)最小，則K就稱之為G的最小生成樹。本節(jié)把無向圖G看作四連通圖，即像素的上、下、左、右是其鄰近區(qū)域。若僅考慮顏色信息，則權(quán)重值w為鄰近像素p,q間顏色(R,>G,>B)的最大絕對差

(11)

式中：Ii(p)為像素p在i通道的下的像素值。

在構(gòu)造無向圖時，參照代價計算步驟，將像素的顏色和邊緣信息融合計算邊權(quán)重，有利于提高邊緣區(qū)域的匹配精度。為了獲取圖像邊緣信息，需要對圖像進行分割。本節(jié)采用均值漂移(mean-shift)算法進行圖像分割，它作為一種聚類算法，收斂快、分割效果好。圖2中顏色相同表明分割后位于同一區(qū)域。

圖2 圖像分割前后

以分割圖像結(jié)果為根據(jù)，構(gòu)造新的權(quán)重函數(shù)

(12)

式中：edge函數(shù)為求像素點的Sobel值，α為調(diào)節(jié)參數(shù)，V1,2,3,…,n表示分割后不同顏色區(qū)域。

由此可知，在生成最小樹的過程中，若兩點間差異越大，則連接兩點的邊上的權(quán)重值就會越大，這些邊會在求解最小生成樹的過程中被刪除，最后就會得到一棵由所有像素點構(gòu)成的最小生成樹，這類問題一般用貪心算法求解。

采用有限元軟件ABAQUS建立類方形蜂窩夾層結(jié)構(gòu)精細有限元模型，分別對四邊簡支條件下雙壁厚和等壁厚類方形蜂窩夾層結(jié)構(gòu)進行模態(tài)分析。模型尺寸如表2所示，夾層結(jié)構(gòu)上、下面板及夾芯材料均采用Al6061，在夾層結(jié)構(gòu)的4個邊界處分別施加平行邊界方向及z向位移約束，模擬簡支邊界條件；表3為雙壁厚和等壁厚類方形蜂窩夾芯的等效彈性參數(shù)。

2.2 最小生成樹的代價聚合

圖3 最小生成樹上的代價聚合

(13)

(14)

根據(jù)式(14)，就可以求得最小生成樹中任何一個節(jié)點的代價聚合。在代價聚合時，像素節(jié)點都直接或間接對其它像素節(jié)點的代價聚合產(chǎn)生影響，計算過程中只用進行少量加、減、乘運算，因此能高效地進行代價聚合。

3 視差計算及求精

經(jīng)過代價聚合步驟后，真實匹配點在眾多候選點之中的匹配代價最小，于是采用贏者通吃(winner-takes-all，WTA)策略，選取匹配代價最小對應(yīng)的視差值作為初始視差，得到初始視差圖

(15)

(16)

把不穩(wěn)定點的匹配代價值設(shè)為0。最后重復第三步代價聚合算法，使視差值從穩(wěn)定點擴散到不穩(wěn)定點，令圖像平滑，再次利用WTA策略得到精確視差圖。

綜上，本文算法流程如圖4所示。

圖4 本文算法流程

4 實驗結(jié)果與分析

為驗證本文算法的有效性，在本節(jié)中，將本文算法與它4種算法作比較：圖割算法[10](graph cut，GC)、半全局匹配算法[11](semi-global matching，SGM)、同樣基于樹形結(jié)構(gòu)非局部代價聚合算法[8](non-local cost aggregation，NLCA)及其改進的分割樹算法[12](segment-tree，ST)，其參數(shù)按照相應(yīng)論文設(shè)置。并選取Middlebury網(wǎng)站平臺[13]中的圖像作為測試集，其中標準數(shù)據(jù)集Tsukuba、Venus、Teddy和Cones，4組圖像的視差搜索范圍依次分別為[0,15]、[0,>19]、[0,>59]和[0,>59]。實驗使用的電腦配置為Windows 10 64位系統(tǒng)，8 GB內(nèi)存2 GHz AMD處理器，使用C++語言在Visual Studio 2013和OpenCV 2.4.9平臺上實現(xiàn)算法。

對于定量評價指標的計算，將算法所得視差圖與真實視差圖作比較，計算視差值大于給定視差閾值的像素點占整體視差圖像素點的比例，即誤匹配率PBM(percentage of bad matching)，公式為

(17)

式中，dc(p)為計算所得的視差值，dt(p)為圖像真實視差值，N為圖像像素點總數(shù)，δd為視差閾值，一般情況下取1。

為了測試算法在Middlebury測試集中的圖像不同區(qū)域的具體表現(xiàn)，將測試圖像劃分為視差不連續(xù)區(qū)域和非遮擋區(qū)域，統(tǒng)計結(jié)果Disc、All、Nonocc分別代表視差不連續(xù)區(qū)域、全部區(qū)域和非遮擋區(qū)域的誤匹配率。

實驗中使用的參數(shù)值見表1。其中，參數(shù)α調(diào)節(jié)式(12)代價聚合時最小生成樹邊的權(quán)重w，α越大表示邊緣信息的貢獻越大，反之，顏色信息的貢獻越大。為了找到一個通用且合理的α值，使圖像的匹配精度最高，對α在[0,1]的范圍內(nèi)，計算4個標準的Middlebury數(shù)據(jù)集在全部區(qū)域上的誤匹配率。實驗結(jié)果如圖5所示，當α取0.1時，匹配效果最優(yōu)，平均誤匹配率最小。

表1 參數(shù)列表

圖5 不同α取值下的誤匹配率

在Middlebury 4個標準測試集上的實驗結(jié)果如圖6所示。圖6(d)誤差圖中黑色部分為誤差區(qū)域，黑色部分越少表示匹配精度越高，可以看出算法比較接近于真實視差圖。同時將本文算法與其余4種算法在Middlebury標準測試集上定性分析，得到的視差圖對比情況如圖7所示。因為本文算法對邊緣信息上的關(guān)注，在低紋理區(qū)域、視差不連續(xù)區(qū)域都要表現(xiàn)出更優(yōu)的匹配效果。在標準圖Tsukuba中，用白色矩形框框出臺燈區(qū)域，其屬于視差不連續(xù)區(qū)域，可以看出，本文算法比NLCA和ST算法在臺燈邊緣輪廓上顯示更加清晰；還有Teddy圖中，矩形框內(nèi)為弱紋理區(qū)域，本文算法與NLCA算法效果相當，很好地將玩具的手部與背景區(qū)分，手部輪廓顯示清晰；對于Cones圖中矩形框內(nèi)的重復紋理區(qū)域，為本文算法能較好得將重復區(qū)域區(qū)分開來，與真實視差圖更為接近。

圖6 本文算法結(jié)果與真實視差對比

圖7 算法視差結(jié)果

除了視覺上的定性分析，也需要從數(shù)據(jù)上來定量分析。表2為各算法在4組不同風格的標準集上定量評價結(jié)果，視差閾值為1， 使用視差不連續(xù)區(qū)域，全部區(qū)域和非遮擋區(qū)域的誤匹配率來評估該算法的性能。如表2所示，本文算法在各區(qū)域的誤匹配率都低于其它算法，在平均誤匹配率上，本文算法比NLCA和ST算法提高了2個百分點，是SGM算法的3.37倍。

表2 算法誤差率對比/%

為了獲得更可靠的算法評價，在Middlebury 2005和2006測試集中選取16組數(shù)據(jù)集來測試算法的性能，這里使用非遮擋區(qū)域的誤匹配率來進行比較，表3為定量評價的結(jié)果。本文算法以最低的平均誤匹配率和最高的平均排名優(yōu)于其它算法。從本文算法的定量結(jié)果可以看出，非局部的樹形濾波算法從邊緣和分割信息中獲益匪淺。同時，為了更直觀的比較，這里將Cloth3和Dolls的視差圖結(jié)果展示在圖8中。與ST和NLCA算法相比，本文算法在弱紋理區(qū)域和像素邊緣區(qū)域有較好表現(xiàn)。

圖8 算法在Cloth3和Dolls數(shù)據(jù)集上的視差結(jié)果

表3 算法在非遮擋區(qū)域誤差率對比/%

算法的運算時間見表4，由于本文算法在計算匹配代價時，邊緣信息由自適應(yīng)選擇Census變換窗口，計算比較耗時，相較于只考慮顏色信息的NLCA和ST算法，速度稍慢。但是在代價聚合時，算法時間相當。后期可以考慮使用并行計算，以降低代價計算所耗時間，進一步提高匹配速度，達到實時性。

表4 算法運行時間對比/s

5 結(jié)束語

針對立體匹配算法中的代價計算和代價聚合步驟，本文提出一種高精度的立體匹配算法。在代價計算階段，本文算法自適應(yīng)選擇Census變換窗口，將邊緣信息融合進代價計算中來，使代價函數(shù)中包含了更加完整的圖像信息，減少誤匹配率。在代價聚合階段，基于樹形結(jié)構(gòu)構(gòu)造以邊緣信息和顏色信息為權(quán)重值的最小生成樹，通過樹形濾波器進行初始代價聚合。采用WTA策略進行視差后處理，生成視差圖。實驗結(jié)果表明，與同類算法相比，本文算法在低紋理區(qū)域、遮擋區(qū)域和視差不連續(xù)區(qū)域匹配精度均高于其它算法，同時有較好的邊緣保持特性。