劉爽 陳德運(yùn)

摘要：為了獲得連續(xù)稠密的視差圖像，提出了一種基于改進(jìn)Census變換和網(wǎng)狀代價(jià)聚合的立體匹配方法。在初始匹配代價(jià)計(jì)算中，用灰度排序剔除極值的方法獲取參考像素，改善Census變換對(duì)于亮度差異的抑制效果。在代價(jià)聚合計(jì)算中，采用SLIC超像素分割方法對(duì)圖像進(jìn)行區(qū)域劃分，在區(qū)域內(nèi)按照網(wǎng)狀搜索去尋找鄰域像素，并根據(jù)鄰域像素距離待匹配像素的遠(yuǎn)近配置權(quán)重，完成待匹配像素的代價(jià)聚合。實(shí)驗(yàn)結(jié)果表明，提出算法計(jì)算出的視差圖像，壞像素比例低、視差連續(xù)而稠密，其性能與Middlebury平臺(tái)上排名第一的Locamxp算法接近。

關(guān)鍵詞：稠密視差圖像;立體匹配;Census變換;網(wǎng)狀聚合

DOI：10.15938/j.jhust.2020.02.004

中圖分類號(hào)：TP391文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1007-2683（2020）02-0025-06

0 引言

Daniel將稠密視差圖像的計(jì)算方法劃分成四個(gè)階段，初始匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算、視差優(yōu)化。其中，初始匹配代價(jià)求取的準(zhǔn)確性、代價(jià)聚合的可靠性，對(duì)于整個(gè)立體匹配方法具有決定性影響。

起初，初始匹配代價(jià)計(jì)算廣泛采用了像素灰度相似性作為是否匹配的判斷依據(jù)。但是像素灰度對(duì)于光照因素過(guò)于敏感，導(dǎo)致光照不均勻時(shí)匹配代價(jià)計(jì)算不準(zhǔn)確。為此，Hirshmuller提出了運(yùn)用Cen。SUS變換算子計(jì)算初始匹配代價(jià)的思路。Census變換算子確實(shí)具有明顯的光照魯棒性，但過(guò)于依賴于變換區(qū)域中心像素的準(zhǔn)確性。因此，只有保障中心像素信息的準(zhǔn)確性，才能保證初始匹配代價(jià)計(jì)算的準(zhǔn)確性。

對(duì)于局部匹配算法而言，代價(jià)聚合是提升整個(gè)算法匹配精度的最重要手段。在代價(jià)聚合的研究工作中，最早出現(xiàn)的是矩形窗口。但矩形窗口的形狀是固定的，在圖像上的漫游過(guò)程中也容易將噪聲像素納入聚合體系，從而導(dǎo)致代價(jià)聚合結(jié)果的不準(zhǔn)確。為此，Zhang提出了一種十字形交叉聚合窗口，并根據(jù)其它像素和中心像素的顏色相關(guān)性、空間距離相關(guān)性，靈活地調(diào)整調(diào)整窗口的大小，以盡可能剔除聚合窗口中的噪聲干擾。Cheng根據(jù)各像素初始匹配代價(jià)的關(guān)聯(lián)性，構(gòu)建了一個(gè)交叉樹狀的聚合結(jié)構(gòu)，這個(gè)交叉樹由水平樹和垂直樹構(gòu)成，進(jìn)而結(jié)合區(qū)域邊緣約束實(shí)現(xiàn)了更加準(zhǔn)確的匹配。Li將最小生成樹方法和3D標(biāo)簽技術(shù)結(jié)合起來(lái)，設(shè)計(jì)了一種3D代價(jià)最小樹隨機(jī)搜索策略，實(shí)現(xiàn)了快速而有效的代價(jià)聚合。

本文在Middlebury框架的基礎(chǔ)上，在初始匹配代價(jià)計(jì)算和代價(jià)聚合階段提出新的方案，構(gòu)建出一種新的立體匹配方法以獲得更加理想的稠密視差圖像。

1 提出的立體匹配方法

1.1 改進(jìn)Census變換計(jì)算初始匹配代價(jià)

以像素灰度作為依據(jù)來(lái)計(jì)算匹配代價(jià)，對(duì)于光照條件非常敏感。如果立體視覺(jué)傳感器中兩個(gè)像機(jī)接收的光強(qiáng)不一致，就容易形成立體圖像對(duì)中左右兩個(gè)圖像的亮度差異較大，導(dǎo)致匹配代價(jià)計(jì)算出現(xiàn)較大誤差。因此，本文選擇了對(duì)光照條件更為魯棒的Census變換方法，來(lái)完成初始匹配代價(jià)的計(jì)算。但是Census變換對(duì)參考像素比較敏感，如果參考像素受到了噪聲污染，就容易導(dǎo)致匹配代價(jià)計(jì)算的不準(zhǔn)確。為此，本文建立一個(gè)新的流程來(lái)確定參考像素，以提升其對(duì)噪聲的敏感性。

以一個(gè)3*3的窗口為例，參考像素值確定的方法如圖1所示。

圖1中，P_{0]為要計(jì)算初始匹配代價(jià)的像素，Pi（i=1，2，…，8）為像素P0的鄰域像素。首先，按照像素位置將8個(gè)鄰域像素進(jìn)行排列。其次，根據(jù)像素灰度值的大小調(diào)整8個(gè)像素的位置關(guān)系。再次，去掉8個(gè)像素中的灰度值最小像素和灰度值最大像素。最后，以剩余6個(gè)像素的灰度平均值作為參考像素的灰度值。}

接下來(lái)，按照Census變換方法的流程，計(jì)算P_o的初始匹配代價(jià)。

計(jì)算變換窗口內(nèi)的比特串，處理如下：

式中：B（P₀）為以P₀為待處理像素計(jì)算出的Bit串，G_A對(duì)應(yīng)于圖2中的參考像素灰度;P_i代表像素P₀的鄰域像素;C（只）代表鄰域像素的灰度;×表示按位連接的操作。

按照式（1）的方法，分別計(jì)算立體圖像對(duì)中左右圖像對(duì)應(yīng)的Bit串，可得B_L（P₀）、B_R（P₀）。B_L（P₀）表示左圖像的Bit串，B_R（P₀）表示右圖像的Bit串。進(jìn)而在搜索視差范圍的約束下，可以計(jì)算出像素P₀的初始匹配代價(jià)，如下：

C（Po，d）=Hamming[B_L（Po），B_R（P₀+d）] （2）式中：d為搜索視差;Hamming[·]為漢明距離;C（P₀，d）為像素P₀的初始匹配代價(jià)。

1.2 基于網(wǎng)狀搜索的代價(jià)聚合

代價(jià)聚合，是將待匹配像素及其周圍鄰域像素的初始匹配代價(jià)進(jìn)行聚合，以增強(qiáng)待匹配像素匹配代價(jià)的可信度。在立體匹配算法發(fā)展的早期階段，固定大小的矩形窗口是普遍使用的聚合窗口。但是，矩形窗口內(nèi)的鄰域像素，有的可能和帶匹配像素缺乏局部灰度、局部紋理的相關(guān)性。這些像素的初始匹配代價(jià)，對(duì)于待匹配像素匹配代價(jià)可信度的提升具有嚴(yán)重的負(fù)面影響。因此，學(xué)者們提出了不同的聚合窗口以提升鄰域像素和待匹配像素之間的關(guān)聯(lián)程度。

本文中，采用超像素分割方法對(duì)圖像進(jìn)行區(qū)域劃分，進(jìn)而在區(qū)域內(nèi)按照網(wǎng)狀搜索去尋找鄰域像素，并根據(jù)鄰域像素距離待匹配像素的遠(yuǎn)近配置權(quán)重，進(jìn)而將這些像素的匹配代價(jià)按照對(duì)應(yīng)權(quán)重加權(quán)聚合起來(lái)，完成待匹配像素的代價(jià)聚合。

在超像素分割中，采用SLIC算方法。這種算法通過(guò)種子點(diǎn)初始化、種子鄰域更新、像素點(diǎn)配置標(biāo)簽、距離度量、迭代優(yōu)化、增強(qiáng)連通性，實(shí)現(xiàn)分割，其示意如圖2.

從圖2可以看出，經(jīng)過(guò)SLIC算法的超像素分割，整個(gè)圖像平面被劃分為多個(gè)大小接近的區(qū)域，這些區(qū)域也比較精確地利用了圖像中的灰度和紋理邊界，各區(qū)域紋理和灰度信息都比較接近，具有較高的關(guān)聯(lián)性。

接下來(lái)，在每個(gè)區(qū)域內(nèi)執(zhí)行網(wǎng)狀搜索，遍歷區(qū)域內(nèi)待匹配像素的關(guān)聯(lián)鄰域像素，其搜索過(guò)程如圖3所示。

在圖3中，斜線填充區(qū)域?yàn)槌袼胤指瞰@得的區(qū)域邊界，0號(hào)標(biāo)注的紅色像素為待匹配像素，各個(gè)黃色像素為最終搜索到的鄰域像素。搜索過(guò)程按照先橫向后縱向的原則進(jìn)行。以圖中的位置為例，從位置0開始，先執(zhí)行橫向搜索，逐次找到1號(hào)、2號(hào)、3號(hào)、4號(hào)、5號(hào)像素，0號(hào)像素的左側(cè)和5號(hào)像素的右側(cè)均為區(qū)域邊界，不與記錄。之后，分別從0號(hào)、1號(hào)、2號(hào)、3號(hào)、4號(hào)、5號(hào)像素向上方縱向搜索，只有4號(hào)像素上方找到6號(hào)像素。之后，從6號(hào)像素再分別執(zhí)行橫向搜索和縱向搜索，均為區(qū)域邊界。之后，分別從0號(hào)、1號(hào)、2號(hào)、3號(hào)、4號(hào)、5號(hào)像素向下方縱向搜索，分別找到7號(hào)、8號(hào)、9號(hào)、10號(hào)、11號(hào)像素。以此類推，一直找到區(qū)域內(nèi)全部像素。

搜索到區(qū)域內(nèi)的全部像素以后，按照距離待匹配像素的遠(yuǎn)近，為每一個(gè)像素配置權(quán)重，具體處理如下：

式中：i為像素標(biāo)號(hào);ω_i為第i號(hào)像素的權(quán)重;x_i、y_i為第i號(hào)像素的橫縱座標(biāo);x₀，y₀表示第0號(hào)像素的橫縱座標(biāo)。

最后，將網(wǎng)狀聚合窗口內(nèi)各個(gè)像素的初始匹配代價(jià)進(jìn)行聚合，具體處理如下：

2 實(shí)驗(yàn)結(jié)果與分析

2.1實(shí)驗(yàn)數(shù)據(jù)

為了驗(yàn)證本文提出的基于改進(jìn)Census變換和網(wǎng)狀代價(jià)聚合的立體匹配方法對(duì)于獲得致密視差圖像的有效性，進(jìn)一步展開實(shí)驗(yàn)研究。實(shí)驗(yàn)中，選擇了Middlebury立體視覺(jué)評(píng)價(jià)平臺(tái)上的4類立體圖像，分別是Staircase，Newkuba，Livingroom，Hoops。這4類立體圖像由Daniel Scharstein及其合作者采用德國(guó)DLR立體視覺(jué)傳感器拍攝，配置了標(biāo)準(zhǔn)的視差圖像，是立體視覺(jué)領(lǐng)域通用的測(cè)試數(shù)據(jù)。

為了形成和本文方法的直觀對(duì)比，在Middle-bury立體視覺(jué)評(píng)價(jià)平臺(tái)選擇了2類方法，分別是Lo-calExp算法、FEN-D2DRR算法。目前，這2類方法的立體匹配性能在Middlebury平臺(tái)上分別排名第1、4位。

2.2 視差圖質(zhì)量比較

3種方法生成的視差圖像質(zhì)量的視覺(jué)效果比較。如圖4所示。

圖4中，第一列為Staircase圖像及其視差圖像，第二列為Newkuba圖像及其視差圖像，第三列為L(zhǎng)ivingroom圖像及其視差圖像，第四列為Hoops圖像及其視差圖像。第a行為四組圖像對(duì)的左圖原始圖像，第b行為四組圖像的真實(shí)視差圖，第c行為四組圖像采用LocalExp算法獲得的視差圖像，第d行為四組圖像采用FEN-D2DRR算法獲得的視差圖像，第e行為四組圖像采用本文算法獲得的視差圖像。

從圖4中的視差圖質(zhì)量可以看出，本文方法獲得了比較理想的稠密視差圖像，其效果與目前Mid-dlebury平臺(tái)上排名第一的LocalExp算法不相上下，都非常接近真實(shí)視差圖像。

2.3 壞像素占比比較

進(jìn)一步比較3種方法生成的視差圖像中的壞像素情況，如圖5所示。

圖5中，第一列為Staircase壞像素圖像，第二列維Newkuba壞像素圖像，第三列為L(zhǎng)ivingroom壞像素圖像，第四列為Hoops壞像素圖像。第a行為四組圖像對(duì)的真實(shí)視差圖像中的壞像素分布，第b行為四組圖像采用LocalExp算法獲得的視差圖像中的壞像素分布，第c行為四組圖像采用FEN-D2DRR算法獲得的視差圖像中的壞像素分布，第d行為四組圖像采用本文算法獲得的視差圖像中的壞像素分布。

為了進(jìn)一步直觀地比較本文方法和其它4種方法立體匹配過(guò)程中壞像素比例的高低，對(duì)圖8、圖9中的壞像素比例進(jìn)行統(tǒng)計(jì)，列在表1中。

3 結(jié)論

為了獲得連續(xù)稠密的視差圖像，本文在Daniel立體匹配算法框架的基礎(chǔ)上，構(gòu)建了一種新的立體匹配方法。在初始匹配代價(jià)計(jì)算步驟，對(duì)Census變換方法進(jìn)行改進(jìn)，通過(guò)剔除極值的方法對(duì)亮度差異進(jìn)行了有效抑制，提升初始匹配代價(jià)計(jì)算的準(zhǔn)確性。在代價(jià)聚合步驟，采用SLIC算法對(duì)立體像對(duì)執(zhí)行超像素分割，在每個(gè)分割區(qū)域內(nèi)采取網(wǎng)狀策略搜索聚合像素，提升聚合代價(jià)的可信度。選擇Middlebury平臺(tái)上的Staircase，Newkuba，Livingroom，Hoops等4類立體像對(duì)作為測(cè)試圖像，選擇LocalExp算法、FEN-D2DRR算法作為本文算法的比較算法，執(zhí)行立體匹配。實(shí)驗(yàn)結(jié)果表明，本文算法可以獲得連續(xù)稠密的視差圖像、壞像素比例低，其性能與Middle。bury平臺(tái)上排名第一的LocalExp算法接近。