馬寧，門宇博，李香，門朝光(.哈爾濱工程大學 計算機科學與技術學院，黑龍江 哈爾濱，5000；2.哈爾濱師范大學 計算機科學與信息工程學院，黑龍江 哈爾濱，5000)

基于模糊邏輯的多尺度小基高比立體匹配方法

馬寧1,2，門宇博1，李香1，門朝光1
(1.哈爾濱工程大學 計算機科學與技術學院，黑龍江 哈爾濱，150001；
2.哈爾濱師范大學 計算機科學與信息工程學院，黑龍江 哈爾濱，150001)

針對小基高比立體匹配中的輻射差異和深度精度問題，提出一種小基高比立體匹配方法。該方法首先通過小波變換對立體圖像構建多尺度空間，然后利用HSL色彩模式下的模糊邏輯相似性測度函數(shù)和十字支撐臂自適應窗口技術獲取初始匹配成本，再依據(jù)“勝者全取”策略計算整數(shù)級視差，最后以整數(shù)級視差為基礎利用基于迭代相位相關法的亞像素匹配方法計算亞像素級視差圖。研究結果表明：該立體匹配算法克服了小基高比匹配中的輻射差異問題，同時獲得了高精度亞像素級視差，其亞像素精度高于1/20個像素。

立體匹配；小基高比；自適應窗口；模糊邏輯；亞像素視差

立體匹配是計算機視覺領域的研究熱點，它利用不同視角下圖像的視差，根據(jù)三角測量原理獲取場景三維信息?；弑仁侵笖z影基線長度與攝像機高度的比值，根據(jù)基高比的差異可將匹配方法分為大基高比立體匹配方法和小基高比立體匹配方法。按文獻[1]的分類標準，大基高比立體匹配方法又可分為局部匹配和全局匹配。局部方法以自適應權重[2]和自適應窗口[3]為代表算法，具有較高的準確率和效率。全局方法利用動態(tài)規(guī)劃(dynamic programming,DP)[4]、置信傳播(belief propagation, BP)[5]和圖割(graph cut,GC)[6]等算法將匹配問題轉為求解能量最優(yōu)化問題，可獲得更高質(zhì)量的視差結果。大基高比圖像存在較大遮擋和幾何畸變等不利因素影響相關匹配，為減弱上述不利因素對匹配的影像，小基高比立體匹配技術應運而生。小基高比圖像具有視角變化小，遮擋少、幾何畸變和陰影變化不明顯等優(yōu)點，但小基高比會造成深度精度的損失，因此，在小基高比立體匹配中視差的量測精度必須達到亞像素級別以彌補這部分損失。DELON 等[7]提出小基高比立體匹配方法，該方法通過概率密度函數(shù)自適應調(diào)節(jié)支撐窗口保障了匹配的準確率，但由于相似性度量采用基于灰度的規(guī)范化互相關方式，該方法在輻射差異條件下誤差較高，另外形狀單一的支撐窗口導致前景物體邊界膨脹；門朝光等[8]提出基于迭代傳播的小基高比匹配法，該算法通過求解相關基本等式減少了文獻[7]中存在的膨脹現(xiàn)象；范大昭等[9-10]提出基于相位相關的小基高比匹配算法獲得了較高的視差精度，但側重于研究靶標的亞像素視差，沒有對稠密匹配模式進行探究。為有效解決小基高比立體匹配中輻射差異問題，同時獲得高精度稠密的亞像素級視差圖，本文作者提出一種基于模糊邏輯的多尺度小基高比立體匹配方法。該方法通過將模糊邏輯相似性測度函數(shù)和自適應窗口技術相結合以解決輻射差異條件下的立體匹配問題，同時為克服小基高比對深度精度的影響，采用一種基于迭代相位相關法的亞像素級匹配方法計算高精度的亞像素級視差圖。

1　算法框架

本文提出的基于模糊邏輯的多尺度小基高比立體匹配方法處理的是經(jīng)過極線校正的立體圖像，并最終輸出稠密的亞像素級視差圖。該方法首先通過小波變換為立體圖像構建多尺度空間，再根據(jù)HSL色彩模式下的模糊邏輯相似性測度函數(shù)和自適應窗口技術獲取初始匹配成本，然后利用“勝者全取”策略計算整數(shù)級視差，采用模糊集理論構建測度函數(shù)可以有效地壓制輻射差異帶來的影響。最后在整數(shù)級視差基礎上，利用基于迭代相位相關法的亞像素級匹配方法獲得亞像素級視差圖?；谀：壿嫷亩喑叨刃』弑攘Ⅲw匹配算法的整體流程如圖1所示。

圖1　匹配算法流程圖Fig.1　Flow chart of proposed stereo matching algorithm

2　算法的關鍵步驟及實現(xiàn)

2.1基于小波變換的多尺度空間構建

多尺度空間是一種由粗到精的匹配思路：首先對圖像多分辨率分解，按分辨率由粗到精的順序自上而下構造多尺度空間；從空間頂級開始逐級向下匹配，將高一級圖像匹配結果作為約束條件，指導低一級尺度圖像的匹配過程，最終到達最低一級對原始分辨率圖像進行匹配。視差變化范圍隨尺度的增加而減小，各尺度間的視差滿足dk=d/2k，其中k為尺度級別，d為原始圖像視差。小波變換具有良好的多尺度特性，設f( x1, x2)為原始分辨率圖像，是一組K層多尺度空間圖像，φ(x1, x2)和ψ(x1,x2)為相應尺度函數(shù)和小波函數(shù)，則f(x1,x2)的多尺度空間表達式為

式(1)右側第1項表示原始圖像在多尺度空間的低通濾波信號，系數(shù)C為f的離散平滑逼近；第2項為3個帶通濾波細節(jié)。以兩級尺度空間為例，如圖2所示，經(jīng)小波分解后空間中第k-1層圖像的低頻部分LLk-1可表示為：k層的低頻部分LLk和水平、垂直、對角線3個方向上的高頻成分HLk，LHk和HHk。

圖2　小波多尺度空間示意圖Fig.2　Schematic diagram of wavelet based multiscale space

多尺度空間中任意相鄰2層圖像k與k-1之間的視差傳播方式為：k層圖像中的任意像素點(u,v)對應了k-1層圖像中的4個像素點(2u,2v)，(2u+1,2v)，(2u,2v+1)和(2u+1,2v+1)。假設(u, v)點的匹配像素點為(u',v')，則(2u,2v)點可能匹配的像素為(2u',2v')，(2u'+1,2v')，(2u',2v'+1)和(2u'+1,2v'+1)，任意相鄰2層圖像k與k-1之間的視差傳播公式為

式中：dk-1(2u,2v)表示k-1層圖像在(2u,2v)像素點處的視差結果；dk(u, v)為k層圖像在(u, v)像素點處的視差結果；Δd為(0,0)，(0,1)，(1,0)，(1,1) 這4項中使匹配成本最小的一項。

2.2基于模糊邏輯的相似性測度函數(shù)

為了克服匹配中的輻射差異問題，本文提出一種基于模糊邏輯的測度函數(shù)來判斷像素點間的相似性。HSL色彩空間中顏色被定義為色度，飽和度和光度3個分量，ΔH，ΔS和ΔL表示各分量的差異?；谀：壿嫷南嗨菩詼y度函數(shù)包括2步。

第1步：為相似性測度函數(shù)建立模糊集。模糊邏輯模型ΔH和ΔS各有4個模糊集，分別被定義為和，由于ΔL表示光度差異，對于存在輻射差異的立體圖像，光度不應作為重要的判別依據(jù)，故ΔL只定義2個模糊集{ls, ll}。模糊集隸屬度函數(shù)表達式為

圖3　模糊隸屬度函數(shù)Fig.3　Fuzzy membership functions

第2步：為相似性測度函數(shù)建立模糊規(guī)則。

規(guī)則1：若ΔH，ΔS和ΔL均較小，則2個像素點具有高相似度。

規(guī)則2：若ΔH，ΔS和ΔL中有1個變量較大，則2個像素點相似度較低。

上述2個規(guī)則的值域為(0,1)，其中：0代表兩像素點相同，1代表兩像素點不同。基于模糊邏輯的相似性測度函數(shù)FR的數(shù)學表達式為

式中：μH， μS和μL分別為H，S，L 3個分量的模糊集隸屬度函數(shù)值。應用模糊相似性測度函數(shù)對參考圖像像素點(u, v)與目標圖像視差為d的對應像素點(u+d, v)計算匹配成本的表達式為

式中：μset(u, v, d )H，μset(u, v, d )S和μset(u, v, d )L表示參考圖像像素點(u, v)與目標圖像像素點3個分量差值的隸屬度函數(shù)值。將立體圖像的全體像素點初始匹配成本C( u, v, d)保存在視差空間圖DSI中，作為后續(xù)步驟的輸入數(shù)據(jù)。

2.3基于十字支撐臂的自適應窗口策略

本文根據(jù)文獻[3]方法提出一種改進的成本累積策略對初始匹配成本C( u, v, d)進行聚合，窗口由同列相鄰像素擴展水平方向線段組成。該累積策略具有2個優(yōu)點：1)支撐區(qū)可以根據(jù)顏色相似度構造任意的形狀和尺寸，更加貼合物體邊界；2)成本累積過程可以利用積分圖像加速技術在常數(shù)時間內(nèi)完成?；谑种伪鄣淖赃m應窗口成本累積包括以下2個步驟：

以十字臂為基礎，擴張成支撐窗口U(p)。U(p)由垂直臂V(p)和沿V(p)滑動的多條水平線段H(q)組成，其數(shù)學表達式為

圖4　基于十字支撐臂的自適應窗口成本累積Fig.4　Graphic illustration of cross-based aggregation

第2步：累積支撐窗口內(nèi)的初始匹配成本。為避免異常像素對累積的影像，采用對稱方式確定像素點p的臂長lp：

最后利用“勝者全取”(winner take all,WTA)策略計算最優(yōu)視差，其視差計算公式為

2.4基于迭代相位相關法的亞像素匹配

圖5　亞像素級匹配算法流程圖Fig.5　Flow chart of sub-pixel matching algorithm

基于迭代相位相關法的亞像素級匹配方法的詳細步驟如下。

1)根據(jù)整數(shù)級視差，確定參考圖像像素點p0( u, v)在目標圖像的對應點，d為整數(shù)視差。以p0和 q0為中心，截取大小為w× h的子圖像與。

3)利用窗口函數(shù)為子圖像加窗，并計算加窗后2幅子圖像的相位相關函數(shù)。設F( u, v)和G( u, v)分別為f( x, y)與g( x, y)的離散傅里葉變換，則二者的相位相關函數(shù)Q可表示為

4)對Q( u, v)作逆傅里葉變換并定位峰值位置，以峰值為中心選取5×5元素區(qū)域進行曲面擬合，計算峰值與中心的亞像素級偏移量。

3　實驗分析

實驗使用2組帶有高程信息的小基高比立體影像對，如圖6所示。圖6(a)所示為2組立體影像對的左視角圖像，圖6(b)所示為2組立體影像對的右視角圖像，簡稱左圖像和右圖像。在成像過程中，基高比約為0.05，地面分辨率R=0.3；為驗證本文算法對輻射差異的魯棒性，對右圖光照條件進行調(diào)整。圖6(c)和(d)所示分別為水平、垂直方向輻射差異圖，光強呈梯度變化，范圍由-50%增加到+50%；圖6(e)所示為真實視差圖。圖7(a)，(c)和(e)所示分別為本文算法在無輻射差異、水平、垂直方向輻射差異3種條件下計算的視差圖，圖7(b)，(d)和(f)所示為文獻[7]描述的MARC算法在上述條件獲取的視差圖。從圖7可以看出：MARC算法隨輻射差異的增加視差圖質(zhì)量下降，物體邊界處產(chǎn)生明顯的膨脹現(xiàn)象。這是由于匹配度量采用互相關函數(shù)，該函數(shù)對輻射差異較敏感，累積窗口只改變窗口尺寸而不改變形狀，導致窗口跨越物體邊界，違背了前視平坦假設。從圖7(a)，(c)和(e)可以看出：本文算法獲得的視差圖質(zhì)量沒有隨輻射差異增加而下降，建筑物的邊界非常清晰，基本上與建筑物原始尺寸一致，本文算法所獲得結果明顯優(yōu)于文獻[7]的實驗結果。但是本文和文獻[7]均采取局部成本累積策略，在大面積弱紋理區(qū)域匹配誤差較大。為了量化比較算法性能，圖8所示為本文算法、文獻[7]和文獻[8]算法誤匹配率量化實驗結果。從圖8可以看出：隨立體圖像之間輻射差異的增加，本文算法所獲得的視差圖誤匹配率仍然相對較低，而其他2組實驗數(shù)據(jù)誤匹配率則明顯增加。本文算法亞像素級視差精度根據(jù)高程精度驗證，高程計算公式為h=δR/( b/ h)(式中δ為視差，R為地面分辨率，(b/ h)為基高比)。利用本文視差圖計算的高程平均誤差為0.299 34 m，對應的視差誤差為0.049 89像素，高于1/20像素(即0.05像素)。

圖6　小基高比立體影像數(shù)據(jù)Fig.6　Small baseline stereo images

圖7　本文算法與文獻[7]MARC算法實驗結果對比Fig.7　Comparison of results between our algorithm and MARC algorithm from Ref.[7]

圖8　本文算法、文獻[7]MARC算法和文獻[8]迭代傳播算法的量化比較實驗結果Fig.8　Statistical results by comparing our algorithm and algorithms from Refs.[7]and[8]

4　結論

1)提出了一種基于模糊邏輯的多尺度小基高比立體匹配方法，該方法利用HSL色彩模式下的模糊邏輯相似性測度函數(shù)計算初始成本，提高了算法在輻射差異條件下的魯棒性。在視差計算過程中，加入了基于十字支撐臂的自適應窗口成本累積策略，提高了視差估計的準確性。

2)在獲得整數(shù)級視差后，利用基于迭代相位相關的亞像素級匹配方法獲得高精度的亞像素級視差，克服了小基高比給深度重建造成的誤差。

3)本文提出的小基高比立體匹配方法在輻射差異條件下具有良好的魯棒性，并且可以獲得高精度的亞像素級視差。

[1]SCHARSTEIN D,SZELISKI R.A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International journal of computer vision,2002,47(1/2/3): 7-42.

[2]SUN X,MEI X,JIAO S,et al.Real-time local stereo via edge-aware disparity propagation[J].Pattern Recognition Letters,2014,49(11):201-206.

[3]ZHANG K,LU J,LAFRUIT G.Cross-based local stereo matchingusingorthogonalintegralimages[J].IEEE Transactions on Circuits and Systems for Video Technology, 2009,19(7):1073-1079.

[4]WANG L,YANG R,GONG M,et al.Real-time stereo using approximatedjointbilateralfilteringanddynamic programming[J].Journal of Real-Time Image Processing, 2014,9(3):447-461.

[5]BESSE F,ROTHER C,FITZGIBBON A,et al.Pmbp: Patchmatchbeliefpropagationfor correspondencefield estimation[J].International Journal of Computer Vision,2014, 110(1):2-13.

[6]WANG H,WU M,ZHANG Y,et al.Effective stereo matching using reliable points based graph cut[C]//Visual Communications and Image Processing.Washington,USA: IEEE Computer Society,2013:1-6.

[7]DELON J,ROUGé B.Small baseline stereovision[J].Journal of Mathematical Imaging and Vision,2007,28(3):209-223.

[8]門朝光,邊繼龍,李香.基于迭代傳播的小基高比立體匹配方法[J].中南大學學報(自然科學版),2012,43(4): 1362-1369. MEN Chaoguang,BIAN Jilong,LI Xiang.Iterative diffusion based stereo matching method for small baseline[J].Journal of Central South University(Science and Technology),2012, 43(4):1362-1396.

[9]范大昭,申二華,李祿,等.基于相位相關的小基高比影像匹配方法[J].測繪科學技術學報,2013,30(2):154-157. FAN Dazhao,SHEN Erhua,LI Lu,et al.Small baseline stereo matching method based on phase correlation[J]. Journal of Geomatics Science and Technology,2013,30(2): 154-157.

[10]李祿,范大昭,耿則勛,等.改進相位相關算法的小基高比影像亞像素匹配[J].測繪科學,2014,44(1):183-188. LI Lu,FAN Dazhao,GENG Zexun,et al.Sub-pixel matching for small baseline and height ratio stereo image pairs based on enhancedphasecorrelationalgorithm[J].Scienceof Surveying and Mapping,2014,44(1):183-188.

[11]ITO K,SASAKI M,AOKI T,et al.Generating robust and stabledisparitymapusingphase-basedcorrespondence matching from stereo video sequence[C]//2013 2nd IAPR Asian Conference on Pattern Recognition.Washington,USA: IEEE Computer Society,2013:586-590.

(編輯羅金花)

Multiscale stereo matching method for small baseline based on fuzzy logic

MANing1,2,MEN Yubo1,LI Xiang1,MEN Chaoguang1
(1.College of Computer Science and Technology,Harbin Engineering University,Harbin 150001,China;
2.College of Computer Science and Information Engineering,Harbin Normal University,Harbin 150001,China)

A stereo matching method for small baseline was proposed to solve radiometric variations and depth accuracy in small baseline stereovision.Firstly,the multiscale space was constructed using wavelet transform.The raw matching cost was calculated by fuzzy logic based similarity function and cross based window.Then the“winner takes all”strategy was used to compute integral disparities.Finally,the sub-pixel stereo matching method based on iterative phase correlation was employed to obtain sub-pixel disparities on the basis of integral disparities.The results show that the proposed stereo matching method overcomes the radiometric variations problem and achieves the dense disparity map with sub-pixel precision higher than 1/20.

stereo matching;small baseline;adaptive window;fuzzy logic;sub-pixel disparity

門朝光，博士，教授，博士生導師，從事計算機視覺研究；E-mail:menchaoguang@hrbeu.edu.cn

TP391.4

A

1672-7207(2016)07-2304-07

10.11817/j.issn.1672-7207.2016.07.018

2015-07-03；

2015-09-03

國家自然科學基金資助項目(61100004，11547157)；黑龍江省自然科學基金資助項目(F201320)(Projects(61100004, 11547157)supported by the National Natural Science Foundation of China;Project(F201320)supported by the Natural Science Foundation of Heilongjiang Province)