宋征璽, 吳淇, 王雪, 王慶

(西北工業(yè)大學 計算機學院, 陜西 西安 710072)

三維重建是計算機視覺領域的經典問題之一,旨在通過多幅圖像間特征關聯(lián)計算目標的三維信息。在基于圖像的三維重建方法中,具代表性的SFM[1]與SLAM[2-3]方法已經廣泛應用于室外大場景稀疏重建。由于圖像中特征點間關聯(lián)缺乏有效的先驗,特征點間的相似性干擾特征匹配、三維點云與相機姿態(tài)捆綁調整等步驟,制約了多視圖三維重建方法運算速度與精度。光場成像技術通過高維的數(shù)據(jù)采集模式,能夠記錄不同角度的光線強度并有助于提升視覺系統(tǒng)感知場景及目標深度的性能。

Levoy等[4]提出平行雙平面模型并能夠實現(xiàn)對空間光線四維信號(空間和角度)的有效采集。通過空間-角度維組合,視覺特征在對極平面圖(epipolar plane image,EPI)[5-6]中呈現(xiàn)一致性分布。當視差范圍小于(±1)時,一致性特征為連續(xù)的直線且斜率與目標深度相關。但雙平面光場僅能獲得2.5D的目標重建,難以實現(xiàn)360°目標重建。

將相機環(huán)繞旋轉軸等間隔采樣可獲得環(huán)形光場,該三維圖像體記錄了場景與目標3600光線強度。視覺一致性特征具有高維連續(xù)光強分布特性,且光強分布軌跡蘊含了場景及目標與相機的相對運動關系。隨著采樣密度的增加,光強連續(xù)分布的一致特性不斷增強。Feldmann等[7-9]提出了環(huán)形光場中特征軌跡分析方法(image cub trajectory,ICT)。Yucer等[10]通過研究高角度分辨率采集(10幀1°),在二維EPI中通過局部梯度計算目標深度。Vianello等[11]在二維EPI上進行線檢測,利用二維霍夫變換求解曲線參數(shù)并進行深度估計。此方法在正交投影模型下,可以準確估計場景深度。但在攝影投影下,圖像體特征軌跡分布在多層EPI中,并呈現(xiàn)三維分布特性。因此,二維霍夫線檢測難以解決一致性視覺特征軌跡不完整引起的曲線參數(shù)估計歧義性?；谔卣鬈壽E呈現(xiàn)三維分布的特性,本文提出基于三維霍夫變換的環(huán)形光場三維重建算法。根據(jù)環(huán)形光場空間和角度采樣分辨率,本文定義了高維霍夫空間,并采用三維結構張量分析特征軌跡局部方向,以解決二維霍夫變換估計三維曲線參數(shù)的歧義性。本文構建了環(huán)形光場仿真與真實數(shù)據(jù)集,通過定量與定性分析驗證了算法的有效性。

1 環(huán)形光場數(shù)學模型

設目標旋轉中心為M,相機焦距是f,光心坐標為C(xc,yc),相機與旋轉軸距離為RM。三維空間中一點P,到旋轉軸距離為R,初始相位為φ,如圖1a)所示。在X-Z世界坐標系平面上,X,Z分量可以通過極坐標表示

X=Rsin(θ+φ)

Z=RM-Rcos(θ+φ)

(1)

在旋轉角度θ∈(0～2π]中依次采集的圖像構成三維圖像體V(x,y,θ),特征點軌跡曲線為(2)式所示

(2)

其在x,y方向投影分別如(3)至(4)式所示

(3)

(4)

環(huán)形光場一致性特征分布為三維空間中的正弦曲線。圖1a)空間中P1,P2,P3點,其旋轉半徑分別為R1,R2,R3,其初始相位分別為φ1,φ2,φ3.其在三維圖像體中的特征軌跡如圖1b)所示。隨著空間點距離旋轉軸半徑R增大,曲線的振幅隨之增大。由于點P2在攝像機的水平視線平面上,即曲線完整分布在y=yc平面上,其余空間高度下特征點的軌跡均為三維曲線,即其分布在[y′-Δy,y′+Δy]的圖像體中。

圖1 環(huán)形光場采集模型與三維圖像體空間特征軌跡示意

2 基于三維霍夫變換的三維重建

霍夫變換廣泛應用于圖像分析中直線以及二次曲線的參數(shù)估計。在相機攝影投影下,一致性特征軌跡分布在多層EPI中。本文引入三維結構張量分析高維曲線局部方向,并設計三維霍夫空間進行曲線參數(shù)求解?；舴蜃儞Q需要在二值圖像中提取檢測點,因此本文采用3D Canny算子提取圖像體中的V(x,y,θ)三維曲線。

2.1 基于三維結構張量的參數(shù)求解

通過3D Canny算子得到圖像體中高維曲線E(x,y,θ),已知曲線中的點x,y,θ,而需求解的曲線參數(shù)為(R,φ,Y)。根據(jù)(2)式,當已知部分參數(shù)R,Y時,φ具有2個解。但2個解所處的曲線方向不同,因此可采用結構張量分析圖像體的局部方向。將三維圖像體V(x,y,θ)分別對x,y,θ求偏導得到V=(Vx,Vy,Vθ)T,則其三維結構張量表示為

(5)

根據(jù)三維結構張量定義可知,三維結構張量的局部特征方向在y=y*平面投影與x軸的角度為[12]

(6)

正弦曲線是周期函數(shù),其φ+θ解分布在Ⅰ、Ⅱ、Ⅲ、Ⅳ 4個區(qū)域。根據(jù)(6)式,可唯一確定參數(shù)φ,即

(7)

2.2 三維霍夫空間

三維霍夫空間由參數(shù)H(R,φ,Y)定義,參數(shù)空間的每一組取值表示圖像體中的一條三維曲線E(x,y,θ)。根據(jù)傳感器尺寸與環(huán)形光場采樣數(shù)量將三維霍夫空間離散化三維網(wǎng)格,每個網(wǎng)格初值為零。設傳感器尺寸為Nx×Ny,單個像素的物理尺寸為s,則點云的旋轉半徑R與曲線幅值的關系為[9]

(8)

式中,?FOV=2arctan((s·Nx)/2f),A∈[0,1,…,Nx/2]。

三維霍夫空間Y的離散化采樣與Ny相關

(9)

式中,B∈[0,1,…,Ny]。

參數(shù)φ離散化為環(huán)形光場采樣幀數(shù)N,則

(10)

令3D Canny點云中一點E(xi,yi,θi),遍歷A中每一個值,根據(jù)(3)式,φ有2個解φ+和φ-,可根據(jù)其局部方向確定唯一解(見(7)式)。此后,依據(jù)(4)式,計算得到Y。在3D Canny點云中所有點參與投票后,對應的參數(shù)空間依次累計得到局部最大值,即為特征軌跡曲線對應參數(shù)。

2.3 三維曲線參數(shù)篩選策略

真實空間中的物體以不同的半徑繞軸旋轉,其對應的圖像體空間中的三維正弦曲線有不同的幅值。因此,在3D Canny點云中,不同幅值的曲線包含不同數(shù)量的點云:旋轉半徑較小的空間點,其圖像體空間曲線的特征點數(shù)量較少;旋轉半徑較大的空間點,其圖像體空間曲線的特征點數(shù)量較多,即環(huán)形光場的采樣不均衡。因此在霍夫空間中,對于較大的A區(qū)域的累計值將高于A較小的區(qū)域。其次,幅值較大的軌跡中的二值點參與投票的次數(shù)將多余半徑較小的點,因此在霍夫空間中噪聲在A較大的區(qū)域較大。

首先采用低通濾波器對霍夫空間的低頻區(qū)域進行濾除。然后設計與霍夫空間等尺寸的三維權值矩陣W(A,B,γ),其A維每一列為e-0.001·[1,2,…,Nx/2]T。通過將權值矩陣點乘霍夫空間的方式進行標準化處理。此時,可采用全局閾值(Otsu算法)確定空間中的所有局部最大值。原始霍夫三維空間以及標準化霍夫空間如圖2所示。

圖2 三維霍夫空間

3 環(huán)形光場三維重建算法

基于三維霍夫變換的環(huán)形光場三維重建算法的流程如表1所示,該算法的輸入是環(huán)形光場高維圖像體,輸出是三維點云。

表1 算法流程

4 實驗結果與分析

為了驗證本文算法的有效性,分別對比了3種三維重建算法：①Geosele等人提出的多視立體重建(multi-view estimation,MVE)[13]；②Furukawa等人提出的基于聚類的多視圖立體重建(clustering views for multi-view stereo,CMVS)[16]；③Vianello等人提出的基于二維霍夫變換的環(huán)形光場重建方法(2D Hough)[11]。

4.1 三維霍夫變換性能分析

本文采用Blender[14]仿真生成了環(huán)形光場數(shù)據(jù)集,所有數(shù)據(jù)集中包含720個視點,每個子視點下圖像大小為960×540,像素的尺寸為6 μm。為驗證三維霍夫變換的性能,對全局閾值分別取[0.1,0.9]增量為0.1,對比二維霍夫變換與三維霍夫變換生成點云數(shù)量與均方根誤差(RMSE)[15],如圖3所示。隨著全局閾值的增大,無論二維、三維霍夫其點云數(shù)量不斷減小,RMSE不斷減小。在相同的閾值下,三維霍夫重建得到的點云數(shù)量多于二維霍夫重建方法,且誤差普遍較小。

圖3 3D/2D霍夫變換性能對比

4.2 仿真數(shù)據(jù)結果

圖4展示了4種方法在2組不同數(shù)據(jù)集中的重建效果,表2給出了重建誤差RMSE。這兩組數(shù)據(jù)有大量的相似性特征,在佛像數(shù)據(jù)中,物體表面紋理較為相似且具有一定的鏡面反射。MVE算法重建的結果具有較多的噪聲,CMVS算法僅能夠得到SFM的結果,由于點云過于稀疏難以得到稠密重建的結果。整體基于環(huán)形光場霍夫線檢測的算法優(yōu)于多視圖算法,但由于二維霍夫變換難以對三維曲線參數(shù)進行有效的解算,其在目標上下邊緣區(qū)域誤差較大。且在佛像平滑的面部區(qū)域,估計出現(xiàn)較大的空洞。而三維霍夫重建方法能夠得到較為完整與精確的估計,其RMSE為4種方法最小。在樹枝數(shù)據(jù)中,目標呈現(xiàn)朗博特性且相似性特征較多。MVE算法無法對此類目標進行三維重建,而CMVS算法收斂至2個目標,整體誤差較大?；谌S霍夫重建的方法在目標的凹面,遮擋關系較為復雜的區(qū)域能夠得到較好的估計結果。

圖4 仿真數(shù)據(jù)對比效果

4.3 真實數(shù)據(jù)結果

采用NIKON D700相機采集環(huán)形光場的圖像分辨率為4 256×2 832,每個傳感器尺寸為8.4 μm,焦距為f=48 mm。目標放置在高精度的旋轉臺,共采集360幀圖像(角度分辨率為1°)。采集2組數(shù)據(jù)進行三維重建實驗,真實場景采集數(shù)據(jù)包含復雜的圖像噪聲、光照變化等,如圖5所示。由于相似性的特征導致多視圖重建方法難以得到有效的三維重建結果,MVE算法無法得到點云,而CMVS算法估計得到的點云不收斂?；诨舴驒z測的三維重建方法整體優(yōu)于多視圖的算法,本文提出的三維霍夫重建方法能夠得到更多細節(jié)。與2D Hough算法相比,本文可以在目標的上下邊緣處較好的估計三維點云,且點云更為稠密,如圖5所示。CMVS與MVE等方法在目標有大量相似特征時,出現(xiàn)重建失效或結果過于稀疏的現(xiàn)象。

圖5 真實數(shù)據(jù)對比效果

從計算復雜度看,二維霍夫變換是逐層(圖像垂直方向)對EPI圖像進行Canny邊緣提取,并進行霍夫計算。而基于三維霍夫變換是對整個圖像體進行霍夫計算,從霍夫計算這一步看從二維到三維沒有增加運算量。但由于一致性視覺特征具有三維分布特性,因此采用3D Canny會比2D Canny得到更多的邊緣特征點,如圖4至5所示。因此,三維霍夫變換比二維方法,運算時間更長但得到更加密集的重建效果。

表2 RMSE均方誤差對比

5 結 論

根據(jù)環(huán)形光場特征軌跡呈現(xiàn)三維分布的特性,本文提出基于三維霍夫變換的環(huán)形光場三維重建方法。本文通過分析特征軌跡三維分布,采用3D Canny算子提取圖像體中的軌跡曲線,并采用三維結構張量分析曲線的局部方向。構建面向三維曲線檢測的三維霍夫空間,設計了霍夫參數(shù)篩選方法。通過曲線參數(shù)恢復每個視點下的深度圖,生成每個視點下三維點云并通過環(huán)形光場系統(tǒng)參數(shù)融合最終得到重建結果。本文在環(huán)形光場仿真與真實數(shù)據(jù)集中進行了三維重建實驗。結果表明,該方法能夠提高重建的精度與效果。