，，

(浙江工業(yè)大學(xué) 理學(xué)院，浙江 杭州 310023)

三維重建是計(jì)算機(jī)視覺領(lǐng)域和計(jì)算機(jī)圖形學(xué)的一個(gè)重要的研究方向,其應(yīng)用領(lǐng)域十分廣泛，大批學(xué)者[1-3]進(jìn)行了三維重建在各個(gè)領(lǐng)域的應(yīng)用研究。三維重建是指根據(jù)單幅圖像或者多幅的圖像重建三維信息的過程?；趩畏鶊D像的三維重建避免了基于多幅圖像重建的特征匹配的問題，現(xiàn)實(shí)中基于單幅圖像的三維重建取材方便，簡單的幾步交互操作加以塑造，重建場景，比耗時(shí)費(fèi)力的傳統(tǒng)方法更優(yōu)越。對于減少建模的成本和解放人力意義重大，所以有必要研究單幅圖像的三維重建技術(shù)。滅點(diǎn)對應(yīng)著場景的三維方向，是二維圖像中的重要信息，通過滅點(diǎn)可以重建場景的幾何信息[4]，獲得相機(jī)的參數(shù)[5]，實(shí)現(xiàn)物體的三維重建。近年來，大批學(xué)者進(jìn)行單幅圖像的三維重建的研究。Criminsi等[6]進(jìn)行了的單像量測的相關(guān)研究，并于2000年正式提出所謂單像量測(SVM，Single view metrology)的概念,即通過單張影像上的幾何信息(尤其是滅點(diǎn))進(jìn)行測量。錢晶晶等[7]利用手動標(biāo)定重要的點(diǎn)和平行線，利用滅點(diǎn)性質(zhì)進(jìn)行標(biāo)定，但結(jié)果不夠精確。Nian等[8]提出了一種利用建筑物對稱性的相機(jī)標(biāo)定方法。首先是利用建筑物結(jié)構(gòu)的對稱性進(jìn)行相機(jī)標(biāo)定，根據(jù)標(biāo)定結(jié)果恢復(fù)出1 組三維點(diǎn)。然后手動標(biāo)記出建筑物的各個(gè)組件，通過恢復(fù)三維點(diǎn)確定組件的位置和形狀，但僅適用于對稱物體。Tardif[9]則采用J-linkage算法生成多于3 類候選滅點(diǎn)的最小采樣集，然后根據(jù)候選滅點(diǎn)與直線間的一致性度量函數(shù)有效去除外點(diǎn)。該算法可以解決復(fù)雜建筑物環(huán)境下的滅點(diǎn)檢測問題，實(shí)現(xiàn)建筑物的三維重建，但必須給定攝像機(jī)的內(nèi)參數(shù)信息。Xu等[10]提出的一種帶有統(tǒng)計(jì)特性的一致性度量方法，綜合考慮了直線端點(diǎn)誤差、直線的長度及位置的影響，提高了滅點(diǎn)的檢測精度。王思潔等[11]基于結(jié)構(gòu)化的單幅圖像建筑物，利用平行平面與包含垂直信息的任意平面的平面模型解算三維坐標(biāo)，實(shí)現(xiàn)三維重建。

在上述研究的基礎(chǔ)上，改進(jìn)原來滅點(diǎn)檢測算法未充分利用產(chǎn)生滅點(diǎn)的直線的參數(shù)信息的特點(diǎn)。先利用Canny算子提取出圖像邊緣，再利用Hough變換提取出圖像中的長直線，分析直線特征，對不同方向的直線進(jìn)行分組，根據(jù)各方向的直線滿足線性分布關(guān)系，利用改進(jìn)的回歸算法建立直線參數(shù)的線性模型，充分利用了直線信息，剔除外點(diǎn)，提高了檢測滅點(diǎn)的精度。并利用滅點(diǎn)的性質(zhì)對攝像機(jī)的內(nèi)外參數(shù)進(jìn)行標(biāo)定，然后交互獲得最少的二維點(diǎn)，通過計(jì)算求得的攝像機(jī)內(nèi)外參數(shù)和物體本身的幾何特征計(jì)算相應(yīng)的三維坐標(biāo)，最后進(jìn)行目標(biāo)物體的三維重建。

1 滅點(diǎn)檢測算法

滅點(diǎn)是在空間一組平行線的無窮遠(yuǎn)點(diǎn)經(jīng)過透視投影在二維圖像中形成的像的直線在圖像上的投影線段的交點(diǎn)。獲取單幅圖像上的滅點(diǎn)一般采用自動法，因?yàn)樽詣臃ㄈ藱C(jī)交互少，自動化程度高。步驟如圖1所示。

圖1 滅點(diǎn)檢測算法步驟Fig.1 The steps of vanishing point detection algorithm

1.1 圖像邊緣檢測

邊緣檢測有多種算子可以運(yùn)用，運(yùn)用各類算子進(jìn)行邊緣檢測，實(shí)驗(yàn)結(jié)果如圖2所示。

圖2 各類算子邊緣檢測Fig.2 Edge detection of all kinds of operators

通過圖2實(shí)驗(yàn)對比得出可以提取較好和較多的圖片細(xì)節(jié)，提取的邊緣效果很好，所以選擇canny算子進(jìn)行圖像邊緣檢測。

1.2 直線的獲取與分組

目前獲取直線較好的方法為Hough變換直線，通過Hough變換可以提取圖像中的直線信息并將其轉(zhuǎn)化到參數(shù)空間。坐標(biāo)軸空間一條直線對應(yīng)(ρ,θ)參數(shù)空間一個(gè)點(diǎn)(ρ0,θ0)。重構(gòu)的三維物體是規(guī)則的長方體，故其在圖像空間中會形成水平方向，垂直方向與縱深方向的直線，對直線進(jìn)行分組的方法很多，但是由于需要分組的直線在角度上明顯特征，所以根據(jù)直線的角度方向可以將圖像中的直線分為對應(yīng)方向上3 類，此方法有效并且快速的實(shí)現(xiàn)了直線的初步分組，具體做法為

第1步設(shè)置第一條直線的傾斜角為判斷初始值θ0， 判斷余下的直線，若直線的θ∈θ0-15°，θ0+15°， 則將直線放入第1 組。

第2步重新歷遍存放直線的數(shù)組，若θ?θ0-15°，θ0+15°， 則把檢測到的第1個(gè)θ值作為新的θ1， 把滿足θ∈(θ0-15,θ0+15°)的直線放在第2 組。

第3步將第1組直線的傾斜角取平均值，得到新的θ0， 重新歷遍存放直線的數(shù)組，若θ∈θ0-15°，θ0+15°，則將直線放入第1 組。第2 組進(jìn)行同樣的操作，剩余的直線放在第3 組。

1.3 分組直線優(yōu)化

根據(jù)文獻(xiàn)[12]證明得到對應(yīng)滅點(diǎn)的直線束在(ρ,θ)參數(shù)空間滿足線性分布關(guān)系，對于有誤差樣本點(diǎn)的數(shù)據(jù)集合，為了得到精確滅點(diǎn)，剔除掉無效直線，充分利用直線參數(shù)信息，采用改進(jìn)的回歸算法作為參數(shù)線性模型的估計(jì)算法。

假設(shè)圖像某一方向有n條直線束，分別記為L(ρ(i),θ(i))(i=1,2, …,n)。那么，這n條直線束對應(yīng)的參數(shù)(ρ(i),θ(i))應(yīng)該滿足的一般線性表達(dá)式為

ρ(i)=βTθ(i)+ε(i)i=1,2, …,n

(1)

式中：(ρ(i),θ(i))為n條直線束中第i條直線的參數(shù)；β=(β0,β1)為直線參數(shù)的線性模型參數(shù)；ε(i)為隨機(jī)誤差。為了抑制誤差點(diǎn)的影響，估計(jì)出有效的參數(shù)，根據(jù)滅點(diǎn)直線的特征，將直線的重要性引入?yún)?shù)線性模型的估計(jì)算法中，對于滅點(diǎn)直線來說，它的重要性與其長度成正比，和該直線的傾斜角與其余傾斜角的角度差之和成反比，給每條直線分配一個(gè)W(i)(i=1,2, …,n)為

(2)

式中：α為指定直線的傾斜角與其余傾斜角的角度差之和；σ為魯棒性閾值，設(shè)定為0.1；l為直線的長度；w1，w2為權(quán)重，其中w1=0.7，w2=0.3。

采用改進(jìn)回歸算法的線性擬合目標(biāo)函數(shù)為

(3)

使目標(biāo)函數(shù)達(dá)到最小值時(shí)的β0,β1值即為穩(wěn)健回歸算法所求線性模型的參數(shù)值。這樣得到了直線參數(shù)模型，重新估計(jì)之前的樣本點(diǎn)，若遠(yuǎn)離目標(biāo)函數(shù)的此樣本點(diǎn)就是無效點(diǎn)，則通過設(shè)立有效的閾值，距離大于閥值的即為無效點(diǎn)，參數(shù)空間中對應(yīng)的點(diǎn)為圖形空間中的相應(yīng)直線，通過該算法就可以有效剔除了無效直線。

1.4 滅點(diǎn)求取

根據(jù)文獻(xiàn)[13]利用最小距離法求解滅點(diǎn)的坐標(biāo)。設(shè)滅點(diǎn)直線束l1,l2,…,ln對應(yīng)的滅點(diǎn)為vp，將li和vp都表示為齊次坐標(biāo)的形式(a,b,c)T，則有

Mvp=0

(4)

式中M=[l1,l2,…,ln]T，li=[Ai,Bi,Ci]，對應(yīng)的直線方程為Aix+Biy+Ci=0。

將利用最小距離法求解最佳滅點(diǎn)的問題轉(zhuǎn)化為線性代數(shù)的問題，根據(jù)拉格朗日不定乘子法，將滅點(diǎn)的求解過程轉(zhuǎn)化為數(shù)學(xué)問題，滅點(diǎn)為對稱矩陣MTM最小特征值的特征向量。

2 相機(jī)內(nèi)外參數(shù)的標(biāo)定

利用滅點(diǎn)的性質(zhì)進(jìn)行相機(jī)標(biāo)定，假設(shè)相機(jī)的投影點(diǎn)是圖像的中心。攝像機(jī)的內(nèi)外參數(shù)采用透視投影模型進(jìn)行研究，根據(jù)文獻(xiàn)[14]的介紹得到圖像坐標(biāo)系，攝像機(jī)坐標(biāo)系，世界坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。Fu,Fv是由兩條互相垂直的平行線得到的滅點(diǎn)，F(xiàn)u,Fv在攝像機(jī)坐標(biāo)下的坐標(biāo)分別為(xcu,ycu,f),(xcv,ycv,f),借助王建的攝像機(jī)標(biāo)定方法[15]得到焦距f為

(5)

世界坐標(biāo)系中，滅點(diǎn)為3 個(gè)方向上的無窮遠(yuǎn)點(diǎn)，令這3 個(gè)方向?yàn)閄軸，Y軸，Z軸方向，則有：v1=(1,0,0),v2=(0,1,0),v3=(0,0,1)，則有

(6)

相機(jī)的平移向量與相機(jī)坐標(biāo)系相對世界坐標(biāo)系的位置有關(guān)，因此，任意指定世界坐標(biāo)系的原點(diǎn)，若其在圖像上的坐標(biāo)為(u,v)，則平移矩陣T的表達(dá)式為

(7)

式中：λ=f；K為內(nèi)參數(shù)矩陣，由焦距和投影中心坐標(biāo)確定。

3 物體的三維重建

空間點(diǎn)的成像原理如圖3所示，O為相機(jī)中心，ABCD為長方體的一個(gè)面，abcd為透視投影到圖像平面的四邊形。

圖3 空間點(diǎn)的成像原理Fig.3 The imaging principle of space point

手動獲得abcd4個(gè)頂點(diǎn)的圖像坐標(biāo)，通過固定其D點(diǎn)的深度坐標(biāo)Z，通過AB=CD，即可確定ABCD與投影面的距離。根據(jù)圖像點(diǎn)與空間的轉(zhuǎn)換公式就可以算出其他三點(diǎn)的深度值，從而計(jì)算出AB和AC的相對長度。同理通過BF=DE，能求出BF的長度，確定重建長方體的長寬高。最終得到的三維模型與實(shí)際模型之間僅存在比例縮放關(guān)系，不影響其結(jié)構(gòu)。

4 實(shí)驗(yàn)結(jié)果

根據(jù)角度進(jìn)行直線束的初步分組后，再根據(jù)改進(jìn)后的穩(wěn)健回歸算法得到參數(shù)線性模型，利用線性模型剔除外點(diǎn)得到的有效直線結(jié)果如圖4～6所示。

圖4 圖像的水平方向Fig.4 Horizontal direction of image

圖5 圖像的垂直方向Fig.5 The vertical direction of the image

圖6 圖像的縱深方向Fig.6 The depth direction of the image

圖4～6中的(a)表示直線初步分組后得到的直線；圖4，5中的(b)表示利用文獻(xiàn)[12]介紹的算法得到的有效直線，圖6中的(b)表示利用文獻(xiàn)[12]介紹的算法得到的有效直線；圖4～6中的(c)是根據(jù)改進(jìn)后的穩(wěn)健回歸算法得到的有效直線。從圖4～6中可以發(fā)現(xiàn)：改進(jìn)算法有效地剔除了無效直線，優(yōu)化了結(jié)果。

為驗(yàn)證改進(jìn)算法的有效性和泛化能力，進(jìn)行了實(shí)驗(yàn)2，3，實(shí)驗(yàn)結(jié)果如圖7～12所示。

圖7 實(shí)驗(yàn)2圖像的水平方向Fig.7 Horizontal direction of the image

圖8 實(shí)驗(yàn)2圖像的垂直方向Fig.8 The vertical direction of the image

圖9 實(shí)驗(yàn)2圖像的縱深方向Fig.9 The depth direction of the image

圖10 實(shí)驗(yàn)3圖像的水平方向Fig.10 Horizontal direction of the image

圖11 實(shí)驗(yàn)3圖像的垂直方向Fig.11 The vertical direction of the image

圖12 實(shí)驗(yàn)3圖像的縱深方向Fig.12 The depth direction of the image

從實(shí)驗(yàn)結(jié)果得出改進(jìn)算法比文獻(xiàn)[12]的算法更有效，將直線的重要性引入?yún)?shù)線性模型的估計(jì)算法中，能最大化地利用直線的參數(shù)信息，剔除無效直線的影響，提高滅點(diǎn)計(jì)算精度。并且具有良好的泛化能力。

通過之前的介紹，假設(shè)圖3中D點(diǎn)對應(yīng)的深度值為2f時(shí)，手動獲取圖像中的部分二維點(diǎn)，計(jì)算出長方體的邊長如表1所示。

表1物體長度測量值及誤差表

Table1Themeasurementvalueanderrortableofthelengthoftheobject

盒子邊長真實(shí)測量值/mm實(shí)際相對值實(shí)驗(yàn)計(jì)算值/像素實(shí)驗(yàn)計(jì)算相對值相對值誤差長1511818.567 810寬800.529 8443.827 40.542 20.012 4高1691.119 2935.216 21.142 50.023 3

實(shí)際相對值是令盒子長度的相對值為1，通過比值得到寬和高的相對值，相對值誤差是實(shí)際相對值與實(shí)驗(yàn)計(jì)算相對值之差的絕對值。由于寬和高的相對值誤差都小于2.5%，故建模的整體誤差在2.5%以內(nèi)，符合建模要求。

根據(jù)求得的物體的長寬高，用OpenGL實(shí)現(xiàn)三維重建，實(shí)驗(yàn)結(jié)果如圖13所示。

圖13 原圖像與三維重構(gòu)后的圖像Fig.13 Original image and 3D reconstructed image

5 結(jié) 論

介紹了利用規(guī)則物體的單幅圖像三維重建，針對目前的滅點(diǎn)檢測算法尚未充分利用產(chǎn)生滅點(diǎn)直線的參數(shù)信息，首先用canny算子和Hough變換檢測出直線，根據(jù)滅點(diǎn)直線特征對直線進(jìn)行聚類，采用改進(jìn)的回歸算法作為參數(shù)線性模型的估計(jì)算法剔除外點(diǎn)，從而得到了有效直線。此方法有效地剔除了圖像中無效直線的干擾，從而可以計(jì)算出精確的滅點(diǎn)，根據(jù)滅點(diǎn)的屬性得到相機(jī)的內(nèi)外參數(shù)，根據(jù)長方體的幾何性質(zhì)實(shí)現(xiàn)三維重建。此方法有效地提高了模型的精度，模型整體精度在2.5%以內(nèi)，符合三維重建精度要求?？稍囉糜谝?guī)則建筑物的三維重建。該方法也有一些缺陷，僅實(shí)現(xiàn)規(guī)則物體的重建，接下來會研究不同形狀的幾何體的單幅圖像三維重建。因滅點(diǎn)檢查算法還有很多方面有待提高，接下來還可以再研究如何提高滅點(diǎn)精度。