王國琿，吳二星

(西安工業(yè)大學(xué) 光電工程學(xué)院，西安 710021)

明暗重建形貌(Shape From Shading，SFS)是計算機(jī)視覺中重建物體三維形貌的關(guān)鍵方法之一[1]，也是光度學(xué)領(lǐng)域中一個重要的研究方向，其原理是利用圖像的明暗變化獲取物體表面各點的法向向量，進(jìn)而由法向向量通過積分重建三維形貌[2].SFS方法僅利用攝像機(jī)采集物體表面的單幅圖像，設(shè)備簡單，適應(yīng)性強(qiáng)，應(yīng)用非常廣泛[1].

SFS方法最初是由MIT的學(xué)者Horn[2]對月球表面進(jìn)行三維形貌重建時提出的.文獻(xiàn)[3-5]認(rèn)為，SFS算法大致可分為四類：線性化反射圖法[6]、局部分析法[7]、最小化能量法[2,8]以及偏微分方程法[1,9].各種SFS算法存在一定的優(yōu)點，也不可避免地存在不足之處.線性化反射圖法雖計算速度較快，但基于反射圖函數(shù)中低階項起主導(dǎo)作用的假設(shè)，故求解過程缺乏可信度，并且由于求解結(jié)果只是近似解，因此重建誤差較大；局部分析法對滿足局部形狀的特定物體表面重建效果較好，但使用范圍受到限制，且由于表面的局部形狀假設(shè)與實際形狀之間通常存在偏差，故重建精度不高；最小化能量法需要引入各種約束條件，且約束條件可能導(dǎo)致重建結(jié)果失真等；偏微分方程法多數(shù)情況下需考慮邊界條件，重建精度較高[4]，目前來講是一種較為理想的算法.

大多數(shù)文獻(xiàn)[1-7,9]中SFS方法假定物體表面的反射特性服從Lambert定律，即物體表面對入射光的反射在任意方向上的輻射亮度恒定不變，但事實上，這個條件過于理想并不總是滿足.為此，許多學(xué)者開始專注于非Lambert表面的SFS三維形貌重建.文獻(xiàn)[10]提出了一個含有鏡面反射的統(tǒng)一反射圖模型，將物體表面用三角形面元來近似，通過線性化反射圖和最小化能量函數(shù)得到物體表面的高度；文獻(xiàn)[11]研究了基于Oren-Nayar反射模型的非Lambert漫反射物體的SFS問題；文獻(xiàn)[12]研究了基于Ward反射模型的SFS圖像輻照度方程，使用Lax-Friedrichs sweeping方法對建立的圖像輻照度方程進(jìn)行了求解；在文獻(xiàn)[11]研究的基礎(chǔ)上，文獻(xiàn)[13]將semi-Lagrangian方法用于建立非Lambert表面圖像輻照度方程的求解，取得了較好的重建效果.文獻(xiàn)[14]基于文獻(xiàn)[12]的研究結(jié)果，使用Oren-Nayar模型代替Ward反射模型中的漫反射部分，設(shè)計了基于fixed-point迭代sweeping方法用于求解上述模型建立的圖像輻照度方程[14].然而，文獻(xiàn)[10]由于沒有直接對建立的SFS圖像輻照度方程進(jìn)行求解，且算法屬于線性化反射圖法和最小化能量法，故三維重建精度較低；文獻(xiàn)[12,14]建立了基于偏微分方程法的圖像輻照度求解算法，但是由于Ward反射模型的復(fù)雜性，數(shù)值算法中很難找到一個最優(yōu)的人工黏性因子；文獻(xiàn)[13]盡管可以獲得較好的效果，但將其用于混合反射表面SFS圖像輻照度方程的求解實現(xiàn)起來異常復(fù)雜.

為此，本文提出了一種基于Schlick模型的混合反射表面SFS三維形貌重建方法.在正交投影且光源與攝像機(jī)方向一致情況下，對SFS方法進(jìn)行了建模.詳細(xì)闡述了混合反射表面下基于Blinn反射模型的圖像輻照度方程的建立，Schlick模型對Blinn反射模型的改進(jìn)，圖像輻照度方程的轉(zhuǎn)化與求解等，并通過實驗對提出的SFS方法進(jìn)行了驗證.

1 基于Blinn反射模型的圖像輻照度方程

建立如圖1所示的笛卡爾直角坐標(biāo)系，設(shè)攝像機(jī)的光軸與z軸重合，攝像機(jī)的成像平面為x-y平面.在上述坐標(biāo)系下，物體表面三維形貌某點(x,y,z(x,y))處的單位法向量表達(dá)式為

n(x,y)=(p(x,y),q(x,y),-1)/

(1)

式中：p(x,y)=?z(x,y)/?x,

q(x,y)=?z(x,y)/?y.

在正交投影條件下，SFS三維形貌重建方法即為求解如下的圖像輻照度方程[2]，即：

I(x,y)=R(p(x,y),q(x,y))

(2)

式中：I(x,y)為圖像的灰度值；R(p(x,y),q(x,y))為由反射模型確定的反射圖函數(shù).

對理想的Lambert漫反射表面，反射特性服從Lambert定律，即物體表面對入射光的反射在任意方向上的輻射亮度恒定不變，其反射圖函數(shù)為

R(p(x,y),q(x,y))=n(x,y)·L

(3)

式(3)表明了理想的Lambert漫反射表面其反射圖分布僅僅和n與光源方向向量L之間的夾角有關(guān).然而，對于實際的物體表面，往往既含有漫反射又含有鏡面反射的混合反射表面.為此，文獻(xiàn)[15]提出了如下反射模型來計算混合反射表面的反射圖分布，表達(dá)式為

R(p(x,y),q(x,y))=kd(n(x,y)·L)+

ks(n(x,y)·H)N

(4)

式中：H為L與攝像機(jī)方向向量V的夾角平分線的單位方向向量，即H=(L+V)/2；N為鏡面反射指數(shù)；kd、ks分別為漫反射、鏡面反射成分的加權(quán)因子，通常kd+ks≤1.

圖1 SFS方法中的坐標(biāo)系

將式(4)帶入式(2)，可以得到基于Blinn反射模型的圖像輻照度方程為

I(x,y)=kd(n(x,y)·L)+

(5)

由于n(x,y)·L=cosθi，n(x,y)·V=cosθr，帶入式(5)可得

(6)

式中：θi、θr分為物體表面法向量n與光源方向向量L、攝像機(jī)方向向量V之間的夾角.

2 Schlick模型的圖像輻照度方程

在光源與攝像機(jī)方向一致情況下，有θi=θr.設(shè)光源的方向向量L為(0,0,-1)，故有

(7)

則基于Blinn反射模型的圖像輻照度方程(式(6))變?yōu)?/p>

(8)

圖像輻照度方程(式(8))是一個一階非線性偏微分方程.當(dāng)鏡面反射指數(shù)N≥3時，求解較為困難且求解過程繁瑣.

為解決式(8)的求解問題，本文使用文獻(xiàn)[16]提出的改進(jìn)的Blinn反射模型，即Blinn模型中鏡面反射成分用下式來代替，即

(9)

N*I(x,y)f2-[(N-1)I(x,y)+N*kd+ks]f+(N-1)kd=0

(10)

基于Schlick模型的圖像輻照度方程(式(10))是關(guān)于f的一元二次方程.求解該方程可得

(11)

進(jìn)一步可以發(fā)現(xiàn)(式(10))實質(zhì)上是一個Eikonal類偏微分輻照度方程，即：

(12)

式中：Ω為給定的圖像區(qū)域；g(x,y)為定義在?Ω上的邊界條件.

3 偏微分輻照度方程求解

為了求解式(12)，本文利用文獻(xiàn)[17-19]中提出的一階和高階差分格式對式(12)的解進(jìn)行了逼近，并應(yīng)用fast sweeping方法對算法迭代過程進(jìn)行了加速.

3.1 一階差分格式

文獻(xiàn)[17]證明了通過迭代的方式，利用單調(diào)迎風(fēng)Godunov格式逼近‖z(x,y)‖可以收斂到式(12)的解，即

(13)

(14)

將z1、z2和式(14)帶入式(13)，可得：

(15)

求解式(15)，且滿足單調(diào)迎風(fēng)條件，得到逼近解zi,j，即物體表面的三維形貌為

(16)

3.2 高階差分格式

對于p-、p+和q-、q+來說，為了構(gòu)造具有高階精度的數(shù)值方法，需要計算其高階差分，可利用文獻(xiàn)[18]中提出的三階加權(quán)本質(zhì)無振蕩(Weighted Essentially Non-Oscillatory，WENO)格式進(jìn)行計算.式(12)的高階差分格式為

(17)

式中：

(18)

式中：

(19)

式中：

(20)

求解式(17)，可迭代得到逼近解zi,j，即物體表面的三維形貌為

(21)

3.3 Fast sweeping方法

為了加速算法收斂，應(yīng)用文獻(xiàn)[19]提出的fast sweeping方法對算法迭代過程進(jìn)行了加速.當(dāng)計算導(dǎo)數(shù)p-、p+以及q-、q+時，使用最新得到的z值，同時sweeping不只從一個方向進(jìn)行，而是從以下四個方向交替重復(fù)進(jìn)行：① 從左上到右下；② 從左下到右上；③ 從右下到左上；④ 從右上到左下.根據(jù)不同的sweeping方向，zi±1,j、zi±2,j、zi,j±1、zi,j±2需要取不同的值.

本文提出的算法步驟為：

2) Sweeping：在第n+1步，使用迭代式(16)或式(21)對zi,j進(jìn)行更新.同時，sweeping過程從以下四個方向進(jìn)行：① 從左上到右下，即i=1∶m,j=1∶n；② 從左下到右上，即i=m∶1,j=1∶n；③ 從右下到左上，即i=m∶1,j=n∶1；④ 從右上到左下，即i=1∶m,j=n∶1.

3) 迭代停止準(zhǔn)則：當(dāng)‖zn+1-zn‖L1≤ε，算法停止迭代，否則返回步驟2).其中‖·‖為定義在L1上的范數(shù)；ε>0為收斂閾值，本文取ε=10-5.

4 仿真結(jié)果與分析

為驗證混合反射表面下SFS重建方法的有效性，利用半球和花瓶圖像進(jìn)行了仿真實驗，并將高階方法重建結(jié)果與一階方法重建結(jié)果進(jìn)行了對比.

4.1 半球圖像的三維重建

半球圖像可使用球體函數(shù)生成，即：

(22)

式中：(x,y)∈[-63,64]×[-63,64]；R=50為半球的半徑，由式(22)可以得到半球的三維形貌

真實值.

圖2為半球圖像的仿真實驗結(jié)果，三維圖中的所有單位均為像素.圖2(a)是使用半球函數(shù)(式(22))且基于Blinn反射模型(式(6))生成的半球的灰度圖像，其中Blinn模型的參數(shù)kd=0.85、ks=0.15、N=90.從圖2(a)中可以看出，半球灰度圖像為混合反射表面的成像效果，因為在灰度圖像的中央?yún)^(qū)域存在著較強(qiáng)的鏡面反射成分.圖2(d)為一階方法重建值圖2(c)與三維形貌真實值圖2(b)之間的誤差圖，圖2(f)是高階方法重建值圖2(e)與三維形貌真實值圖2(b)之間的誤差圖.從圖2(c)和圖2(e)中可以看出，本文提出的一階方法和高階方法均可得到較為理想的重建結(jié)果.從圖2(d)和圖2(f)中可以看出，本文提出的高階方法重建誤差比一階方法重建誤差小.

圖3為半球圖像三維形貌真實值(圖2(b))、一階方法重建值(圖2(c))及高階方法重建值(圖2(e))的中心橫截面的比較結(jié)果，從圖3中可以看出，高階方法重建值比一階方法重建值更接近三維形貌真實值，誤差更小，這是由于高階方法使用了高階精度的三階WENO差分格式.

圖2 半球圖像的三維形貌重建結(jié)果

圖3 半球圖像三維形貌重建結(jié)果的中心橫截面

4.2 花瓶圖像的三維重建

花瓶圖像可使用花瓶函數(shù)生成，即：

(23)

式中:f(x)=0.15-0.025(2x-1)(3x-2)2(2x+1)2(6x+1)；(x,y)∈[-0.5,0.5]×[-0.5,0.5].將x，y映射到區(qū)間[-63,64]，同時將高度z(x,y)擴(kuò)大128倍，此時花瓶的最大高度

值為36.55.同樣，花瓶的三維形貌真實值也可以得到.

圖4為花瓶圖像的仿真實驗結(jié)果，三維圖中的所有單位均為像素.其中，圖4(a)是使用花瓶函數(shù)(式(23))且基于Blinn反射模型式((6))生成的花瓶的灰度圖像，其中Blinn模型的參數(shù)同圖2保持一致：kd=0.85、ks=0.15、N=90.從圖4(a)可以看出，花瓶灰度圖像亦為混合反射表面的成像效果，因為在灰度圖像的中央?yún)^(qū)域也存在著較強(qiáng)的鏡面反射成分.圖4(d)為一階方法重建值圖4(c)與三維形貌真實值圖4(b)之間的誤差圖，圖4(f)為高階方法重建值圖4(e)與三維形貌真實值圖4(b)之間的誤差圖.從圖4(c)和圖4(e)可以看出，本文提出的一階方法和高階方法均可得到較為理想的重建結(jié)果.從圖4(d)和圖4(f)可以看出，本文提出的高階方法重建誤差比一階方法重建誤差小.上述所得到的結(jié)論與圖2得到的結(jié)論一致.

圖4 花瓶圖像的三維形貌重建結(jié)果

圖5為花瓶圖像三維形貌真實值(圖4(b))、一階方法重建值(圖4(c))及高階方法重建值(圖4(e))的中心橫截面的比較結(jié)果，從圖5中也可以看出，高階方法重建值比一階方法重建值更接近三維形貌真實值，誤差更小，這也是由于高階方法使用了高階精度三階WENO差分格式.

4.3 三維重建結(jié)果分析

為了定量地比較重建結(jié)果，使用高度平均絕對誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)來對一階方法和高階方法重建結(jié)果進(jìn)行比較，MAE和RMSE表達(dá)式分為

(24)

(25)

圖5 花瓶圖像三維形貌重建結(jié)果的中心橫截面

灰度圖像一階方法MAERMSE高階方法MAERMSE半 球1.818 01.961 71.112 21.163 0花 瓶1.569 01.668 60.967 41.032 9

由圖2～5和表1所示的半球、花瓶圖像的三維形貌重建結(jié)果以及高度MAE和RMSE誤差可以得出,本文提出的一階方法和高階方法均可以獲得較好的重建效果，且與一階方法相比，高階方法可獲得較高的重建精度，其高度MAE和RMSE誤差降低了大約38%.

5 結(jié) 論

本文提出了一種基于Schlick模型的混合反射表面SFS三維形貌重建方法，旨在解決混合反射表面下SFS重建方法中建立的偏微分輻照度方程難以求解的問題.在以攝像機(jī)光軸為z軸，成像平面為x-y平面建立的笛卡爾直角坐標(biāo)系和正交投影條件下，推導(dǎo)了基于Blinn反射模型的混合反射表面下的反射圖函數(shù)，構(gòu)建了基于Blinn模型的圖像輻照度方程；在光源與攝像機(jī)方向一致情況下，使用Schlick模型代替原Blinn反射模型中的鏡面反射成分，將輻照度方程轉(zhuǎn)化為關(guān)于三維形貌梯度的二次方程，求解此方程可獲得Eikonal類偏微分方程；利用一階Godunov和高階WENO差分格式對輻照度方程的解進(jìn)行了逼近，并應(yīng)用fast sweeping方法對算法迭代過程進(jìn)行了加速.一階方法和高階方法均可以獲得較好的重建效果，且與一階方法相比，高階方法可獲得較高的重建精度.下一步研究將重點圍繞透視投影下混合反射表面SFS方法的快速、高精度求解等內(nèi)容展開.