周國平，朱文韜，易傳華，曾龍輝，黃舒欣，祝振敏

（1. 江西省水投建設(shè)集團有限公司，江西 南昌 330029；2. 華東交通大學(xué) 電氣與自動化工程學(xué)院，江西 南昌 330013）

引言

光學(xué)測量是一種表面非接觸式三維形狀測量技術(shù)[1]，光學(xué)測量技術(shù)具有非接觸、速度快、精度高等優(yōu)點，已被廣泛應(yīng)用于工件檢測、游戲模型、文物數(shù)字化、水庫大壩形變或連接縫檢測等場合中。光學(xué)方法包括定時飛行法、立體視覺法、陰影估計法、激光距離掃描法和結(jié)構(gòu)光法[2-6]。其中，結(jié)構(gòu)光法是應(yīng)用最廣泛的三維形狀測量技術(shù)之一。結(jié)構(gòu)光測量系統(tǒng)通常由投影儀和攝像機組成。投影儀將編碼好的圖形序列投影到被測物體表面，與此同時，使用相機捕捉被物體表面調(diào)制后的圖案，這些圖案攜帶有價值的物體深度信息，可通過相移算法檢索?？梢岳玫玫降慕^對相位圖，通過對系統(tǒng)進(jìn)行標(biāo)定，計算出物體表面的三維坐標(biāo)。

由于HDR 物體的反射率范圍較大，會導(dǎo)致所拍攝的圖像出現(xiàn)過亮或過暗的問題。為了克服這個問題，Zhang 提出了一種HDR 掃描的技術(shù)[7]。此技術(shù)通過拍攝多組不同曝光時間的條紋圖像，從低曝光圖像中提取高反射率區(qū)域，從高曝光圖像中提取低反射率區(qū)域。最后基于像素最大不飽和原理對圖像進(jìn)行融合，從而得到高信噪比的圖像。此方法能夠很好地測量HDR 物體。但是，由于并未對曝光時間進(jìn)行量化，導(dǎo)致在測量復(fù)雜的HDR 物體時，必須利用相機捕捉大量不同曝光時間的圖像。因此，該方法存在圖像數(shù)據(jù)耗時和冗余的缺點。為了克服這些缺點，Jiang 等人提出了一種通過同時調(diào)整曝光時間和投影光強來捕獲原始條紋圖像的技術(shù)[8]。從原始圖像中選擇像素點合成復(fù)合條紋圖像時，考慮的是最高調(diào)制強度而不是最亮的非飽和強度；因此，獲得了較高的信噪比（signal to noise ratio, SNR）和環(huán)境光效應(yīng)最小化。

調(diào)整投影儀的光強是解決HDR 問題的另一種方法。Waddington 和Kofman 提出了一種用修改后的最大灰度值來投影條紋圖案的技術(shù)[9]，以此來適應(yīng)可變的環(huán)境照明，從而解決圖像飽和。由于該方法只調(diào)整了條紋圖的最大灰度值，因此在測量反射率較低的表面區(qū)域時，可能會降低條紋圖像的信噪比。Zhang 等人提出了基于黑白單色條紋用于三維重構(gòu)，通過使用自適應(yīng)強度模版對所投影的圖案的亮度進(jìn)行動態(tài)調(diào)節(jié)，以消除圖像高光的影響[10]。但是其中的問題是相機到投影儀的單應(yīng)性矩陣難以被準(zhǔn)確求解。倘若求解出的單應(yīng)性矩陣不精確，就會導(dǎo)致坐標(biāo)映射出現(xiàn)誤差，從而會在后續(xù)三維測量中產(chǎn)生誤差。

此外，還有使用偏振濾光片[11-13]、彩色信息[14-15]以實現(xiàn)對HDR 物體進(jìn)行測量。然而，它們都需要額外的硬件來提高系統(tǒng)的性能，這可能會增加成本或復(fù)雜的計算。

本文則提出了一種基于投影強度的快速的測量方法，該方法通過求解相機和投影儀之間的響應(yīng)函數(shù)，并結(jié)合所提出的一種簡便的最佳投影亮度的確定方法以及圖像融合算法，能夠得到高信噪比的融合圖片，再基于該融合圖片實現(xiàn)對被測物體的三維重構(gòu)，能夠有效提高其三維重構(gòu)的精度。此外，該方法無需盲目投射和拍攝大量圖片或計算復(fù)雜的單應(yīng)性矩陣，使得測量速度有極大的提升。

1 基本原理

1.1 相機與投影儀的響應(yīng)關(guān)系

如若要建立相機與投影儀的強度響應(yīng)函數(shù)，前提是探究結(jié)構(gòu)光系統(tǒng)中射進(jìn)相機的光線的組成。一般情況下把進(jìn)入系統(tǒng)的相機鏡頭的光分3 類：1)由投影儀投射出的光經(jīng)被測物體表面反射進(jìn)入相機鏡頭；2)直接射進(jìn)相機鏡頭的環(huán)境光；3)環(huán)境光射至被測物體表面而被反射入相機鏡頭。圖1即顯示了系統(tǒng)中的上述3 類光線。其中Ip是由投影儀發(fā)出的投影光強度，Ia為射至被測物體表面的環(huán)境光強，Ib為直接射進(jìn)相機鏡頭的環(huán)境光強，ρ表示被測物體表面的反射率。

圖1 進(jìn)入相機的光線組成Fig. 1 Composition diagram of light to enter camera

所以可以推導(dǎo)出相機拍攝的圖片的強度公式為

式中：I(x,y)為結(jié)構(gòu)光系統(tǒng)中相機所拍攝的圖片灰度；ρ(x,y)是被測物的表面反射率；t與k分別代表了相機曝光時間及增益。假設(shè)測量時外界環(huán)境是黑暗的，僅有投影儀發(fā)出的光，此時可以認(rèn)為Ia與Ib為零。所以為了簡化該相機-投影儀的響應(yīng)關(guān)系，測量時需保證為黑暗環(huán)境。此外在測量過程中對相機參數(shù)和其位置不做改變，而只改變系統(tǒng)中投影儀所射出的投影亮度時，這意味著參數(shù)ρ(x,y)、t和k均不發(fā)生改變。因此上述3 個參數(shù)的積則應(yīng)該是一個確定的常數(shù)，可以將之定義為

由于k1(x,y)為一個確定常數(shù)，而測量環(huán)境為黑暗時參數(shù)Ia及Ib均為零。所以公式（1）可以寫為

假設(shè)結(jié)構(gòu)光系統(tǒng)中的投影儀投射出一個已知的光照強度到被測物體上，另一邊由相機拍攝此強度下被測物體的圖片，就能夠快速計算出參數(shù)k1(x,y)的值：

式中：Ip1是投影儀投射出的已知強度的光；Ic1(x,y)表示在Ip1下拍攝的圖片強度。并且為了保證標(biāo)定的參數(shù)k1(x,y)的準(zhǔn)確性，投影儀所投射出的光強度應(yīng)該在一個較低的灰度水平，確保相機拍攝的圖片不過曝，即Ic1(x,y) 中不出現(xiàn)灰度值為255 的像素點。此時能夠推導(dǎo)出參數(shù)k1(x,y)為

結(jié)合上述公式，可得最終的相機-投影儀響應(yīng)關(guān)系的關(guān)系式為

式中：Ipideal表示最佳投影亮度；Iideal(x,y)則表示了所期望的相機拍攝的圖片灰度。由公式（6）可知，能夠基于確定所期望的圖片灰度Iideal(x,y)求解出最佳投影亮度。

1.2 確定投影亮度策略

就理論而言，Iideal(x,y)的期望值是254，這代表相機所拍攝的圖片的像素點灰度值最大且不過曝。然而由于相機響應(yīng)函數(shù)本身存在非線性因素，并且測量中還存在噪聲所帶來的影響，這便意味著要給Iideal(x,y)預(yù)留一些值，從而避免該非線性及噪聲的影響。通過大量的實驗表明，Iideal(x,y)的值為250 時測量效果最佳。所以將Iideal(x,y)為250 代入公式（6）：

由于一張圖片上擁有許許多多的像素點，因此基于參數(shù)k1(x,y)所計算出的最佳投影亮度亦數(shù)量驚人。倘若要使得融合圖片的每個像素灰度值均達(dá)到最大不飽和狀態(tài)，就需要很多投影亮度進(jìn)行補償，這無疑會大幅降低測量速度。所以為保證測量效率，本文提出了一種簡便的最佳投影亮度確定策略。正常情況下使用幾個投影亮度即可較好地補償被測物體。這是由于被測物體表面反射率ρ(x,y)接近時，只用一個投影亮度即可。而對于HDR 物體ρ(x,y)較大時，則能夠把ρ(x,y)劃分成若干個小區(qū)間，再根據(jù)區(qū)間進(jìn)行取值，從而獲得所需的投影亮度。而根據(jù)公式（2）可知，參數(shù)k1(x,y)與ρ(x,y)是呈正比的，所以可以對參數(shù)k1(x,y)進(jìn)行區(qū)間劃分，以此獲取最佳投影亮度?；诖嗽恚渡湟粋€較低且已知強度的均勻光至被測物體表面，確保所拍攝的圖片像素點不過于飽和，此時根據(jù)已知的投影強度與拍攝的圖片可以迅速求解出參數(shù)k1(x,y)。進(jìn)而得到參數(shù)k1(x,y) 的像素分布直方圖，隨后根據(jù)該像素分布直方圖進(jìn)行曲線擬合，得到關(guān)于參數(shù)k1(x,y)的像素分布曲線。圖2 顯示的是一幅關(guān)于參數(shù)k1(x,y)像素分布曲線的圖例，圖中的橫坐標(biāo)代表的是參數(shù)k1(x,y)的值；縱坐標(biāo)則表示像素點的數(shù)量。由此像素曲線分布圖能夠把參數(shù)k1(x,y)分割成幾個小范圍的簇，而對每個簇實現(xiàn)劃分則是基于k1(x,y)明顯的一個尖峰與兩邊的峰谷。劃分后的一個簇內(nèi)的參數(shù)k1(x,y)的值是接近的，在理論上只需要一個投影亮度即可。但是為了兼顧盡可能多的像素點，本方法在一個簇內(nèi)選取3 個k1(x,y)。具體選取策略于圖2 的第一個簇內(nèi)進(jìn)行了標(biāo)注。其中對參數(shù)k1(x,y)的第一個取值是取簇內(nèi)左側(cè)的峰谷，這樣能夠補償反射率較小的像素點。第二個則取此簇內(nèi)尖峰處的k1(x,y)值，取這個值能夠補償簇內(nèi)最多的像素點。第三個值取本簇內(nèi)右側(cè)的峰谷，該值是本簇內(nèi)參數(shù)k1(x,y)的最大值，可以確保這部分簇內(nèi)的圖像不會出現(xiàn)過飽和像素點。因此假設(shè)對k1(x,y)像素分布曲線上的簇由左到右分別從1-i進(jìn)行標(biāo)記，總共i個簇。這樣一共可以獲得3i個投影亮度。隨后基于所獲得的投影亮度拍攝被測物體的圖片。

圖2 像素分布曲線圖Fig. 2 Curves of pixel distribution

1.3 圖像融合算法

得到數(shù)個最佳投影強度下的原始圖片后，需要保留圖片上各個像素點的最佳灰度值，因此能夠通過建立一個掩摸圖片Mi(x,y)來實現(xiàn)，其公式如下所示：

由公式（8）得出Mi(x,y) 后，把Ii(x,y) 和Mi(x,y)相乘后求和，這樣可以保留Ii(x,y)中的最佳像素灰度值融合到一張圖片中去，其公式如下所示:

式中：Iopt(x,y) 是在最佳投影強度下的融合圖片。此時融合圖片的像素點灰度值大多是最大不飽和的。因此這樣得到的融合圖片的信噪比較高，從而能夠提高三維重構(gòu)的精度。

2 實驗與結(jié)果分析

為了驗證本文所提出的方法的有效性，搭建了如圖3 所示結(jié)構(gòu)光測量系統(tǒng)。測量系統(tǒng)采用了LCD 投影儀。相機則是FLIR 公司制造的型號為BFS-U3-23S3M-M 的灰度相機(配HC1605 鏡頭)，其分辨率為1 920 pixel×1 200 pixel。本方法的實驗步驟如下：

圖3 測量系統(tǒng)Fig. 3 Physical picture of measurement system

1） 投影一張灰度值已知的均勻白光至被測物體表面且由相機進(jìn)行拍攝，需保證所拍攝的圖片上無飽和像素；

2） 快速求解出相機與投影儀的響應(yīng)系數(shù)，得到響應(yīng)系數(shù)的分布曲線，并基于所提出的最佳投影亮度確定策略得到所需的投影亮度；

3） 將確定的投影亮度分別投影至被測物體，同時用相機拍攝各個亮度下的圖片，再根據(jù)圖像融合算法對所拍攝的圖片進(jìn)行融合；

4） 基于所得的融合圖片實現(xiàn)對被測物體的三維點云重構(gòu)。

2.1 基于最佳投影亮度的圖片融合

為驗證本方法的有效性，實驗對象選擇了黑白棋盤格，因為其表面動態(tài)范圍較大。圖4(a)和圖4(b)顯示了相機所拍攝的黑白棋盤格在投影亮度分別為100 和255 時的圖片。

圖4 不同投影亮度的圖像。Fig. 4 Images with different projection brightness

由圖4 可知，由于該黑白棋盤格的動態(tài)范圍較大，導(dǎo)致僅在單一亮度下所拍攝的圖片容易過亮或過暗，因此如果在這樣單個亮度下直接對被測物體進(jìn)行三維測量很容易出現(xiàn)誤差。所以在測量此類HDR 表面物體時，很有必要使用多個亮度對被測物體進(jìn)行補償。

圖5 顯示了在投影亮度為140 時黑白棋盤格的圖片。

圖5 投影亮度為140 的圖像Fig. 5 Image with projection brightness of 140

因為在投影亮度為140 時圖片上像素灰度值均不過飽和，所以本實驗使用該圖片作為輸入，即可求解相機-投影儀的響應(yīng)關(guān)系。所得響應(yīng)關(guān)系曲線如圖6 所示。由圖6 可知，參數(shù)k1(x,y)按最佳投影亮度確定策略進(jìn)行取值可得：0.11、0.33、0.75、1.30、1.73、1.83。其中k1(x,y) 的值小于1 時，意味著被測物的此部分表面反射率過低，在這種情況下，只通過改變投影亮度，無法使相機拍攝的圖片達(dá)到最大不飽和狀態(tài)。所以在k1(x,y)小于1 時最佳投影亮度可設(shè)置為250。因此根據(jù)參數(shù)k1(x,y)的值可以計算出所需要的投影亮度為：135、145、192、250。

圖6 相機與投影儀的響應(yīng)分布曲線Fig. 6 Response distribution curves of camera and projector

由上述方法得到的4 個投影亮度的原始條紋圖像如圖7（a）、7（b）、7（c）和7（d）所示，基于這4 個投影亮度下的條紋圖像進(jìn)行圖像融合，得到最佳的融合圖像。融合后的圖像及其像素分布直方圖如圖8（a）、圖8（b）所示，由圖8（b）可以直觀看出在融合后的圖像中，大部分像素的灰度并不飽和，且都保持著高像素水平。

圖7 4 幅不同投影亮度的圖像Fig. 7 Four images with different projection brightness

圖8 融合圖像及其像素分布直方圖Fig. 8 Fused image and histogram of pixel distribution

對融合圖像及單張投影亮度下的圖像進(jìn)行信噪比計算，結(jié)果如表1 所示。表1 顯示了融合圖片與其他幾張單個亮度下的圖片的信噪比。根據(jù)其信噪比大小可知，融合圖片在避免像素點飽和情況下保持了較高的信噪比，有效提升了圖片質(zhì)量。

表1 多組圖像對的信噪比Table 1 Signal-to-noise ratio of multiple image pairs

2.2 圖像質(zhì)量分析

圖9 融合圖像及各個投影強度下的圖像的頻率分布Fig. 9 Frequency distribution diagram of fused image and images under various projection intensities

條紋邊緣提取時將更加精準(zhǔn)，從而有助于提高三維測量精度。

2.3 被測物體三維重構(gòu)

本實驗中采用的結(jié)構(gòu)光編碼方式是格雷碼的編碼方式，被測物體是黑白棋盤格。根據(jù)提出的原理對被測物體進(jìn)行三維重構(gòu)，重構(gòu)結(jié)果如圖10所示。該圖顯示了被測物體的三維重構(gòu)結(jié)果圖。根據(jù)該重構(gòu)結(jié)果可知，被測物體的三維點云完整。這證明了本文所提出的方法即可有效消除被測物體高反射率表面過亮的影響，亦可以有效補償被測物體表面的低反射率區(qū)域，提升了對HDR物體三維點云重構(gòu)的精度。

圖10 三維重構(gòu)結(jié)果Fig. 10 Diagram of 3D reconstruction results

3 結(jié)論

本文提出了一種基于調(diào)整投影圖案亮度的快速測量方法，該方法通過求解相機與投影儀之間的響應(yīng)關(guān)系，結(jié)合所提出的一個簡便的投影亮度確定方法，再基于所提出的圖像融合算法，可以獲得高質(zhì)量的融合圖片，從而實現(xiàn)對HDR 物體的高精度三維重構(gòu)。與傳統(tǒng)的基于改變投影亮度的方法相比，該方法僅需要投影一張均勻白光至被測物體上，并由相機拍攝一張圖片，即可快速求解出相機和投影儀之間的響應(yīng)函數(shù)，從而能夠定量分析求得所需要的投影亮度，而無需盲目投射和拍攝大量圖片或計算復(fù)雜的單應(yīng)性矩陣，使得測量速度有極大的提升。