趙鵬亮 ， 梁 晉 ， 徐勁瀾 ， 武國慶 ， 孟繁昌

（1.西安交通大學(xué)機械工程學(xué)院 機械制造系統(tǒng)工程國家重點實驗室，陜西 西安，710049；2.廣東順德西安交通大學(xué)研究院，廣東 佛山 528300；3.中航工業(yè)洛陽電光設(shè)備研究所，河南 洛陽 471009）

主動激光散斑投射的面部測量方法研究

趙鵬亮1，2， 梁 晉1，2， 徐勁瀾1，2， 武國慶3， 孟繁昌1，2

（1.西安交通大學(xué)機械工程學(xué)院 機械制造系統(tǒng)工程國家重點實驗室，陜西 西安，710049；2.廣東順德西安交通大學(xué)研究院，廣東 佛山 528300；3.中航工業(yè)洛陽電光設(shè)備研究所，河南 洛陽 471009）

針對醫(yī)學(xué)等相關(guān)領(lǐng)域?qū)γ娌枯喞獪y量的需求，提出一種主動激光散斑投射的面部點云獲取方法。該方法結(jié)合數(shù)字圖像相關(guān)法和雙目立體視覺原理，能夠快速重建面部三維輪廓。首先，介紹數(shù)字圖像相關(guān)法的基本原理；其次，提出一種匹配前的散斑圖像預(yù)處理方法，去除散斑圖像的邊緣化區(qū)域，提高散斑匹配質(zhì)量；最后，計算面部三維點云。為驗證該方法的可行性及最終重建效果，設(shè)計面部掃描重建及誤差實驗，結(jié)果表明：該方法具有體積小和不受光強影響的特點，能夠較好地重建出面部模型，整體測量誤差為±0.2mm。

面部測量；激光散斑；數(shù)字圖像相關(guān)法；圖像去邊緣化

0 引 言

隨著三維光學(xué)測量的發(fā)展，提取物體輪廓信息已經(jīng)變得越來越方便，而面部的三維輪廓信息也正在被越來越多的行業(yè)所需要。例如：醫(yī)學(xué)整形和臨床治療[1]，CG電影中數(shù)字虛擬演員的設(shè)計[2]，VR人物開發(fā)等[2]。

目前在國內(nèi)相關(guān)研究中，面部三維的信息提取和重建方法按照原理的不同大致可以分為結(jié)構(gòu)光投影方法[3]、激光線掃描方法[4]、基于特征分塊的方法[5]。其中結(jié)構(gòu)光投影法是一種基于光學(xué)三角形測量原理，采用格雷碼和相移組合編碼的方法，通過攝像機捕捉面部結(jié)構(gòu)光調(diào)制信息并運用圖像處理技術(shù)進行解調(diào)，實現(xiàn)面部外形的三維測量和重建，但該方法對光源比較敏感；激光線掃描法是指利用激光測距原理，采用激光光帶掃掠人整個面部，最終得到完整的面部點云模型，近年來為了提高其效率也有人提出了多光帶激光掃描的方案[6]，但是總體來說激光線掃描的方法耗時較長；基于特征分塊的三維面部重建是利用原始三維數(shù)據(jù)庫中的人臉進行特征定位與分割，然后建立每個特征分塊的形變模型，通過對二維面部圖像的特征定位與分割，最終實現(xiàn)每個特征分塊的三維重建，但該方法流程比較繁瑣。

本文提出一種主動激光散斑投射的面部測量方法。首先通過主動激光散斑投射器向面部投射紅外散斑圖案；其次由兩個黑白相機采集臉部帶有紅外散斑圖案的灰度圖像，由彩色相機采集面部的彩色圖像；然后對獲取的散斑圖像進行去邊緣化處理，去除無效散斑區(qū)域；最后通過雙目立體視覺原理、數(shù)字圖像相關(guān)方法以及紋理映射重建出面部的彩色點云信息。

1 系統(tǒng)方案設(shè)計及測量流程

1.1 測量系統(tǒng)方案設(shè)計

測量系統(tǒng)主要包括兩個測頭，每個測頭由兩個黑白相機、一個彩色相機、一個主動激光散斑投射器組成，如圖1所示。測頭中散斑投射裝置采用自主設(shè)計的主動激光散斑投射器，其結(jié)構(gòu)如圖2所示。其工作原理是：首先由Vcsel激光陣列發(fā)射出紅外激光，依次經(jīng)過雙凸鏡的會聚與發(fā)散，聚光鏡的會聚，然后穿過已經(jīng)被刻蝕好的散斑玻片，最終經(jīng)過鏡頭向物體投出散斑。該主動激光散斑投射器內(nèi)部高度集成體積較小，壽命較長，使用過程中光束發(fā)散角小，抗干擾性強，激光陣列亮度較高，可實現(xiàn)遠距離清晰投射。在復(fù)雜環(huán)境下，有效解決了散斑成像弱化問題，實現(xiàn)了高清晰度、均勻亮度散斑圖像的采集。

圖1 測試系統(tǒng)結(jié)構(gòu)示意圖

圖2 主動激光散斑投射器結(jié)構(gòu)示意圖

該系統(tǒng)相機視場大小為960mm×600mm，采用的紅外散斑波長為850nm，相機分辨率為1920像素×1200像素。考慮到激光使用安全等級以及激光測量可能對人體造成的傷害，經(jīng)過計算采用5W的主動激光散斑投射器，光線強度經(jīng)過擴散衰減之后的安全測量距離是800mm。

1.2 面部點云計算流程

1）相機標定。相機標定之前，應(yīng)首先對標定板進行攝影測量，計算出標定板的全局點，然后調(diào)節(jié)相機焦距，使相機能夠清晰地看到標志點。將標定板擺放多個不同位置，分別采集圖像信息，然后計算出各個相機相對于世界坐標系的旋轉(zhuǎn)矩陣和平移矩陣以及相機的夾角和內(nèi)參數(shù)。

2）圖像采集。通過主動激光散斑投射器向面部投射紅外散斑圖案，并利用兩個測頭中的黑白相機和彩色相機進行圖像采集，黑白相機獲得面部的散斑圖像，彩色相機獲得面部的彩色RGB圖像。

3）點云重建。首先對灰度圖像進行去邊緣化處理，然后利用盒圖像運算法及數(shù)字相關(guān)法對其進行比配，待匹配完成后，結(jié)合相機的內(nèi)外參數(shù)重建出面部三維點云。

4）顏色貼圖。將彩色圖像的RGB信息映射到已重建好的點云上，形成更加逼真的彩色點云。

2 系統(tǒng)關(guān)鍵技術(shù)

在獲得散斑圖像后，為快速有效地得到高準確度三維輪廓，設(shè)計了計算流程，如圖3所示。并針對傳統(tǒng)散斑匹配圖像邊緣問題導(dǎo)致的誤匹配問題，重點研究了散斑圖像去邊緣化的預(yù)處理過程。

圖3 三維輪廓計算流程

2.1 數(shù)字圖像相關(guān)法

數(shù)字圖像相關(guān)法[7-9]的基本問題是對兩個散斑圖像進行相關(guān)計算。在面部掃描過程中，單測組黑白相機采集的散斑圖像需要利用數(shù)字圖像相關(guān)方法進行匹配，匹配原理如圖4所示。在左側(cè)黑白相機圖像中，取以待匹配點 C 為中心的（2N+1）×（2N+1）大小的矩形子圖像作為參考子圖像，在右側(cè)黑白相機圖像中，通過一定的搜索方法，并按照預(yù)先定義的相關(guān)系數(shù)進行計算，尋找與參考子圖像相似度最大的以C′為中心的待匹配圖像，則點C′即為點C在右側(cè)黑白相機圖像中的對應(yīng)點。

圖4 數(shù)字圖像相關(guān)原理

在本方法中所采用的相關(guān)系數(shù)為最小距離平方和函數(shù)：

2.2 圖像去邊緣化

數(shù)字圖像相關(guān)法是一種區(qū)域性的匹配方法，是圖像子區(qū)中所有像素均參與的特征匹配，但在圖像的尖銳部分（如圖像邊緣），會產(chǎn)生很多錯誤匹配點。為了消除該方法的邊緣效應(yīng)，使用梯度均值和梯度重心偏移量的算子來定位和去除邊緣區(qū)域就顯得非常必要。對圖像梯度 g（x，y）的計算采用 Sobel算子，梯度均值為圖像子區(qū)范圍內(nèi)所有圖像點的平均值：

引入梯度均值閾值α，當子區(qū)梯度均值大于α，代表該子區(qū)特征飽滿，可進行計算；當子區(qū)均值小于α，則表示該區(qū)域特征過于統(tǒng)一，即整體偏白或偏黑，不利于計算，可以將其去除。梯度重心偏移量d表示圖像子區(qū)梯度重心（dx，dy）相對于子區(qū)中心（x0，y0）的偏移程度：

同樣引入閾值β，當d＞β時，表明該區(qū)域梯度特征分布不均，可能處于邊緣區(qū)域，可以去除。

為提高該環(huán)節(jié)的計算速度，本文采用盒濾波運算法[10-11]來加速散斑圖像梯度計算過程。其基本思想是采用一個不斷更新數(shù)據(jù)的像素窗口，利用前一個圖像子區(qū)的梯度計算代價，為下一個圖像子區(qū)梯度計算消除冗余的加法、乘法運算，并且在數(shù)據(jù)訪問時通過直接訪問數(shù)據(jù)位置而有效減少了尋址操作，計算效率顯著提高。對于一幅1920像素×1200像素的散斑圖像，計算子區(qū)大小為30像素×30像素，選取α=64，β=0.25，去邊緣化效果如圖5所示。對散斑圖像進行該處理后，在匹配階段可有效改善散斑的誤匹配以及被測物外的無限制匹配所產(chǎn)生的諸多數(shù)據(jù)雜點。

3 實驗分析

3.1 面部點云掃描

為驗證該方法點云重建效果，設(shè)計了面部輪廓測量實驗。首先對相機進行內(nèi)外參數(shù)的標定，調(diào)節(jié)散斑投射器，標定后固定相機位置。人位于兩測頭中心線上，與每個測頭相距1 050 mm，掃描面部時，黑白相機曝光時間設(shè)置為3 ms，彩色相機曝光時間設(shè)置為15ms。掃描時，通過驅(qū)動電路板觸發(fā)兩測頭上的主動激光散斑投射器來投射散斑，在投射散斑5ms后，控制所有的相機同步采集面部散斑圖片和彩色圖片，16ms后關(guān)閉散斑投射器，相機停止數(shù)據(jù)采集。獲取散斑圖像后，通過設(shè)定的三維輪廓計算流程，對其進行邊緣化去除操作，隨后根據(jù)數(shù)字圖像相關(guān)原理及多種子點擴散原理進行面部點云重建。

由圖6、圖7中圖像可以觀察到，使用主動激光散斑投射器采集的面部散斑圖像亮度均勻，散斑密集且清晰。在環(huán)境光線較弱情況下，依然能夠得到優(yōu)質(zhì)的散斑圖像；在高亮環(huán)境下，黑白相機加裝850濾光片后可屏蔽環(huán)境光影響，保證散斑效果。對散斑圖像進行輪廓重建之后，將點云分別保存為“.wrl”格式的彩色點云文件、“.asc”格式的正面點云文件和“.stl”格式的三角面片文件，如圖8所示。從點云信息中可看出，通過該方法所得到的面部點云比較光滑，眼、鼻、眉等細節(jié)特征保存比較完整，能夠較好地識別出主要特征。

圖5 去邊緣化處理實例效果

圖6 右測頭相機采集圖片

圖7 左測頭相機采集圖片

通過多次測量點云的結(jié)果來看，該方法在保證了重建效果的同時，還具有較好的穩(wěn)定性。另外，采用雙測頭的測量方案能夠比較完整地獲取人面部兩側(cè)的點云信息，而且對于兩測頭測量范圍相交區(qū)域，互補作用使點云數(shù)據(jù)更加完整，可以滿足相關(guān)行業(yè)的使用要求。

圖8 掃描點云

3.2 誤差驗證

實驗采用直徑為100mm的標準球進行點云重建，然后根據(jù)生成的點云進行球體擬合并計算其直徑，將計算值與標準值進行對比分析，驗證散斑點云重建的誤差，散斑圖像及球體擬合效果如圖9所示。

圖9 標準球直徑擬合

對標準球的掃描測量實驗共進行5次，多次擬合球直徑得到的結(jié)果如圖10所示。

圖10 多次擬合結(jié)果圖

根據(jù)5組實驗的標準球直徑擬合結(jié)果得到平均擬合直徑為99.64mm，標準差為0.15mm。因此，該方法的散斑測量誤差在±0.2mm左右。

4 結(jié)束語

本文針對目前對面部輪廓信息測量的需求，使用一種主動激光散斑投射器向人面部投射激光紅外散斑，該方法數(shù)據(jù)采集時間較短，不易受環(huán)境光強的影響。在三維輪廓重建流程中，對獲得的散斑圖像進行預(yù)處理去邊緣化操作，防止誤匹配及無限匹配的發(fā)生，最終重建面部輪廓。實驗證明該方法所獲得面部點云信息擁有較好的特征辨識度，五官清晰，驗證了該方法的可行性，并通過誤差測試驗證了該方法的測量誤差可以達到±0.2mm。

[1]鐘世鎮(zhèn)．數(shù)字化虛擬人體研究現(xiàn)狀和展望[J]．解放軍醫(yī)學(xué)雜志，2003，28（5）：385-388.

[2]潘紅艷，柳楊華，徐光祐．人臉動畫方法綜述[J]．計算機應(yīng)用研究，2008，25（2）：327-331.

[3]熊耀陽，陳曉波，孫健，等．結(jié)構(gòu)光投影面部三維測量系統(tǒng)的研制[J]．上海交通大學(xué)學(xué)報（醫(yī)學(xué)版），2009，29（7）：837-841.

[4]楊宇，闞凌雁，于佳，等．基于激光掃描的人臉三維重建方法[J]．紅外與激光工程，2014，43（12）：3946-3950．

[5]鹿樂，周大可，胡陽明．基于特征分塊的三維人臉重建和識別[J]．計算機應(yīng)用，2012，32（11）：3189－3192．

[6]葛寶臻，趙丹，田慶國，等．三光帶激光三維人臉掃描方法[J]．2010，37（6）：1594-1598.

[7]唐正宗，梁晉，肖振中，等．用于三維變形測量的數(shù)字圖像相關(guān)系統(tǒng)[J]．光學(xué)精密工程，2010，18（10）：2244-2253．

[8]SAVIC V， HECTOR L G J， FEKETE J R.Digital image correlation study of plastic deformation and fracture in fully martensitic steels[J].Experimental Mechanics，2010，50（1）：99-110.

[9]KARTAL M E，MULVIHILL D M，NOWELL D，et al.Determination of the frictional properties of titanium and nickel alloys using the digital image correlation method[J].Experimental Mechanics，2011，51（3）：359-371.

[10]鄧祥．多分辨率與視差梯度相結(jié)合的快速區(qū)域匹配[J]．山西電子技術(shù)，2014（6）：9-11.

[11]MCDONNELL M J.Box-filtering techniques[J]．Computer Graphics and Image Processing，1981，17（1）：65-70.

（編輯：商丹丹）

Research on active laser speckle projection for facial measurement

ZHAO Pengliang1，2， LIANG Jin1，2， XU Jinlan1，2， WU Guoqing3， MENG Fanchang1，2
（1.State Key Laboratory for Manufacturing Systems Engineering，School of Mechanical Engineering，Xi’an Jiaotong University，Xi’an 710049，China；2.Guangdong Shunde Xi’an Jiaotong University Academy，F(xiàn)oshan 528300，China；3.Institute of Electro-Optical Equipment，AVIC，Luoyang 471009，China）

In order to solve the problem of facial measurement in medical and other related fields，a method to acquire the facial point cloud based on active laser speckle projection is proposed.This method can rapidly reconstruct the three-dimensional facial contour by combining stereo vision with digital image correlation method.Firstly，the fundamental of digital image correlation method is introduced，and then a preprocessing method of speckle image before matching is proposed to remove the marginalized area of the speckle image for high quality speckle matching.Finally， according to the speckle matching，the facial three-dimensional point cloud is calculated.To verify the feasibility and the final reconstruction effect of the method， the facial scan reconstruction and error experiment are designed and conducted.Experimental results demonstrate that the method has small measuring device size and light robustness.It can reconstruct the facial model well， and the overall measurement error is ±0.2mm.

facial measurement； laser speckle； digital image correlation method； image marginalization removal

A

1674-5124（2017）09-0008-05

10.11857/j.issn.1674-5124.2017.09.002

2016-12-23；

2017-02-10

國家自然科學(xué)基金項目（51421004）；廣東省公益研究與能力建設(shè)專項資金（2014A010104003）

趙鵬亮（1991-），男，河南許昌市人，碩士研究生，專業(yè)方向為三維光學(xué)測量。

梁 晉（1968-），男，河南鄭州市人，教授，博士生導(dǎo)師，主要從事機電控制、機器視覺等方面的研究。