艾 達(dá)， 倪國(guó)斌， 王 苗， 楊 珍

(1.西安郵電大學(xué) 公安部電子信息勘驗(yàn)應(yīng)用技術(shù)實(shí)驗(yàn)室，陜西 西安 710121；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

?

綜述與評(píng)論

基于Kinect的三維重建技術(shù)綜述*

艾 達(dá)1， 倪國(guó)斌2， 王 苗2， 楊 珍2

(1.西安郵電大學(xué) 公安部電子信息勘驗(yàn)應(yīng)用技術(shù)實(shí)驗(yàn)室，陜西 西安 710121；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121)

詳細(xì)介紹了三維重建和Kinect工作原理；對(duì)現(xiàn)有利用Kinect進(jìn)行三維重建的技術(shù)方法進(jìn)行了說明，重點(diǎn)對(duì)配準(zhǔn)過程中的迭代就近點(diǎn)(ICP)算法的相關(guān)改進(jìn)進(jìn)行分析和比較；并在上述基礎(chǔ)上對(duì)Kinect Fusion做了介紹和說明，列舉其最新改進(jìn)和應(yīng)用；最后對(duì)基于Kinect的三維場(chǎng)景重建的發(fā)展趨勢(shì)進(jìn)行了簡(jiǎn)單總結(jié)和展望。

Kinect； 三維重建； 迭代就近點(diǎn)算法； Kinect Fusion

0 引 言

三維重建是在虛擬環(huán)境中處理、分析和操作模型的基礎(chǔ)，同時(shí)也是虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)[1]，根據(jù)獲取的場(chǎng)景信息的不同可將其分為基于紋理和基于深度的三維重建[2]，后者又可分為非接觸式和接觸式，而非接觸式技術(shù)又有主、被動(dòng)掃描之分。常見的飛行時(shí)間(time of flight，ToF) 相機(jī)、手持激光系統(tǒng)、結(jié)構(gòu)光系統(tǒng)和Kinect深度傳感器等[3]均使用了非接觸式主動(dòng)掃描技術(shù)。Rushmeier H等人[4]將基于深度圖像的三維重建過程分為幾何處理和面的表示。

Kinect由于其成本低廉擁有廣泛的應(yīng)用潛力而在近兩年備受關(guān)注，操作簡(jiǎn)單、攜帶輕便的特性使其成為理想的深度數(shù)據(jù)獲取設(shè)備。因此，基于Kinect的三維場(chǎng)景重建技術(shù)應(yīng)運(yùn)而生。

1 Kinect概述

與普通的攝像機(jī)只能獲得一般的彩色圖像不同，Kinect可以不受光照條件影響，同時(shí)獲得被測(cè)物體的顏色和深度信息。

一代Kinect搭載PS1080芯片[11]，通過光編碼技術(shù)[12]獲取深度信息。由于Kinect 2.0使用了X871141—001 SoC處理器[13]，在第一代光編碼的基礎(chǔ)上，加入了ToF技術(shù)[14]，通過發(fā)射一個(gè)強(qiáng)度隨時(shí)間周期變化的正弦信號(hào)，獲得發(fā)射和接收信號(hào)的相位差計(jì)算深度信息，在傳感器分辨率相同的情況下獲得了更高的精度。

在獲取深度信息的同時(shí)，Kinect的彩色攝像頭實(shí)時(shí)拍攝場(chǎng)景彩色圖像。為了方便后續(xù)的紋理映射操作[2]，兩個(gè)相機(jī)產(chǎn)生的視差經(jīng)過修正，使得兩種目標(biāo)圖像對(duì)齊到相同的位置。

2 基于Kinect的三維重建過程

利用Kinect完成三維場(chǎng)景重建的方法有很多種，基本均由三個(gè)主要步驟構(gòu)成[2]：獲取點(diǎn)云數(shù)據(jù)并處理、配準(zhǔn)及重建與紋理映射。

2.1 三維點(diǎn)云數(shù)據(jù)獲取與處理

Kinect獲得深度圖像后將深度數(shù)據(jù)轉(zhuǎn)化為點(diǎn)云。需要注意的是，后續(xù)的三維模型重建精度會(huì)因?yàn)镵inect獲取的大量點(diǎn)云數(shù)據(jù)，尤其是邊緣處的不穩(wěn)定噪聲點(diǎn)，而受到嚴(yán)重影響。為了在去除深度噪聲點(diǎn)的同時(shí)充分保留邊緣信息，還需對(duì)獲得的數(shù)據(jù)進(jìn)行濾波等預(yù)處理。中值濾波[15]，高斯濾波[16]，拉普拉斯濾波[17]和雙邊濾波[18]等是比較常用的幾種處理算法。通過對(duì)濾波算法的合理改進(jìn)可以在降低噪聲影響的同時(shí)充分保留圖像信息，尤其是圖像邊緣的信息。

2.2 三維點(diǎn)云配準(zhǔn)

不同視角下獲取的數(shù)據(jù)經(jīng)過濾波后，需要將點(diǎn)云配準(zhǔn)到一個(gè)單一的模型中。配準(zhǔn)過程大體分為兩大類：粗配準(zhǔn)和精細(xì)配準(zhǔn)[19]。配準(zhǔn)的關(guān)鍵是找出正確的旋轉(zhuǎn)和平移向量以表示兩組點(diǎn)云數(shù)據(jù)集的空間變換關(guān)系，通過變換使其處于同一坐標(biāo)系下，使兩者的交集區(qū)域重疊。粗配準(zhǔn)過程通過求出近似配準(zhǔn)變換，使兩組點(diǎn)云數(shù)據(jù)盡可能的靠近，以達(dá)到縮小差異、為更精細(xì)配準(zhǔn)提供好的初始位置、增大迭代收斂到最優(yōu)變換概率的目的；在此基礎(chǔ)上，通過逐漸逼近、迭代，可以獲得更好的變換參數(shù)，實(shí)現(xiàn)精細(xì)配準(zhǔn)。

由于無法獲取精確的控制點(diǎn)，粗配準(zhǔn)往往很難達(dá)到較高的精度。而精配準(zhǔn)中的ICP算法是改進(jìn)的較為成熟、使用最廣的精確配準(zhǔn)算法。

2.2.1 ICP算法

在20世紀(jì)90年代由Besl P J等人[20]提出了ICP算法，利用在來自不同坐標(biāo)系的兩組數(shù)據(jù)點(diǎn)集中找到的變換關(guān)系進(jìn)行數(shù)據(jù)匹配。其一般過程可分為以下幾個(gè)步驟：1)點(diǎn)選擇，選擇樣本尋找兩組點(diǎn)云之間的最優(yōu)轉(zhuǎn)換；2)點(diǎn)匹配，找出目標(biāo)表面和原數(shù)據(jù)點(diǎn)的交集，或直接找出最鄰近的點(diǎn)。這是ICP算法中最關(guān)鍵的一步；3)點(diǎn)對(duì)加權(quán)，給匹配程度不同的點(diǎn)對(duì)賦予不同的權(quán)值以改善質(zhì)量；4)點(diǎn)對(duì)去除，排除噪聲或不重疊的區(qū)域產(chǎn)生的離群點(diǎn)；5)誤差最小化，兩個(gè)點(diǎn)云數(shù)據(jù)集合需要通過合適的最小化誤差度量表達(dá)。

2.2.2 ICP不同階段上的改進(jìn)

除上文所述，根據(jù)ICP數(shù)據(jù)處理階段，其過程還包括重采樣、空間查找及距離度量、目標(biāo)度量函數(shù)最小化和算法迭代4個(gè)階段[22]等劃分方法。但Nishino K等人[23]提出：幾乎所有的改進(jìn)都著手于配準(zhǔn)策略、配準(zhǔn)元素和誤差度量3個(gè)方面。各個(gè)階段的相關(guān)改進(jìn)以及因改進(jìn)而增加的新階段如下[24]:

1)控制點(diǎn)選取

在標(biāo)準(zhǔn)的ICP算法中，采用集合中的所有點(diǎn)計(jì)算對(duì)應(yīng)點(diǎn)，并沒有控制點(diǎn)選取這一階段[20,25]。算法一經(jīng)提出，就有學(xué)者嘗試使用一致采樣[26]、隨機(jī)采樣[27]和深度圖梯度采樣[28]等方法有效提高算法效率；通過邊緣點(diǎn)集采樣[29]和法向量分布最大化采樣[25]顯著優(yōu)化了算法?？傊ㄟ^對(duì)深度圖像的合理采樣可以獲取更可靠的控制點(diǎn)集或更小的計(jì)算數(shù)據(jù)量。

2)特征度量

為了找到對(duì)應(yīng)點(diǎn)，首先要確定模型數(shù)據(jù)點(diǎn)和場(chǎng)景數(shù)據(jù)點(diǎn)的特征差異，于是引入了特征度量的概念。表1為多種在特征度量方面的代表性改進(jìn)。此外，在確定特征差異后迭代優(yōu)化的目標(biāo)函數(shù)仍需利用特征度量建立。

表1 特征度量的代表性改進(jìn)

3)空間搜索

ICP算法在選取對(duì)應(yīng)點(diǎn)時(shí)需要進(jìn)行大量的搜索，從上世紀(jì)末至本世紀(jì)初，通過引入多維二元搜索樹(K-D Tree)[40]、近似多維二元搜索樹(AK-D Tree)[41]和自適應(yīng)對(duì)偶近似搜索樹(ADAK-D Tree)[40]等算法，有效處理了非完全對(duì)應(yīng)點(diǎn)集、局部遮擋和自遮擋問題，并自動(dòng)剔除異常值，逐步提高了配準(zhǔn)效率；期間利用反響定標(biāo)技術(shù)和Z-buffer方法和投影搜索[44]明顯改善了配準(zhǔn)效率；此后Okuda H等人使用分級(jí)搜索[45]顯著提高了搜索效率，Greenspan M等人提出了球面三角形約束的最近鄰域方法[46]，顯著減少了計(jì)算量。

4)點(diǎn)對(duì)權(quán)重

表2列出了幾種不同的加權(quán)方法。

表2 點(diǎn)對(duì)加權(quán)的代表性改進(jìn)

標(biāo)準(zhǔn)ICP算法中對(duì)點(diǎn)不做區(qū)別，均賦予非零常數(shù)權(quán)重。通過改進(jìn)效果可以看出，提高了算法的魯棒性，并在點(diǎn)選擇、異常篩除等方面進(jìn)一步改善了算法。

5)剛體變換的求解

為ICP算法的最后一個(gè)階段，最小化方法有四元數(shù)[53]、正交矩陣[54]、雙四元數(shù)和奇異值分解等；Eggert D W分析了上述方法的精確和穩(wěn)定性，并總結(jié)了其差異[55 ]；此外，選擇不同的計(jì)算方法以適應(yīng)不同的目標(biāo)函數(shù)可以獲得更好的效果，例如通過點(diǎn)到面距離建立的目標(biāo)函數(shù)即通常采用非線性最小二乘方法求閉合解[25]。

2.3 三維點(diǎn)云重建與紋理映射

相鄰幀點(diǎn)云完成配準(zhǔn)后，還需要將這些不同視角的點(diǎn)云融合為一個(gè)完整的三維模型，使融合后的模型中，不同點(diǎn)云的重疊區(qū)域沒有重復(fù)的數(shù)據(jù)點(diǎn)。

2.3.1 面元表達(dá)下的點(diǎn)云融合

點(diǎn)云融合[56]大致可以分為面元更新、面元增加和面元移除3個(gè)主要步驟，面元[57]是局部近似物體表面形狀和陰影屬性的零維n元組，非常適合于動(dòng)態(tài)幾何形狀建模，每個(gè)面元由位置pi、半徑r、法向量ni以及可見置信度vi組成，其中模型曲面Mt用一組面元si，i=1,…，Nt表示[58]。融合時(shí)，首先更新掃描輸入對(duì)應(yīng)的面元，在所有面元完成更新后，新的面元會(huì)增加到還未被模型面元覆蓋的掃描深度圖中。另外可以根據(jù)輸入設(shè)備的理論精度限制設(shè)置合適的面元半徑估計(jì)，從而實(shí)現(xiàn)通過將目標(biāo)物體靠近攝像頭來增加模型細(xì)節(jié)水平的效果[2]。

2.3.2 紋理映射

即通過紋理模式將其映射到對(duì)象表面上是為目標(biāo)表面添加細(xì)節(jié)的常用方法。進(jìn)行紋理映射的基本問題為定義映射函數(shù)，即確定指定像素與目標(biāo)對(duì)象上指定點(diǎn)的一一對(duì)應(yīng)關(guān)系[2]。利用OpenGL[2]開源庫(kù)中包含的大量關(guān)于紋理操作的API函數(shù)，Kinect獲取的彩色信息作為紋理輸入，映射到三維點(diǎn)云模型中，即可得到可視化的真實(shí)三維模型顯示,如圖1。

圖1 模型面元和紋理映射

3 Kinect Fusion

Kinect Fusion能夠?qū)崿F(xiàn)通過Kinect傳感器進(jìn)行現(xiàn)實(shí)場(chǎng)景的三維重建，重建后的三維場(chǎng)景數(shù)據(jù)可以通過.obj及.stl等格式導(dǎo)出。Kinect Fusion在工業(yè)設(shè)計(jì)、3D打印等領(lǐng)域均有較為廣闊的發(fā)展?jié)撡|(zhì)。相比于傳統(tǒng)的三維建模方式，快速便捷、交互友好是Kinect Fusion最大的優(yōu)勢(shì)。

3.1 Kinect Fusion概述

與Kinect Fusion類似的建模系統(tǒng)很早就有研究：2010年，華盛頓大學(xué)利用基于SIFT特征匹配定位和TORO優(yōu)化算法[59]，設(shè)計(jì)了一種實(shí)時(shí)視覺SLAM系統(tǒng)；次年，弗萊堡大學(xué)提出了RGBD-SLAM算法，使用Hogman優(yōu)化算法和SURF特征匹配[60]搭建了實(shí)時(shí)性高、魯棒性強(qiáng)的重建系統(tǒng)；結(jié)合上述經(jīng)驗(yàn)，微軟在2012年采用高效并行的GPU算法和基于TSDF的點(diǎn)云融合方法[61,62]，使系統(tǒng)實(shí)時(shí)性更高，并增加了點(diǎn)云融合，重建模型冗余點(diǎn)少，質(zhì)量更好。

圖2為Kinect Fusion的流程效果。Kinect獲取的深度圖像起初有較多的數(shù)據(jù)丟失，通過移動(dòng)傳感器掃描物體，很快就能夠重建足夠平滑和完整的靜態(tài)場(chǎng)景，同時(shí)生成3D模型和點(diǎn)云數(shù)據(jù)。

圖2 Kinect Fusion流程效果

3.2 Kinect Fusion工作原理

Kinect Fusion融合了從多個(gè)角度得到的深度圖像數(shù)據(jù)，重建物體的單幀光滑表面模型[63]。

1)深度圖像數(shù)據(jù)轉(zhuǎn)換和預(yù)處理：首先將傳感器獲取的原始深度幀數(shù)據(jù)轉(zhuǎn)換為浮點(diǎn)數(shù)據(jù)并優(yōu)化，然后通過獲取傳感器的坐標(biāo)信息，將這些浮點(diǎn)數(shù)據(jù)轉(zhuǎn)換為與傳感器朝向相同的點(diǎn)云數(shù)據(jù)。

2)傳感器追蹤通過計(jì)算傳感器的位置、朝向等姿勢(shì)信息，再在Kinect移動(dòng)時(shí)不斷獲取其姿勢(shì)，計(jì)算出當(dāng)前傳感器相對(duì)于起始幀時(shí)的相對(duì)姿勢(shì)。配準(zhǔn)時(shí)，Kinect Fusion將從傳感器深度影像數(shù)據(jù)中獲取的點(diǎn)云與從重建目標(biāo)計(jì)算得來的點(diǎn)云進(jìn)行配準(zhǔn)，同時(shí)配準(zhǔn)同一場(chǎng)景不同視場(chǎng)角的數(shù)據(jù)。

3)體元數(shù)據(jù)融合：將從已知姿勢(shì)傳感器生成的深度數(shù)據(jù)逐幀、連續(xù)地融合成代表傳感器視場(chǎng)內(nèi)的模型體元，并加入平滑算法來降低噪聲的影響，同時(shí)一定程度解決了場(chǎng)景內(nèi)的動(dòng)態(tài)變化問題。原始圖像中沒有捕捉到的部分則隨著Kinect的移動(dòng)陸續(xù)捕捉，重建場(chǎng)景中的空洞也會(huì)被相繼填充。

4)渲染場(chǎng)景，并根據(jù)光線跟蹤方法，預(yù)測(cè)傳感器即將接收到的環(huán)境數(shù)據(jù)，重建的同時(shí)反饋給步驟(2)進(jìn)行配準(zhǔn)。

通過上述步驟，Kinect Fusion通過其獨(dú)特的體繪制技術(shù)完成了較高質(zhì)量的模型重建，精度能夠達(dá)到mm級(jí)別。并且與傳統(tǒng)的重建方法相比，效率較高，極大地改善了消費(fèi)級(jí)傳感器的實(shí)時(shí)三維場(chǎng)景重建效果，為三維場(chǎng)景重建創(chuàng)造了良好的用戶體驗(yàn)，甚至提供了基于重建場(chǎng)景人機(jī)交互應(yīng)用[61,62]的可能。

3.3 Kinect Fusion相關(guān)改進(jìn)及應(yīng)用

自Kincet Fusion加入軟件開發(fā)工具包(SDK)中后，不少學(xué)者和研究人員都對(duì)該快捷便利的建模方式做了進(jìn)一步的改進(jìn)以及更深一步的應(yīng)用。童偉亮[64]等人用Kinect架在不同位置獲取到的深度數(shù)據(jù)和傳感器位置、姿勢(shì)信息進(jìn)行特征匹配、表面拼接、生成點(diǎn)云信息，完成場(chǎng)景建模；蔡晨賈農(nóng)[65]等人基于Kinect Fusion 掃描的點(diǎn)云數(shù)據(jù)，用一種新的點(diǎn)云分割方法將點(diǎn)云數(shù)據(jù)中的平面結(jié)構(gòu)準(zhǔn)確識(shí)別、提取并重建；朱笑笑[66]等人使用邊線特征進(jìn)行匹配并預(yù)設(shè)地面點(diǎn)云提高了Kinect Fusion的魯棒性并降低了累積誤差；Yilmaz O[67]等人同時(shí)使用了主動(dòng)和被動(dòng)深度傳感器以及外圍硬件使重建精度進(jìn)一步改進(jìn)；Igelbrink T[68]等人提出了一種無需附加濾波過程即可從RGBD圖像中生成拓?fù)浣Y(jié)構(gòu)的三角形網(wǎng)格；Centonze E[69]等人通過對(duì)從Kinect獲得的數(shù)據(jù)進(jìn)行了特征提取進(jìn)行睡眠障礙分析；Hisahara H[70]等人利用多個(gè)Kinect構(gòu)造了更大范圍場(chǎng)景來進(jìn)行機(jī)器人控制方案的安全測(cè)試。

4 結(jié) 論

首先對(duì)目前三維重建的基本概況進(jìn)行了介紹；其次對(duì)現(xiàn)有利用Kinect進(jìn)行三維重建的技術(shù)方法進(jìn)行了說明，重點(diǎn)對(duì)配準(zhǔn)過程中的ICP算法的改進(jìn)進(jìn)行了分析，對(duì)比和總結(jié)了不同改進(jìn)和取得的效果。通過對(duì)比發(fā)現(xiàn)：基于Kinect的三維重建技術(shù)有著比較成熟且效果明顯的改進(jìn)，改進(jìn)后的重建算法在重建質(zhì)量、幀率和運(yùn)行時(shí)間等核心參數(shù)上有明顯提高?；诖耍鯧inect Fusion，為未來基于消費(fèi)級(jí)設(shè)備的高精度快速三維重建提出了解決方案。

[1] 曾慶軍,黃惟一.虛擬現(xiàn)實(shí)中的傳感器技術(shù)[J].傳感器與微系統(tǒng),1997,16(1):1-4.

[2] 葉日藏.基于Kinect深度傳感器的三維重建技術(shù)應(yīng)用研究[D].廣州：華南理工大學(xué),2013:1.

[3] 趙建敏,趙忠鑫,李 琦.基于Kinect傳感器的羊體體尺測(cè)量系統(tǒng)[J].傳感器與微系統(tǒng),2015,34(9):100-103.

[4] Rushmeier H,Bernardini F.The 3D model acquisition pipe-line[J].Comput Graph Forum,2002,21(2):149-172.

[5] Hilton A,Illingworth J.Geometric fusion for a hand-held 3D sensor[J].Machine Vision & Applications,2000,12(1):44-51.

[6] Tubic D,Hebert P,Deschenes J,et al.A uified representation for iteractive 3D modeling[C]∥International Symposium on 3D Data Processing Visualization and Transmission,IEEE Computer Society,2004:175-182.

[7] Koninckx T P,Jaeggll T,Van GooL L.Adaptive scanning for online 3D model acquisition[C]∥Workshop on Real-Time 3D Sensors and Their Use,2004:32.

[8] Huang P,Zhang S.High-resolution,real-time 3D shape acquisition[C]∥2012 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops,IEEE Computer Society,2004:28-28.

[9] Kim Y M,Theobalt C,Diebel J,et al.Multi-view image and tof sensor fusion for dense 3D reconstruction[C]∥2009 IEEE 12th International Conference on Computer Vision Workshops (ICCV Workshops) ,IEEE,2009:1542-1549.

[10] Cui Y.3D shape scanning with a time-of-flight camera[J].Computer Vision and Pattern Recognition(CVPR),2010,23(3):1173-1180.

[11] 范 哲.基于Kinect的三維重建[D].西安：西安電子科技大學(xué),2012:1.

[12] 余 濤.Kinect應(yīng)用開發(fā)實(shí)戰(zhàn)：用最自然的方式與機(jī)器對(duì)話[M].北京:機(jī)械工業(yè)出版社,2012:56-60.

[13] Xbox One Kinect內(nèi)部芯片拆解詳解[EB/OL].[2015—06—16].http:∥jingyan.baidu.com/article/6dad5075c91d68a123e36ee4.html.

[14] 微軟自主研發(fā)的 Xbox One Kinect 2.0 體感技術(shù)跟上代機(jī)型所使用 PrimeSense 的方案有何不同？-Kinect-知乎 [EB/OL].[2015—06—17].http:∥www.zhihu.com/question/22058180.

[15] Arce G R.Nonlinear signal processing:A statistical approach[M].Hoboken:John Wiley & Sons,Inc,2005:80-138.

[16] Nixon M S,Aguado A S.Feature extraction and image processing[J].Journal of Medical Ethics,2008,26(1):78.

[17] Ulichney R.Digital halftoning[J].Digital Halftoning,1987(4):12-13.

[18] Tomasi C,Manduchi R.Bilateral filtering for gray and color images[C]∥Sixth International Conference on Computer Vision,Bombay,IEEE Computer Society,1998:839-846.

[19] 肖慧敏.點(diǎn)云數(shù)據(jù)的配準(zhǔn)算法[D].西安：西安電子科技大學(xué),2012:1.

[20] Besl P J,Mckay N D.A method for registration of 3D shapes[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,1992,14(2):239-256.

[21] Rusinkiewicz S,Levoy M.Efficient variants of the ICP algori-thm[C]∥Proceedings of Third International Conference on 3D Digital Imaging and Modeling,Quebec,IEEE,2001:145-152.

[22] 伍 毅.三維掃描信息獲取的深度圖像配準(zhǔn)算法設(shè)計(jì)及開發(fā)[D].杭州：浙江大學(xué),2005:1.

[23] Nishino K,Ikeuchi K.Robust simultaneous registration of multiple range images comprising a large number of points[J].Electronics & Communications in Japan,2001(8):61-74.

[24] 李世飛,王 平,沈振康.迭代最近點(diǎn)算法研究進(jìn)展[J].信號(hào)處理,2009,25(10):1582-1588.

[25] Chen Y,Medioni G.Object modeling by registration of multiple range images[C]∥Proceedings of IEEE International Conference on Robotics and Automation,IEEE,1991:2724-2729.

[26] Turk G,Levoy M.Zippered polygon meshes from range images[C]∥Proceedings of Annual Conference on Computer Graphics & Interactive Techniques,Siggraph’94,1994.

[27] Masuda T,Sakaue K,Yokoya N.Registration and integration of multiple range images for 3D model construction[C]∥Procee-dings of 13th International Conference on Pattern Recognition,1996:879-883.

[28] Weik S.Registration of 3D partial surface models using luminance and depth information[C]∥1997.Proceedings of International Conference on Recent Advances in 3D Digital Imaging and Modeling,IEEE,1997:93-100.

[29] Angel Domingo S,Restrepo-Specht A,Devy M.Range image registration by using an edge-based representation[C]∥Proceedings of the 9th International Symposium on Intelligent Robotic Systems,SIRS’01,2001.

[30] Schutz C.Geometric point matching of free-form 3D objects[D].Neuchatel,Switzerland; University of Neuchatel,1998:1.

[31] Jost T.Fast geometric matching for shape registration[D].Neuchatel,Switzerland:University of Neuchatel,2002:1.

[32] Pulli K.Multiview registration for large data sets [C]∥The Second International Conference on 3D Digital Imaging and Modeling ,Ontario,IEEE,1999:160-168.

[33] Godin G,Laurendeau D,Bergevin R.A method for the registration of attributed range images[C]∥Int’l Conf on Imaging & Mode-ling,Quebec,2001:179.

[34] Pottmann H,Leopoldseder S,Hofer M.Registration without ICP[J].Computer Vision and Image Understanding.2004,95(1):54-71.

[35] 張鴻賓,謝 豐.基于表面間距離度量的多視點(diǎn)距離圖像的對(duì)準(zhǔn)算法[J].中國(guó)科學(xué),2005,35(2):150-160.

[36] Ezra E,Sharir M,Efrat A.On the Performance of the ICP Algorithm[J].Computational Geometry,2008,41(1-2):77-93.

[37] Bernardini F,Mittleman J,Rushmeier H,et al.The ball-pivoting algorithm for surface reconstruction[J].IEEE Transactions on Visualization & Computer Graphics,1999,5(4):349-359.

[38] Godin G.Range image registration through invariant computation of curvature[C]∥Proc of ISPRS Workshop from Pixels to Sequences,Zurich,1995:170-175.

[39] Sharp G C,Lee S W,Wehe D K.ICP registration using invariant features[J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,24(1):90-102.

[40] Zhang Z.Iterative point matching for registration of free-form curves and surfaces[J].International Journal of Computer Vision,1994,13(2):119-152.

[41] Greenspan M,Yurick M.Approximate k-d tree search for efficient ICP[C]∥(3DIM) Proceedings of Fourth International Confe-rence on 3D Digital Imaging and Modeling,IEEE,2003:442.

[42] Lee J D,Hsieh S S,Huang C H,et al.An Adaptive ICP Registration for Facial Point Data[C]∥(ICPR)18th International Conference on Pattern Recognition,IEEE,2006:703-706.

[43] Neugebauer P J.Geometrical cloning of 3D objects via simulta-neous registration of multiple range images[C]∥1997 International Conference on Shape Modeling and Applications.IEEE,1997:130-139.

[44] Benjemaa R,Schmitt F.Fast global registration of 3D sampled surfaces using a multi-z-buffer technique[C]∥Proceedings of International Conference on Recent Advances in 3D Digital Imaging and Modeling,1997:113-120.

[45] Okuda H.Fast 3D registration algorithm with hierarchical and region selection approach of M-ICP[J].Journal of Robotics & Mechatronics,2006,18:765-771.

[46] Salvi J,Matabosch C,Fofi D,et al.A review of recent range image registration methods with accuracy evaluation[J].Image & Vision Computing,2007,25(5):578-596.

[47] Greenspan M,Godin G.A nearest neighbor method for efficient ICP[C]∥Proceedings Third International Conference on 3D Digital Imaging and Modeling,Quebec ,IEEE Computer Society,2001:161-168.

[48] Godin G ,Rioux ’VI ,Baribeau R.Three-dimensional registration range and intensity information[C]∥Proc of SPIE 2350,Boston ,SPIE.1994:279-290.

[49] Dorai C,Wang G,Jain A K,et al.Registration and integration of multiple object views for 3D model construction[J].IEEE Tran-sactions on Pattern Analysis & Machine Intelligence,1998,20(1):83-89.

[50] Rusinkiewicz S,Levoy M.Efficient variants of the icp algorithm[C]∥The Third International Conference on 3D Digital Imaging and Modeling,IEEE,2001:145-152.

[51] Pulli K.Multiview registration for large data sets[C]∥Procee-dings of Second International Conference on 3D Digital Imaging and Modeling,IEEE,1999:160-168.

[52] Shunichi K,Tomonori K,Atsushi M.Robust matching of 3D contours using iterative closest point algorithm improved by M-estimation[J].Pattern Recognition,2003,36(9):2041-2047.

[53] Horn B K P.Closed-form solution of absolute orientation using unit quaternions[J].Journal of the Optical Society of America A,1987,4(4):629-642.

[54] Horn B,Hilden H M,Negahdaripour S.Closed-form solution of absolute orientation using orthonormal matrices[J].Journal of the Optical Society of America A,1988,5(7):1127-1135.

[55] Eggert D W,Lorusso A,Fisher R B.Estimating 3-D rigid body transformations:A comparison of four major algorithms[J].Machine Vision & Applications,1997,9(5-6):272-290.

[56] Weise T,Wismer T,Leibe B,et al.Online loop closure for real-time interactive 3D scanning[J].Computer Vision & Image Understanding,2011,115(5):635-648.

[57] Pfister H,Zwicker M,Van Baar J,et al.Surfels:Surface elements as rendering primitives[C]∥Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques,ACM,2000:335-342.

[58] Habbecke M,Kobbelt L.A surface-growing approach to multi-view stereo reconstruction[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition,2007:1-8.

[59] Henry P,Krainin M,Herbst E,et al.RGB-D mapping:Using depth cameras for dense 3D modeling of indoor environments[J].International Journal of Robotics Research,2012,31(5):647-663.

[60] Fioraio N,Konolige K.Realtime visual and point cloud SLAM[C]∥RSS Workshop on RGB-D Cameras,2011.

[61] Izadi S,Kim D,Hilliges O,et al.Kinect Fusion:Real-time 3D reconstruction and interaction using a moving depth camera[C]∥Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology,ACM,2011:559-568.

[62] Fitzgibbon A.Kinect Fusion:Real-time dense surface mapping and tracking[C]∥Proceedings of the 2011 10th IEEE International Symposium on Mixed and Augmented Reality,IEEE Computer Society,2011:127-136.

[63] Kinect Fusion[EB/OL].[2016—03—07].https:∥msdn.microsoft.com/en-us/library/dn188670.aspx.

[64] 童偉亮,王廣偉.基于Kinect及雙目機(jī)器視覺原理的物體3維建模系統(tǒng)[J].中國(guó)水運(yùn)月刊,2015,15(8):121-122.

[65] 蔡晨賈農(nóng)，施逸飛，徐 凱，等.基于KinectFusion的室內(nèi)場(chǎng)景平面結(jié)構(gòu)重建[J].系統(tǒng)仿真學(xué)報(bào)，2015(10)：2239-2245.

[66] 朱笑笑,曹其新,楊 揚(yáng),等.一種改進(jìn)的KinectFusion三維重構(gòu)算法[J].機(jī)器人,2014,36(2):129-136.

[67] Yilmaz O,Karakus F.Stereo and kinect fusion for continuous 3D reconstruction and visual odometry[C]∥2013 International Conference on Electronics,Computer and Computation(ICECCO),Ankara,IEEE,2013:115-118.

[68] Igelbrink T,Wiemann T,Hertzberg J.Generating topologically consistent triangle meshes from large scale kinect fusion[C]∥2015 European Conference on Mobile Robots(ECMR),Lincoln,IEEE,2015:1-6.

[69] Centonze F,Schatz M,Prochazka A,et al.Feature extraction using MS Kinect and data fusion in analysis of sleep disorders[C]∥2015 International Workshop on Computational Intelligence for Multimedia Understanding(IWCIM),Prague,IEEE,2015:1-5.

[70] Hisahara,S HaneH,Takemura,et al.3D point cloud-based virtual environment for safe testing of robot control programs:Measurement range expansion through linking of multiple kinect v2 sensors[C]∥2015 6th International Conference on Intelligent Systems,Modelling and Simulation(ISMS),IEEE,2015:24-27.

Review of 3D reconstruction technology based on Kinect*

AI Da1, NI Guo-bin2, WANG Miao2, YANG Zhen2

(1.Key Laboratory of Ministry of Public Security-Electronic Information Processing Techniques in Criminal Investigation Applications,Xi’an University of Posts and Telecommunications,Xi’an 710121,China;2.School of Telecommunication and Information Engineering,Xi’an University of Posts and Telecommunications,Xi’an 710121,China)

3D reconstruction technology and working principle of Kinect are introduced in detail,existing 3D reconstruction methods using Kinect are reviewed，iterative closest point(ICP) and its improvements are analyzed and compared.On this basis,the Kinect Fusion and its improvement and applications are introduced.Prospects of development trend of 3D reconstruction based on Kinect are summarized and prospected in brief.

Kinect;3D reconstruction; iterative closest point(ICP) algorithm; Kinect Fusion

10.13873/J.1000—9787(2017)08—0001—06

2016—05—05

公安部科技強(qiáng)警基礎(chǔ)工作專項(xiàng)項(xiàng)目(2014GABJC023)

TP 391

A

1000—9787(2017)08—0001—06

艾 達(dá)(1973-),男，博士，副教授，高級(jí)工程師，碩士生導(dǎo)師，研究方向?yàn)橐曨l、圖像處理，人工智能技術(shù)、虛擬現(xiàn)實(shí)技術(shù)。