范 清，沈旭昆,2

(1. 北京航空航天大學(xué)虛擬現(xiàn)實(shí)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室，北京 100191；2. 北京航空航天大學(xué)新媒體藝術(shù)與設(shè)計(jì)學(xué)院，北京 100191)

人體的動(dòng)態(tài)重建一直是計(jì)算機(jī)視覺(jué)和計(jì)算機(jī)圖形學(xué)領(lǐng)域的研究熱點(diǎn)。最近的工作在人體重建方面取得了很好的效果[1]。手作為人體最具特色的器官之一，由于其頻繁的自遮擋、豐富的姿態(tài)和細(xì)節(jié)、復(fù)雜的形狀變化，運(yùn)動(dòng)人手的動(dòng)態(tài)重建始終具有挑戰(zhàn)性，眾多研究人員持續(xù)開(kāi)展研究。

目前已經(jīng)提出很多基于非剛性變形技術(shù)的動(dòng)態(tài)重建方法[2-3]，這些方法通常利用一個(gè)模板模型來(lái)簡(jiǎn)化對(duì)應(yīng)性查找和為單視圖表面重建提供先驗(yàn)知識(shí)，然而，其3D對(duì)應(yīng)性建立方式存在低效，阻礙用戶運(yùn)動(dòng)等問(wèn)題，其需要在用戶身上粘貼光學(xué)標(biāo)記，或依賴(lài)用戶手工干預(yù)，或需要額外強(qiáng)加非平滑的運(yùn)動(dòng)約束[4]。鑒于此，本文采用實(shí)時(shí)的手跟蹤系統(tǒng)來(lái)推斷出準(zhǔn)確的3D手部關(guān)節(jié)點(diǎn)位置，進(jìn)而為手部表面動(dòng)態(tài)重建提供魯棒的標(biāo)記信息。

本工作旨在從消費(fèi)者級(jí)別深度傳感器捕獲的單目深度序列中動(dòng)態(tài)重建出完整的手部表面。為此，借助一個(gè)平滑的手部模板來(lái)重構(gòu)完整的手部運(yùn)動(dòng)，并提供形狀和拓?fù)湎闰?yàn)(下文將這個(gè)模板網(wǎng)格定義為源，而輸入深度圖像序列定義為目標(biāo))。我們發(fā)現(xiàn)從魯棒的手跟蹤系統(tǒng)中推斷出的3D手部關(guān)節(jié)位置可以作為非剛性曲面擬合的重要線索，為了利用這個(gè)線索，本文假設(shè)任意一對(duì)關(guān)鍵點(diǎn)之間的對(duì)應(yīng)性在不同的手部姿態(tài)下保持不變，通過(guò)引入多個(gè)關(guān)鍵點(diǎn)對(duì)到非剛性曲面擬合管線中以幫助獲得更合理的手部形變。此外，本文還引入多個(gè)能量函數(shù)來(lái)度量關(guān)鍵點(diǎn)區(qū)域的對(duì)齊和非剛性曲面擬合的程度，通過(guò)最小化源模型和目標(biāo)模型之間的失真誤差來(lái)恢復(fù)準(zhǔn)確的非剛性手部運(yùn)動(dòng)。

本文提出了一種魯棒的基于單目深度序列的非剛性手部動(dòng)態(tài)重建方法，其利用非線性可變形模板來(lái)捕捉手部的大尺度變形，并結(jié)合關(guān)鍵點(diǎn)對(duì)應(yīng)性約束自動(dòng)將模板與每個(gè)輸入深度幀對(duì)齊，整個(gè)管線不需要用戶任何手工干預(yù)。此外，還提出了一種多幀穩(wěn)定策略，每隔一定時(shí)間將當(dāng)前幀的跟蹤結(jié)果與錨點(diǎn)幀的跟蹤結(jié)果相融合，以減少跟蹤過(guò)程中的誤差積累。在含有噪聲的輸入深度序列上進(jìn)行的大量實(shí)驗(yàn)表明，本文方法能夠生成準(zhǔn)確的動(dòng)態(tài)重建結(jié)果，且對(duì)于較大的變形和遮擋具有魯棒性。本文所用模板及部分重建結(jié)果如圖1所示。

圖1 手部模板及部分重建結(jié)果((a)手部模板及采樣節(jié)點(diǎn)；(b)和(c)左列為輸入，右列為重建網(wǎng)格在不同視點(diǎn)下的渲染結(jié)果)Fig. 1 Template and partial reconstruction results of our method ((a) Initial template with nodes; (b) ~ (c) The input depth (left) and the reconstructed geometry model (right))

1 相關(guān)工作

復(fù)雜可變形物體的非剛性幾何和運(yùn)動(dòng)重建是計(jì)算機(jī)圖形學(xué)一個(gè)長(zhǎng)期研究的問(wèn)題，已有大量文獻(xiàn)發(fā)表[5]。

(1) 多視圖與單視圖。目前已經(jīng)提出了許多多視圖非剛性幾何和運(yùn)動(dòng)重建方法，如由輪廓恢復(fù)形狀[6]和被動(dòng)立體匹配方法[7]。文獻(xiàn)[8]結(jié)合表面模型和體模型對(duì)穿著普通衣服的人群進(jìn)行高質(zhì)量的重建。研究工作[9]提出將多個(gè)非連續(xù)的圖像序列與復(fù)雜的人體和服裝運(yùn)動(dòng)對(duì)齊。文獻(xiàn)[10]使用3個(gè)手持式Kinect傳感器同時(shí)重建人體骨骼姿態(tài)、人體表面幾何和相機(jī)姿態(tài)。DOU等[11]使用圍繞對(duì)象一圈放置的8個(gè)RGBD相機(jī)來(lái)重建一個(gè)完整的目標(biāo)模板，用來(lái)匹配輸入序列以捕捉精確的表面形變。其后續(xù)工作[12]通過(guò)自動(dòng)回路檢測(cè)將對(duì)齊誤差分布在回路上，以減少跟蹤過(guò)程中的誤差累積和應(yīng)對(duì)非剛性對(duì)齊輸入序列時(shí)產(chǎn)生的漂移問(wèn)題。緊接著又提出一個(gè)多階段融合方法[13]從多個(gè)RGBD攝像機(jī)實(shí)時(shí)記錄的噪聲輸入中快速重建具有挑戰(zhàn)性的場(chǎng)景。文獻(xiàn)[14]引入一個(gè)可變形形狀模板作為掃描對(duì)象的幾何和拓?fù)湎闰?yàn)來(lái)更好地匹配多視圖輸入序列。

與多視圖方法相比，基于單視圖的方法使用更輕便的設(shè)備來(lái)捕獲移動(dòng)對(duì)象。對(duì)于關(guān)節(jié)運(yùn)動(dòng)，文獻(xiàn)[15]通過(guò)在最大后驗(yàn)框架中迭代注冊(cè)一個(gè)已綁定骨骼的人體模型到單視圖的深度序列來(lái)重建三維人體姿態(tài)。文獻(xiàn)[16]結(jié)合深度、輪廓和時(shí)間線索，通過(guò)不斷擬合三維關(guān)節(jié)手模型到輸入深度圖像來(lái)重建關(guān)節(jié)手運(yùn)動(dòng)。文獻(xiàn)[17]使用骨架對(duì)齊來(lái)替代模型擬合從而更有效地從單目深度序列中回歸關(guān)節(jié)手運(yùn)動(dòng)。然而，這些方法通常只關(guān)注人體或手部的骨架運(yùn)動(dòng)的重建，而忽略了表面的非剛性形變。對(duì)于手部的非剛性運(yùn)動(dòng)和幾何重建，非剛性配準(zhǔn)技術(shù)[18]提供了一個(gè)潛在的解決方案。

(2) 標(biāo)記點(diǎn)與無(wú)標(biāo)記?；跇?biāo)記點(diǎn)的方法由于具有較高的準(zhǔn)確性在早期運(yùn)動(dòng)捕獲系統(tǒng)中得到廣泛應(yīng)用，近年來(lái)，無(wú)標(biāo)記運(yùn)動(dòng)跟蹤方法由于無(wú)需任何其他輔助設(shè)備，而更便捷，也因此獲得了更多的關(guān)注。文獻(xiàn)[19]提出了一種從深度掃描序列中重構(gòu)半剛性對(duì)象的方法，但不能處理動(dòng)態(tài)物體。3D自畫(huà)像[20]允許普通用戶捕獲自己的三維模型，但要求用戶在掃描過(guò)程中保持靜止。文獻(xiàn)[21]和文獻(xiàn)[22]提出在不使用模板的情況下動(dòng)態(tài)重建非剛性的場(chǎng)景，然而，均不能處理快速運(yùn)動(dòng)導(dǎo)致的漂移問(wèn)題。

無(wú)標(biāo)記方法通常通過(guò)各種方法來(lái)推斷標(biāo)記點(diǎn)，如姿態(tài)估計(jì)方法，并隱式地使用預(yù)測(cè)到的標(biāo)記點(diǎn)作為偽真值來(lái)增強(qiáng)魯棒性。隨著姿態(tài)估計(jì)技術(shù)研究的不斷深入，為無(wú)標(biāo)記的運(yùn)動(dòng)捕獲系統(tǒng)提供可信的標(biāo)記點(diǎn)成為可能。在之前工作的基礎(chǔ)上[17]，本文提出應(yīng)用手部姿態(tài)估計(jì)技術(shù)來(lái)推斷出三維手部關(guān)節(jié)位置作為標(biāo)記點(diǎn)，并利用每個(gè)骨骼的局部坐標(biāo)將關(guān)節(jié)投影到每個(gè)手部輸入掃描的表面，從而在手部形狀模板和輸入掃描之間建立多個(gè)三維關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的對(duì)應(yīng)。

2 跟蹤管線

為了魯棒的從消費(fèi)者級(jí)別深度傳感器捕獲的單目深度序列中動(dòng)態(tài)重建出完整的手部表面，本文提出了一個(gè)新的跟蹤重建管線，以深度序列和一個(gè)手部形狀模板作為輸入，經(jīng)過(guò)處理流程，對(duì)每個(gè)輸入深度圖像輸出一個(gè)重構(gòu)的完整手部網(wǎng)格。管線如圖2所示，主要由4個(gè)組件構(gòu)成：關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)對(duì)應(yīng)性、表面形變模型、非剛性曲面擬合和多幀穩(wěn)定性。

圖2 系統(tǒng)流程圖(通過(guò)多個(gè)關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的對(duì)應(yīng)注冊(cè)一個(gè)平滑的模板網(wǎng)格到每個(gè)輸入幀?；谝粋€(gè)可用的手跟蹤系統(tǒng)來(lái)預(yù)測(cè)關(guān)鍵點(diǎn)位置。通過(guò)多幀穩(wěn)定性組件減少誤差積累以獲得魯棒的重構(gòu)結(jié)果)Fig. 2 Pipeline overview (A smooth template mesh is registered to each of the input depths with multiple keypoint-to-keypoint correspondences. Key point detection is based on an available hand pose estimation baseline. Robust reconstruction is obtained through a multi-frame stabilization component to reduce error accumulation)

2.1 關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)對(duì)應(yīng)性

在手部的非剛性運(yùn)動(dòng)過(guò)程中，相比于其他區(qū)域，手部關(guān)節(jié)區(qū)域的變形更加強(qiáng)烈。關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)對(duì)應(yīng)性是建立輸入深度序列和手部形狀模板關(guān)節(jié)點(diǎn)之間的對(duì)應(yīng)關(guān)系，以約束手部關(guān)節(jié)區(qū)域的局部變形，從而提升非剛性運(yùn)動(dòng)跟蹤的準(zhǔn)確性和魯棒性。關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)對(duì)應(yīng)性建立包含幾個(gè)步驟：首先，應(yīng)用一個(gè)可用的手部姿態(tài)估計(jì)系統(tǒng)來(lái)為深度圖像序列S={S0,S1, ···,Sn-1}中的每一幀推斷出J個(gè)三維的手部關(guān)節(jié)位置，并粗略地將初始模板Tinit與序列首個(gè)深度幀S0對(duì)齊。然后，沿著每根骨骼的局部坐標(biāo)的Z軸將3D手部關(guān)節(jié)位置投影到輸入深度掃描的表面上，并將與交點(diǎn)最接近的頂點(diǎn)設(shè)為關(guān)鍵點(diǎn)，如圖3所示。在自遮擋情況下，將關(guān)鍵點(diǎn)的三維位置設(shè)為估計(jì)到的3D位置沿其當(dāng)前骨骼局部坐標(biāo)的Z軸減去一個(gè)經(jīng)過(guò)數(shù)據(jù)分析和測(cè)試得出的經(jīng)驗(yàn)值0.5 cm。手部形狀模板上對(duì)應(yīng)的J個(gè)關(guān)鍵點(diǎn)位置是根據(jù)語(yǔ)義對(duì)應(yīng)性手工選取的。最后，這J個(gè)關(guān)鍵點(diǎn)對(duì)作為顯式約束被整合到非剛性曲面擬合管線中以強(qiáng)制模板變形到更加準(zhǔn)確的位置。本文實(shí)驗(yàn)中都設(shè)定為J=22。

圖3 關(guān)鍵點(diǎn)定義示意圖Fig. 3 Illustration of key-points definition

2.2 表面形變模型

本文表面形變模型基于一個(gè)擴(kuò)展的嵌入式變形框架，并通過(guò)使用一個(gè)變形圖來(lái)計(jì)算變形場(chǎng)以離散化底層空間。該模型自動(dòng)適應(yīng)捕獲對(duì)象的運(yùn)動(dòng)，其超越了基于骨架的線性混合蒙皮的表達(dá)能力，可以進(jìn)一步重建復(fù)雜的表面形變。依據(jù)當(dāng)前的研究[4]，網(wǎng)格M的變形由一系列離散的圖節(jié)點(diǎn)的仿射變換來(lái)表示。每個(gè)節(jié)點(diǎn)xi誘導(dǎo)一個(gè)半徑為ri的局部影響區(qū)域的變形，其由一個(gè)3×3的矩陣Ai和一個(gè)3×1的平移向量ti表示。當(dāng)2個(gè)圖節(jié)點(diǎn)影響網(wǎng)格的同一個(gè)頂點(diǎn)時(shí)，用1條邊連接這2個(gè)節(jié)點(diǎn)。變形后，網(wǎng)格的第jth個(gè)頂點(diǎn)vj將被映射到新位置vj′。

其中，d(vj,xi)為vj和xi之間的測(cè)地線距離。更詳細(xì)的關(guān)于如何在網(wǎng)格上提取圖節(jié)點(diǎn)xi以及如何為所有頂點(diǎn)計(jì)算ω，請(qǐng)參閱文獻(xiàn)[2]。本文使用的手部模板和抽取的圖節(jié)點(diǎn)如圖1(a)所示。

2.3 非剛性曲面擬合

非剛性曲面擬合通過(guò)連續(xù)匹配一個(gè)手部形狀模板到輸入序列的每一幀來(lái)捕獲大尺度的手部運(yùn)動(dòng)和非剛性形變。在時(shí)刻t，給定深度幀St和一個(gè)已與上一幀對(duì)齊的已變形模板網(wǎng)格Wt-1，非剛性曲面擬合組件在模板與跟蹤對(duì)象之間關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)對(duì)應(yīng)性的指導(dǎo)下變形Wt-1以擬合St。后續(xù)為了簡(jiǎn)潔起見(jiàn)，時(shí)間戳t將被省略。本組件通過(guò)最小化一個(gè)總能量Etol來(lái)求解精確的曲面擬合結(jié)果，即

2.3.1 擬合能量

擬合能量懲罰手部模板與觀測(cè)數(shù)據(jù)之間的偏差，其中包括點(diǎn)到點(diǎn)、點(diǎn)到面和關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的差異，以避免錯(cuò)誤的對(duì)應(yīng)，特別是對(duì)于較大的特征不明顯或遮擋的手部區(qū)域。Epoint為點(diǎn)到點(diǎn)的對(duì)應(yīng)，其定義為

其中，λpoint為權(quán)重因子；σd為傳感器噪聲；C為包含在輸入掃描中有對(duì)應(yīng)最近點(diǎn)的所有頂點(diǎn)的集合；w為每個(gè)最近點(diǎn)對(duì)的信心；vj為可見(jiàn)性用一個(gè)二進(jìn)制變量ηi來(lái)表示，其可以通過(guò)在當(dāng)前相機(jī)視角和參數(shù)下渲染形狀模板獲取。

為了使最近點(diǎn)對(duì)計(jì)算的更加準(zhǔn)確，本文還在能量函數(shù)中采用了一個(gè)點(diǎn)到面的擬合項(xiàng)，其定義為其中，λplane為權(quán)重因子；σn為噪聲估計(jì)。上述2個(gè)數(shù)據(jù)擬合項(xiàng)結(jié)合在一起，迫使形狀模板中的每個(gè)頂點(diǎn)vj沿其法向ncj擬合到對(duì)應(yīng)深度掃描上的最近點(diǎn)cj。在本文實(shí)驗(yàn)中，σd和σn被固定為測(cè)量值1，并且所有的信心權(quán)重均被經(jīng)驗(yàn)性地初始化為1。

Ekeypoint表示關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的對(duì)應(yīng)，其定義為

其中，λkeypoint和K分別為權(quán)重因子和關(guān)鍵點(diǎn)對(duì)的數(shù)量；Ekeypoint項(xiàng)在本節(jié)的表面匹配組件中施加了一個(gè)硬約束，以提高頻繁被遮擋關(guān)節(jié)區(qū)域局部變形的準(zhǔn)確性。值得注意的是此項(xiàng)中沒(méi)有考慮關(guān)鍵點(diǎn)的可見(jiàn)性，因?yàn)楸疚氖褂玫年P(guān)鍵點(diǎn)檢測(cè)系統(tǒng)即使在遮擋情況下也可以產(chǎn)生準(zhǔn)確的關(guān)鍵點(diǎn)位置。

2.3.2 正則化能量

本文引入一個(gè)信心權(quán)重正則化項(xiàng)Eweight，其定義為

最小化該項(xiàng)相當(dāng)于最大限度地增加可靠對(duì)應(yīng)的數(shù)量，并抑制不可靠的對(duì)應(yīng)。w的值接近于1表示可靠的對(duì)應(yīng)關(guān)系，而接近于0表示未找到合適的對(duì)應(yīng)關(guān)系。這一項(xiàng)與LI等[2]的類(lèi)似，但該方法未考慮對(duì)應(yīng)點(diǎn)的可見(jiàn)性。

Esmo描述了一個(gè)平滑變形約束，其強(qiáng)制一個(gè)節(jié)點(diǎn)的仿射變換與其鄰域盡可能相似，定義為

一個(gè)特征保持變形場(chǎng)Erigid限制每個(gè)節(jié)點(diǎn)的仿射變換盡可能的剛性，其定義為

其中，a1，a3，a3分別為矩陣Ai的第1~3列。該項(xiàng)強(qiáng)制矩陣Ai盡可能是一個(gè)正交陣。

總能量Etol的最優(yōu)化通過(guò)使用一個(gè)高斯-牛頓法迭代求解一個(gè)非線性最小二乘問(wèn)題實(shí)現(xiàn)。實(shí)驗(yàn)參數(shù)設(shè)置見(jiàn)表1。

表1 權(quán)重參數(shù)設(shè)置Table 1 Initial values of weight parameters

2.4 多幀穩(wěn)定策略

多幀穩(wěn)定性保證可靠跟蹤對(duì)象被掃描到的表面區(qū)域，并通過(guò)2個(gè)已變形模板形狀的線性混合來(lái)減少跟蹤對(duì)象被遮擋部分的誤差累積。在時(shí)刻t-1，已與上一幀對(duì)齊的已變形的模板網(wǎng)格Wt-1處于零能量狀態(tài)，在時(shí)刻t，跟蹤管線強(qiáng)制將Wt-1對(duì)齊到當(dāng)前輸入St。在運(yùn)動(dòng)跟蹤過(guò)程中，可見(jiàn)手部區(qū)域的運(yùn)動(dòng)由于包含豐富的觀測(cè)信息可以被精確地捕獲。然而，當(dāng)連續(xù)地將已變形模板W與來(lái)自單個(gè)深度傳感器的包含噪聲與遮擋數(shù)據(jù)進(jìn)行對(duì)齊時(shí)，對(duì)齊誤差累積的很快，最終會(huì)產(chǎn)生嚴(yán)重的漂移問(wèn)題。為此，本文引入了一個(gè)簡(jiǎn)單但有效的多幀穩(wěn)定策略來(lái)精確跟蹤可見(jiàn)的表面區(qū)域運(yùn)動(dòng)，并減少跟蹤過(guò)程中被遮擋區(qū)域的誤差累積。

在跟蹤過(guò)程中，每30幀選擇出一幀作為錨點(diǎn)幀San(an=30t,t=1,2,···,n)。基于時(shí)間相關(guān)性，通過(guò)變形模板Wan-1來(lái)匹配San得到一個(gè)對(duì)齊后的模板Wan，其頂點(diǎn)表示為van。當(dāng)不采用時(shí)間相關(guān)性，通過(guò)變形Tinit來(lái)匹配當(dāng)前幀，也可以得一個(gè)對(duì)齊后的模板，其頂點(diǎn)表示為。然后基于頂點(diǎn)可見(jiàn)性，為每個(gè)頂點(diǎn)定義一個(gè)硬的位置約束，通過(guò)線性混合Wan和生成一個(gè)最終修正后的網(wǎng)格Ran，其頂點(diǎn)定義為

3 實(shí)驗(yàn)結(jié)果

本文提出方法在2個(gè)挑戰(zhàn)的手部深度序列上做出評(píng)價(jià)。第一個(gè)是文獻(xiàn)[4]中所提供的一個(gè)手部深度序列(序列1)，其包含使用Intel IVCam攝像機(jī)記錄的400幀深度圖像和一個(gè)具有約9 000個(gè)頂點(diǎn)的可變形手部形狀模板。另一個(gè)序列(序列2)包含從NYU手部姿態(tài)數(shù)據(jù)集[23]抽取的500幀深度圖像序列。這2個(gè)序列均包含快速的手部運(yùn)動(dòng)與嚴(yán)重遮擋案例，更多信息見(jiàn)表2。在粗略對(duì)齊手部形狀模板與第一個(gè)深度幀后，在這些序列上，本文的表面運(yùn)動(dòng)跟蹤管線以每分鐘20幀的速度運(yùn)行，采用C++實(shí)現(xiàn)，運(yùn)行環(huán)境為具有3.20 GHz，4核CPU和8 G內(nèi)存的個(gè)人計(jì)算機(jī)。

表2 實(shí)驗(yàn)所用測(cè)試序列Table 2 Statistics of two test sequences in the experiments

為了定量分析實(shí)驗(yàn)結(jié)果，將這些序列輸入到一個(gè)現(xiàn)有的Vicon光學(xué)運(yùn)動(dòng)捕獲系統(tǒng)，并手動(dòng)配準(zhǔn)系統(tǒng)標(biāo)記點(diǎn)與手部模板網(wǎng)格上的對(duì)應(yīng)頂點(diǎn)，以此生成準(zhǔn)確的標(biāo)注數(shù)據(jù)。圖4給出了本文方法、文獻(xiàn)[12]和文獻(xiàn)[4]在一個(gè)非遮擋輸入案例上的誤差分布對(duì)比結(jié)果。其中使用每個(gè)頂點(diǎn)與其真實(shí)標(biāo)注值之間的歐式距離來(lái)編碼單個(gè)頂點(diǎn)的顏色。從圖4可看出，在非遮擋情況下本文方法重建誤差分布穩(wěn)定且無(wú)異常值。

圖4 在序列1上的誤差分布對(duì)比((a)為輸入深度幀；(b)~(d)分別為本文、文獻(xiàn)[12]和文獻(xiàn)[4]的誤差分布結(jié)果)Fig. 4 Comparison of error distribution on sequence 1st ((a)Presents the input depth; (b)~(d) Present maps of error distributions of our method, [12] and [4], respectively the color-coded per-vertex error is the Euclidean distance between a vertex and its ground truth position)

圖5給出了本文方法、文獻(xiàn)[12]和文獻(xiàn)[4]在另一個(gè)存在遮擋的輸入案列上的誤差分布對(duì)比結(jié)果。從圖5可看出，在被掃描對(duì)象部分被遮擋情況下，文獻(xiàn)[12]和文獻(xiàn)[4]方法在虎口處均出現(xiàn)異常值，而本文方法依然能得到準(zhǔn)確的重建結(jié)果。

圖5 在一個(gè)遮擋案列上的誤差分布對(duì)比((a)為輸入深度幀；(b)~(d)分別為本文、文獻(xiàn)[12]和文獻(xiàn)[4]的誤差分布結(jié)果Fig. 5 Comparison of error distribution on a case with occlusion ((a) Input depth; (b)~(d) Maps of error distributions of our method, literature [12] and [4], respectively. The color-coded per-vertex error is the Euclidean distance between a vertex and its ground truth position)

圖6為本文、文獻(xiàn)[12]和文獻(xiàn)[4]等3種方法在序列1上單幀平均誤差定量對(duì)比結(jié)果。單幀平均誤差定義為每一個(gè)重建的網(wǎng)格與其真實(shí)標(biāo)注之間所有頂點(diǎn)對(duì)歐氏距離的平均值。從圖6可明顯看出，紅色、綠色和藍(lán)色曲線分別代表本文、文獻(xiàn)[4]和文獻(xiàn)[12]的平均誤差結(jié)果，相比于其他2種方法，本文方法得到了更低的平均誤差。

圖6 在序列1上單幀平均誤差對(duì)比Fig. 6 Comparison of per-frame average numerical errors on sequence 1

圖7給出了本文方法與文獻(xiàn)[4]的定性比較結(jié)果。值得注意的是，文獻(xiàn)[4]更關(guān)注于人體及一些非關(guān)節(jié)式運(yùn)動(dòng)物體的動(dòng)態(tài)重建，而本文方法更局限于人手。此外，本文方法只恢復(fù)大尺度的表面運(yùn)動(dòng)，而文獻(xiàn)[4]更進(jìn)一步重建表面細(xì)節(jié)。從圖中的最后3列可以看出，在嚴(yán)重遮擋發(fā)生的情況下，本文方法相比文獻(xiàn)[4]產(chǎn)生了更準(zhǔn)確的重建結(jié)果。

圖8給出了本文方法在序列2上的部分重建結(jié)果。從圖8可以看出，本文方法能夠從包含各種復(fù)雜手部姿態(tài)并存在嚴(yán)重遮擋情況的單目深度序列中重建出準(zhǔn)確的手部表面。

圖7 在序列1上本文與文獻(xiàn)[4]方法的定性結(jié)果對(duì)比Fig. 7 Visual comparisons with literature [4] on sequence 1

圖8 本文方法在序列2上的一些重建結(jié)果((a)為輸入深度圖像；(b)和(c)為重建的網(wǎng)格在不同視點(diǎn)下的渲染結(jié)果)Fig. 8 Some reconstruction results on sequence 2 ((a) The input depth image; (b) ~ (c) Rendering results of reconstructed hand from different viewpoints)

4 結(jié) 論

本文通過(guò)引入多個(gè)三維關(guān)鍵點(diǎn)到關(guān)鍵點(diǎn)的對(duì)應(yīng)性，提出了一種新的非剛性手部動(dòng)態(tài)重建方法?？砂l(fā)現(xiàn)這些三維關(guān)鍵點(diǎn)之間的對(duì)應(yīng)關(guān)系可以作為手部關(guān)節(jié)區(qū)域局部變形和大尺度運(yùn)動(dòng)重構(gòu)的重要線索。本文使用幾個(gè)能量項(xiàng)描述這些對(duì)應(yīng)關(guān)系，并將其整合到一個(gè)非剛性配準(zhǔn)管線中，以實(shí)現(xiàn)精確的曲面擬合。之后借助于一個(gè)簡(jiǎn)單的多幀穩(wěn)定策略來(lái)減少誤差累積，最終獲得了高質(zhì)量的重建結(jié)果。在2個(gè)具有噪聲的手部深度序列上進(jìn)行的實(shí)驗(yàn)表明，本文方法不但能夠準(zhǔn)確的重建出手部運(yùn)動(dòng)和表面，而且對(duì)于大的變形和遮擋魯棒。

本文方法雖然能夠重建大尺度的表面運(yùn)動(dòng)，但仍然受限于恢復(fù)手部精細(xì)尺度的表面細(xì)節(jié)，如皺紋和褶皺等。未來(lái)工作中可以考慮引入一種基于自適應(yīng)可見(jiàn)性技術(shù)的細(xì)節(jié)保持方法[24]來(lái)嘗試解決這一問(wèn)題。