李沛燃　黃文杰　陶曉斌

(華中科技大學(xué)自動(dòng)化學(xué)院　武漢　430074)

?

基于包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目視頻三維重建研究*

李沛燃黃文杰陶曉斌

(華中科技大學(xué)自動(dòng)化學(xué)院武漢430074)

基于單目視頻的動(dòng)態(tài)場(chǎng)景重建一直是一個(gè)非常艱巨的任務(wù)。目前大多數(shù)的研究主要集中在基于單目視頻的靜態(tài)場(chǎng)景重建,而對(duì)動(dòng)態(tài)視頻重建的關(guān)注比較少。此外,未知數(shù)量的運(yùn)動(dòng)目標(biāo)和稠密重建增加了動(dòng)態(tài)場(chǎng)景重建的難度。論文將提出一個(gè)完整的重建系統(tǒng)用于恢復(fù)包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目視頻中的動(dòng)態(tài)場(chǎng)景結(jié)構(gòu)。主要通過(guò)大尺度光流法獲得特征點(diǎn)軌跡,并在此基礎(chǔ)上對(duì)獨(dú)立目標(biāo)進(jìn)行姿態(tài)估計(jì),并提出了基于超像素的精確目標(biāo)分割算法,目的是獲得每一個(gè)實(shí)體的稠密重建。

場(chǎng)景重建; 特征點(diǎn)軌跡; 分割; 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)

Class NumberTP391

1　引言

近年來(lái),3D靜態(tài)場(chǎng)景的建模已經(jīng)取得了突破性的進(jìn)展。其中,大多數(shù)的研究都是遵循一個(gè)特定的步驟：首先提取一組圖像中的特征點(diǎn),然后對(duì)多幅視圖的特征點(diǎn)進(jìn)行匹配,基于匹配的特征點(diǎn)恢復(fù)相機(jī)參數(shù),從而得到場(chǎng)景的三維結(jié)構(gòu)[1～2]。其中,Snavely,N.主要通過(guò)SFM (structure from motion) 從無(wú)序圖片中恢復(fù)未知相機(jī)的姿態(tài)和獲得稀疏點(diǎn)云[2]。除了稀疏點(diǎn)云的重建以外,很多研究也集中在多視圖稠密重建[9]。其中,Seitz,S.M.對(duì)多種立體匹配算法進(jìn)行比較,并且是第一個(gè)提供已標(biāo)定的多視圖數(shù)據(jù)集[13]。Kolev,K.在前者的基礎(chǔ)之上提出了一個(gè)全局能量模型,融合了輪廓信息和立體信息[14]。值得一提的是,深度信息也是一個(gè)非常有前景的3D重建方法[11],主要思想是通過(guò)恢復(fù)圖像的深度信息,融合多幅深度圖進(jìn)行稠密重建。此外,很多研究集中于基于單個(gè)視頻的稠密表面重建,主要包括基于場(chǎng)景流(scene flow)[15],mesh-based 稠密表面重建[16],patch-base稠密表面重建[17]。

但是,大多數(shù)捕獲的視頻中,動(dòng)態(tài)場(chǎng)景視頻比較常見(jiàn)。而上述的研究只能用于處理靜態(tài)場(chǎng)景,它們?cè)趹?yīng)對(duì)多目標(biāo)運(yùn)動(dòng)場(chǎng)景方面是十分有限的。最近,Bergen,J.提出了一個(gè)包含動(dòng)態(tài)運(yùn)動(dòng)目標(biāo)的場(chǎng)景分割標(biāo)準(zhǔn)[5],它是一個(gè)重要的3D運(yùn)動(dòng)估計(jì)和重建的預(yù)處理過(guò)程。 視頻重建主要有基于兩個(gè)視圖[4]和基于多個(gè)視圖[3,6]。其中,文獻(xiàn)[3～4]對(duì)像素水平的分割和每個(gè)運(yùn)動(dòng)目標(biāo)的稠密重建的關(guān)注度非常低。文獻(xiàn)[6]利用特征點(diǎn)軌跡處理多視圖的場(chǎng)景重建,但是它并沒(méi)有分割出運(yùn)動(dòng)目標(biāo)和對(duì)其進(jìn)行稠密重建。此外上述研究并沒(méi)有提出一個(gè)完整的動(dòng)態(tài)場(chǎng)景的重建方法。

針對(duì)上述問(wèn)題的局限性,本文提出了一個(gè)完整的基于包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)視頻的重建系統(tǒng),用于解決包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的重建問(wèn)題。

2　本文的系統(tǒng)框架

本文的主要貢獻(xiàn)在于提出了一個(gè)完整的基于包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)視頻的重建系統(tǒng),其中包括精確的剛體目標(biāo)分割和每個(gè)運(yùn)動(dòng)實(shí)體的稠密重建。重建結(jié)果的好壞,取決于能否準(zhǔn)確地分割得到前景運(yùn)動(dòng)目標(biāo)以及背景目標(biāo)的準(zhǔn)確輪廓,以及能否準(zhǔn)確計(jì)算出相機(jī)的運(yùn)動(dòng)參數(shù)。目前,這些都是計(jì)算機(jī)視覺(jué)領(lǐng)域的重點(diǎn)與難點(diǎn)問(wèn)題。

場(chǎng)景的運(yùn)動(dòng)來(lái)源主要有兩個(gè)：一個(gè)是相機(jī)的運(yùn)動(dòng),一個(gè)是物體的運(yùn)動(dòng)。靜態(tài)背景的運(yùn)動(dòng)只來(lái)源于相機(jī)本身的運(yùn)動(dòng),而運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)同時(shí)受相機(jī)運(yùn)動(dòng)和目標(biāo)運(yùn)動(dòng)影響,所以每個(gè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)與靜態(tài)背景的運(yùn)動(dòng)是不同的。假設(shè)每幅圖像中的每個(gè)剛體目標(biāo)對(duì)應(yīng)一個(gè)虛擬相機(jī),虛擬相機(jī)的參數(shù)由相機(jī)自身運(yùn)動(dòng)和目標(biāo)運(yùn)動(dòng)共同影響得到。這樣,對(duì)于視頻中的每個(gè)剛體目標(biāo),對(duì)應(yīng)的虛擬相機(jī)的參數(shù)也可以遵循標(biāo)準(zhǔn)的SFM(structure from motion)方法獲得。

本文首先利用傳統(tǒng)的光流方法計(jì)算視頻序列的特征點(diǎn)軌跡,并對(duì)特征點(diǎn)軌跡進(jìn)行部分剔除,然后通過(guò)特征點(diǎn)軌跡分類(lèi)算法將特征點(diǎn)軌跡聚為不同的類(lèi)?；谶\(yùn)動(dòng)的一致性準(zhǔn)則,不同運(yùn)動(dòng)目標(biāo)代表不同的運(yùn)動(dòng)類(lèi)型,所以同一目標(biāo)的運(yùn)動(dòng)軌跡會(huì)歸為同一類(lèi)。但是,這些軌跡是稀疏的。為了單獨(dú)地重建每一個(gè)運(yùn)動(dòng)目標(biāo)以及背景,這里需要精確的邊界輪廓。因此,提出了一個(gè)自動(dòng)地基于超像素的多標(biāo)記Graph-cut算法,目的是為了得到每一個(gè)目標(biāo)的精確邊界。在圖像分割之后,基于每一個(gè)分割區(qū)域和相應(yīng)的特征點(diǎn)軌跡,估計(jì)目標(biāo)所對(duì)應(yīng)的虛擬相機(jī)的參數(shù)和對(duì)應(yīng)的稀疏三維點(diǎn)云,最后利用PMVS[9]獲得每一個(gè)目標(biāo)的稠密實(shí)體。整個(gè)的流程圖如圖1所示。

圖1　流程圖

圖2　動(dòng)態(tài)場(chǎng)景的分割

3　動(dòng)態(tài)場(chǎng)景的分割

為了獲得每一個(gè)目標(biāo)的三維信息,需要解決分割問(wèn)題。首先應(yīng)用光流算法進(jìn)行特征點(diǎn)的提取和跟蹤,獲得長(zhǎng)軌跡。然后利用特征點(diǎn)軌跡分類(lèi)算法將特征點(diǎn)軌跡歸類(lèi)為不同的目標(biāo)。最后利用基于超像素的多標(biāo)記Graph-cut算法獲得目標(biāo)的準(zhǔn)確輪廓,從而得到準(zhǔn)確的目標(biāo)分割結(jié)果。算法流程圖如圖2所示。

3.1特征點(diǎn)軌跡的獲取

在運(yùn)動(dòng)視覺(jué)領(lǐng)域中,序列圖像之間光流場(chǎng)的求解,目的在于揭示致密目標(biāo)點(diǎn)之間的匹配關(guān)系,通過(guò)目標(biāo)點(diǎn)之間連續(xù)的匹配關(guān)系,可以得到目標(biāo)點(diǎn)的運(yùn)動(dòng)軌跡,論文中稱(chēng)為特征點(diǎn)軌跡。特征點(diǎn)軌跡的準(zhǔn)確性對(duì)于恢復(fù)相機(jī)參數(shù)非常重要。

基于連續(xù)圖像的運(yùn)動(dòng)軌跡的估計(jì)有很多種方法。最常見(jiàn)的兩種方法是光流(optical flow)和特征跟蹤(Feature Tracking)。Kanade-Lucas-Tomasi(KLT)是一種比較著名的特征跟蹤算法。通過(guò)對(duì)光流法和KLT特征跟蹤算法進(jìn)行比較,可以發(fā)現(xiàn),就計(jì)算對(duì)象而言,光流法可以對(duì)圖像進(jìn)行均勻采樣,跟蹤所有像素的運(yùn)動(dòng),而特征跟蹤方法是通過(guò)選取算法選取一些點(diǎn);就計(jì)算方法而言,光流法采用了微分方法,而特征跟蹤方法是基于圖像塊的匹配。

論文中,采用文獻(xiàn)[8]提出的基于大尺度變換和GPU加速的光流法,來(lái)獲取連續(xù)幀之間的特征點(diǎn)軌跡。它在準(zhǔn)確度和時(shí)間消耗上都優(yōu)于KLT算法。其跟蹤特征點(diǎn)軌跡原理：

1) 對(duì)一個(gè)連續(xù)的視頻幀序列進(jìn)行處理。

2) 針對(duì)第一幀圖像,采用均勻采樣的方法獲取特征點(diǎn)。

3) 基于大尺度變分模型獲取特征點(diǎn)在每一幀的跟蹤結(jié)果。

4) 其中,當(dāng)出現(xiàn)沒(méi)有紋理的區(qū)域時(shí),特征點(diǎn)將不存在。同時(shí),新的特征點(diǎn)將被提取出來(lái),不同于很多其他的方法,不需要特征點(diǎn)軌跡是相同的長(zhǎng)度,因?yàn)樵诠烙?jì)目標(biāo)的三維結(jié)構(gòu)時(shí),只需要任意兩幀之間的匹配特征點(diǎn)。

3.2特征點(diǎn)軌跡的分類(lèi)

一個(gè)單目動(dòng)態(tài)視頻包含未知的運(yùn)動(dòng)目標(biāo)。首先,基于大尺度變換光流算法提取特征點(diǎn)軌跡,T={t1,t2,…,tk}代表特征點(diǎn)軌跡,L={l1,l2,…,lk}代表特征點(diǎn)軌跡T所對(duì)應(yīng)的標(biāo)記,其中l(wèi)i∈{1,2,…,m},i∈{1,2,…,k}。Brox等提出相同目標(biāo)的運(yùn)動(dòng)向量滿(mǎn)足運(yùn)動(dòng)一致性,可以用于將特征點(diǎn)軌跡聚為不同的類(lèi)[7]。分析特征點(diǎn)長(zhǎng)軌跡聚類(lèi)的效果比兩幀之間的聚類(lèi)的效果更好,基于光流的一致性運(yùn)動(dòng)和運(yùn)動(dòng)的最大不相似性可知,所有的特征點(diǎn)軌跡將被聚為m類(lèi)?？紤]兩個(gè)特征點(diǎn)軌跡ti和tj,其運(yùn)動(dòng)的最大不相似性可以表示為

(1)

此外,軌跡的最近空間距離估計(jì)可以表示為

(2)

ω(ti,tj)=e-λd2(ti,tj)

(3)

這樣可以得到一個(gè)k*k的相似性矩陣W。通過(guò)譜聚類(lèi)算法對(duì)相似度矩陣W進(jìn)行聚類(lèi),每一個(gè)特征點(diǎn)軌跡ti將被分配一個(gè)標(biāo)記。圖2(a)顯示了兩個(gè)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng),圖2(b)顯示了其聚類(lèi)結(jié)果。

3.3基于多標(biāo)記Graph-cut的目標(biāo)分割

場(chǎng)景中目標(biāo)重建結(jié)果的好壞與場(chǎng)景中目標(biāo)的分割有非常大的關(guān)系,因此獲取場(chǎng)景中運(yùn)動(dòng)目標(biāo)的準(zhǔn)確輪廓是非常重要的。這里提出了基于超像素的多標(biāo)記自動(dòng)分割算法。在獲取特征點(diǎn)軌跡的聚類(lèi)結(jié)果之后,首先,利用“SLIC”[19]超像素分割算法,對(duì)圖像進(jìn)行邊界保存完好的超像素分割,如圖2(c)。S={s1,s2,…,sN}代表超像素集合,在建立多標(biāo)記能量函數(shù)之前,第一步,需要對(duì)超像素進(jìn)行篩選,如圖2(d),因?yàn)楣饬鞯南∈栊砸约耙恍┘y理不豐富的區(qū)域采集不到光流點(diǎn),通過(guò)篩選準(zhǔn)則將不符合的超像素進(jìn)行剔除,對(duì)于一個(gè)超像素,其篩選準(zhǔn)則如下：

1) 如果超像素中通過(guò)的所有特征點(diǎn)軌跡屬于同一個(gè)標(biāo)記,那么,超像素賦予相同的標(biāo)記;

2) 如果超像素中沒(méi)有通過(guò)任何的特征點(diǎn)軌跡,那么,這個(gè)超像素將被拋棄。

3) 如果超像素中通過(guò)的特征點(diǎn)軌跡屬于不同的標(biāo)記,那么這個(gè)超像素將被拋棄;

(4)

其中,S代表圖像中所有超像素的集合,N?S*S代表基于超像素的鄰接關(guān)系。

數(shù)據(jù)項(xiàng)D(s,Ls)度量分配每一個(gè)超像素s到Ls的GMM模型值。Ss,q(Ls,Lq)度量臨界超像素s,q之間能量,通過(guò)迭代每一個(gè)超像素的分配標(biāo)記和更新GMM參數(shù)解決最小化能量問(wèn)題。

4　虛擬相機(jī)參數(shù)估計(jì)和稠密估計(jì)

在準(zhǔn)確分割之后,原始的視頻被分為m個(gè)子序列,每一個(gè)子序列包含一個(gè)單獨(dú)的目標(biāo)實(shí)體。如圖2(f)顯示了每一個(gè)子序列的其中三幀。每一個(gè)子序列對(duì)應(yīng)一組虛擬相機(jī)?；谔卣鼽c(diǎn)軌跡,虛擬相機(jī)參數(shù)可以通過(guò)SFM估計(jì)得到,基于bundle adjustment中的最小化重投影誤差獲取參數(shù)。

特別地,基于寬基線(xiàn)和最大的匹配對(duì)數(shù)來(lái)選取初始的相機(jī)對(duì)估計(jì)初始的相機(jī)參數(shù),然后,通過(guò)bundle adjustment進(jìn)行參數(shù)調(diào)整。接著,和已重建三維點(diǎn)匹配數(shù)量超過(guò)一定閾值的新圖片被加入,新圖片的相機(jī)參數(shù)通過(guò)PnP方法進(jìn)行估計(jì),然后新的點(diǎn)也會(huì)通過(guò)三角化得到,最后利用bundle adjustment進(jìn)行一次全局優(yōu)化。上述步驟被重復(fù)進(jìn)行直到?jīng)]有圖片滿(mǎn)足要求。通過(guò)這個(gè)方法,可以得到每一個(gè)虛擬相機(jī)的參數(shù),以及每個(gè)剛體目標(biāo)初始的稀疏三維點(diǎn)云?；诠烙?jì)的虛擬相機(jī)參數(shù),利用PMVS算法[9]可以獲得每一個(gè)運(yùn)動(dòng)實(shí)體的稠密重建。最后,通過(guò)泊松表面[18]重建得到每一個(gè)實(shí)體的網(wǎng)格模型,并且進(jìn)行紋理映射可以得到有紋理的網(wǎng)格模型。

5　實(shí)驗(yàn)分析

通過(guò)單個(gè)攝像機(jī)拍攝采集真實(shí)世界的單目動(dòng)態(tài)視頻,對(duì)上述方法進(jìn)行測(cè)試。其中,利用了四個(gè)視頻序列作為測(cè)試序列,分別包含一個(gè)運(yùn)動(dòng)目標(biāo)和包含兩個(gè)運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)場(chǎng)景,實(shí)驗(yàn)效果如下。

5.1包含一個(gè)運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)場(chǎng)景

圖3是“one box”序列圖像(1280*720)中的三幀圖像,分別為第0,55,99幀。在這個(gè)序列中,包含一個(gè)運(yùn)動(dòng)的盒子,盒子從左向右運(yùn)動(dòng),攝像機(jī)圍繞整個(gè)場(chǎng)景拍攝。這個(gè)視頻序列包含100幀連續(xù)圖像。圖3(b)為基于特征點(diǎn)軌跡分類(lèi)算法得到的分類(lèi)結(jié)果。因?yàn)檫\(yùn)動(dòng)的盒子與背景的運(yùn)動(dòng)信息不同,所以基于運(yùn)動(dòng)信息的特征點(diǎn)軌跡分類(lèi)算法可以明顯的將前景運(yùn)動(dòng)盒子和靜態(tài)背景分離。其中盒子標(biāo)記為黑色的點(diǎn),而背景標(biāo)記為灰色的點(diǎn)。圖3(c)為目標(biāo)的分割結(jié)果,基于超像素對(duì)特征點(diǎn)軌跡進(jìn)行過(guò)濾后,通過(guò)分割算法分別得到了盒子和背景的精確邊界。圖3(d)顯示了盒子和背景的稀疏重建結(jié)果,其中盒子包含1078個(gè)稀疏點(diǎn),背景包含8664個(gè)稀疏點(diǎn)。圖3(e)顯示了盒子和背景的稠密重建結(jié)果,其中盒子包含4625個(gè)稠密點(diǎn),背景包含40020個(gè)稠密點(diǎn)。圖3(f)顯示了盒子和背景的紋理。通過(guò)這個(gè)方法,恢復(fù)了單目動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)盒子和靜態(tài)背景的3D場(chǎng)景信息。

另外兩個(gè)相似的實(shí)驗(yàn)驗(yàn)證恢復(fù)包含一個(gè)運(yùn)動(dòng)目標(biāo)的單目場(chǎng)景的三維信息的可行性,如圖4和如圖5。圖4顯示了序列“cup”的3D重建結(jié)果。圖5顯示了序列“horse”的3D重建結(jié)果。在這兩個(gè)實(shí)驗(yàn)中,“cup”和“horse”上存在一些空洞,這是因?yàn)檫@些區(qū)域缺少足夠的紋理信息。

圖3　“one box”序列圖像的重建結(jié)果

圖4　“cup”序列圖像的重建結(jié)果

圖5　“horse”序列圖像的重建結(jié)果

圖6　“two boxes”序列圖像的重建結(jié)果

5.2包含兩個(gè)運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)場(chǎng)景

另外一個(gè)證明是當(dāng)場(chǎng)景中包含兩個(gè)獨(dú)立運(yùn)動(dòng)目標(biāo)。它可以證明場(chǎng)景中可以處理多個(gè)運(yùn)動(dòng)的目標(biāo)。圖6顯示了輸入的包含兩個(gè)運(yùn)動(dòng)盒子box1和box2的序列圖像。其中,box1從右向左運(yùn)動(dòng),box2從左向右運(yùn)動(dòng),攝像機(jī)從左向右圍繞場(chǎng)景拍攝。圖6(b)顯示光流點(diǎn)跟蹤和基于特征點(diǎn)軌跡聚類(lèi)算法后得到的結(jié)果,其中box1和box2分別標(biāo)記為白色和灰色,背景上的特征點(diǎn)軌跡被標(biāo)記為黑色。圖6(c)為得到的精確的兩個(gè)運(yùn)動(dòng)目標(biāo)和靜態(tài)背景的精確的分割結(jié)果。圖6(d)顯示了box1從稀疏重建到紋理映射的結(jié)果,通過(guò)稀疏重建包含1037個(gè)稀疏點(diǎn),通過(guò)稠密重建增長(zhǎng)到4736個(gè)稠密點(diǎn)。圖6(e)顯示了box從稀疏重建到紋理映射的結(jié)果。其中稀疏重建591個(gè)點(diǎn),稠密重建得到3282個(gè)點(diǎn)。圖6(f)得到了靜態(tài)背景從稀疏重建到紋理映射結(jié)果。其中稀疏重建2345個(gè),稠密重建43969個(gè)。

6　結(jié)語(yǔ)

本文提出一個(gè)完整的基于包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目動(dòng)態(tài)場(chǎng)景視頻的重建系統(tǒng)。該方法包含三個(gè)主要的步驟。 1) 通過(guò)光流跟蹤法獲取特征點(diǎn)軌跡,并基于運(yùn)動(dòng)信息獲得特征點(diǎn)軌跡的聚類(lèi)結(jié)果; 2) 每一個(gè)運(yùn)動(dòng)實(shí)體都被自動(dòng)的分割出來(lái),并被分配一個(gè)虛擬相機(jī); 3) 通過(guò)標(biāo)準(zhǔn)的SFM方法分別單獨(dú)估計(jì)每個(gè)運(yùn)動(dòng)目標(biāo)對(duì)應(yīng)的虛擬相機(jī)的參數(shù)和稀疏三維點(diǎn)云,接著通過(guò)PMVS獲得目標(biāo)的稠密重建結(jié)果。為了可視化,紋理映射方法也同時(shí)被使用。通過(guò)上述方法,恢復(fù)了包含多個(gè)剛體運(yùn)動(dòng)目標(biāo)的單目運(yùn)動(dòng)場(chǎng)景的三維結(jié)構(gòu)。

[1] Hartley, R, I., Zisserman, A. Multiple View Geometry in Computer Vision[M]. Cambridge: Cambridge University Press, second edition,2004.

[2] Snavely, N., Steven, S. M., Szeliski, R. Photo Tourism: Exploring image collections in 3D[J]. ACM Transactions on Graphics,2006,25(3):835-846.

[3] Han,M., Kanade, T. Reconstruction of a scene with multiple linearly moving objects[J]. IJCV,2004,59(3):285-300.

[4] Vidal, R., Ma, Y., Soatto, S., et al. Two-view multibody structure from motion[J]. IJCV,2006,68(1):7-25.

[5] Bergen, J., Burt, P., Hingorani, R., et al. A benchmark for the comparison of 3D motion segmentation algorithms[C]//Proc. CVPR,2007:1-8.

[6] Ozden, K. E., Schindler, K., Gool, L. J. V. Simultaneous segmentation and 3D reconstruction of monocular image sequences[C]//Proc. ICCV,2007:1-8.

[7] Brox, T., Malik, J. Object segmentation by long term analysis of point trajectories[C]//Proc. ECCV,2010:282-295.

[8] Sundaram, N., Brox, T., Keutzer, K. Dense point trajectories by GPU accelerated large displacement optical flow[C]//Proc. ECCV,2010:438- 451.

[9] Furukawa, Y., Ponce,J. Accurate, Dense, and Robust Multiview Stereopsis[C]//Proc. PAMI,2009,32(8):1362-1376.

[10] Carsten Rother, Vladimir Kolmogorov, Andrew Blake. “GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts[C]//Proc. PAMI,2009,32(8):1362-1376.

[11] Goesele, M., Snavely, N., Curless, B., et al. MultiView stereo for community photo collections[C]//Proc. ICCV,2007:1-8.

[12] Liu, L., Tao, B. Image segmentation by iterative optimization of multiphase multiple piecewise constant model and Four-Color relabeling[J]. Pattern Recognition,2011,44(12):2819-2833.

[13] Seitz, S. M., Curless, B., Diebel, J., et al. A comparison and evaluation of Multi-View stereo reconstruction algorithms[C]//Proc. CVPR,2006:519-528.

[14] Kolev, K., Klodt, M., Brox, T., et al. Continuous global optimization in multiview 3d reconstruction[C]//Proc. IJCV,2009,84(1):80-96.

[15] Newcombe, R., Davison, A. Live dense reconstruction with a single moving camera[C]//Proc. CVPR,2010:1498-1505.

[16] Ummenhofer, B., Brox, T. Dense 3d reconstruction with a hand-held camera[C]//Proc. DAGM,2012:103-112.

[17] Kang, Z., Medioni, G. Progressive 3D Model Acquisition with a Commodity Hand-held Camera[C]//Proc. WACV,2015:270-277.

[18] Kazhdan, M., Bolitho, M., Hoppe, H. Poisson Surface Reconstruction[C]//Proc. Symp. Geometry Processing,2006.

[19] Achanta, R., Shaji, A., Smith, K., et al. SLIC superpixels compared to state-of-the-art superpixel methods[C]//Proc. PAMI,2012,34(11):2274-2282.

3D Reconstructing Dynamic Scene From Monoculartvideo Containing Multiple Moving Rigid Objects

LI PeiranHUANG WenjieTAO Xiaobin

(School of Automation, Huazhong University of Science and Technology, Wuhan430074)

3D reconstruction of dynamic scene from a single video has been a challenging task. While traditional methods can only recover the structure of a static scene from the motion of a moving camera, how to reconstruct the scene with dynamicobjects has been paid less attention. In addition, the unknown number of moving objects and the dense reconstruction of each moving object make the problem more difficult. In this paper, a method for reconstructing monocular dynamic scene with multiple moving rigid objects captured by a single moving camera is proposed. It combines applying large displacement optical flow to get point trajectories, and gets the pose of dependent objects and their exact boundary. Finally the dense reconstruction of each object will be gotten.

reconstruction, dynamic scene, segmentation, structure from motion

2016年4月10日,

2016年5月25日

李沛燃，女，碩士研究生,研究方向：模式識(shí)別與智能系統(tǒng)。黃文杰，男，碩士研究生，研究方向：模式識(shí)別與智能系統(tǒng)。陶曉斌，男，碩士研究生,研究方向：模式識(shí)別與智能系統(tǒng)。

TP391

10.3969/j.issn.1672-9722.2016.10.037