安平 陳星宇 鄧小寶 陳亦雷

（上海先進(jìn)通信與數(shù)據(jù)科學(xué)研究院，新型顯示技術(shù)及應(yīng)用集成教育部重點(diǎn)實(shí)驗(yàn)室，上海大學(xué)通信與信息工程學(xué)院，上海 200444）

1 引言

近年來(lái)隨著消費(fèi)者級(jí)掃描RGB-D 相機(jī)的興起，如Kinect、RealSense、iPhone-X 等，點(diǎn)云的數(shù)據(jù)獲取日益簡(jiǎn)便。但是掃描設(shè)備所獲取的點(diǎn)云信息往往存在單視、遮擋、稀疏等問(wèn)題，不利于點(diǎn)云的下游視覺(jué)任務(wù)，諸如點(diǎn)云分類(lèi)［1-2］、點(diǎn)云目標(biāo)檢測(cè)［3-4］，以及點(diǎn)云配準(zhǔn)［5-6］等。同時(shí)，數(shù)字化人體已經(jīng)成為增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)、混合現(xiàn)實(shí)等的重要內(nèi)涵之一，對(duì)于存在衣物細(xì)節(jié)的人體數(shù)字化［7-9］已經(jīng)在遠(yuǎn)程社交、網(wǎng)上購(gòu)物、機(jī)器人操作［10］等領(lǐng)域得到廣泛應(yīng)用［11］。點(diǎn)云作為三維（3D）表示的基礎(chǔ)形式，在重建人體中有不可忽視的作用。人體點(diǎn)云補(bǔ)全是恢復(fù)結(jié)構(gòu)信息的重要方法，但從3D 掃描設(shè)備中得到的人體初始點(diǎn)云往往受到多方面因素的影響，如性別、衣物、人種、體態(tài)等。這些因素相較于飛機(jī)、桌椅、汽車(chē)等剛性物體更加難以補(bǔ)全，并且由于數(shù)據(jù)集的限制以及技術(shù)困難，目前少有人體點(diǎn)云補(bǔ)全方法的報(bào)道。

現(xiàn)有3D 形狀補(bǔ)全方法主要可以分為兩類(lèi)。一類(lèi)是基于傳統(tǒng)對(duì)齊、曲面平滑等方法［12-13］，根據(jù)輸入的幾何特征重建3D 形狀。但傳統(tǒng)方法只適用于特定先驗(yàn)信息如對(duì)稱(chēng)性、表面法線(xiàn)和曲率等的點(diǎn)云進(jìn)行一定程度的修補(bǔ)。另一類(lèi)是基于深度學(xué)習(xí)的3D形狀補(bǔ)全方法［14-15］，根據(jù)其網(wǎng)絡(luò)結(jié)構(gòu)的不同粗略地分為3D 卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional neural network，3D-CNN）結(jié)構(gòu)、多層感知機(jī)（Multilayer Perceptron，MLP）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)?；谏疃葘W(xué)習(xí)的點(diǎn)云補(bǔ)全以單類(lèi)物體的不完整點(diǎn)云作為輸入，可預(yù)測(cè)完整點(diǎn)云。本文方法也屬于深度學(xué)習(xí)方法一類(lèi)，因此，下面將主要介紹深度學(xué)習(xí)方法。

隨著卷積神經(jīng)網(wǎng)絡(luò)在圖像補(bǔ)全、圖像修復(fù)［16-17］等圖像處理領(lǐng)域的大獲成功，基于體素輔助的3D形狀補(bǔ)全將2D 卷積神經(jīng)網(wǎng)絡(luò)引入三維的工作［18］中。近年來(lái)，基于該思想涌現(xiàn)出一批被廣泛運(yùn)用的成果，如GRNet［19］、3D-EPN［20］等。但3D-CNN 存在無(wú)法解決點(diǎn)云不規(guī)則結(jié)構(gòu)以及無(wú)序化問(wèn)題，因此需要借助體素網(wǎng)格的輔助將無(wú)序化的點(diǎn)云映射入構(gòu)建好的三維體素網(wǎng)格，并且利用3D-CNN 強(qiáng)大的獲取特征能力獲取點(diǎn)云的結(jié)構(gòu)信息。還有如VRC［21］等工作通過(guò)基于變分自動(dòng)編碼器的方法有效地捕捉到關(guān)聯(lián)性結(jié)構(gòu)。此外，雖然3D-CNN 存在成熟的應(yīng)用體系，但3D-CNN 的精細(xì)化取決于體素大小，而受制于顯卡算力，難以在更小的體素中進(jìn)行3DCNN的計(jì)算是目前遇到的技術(shù)難點(diǎn)。

為了解決上述問(wèn)題，自PointNet［22］出現(xiàn)之后MLP 神經(jīng)網(wǎng)絡(luò)方法開(kāi)始流行，通過(guò)使用大量MLP 網(wǎng)絡(luò)代替卷積操作解決點(diǎn)云的不規(guī)則結(jié)構(gòu)以及無(wú)序化特性，使點(diǎn)云處理的各類(lèi)任務(wù)得到統(tǒng)一標(biāo)準(zhǔn)。隨后涌現(xiàn)出大量基于MLP 的神經(jīng)網(wǎng)絡(luò)的點(diǎn)云補(bǔ)全工作，如PCN［23］、FoldingNet［24］、TopNet［25］等。這些方法使用多層感知機(jī)簡(jiǎn)單有效地提取點(diǎn)云特征，無(wú)需轉(zhuǎn)換的方式最大限度地保留了點(diǎn)云的空間特征，并通過(guò)多層點(diǎn)網(wǎng)的方式最大程度避免了結(jié)構(gòu)信息損失，保留點(diǎn)之間的3D 關(guān)系。這些基于MLP 的生成類(lèi)方法通過(guò)預(yù)測(cè)輸出點(diǎn)與真值的倒角距離（Chamfer Distance，CD）損失取得不錯(cuò)的成效，但基于生成方法的點(diǎn)云不具備一一對(duì)應(yīng)的關(guān)系，對(duì)于損失函數(shù)而言往往產(chǎn)生相異的對(duì)應(yīng)點(diǎn)計(jì)算損失，不利于點(diǎn)云補(bǔ)全的表現(xiàn)。PMP++（Point Cloud Completion by Transformer-Enhanced Multi-step Point Moving Paths）［26］基于移動(dòng)點(diǎn)云的方式完成，通過(guò)該方法提取輸入輸出兩個(gè)點(diǎn)云之間的詳細(xì)拓?fù)浜徒Y(jié)構(gòu)關(guān)系并完成對(duì)點(diǎn)云的一一對(duì)應(yīng)關(guān)系，但同時(shí)限制了其補(bǔ)全點(diǎn)云數(shù)量與輸入點(diǎn)云數(shù)相同，同時(shí)也給出了簡(jiǎn)單的上采樣方式。此外還有一些工作［27-28］基于Transformer將一維語(yǔ)義信息的提取引入點(diǎn)云補(bǔ)全，通過(guò)將點(diǎn)云表示成為一組無(wú)序的點(diǎn)代理，并采用Transformer 的Encoder-Decoder 結(jié)構(gòu)進(jìn)行點(diǎn)云生成。這些工作豐富了特征提取方式，結(jié)合PointNet 可獲取更全面的點(diǎn)云結(jié)構(gòu)信息。

目前關(guān)于人體點(diǎn)云補(bǔ)全的相關(guān)研究較少，分析原因主要是由于人體點(diǎn)云數(shù)據(jù)集的缺乏、人體點(diǎn)云重建的復(fù)雜性所致。但是對(duì)于下游的人體重建任務(wù)而言，人體點(diǎn)云補(bǔ)全能夠?yàn)槠涮峁└晟频男畔?，從而獲得更好的重建效果，因此進(jìn)行人體點(diǎn)云補(bǔ)全非常必要。鑒于基于生成方案對(duì)于復(fù)雜非剛性物體的補(bǔ)全存在點(diǎn)云離散問(wèn)題，補(bǔ)全后的點(diǎn)云邊緣粗糙且出現(xiàn)大量孤立點(diǎn)集，本文基于點(diǎn)云遷移補(bǔ)全的方法進(jìn)行人體點(diǎn)云補(bǔ)全。

本文提出一種由粗到精的人體點(diǎn)云遷移補(bǔ)全方法，并通過(guò)全局特征擴(kuò)散及特征提取獲取全局特征信息，最后由多層感知機(jī)進(jìn)行顏色預(yù)測(cè)。本文利用PMP++對(duì)于點(diǎn)云遷移重構(gòu)的優(yōu)勢(shì)，提高了人體點(diǎn)云補(bǔ)全網(wǎng)絡(luò)的重構(gòu)效果，并根據(jù)預(yù)測(cè)點(diǎn)位置結(jié)合輸入顏色信息進(jìn)行顏色補(bǔ)全。本文創(chuàng)新性工作主要有：

1）針對(duì)人體點(diǎn)云補(bǔ)全任務(wù)，模擬真實(shí)環(huán)境創(chuàng)建帶有精細(xì)服飾人體點(diǎn)云補(bǔ)全數(shù)據(jù)集。

2）探索人體點(diǎn)云補(bǔ)全任務(wù)的有效方式，采用由粗到精優(yōu)化點(diǎn)云遷移網(wǎng)絡(luò)的上采樣。

3）為人體重建等下游任務(wù)，在原有的補(bǔ)全任務(wù)中加入顏色補(bǔ)全。

本文共分為四個(gè)部分。第一部分為引言；第二部分闡述本文提出人體點(diǎn)云補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)與具體實(shí)施方法；第三部分給出具體的實(shí)驗(yàn)實(shí)施細(xì)節(jié)和結(jié)果比較；最后一部分是結(jié)論。

2 人體點(diǎn)云及顏色補(bǔ)全模型

本文基于THUman2.0［29］人體網(wǎng)格數(shù)據(jù)集，對(duì)人體模型泊松采樣獲取整體點(diǎn)云，由于泊松采樣僅能采樣大致數(shù)量的點(diǎn)云，對(duì)泊松采樣的點(diǎn)云最遠(yuǎn)點(diǎn)采樣獲得統(tǒng)一點(diǎn)數(shù)的真值點(diǎn)云，對(duì)真值點(diǎn)云多方向采樣生成部分點(diǎn)云數(shù)據(jù)集。本文在該數(shù)據(jù)集上進(jìn)行人體點(diǎn)云補(bǔ)全研究。

本文提出的基于點(diǎn)云遷移的人體點(diǎn)云補(bǔ)全方法整體框圖如圖1 所示，主要包括人體點(diǎn)云補(bǔ)全網(wǎng)絡(luò)（低分辨率人體補(bǔ)全模塊、高分辨率人體補(bǔ)全模塊）以及顏色補(bǔ)全網(wǎng)絡(luò)。其中人體點(diǎn)云補(bǔ)全網(wǎng)絡(luò)是通過(guò)引入低分辨率的粗略點(diǎn)云幫助網(wǎng)絡(luò)學(xué)習(xí)到更好的整體結(jié)構(gòu)，并通過(guò)數(shù)據(jù)集中構(gòu)建的部分輸入點(diǎn)云色彩信息，對(duì)人體點(diǎn)云的顏色信息進(jìn)行預(yù)測(cè)。點(diǎn)云顏色預(yù)測(cè)采用關(guān)聯(lián)點(diǎn)云位置信息與部分輸入點(diǎn)云的顏色信息，通過(guò)補(bǔ)全網(wǎng)絡(luò)獲取稠密點(diǎn)信息并結(jié)合輸入端部分點(diǎn)云的顏色信息預(yù)測(cè)稠密點(diǎn)顏色；將部分點(diǎn)云顏色信息擴(kuò)散到全局，并且通過(guò)特征提取升維，最后由多層感知機(jī)完成預(yù)測(cè)。下面，本文將詳細(xì)介紹該系統(tǒng)網(wǎng)絡(luò)結(jié)構(gòu)的具體設(shè)計(jì)和使用的損失函數(shù)。

2.1 基于點(diǎn)云遷移的補(bǔ)全網(wǎng)絡(luò)設(shè)計(jì)

盡管基于生成的點(diǎn)云補(bǔ)全網(wǎng)絡(luò)在Completion3D、PCN 等數(shù)據(jù)集上大放異彩，但是該類(lèi)網(wǎng)絡(luò)對(duì)于非剛性形狀重建具有更小約束，補(bǔ)全后的點(diǎn)云發(fā)散于真實(shí)表面前后，對(duì)具有復(fù)雜結(jié)構(gòu)的人體容易形成粗糙表面。因此，本文選用了最新的點(diǎn)云遷移補(bǔ)全方案PMP++實(shí)現(xiàn)人體點(diǎn)云補(bǔ)全，在原有的結(jié)構(gòu)基礎(chǔ)上通過(guò)多層次的網(wǎng)絡(luò)結(jié)構(gòu)對(duì)人體點(diǎn)云進(jìn)行預(yù)測(cè)。通過(guò)RPA（Recurrent Path Aggregation）模塊記憶先前路徑的信息和推斷每個(gè)點(diǎn)的下一個(gè)位置。與PMP++中的隨機(jī)上采樣相比，本文通過(guò)引入低分辨率的粗略點(diǎn)云幫助網(wǎng)絡(luò)學(xué)習(xí)到更完備的整體結(jié)構(gòu)，能夠有效加強(qiáng)整體的約束，從視覺(jué)效果得到具有清晰邊緣的人體點(diǎn)云。

對(duì)于一個(gè)具有N個(gè)點(diǎn)的點(diǎn)云｛PI｝來(lái)說(shuō)，點(diǎn)云遷移網(wǎng)絡(luò)僅能根據(jù)位移生成N個(gè)點(diǎn)輸出點(diǎn)云｛Po｝。PMP++對(duì)殘缺點(diǎn)云加入高斯噪聲增強(qiáng)輸入信息并完成點(diǎn)云上采樣，這種做法存在噪聲點(diǎn)不能完全代表原點(diǎn)云幾何結(jié)構(gòu)并且相較于不添加噪聲的方法更容易出現(xiàn)人體表面的無(wú)規(guī)律毛刺，如圖2 所示。為了減輕該現(xiàn)象，本文提出了一種雙層網(wǎng)絡(luò)結(jié)構(gòu)，如圖1 所示，使用第一層網(wǎng)絡(luò)獲取稀疏點(diǎn)云生成的粗略點(diǎn)云，同時(shí)為了不丟失完整的輸入信息，加入原點(diǎn)云的輸入細(xì)節(jié)，剩下的點(diǎn)使用噪聲點(diǎn)補(bǔ)齊。這樣的做法能夠在減少噪聲點(diǎn)輸入的同時(shí)引入了部分全局信息。從圖1 中看出，對(duì)于輸入的人體點(diǎn)云數(shù)據(jù)Pi（X，Y，Z，R，G，B），選取Pi1（X，Y，Z）輸入點(diǎn)云補(bǔ)全網(wǎng)絡(luò)，通過(guò)第一個(gè)補(bǔ)全網(wǎng)絡(luò)得到粗略點(diǎn)云Po1。對(duì)輸出的低分辨率人體Po1，結(jié)合輸入信息Pi1以及使用高斯噪聲點(diǎn)N(0，1)補(bǔ)齊構(gòu)成高分辨率網(wǎng)絡(luò)的輸入。這樣做是為了在不影響輸入點(diǎn)云細(xì)節(jié)的同時(shí)添加全局信息，如果僅輸入低分辨率人體將不可避免地?fù)p失輸入點(diǎn)云的部分幾何信息。上述點(diǎn)云遷移補(bǔ)全的過(guò)程可用公式表示如下：

圖1 人體點(diǎn)云及顏色補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Human point cloud and color complement network

圖2 PMP++與本文方法的區(qū)別Fig.2 The difference between PMP++and our method

其中P01為低分辨率人體點(diǎn)云，P02是高分辨率人體點(diǎn)云，Pi1為輸入點(diǎn)云的位置信息，Pi2為高分辨率人體網(wǎng)絡(luò)輸入，N(0，1)為高斯噪聲點(diǎn)，F(xiàn)1為粗略點(diǎn)云補(bǔ)全，F(xiàn)2為精細(xì)點(diǎn)云補(bǔ)全。

圖1是本文提出的人體點(diǎn)云及顏色補(bǔ)全網(wǎng)絡(luò)模型整體框架，網(wǎng)絡(luò)整體由低分辨率人體點(diǎn)云補(bǔ)全、高分辨率人體點(diǎn)云補(bǔ)全以及人體顏色補(bǔ)全三部分組成。人體點(diǎn)云補(bǔ)全網(wǎng)絡(luò)由多層PMD（point moving distances）點(diǎn)遷移模塊構(gòu)成，每層PMD 模塊使用多層SA（Set Abstraction）模塊以及T（Transformer）模塊編碼，后通過(guò)RPA Recurrent Path Aggregation 循環(huán)路徑聚合模塊對(duì)特征先驗(yàn)信息選擇性的記憶和遺忘。顏色補(bǔ)全網(wǎng)絡(luò)由多層FP（Feature Propagation）特征傳播模塊、SA（Set Abstraction）特征提取模塊以及MLPs多層感知機(jī)構(gòu)成。

2.2 顏色補(bǔ)全模塊

對(duì)于上游點(diǎn)云補(bǔ)全網(wǎng)絡(luò)輸出的位置信息，結(jié)合輸入點(diǎn)云的RGB 信息進(jìn)行顏色補(bǔ)全。參考點(diǎn)云補(bǔ)全的相關(guān)工作［21-23］，通過(guò)部分點(diǎn)云的位置信息將其位置上的顏色信息擴(kuò)散到全部點(diǎn)云，然后對(duì)該信息進(jìn)行基于Encoder-Decoder 結(jié)構(gòu)的顏色重建。編碼器負(fù)責(zé)將輸入點(diǎn)云中的幾何信息匯總為特征向量。使用PointNet++［30］中多層SA（Set Abstraction）模型以及transformer進(jìn)行特征提取及升維。該過(guò)程可以將6維全局特征在提升特征維度的同時(shí)不斷減少點(diǎn)數(shù)，通過(guò)多層FP（Feature Propagation）網(wǎng)絡(luò)來(lái)還原該點(diǎn)數(shù)得到原本位置的高維特征信息。利用該特征信息，通過(guò)一個(gè)多層感知機(jī)得到預(yù)測(cè)點(diǎn)云的顏色信息。顏色補(bǔ)全的過(guò)程可用公式表示如下：

其中Pdense為從部分輸入顏色信息擴(kuò)散到全局點(diǎn)云的顏色信息，Pi為（X，Y，Z，R，G，B）部分輸入點(diǎn)云，Po2為預(yù)測(cè)稠密點(diǎn)位置（X，Y，Z），Pdense為全局稠密點(diǎn)顏色信息，F(xiàn)dense為特征提取的高維點(diǎn)云顏色特征，Pcolor為預(yù)測(cè)顏色結(jié)果，F(xiàn)p為特征擴(kuò)散網(wǎng)絡(luò)，Sa為Set Abstraction 點(diǎn)云特征提取網(wǎng)絡(luò)，MLP 為一個(gè)多層感知機(jī)。

2.3 損失函數(shù)

由于倒角距離不能保證輸入輸出點(diǎn)云的一一對(duì)應(yīng)關(guān)系，為了計(jì)算出其針對(duì)輸入的點(diǎn)P 與輸出點(diǎn)P'之間的距離，使用EMD（Earth Mover’s Distance）來(lái)學(xué)習(xí)滿(mǎn)足上述的約束排列φ：

以上只保證了點(diǎn)云的一一對(duì)應(yīng)性，但是兩點(diǎn)之間的移動(dòng)路徑仍然無(wú)法得到保證。為了使得該距離最小，引入網(wǎng)絡(luò)輸出中的移動(dòng)距離ΔP最小化距離矢量，即所有位移向量之和最小。其損失函數(shù)如下：

通過(guò)引入該直接移動(dòng)損失，有助于基本固化兩點(diǎn)之間的移動(dòng)路徑，極大避免了由于不同路徑而導(dǎo)致的收斂緩慢，減少冗余移動(dòng)決策，提高搜索效率。基于該思想本文可以得出點(diǎn)云補(bǔ)全網(wǎng)絡(luò)的總損失函數(shù)：

其中倒角距離（CD）遵循式（7）的符號(hào)定義，對(duì)形變使用CD損失以及EMD損失正則化，總損失函數(shù)在最小化對(duì)應(yīng)點(diǎn)的倒角距離的同時(shí)最短化點(diǎn)的移動(dòng)路徑。

2.4 評(píng)價(jià)指標(biāo)

對(duì)于點(diǎn)云補(bǔ)全的評(píng)價(jià)主要指標(biāo)為CD 距離，常用于計(jì)算生成點(diǎn)云與其真值之間的平均最短點(diǎn)距離。CD距離定義如下：

其中S1為預(yù)測(cè)稠密點(diǎn)云、S2為點(diǎn)云真值。CD 值越小表示點(diǎn)云補(bǔ)全的精度越高。CD 距離無(wú)需點(diǎn)云數(shù)量一致，因此本文使用CD 距離進(jìn)行人體點(diǎn)云補(bǔ)全精度的評(píng)估。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)實(shí)施細(xì)節(jié)

本文使用點(diǎn)云遷移網(wǎng)絡(luò)模型PMP++，該網(wǎng)絡(luò)的特征提取采用SA 與Transformer 組合的特征提取模塊，得到與輸入點(diǎn)數(shù)相同的高維特征，后通過(guò)RPA模型選擇性記憶和遺忘特征。輸入部分點(diǎn)云數(shù)為1024，重建稠密點(diǎn)云數(shù)為4096。

需要訓(xùn)練包含低分辨率點(diǎn)云補(bǔ)全、高分辨率點(diǎn)云補(bǔ)全、點(diǎn)云顏色補(bǔ)全在內(nèi)的端到端模型。其中訓(xùn)練低分辨率點(diǎn)云補(bǔ)全使用1024 個(gè)部分點(diǎn)云得到相同點(diǎn)數(shù)的人體點(diǎn)云。用1024個(gè)部分點(diǎn)云、補(bǔ)全點(diǎn)云以及帶有高斯噪聲的2048 個(gè)相關(guān)點(diǎn)云訓(xùn)練高分辨率補(bǔ)全網(wǎng)絡(luò)。對(duì)于顏色補(bǔ)全網(wǎng)絡(luò)，為了確保其不受補(bǔ)全網(wǎng)絡(luò)的影響，使用1024個(gè)顏色點(diǎn)云和4096個(gè)稠密點(diǎn)云位置進(jìn)行訓(xùn)練。本文實(shí)驗(yàn)采用RTX 2080TI顯卡，使用Pytorch 1.10.1對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。點(diǎn)云補(bǔ)全和顏色補(bǔ)全訓(xùn)練的實(shí)驗(yàn)參數(shù)設(shè)置如下：使用Adam優(yōu)化器進(jìn)行初始化，訓(xùn)練的批量大小為8，學(xué)習(xí)率為0.0001，學(xué)習(xí)速率為0.7，共訓(xùn)練200個(gè)epoch。

3.2 人體點(diǎn)云數(shù)據(jù)集生成

為了訓(xùn)練人體補(bǔ)全模型，本文使用THUman 2.0［28］的人體網(wǎng)格數(shù)據(jù)集，包含500 個(gè)由密集DLSR設(shè)備捕獲的高質(zhì)量人體掃描。對(duì)于每次掃描提供3D模型。對(duì)該高清人體網(wǎng)格數(shù)據(jù)集進(jìn)行泊松采樣，并且通過(guò)最遠(yuǎn)點(diǎn)采樣最大限度地保持人體網(wǎng)格模型的細(xì)節(jié)特征。對(duì)于泊松采樣的10000左右個(gè)點(diǎn)云（泊松采樣存在點(diǎn)數(shù)波動(dòng)），通過(guò)最遠(yuǎn)點(diǎn)采樣4096個(gè)點(diǎn)構(gòu)成人體稠密點(diǎn)云，其中包含526 張人體點(diǎn)云數(shù)據(jù)集。對(duì)這526 張點(diǎn)云圖，從UV 貼圖中獲取RGB信息。為解決由于人體數(shù)據(jù)集較小而在點(diǎn)云補(bǔ)全過(guò)程中出現(xiàn)的過(guò)擬合問(wèn)題，本文提出了人體數(shù)據(jù)集的增廣方法：模擬對(duì)人體三維數(shù)據(jù)采樣的常規(guī)視點(diǎn)，即前后左右四個(gè)方向，生成2104 張訓(xùn)練集以及測(cè)試集。本文選擇了包含衣物細(xì)節(jié)紋理的高清數(shù)據(jù)集，還原真實(shí)采樣環(huán)境。采用426 張進(jìn)行訓(xùn)練，100張進(jìn)行測(cè)試及驗(yàn)證。

3.3 補(bǔ)全結(jié)果及分析

在本小節(jié)中，將本文方法與基于生成類(lèi)的點(diǎn)云補(bǔ)全方法PCN［22］、FoldingNet［23］、VRC［20］、TopNet［24］、ECG［31］、Cascade［32］以及遷移方法PMP++［25］這些近年來(lái)代表性方法進(jìn)行比較，在創(chuàng)建的數(shù)據(jù)集上計(jì)算各種方法的倒角距離CD，結(jié)果如表1所示。

從表1 中可看出，本文的方法取得了最高的補(bǔ)全精度。基于生成類(lèi)的點(diǎn)云補(bǔ)全方法PCN、Folding-Net、VRC、TopNet 在重建具有復(fù)雜人體姿態(tài)、性別、服飾的效果較差，其編解碼生成特性導(dǎo)致其無(wú)法做到輸入輸出端的一一對(duì)應(yīng)，造成較大損失。本文提出的多層PMP++與原始非多層PMP++方法相比，補(bǔ)全精度也有明顯提升，說(shuō)明在網(wǎng)絡(luò)輸入端添加全局信息的方式能夠幫助網(wǎng)絡(luò)減少由于添加噪聲而產(chǎn)生的非結(jié)構(gòu)信息。與［25］中添加高斯噪聲點(diǎn)上采樣的方式相比，本文在保留原始部分點(diǎn)云輸入信息的同時(shí)加入低分辨率全局人體，有效解決了點(diǎn)云粗糙及非均勻問(wèn)題。

表1 不同方法人體點(diǎn)云補(bǔ)全結(jié)果定量比較（更低的是更優(yōu)解）Tab.1 Quantitative comparison of human point cloud completion results with different methods（the lower is the better solution）

針對(duì)點(diǎn)云遷移網(wǎng)絡(luò)的優(yōu)化特性，本文通過(guò)實(shí)驗(yàn)進(jìn)一步證明所提出方法的效果。使用不同生成類(lèi)補(bǔ)全網(wǎng)絡(luò)生成稠密點(diǎn)云，再利用點(diǎn)云遷移網(wǎng)絡(luò)的特性對(duì)其補(bǔ)全。表2比較了用不同編解碼方法提升點(diǎn)云分辨率與本文方法的CD 損失值，可見(jiàn)本文的方法優(yōu)于使用生成類(lèi)網(wǎng)絡(luò)的上采樣方式。利用生成類(lèi)點(diǎn)云補(bǔ)全方法其上采樣會(huì)造成原始點(diǎn)云結(jié)構(gòu)性的丟失，而本文方法使用原始點(diǎn)云作為粗略點(diǎn)云模型可以獲取一一對(duì)應(yīng)的點(diǎn)云結(jié)構(gòu)信息。

表2 不同粗略點(diǎn)云的多層人體點(diǎn)云補(bǔ)全（更低的是更優(yōu)解）Tab.2 Multi-layer Human Point Cloud Completion with Different Coarse Point Clouds（the lower is the better solution）

圖3為不同方法人體點(diǎn)云補(bǔ)全結(jié)果的可視化比較，可見(jiàn)本文的方法對(duì)人體形狀有更準(zhǔn)確的預(yù)測(cè)，而基于編碼方案在預(yù)測(cè)復(fù)雜人體結(jié)構(gòu)時(shí)更容易存在邊緣模糊和斷肢的現(xiàn)象。通過(guò)網(wǎng)絡(luò)變形預(yù)測(cè)點(diǎn)云的FoldingNet方法對(duì)復(fù)雜人體的預(yù)測(cè)較差；PCN利用全連接層對(duì)全局潛在特征向量進(jìn)行整個(gè)點(diǎn)云模型的直接輸出，所以在局部細(xì)節(jié)的地方存在著一定的分布不均勻和不平整的情況；TopNet 由于采用多個(gè)全連接層來(lái)分層聚合全局特征，使得網(wǎng)絡(luò)的參數(shù)量大，并且收斂速度慢，會(huì)存在一定的補(bǔ)全點(diǎn)云分布散亂的情況；VRC 變分關(guān)聯(lián)點(diǎn)云補(bǔ)全在修復(fù)人體過(guò)程中存在少量離散點(diǎn)云，無(wú)法預(yù)測(cè)完整的邊緣與整體形狀；而直接使用PMP++網(wǎng)絡(luò)在預(yù)測(cè)端缺少粗略約束，造成邊界模糊。與其他方法相比，本文方法能夠獲得更優(yōu)的細(xì)節(jié)特征及更平整的邊緣信息，在視覺(jué)效果上優(yōu)于其他方法，與真值（GT）最接近。

圖3 不同方法人體點(diǎn)云補(bǔ)全結(jié)果的視覺(jué)效果Fig.3 Comparison of qualitative results

3.4 消融實(shí)驗(yàn)

為了進(jìn)一步證明本文提出的由粗到精的網(wǎng)絡(luò)結(jié)構(gòu)能夠提升點(diǎn)云補(bǔ)全的精度及效果，對(duì)有無(wú)該結(jié)構(gòu)、有無(wú)部分點(diǎn)云與粗略補(bǔ)全點(diǎn)云的情況進(jìn)行消融實(shí)驗(yàn)。表3列出了三種設(shè)置的點(diǎn)云補(bǔ)全CD值：無(wú)該網(wǎng)絡(luò)結(jié)構(gòu)的原始PMP++、缺失輸入信息的多層PMP++以及本文的方法。將本文的方法與表中前兩種消融方法比較，實(shí)驗(yàn)證明對(duì)于輸入輸出分辨率相同的點(diǎn)云遷移補(bǔ)全方法而言，在補(bǔ)全點(diǎn)云時(shí)會(huì)損失部分輸入的結(jié)構(gòu)信息，因此，本文的方法在精細(xì)化網(wǎng)絡(luò)中加入輸入點(diǎn)云，能夠提升點(diǎn)云補(bǔ)全的精度。

表3 消融實(shí)驗(yàn)結(jié)果（更低的是更優(yōu)解）Tab.3 Human point cloud completion of rough point cloud with different methods（the lower is the better solution）

3.5 顏色結(jié)果分析

在該小節(jié)中實(shí)驗(yàn)了兩種方式：點(diǎn)云位置及顏色的多任務(wù)同時(shí)補(bǔ)全，點(diǎn)云位置及顏色的分任務(wù)補(bǔ)全。實(shí)驗(yàn)結(jié)果如圖4 所示，其中左圖為在經(jīng)典網(wǎng)絡(luò)PCN 點(diǎn)云位置補(bǔ)全的基礎(chǔ)上加入顏色信息進(jìn)行多任務(wù)補(bǔ)全結(jié)果，在原本的位置信息上加入對(duì)應(yīng)顏色，同時(shí)訓(xùn)練并平衡位置及顏色補(bǔ)全損失函數(shù)；右圖為本文提出的方法，在訓(xùn)練時(shí)借助真值點(diǎn)位置信息補(bǔ)全顏色，在測(cè)試時(shí)輸入為補(bǔ)全網(wǎng)絡(luò)預(yù)測(cè)的人體稠密點(diǎn)云，結(jié)合輸入側(cè)的殘缺點(diǎn)云顏色信息進(jìn)行預(yù)測(cè)。從圖4 中可以直觀地看出，在補(bǔ)全網(wǎng)絡(luò)中添加顏色補(bǔ)全往往導(dǎo)致更糟糕的位置補(bǔ)全以及偏向于平均的顏色，而本文采用分離位置信息與顏色信息的方法可以有效提升顏色預(yù)測(cè)的準(zhǔn)確率。由此本文得出，對(duì)于點(diǎn)云補(bǔ)全的網(wǎng)絡(luò)不適合加入顏色信息進(jìn)行同時(shí)預(yù)測(cè)。

圖4 顏色重建結(jié)果比較Fig.4 Comparison of color reconstruction results

4 結(jié)論

本文主要解決人體三維點(diǎn)云數(shù)據(jù)在采集過(guò)程中由于遮擋、視角等問(wèn)題導(dǎo)致的殘缺點(diǎn)云修復(fù)問(wèn)題。為此本文提出了一個(gè)基于點(diǎn)云遷移的多層人體補(bǔ)全網(wǎng)絡(luò)結(jié)構(gòu)，使用由粗到精的方式構(gòu)建遷移點(diǎn)云。與編解碼結(jié)構(gòu)相比，使用更少的訓(xùn)練次數(shù)，通過(guò)一對(duì)一的遷移模式完成；并且基于補(bǔ)全的位置和輸入的顏色信息進(jìn)行顏色重建。在人體數(shù)據(jù)集上的點(diǎn)云補(bǔ)全結(jié)果與最先進(jìn)的方法相比表現(xiàn)更好，并且在點(diǎn)云顏色重建上也取得了良好的效果。