艾 達(dá)，盧洪穎，楊玉蓉，劉蕓宏，盧 津，劉 穎

(1.西安郵電大學(xué) 電子信息現(xiàn)場勘驗(yàn)應(yīng)用技術(shù)公安部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710121；2.西安郵電大學(xué) 通信與信息工程學(xué)院，陜西 西安 710121；3.西安郵電大學(xué) 無線通信與信息處理技術(shù)國際聯(lián)合研究中心，陜西 西安 710121)

點(diǎn)云是描述被掃描物體屬性特征的點(diǎn)集，可以通過多方位照相機(jī)、深度傳感器和雷達(dá)掃描儀等設(shè)備采集。通過激光掃描，獲取目標(biāo)的線、面及體空間等三維數(shù)據(jù)，建立目標(biāo)的空間三維數(shù)字模型，可以有效反映目標(biāo)的幾何尺寸、顏色屬性及其他特征。點(diǎn)云數(shù)據(jù)因其高效率、高精度、易于采集等眾多優(yōu)勢，已廣泛應(yīng)用于沉浸式實(shí)時通信[1]、虛擬現(xiàn)實(shí)、工程測量、智能駕駛與路況識別等方面。

點(diǎn)云的采集設(shè)備所產(chǎn)生的三維(3-dimensional，3D)數(shù)據(jù)量對數(shù)據(jù)的存儲和傳輸提出了更高的挑戰(zhàn)。近年來，三維點(diǎn)云數(shù)據(jù)壓縮技術(shù)逐漸被深入研究與探索。谷歌發(fā)布的開源三維數(shù)據(jù)壓縮算法Draco[2]在對3D數(shù)據(jù)文件的壓縮率上大幅度的超過了Zip和JPEG(Joint Photographic Experts Group)等通用壓縮算法。動態(tài)圖像專家組(Moving Picture Experts Group，MPEG)專門成立的三維圖像小組于2014年提出了點(diǎn)云壓縮[3]，2016年提出了針對點(diǎn)云壓縮(Point Cloud Compression，PCC)的評估標(biāo)準(zhǔn)。隨后，關(guān)于點(diǎn)云壓縮技術(shù)的邀請?zhí)岚竅4](Call for Proposals，CfP)被提出，并確定了表面點(diǎn)云壓縮(Surface-based Point Cloud Compression，S-PCC)、基于視頻的點(diǎn)云壓縮(Video-based Point Cloud Compression，V-PCC)和激光雷達(dá)點(diǎn)云壓縮(Lidar-based Point Cloud Compression，L-PCC)等3種測試模型(Test Model，TM)，為實(shí)時通信和虛擬現(xiàn)實(shí)提供了低復(fù)雜度和高壓縮性能的點(diǎn)云壓縮方案。

該研究通過歸納S-PCC、V-PCC和L-PCC等3種測試模型的編解碼結(jié)構(gòu)，總結(jié)并對比各類型壓縮編碼方法，以合理的質(zhì)量評估方法探索其優(yōu)劣特征提出問題，為點(diǎn)云壓縮算法的進(jìn)一步改進(jìn)提供參考。

1 三維點(diǎn)云數(shù)據(jù)

1.1 點(diǎn)云數(shù)據(jù)集特征

所謂點(diǎn)云，即積點(diǎn)成云。點(diǎn)表示構(gòu)成被掃描對象表面的點(diǎn)集，云反映了其龐大的數(shù)據(jù)量。點(diǎn)云數(shù)據(jù)按結(jié)構(gòu)的不同，可分為三維散點(diǎn)點(diǎn)云和多邊形網(wǎng)格；按內(nèi)容可分為三維場景和三維對象點(diǎn)云；按呈現(xiàn)方式分為實(shí)時點(diǎn)云數(shù)據(jù)、mesh點(diǎn)云數(shù)據(jù)、沉浸式3D點(diǎn)云視頻(3D Television，3DTV)和多視圖深度點(diǎn)云視頻 (Free Viewpoint Video ，F(xiàn)VV)[5]。

點(diǎn)云數(shù)據(jù)來源于計算機(jī)輔助設(shè)計(Computer Aided Design，CAD)模型、激光雷達(dá)掃描和深度相機(jī)的獲取。針對點(diǎn)云對象和場景的動態(tài)特征，將數(shù)據(jù)集分為靜態(tài)點(diǎn)云、動態(tài)點(diǎn)云和動態(tài)獲取點(diǎn)云等3類數(shù)據(jù)類型。靜態(tài)點(diǎn)云為靜態(tài)的文物或建筑物，用來表示地理信息系統(tǒng)(Geographic Information System，GIS)和文化遺產(chǎn)中的靜態(tài)數(shù)據(jù)；動態(tài)點(diǎn)云是人物動態(tài)行為的點(diǎn)云視頻流；動態(tài)獲取點(diǎn)云是由車載激光雷達(dá)動態(tài)掃描的道路景觀點(diǎn)云視頻流。3類點(diǎn)云數(shù)據(jù)類型示意圖如圖1所示。

圖1 3類點(diǎn)云數(shù)據(jù)類型

點(diǎn)云數(shù)據(jù)由幾何坐標(biāo)(X,Y,Z)和紅綠藍(lán)(Red Green Blue，RGB)等3種顏色屬性構(gòu)成，所以點(diǎn)云壓縮技術(shù)也可稱作六維數(shù)據(jù)壓縮技術(shù)。帶有深度傳感器的掃描設(shè)備產(chǎn)生的點(diǎn)云數(shù)據(jù)還包括深度信息，除此之外，還有曲率、法線及三角面片等衍生信息。

1.2 點(diǎn)云壓縮標(biāo)準(zhǔn)

點(diǎn)云壓縮標(biāo)準(zhǔn)主要包括對粗點(diǎn)云進(jìn)行譯碼和細(xì)化，對無損壓縮重建的數(shù)據(jù)在數(shù)量上與原始數(shù)據(jù)完全相同，對有損壓縮由比特率參數(shù)控制壓縮過程，支持時間可變的點(diǎn)云序列編碼及低復(fù)雜度的編碼器和解碼器等5個方面。

2 點(diǎn)云壓縮測試模型

下面分別對S-PCC、V-PCC和L-PCC等3種點(diǎn)云壓縮測試模型進(jìn)行介紹。

2.1 表面點(diǎn)云壓縮

S-PCC[6]應(yīng)用于高采樣密度的物體表面靜態(tài)點(diǎn)云，各模塊之間通過傳遞屬性列表進(jìn)行通信，編碼階段生成的比特流文件頭最終用于解碼器的解碼控制，整體結(jié)構(gòu)如圖2所示。

圖2 S-PCC編解碼結(jié)構(gòu)

編碼前，對原始世界坐標(biāo)系中的點(diǎn)坐標(biāo)進(jìn)行轉(zhuǎn)換，并將RGB顏色屬性轉(zhuǎn)換為YUV型，轉(zhuǎn)換公式為

(1)

2.1.1 壓縮編碼過程

在幾何編碼模塊中，先對整體點(diǎn)云進(jìn)行體素化分割，采用八叉樹的分解結(jié)構(gòu)將數(shù)據(jù)從最大包圍盒逐步細(xì)分為小體素方格，分別對分塊后的塊信息和頂點(diǎn)信息熵編碼。在屬性編碼模塊中，根據(jù)幾何的體素分割結(jié)果對體素的顏色屬性信息進(jìn)行重著色，對其進(jìn)行自適應(yīng)邊緣分層轉(zhuǎn)換(Region Adaptive Hierarchical Transform，RAHT)后將變換參數(shù)量化并編碼。

2.1.2 解壓縮編碼過程

S-PCC的解碼過程是壓縮過程的簡單逆過程，先對幾何解碼模塊中的相關(guān)信息熵解碼，再進(jìn)行體素重建和上采樣。顏色變換參數(shù)通過熵解碼、反量化和反變換后最終得到Y(jié)UV屬性列表。

2.2 基于視頻的點(diǎn)云壓縮

V-PCC[5]用于動態(tài)點(diǎn)云流的壓縮，基于現(xiàn)有的視頻編解碼器壓縮信息。將點(diǎn)云序列轉(zhuǎn)換為視頻序列，利用MPEG-4 高級視頻編碼(Advanced Video Coding，AVC)、高效率視頻編碼(High Efficiency Video Coding，HEVC)和開放媒體視頻1(AOMedia Video 1，AV1)等標(biāo)準(zhǔn)分別監(jiān)測幾何和紋理兩個視頻序列，完整的編解碼結(jié)構(gòu)如圖3所示。

圖3 V-PCC編解碼結(jié)構(gòu)

直接將點(diǎn)云映射至立方體和球面上會導(dǎo)致遮擋從而引起失真，V-PCC采用高效的補(bǔ)丁映射法和啟發(fā)式分割方法，保證了邊緣的平滑特性和低失真特性。

2.2.1 壓縮編碼過程

首先，輸入點(diǎn)云分解為補(bǔ)丁后，將其匹配到2D柵格中，該過程可將三維點(diǎn)云映射至常規(guī)的二維柵格中。其次，生成并填補(bǔ)兩個圖像序列，該過程保證了二維圖像的平滑性，幾何和紋理視頻序列如圖4所示。最后，編碼輔助補(bǔ)丁、分塊信息和占用圖，補(bǔ)丁中存儲了映射平面的索引、坐標(biāo)值索引和包圍盒等信息。

圖4 3D映射為2D圖像

2.2.2 解壓縮編碼過程

通過編碼的逆過程解壓縮，利用輔助補(bǔ)丁和分塊信息可重建出點(diǎn)的位置和紋理。此外，對幾何紋理信息的平滑操作可解決在壓縮過程中產(chǎn)生邊界不連續(xù)的現(xiàn)象。

2.3 激光雷達(dá)點(diǎn)云壓縮

L-PCC應(yīng)用于激光雷達(dá)生成的數(shù)據(jù)，其編解碼結(jié)構(gòu)如圖5所示。

圖5 L-PCC編解碼結(jié)構(gòu)

L-PCC的編碼結(jié)構(gòu)與S-PCC相似，其主要模塊作用如下。

1)屬性轉(zhuǎn)換模塊與點(diǎn)云重建相關(guān)聯(lián)，決定了屬性重建的關(guān)鍵參數(shù)。給定輸入點(diǎn)云Xi，i=1，2，…，N，每個點(diǎn)的屬性為(A1i,A2i,…,ADi)，D為屬性個數(shù)，通過近鄰點(diǎn)的集合，可獲得轉(zhuǎn)換后的屬性值。

2)建立細(xì)節(jié)分層結(jié)構(gòu)(Level of Detail，LoD)。LoD的生成保障了屬性的分層預(yù)測。當(dāng)細(xì)化級別為LoD1時，該層包含的點(diǎn)是點(diǎn)云的粗糙表示，后續(xù)層的點(diǎn)為更細(xì)致的點(diǎn)信息，點(diǎn)集之間的距離隨著層數(shù)的增加而減小。

3)基于插值的屬性預(yù)測模型通過近鄰點(diǎn)插值法預(yù)測屬性，該過程可發(fā)覺屬性的空間相關(guān)性并應(yīng)用于殘差值的量化和反量化步驟。

3 優(yōu)化的點(diǎn)云壓縮方案

3.1 幾何坐標(biāo)數(shù)據(jù)壓縮編碼方法

3.1.1 八叉樹結(jié)構(gòu)

多數(shù)的點(diǎn)云壓縮機(jī)制是在八叉樹[7-9]結(jié)構(gòu)上建立的。八叉樹的分解結(jié)構(gòu)示意圖分別如圖6和圖7所示。

圖6 八叉樹編碼

圖7 八叉樹樹形圖

借助八叉樹獨(dú)特的結(jié)構(gòu)進(jìn)行深度優(yōu)先遍歷，將壓縮對象的幾何信息直接通過二進(jìn)制碼進(jìn)行存儲，在很大程度上節(jié)省了存儲空間[8-10]。八叉樹壓縮理念已運(yùn)用到開源的點(diǎn)云壓縮庫[9](Point Cloud Library,PCL)中，除了點(diǎn)云，還有對3D mesh型數(shù)據(jù)的應(yīng)用。

八叉樹基礎(chǔ)上衍生的雙緩沖八叉樹[10]，考慮了時間和空間上的獨(dú)立性，對比連續(xù)幀間八叉樹結(jié)構(gòu)特征，只對差異特征點(diǎn)進(jìn)行預(yù)測編碼，利用相鄰幀間的強(qiáng)相關(guān)性減少壓縮誤差，該結(jié)構(gòu)相比于傳統(tǒng)的八叉樹結(jié)構(gòu)可節(jié)省更多的內(nèi)存資源。

3.1.2 改進(jìn)的樹結(jié)構(gòu)

除八叉樹以外，K-D樹[11]的結(jié)構(gòu)打破了傳統(tǒng)的壓縮編碼方式，采用k維樹的遞歸拆分方式對空間進(jìn)行分解。此外，還可利用三維坐標(biāo)系中的XYZ軸分別表示RGB顏色分量，使用八叉樹結(jié)構(gòu)表示三維RGB顏色數(shù)據(jù)[12]。

3.2 顏色屬性壓縮編碼方法

3.2.1 基于圖變換的編碼

對于顏色屬性的編碼，圖變換[13-15](Graph Transformation，GT)的基本要點(diǎn)是結(jié)合圖論與三維坐標(biāo)，將點(diǎn)云看做無向圖中的結(jié)點(diǎn)，通過結(jié)點(diǎn)之間的關(guān)聯(lián)存儲，保存三維點(diǎn)信息[14-15]，結(jié)點(diǎn)關(guān)系示意圖如圖8所示。

圖8 圖結(jié)點(diǎn)關(guān)系

得到相關(guān)點(diǎn)集的鄰接矩陣后，矩陣中非零權(quán)值即表示點(diǎn)之間的相鄰關(guān)系和距離關(guān)系。根據(jù)權(quán)重計算圖拉普拉斯矩陣，將其特征向量矩陣作為屬性值的變換結(jié)果進(jìn)行編碼。

3.2.2 基于余弦變換的編碼

三維離散余弦變換[16](3D Discrete Cosine Transform,3D-DCT)可在頻域借助低頻部分存儲低動態(tài)信息，高頻成分存儲細(xì)節(jié)信息。原始坐標(biāo)數(shù)據(jù)為n×3的矩陣，需將其轉(zhuǎn)換為3D矩陣來容納所有網(wǎng)格點(diǎn)。三維離散余弦變換的公式[16]為

(2)

其中,

式中：i、j和k分別表示RGB三通道的屬性值；n為點(diǎn)數(shù)。

利用式(2)對三維矩陣進(jìn)行處理，得到離散余弦變換系數(shù)，使用常數(shù)量化表的量化過程減少有效的DCT系數(shù)，從而控制信息損失。

3.2.3 基于自適應(yīng)邊緣分層轉(zhuǎn)換的編碼

RAHT[17-19]采用服從拉普拉斯分布的層次變換。從最底層的結(jié)點(diǎn)開始遍歷，擴(kuò)充到整個空間，即將相鄰體素逐漸合并，直到到達(dá)根結(jié)點(diǎn)，該過程中由八叉樹的低級別結(jié)點(diǎn)預(yù)測下一級別的結(jié)點(diǎn)屬性。

與八叉樹的遍歷不同的是，RAHT分別從X、Y、Z等3個維度進(jìn)行分組，而不是對8個體素進(jìn)行分組。假設(shè)gl,x,y,z為第l層坐標(biāo)為(x,y,z)處體素的顏色屬性平均值，則該參數(shù)是由gl+1,2x,y,z和gl+1,2x+1,y,z合并得到，wl,x,y,z權(quán)重值代表gl,x,y,z體素的總個數(shù)。轉(zhuǎn)換公式為

(3)

其中，hk,x,y,z表示轉(zhuǎn)換生成的高通系數(shù)，且

w1=wl,2x,y,z
w2=wl,2x+1,y,z

當(dāng)遞歸到根結(jié)點(diǎn)時，g0,0,0,0和h0,0,0,0分別對應(yīng)直流分量和交流分量，并將每層變換產(chǎn)生的參數(shù)作為待編碼的信息。

3.2.4 基于聚類的屬性提取

基于聚類的壓縮算法[18]優(yōu)勢在于，層次聚類法可將原始點(diǎn)云分為有層次的集合，直接壓縮相似特征的點(diǎn)集降低冗余。對幾何信息進(jìn)行局部聚類，對亮度信息進(jìn)行全局聚類，采用內(nèi)部預(yù)測法可將每個群集中的點(diǎn)云組織起來，而顏色屬性采用z字形映射到二維柵格后，使用2D-DCT變換編碼進(jìn)行壓縮。

借助均值漂移算法聚類分割，文獻(xiàn)[19]新增了梯度增強(qiáng)技術(shù)，得到了表面的局部極值點(diǎn)，也得到了特征分明的聚類面片，該方法在幾何特征的基礎(chǔ)上考慮了顏色特征聚類。文獻(xiàn)[20]嘗試使用K-means聚類，對點(diǎn)間的權(quán)重進(jìn)行傅里葉變換。此類基于聚類的屬性編碼方法，性能均優(yōu)于S-PCC[21]。

此外，將高維度數(shù)據(jù)降維映射，還可以結(jié)合壓縮感知理論壓縮點(diǎn)云數(shù)據(jù)[22-25]。

4 壓縮質(zhì)量評估

4.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集信息共分為3類，類型A為靜態(tài)點(diǎn)云數(shù)據(jù)，類型B為動態(tài)點(diǎn)云數(shù)據(jù)，類型C為動態(tài)獲取的點(diǎn)云類型，具體列表如表1所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集列表

4.2 質(zhì)量評估方法

質(zhì)量評估主要包括客觀質(zhì)量評價、結(jié)合應(yīng)用的質(zhì)量評價和復(fù)雜度評價等3種方法。

1)客觀質(zhì)量評價標(biāo)準(zhǔn)包括幾何編碼誤差估計和屬性編碼誤差估計。幾何信息的壓縮性能評估通過三維體積分辨率失真度量實(shí)現(xiàn)，主要有點(diǎn)到點(diǎn)和點(diǎn)到平面的幾何失真度量，分別表示為D1和D2。屬性信息的性能評估通過對比YUV顏色失真實(shí)現(xiàn)，一般明亮度Y最具代表性。根據(jù)壓縮前后的點(diǎn)云可算出各個指標(biāo)的峰值信噪比(Bj?ntegaard Delta Peak Signal-to-Noise Rate，BD-PSNR)和比特率(Bj?ntegaard Delta Bit Rate，BDBR)參數(shù)[23-24]。

2)結(jié)合應(yīng)用的質(zhì)量評價包括主觀質(zhì)量評價[24]或點(diǎn)云數(shù)據(jù)處理之后的質(zhì)量評價。例如，點(diǎn)云數(shù)據(jù)分析后對數(shù)據(jù)精度的評價。

3)復(fù)雜度評價為算法的時間復(fù)雜度和空間復(fù)雜度。

4.3 性能對比分析

4.3.1 點(diǎn)云壓縮測試模型整體編碼性能

Anchor軟件是基于1.8版本的點(diǎn)云庫(Point Cloud Library，PCL)，將L-PCC、S-PCC和V-PCC的編碼性能分別與Anchor相比，發(fā)現(xiàn)L-PCC對于沒有屬性的無損幾何壓縮，實(shí)現(xiàn)了大約18位/點(diǎn)的碼率，壓縮比接近20%；對于沒有屬性的有損幾何壓縮，可節(jié)省近40%的BDBR。S-PCC對于有損幾何和屬性編碼，節(jié)省了約30% 的D1-BDBR、10% 的D2-BDBR和15%的Y-BDBR。V-PCC的平均壓縮率可達(dá)1∶100到1∶500之間。

4.3.2 顏色屬性壓縮編碼對比

各類顏色屬性壓縮編碼方法都有各自的優(yōu)缺點(diǎn)。GT[18]、3D-DCT[22]、RAHT[23]和層次聚類-余弦變換等4類顏色屬性壓縮編碼方法的內(nèi)容對比如表2所示。

表2 顏色屬性壓縮編碼方法對比

分別利用DCT、GT、RAHT和使用行程戈隆米編碼[25](Run-Length Golomb-Rice coding，RLGR)的RAHT-RLGR等4種顏色屬性壓縮編碼方法對點(diǎn)云數(shù)據(jù)“Phil”[24]進(jìn)行壓縮，率失真曲線如圖9所示。

圖9 顏色屬性的幀內(nèi)編碼率失真曲線

從圖9可以看出，DCT的效果相對較差。RAHT-RLGR是將變換系數(shù)進(jìn)行重排序存儲，按照深度降序排序后編碼，效果良好，復(fù)雜度相對較低，但其性能不如RAHT。GT結(jié)合了塊預(yù)測算法去除冗余數(shù)據(jù)，同時使用卡洛變換(Karhunen-Loeve Transform，KLT)對屬性信息去相關(guān)化，在性能上優(yōu)于傳統(tǒng)的DCT。RAHT性能與GT相當(dāng)，但前者優(yōu)勢在于復(fù)雜度更低。這是因?yàn)镚T編碼器需要計算大量的特征值和特征向量，單個8×8×8的體素可能需要處理大小約為512×512的矩陣，被占用的立方體數(shù)目數(shù)以千計，而且GT需要對大型圖數(shù)據(jù)進(jìn)行重復(fù)的特征分解，龐大的運(yùn)算量使得該方法不適合實(shí)時處理點(diǎn)云。而RAHT的復(fù)雜性幾乎是恒定的，可探索更深層的八叉樹消除數(shù)據(jù)冗余。

根據(jù)上述分析得出，深度優(yōu)先的順序存儲，相比權(quán)重優(yōu)先存儲與無序存儲編碼效果突出。此外，將RAHT與KLT和DCT變換相結(jié)合，與單純的RAHT進(jìn)行對比，RAHT-KLT和RAHT-DCT的效果明顯優(yōu)于其他改進(jìn)的RAHT[25]。

5 結(jié)語

結(jié)合MPEG最新研究進(jìn)展，總結(jié)了3類點(diǎn)云壓縮整體模型的結(jié)構(gòu)和編碼效果，分別從幾何和顏色屬性的編碼算法入手，討論了最新的科研成果及其優(yōu)缺點(diǎn)，為點(diǎn)云壓縮的理論和實(shí)際應(yīng)用提出以下建議。

1)點(diǎn)云數(shù)據(jù)處理是多門學(xué)科的交叉研究內(nèi)容，其中，GIS涉及到的高度圖壓縮有待優(yōu)化和改進(jìn)，結(jié)合高度圖的理論，可擴(kuò)展點(diǎn)云壓縮算法的自適應(yīng)性。

2)點(diǎn)云以及點(diǎn)云壓縮的應(yīng)用面很廣，而實(shí)際中遇到的數(shù)據(jù)是不同環(huán)境下、不同狀態(tài)下產(chǎn)生的多樣話數(shù)據(jù)，現(xiàn)有壓縮算法的自適應(yīng)性和魯棒性有待測試。

3)RAHT-KLT和RAHT-DCT針對多相機(jī)360°三維環(huán)繞拍攝點(diǎn)云，性能確實(shí)優(yōu)于單純的RAHT，但對標(biāo)準(zhǔn)的點(diǎn)云結(jié)構(gòu)的壓縮性能未知，與GT變換的性能對比還有待研究。

4)近幾年來，隨著新興技術(shù)的不斷發(fā)展與演變，越來越多的點(diǎn)云壓縮算法被提出，部分模塊的編碼性能還需反復(fù)考察，成熟的靜態(tài)點(diǎn)云壓縮編碼標(biāo)準(zhǔn)有待確定。

5)采用深度學(xué)習(xí)的方法實(shí)現(xiàn)點(diǎn)云壓縮與三維場景重建、自動駕駛等應(yīng)用的結(jié)合實(shí)例較少，需要開展大量的驗(yàn)證工作。