高原， 施云惠， 韓妍妍， 曾萍， 尹寶才,4

(1. 北京電子科技學(xué)院 電子與通信工程系，北京 100070；2.國家信息中心，北京 100045；3. 北京工業(yè)大學(xué) 信息學(xué)部，多媒體與智能軟件技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100124；4.大連理工大學(xué) 電子信息與電氣工程學(xué)部，遼寧，大連 116024)

三維模型可以用來模擬任何物理自然界存在的實(shí)體或虛構(gòu)的物體，既可以通過三維建模軟件等計(jì)算機(jī)程序人工合成，也可以使用如Cyberware三維掃描儀[1]和多視點(diǎn)攝像機(jī)[2]等專業(yè)感知設(shè)備捕獲現(xiàn)實(shí)世界中的真實(shí)對(duì)象獲得. 盡管三維模型可以通過多種方式表達(dá)，但通過網(wǎng)格形式(尤其是廣泛應(yīng)用的三角網(wǎng)格[3])表示以其結(jié)構(gòu)簡(jiǎn)單、形式通用等特點(diǎn)成為表示三維模型、描述三維物體最為流行的方法. 隨著虛擬現(xiàn)實(shí)技術(shù)以及三維掃描技術(shù)的飛速發(fā)展，三維模型的采集、獲取及建模手段日趨成熟，由此生成了大量復(fù)雜的三維網(wǎng)格數(shù)據(jù)擴(kuò)展到各類應(yīng)用，與日俱增的復(fù)雜度和精度為傳統(tǒng)的壓縮算法和處理技術(shù)帶來了巨大的壓力. 為了保持三維網(wǎng)格的視覺效果，在壓縮和傳輸三維網(wǎng)格時(shí)通常將法向數(shù)據(jù)連同幾何數(shù)據(jù)(也稱為幾何網(wǎng)格，由頂點(diǎn)的位置信息和拓?fù)溥B接信息組成)同步編碼，而作為網(wǎng)格主觀渲染的重要因素，法向數(shù)據(jù)包含了更多網(wǎng)格的紋理細(xì)節(jié)，數(shù)據(jù)通常由3個(gè)IEEE 32位浮點(diǎn)數(shù)組成[4]，無論是傳輸、存儲(chǔ)還是實(shí)時(shí)渲染都會(huì)給軟硬件環(huán)境帶來巨大壓力.

針對(duì)附加法向信息的三維網(wǎng)格編碼，例如文獻(xiàn)[5-8]通常法向數(shù)據(jù)獨(dú)立編碼，基于相鄰頂點(diǎn)、面片或網(wǎng)格單元法向間的預(yù)測(cè)，大部分通過改進(jìn)法向數(shù)據(jù)的量化算法提高編碼效率. 由于傳統(tǒng)附加法向信息的三維網(wǎng)格編碼未充分考慮頂點(diǎn)法向3個(gè)分量間(幀間)及頂點(diǎn)幾何數(shù)據(jù)與法向數(shù)據(jù)間(幀間)的相關(guān)性，因此，壓縮性能有提升空間. 如何在現(xiàn)有壓縮技術(shù)基礎(chǔ)上充分挖掘法向與幾何數(shù)據(jù)幀內(nèi)-幀間相關(guān)性提升編碼效率仍然是一個(gè)值得深入研究的問題.

本文對(duì)附加法向信息的三維網(wǎng)格進(jìn)行預(yù)測(cè)編碼研究，利用法向數(shù)據(jù)幀內(nèi)相關(guān)性以及幾何與法向數(shù)據(jù)幀內(nèi)-幀間相關(guān)性，提出三維網(wǎng)格幀內(nèi)-幀間預(yù)測(cè)編碼方法，并與傳統(tǒng)分別壓縮三維網(wǎng)格法向與幾何數(shù)據(jù)的編碼方法進(jìn)行比較，通過實(shí)驗(yàn)仿真展示壓縮編碼性能.

1 法向信息壓縮

在三維計(jì)算機(jī)圖形學(xué)中，通常使用幾何網(wǎng)格模擬三維物體的基本形狀，而網(wǎng)格的主觀視覺質(zhì)量則通過網(wǎng)格的法向數(shù)據(jù)提升. 三維網(wǎng)格的幾何形狀是由頂點(diǎn)連接的多個(gè)小平面組合確定，這些小平面稱為面片. 通過每一個(gè)面片的法向確定了渲染過程中抽樣模擬曲面時(shí)模型的光照強(qiáng)度，從而獲得三維網(wǎng)格的主觀視覺感. 在三角形網(wǎng)格中，每3個(gè)頂點(diǎn)構(gòu)成一個(gè)三角形面片. 為了方便渲染、計(jì)算和處理，在網(wǎng)格繪制階段，常見繪制工具和軟件需要三維網(wǎng)格頂點(diǎn)的法向量作為曲面光照法向信息. 以三維模型bunny為例，其幾何網(wǎng)格和經(jīng)過法向量渲染繪制后的附加法向信息的三維網(wǎng)格如圖1(a)(b)所示.

圖1 三維網(wǎng)格的幾何與法向Fig.1 Geometry and normals of the mesh

給定附加法向信息的三角網(wǎng)格(M，N)，M表示幾何網(wǎng)格，由頂點(diǎn)的三維坐標(biāo)集V以及面片集F兩類幾何數(shù)據(jù)組成，N表示網(wǎng)格頂點(diǎn)的法向數(shù)據(jù). 其中

V={vi|vi=(xi,yi,zi)}i=1,2，…，s，

F={fj|fj=(vi1,vi2,vi3)}j=1,2，…，t，

s為三維網(wǎng)格頂點(diǎn)的個(gè)數(shù)，t為三維網(wǎng)格三角面片的個(gè)數(shù).

(1)

(2)

(3)

本文中頂點(diǎn)法向是單位化相鄰所有三角面片的法向量平均值獲得，其第i個(gè)分量為

(4)

其中m是與頂點(diǎn)相連的面片數(shù). 面片法向量和頂點(diǎn)法向量示意圖如圖1(c)所示.

通常單純壓縮網(wǎng)格的位置信息和拓?fù)溥B接信息，解碼端通過重建的幾何數(shù)據(jù)可以估計(jì)法向信息，并以估計(jì)的法向數(shù)據(jù)對(duì)幾何網(wǎng)格進(jìn)行渲染繪制得到重建的三維模型(本文稱之為自渲染)，如圖2 (b)所示. 以三維模型venus為例說明網(wǎng)格法向數(shù)據(jù)壓縮的重要性，圖2 (a)展示了未經(jīng)壓縮的原始venus網(wǎng)格，圖2 (b)展示了通過自渲染重建的網(wǎng)格模型，圖2 (c)展示了利用與圖2 (b)相同總碼率，并以1∶1的比例分別壓縮法向和位置信息后重建的法向數(shù)據(jù)渲染的網(wǎng)格. 可明顯看出，在相同的總碼率下，將法向數(shù)據(jù)與幾何數(shù)據(jù)同步壓縮相比單純壓縮幾何數(shù)據(jù)更能提高附加法向信息三維網(wǎng)格的主觀視覺質(zhì)量，進(jìn)一步說明了三維網(wǎng)格法向數(shù)據(jù)同步壓縮的重要意義.

圖2 不同法向渲染的網(wǎng)格主觀質(zhì)量比較Fig.2 Subjective quality comparison of the rendered mesh with different normals

再以三維模型bunny為例，圖2 (d)展示了未經(jīng)壓縮的原始bunny網(wǎng)格，通過重建的幾何網(wǎng)格預(yù)測(cè)法向數(shù)據(jù)，若直接以預(yù)測(cè)的法向數(shù)據(jù)渲染繪制幾何網(wǎng)格，生成的最終網(wǎng)格如圖2 (e)所示(自渲染). 為了方便比較，仍然使用重建的幾何網(wǎng)格，但是通過原始的法向量進(jìn)行渲染繪制，生成的最終網(wǎng)格如圖2(f)所示. 經(jīng)比較可以看出，同樣是有損解壓縮重建的幾何網(wǎng)格，用不同的法向數(shù)據(jù)渲染繪制，獲得的主觀質(zhì)量視差很大，而這個(gè)差值就是本文幀間預(yù)測(cè)思路中的法向量預(yù)測(cè)殘差. 因此，有損壓縮的三維網(wǎng)格，法向數(shù)據(jù)與幾何網(wǎng)格同步壓縮效果更好.

2 幀內(nèi)預(yù)測(cè)編碼

2.1 法向數(shù)據(jù)幀內(nèi)相關(guān)性

在計(jì)算法向量的過程中，為了簡(jiǎn)化計(jì)算，通常是將法向量的長(zhǎng)度單位化為1，即將法向量歸一化到單位球面上，如圖1 (d)所示. 因此，網(wǎng)格所有頂點(diǎn)法向量的模長(zhǎng)均為1，即

x′2+y′2+z′2=1.

(5)

式(5)充分說明了法向量的三個(gè)分量之間存在著較強(qiáng)的相關(guān)性. 因此，3個(gè)分量中的任何分量可以通過另外兩個(gè)分量表示，即

(6)

因此，在法向z分量符號(hào)已知的情況下，其可以通過其它兩個(gè)x,y分量經(jīng)式(5)和(6)預(yù)測(cè)得到，即

(7)

其中Sz為法向z分量的符號(hào).

將法向數(shù)據(jù)3個(gè)分量之間的相關(guān)性稱為法向數(shù)據(jù)幀內(nèi)相關(guān)性. 將幀內(nèi)相關(guān)性應(yīng)用在附加法向信息的三維網(wǎng)格壓縮中，可以達(dá)到降低法向分量的數(shù)據(jù)規(guī)模，提高壓縮性能的目的.

2.2 編解碼框架

為了有效利用法向數(shù)據(jù)幀內(nèi)相關(guān)性，降低法向數(shù)據(jù)的傳輸比特流，提出一種幀內(nèi)預(yù)測(cè)法向數(shù)據(jù)的編碼框架. 該預(yù)測(cè)模式利用法向數(shù)據(jù)內(nèi)部3個(gè)分量間的相關(guān)性，在編碼網(wǎng)格法向信息時(shí)只編碼x,y兩個(gè)分量及z分量的邊信息，從而降低了法向z分量的編碼數(shù)據(jù)量.

整體的編解碼框架如圖3所示. 幀內(nèi)基本預(yù)測(cè)編碼的主要思想如下.

在編碼端，將附加法向信息的三維網(wǎng)格分解為原始的幾何網(wǎng)格及法向數(shù)據(jù). 對(duì)于幾何網(wǎng)格M，其拓?fù)溥B接信息采用無損方式編碼，頂點(diǎn)位置數(shù)據(jù)采用小波變換編碼輸出碼流. 在編碼法向數(shù)據(jù)時(shí)，僅小波變換編碼x,y分量. 對(duì)于法向z分量，無損編碼其符號(hào)值Sz輸出碼流.

圖3 幀內(nèi)預(yù)測(cè)編解碼框架Fig.3 The codec framework of proposed intra-inter prediction

3 幀內(nèi)-幀間預(yù)測(cè)編碼

通過深入分析幾何數(shù)據(jù)與法向數(shù)據(jù)之間的關(guān)聯(lián)，結(jié)合法向數(shù)據(jù)內(nèi)部分量間的關(guān)系，提出附加法向信息的三維網(wǎng)格幀內(nèi)-幀間預(yù)測(cè)編碼方案.

3.1 法向與幾何幀間相關(guān)性

法向與幾何幀間相關(guān)性是基于頂點(diǎn)法向數(shù)據(jù)的計(jì)算理論，挖掘幾何網(wǎng)格與法向數(shù)據(jù)間的關(guān)系，從而獲得重建的幾何網(wǎng)格與法向數(shù)據(jù)之間的相關(guān)性.

(8)

(9)

3.2 編解碼框架

為了提高附加法向信息三維網(wǎng)格的壓縮效率，有效利用法向數(shù)據(jù)與幾何數(shù)據(jù)幀內(nèi)和幀間相關(guān)性，提出了一種幀內(nèi)-幀間預(yù)測(cè)法向數(shù)據(jù)的編碼框架. 該預(yù)測(cè)模式通過重建的幾何網(wǎng)格幀間預(yù)測(cè)頂點(diǎn)的法向數(shù)據(jù)x,y分量，再對(duì)z分量進(jìn)行幀內(nèi)預(yù)測(cè).

整體的編解碼框架如圖4所示. 幀內(nèi)-幀間預(yù)測(cè)編碼的主要思想如下.

圖4 幀內(nèi)-幀間預(yù)測(cè)編解碼框架Fig.4 The codec framework of proposed intra-inter mixed prediction

4 實(shí)驗(yàn)結(jié)果及分析

本文在4個(gè)三維模型上驗(yàn)證提出的基于法向與幾何數(shù)據(jù)幀內(nèi)-幀間相關(guān)性的附加法向信息的三維網(wǎng)格預(yù)測(cè)編碼方法. 此外還實(shí)驗(yàn)了對(duì)比組直接壓縮法向數(shù)據(jù)的編碼方法，并給出實(shí)驗(yàn)結(jié)果及分析. 在實(shí)驗(yàn)中，使用三維模型bunny，venus，lion，cow. 這4個(gè)模型的基本信息見表1.

表1 實(shí)驗(yàn)?zāi)Ｐ偷幕編缀涡畔?/p>

實(shí)驗(yàn)中分別對(duì)模型的頂點(diǎn)位置信息、面片信息以及法向數(shù)據(jù)/法向殘差數(shù)據(jù)進(jìn)行壓縮. 面片信息使用7 zip壓縮工具進(jìn)行無損編碼. 對(duì)于頂點(diǎn)位置信息和法向信息，首先將頂點(diǎn)位置數(shù)據(jù)量化為10 bit，法向數(shù)據(jù)量化為8 bit，再應(yīng)用一維小波技術(shù)(1DWT)對(duì)這些數(shù)據(jù)進(jìn)行變換. 使用不同的量化步長(zhǎng)對(duì)小波變換系數(shù)進(jìn)行量化. 由于量化后的數(shù)據(jù)仍存在大量冗余信息，因此，使用7 zip壓縮工具對(duì)其進(jìn)行壓縮，最后通過信道輸出最終碼流. 為了方便比較和分析，本文針對(duì)法向數(shù)據(jù)壓縮采用調(diào)整量化步長(zhǎng)的方式，將上述編碼方案中法向信息的碼率控制在10∶0.5∶12范圍. 本文提出的編碼方案以及對(duì)比組直接壓縮法向數(shù)據(jù)的編碼方案，都是在此碼率范圍進(jìn)行分析比較.

實(shí)驗(yàn)中對(duì)重建三維網(wǎng)格的主客觀質(zhì)量進(jìn)行了對(duì)比，利用針對(duì)幾何的峰值信噪比(peak signal to noise ratio,PSNR)衡量重建三維網(wǎng)格的客觀質(zhì)量，定義如下：

(10)

式中：lpeak為三維網(wǎng)格包圍盒的對(duì)角線長(zhǎng)度；d為原始網(wǎng)格與重建網(wǎng)格之間的Hausdorff距離[9]. 對(duì)于法向數(shù)據(jù)的客觀質(zhì)量，采用均方誤差(mean squared error,MSE)衡量壓縮前后法向數(shù)據(jù)的平均誤差.

首先壓縮4個(gè)模型的幾何數(shù)據(jù)，頂點(diǎn)位置坐標(biāo)利用450，350，250，150，50的量化步長(zhǎng)對(duì)小波變換系數(shù)進(jìn)行量化. 表2展示了利用解壓縮后的頂點(diǎn)位置數(shù)據(jù)與無損壓縮的拓?fù)溥B接信息重建的幾何網(wǎng)格與原始網(wǎng)格之間的PSNR結(jié)果.

表2 重建幾何網(wǎng)格的PSNR

對(duì)于法向數(shù)據(jù)，分為3組進(jìn)行實(shí)驗(yàn)：直接編碼法向數(shù)據(jù)、幀內(nèi)預(yù)測(cè)編碼、幀內(nèi)-幀間預(yù)測(cè)編碼. 為方便對(duì)編碼算法進(jìn)行主客觀質(zhì)量的對(duì)比和評(píng)估，將法向數(shù)據(jù)碼率控制在10.0∶0.5∶12.0范圍. 4個(gè)模型法向數(shù)據(jù)編碼實(shí)驗(yàn)的客觀質(zhì)量由圖5所示.

圖5 法向數(shù)據(jù)壓縮MSE曲線Fig.5 MSE curves of normal compression

在圖6～圖9中展示了每個(gè)模型在法向數(shù)據(jù)壓縮碼率為10 bpv的條件下，使用重建的法向數(shù)據(jù)渲染經(jīng)QP為450壓縮的幾何網(wǎng)格的主觀質(zhì)量. 其中可以明顯看出，對(duì)比直接壓縮法向數(shù)據(jù)的方案，本文提出的基于預(yù)測(cè)的編碼方法，無論從主觀質(zhì)量還是客觀性能上都優(yōu)于直接壓縮法向數(shù)據(jù)的編碼方案，提出的幀內(nèi)-幀間預(yù)測(cè)編碼方案優(yōu)于幀內(nèi)預(yù)測(cè)的編碼方案.

圖6 Bunny模型壓縮重建的主觀質(zhì)量對(duì)比Fig.6 Subjective quality comparison of the rendered meshes with normal for bunny

圖7 Venus模型壓縮重建的主觀質(zhì)量對(duì)比Fig.7 Subjective quality comparison of the rendered meshes with mormal for venus

圖8 Lion模型壓縮重建的主觀質(zhì)量對(duì)比Fig.8 Subjective quality companson of the rendered meshes with normal for lion

圖9 Cow模型壓縮重建的主觀質(zhì)量對(duì)比Fig.9 Subjective quality comparison of the rendered meshes with normals for cow

5 結(jié) 論

三維網(wǎng)格壓縮一直是充滿挑戰(zhàn)且具有重要意義的研究領(lǐng)域，針對(duì)現(xiàn)有法向與幾何數(shù)據(jù)分別壓縮效率低的問題，本文從法向數(shù)據(jù)生成理論出發(fā)，提出了基于幀內(nèi)預(yù)測(cè)和幀內(nèi)-幀間預(yù)測(cè)的附加法向信息的三維網(wǎng)格編碼方法. 該方法充分利用法向數(shù)據(jù)內(nèi)部分量間(幀內(nèi))及法向與幾何數(shù)據(jù)間(幀間)的相關(guān)性，有效保持了解碼后三維網(wǎng)格的幾何特性，為附加法向信息的三維網(wǎng)格壓縮提供了一種全新的解決方案. 同時(shí)，該方法在減少傳輸數(shù)據(jù)量、降低能耗以及提升繪制效果方面具有巨大的優(yōu)勢(shì). 但現(xiàn)有的工作無法應(yīng)對(duì)該領(lǐng)域中出現(xiàn)的所有挑戰(zhàn)，下一步的研究工作將圍繞真實(shí)感三維網(wǎng)格富含的法向、顏色、紋理等屬性信息編碼以及附加法向信息的三維網(wǎng)格序列壓縮展開研究.