崇斯杰，王士瑋，劉利剛

深度圖像的法向指導(dǎo)GPU濾波

崇斯杰，王士瑋，劉利剛

(中國(guó)科學(xué)技術(shù)大學(xué)數(shù)學(xué)科學(xué)學(xué)院，安徽 合肥 230022)

深度相機(jī)獲取深度圖像由于硬件精度問題，往往會(huì)丟失大量細(xì)節(jié)信息。因此，對(duì)深度圖像的濾波，已經(jīng)成為深度視覺領(lǐng)域一個(gè)重要的課題。然而，現(xiàn)階段大多數(shù)濾波的方法對(duì)于深度圖像中的尖銳特征保留能力不足，往往會(huì)出現(xiàn)過光滑現(xiàn)象。針對(duì)深度圖像濾波中的尖銳特征難以保留的問題，提出了一種新的深度圖像的聯(lián)合雙邊濾波方法。首先求解深度圖像每個(gè)像素的法向，以投票的方式對(duì)法向的權(quán)重進(jìn)行計(jì)算以進(jìn)行聯(lián)合雙邊濾波，最后根據(jù)濾波后的法向更新頂點(diǎn)坐標(biāo)。該方法引入了高精度的紋理作為指導(dǎo)信息,能獲取更可信的濾波效果。另外，該方法基于點(diǎn)云的局部信息，不需要求解很大的矩陣，且基于GPU并行，運(yùn)算效率極高。實(shí)驗(yàn)表明，該方法能更好地保留法向的邊界，具有更好的幾何特征保留能力。

深度圖像；點(diǎn)云；聯(lián)合雙邊濾波；紋理；法向?yàn)V波

隨著深度相機(jī)的發(fā)展，人們獲得物體的三維數(shù)據(jù)越來越便捷，并得到廣泛地應(yīng)用。但是，由于受測(cè)量精度以及采集環(huán)境的影響，現(xiàn)有的深度相機(jī)所獲取的深度圖像(深度點(diǎn)云數(shù)據(jù))往往存在大量的噪音。因此，對(duì)深度圖像進(jìn)行有效地濾波與去噪，是一個(gè)非常重要的問題。

關(guān)于網(wǎng)格曲面的濾波已有大量的工作[1]。雖然許多深度圖像的濾波方法均來自網(wǎng)格曲面濾波的啟發(fā)，但直接用于深度點(diǎn)云數(shù)據(jù)還存在著不足。首先，由于深度點(diǎn)云數(shù)據(jù)無拓?fù)溥B接關(guān)系，許多方法對(duì)于尖銳幾何特征保留并不能得到很好的效果。其次，由于在GPU中不便獲取網(wǎng)格曲面的頂點(diǎn)的鄰域信息，網(wǎng)格曲面的濾波方法大多采用CPU串行計(jì)算，無法進(jìn)行實(shí)時(shí)處理。

對(duì)于深度圖像，本文提出一種新的2步式的濾波算法。首先，利用深度圖像的局部深度信息，計(jì)算出深度數(shù)據(jù)在各像素處的法向，并通過投票來獲取基于局部法向與紋理信息的指導(dǎo)法向，依照指導(dǎo)法向進(jìn)行聯(lián)合雙邊濾波。其次，通過迭代更新，使得每個(gè)數(shù)據(jù)點(diǎn)在深度方向上均進(jìn)行小幅度的位移修正，使其局部法向逼近其濾波后的法向。

該方法同時(shí)考慮了數(shù)據(jù)的幾何信息與紋理信息，并且由于每一步計(jì)算的局部性，可以將每一個(gè)像素的計(jì)算分配到GPU的一個(gè)獨(dú)立的線程中，極大地加快了運(yùn)算效率，能實(shí)時(shí)得到濾波的結(jié)果。

1 相關(guān)工作

1.1 網(wǎng)格曲面去噪

網(wǎng)格曲面去噪一直是圖形學(xué)的一個(gè)熱門課題。最初研究者們使用基于局部Laplacian坐標(biāo)的方法來進(jìn)行去噪，該方法實(shí)現(xiàn)快捷但易導(dǎo)致網(wǎng)格產(chǎn)生較大的變形，且對(duì)于幾何特征的保留能力不足。FLEISHMAN等[2]提出使用雙邊濾波的方法對(duì)網(wǎng)格法向進(jìn)行濾波，其能很好地保留法向的邊界，使得局部法向變換較大的幾何特征得已保留；LEE和WANG[3]采用最小化頂點(diǎn)法向積分的最小二乘誤差(least square estimate，LSE)來更新濾波后的頂點(diǎn)；ZHANG等[4]在曲面上使用了高斯球面定義的法向來進(jìn)行濾波，使得法向?yàn)V波的結(jié)果更自然，對(duì)較大的噪聲表現(xiàn)效果更好；SHEN等[5]通過局部法向變化分類的方法實(shí)現(xiàn)了對(duì)網(wǎng)格的銳化；WEI等[6]提出了一種基于點(diǎn)分類的辦法來進(jìn)一步提高濾波對(duì)特征的保留能力；ZHANG等[7]則在法向?yàn)V波的基礎(chǔ)上，通過投票的方式對(duì)局部法向進(jìn)行了邊緣檢測(cè)與光滑度檢測(cè)，以控制聯(lián)合雙邊濾波的權(quán)重，并使得對(duì)尖銳特征的保留能力大大增強(qiáng)。

1.2 點(diǎn)云去噪

關(guān)于點(diǎn)云的濾波也已經(jīng)有了大量的研究。如杜小燕等[8]通過點(diǎn)云鄰域的局部法向的雙邊濾波對(duì)點(diǎn)云模型實(shí)現(xiàn)了保局部特征的濾波；HAN等[9]則將聯(lián)合雙邊濾波引入了3D點(diǎn)云的濾波中，使得其對(duì)特征保留能力更強(qiáng)。而深度圖由于其余圖片的極大相似程度，人們對(duì)于其濾波也展開了大量研究。如MUELLER等[10]通過自適應(yīng)交叉三邊中值濾波(adaptive cross-trilateral depth map filtering，ACTMF)改進(jìn)了對(duì)深度圖的濾波；HU等[11]通過對(duì)深度圖像的像素進(jìn)行聚類分塊，并在GBT域中進(jìn)行閾值分類以增強(qiáng)其稀疏性，獲得更好地去噪效果；DU和MIAO[12]通過MeanShift方法對(duì)大尺寸無效區(qū)域及其相鄰區(qū)域?qū)?yīng)的RGB圖像像素進(jìn)行聚類，以填充深度圖像中缺失的像素并去噪；HUANG等[13]通過顏色引導(dǎo)的信息，使得深度圖像的去噪能更好地保留像素視覺上的邊界；IBRAHIM和LIU[14]則在顏色引導(dǎo)濾波的基礎(chǔ)上，使用優(yōu)化的Markov隨機(jī)場(chǎng)來減輕模糊效應(yīng)。

由于深度圖像本身的特性，其每個(gè)像素的鄰域很容易獲取，這樣的濾波方法可很方便地使用GPU進(jìn)行并行計(jì)算以加速算法，該方法在實(shí)時(shí)重建等應(yīng)用中已經(jīng)得到廣泛地使用。

1.3 聯(lián)合雙邊濾波

雙邊濾波[15]是利用局部信息且能很好地保存邊界信息的一種濾波方式。該方法已經(jīng)廣泛運(yùn)用于處理那些噪音過大的圖像。其方法簡(jiǎn)單而有效，在視頻和計(jì)算機(jī)視覺中被大量使用[16-19]。同時(shí)在網(wǎng)格去噪和點(diǎn)云去噪中，也得到了相當(dāng)廣泛地應(yīng)用。文獻(xiàn)[20]介紹了關(guān)于雙邊濾波及其應(yīng)用。

聯(lián)合雙邊濾波是雙邊濾波的一種延伸，其使用適當(dāng)?shù)闹笇?dǎo)信號(hào)，來分配濾波時(shí)不同位置的信息對(duì)其影響的權(quán)重。該方法在圖像處理中已經(jīng)獲得了成功地應(yīng)用[21-22]，即

其中，()為選定點(diǎn)的鄰域；與為高斯濾波參數(shù)，決定了高斯濾波器的平滑程度；G與G為點(diǎn)與點(diǎn)處的指導(dǎo)信息，其具有比原始信息更強(qiáng)地指導(dǎo)作用。

這個(gè)方法的思路在于，指導(dǎo)圖G能夠提供更加有效的濾波信息，以獲得更合適的權(quán)重，將濾波器導(dǎo)向更佳的結(jié)果。在該過程中，如何獲得一張合適的指導(dǎo)圖G是最大的挑戰(zhàn)。此外，在雙邊濾波中，由于對(duì)每一個(gè)點(diǎn)的處理只用到局部信息，所以非常適合在GPU上并行加速[23]。

2 法向指導(dǎo)的GPU濾波

2.1 點(diǎn)法向計(jì)算

本文通過點(diǎn)4周相鄰的鄰域點(diǎn)來計(jì)算點(diǎn)的法向。如果4個(gè)鄰域點(diǎn)均存在，則求這4個(gè)點(diǎn)的最小二乘擬合平面的法向作為該點(diǎn)的法向；如果只存在3個(gè)鄰域點(diǎn)，則將3個(gè)點(diǎn)所定義的平面作為該點(diǎn)的法向；其他情況不定義該點(diǎn)法向。將定義該點(diǎn)法向的鄰域點(diǎn)的數(shù)量記為n。圖1為深度點(diǎn)云的法向渲染圖。

圖1 法向渲染圖示例

2.2 點(diǎn)的局部片段

對(duì)于非邊界點(diǎn)，定義其局部片段為包含該點(diǎn)的×大小的鄰域；對(duì)于邊界點(diǎn)，盡量取該點(diǎn)為“中心”的×大小的鄰域?yàn)槠渚植科?，如圖2所示。本文取不小于3的奇數(shù)。

圖2 包含頂點(diǎn)的3×3片段的不同情況

定義每個(gè)點(diǎn)的局部片段的目的是將該點(diǎn)出現(xiàn)的局部掃描誤差的風(fēng)險(xiǎn)平均到周圍的點(diǎn)上。當(dāng)獲得了一個(gè)點(diǎn)的所有片段后，即可對(duì)這些片段進(jìn)行比較，并對(duì)其可信程度進(jìn)行評(píng)價(jià)，選取其中光滑程度最高的一個(gè)片段的平均法向來作為指導(dǎo)該點(diǎn)進(jìn)行濾波的指導(dǎo)法向。

2.3 片段的誤差系數(shù)

由于每個(gè)片段所包含的點(diǎn)在空間中的距離很近，所以一個(gè)片段越光滑，說明其在測(cè)量時(shí)誤差較低，則保留原始法向的可能性會(huì)更高。

對(duì)于每個(gè)片段，通過定義()來估計(jì)該片段上所有像素法向之間的誤差系數(shù)，并衡量其法向的置信度為

其中，()為該片段上差異最大的2個(gè)像素的法向差值的模，用于衡量其光滑程度為

其中，()為邊緣檢測(cè)函數(shù)，用于檢測(cè)該片段是否包含一條尖銳的邊緣。如果包含，其法向的誤差系數(shù)則增大為

<

其中，為一個(gè)充分小的正數(shù)，用來保證分母非負(fù)。

當(dāng)片段包含了一條明顯的邊緣時(shí)，()會(huì)明顯變大；E為片段上2個(gè)相鄰像素之間的邊；(e)為衡量像素1，2之間邊e的顯著程度。

特別的，在考慮對(duì)法向投票的同時(shí)，本文引入了深度圖像的紋理信息，并利用這些高精度的紋理信息進(jìn)一步指導(dǎo)原本投票時(shí)法向的選取。

由于現(xiàn)在的RGB相機(jī)精度已經(jīng)很高，所以該參數(shù)可以起到用高精度信息指導(dǎo)低精度信息濾波的作用，即

其中，()為該片段上差異最大的2個(gè)像素的顏色差值的模，需檢測(cè)其顏色。

誤差系數(shù)越低的片段越光滑，法向可信程度則越高。該片段在后續(xù)聯(lián)合濾波時(shí)，被選為指導(dǎo)法向的可能性越大。

為了防止原本光滑的平面因?yàn)楸砻骖伾町惗幌到y(tǒng)誤判，本文給()添加一條限制條件，若當(dāng)()的值小于一個(gè)閾值，則()直接設(shè)為常數(shù)1。當(dāng)法向判定該片段近似于一個(gè)平面時(shí)，()不對(duì)誤差系數(shù)產(chǎn)生影響。于是，一個(gè)光滑的平面因?yàn)楸砻骖伾蚬庥皩?dǎo)致的紋理差異將會(huì)被忽略。

圖3展示了引入系數(shù)()后，對(duì)濾波效果的影響。其中的幾個(gè)模型，邊緣由于和相機(jī)法向夾角很小，采樣點(diǎn)不夠密集，在不引入紋理信息作為參考時(shí)，會(huì)在模型邊緣出現(xiàn)一條明顯和該面法向不同的寬邊。然而，引入紋理后，對(duì)于邊緣采樣點(diǎn)不夠時(shí)，能大大改善其邊界的濾波效果。

圖3 紋理系數(shù)對(duì)濾波結(jié)果的影響((a)原始深度圖；(b)法向渲染圖；(c)未引入紋理結(jié)果；(d)引入紋理結(jié)果)

2.4 確定指導(dǎo)法向

雙邊聯(lián)合濾波是解決原有信息噪聲過大問題的有效方案。在圖片的濾波中，以雙邊濾波為基礎(chǔ)，通過一張預(yù)先定義或計(jì)算得到一個(gè)指導(dǎo)信息，用其代替原有濾波時(shí)的顏色域，從而獲得每個(gè)像素周圍點(diǎn)濾波的權(quán)重。

類似于圖片的濾波，在這里要濾波的是點(diǎn)云的法向。而其與圖像雙邊濾波對(duì)應(yīng)的2個(gè)域?yàn)榉ㄏ蛴蚝途嚯x域。但原本的法向噪音很大，因此需要用一個(gè)精確度更高的信息來替代原法向域。

本文利用對(duì)片段投票的方法指導(dǎo)法向進(jìn)行構(gòu)造，該方法首先獲取每個(gè)點(diǎn)所在的局部片段，對(duì)其進(jìn)行投票，并從中選取最可信的法向作為該點(diǎn)的指導(dǎo)法向。

基于之前定義的片段和誤差系數(shù)，需取包含每一個(gè)點(diǎn)的所有片段，比較其誤差系數(shù)，取其誤差系數(shù)最小的一個(gè)片段，并將所有點(diǎn)的平均法向作為該點(diǎn)的指導(dǎo)法向。

2.5 聯(lián)合雙邊濾波

在獲得了所有點(diǎn)的指導(dǎo)法向后，便可以利用其對(duì)該深度圖像進(jìn)行雙邊聯(lián)合濾波，即

3 頂點(diǎn)更新

在更新點(diǎn)坐標(biāo)時(shí)，首先需要保證這些點(diǎn)在滿足深度圖像的像素同時(shí)，僅有深度值可更改的特性，且其連接關(guān)系不變。所以對(duì)每一個(gè)點(diǎn)進(jìn)行單獨(dú)更新時(shí)，令只在深度方向軸上位移，不更改其，坐標(biāo)。并將該位移稱為D。

對(duì)于每一個(gè)非邊界點(diǎn)(即4個(gè)鄰點(diǎn)均有定義)，找到通過該點(diǎn)，且法向?yàn)樾路ㄏ虻钠矫?，并?jì)算該平面與4個(gè)鄰點(diǎn)所在深度方向的直線的交點(diǎn)。如果4個(gè)鄰點(diǎn)在軸方向上均位移至新的交點(diǎn)，那么按照2.1中法向的定義，該點(diǎn)的新法向?qū)M足本文法向的計(jì)算(圖4)。

圖4 根據(jù)鄰點(diǎn)的法向計(jì)算對(duì)點(diǎn)位移的影響

接下來設(shè)p點(diǎn)的法向要求原位置為的鄰點(diǎn)位移至的新位置，并求對(duì)點(diǎn)期望的位移量D=-。

因?yàn)闉V波要求保持其深度圖像點(diǎn)云密度均勻的特性，所以限制每個(gè)點(diǎn)只在深度方向移動(dòng)，即D只在方向有值，所以有

其中，N為p點(diǎn)濾波后的法向；N[]為N在軸上的分量。

但是，由于每個(gè)點(diǎn)在位移時(shí)會(huì)影響到周圍數(shù)個(gè)鄰點(diǎn)的法向，所以未令其直接等于某一個(gè)鄰點(diǎn)的法向要求的值。因此，在對(duì)某個(gè)鄰點(diǎn)p進(jìn)行法向修正時(shí)，實(shí)際只執(zhí)行n分之一的偏移量，n與點(diǎn)相鄰的且擁有新法向的像素?cái)?shù)為

本文對(duì)所有的像素，均需進(jìn)行4個(gè)鄰點(diǎn)的遍歷，并得到鄰點(diǎn)法向在深度方向上的位移偏差，用式(13)進(jìn)行計(jì)算，即可獲得迭代一次過后的新深度圖像。

4 算法步驟

本文算法步驟如下：

輸入.深度圖像。

輸出.濾波后的深度圖像。

步驟1.對(duì)深度圖像每個(gè)點(diǎn)的所有鄰點(diǎn)計(jì)算其最小二乘平面的法向；

步驟2.對(duì)每一個(gè)像素所在的所有局部片段計(jì)算其誤差函數(shù)；

步驟3.通過投票獲得每個(gè)像素的指導(dǎo)法向；

步驟4.利用指導(dǎo)法向進(jìn)行聯(lián)合雙邊濾波；

步驟5.根據(jù)聯(lián)合雙邊濾波的結(jié)果更新點(diǎn)云深度；

步驟6.根據(jù)需要可以重復(fù)迭代步驟1～5數(shù)次，以達(dá)到更平滑的濾波效果。

5 實(shí)驗(yàn)結(jié)果與分析

本文對(duì)局部片段取不同的值，對(duì)分辨率不同的幾幅深度圖進(jìn)行了數(shù)組對(duì)照試驗(yàn)，同時(shí)比較了濾波效果。實(shí)驗(yàn)環(huán)境為2.90 GHz的CPU，16 GB內(nèi)存的PC機(jī)，使用Visual Studo 2019作為編譯工具，并使用CUDA11.1作為并行計(jì)算庫。

圖5～6和圖8是采用kinect2.0采集的分辨率為640×480的常見場(chǎng)景的深度圖，圖7是采用工業(yè)相機(jī)采集的分辨率為1025×820的實(shí)際工業(yè)場(chǎng)景下的一幀三通管深度圖。

圖5展示了算法對(duì)于光滑桌面的濾波結(jié)果。可以看出，算法能夠使得原本由于相機(jī)誤差導(dǎo)致的凹凸不平的表面明顯變得光滑，隨著取值變大，光滑程度也會(huì)隨之提高。在實(shí)驗(yàn)過程中可以獲得較好地濾波效果，同時(shí)使算法運(yùn)行速度下降。相較于不使用指導(dǎo)法向的方法，本文算法在光滑度上并沒有很大差別。

圖6和圖7屬于幾何特征較為明顯的場(chǎng)景。如可見場(chǎng)景中物體的棱角，基于指導(dǎo)法向的雙邊濾波相較于普通的法向?yàn)V波而言，對(duì)于尖銳的幾何特征有更好地保留效果。這對(duì)于幾何識(shí)別非常有用，在工業(yè)界對(duì)于幾何構(gòu)件的位置獲取展現(xiàn)出了良好的潛力。隨著取值的變大，能夠?qū)⒅笇?dǎo)域的范圍擴(kuò)大，獲取更具有可信度的局部片段。但若過大，反而會(huì)導(dǎo)致過光滑現(xiàn)象。經(jīng)實(shí)驗(yàn)發(fā)現(xiàn)，其能夠獲得較好的效果。

圖5 平面指導(dǎo)濾波結(jié)果((a)原始點(diǎn)云；(b) k=3；(c) k=4；(d)未使用指導(dǎo)法向)

圖6 幾何構(gòu)件指導(dǎo)濾波結(jié)果((a)原始點(diǎn)云；(b) k=3；(c) k=4；(d)未使用指導(dǎo)法向)

圖7 三通管指導(dǎo)濾波結(jié)果((a)原始點(diǎn)云；(b) k=3；(c) k=4；(d)未使用指導(dǎo)法向)

圖8 人臉指導(dǎo)濾波結(jié)果((a)原始點(diǎn)云；(b) k=3；(c) k=4；(d)未使用指導(dǎo)法向)

圖8屬于幾何特征不那么尖銳的人臉場(chǎng)景。在該場(chǎng)景下，本文算法仍然能夠獲得較好的濾波效果，但與未使用指導(dǎo)法向的法向?yàn)V波相比，相差不大，僅在眼鏡邊框等較為尖銳的區(qū)域保留效果較為明顯。

表1為點(diǎn)云圖在不同迭代次數(shù)下所需要的時(shí)間。

從表1可以發(fā)現(xiàn)，對(duì)于640×480的深度圖像，本文單次迭代只需要幾十毫秒的時(shí)間便可得到非常良好的濾波效果。

表1 不同深度圖各迭代次數(shù)所需運(yùn)行時(shí)間(ms)

若原本深度圖像上的點(diǎn)并未填充整個(gè)圖像的話，濾波時(shí)間還可以進(jìn)一步減少。比如對(duì)Kinect掃描獲取的人臉點(diǎn)云的濾波，迭代一次僅需要22 ms，這在人臉的實(shí)時(shí)重建中展現(xiàn)出了良好的潛力。

為了進(jìn)一步展示本文方法對(duì)于邊緣特征的保留能力，圖9選取了深度圖濾波的樣例圖Teddy在不同的參數(shù)下進(jìn)行濾波，并與NLGBT[11]，OGLR[24]和FCG[13]方法相對(duì)比。

圖9 不同方法對(duì)Teddy濾波的法向渲染圖，其中d～f為本文方法法向域在不同s下的結(jié)果((a)紋理圖像；(b)深度圖像；(c)帶噪音法向渲染圖；(d) s=10；(e) s =0.4；(f) s =0.2；(g) NLGBT；(h) OGLR；(i) FCG)

為了對(duì)比不同方法對(duì)于幾何特征的保留能力，圖9展示了相同噪聲下的深度圖濾波后結(jié)果的法向渲染圖。其中顏色差異越大，代表局部法向差異越大，以此來判斷其尖銳特征是否得以保留?？梢钥吹剑疚姆椒ㄔ谶M(jìn)行雙邊濾波時(shí)，法向域越小，其對(duì)幾何特征的保留能力越強(qiáng)，但是平滑的效果會(huì)相對(duì)變差。圖中顯示，本文方法在尖銳邊緣處的法向差異更明顯，能夠更顯著地保留其在深度圖法向上尖銳的特征。

6 結(jié)束語

本文提出了一種基于點(diǎn)云法向和紋理的濾波方法，其使用GPU加速對(duì)深度圖像進(jìn)行快速濾波，計(jì)算效率得到大幅提高，并具有以下優(yōu)點(diǎn)：

(1) 該方法通過對(duì)法向的聯(lián)合雙邊濾波，較好地在光滑點(diǎn)云的同時(shí)保留了模型上那些尖銳的特征，即視覺和空間上的“邊緣”。

(2) 該方法通過引入高精度的數(shù)碼相機(jī)所獲取的信息，來指導(dǎo)低精度的深度相機(jī)所獲取的具有噪聲的點(diǎn)云的法向?yàn)V波，加強(qiáng)了濾波的法向可信程度。

在未來可以結(jié)合提取連續(xù)幀的方法來消除隨機(jī)誤差，增加時(shí)間維度，對(duì)深度相機(jī)獲取的連續(xù)數(shù)幀點(diǎn)云進(jìn)行三邊濾波，以減小深度相機(jī)由于采樣不均勻?qū)е碌恼`差，進(jìn)一步提高濾波的準(zhǔn)確率。

[1] 李智琦, 毛心怡, 汪俊, 等. 保持特征的三角網(wǎng)格曲面去噪技術(shù)綜述與展望[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2020, 32(1): 1-15.

LI Z Q, MAO X Y, WANG J, et al. Feature-preserving triangular mesh surface denoising: a survey and prospective[J]. Journal of Computer-Aided Design & Computer Graphics, 2020, 32(1): 1-15 (in Chinese).

[2] FLEISHMAN S, DRORI I, COHEN-OR D. Bilateral mesh denoising[J]. ACM Transactions on Graphics, 2003, 22(3): 950-953.

[3] LEE K W, WANG W P. Feature-preserving mesh denoising via bilateral normal filtering[EB/OL]. [2021-04-12]. https://ieeexplore.ieee.org/document/1604647.

[4] ZHENG Y Y, FU H B, AU O K C, et al. Bilateral normal filtering for mesh denoising[J]. IEEE Transactions on Visualization and Computer Graphics, 2011, 17(10): 1521-1530.

[5] SHEN J G, ZHANG S Y, CHEN Z Y, et al. Mesh sharpening via normal filtering[J]. Journal of Zhejiang University-SCIENCE A, 2009, 10(4): 546-553.

[6] WEI M Q, YU J Z, PANG W M, et al. Bi-normal filtering for mesh denoising[J]. IEEE Transactions on Visualization and Computer Graphics, 2015, 21(1): 43-55.

[7] ZHANG W Y, DENG B L, ZHANG J Y, et al. Guided mesh normal filtering[J]. Computer Graphics Forum, 2015, 34(7): 23-34.

[8] 杜小燕, 姜曉峰, 郝傳剛, 等. 點(diǎn)云模型的雙邊濾波去噪算法[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2010, 27(7): 245-246, 264.

DU X Y, JIANG X F, HAO C G, et al. Bilateral filtering denoising algorithm for point-cloud model[J]. Computer Applications and Software, 2010, 27(7): 245-246, 264 (in Chinese).

[9] HAN X F, JIN J S, WANG M J, et al. Guided 3D point cloud filtering[J]. Multimedia Tools and Applications, 2018, 77(13): 17397-17411.

[10] MUELLER M, ZILLY F, KAUFF P. Adaptive cross-trilateral depth map filtering[EB/OL]. [2021-04-07]. http://www.doc88.com/p-498186627297.html.

[11] HU W, LI X, CHEUNG G, et al. Depth map denoising using graph-based transform and group sparsity[EB/OL]. [2021-04-25]. http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.676.2354.

[12] DU H Y, MIAO Z J. Kinect depth maps preprocessing based on RGB-D data clustering and bilateral filtering[C]//2015 Chinese Automation Congress. New York: IEEE Press, 2015: 732-736.

[13] HUANG Q W, LI R K, JIANG Z D, et al. Fast color-guided depth denoising for RGB-D images by graph filtering[C]//2019 53rd Asilomar Conference on Signals, Systems, and Computers. New York: IEEE Press, 2019: 1811-1815.

[14] IBRAHIM M M, LIU Q. Optimized color-guided filter for depth image denoising[C]//2019 IEEE International Conference on Acoustics, Speech and Signal Processing. New York: IEEE Press, 2019: 8568-8572.

[15] TOOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]//1998 IEEE International Conference on Computer Vision, Bombay. New York: IEEE Xplore, 1998: 839-846.

[16] OH B M, CHEN M, DORSEY J, et al. Image-based modeling and photo editing[C]//The 28th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM Press, 2001: 433-442.

[17] DURAND F, DORSEY J. Fast bilateral filtering for the display of high-dynamic-range images[J]. ACM Transactions on Graphics, 2002, 21(3): 257-266.

[18] CHO H, LEE H, KANG H, et al. Bilateral texture filtering[J]. ACM Transactions on Graphics, 2014, 33(4): 1-8.

[19] ZHANG M, GUNTURK B K. Multiresolution bilateral filtering for image denoising[J]. IEEE Transactions on Image Processing, 2008, 17(12): 2324-2333.

[20] PARIS S. A gentle introduction to bilateral filtering and its applications[EB/OL]. [2021-04-04]. https://dl.acm.org/doi/10.1145/1281500.1281604.

[21] PETSCHNIGG G, SZELISKI R, AGRAWALA M, et al. Digital photography with flash and no-flash image pairs[J]. ACM Transactions on Graphics, 2004, 23(3): 664-672.

[22] EISEMANN E, DURAND F. Flash photography enhancement via intrinsic relighting[J]. ACM Transactions on Graphics, 2004, 23(3): 673-678.

[23] SRISUK S, KESJINDATANAWAJ W, ONGKITTIKUL S. Real-time bilateral filtering using GPGPU[J]. Applied Mechanics and Materials, 2015, 781: 568-571.

[24] PANG J H, CHEUNG G. Graph Laplacian regularization for image denoising: analysis in the continuous domain[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1770-1785.

Guided normal GPU filtering of depth images

CHONG Si-jie, WANG Shi-wei, LIU Li-gang

(School of Mathematical Sciences University of Science and Technology of China, Hefei Anhui 230022, China)

Depth images acquired by depth cameras generally contain noises and lose detailed geometric information. Thus, the filtering of depth images has become an important topic in both computer graphics and computer vision.However, most current filtering methods can hardly preserve the sharp features in the objects and often result in over-smoothing results. To this end, we proposed a novel joint bilateral filtering method for filtering depth images. First, we estimated the normal of each pixel in the depth image. Then we computed the weight of the normals by voting to perform joint bilateral filtering on all pixels. Finally, the vertex coordinates were updated according to the filtered normals. This method took into account the texture information with high accuracy as guidance information, which can yield more reliable filtering effects. In addition, this method was based on the local information of the point cloud, did not need to solve large matrixes, and employed GPU parallelism leading to extremely high computational efficiency. Experiments show that our method can highly preserve the edges in the normal field, thus preserving sharp features better than previous methods.

depth images; point cloud; joint bilateral filtering; texture; normal filtering

23 June，2021；

TP 391

10.11996/JG.j.2095-302X.2022010118

A

2095-302X(2022)01-0118-07

2021-06-23；

2021-07-26

26 July，2021

崇斯杰(1995–)，男，碩士研究生。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)。E-mail：476449992@qq.com

CHONG Si-jie (1995–), master student. His main research interest covers computer graphics. E-mail：476449992@qq.com

劉利剛(1975–)，男，教授，博士。主要研究方向?yàn)橛?jì)算機(jī)圖形學(xué)等。E-mail：lgliu@ustc.edu.cn

LIU Li-gang (1975–), professor, Ph.D. His main research interests cover computer graphics, etc. E-mail：lgliu@ustc.edu.cn