江亮亮 楊付正 任光亮

(西安電子科技大學 綜合業(yè)務網理論及關鍵技術國家重點實驗室， 陜西 西安 710071)

用于網格去噪的自適應雙邊濾波器*

江亮亮 楊付正 任光亮

(西安電子科技大學 綜合業(yè)務網理論及關鍵技術國家重點實驗室， 陜西 西安 710071)

為有效去除三維網格模型中的噪聲,提出一種用于網格去噪的自適應雙邊濾波器.首先,利用體積積分不變量對三維網格模型進行特征檢測,估計出局部的特征強度,然后根據(jù)特征強度自適應地調整雙邊濾波器的濾波參數(shù).通過自適應的參數(shù)優(yōu)化,對于不同特征強度的區(qū)域,自適應雙邊濾波器采用更具針對性的去噪策略,從而進一步提高了去噪性能.實驗結果表明,相比于雙邊濾波器,所提出的自適應雙邊濾波器在去除噪聲的同時,能夠更好地保持三維網格模型的細節(jié)特征,去噪后得到的網格模型與原始模型的客觀差值測度平均降低了0.033 2.

三維網格；網格去噪；雙邊濾波器；特征檢測；特征保持

近年來,三維網格模型的應用日益廣泛[1- 2].隨著三維掃描技術的不斷發(fā)展,三維網格模型的獲取也逐漸簡單和方便[3].不過,由于掃描設備精度存在誤差以及其他人為因素的影響,獲取的三維模型不可避免地包含了噪聲信息[4- 5].噪聲的存在不僅影響了三維模型的視覺質量,還不利于三維模型的壓縮、簡化[6]以及其他后續(xù)操作[7].因此,近年來,如何有效地去除三維網格模型中的噪聲成為計算機圖形學領域研究的熱點之一.

去除噪聲的同時保持三維網格的原始特征是網格去噪面臨的最大挑戰(zhàn),因為噪聲和邊、角等尖銳的特征都是高頻分量,很難有效地將它們區(qū)分開來.根據(jù)特征保持性,網格去噪方法可以分為各向同性算法和各向異性算法.早期的網格去噪方法主要是各向同性算法,這類算法在去除噪聲的同時也會破壞三維網格原有的特征.Taubin[8]于1995年提出了基于Laplacian算子的網格信號處理方法,利用傅里葉變換對網格信號進行頻域分析,并通過低通濾波器實現(xiàn)網格光順,該方法計算復雜度低,但穩(wěn)定性較差.Desbrun等[9]提出沿法向量方向更新頂點的位置,根據(jù)平均曲率確定移動的步長,并通過重采樣避免濾波后網格體積發(fā)生收縮.隨后,Ohtake等[10]對文獻[9]中的算法進行改進,將平均曲率和Laplacian算子結合起來,減少了過度平滑情況的發(fā)生.由于各向同性這一性質,各向同性算法在平滑噪聲的同時也會模糊三維網格模型原有的特征.為了更好地保持三維網格的特征,后續(xù)的研究者們提出了多種各向異性算法[11- 15].文獻[11- 12]中將圖像去噪中的各向異性擴散方法擴展到網格去噪中,這類算法會根據(jù)三維網格的幾何特征自適應地改變擴散張量,達到保持特征的目的.不過,這類算法需要眾多的微分和矩陣運算,計算復雜度較高.文獻[13- 14]中將圖像去噪中的雙邊濾波器擴展到網格去噪中,利用雙邊濾波器分配的權重確定頂點更新的方向和步長.Hildebrandt等[15]提出采用平均曲率流去除噪聲,在濾波過程中使網格的平均曲率收斂于一個既定的平均曲率.

另外,近年來,很多研究者[16- 20]提出了一種兩步法的濾波框架,首先將濾波算法作用于法向量域,調整各個面的法向量,然后根據(jù)調整后面的法向量更新網格的頂點坐標.文獻[16- 17]中利用均值濾波器、中值濾波器以及alpha-Trimming濾波器對面的法向量進行濾波.文獻[18]中提出利用較為復雜的模糊向量中值濾波器調整面的法向量.文獻[19]中設定一個門限,選擇鄰域內較接近的法向量,然后通過對這些法向量進行加權平均更新面的法向量.文獻[20]中將雙邊濾波器作用于法向量域,綜合考慮了空間距離和數(shù)值差異兩方面的因素,在去除噪聲的同時較好地保持了三維網格的原始特征.

實驗表明,將雙邊濾波器作用于法向量域能夠有效保持三維網格的原始特征[20],對于一個三維網格模型,雙邊濾波器使用的是一組固定的濾波參數(shù).然而,三維網格模型表面各局部區(qū)域的特性是不同的,在整個網格模型使用固定的濾波參數(shù)對局部區(qū)域并非最優(yōu),反而在一定程度上制約了雙邊濾波器的去噪性能.為此,文中提出一種基于自適應雙邊濾波器的網格去噪方法,在局部區(qū)域,利用特征強度驅動雙邊濾波器,自適應地優(yōu)化雙邊濾波器的濾波參數(shù),從而最大程度地發(fā)揮雙邊濾波器的去噪能力.由于三角形網格是三維網格模型最常見的表現(xiàn)形式,且已有的算法主要是針對三角形網格[14- 15,19- 20],因此,文中也主要研究三角形網格的去噪方法.

1 去噪方法的原理

文中提出的去噪方法如圖1所示.其中:特征強度檢測模塊主要是估計三維網格模型表面各區(qū)域的平坦程度,為后續(xù)雙邊濾波器的自適應性提供支持;自適應雙邊濾波器模塊主要是依據(jù)特征強度自適應地優(yōu)化濾波參數(shù),并校正各個三角形面的法向量;頂點更新模塊則是根據(jù)校正后的法向量更新頂點的坐標位置.

圖1 基于自適應雙邊濾波器的網格去噪方法框圖

Fig.1 Framework of mesh denoising method based on adaptive bilateral filter

2 特征強度檢測

在三維網格模型中,有的區(qū)域表面平坦,沒有尖銳特征,特征強度較低;而有的區(qū)域凹凸不平,尖銳特征多,特征強度較高.在不同特征強度的區(qū)域,去噪的側重點是不同的.對于特征強度較低的區(qū)域,去噪主要是側重于對曲面進行光順,而對于特征強度較高的區(qū)域,去噪主要是側重于恢復曲面的尖銳特征.因而,在網格去噪過程中,檢測局部特征強度很有必要,因為它有利于為不同特征強度的區(qū)域制定相應的濾波策略.

三維網格模型的特征提取方法主要分為兩類:基于邊的方法和基于面的方法.基于邊的方法首先找出曲率突變的點作為邊點,然后將這些邊點連接成線[21];而基于面的方法以一組“種子點”為中心進行“區(qū)域增長”,找出一組具有相似特征的點構成曲面,直至周圍鄰域內沒有特征相似的點才停止“生長”,最后根據(jù)相鄰曲面相交或其他算法得到曲面邊界[22].無論是基于點的方法,還是基于面的方法,都只能對三維網格模型的特征進行區(qū)分,無法獲得局部區(qū)域確切的特征強度.文中以頂點為中心,通過計算頂點的體積積分不變量[23]來衡量局部特征強度.設M為輸入網格,任意一點p∈M,點p的體積積分不變量定義為

Vr(p)=∫Br(p)∩IMdx

(1)

式中,Br(p)為以點p為中心、半徑為r的球,IM為輸入網格的內部空間,體積積分不變量Vr(p)為Br(p)和IM重疊區(qū)域的體積.從體積積分不變量的定義中可以看出,頂點的體積積分不變量與該頂點周圍曲面的凹凸程度是相關的,能夠反映頂點位置的特征強度.為了更加清楚地表示體積積分不變量與曲面特征強度的關系,將Vr(p)進行歸一化處理:

(2)

(3)

體積積分不變量的值與內核球的半徑r有關,在不同尺度r下,利用體積積分不變量檢測出的特征強度會存在一定的差異.為了提高特征檢測的魯棒性,文中選擇多個尺度,將多個尺度下的特征強度融合,取它們的平均值作為特征強度的最終值,即

(4)

式中:S(p)為點p處的特征強度的最終值;N為尺度個數(shù),在文中的實驗中,N取為2;r1和r2分別取3la和5la,la為三維模型的平均邊長.圖2給出了三維模型Octa-Flower的特征強度分布圖,顏色越偏暖,表示特征強度越高.圖2(b)是Octa-Flower原始模型的特征強度分布圖,可以看出,在平坦的區(qū)域,顏色偏冷,特征強度較低;而在邊、角等具有尖銳特征的區(qū)域,顏色偏暖,特征強度較高,可見特征強度檢測的結果與三維網格模型的局部特性較為一致.另外,由于特征強度檢測主要是針對帶噪模型的,特征強度檢測方法的抗噪性也非常重要.圖2(c)給出了Octa-Flower帶噪模型的特征強度分布圖,特征強度檢測的結果與三維網格模型的局部特性也較為一致,受到噪聲的影響較小,可見體積積分不變量對噪聲具有較強的魯棒性.

圖2 三維模型Octa-Flower的特征強度分布圖

由于后續(xù)的去噪方法首先要校正的是三角形面的法向量,因而需要得到各個三角形面的特征強度.在已知頂點特征強度的情況下,三角形面的特征強度可以通過對其3個頂點的特征強度取平均得到.

3 自適應雙邊濾波器

雙邊濾波器將空間相近度和數(shù)值相似度兩個重要因素有效結合,能夠在保持細節(jié)特征的前提下較好地去除噪聲,文獻[13- 14]中將該算法推廣到網格模型.Zheng等[20]提出了一種雙邊法向濾波器,將雙邊濾波器作用于法向量域,取得了不錯的去噪效果.在文獻[20]的基礎上,文中提出一種自適應雙邊濾波器,結合三維模型局部特征強度,自適應地優(yōu)化雙邊濾波器的參數(shù),進一步提高雙邊濾波器的去噪性能.自適應雙邊濾波器的法向量更新公式為

(5)

Wd(‖ci-cj‖)=exp(-‖ci-cj‖2/2δd2)

(6)

Wr(‖ni-nj‖)=exp(-‖ni-nj‖2/2δr(i)2)

(7)

在雙邊濾波器中,空域濾波器和數(shù)值濾波器具有不同的功能,空域濾波器側重于平滑和光順,而數(shù)值濾波器側重于保持特征.在三維模型不同特征強度的區(qū)域,去噪的側重點也是有區(qū)別的.對于特征強度較低的區(qū)域,通過簡單的平滑和光順就能較好地完成去噪;對于特征強度較高的區(qū)域,在平滑噪聲的同時還必須注意保持尖銳的特征.因此,在特征強度較低的區(qū)域,空域濾波器應該在雙邊濾波器中占據(jù)主導地位;而在特征強度較高的區(qū)域,數(shù)值濾波器則應該處于較為重要的位置.空域濾波器和數(shù)值濾波器在雙邊濾波器中所處的地位是由濾波參數(shù)δd和δr(i)共同決定的.自適應雙邊濾波器選擇將δd的值固定,并根據(jù)局部特征強度動態(tài)調整δr(i)的值,實現(xiàn)局部區(qū)域空域濾波器和數(shù)值濾波器的合理搭配,最大程度地發(fā)揮雙邊濾波器的去噪效果.由于δd的值是固定的,隨著特征強度的增大,δr(i)需相應地減小以提高數(shù)值濾波器在雙邊濾波器中的重要性.δr(i)的動態(tài)優(yōu)化公式為

δr(i)=δ0+δ1g(S(fi))

(8)

式中:δ0(δ0>0)和δ1(δ1>0)是濾波參數(shù);S(fi)是三角形面fi的特征強度;g(x)是單調遞減函數(shù),且g(x)∈(0,1].δ0是δr(i)的基礎值,主要是防止δr(i)接近于0導致雙邊濾波器不穩(wěn)定,這里δ0=0.1.δ1的取值與三維模型和噪聲強度均有關,取值越大,濾波的結果越光滑.函數(shù)g(x)描述的是δr(i)隨著S(fi)下降的趨勢,在實驗中將g(x)分別設為高斯下降函數(shù)和指數(shù)下降函數(shù),結果表明指數(shù)下降函數(shù)是一個較好的選擇.因此,文中將g(x)選為指數(shù)下降函數(shù),即

(9)

式中,β是控制下降速度的參數(shù),它通過一種自動的方式確定:利用k-均值算法將三維模型所有面的特征強度分為兩類,每一類特征強度都有一個簇中心,將β設為這兩個簇中心的均值.

在很多情況下,一次迭代更新并不能夠完全消除噪聲,通常需要利用自適應雙邊濾波器對法向量進行多次迭代更新.迭代的次數(shù)主要依賴于噪聲的強度,噪聲強度越大,迭代的次數(shù)就越多.

4 頂點更新

(10)

由于方程組(10)沒有非平凡解,通常需要轉化為最小二乘問題解決,即定義一個代價函數(shù)e(x),更新頂點使e(x)最小.代價函數(shù)的形式并不是唯一的,常用的有兩種:

(11)

(12)

式中,Ai為三角形面fi的面積.上述最小二乘問題可以通過梯度下降、共軛梯度等多種方法進行求解.文中采用的是文獻[19]中的頂點更新算法,該算法選取的代價函數(shù)為式(11),求解的方法為梯度下降法.

5 實驗結果與性能分析

為了驗證自適應雙邊濾波器的性能,挑選Octa-Flower、Twirl、Laurent-Hand和Bunny_iH4個模型進行實驗,其中Octa-Flower和Twirl屬于計算機構建的CAD模型,而Laurent-Hand和Bunny_iH是利用掃描數(shù)據(jù)重建的真實模型.在這4個模型上加入不同強度的高斯白噪聲,高斯白噪聲的強度與三維模型的平均邊長la成比例,文中疊加在模型Octa-Flower和Laurent-Hand上的噪聲的方差為0.05la和0.08la,疊加在模型Twirl和Bunny_iH上的噪聲的方差為0.08la和0.10la.

將自適應雙邊濾波器(ABF)與文獻[20]中的雙邊濾波器(BF)進行對比,自適應雙邊濾波器的參數(shù)包括濾波參數(shù)δ1、法向量更新的迭代次數(shù)t1以及頂點更新的迭代次數(shù)t2,即(δ1,t1,t2).雙邊濾波器的參數(shù)包括數(shù)值濾波器的標準差δs、法向量更新的迭代次數(shù)t1及頂點更新的迭代次數(shù)t2,即(δs,t1,t2).δ1的取值范圍通常在[0.2,0.7],δs的取值范圍通常在[0.2,0.6],δ1和δs的取值越大,濾波結果往往越光滑.法向量更新的迭代次數(shù)t1與噪聲強度有關,一般噪聲強度越大,迭代的次數(shù)就越多;頂點更新的迭代次數(shù)t2一般設為20.

網格去噪的目的是將加噪模型最大程度地恢復至原始模型,衡量去噪性能的指標就是經去噪得到的三維網格與原始三維網格的接近程度.文中首先利用三維網格質量評價方法MSDM2[24]比較去噪后得到的三維網格與原始三維網格之間的差異,差異越小,去噪的效果就越好.表1列出了各模型的實驗結果,對于各個實驗模型,自適應雙邊濾波器對應的MSDM2值均比雙邊濾波器的低.總的來說,相比于雙邊濾波器,自適應雙邊濾波器對應的MSDM2值平均降低了0.033 2.所以,從客觀數(shù)值上看,利用自適應雙邊濾波器去噪得到的網格模型與原始三維網格更加接近.此外,從表1中還可以看到,對于同一實驗模型,噪聲強度越大,去噪后得到的網格模型與原始三維網格之間的MSDM2值往往越大,表明噪聲強度越大,將加噪模型恢復成原始模型的難度就越大.

表1 實驗結果對比

為更加直觀地比較去噪方法的性能,圖3-6給出了三維網格去噪的主觀實驗結果,相應的局部放大圖中的虛線框表示改進較為明顯的區(qū)域.圖3是模型Octa-Flower的去噪結果,對比圖3(c)和3(d)可以看到,BF在去噪過程中模糊了Octa-Flower模型花瓣邊緣的尖銳特征,而ABF較好地保持了這方面的特征.圖4是Twirl的去噪結果,在圖4(c)中,三維模型的凹槽內出現(xiàn)了一條明顯的裂紋,而在圖4(d)中,這樣的裂紋并不存在.通過與原始三維網格的對比發(fā)現(xiàn),圖4(d)中ABF的結果與原始三維網格更為接近.圖5是模型Laurent-Hand的去噪結果,相比于原始三維網格中的掌紋,BF去噪結果中的掌紋過于平滑,而ABF較好地保持了掌紋的細節(jié)特征.圖6是模型Bunny_iH的去噪結果,從中可以看出,BF和ABF的去噪結果都損失了一些細節(jié)特征,但相比于BF,ABF保留的細節(jié)特征更多.綜上所述,無論是從客觀數(shù)值評價指標,還是從重建三維網格的視覺效果來看,ABF的去噪效果都要優(yōu)于BF.

圖3 模型Octa-Flower的去噪結果

圖4 模型Twirl的去噪結果

圖5 模型Laurent-Hand的去噪結果

圖6 模型Bunny_iH的去噪結果

不過,相比于雙邊濾波器,自適應雙邊濾波器需要進行特征強度檢測,增加了一定的復雜度.表1列出了BF和ABF運行所耗費的時間,計算機配置為四核Intel Core i3-3240,主頻3.4 GHz,內存4 GB.從表1中可以看出,由于特征強度檢測模塊較高的復雜度,ABF所花費的時間明顯大于BF.然而,網格去噪的應用場景多為非實時場景,對計算復雜度的要求并不高,所以,ABF耗時雖然較長,但仍具有較大的應用價值.

6 結語

三維掃描儀本身存在的誤差以及人為的擾動會導致獲取的三維模型包含或多或少的噪聲,三維網格去噪是提升三維模型質量的重要手段.文中提出一種用于網格去噪的自適應雙邊濾波器,結合三維網格模型的局部特征強度,自適應地優(yōu)化濾波參數(shù),實現(xiàn)局部雙邊濾波器中數(shù)值濾波器和空域濾波器的合理搭配.實驗結果表明,相比于雙邊濾波器,自適應雙邊濾波器在去除噪聲的同時,能夠更好地保持三維網格模型的細節(jié)特征.不過,自適應雙邊濾波器檢測特征強度的復雜度較高,在下一步的研究中,需要在保持特征強度檢測準確性的前提下,有效地降低特征強度檢測算法的復雜度.

[1] Maglo A,Lavou G,Dupont F,et al.3D mesh compression:survey,comparisons,and emerging trends [J].ACM Computing Surveys,2015,47(3):44/1- 41.

[2] 黃炎生,鄭華彬,蔡健.三維場景體系在建筑結構上的應用 [J].華南理工大學學報:自然科學版,2004,32(2):54- 57. Huang Yan-sheng,Zheng Hua-bin,Cai Jian.Application of three dimension scene system in building structures [J].Journal of South China University of Technology:Natural Science Edition,2004,32(2):54- 57.

[3] Cong P,Xiong Z,Zhang Y,et al.Dense single-shot 3D scanning via stereoscopic fringe analysis [C]∥Proceedings of the IEEE International Conference on Image Processing.Melbourne:IEEE,2013:3627- 3631.

[4] Wang X,Liu X,Qin H.Robust surface consolidation of scanned thick point clouds [C]∥Proceedings of the International Conference on Computer-Aided Design and Computer Graphics.Hong Kong:IEEE Computer Society,2013:38- 43.

[5] Lin S,Wen C.Preproessing and modeling for visual-based 3D indoor scene reconstruction [C]∥Proceedings of the 8th International Conference on Computer Science and Education.Colombo:IEEE Computer Society,2013:1324- 1328.

[6] 孫殿柱,李心成,范志先,等.采用R*-tree的三角網格曲面非均勻精簡算法 [J].西安交通大學學報,2008,42(9):1179- 1183. Sun Dian-zhu,Li Xin-cheng,Fan Zhi-xian,et al.Simplified algorithm for triangular mesh surface based on R*-tree [J].Journal of Xi’an Jiaotong University,2008,42(9):1179- 1183.

[7] Zhu L,Wei M,Yu J,et al.Coarse-to-fine normal filtering for feature-preserving mesh denoising based on isotropic subneighborhoods [J].Computer Graphics Forum,2013,32(7):371- 380.

[8] Taubin G.A signal processing approach to fair surface design [C]∥Proceedings of the ACM SIGGRAPH Confe-rence on Computer Graphics.Los Angeles:ACM,1995:351- 358.

[9] Desbrun M,Meyer M,Schroder P,et al.Implicit fairing of irregular meshes using diffusion and curvature flow [C]∥Proceedings of the ACM SIGGRAPH Conference on Computer Graphics.Los Angeles:ACM,1999:317- 324.

[10] Ohtake Y,Belyaev A G,Bogaevski I A.Mesh regularization and adaptive smoothing [J].Computer-Aided Design,2001,33(11):789-800.

[11] Bajaj C,Xu G.Anisotropic diffusion on surfaces and functions on surfaces [J].ACM Transaction on Gra-phics,2003,22(1):4- 32.

[12] Ouafdi A E,Ziou D.A global physical method for manifold smoothing [C]∥Proceedings of the IEEE International Conference on Shape Modeling and Applications.Stony Brook:IEEE,2008:11- 17.

[13] Fleishman S,Drori I,Cohen-Or D.Bilateral mesh denoi-sing [J].ACM Transaction on Graphics,2003,22(3):950- 953.

[14] Jones T R,Durand F,Desbrun M.Non-iterative feature-preserving mesh smoothing [J].ACM Transaction on Graphics,2003,22(3):943- 949.

[15] Hildebrandt K,Polthier K.Anisotropic filtering of non-linear surface features [J].Computer Graphics Forum,2004,23(3):391- 400.

[16] Yagou H,Ohtake Y,Belyaev A.Mesh smoothing via mean and median filtering applied to face normals [C]∥Proceedings of the International Conference on Geometric Modeling and Processing.Wako:IEEE Computer Society,2002:124- 131.

[17] Yagou H,Ohtake Y,Belyaev A.Mesh denoising via iterative alpha-trimming and nonlinear diffusion of normals with automatic thresholding [C]∥Proceedings of Computer Graphics International.Tokyo:IEEE Computer Society,2003:28- 33.

[18] Shen Y,Barner K E.Fuzzy vector median-based surface smoothing [J].IEEE Transaction on Visualization and Computer Graphics,2004,10(3):252- 265.

[19] Sun X,Rosin P L,Martin R R,et al.Fast and effective feature-preserving mesh denoising [J].IEEE Transaction on Visualization and Computer Graphics,2007,13(5):925- 938.

[20] Zheng Y,Fu H,Au O K-C,et al.Bilateral normal filtering for mesh denoising [J].IEEE Transaction on Vi-sualization and Computer Graphics,2011,17(10):1521- 1530.

[21] Yang M,Lee E.Segmentation of measured point data using a parametric quadric surface approximation [J].Computer-Aided Design,1999,31(7):449- 457.

[22] Chen Y H,Liu C Y.Quadric surface extraction using genetic algorithms [J].Computer-Aided Design,1999,31(2):101- 110.

[23] Pottmann H,Wallner J,Huang Q,et al.Integral inva-riants for robust geometry processing [J].Computer Aided Geometric Design,2009,26(1):37- 60.

[24] Lavoué G.A multiscale metric for 3d mesh visual quality assessment [J].Computer Graphics Forum,2011,30(5):1427- 1437.

Adaptive Bilateral Filter for Mesh Denoising

JiangLiang-liangYangFu-zhengRenGuang-liang

(State Key Laboratory of Integrated Services Networks，Xidian University，Xi’an 710071，Shaanxi，China)

In this paper, an adaptive bilateral filter is proposed to remove noises in 3D mesh models. Firstly, the feature detection of 3D mesh models is performed on the basis of the volume integral invariant, and the local feature strength is estimated. Then, the proposed filter adaptively adjusts the denoising parameters in the bilateral filter according to the local feature strength. Through the adaptive optimization of parameters, the proposed filter provides targeted denoising strategies for the regions with different feature strength, thus further improving the denoising performance. Experimental results reveal that, in comparison with common bilateral filters, the proposed adaptive bilateral filter achieves a superior performance in preserving the sharp features of 3D mesh models during the denoising, and the objective distance measure between the denoised mesh model and the original model is averagely reduced by 0.033 2.

3D meshes; mesh denoising; bilateral filter; feature detection; feature preserving

2015- 04- 07

國家自然科學基金資助項目(61371089,61571337) Foundation items: Supported by the National Natural Science Foundation of China(61371089,61571337)

江亮亮(1988-),男,博士生,主要從事三維模型去噪及質量評估技術研究.E-mail: lljiang@stu.xidian.edu.cn

1000- 565X(2015)11- 0054- 07

TP391

10.3969/j.issn.1000-565X.2015.11.008