龍建武,朱江洲
(重慶理工大學(xué)計算機科學(xué)與工程學(xué)院,重慶 400054)
圖像在成像、傳輸、壓縮等過程中受到各種因素的影響,會不可避免地產(chǎn)生噪聲,影響圖像的質(zhì)量。為了有效降低噪聲、偽影等帶來的干擾,提升圖像的品質(zhì),在圖像預(yù)處理階段對圖像進行濾波操作是一項非常重要的工作。邊緣保留濾波技術(shù)在計算機視覺和圖像處理應(yīng)用中起著非常重要的作用,如圖像去噪[1-3]、圖像細(xì)節(jié)增強[4-5]、結(jié)構(gòu)轉(zhuǎn)移[6]、圖像去霧[7]、圖像融合[8]等。目前,已有大量具有邊緣保留濾波特性的濾波器被提出,代表性的算法主要有雙邊濾波[9]及其相關(guān)的改進算法[10-11]、加權(quán)最小二乘濾波[4]、域變換濾波[12]、引導(dǎo)濾波[13]等,其中,雙邊濾波和引導(dǎo)濾波因其簡單易使用和具有更佳的性能而得到了廣泛應(yīng)用。
雙邊濾波雖然簡單有效且應(yīng)用廣泛,但其不能較好地保持邊緣處像素梯度方向的一致性,因此可能受到邊緣附近的梯度反轉(zhuǎn)偽影影響,尤其在應(yīng)用于圖像細(xì)節(jié)增強時影響更嚴(yán)重。為了克服雙邊濾波的這一缺點,He 等[13]提出引導(dǎo)濾波(GF,guided filtering),從局部線性模型出發(fā),考慮引導(dǎo)圖像的相關(guān)信息,使用均值濾波計算模型輸出的局部均值得到濾波圖像。引導(dǎo)濾波不僅具有雙邊濾波的邊緣保留特性,而且可以避免產(chǎn)生梯度反轉(zhuǎn)偽影,因此被廣泛應(yīng)用于細(xì)節(jié)增強、圖像羽化、高動態(tài)范圍壓縮、圖像融合、圖像去噪、圖像去霧等領(lǐng)域。
引導(dǎo)濾波在邊緣附近可能會出現(xiàn)光暈偽影現(xiàn)象,后續(xù)的一些改進方法在一定程度上改善了這類問題,使其邊緣保留能力更強。但由于均值濾波的各向同性,局部窗口中的所有像素被賦予相同的權(quán)重,忽略了圖像邊緣的特征信息,從而導(dǎo)致在進行均值濾波時結(jié)構(gòu)邊緣容易模糊??紤]到結(jié)構(gòu)邊緣信息在引導(dǎo)濾波中的重要作用,充分利用邊緣特征信息對引導(dǎo)濾波進行改進具有重要意義。
本文主要的研究工作如下。
1) 分析超像素分割技術(shù)與引導(dǎo)濾波的聯(lián)系,利用超像素分割技術(shù)對輸入圖像進行預(yù)處理,得到不規(guī)則的超像素區(qū)域。引入窗口偏移技術(shù)構(gòu)造具有邊緣感知能力的局部濾波窗口,使引導(dǎo)濾波局部窗口包含的像素差異更小,更具線性關(guān)系,進而提升邊緣保留能力。
2) 使用多尺度技術(shù)對輸入圖像進行不同尺度窗口的引導(dǎo)濾波。通過小尺度窗口保留結(jié)構(gòu)邊緣,進而增大窗口進行迭代,最后將不同尺度上的輸出進行融合得到濾波圖像。通過多尺度技術(shù)實現(xiàn)平滑細(xì)節(jié)信息的同時更好地保留結(jié)構(gòu)邊緣。
3) 通過對比輸入圖像和濾波圖像的異同并考慮濾波圖像自身特點,提出了適用于濾波結(jié)果質(zhì)量評價的指標(biāo)。通過大量的實驗驗證本文算法對細(xì)節(jié)信息的平滑能力與結(jié)構(gòu)邊緣的保留能力,體現(xiàn)本文算法的有效性和優(yōu)越性。
近年來,引導(dǎo)濾波[13]以其高效易用的優(yōu)點已成功應(yīng)用于許多圖像處理的工作中。引導(dǎo)濾波的關(guān)鍵在于濾波輸出圖像q和引導(dǎo)圖像g之間是局部線性模型,通過引導(dǎo)圖像來指導(dǎo)整個濾波過程,定義當(dāng)前像素與其鄰域局部像素具有線性關(guān)系,輸出圖像q是引導(dǎo)圖像g在以像素i為中心、k為半徑的局部窗口ωk中的線性變換,即
其中,ak和bk為局部窗口ωk內(nèi)的待定系數(shù),可以通過最小化輸入圖像I和輸出圖像q之間的差異(如噪聲、紋理等)來確定,優(yōu)化目標(biāo)為
其中,α是正則化參數(shù),ak是控制系數(shù)。式(2)是嶺回歸優(yōu)化問題。
引導(dǎo)濾波可以避免梯度反轉(zhuǎn)導(dǎo)致的偽影現(xiàn)象,在保留邊緣方面優(yōu)于雙邊濾波。但是,引導(dǎo)濾波中的懲罰因子α值是固定的,因此,當(dāng)平滑結(jié)構(gòu)邊緣時,引導(dǎo)濾波不可避免地會出現(xiàn)光暈?zāi):F(xiàn)象。針對這一問題,Li 等[14]提出一種邊緣感知自適應(yīng)加權(quán)引導(dǎo)濾波(WGF,weight guided filtering),式(2)的代價函數(shù)改進為
其中,Γg(i)是邊緣感知加權(quán)算子,通過式(4)計算得到。
對于圖像邊緣附近的像素,Γg(i)的值通常大于1,且加權(quán)引導(dǎo)濾波ak的值比引導(dǎo)濾波更接近1,表明加權(quán)引導(dǎo)濾波對圖像邊緣的保留能力比引導(dǎo)濾波更強。
受邊緣感知與梯度漸變的啟發(fā),Kou 等[15]結(jié)合明確的一階邊緣感知約束,進一步改進加權(quán)引導(dǎo)濾波,提出比引導(dǎo)濾波和加權(quán)引導(dǎo)濾波邊緣保留能力更強的梯度域引導(dǎo)濾波(GGF,gradient guided filtering)。通過3×3鄰域與(2r+1)×(2r+1)鄰域的標(biāo)準(zhǔn)差,定義新的邊緣感知權(quán)重
其中,χ(i)=σg,1(i)σg,r(i),r是濾波窗口大小。
圖像的邊緣感知權(quán)重對比如圖1 所示。從圖1 可以看出,梯度域引導(dǎo)濾波相較于加權(quán)引導(dǎo)濾波對邊緣的檢測更加準(zhǔn)確,對一些更小細(xì)節(jié)的保留能力更強。
圖1 圖像的邊緣感知權(quán)重對比
通過改進邊緣感知權(quán)重,式(3)再次改進為
對于圖像邊緣的像素,γk的值接近1;對于圖像平坦區(qū)域的像素,γk的值接近0。因此,有效減弱了梯度域引導(dǎo)濾波對α的敏感性,其邊緣保留能力更加穩(wěn)健。
龍鵬等[16]提出基于高斯拉普拉斯(LoG,Laplace of Gaussian)邊緣算子改進的加權(quán)引導(dǎo)濾波算法,通過在局部窗口內(nèi)計算LoG 幅值響應(yīng),使懲罰因子能對不同區(qū)域?qū)崿F(xiàn)自適應(yīng)感知,進一步突出邊緣像素和平坦區(qū)域像素之間的差異。謝偉等[17]融合梯度信息提出改進的引導(dǎo)濾波算法,借助引導(dǎo)圖像的梯度信息來判斷圖像邊緣位置,并結(jié)合指數(shù)函數(shù)設(shè)計權(quán)值來控制不同圖像區(qū)域內(nèi)的平滑力度,避免圖像邊緣附近由于過度模糊導(dǎo)致的光暈現(xiàn)象。Lu等[18]提出雙引導(dǎo)濾波,通過將圖像分解為結(jié)構(gòu)邊緣與紋理細(xì)節(jié)進行雙引導(dǎo),同時實現(xiàn)結(jié)構(gòu)邊緣感知與紋理感知,去除紋理的同時更好地保留結(jié)構(gòu)邊緣。Ham 等[19]提出一種穩(wěn)健性更強的濾波算法,同時考慮引導(dǎo)圖像和輸入圖像的結(jié)構(gòu)信息,達到對異常值更加穩(wěn)健且邊緣保留能力良好的效果。Yin 等[20]提出側(cè)窗引導(dǎo)濾波,通過將每個像素的規(guī)則窗口分解為上、下、左、右、東北、西北、東南、西南8 個窗口,改進引導(dǎo)濾波的邊緣保留性能。Sun 等[21]利用轉(zhuǎn)向內(nèi)核自適應(yīng)地感知梯度方向,提出一種充分利用邊緣方向信息的改進引導(dǎo)濾波。Ochotorena 等[22]提出一種各向異性的引導(dǎo)濾波算法,利用加權(quán)平均實現(xiàn)最大擴散,同時保留圖像中的顯著邊緣,通過基于局部鄰域差異優(yōu)化的權(quán)重,實現(xiàn)各向異性濾波,并仍舊具有引導(dǎo)濾波計算高效的特點。Deng 等[23]利用局部插值特性,結(jié)合廣義伽馬分布參數(shù)估計,通過引導(dǎo)濾波將圖像平滑與銳化2 個操作統(tǒng)一,只需要調(diào)節(jié)一個參數(shù)就能實現(xiàn)圖像的平滑與銳化操作。
對引導(dǎo)濾波的改進大多使用不同的邊緣感知加權(quán)算子加強其對結(jié)構(gòu)邊緣的保留能力。但由于最后都使用均值濾波處理得到濾波輸出,會無法避免地模糊結(jié)構(gòu)邊緣,沒有從根源上解決問題。不同尺度下的濾波結(jié)果對比如圖2 所示。局部窗口半徑過小,紋理等細(xì)節(jié)信息將會被保留,而隨著局部窗口半徑的增大,去除紋理的同時結(jié)構(gòu)邊緣也會逐漸模糊,甚至出現(xiàn)色度溢出現(xiàn)象。盡管針對引導(dǎo)濾波的改進方法在結(jié)構(gòu)邊緣附近有一定的改善,如加權(quán)引導(dǎo)濾波,如圖2(e)~圖2(g)所示,當(dāng)局部窗口尺度較大時,圖像的結(jié)構(gòu)邊緣將會變得模糊。另外,紋理等細(xì)節(jié)信息相比引導(dǎo)濾波也被保留更多。因此,僅通過改善邊緣感知加權(quán)算子等方法提高引導(dǎo)濾波的紋理去除和邊緣保留能力難以達到理想效果。
圖2 不同尺度下的濾波結(jié)果對比
以一維信號為例,邊緣階躍信號如圖3 所示。x1~x7是位于邊緣兩側(cè)的像素,當(dāng)使用以當(dāng)前像素為中心的局部窗口進行引導(dǎo)濾波時,計算邊緣兩側(cè)的系數(shù)可以看出,x3和x6會受到邊緣另一側(cè)像素的影響,導(dǎo)致x3處的輸出值比m大,x6處的輸出值比n小,邊緣像素被平滑,出現(xiàn)邊緣模糊現(xiàn)象。
圖3 邊緣階躍信號
若當(dāng)前正在處理像素x3,與傳統(tǒng)的局部窗口不同,文獻[24]將局部窗口進行偏移,其右側(cè)與x3對齊?;诰植看翱谄频乃枷耄谔幚斫Y(jié)構(gòu)邊緣的像素時,通過選擇不包含結(jié)構(gòu)邊緣信息的局部窗口,可以避免邊緣另一側(cè)像素干擾引起的模糊現(xiàn)象。但是,對于一些不規(guī)則的結(jié)構(gòu)邊緣,使用偏移后的規(guī)則窗口仍然會包含差異較大的像素。例如,對于細(xì)小的結(jié)構(gòu)邊緣像素x4,盡管使用窗口偏移可以消除左側(cè)像素的干擾,但偏移的局部窗口仍會包含具有差異的像素x6,從而導(dǎo)致邊緣模糊。窗口偏移技術(shù)的引入能在一定程度上改善邊緣模糊現(xiàn)象,但對于細(xì)小的結(jié)構(gòu)邊緣仍不能較好地避免差異像素的干擾。結(jié)合超像素對圖像結(jié)構(gòu)的感知能力,本文使用超像素區(qū)域與窗口偏移后的重疊部分作為最終的濾波區(qū)域,實現(xiàn)邊緣感知的引導(dǎo)濾波。
引導(dǎo)濾波的關(guān)鍵在于假設(shè)濾波輸出圖像q和引導(dǎo)圖像g之間滿足一個局部線性關(guān)系,通過引導(dǎo)圖像來指導(dǎo)整個濾波過程。因此,局部窗口內(nèi)的像素與當(dāng)前像素的輸出有著密不可分的聯(lián)系。局部窗口內(nèi)的像素高度相似時,其濾波輸出與每個像素顯然符合局部線性關(guān)系,但當(dāng)局部窗口內(nèi)的像素差異較大時,其局部線性關(guān)系將受到破壞,從而出現(xiàn)模糊偽影現(xiàn)象。濾波窗口對比如圖4 所示,從圖4 可知,局部窗口包含了邊緣兩側(cè)差異較大的像素,使用引導(dǎo)濾波的局部線性假設(shè)進行濾波處理會不可避免地產(chǎn)生模糊的濾波結(jié)果。因此,如何使局部濾波區(qū)域包含的像素具有高度的線性關(guān)系是改善引導(dǎo)濾波質(zhì)量的關(guān)鍵。
圖4 濾波窗口對比
從二維圖像角度分析,假設(shè)局部窗口的大小是n×n,每個像素都將被n2個局部窗口包含。一般方法都是利用以當(dāng)前像素為中心的矩形鄰域來計算輸出像素值,導(dǎo)致邊緣區(qū)域像素均衡化,出現(xiàn)光暈?zāi):F(xiàn)象。窗口偏移的思想是在n2個局部窗口中,通過度量函數(shù)找到一個最不可能包含結(jié)構(gòu)邊緣的局部窗口,進行區(qū)域平滑時也能較好實現(xiàn)邊緣保留目標(biāo)。
然而,偏移后的局部窗口依舊是規(guī)則的,當(dāng)像素位于角點等細(xì)小區(qū)域時,仍舊會包含差異較大的像素。超像素技術(shù)將圖像的局部相同或相似的像素聚集成一個圖像塊,與引導(dǎo)濾波的局部窗口類似?;谶@一觀察,本文利用超像素技術(shù)對局部濾波窗口進行改進,使其具有邊緣感知能力??紤]引導(dǎo)濾波針對每個像素都使用以其為中心的局部窗口進行濾波,從全局角度看,每個像素都分配有均勻的規(guī)則矩形窗口,與其他超像素分割方法不同,SLIC(simple linear iterative cluster)算法[25]最終生成的超像素也是較均勻的。不同的是,相較于矩形窗口,SLIC 算法所產(chǎn)生的超像素具有局部的邊緣感知能力。圖4(b)所示為引導(dǎo)濾波使用的規(guī)則矩形窗口,圖4(c)所示為本文所提結(jié)合了超像素與窗口偏移方法所產(chǎn)生的局部濾波區(qū)域,即白色部分。不難看出,本文所提濾波區(qū)域?qū)吘壘哂懈兄芰?,而?guī)則的矩形窗口并不具有邊緣感知能力。圖4(d)所示為SLIC 算法的超像素分割結(jié)果,可以看出,其具有邊緣感知能力且分布較均勻。
不同局部濾波窗口的濾波結(jié)果對比如圖5 所示,其中,圖5(b)~圖5(d)下方的小圖為局部放大圖。加入窗口偏移技術(shù)可以在一定程度上改善邊緣模糊現(xiàn)象,如圖5(c)所示。對于細(xì)小的結(jié)構(gòu)邊緣,由于偏移的窗口仍舊是規(guī)則的,因此不能較好地保留結(jié)構(gòu)邊緣。實線矩形窗口是當(dāng)前處理像素(黑色標(biāo)記點)的偏移窗口,仍包含差異較大的像素。因此本文首先對輸入圖像進行超像素分割,進而提取具有邊緣感知能力的局部濾波窗口。圖5(d)中的條紋部分是超像素與偏移窗口的重疊部分,可以明顯看出本文的邊緣感知局部濾波區(qū)域的優(yōu)越性,在細(xì)小的結(jié)構(gòu)邊緣處能較好地避免出現(xiàn)模糊現(xiàn)象。
圖5 不同局部濾波窗口的濾波結(jié)果對比
為了充分利用引導(dǎo)濾波局部線性模型的特性,在進行圖像平滑時更好地保留邊緣,本文對局部濾波區(qū)域的提取方法進行了改進,提升了邊緣感知能力,具體流程如圖6 所示。首先,對圖像進行雙邊濾波以便得到更準(zhǔn)確的超像素分割區(qū)域。然后,結(jié)合窗口偏移的結(jié)果生成具有邊緣感知能力的局部濾波區(qū)域。最后,在此基礎(chǔ)上進行引導(dǎo)濾波,得到邊緣保留的濾波結(jié)果。通過在不同尺度窗口上進行上述步驟并對其濾波結(jié)果進行融合,有效抑制可能出現(xiàn)的塊效應(yīng),得到最終的濾波圖像。以下將重點介紹邊緣感知濾波區(qū)域的提取和多尺度引導(dǎo)濾波實施過程。
圖6 局部濾波區(qū)域提取方法具體流程
引導(dǎo)濾波通過局部線性模型實現(xiàn)圖像濾波。定義當(dāng)前像素與其鄰域局部像素具有線性關(guān)系,輸出圖像q是引導(dǎo)圖像g在以像素i為中心、k為半徑的局部窗口ωk中的線性變換。本文使用的多尺度方法引導(dǎo)圖像g是動態(tài)更新的,每次更新都將上一次的濾波結(jié)果作為引導(dǎo)圖像。
如前文所述,式(2)是嶺回歸優(yōu)化問題,(ak,bk)為
考慮到每個像素都被(2k+1)×(2k+1)個局部窗口包含,引導(dǎo)濾波取其均值作為最終的濾波輸出結(jié)果,即
將改進的局部濾波窗口用于引導(dǎo)濾波方法中,通過度量函數(shù)選擇一個最佳的局部濾波窗口,計算其與超像素區(qū)域的重疊部分得到最終的局部濾波區(qū)域。但是,由于僅在單一的局部窗口內(nèi)進行引導(dǎo)濾波,會產(chǎn)生輕微的塊效應(yīng)現(xiàn)象。為了解決這一問題,本文采用多尺度濾波方法,通過小尺度的局部濾波窗口保留圖像的結(jié)構(gòu)邊緣信息,進行下一次迭代時增大局部濾波窗口的半徑,即
kt=2kt-1+1,通過大尺度的局部濾波窗口的濾波操作實現(xiàn)細(xì)節(jié)平滑效果。根據(jù)式(13)和式(14)可以得到
根據(jù)以上討論與分析,本文提出融合超像素與窗口偏移的多尺度引導(dǎo)濾波算法,如算法1 所示。
算法1融合超像素與窗口偏移的多尺度引導(dǎo)濾波算法
本節(jié)將本文算法與GF[13]、WGF[14]、GGF[15]、非凸引導(dǎo)濾波(NPGF,guided filtering using nonconvex potential)[19]和轉(zhuǎn)向內(nèi)核加權(quán)引導(dǎo)濾波(SKWGF,weighted guided filtering with steering kernel)[21]這五類經(jīng)典的引導(dǎo)濾波及其改進算法進行比較。為進一步展示本文算法的效果,與雙邊紋理濾波(BTF,bilateral texture filtering)[24]、滾動引導(dǎo)濾波(RGF,rolling guidance filtering)[26]、側(cè)窗濾波(SWF,side window filtering)[20]以及平滑銳化圖像濾波(SSIF,smoothing-sharpening image filtering)[23]對比。實驗結(jié)果表明,相較于已有的引導(dǎo)濾波算法,本文算法的結(jié)構(gòu)邊緣保留能力更強。實驗計算機平臺參數(shù)為Intel i5-9400CPU,內(nèi)存為8 GB,平臺為MATLAB 2019a。
目前,圖像平滑領(lǐng)域并沒有一個公認(rèn)的測試數(shù)據(jù)集,為了合理公平地對比不同濾波算法的效果,本文使用文獻[27]提供的200 幅圖像進行測試。部分圖像及其結(jié)構(gòu)邊緣如圖7 所示。
圖7 部分測試圖像及其結(jié)構(gòu)邊緣
本文算法中,需要設(shè)置的參數(shù)是初始窗口大小k、迭代步數(shù)niter以及超像素個數(shù)SPNum。對于迭代步數(shù)niter和初始窗口大小r的設(shè)置,后續(xù)將進行詳細(xì)的介紹。
由于本文算法使用SLIC 算法進行超像素區(qū)域提取,需預(yù)先設(shè)置超像素個數(shù),故超像素個數(shù)的選取對于最終的濾波結(jié)果將有較大的影響。參考SLIC算法的相關(guān)論文,超像素個數(shù)SPNum=,Size(I)是圖像的大小,Pixel 是超像素預(yù)期包含的像素個數(shù)。不同參數(shù)對SLIC 算法分割結(jié)果的影響如圖8 所示,圖8(a)~圖8(e)的右側(cè)部分為局部放大圖。從圖8 可以看出,當(dāng)Pixel=256 像素時,其分割結(jié)果更準(zhǔn)確且符合視覺效果,故本文實驗中參數(shù)Pixels 設(shè)置為256 像素。
圖8 不同參數(shù)對SLIC 算法分割結(jié)果的影響
為了更加客觀地展現(xiàn)本文算法的有效性與優(yōu)越性,本節(jié)將通過三組實驗進行說明,分別是與同類引導(dǎo)濾波及其改進算法對比、與其他經(jīng)典的濾波算法對比以及總體對比,這些算法的參數(shù)采用文獻[13-15,19-21,23-24,26]中給出的參考值。
本文算法與同類引導(dǎo)濾波算法的濾波結(jié)果對比如圖9 所示。GF、WGF、GGF 由于都使用均值濾波的方法得到濾波結(jié)果,對于圖像的結(jié)構(gòu)邊緣均有不同程度的模糊,盡管WGF 和GGF 通過引入局部邊緣感知加權(quán)算子加強對結(jié)構(gòu)邊緣的保留能力,但對于一些細(xì)節(jié)信息也會保留,噪聲穩(wěn)健性不強,且邊緣模糊現(xiàn)象只是略微改善,并沒有得到徹底解決。NPGF的濾波結(jié)果仍然存在偽影現(xiàn)象。SKWGF 使用轉(zhuǎn)向內(nèi)核的加權(quán)引導(dǎo)濾波,可以明顯看出,其平滑效果不佳。從圖9(g)的局部放大圖可以看出,本文算法的結(jié)構(gòu)邊緣保留能力更佳,且對細(xì)節(jié)等信息能實現(xiàn)較好的平滑效果。
圖9 本文算法與同類引導(dǎo)濾波算法的濾波結(jié)果對比
本文算法與其他濾波算法的濾波結(jié)果對比如圖10 所示。BTF 由于使用聯(lián)合雙邊濾波進行紋理去除,不能較好地保留結(jié)構(gòu)邊緣。RGF 是基于引導(dǎo)濾波的提升,并沒有對其濾波窗口進行改進,結(jié)構(gòu)邊緣模糊問題沒有得到解決。SWF 盡管對窗口進行了改進,但仍舊是規(guī)則的,無法保留細(xì)小的結(jié)構(gòu)邊緣。SSIF 將平滑與銳化操作進行統(tǒng)一,只需調(diào)節(jié)一個參數(shù)就能實現(xiàn)平滑與銳化操作,實質(zhì)上并沒有對濾波窗口進行改進,仍使用規(guī)則窗口進行濾波處理。從圖10(f)的局部放大圖可以看出,本文算法對一些細(xì)小結(jié)構(gòu)邊緣有良好的保留能力,同時也具有一定的紋理平滑能力。
圖10 本文算法與其他濾波算法的濾波結(jié)果對比
為進一步說明本文算法的有效性,本節(jié)對比了不同算法在不同圖像上的濾波結(jié)果,如圖11 和圖12 所示。從圖11 可以看出,本文算法對于結(jié)構(gòu)邊緣的保留能力更強。從圖12 可以看出,本文算法與其他算法一樣可以平滑圖像細(xì)節(jié)信息,但本文算法對結(jié)構(gòu)邊緣的保留效果更好。
圖11 Flower圖像的濾波結(jié)果對比
為了直觀地對各種濾波算法進行比較,本文對現(xiàn)有的客觀評價指標(biāo)進行了研究,發(fā)現(xiàn)評價指標(biāo)峰值信噪比(PSNR,peak signal to noise ratio)、結(jié)構(gòu)相似性(SSIM,structural similarity)都不能很好地反映圖像平滑的效果,該問題在文獻[28]中也被明確指出。圖11 和圖12 的PSNR 與SSIM 的比較如表1 所示,這2 個指標(biāo)的結(jié)果與實際視覺效果是不一致的。結(jié)合文獻[28]提出的評價指標(biāo),本文進一步考慮濾波圖像q與輸入圖像I之間的差異并結(jié)合濾波圖像q自身的特點,提出了適用于濾波結(jié)果質(zhì)量評價的指標(biāo)Eq。
表1 PSNR 與SSIM 比較
圖12 Man 圖像的濾波結(jié)果比較
其中,S和T分別表示屬于圖像結(jié)構(gòu)邊緣和紋理邊緣的像素集合,I x(i)和I y(i)分別表示輸入圖像I中像素i在x和y方向上的梯度,q x(i)和q y(i)分別表示濾波圖像q中像素i在x和y方向上的梯度,N(i)表示以像素i為中心的3×3鄰域內(nèi)的像素集合。
視覺理解是指在紋理邊緣處,濾波圖像q應(yīng)該與輸入圖像I有著較大的梯度差異,且q的自身梯度應(yīng)該較小,即ET值較大;在結(jié)構(gòu)邊緣處,q應(yīng)該與I一致,故其梯度差異小,且q的自身梯度應(yīng)該較大,即ES值較小。從式(19)可知,若結(jié)構(gòu)邊緣能較好地保留,則ES值較?。环駝t,ES值較大。從式(20)可知,若紋理邊緣能有效地去除,則ET值較大;否則,E T值較小。因此,式(18)中的Eq值越大,表明算法的濾波性能越好。
不同濾波算法對文獻[27]提供的200 幅圖像使用本文所提評價指標(biāo)Eq進行對比,結(jié)果如圖13 所示。可以看出本文算法有著最高的Eq值,表明其在結(jié)構(gòu)邊緣保留同時具備較好的細(xì)節(jié)平滑能力。
圖13 不同濾波算法的評價指標(biāo)值
引導(dǎo)濾波通過調(diào)整不同的參數(shù)來獲得理想效果。針對迭代次數(shù)niter和初始窗口大小k,研究其對于本文算法的影響。如圖14 所示,迭代次數(shù)較小時,紋理的去除效果不佳,但當(dāng)?shù)螖?shù)達到3 次后,其紋理去除效果以及邊緣保留能力都較好,且迭代次數(shù)的增加并不會影響其濾波效果。表2 給出了圖14的PSNR、SSIM 以及結(jié)構(gòu)Eq值的對比,PSNR 和SSIM 雖然不能直觀評價濾波結(jié)果的好壞,但可以反映迭代過程中圖像信息的損失程度。通過這些量化指標(biāo)同樣可以看出,迭代次數(shù)達到3 次后,其PSNR、SSIM 以及Eq值相對穩(wěn)定,再增加迭代次數(shù)PSNR 與SSIM 并不會有很大的損失。因此,本文實驗中迭代次數(shù)niter=3。同時,為了較好地保留圖像的結(jié)構(gòu)邊緣,局部窗口的初始大小設(shè)置為k=3。
圖14 不同參數(shù)的濾波結(jié)果
表2 不同迭代步數(shù)與初始窗口大小的指標(biāo)比較
引導(dǎo)濾波以其高效快速的特點得到廣泛應(yīng)用,本節(jié)主要介紹圖像亮度調(diào)整和圖像細(xì)節(jié)增強,進一步說明本文算法在結(jié)構(gòu)邊緣保留方面的優(yōu)越性。
圖像亮度調(diào)整流程如圖15 所示。具體步驟如下。
圖15 圖像亮度調(diào)整流程
步驟1使用邊緣保留濾波算法對輸入圖像進行邊緣保留平滑處理,平滑結(jié)果為基礎(chǔ)層圖像。輸入圖像與基礎(chǔ)層圖像的差異為細(xì)節(jié)層圖像。
步驟2使用式(21)的伽馬校正對基礎(chǔ)層圖像進行亮度擴展處理。
其中,q是基礎(chǔ)層圖像,s是伽馬校正的輸出結(jié)果。
步驟3將細(xì)節(jié)層圖像與伽馬校正的輸出圖像進行融合,得到亮度調(diào)整的結(jié)果。
本文算法在進行圖像亮度調(diào)整時,也具有較好的效果。圖像亮度調(diào)整結(jié)果對比如圖16 所示。從圖16 的局部放大圖可以明顯看出,本文算法在平滑細(xì)節(jié)信息的同時,對于結(jié)構(gòu)邊緣具有更好的保留能力,如局部放大圖玻璃窗戶和窗戶倒影,本文算法能更清晰地顯示窗口的結(jié)構(gòu)邊緣。
圖16 圖像亮度調(diào)整結(jié)果對比
細(xì)節(jié)增強是圖像處理領(lǐng)域常見應(yīng)用之一。圖像細(xì)節(jié)增強通過式(22)實現(xiàn)。
其中,E是增強圖像,β是增強參數(shù),本文實驗中β=5。
圖像細(xì)節(jié)增強結(jié)果對比如圖17 所示,第一行是濾波結(jié)果,中間是細(xì)節(jié)層的信息,最后一行是細(xì)節(jié)增強的結(jié)果。與其他濾波算法相比,本文算法在平滑細(xì)節(jié)信息的同時能更好地保留圖像的結(jié)構(gòu)邊緣。從圖17 的細(xì)節(jié)層可以明顯看出,GF、BTF和SWF 很明顯出現(xiàn)模糊現(xiàn)象。WGF 雖然結(jié)構(gòu)邊緣保留較好,但其犧牲了細(xì)節(jié)信息的平滑能力。GGF在圖像下半部分的道路邊緣處產(chǎn)生了偽影。NPGF對房屋的邊緣處理不夠細(xì)致,出現(xiàn)較模糊的現(xiàn)象。對于此類紋理繁多的圖像,SKWGF 平滑能力欠佳。RGF 雖然有著不錯的濾波效果,但與本文算法相比,其細(xì)小的結(jié)構(gòu)邊緣保留能力仍有所欠缺,主要體現(xiàn)在樹葉與天空的連接處。從道路的邊緣可以看出,SSIF 對圖像的結(jié)構(gòu)邊緣保留效果也沒有本文算法好。綜上,本文算法能較好地保留圖像的結(jié)構(gòu)邊緣,同時具備不錯的細(xì)節(jié)平滑能力。
通過對引導(dǎo)濾波及其相關(guān)改進算法的分析可知,圖像邊緣附近很容易出現(xiàn)偽影模糊現(xiàn)象,其根本原因在于局部濾波窗口總是以當(dāng)前像素為中心,包含邊緣兩側(cè)相異像素,使濾波輸出變得均衡而導(dǎo)致邊緣模糊。為了解決這個問題,本文提出了融合超像素與窗口偏移的多尺度引導(dǎo)濾波,通過超像素分割與窗口偏移得到差異更小、效果更佳的局部濾波區(qū)域。理論上,改進的局部濾波區(qū)域?qū)O大降低邊緣兩側(cè)相異像素的相互干擾,可以更好地保留邊緣并減少光暈偽影。此外,利用不同尺度窗口實現(xiàn)平滑細(xì)節(jié)的同時可以更好地保留結(jié)構(gòu)邊緣。通過實驗分析,一系列濾波算法與本文算法的濾波結(jié)果對比充分表明了局部濾波區(qū)域改進以及多尺度濾波結(jié)果融合的有效性。
雖然本文算法對引導(dǎo)濾波有較好的效果,主要得益于邊緣感知局部濾波區(qū)域的提取,然而其對超像素分割的準(zhǔn)確性有很大的依賴,因此超像素分割區(qū)域的質(zhì)量對引導(dǎo)濾波圖像有很大的影響。下一步工作計劃是研究更高質(zhì)量的超像素分割技術(shù),進而更好地改善細(xì)小且復(fù)雜的結(jié)構(gòu)邊緣處的濾波效果。此外,也將進一步考慮圖像非局部的相似像素,從全局角度加強引導(dǎo)濾波局部線性關(guān)系的表達。更進一步地,本文在進行多尺度濾波結(jié)果融合時僅采用簡單的平均法,如何有效地結(jié)合不同尺度的特征信息進行高質(zhì)量的圖像平滑也是后續(xù)的研究內(nèi)容之一。