韓 博 孫忠貴

(聊城大學 數(shù)學科學學院，山東 聊城 252059)

0 引言

信息社會，數(shù)字圖像的應用已滲透到交通運輸，城市安防，醫(yī)療診斷，工業(yè)檢測，航空航天，氣象預測等人類生產(chǎn)生活的各個領(lǐng)域.然而，由于成像設(shè)備，環(huán)境和傳輸條件的限制，現(xiàn)有圖像獲取過程難免會受到噪聲，光照，天氣，遮擋等因素的影響，從而造成成像質(zhì)量下降，并給后續(xù)圖像分析，檢測，識別等任務帶來較大困難和挑戰(zhàn).圖像濾波則是改善數(shù)字圖像質(zhì)量的一種重要技術(shù)手段.給定一幅待處理的目標圖像，根據(jù)濾波過程中有無引導圖像的參與，可以將現(xiàn)有濾波算法大致分成兩類，即自引導濾波與(他)引導濾波.

所謂自引導濾波，即在對目標圖像進行處理的過程中僅依賴其自身結(jié)構(gòu)信息的一類方法.比較有代表性算法包括雙邊濾波(Bilateral filtering，BF)[1]，非局部均值(Non-local means，NLM)[2]濾波，區(qū)域協(xié)方差(Region covariance，RC)濾波[3]，如全變分(Total variation，TV)[4]，加權(quán)最小二乘(Weighted least square，WLS)[5]，L0范數(shù)梯度最小化(L0 gradient minimization，L0GM)[6]，相對全變分(Relative total variation，RTV)[7]等.其中，BF，NLM，RC通過加權(quán)均值的方式完成對目標圖像的處理; TV，WLS，L0GM，RTV分別通過優(yōu)化采用1范數(shù)，2范數(shù)，0范數(shù)和加權(quán)1范數(shù)對濾波輸出的梯度進行約束的目標函數(shù)完成處理過程.盡管這些方法在圖像去噪[1,2,4]，去紋理[5-7]，細節(jié)增強[5,6]等任務中有著廣泛的應用，然而，它們通常也存在著對噪聲不夠魯棒，濾波輸出過光滑，不易加速等缺陷[8].此外，在現(xiàn)實生活中，受諸多因素的干擾，目標圖像自身往往不能提供準確可靠的結(jié)構(gòu)信息.這無疑給上述自引導濾波方法的應用帶來了較大限制.自然地，借助一幅相對可靠的引導圖像的結(jié)構(gòu)信息指導對目標圖像進行處理的方法，即引導濾波(或稱聯(lián)合濾波)引起了研究者的廣泛關(guān)注.

在引導濾波方法中，一個代表性算法為Petschnigg等人提出的聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)[9]和He等人提出的引導圖像濾波(Guided image filtering，GIF)[10].從某種意義上說，JBF是對BF的直接推廣，它將BF從目標圖像自身獲取權(quán)重的方式轉(zhuǎn)向從引導圖像獲取.這一思想首先在閃光燈-非閃光燈圖像去噪[9]任務中獲得了巨大成功，隨后被廣泛應用于彩色-近紅外圖像增強[11]，彩色-深度圖像超分辨[12]等任務.然而，由于其非線性性，JBF不僅具有較高的計算復雜度，也容易導致濾波輸出邊緣處產(chǎn)生亮暗交替現(xiàn)象，即梯度反轉(zhuǎn)(Gradient reversal)[5,10].與此相反，GIF假定濾波輸出與引導圖像成局部線性關(guān)系，確保了圖像濾波前后梯度方向的一致性，克服了JBF面臨的梯度反轉(zhuǎn).此外，GIF的計算復雜度與濾波窗口半徑無關(guān)，這也使它成為了當前最為高效的圖像濾波算法之一.最近，Li等人提出的加權(quán)引導圖像濾波(Weighted guided image filtering，WGIF)[13]對GIF進行了改進.具體來說，通過引入邊緣感知權(quán)重，WGIF能夠?qū)IF中的正則化參數(shù)進行自適應調(diào)整，在抑制光暈的同時實現(xiàn)銳化邊緣的更好保護.

需要指出的是，上述引導濾波算法均假設(shè)引導圖像與目標圖像的結(jié)構(gòu)一致.然而，這一假設(shè)在實際應用中并不總是成立，尤其當這兩幅圖像是由不同傳感器或在不同條件下獲得時.一旦引導圖像包含了未出現(xiàn)在目標圖像中的結(jié)構(gòu)，這些結(jié)構(gòu)極易被錯誤傳遞到濾波輸出，從而導致紋理復制(Texture copy)的缺陷[14,15]，并不可避免會對后續(xù)的圖像處理任務造成干擾.

為解決這一問題，本文首先提出了結(jié)構(gòu)相似性感知(Structure similarity aware，SSA)，以準確刻畫引導圖像與目標圖像結(jié)構(gòu)差異，繼而提出一種改進的引導濾波方法，即基于結(jié)構(gòu)相似性感知的引導圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).為驗證所提方法的有效性，本文在彩色-深度圖像數(shù)據(jù)集[16]進行了一系列實驗.結(jié)果表明，相對現(xiàn)有算法，SSA-GIF有效避免了濾波輸出中的紋理復制缺陷.

1 聯(lián)合雙邊濾波與引導圖像濾波

1.1 聯(lián)合雙邊濾波(Joint bilateral filtering，JBF)

給定一對配準后的圖像，包含待處理的目標圖像I和引導圖像G，對其中任意像素i，JBF[9]與BF[1]一樣將其濾波輸出表示為以i為中心，半徑為r的局部窗口ωi內(nèi)像素灰度值的加權(quán)平均，即

(1)

其中Ki=∑j∈ωiSijRij為歸一化常數(shù);Sij和Rij分別度量像素i和j之間的空間相似性和灰度相似性，通常被稱為空間核和值域核，數(shù)學表達如

(2)

這里xi和xj分別為像素i和j的空間坐標，Gi，Gj為引導圖像G在像素i和j的灰度值;σs和σr為兩個可調(diào)整的平滑參數(shù).

1.2 引導圖像濾波(Guided image filtering，GIF)

不同于JBF[9]的非線性模型，GIF[10]假定目標圖像I的濾波輸出q與引導圖像G在局部窗口中成局部線性關(guān)系，即

qi=akGi+bk,?i∈ωk，

(3)

其中ak，bk為線性系數(shù)，在濾波窗口ωk中為常數(shù)，通過最小化如下目標函數(shù)求解

(4)

這里ε是正則化參數(shù)，用于對較大的ak施加懲罰.令上述目標函數(shù)對ak，bk的偏導數(shù)為零，可得

(5)

(6)

(7)

(8)

(9)

其中|ω|為ωk中的像素個數(shù).

需指出，由于濾波窗口重疊，即像素i通常被包含在多個窗口中.故，通過公式(3)將得到多個濾波輸出.為解決這一問題，GIF將i所有可能的濾波輸出的平均值作為其最終濾波輸出，即

(10)

根據(jù)窗口的對稱性[10]，公式(10)可以重寫為

(11)

(12)

2 基于結(jié)構(gòu)相似性感知的引導圖像濾波

在現(xiàn)實生活中，引導圖像G和目標圖像I通常是由不同成像設(shè)備或傳感器在不同成像條件下獲得，因此，這兩幅圖像通常存在著較大的結(jié)構(gòu)差異，如圖1所示的彩色圖像(a)比其深度圖像(b)包含更豐富的紋理信息.由于忽略了兩圖像的間結(jié)構(gòu)差異，JBF[9]和GIF[10]直接采用彩色圖像的結(jié)構(gòu)指導對深度圖像進行濾波的過程，使得原本未出現(xiàn)在深度圖像的結(jié)構(gòu)出現(xiàn)在了其濾波輸出中，即紋理復制現(xiàn)象，如(g),(h)中黑色矩形區(qū)域所示.本文旨在克服JBF與GIF的這一缺陷.為此，首先提出了一種能夠更加精確度量引導圖像與目標圖像的結(jié)構(gòu)差異的指標.

2.1 結(jié)構(gòu)相似性感知

給定一半徑為r中心像素為k的局部濾波窗口ωk，現(xiàn)存常用度量引導圖像G和目標圖像I在ωk的結(jié)構(gòu)關(guān)系的指標為歸一化交叉相關(guān)(Normalized cross correlation，NCC)[17]，即

(13)

(14)

2.2 目標函數(shù)

與JBF和GIF不同，本文遵循不完全依賴引導圖像結(jié)構(gòu)的準則，在結(jié)構(gòu)相似性感知λ的幫助下，假設(shè)引導圖像G，待濾波的目標圖像I及其濾波輸出q成如下線性關(guān)系

qi=ak(λkGi+(1-λk)Ii)+bk,?i∈ωk,

(15)

其中ak，bk為ωk中的線性系數(shù).相應地，為最小化如下目標函數(shù)

(16)

并分別對ak，bk求導并令其導數(shù)為零可得

(17)

(18)

類似于GIF，為解決窗口重疊，最終濾波輸出qi有如下形式

(19)

(20)

為方便起見，本文將這種改進后的方法稱之為基于結(jié)構(gòu)相似性感知的引導圖像濾波(Guided image filtering based on structure similarity aware，SSA-GIF).事實上，若G和I在ωk中的結(jié)構(gòu)不一致，即λk=0，由公式(15)(17)(18)可得

(21)

它們均與引導圖像G無關(guān),此即SSA-GIF對目標圖像I執(zhí)行自引導濾波過程; 若其結(jié)構(gòu)一致，即λk=1，則

(22)

這時SSA-GIF對I執(zhí)行傳統(tǒng)引導濾波過程.因此，SSA-GIF能夠自適應選擇引導圖像中與目標圖像相一致結(jié)構(gòu)用于對其濾波過程的指導，從而在去除圖像噪聲，恢復圖像邊緣的過程中避免JBF和GIF面臨的紋理復制，如圖1(i)所示.

算法1基于結(jié)構(gòu)相似性感知的引導圖像濾波

算法1給出了本文所提改進算法SSA-GIF實現(xiàn)的偽代碼.由于該過程中的每一步計算均可通過具有O(N)復雜度的盒子濾波(Box filtering)[10]快速實現(xiàn)，因此，SSA-GIF與GIF一樣，計算復雜度仍為O(N).在運行時間方面，對一幅大小為370×463的圖像，JBF，GIF和SSA-GIF完成其處理過程分別約需1.78秒，0.06 s和0.15 s.可見,SAA-GIF是一個十分高效的改進方法，有利于實際推廣應用.

3 實驗

2.1中圖1呈現(xiàn)的濾波輸出及相應放大結(jié)果已初步表明所提算法SSA-GIF能夠有效避免紋理復制.為進一步對其有效性進行驗證，本文在彩色-深度圖像數(shù)據(jù)集[16]進行了一系列實驗(其中深度圖像含有均值為零方差為10的高斯白噪聲)，并將其與JBF[9]，GIF[10]和近年提出的WGIF[13]的濾波輸出進行比較.為保證實驗的公平，分別從主觀視覺效果與客觀峰值信噪比(Peak Signal to Noise Ration，PSNR)兩方面對實驗結(jié)果進行評價.所有算法均在MATLAB R2017a中實現(xiàn)，并在一臺配置為Intel(R) Core(TM) i5-7200U CPU @2.50GHz 2.70 GHz，內(nèi)存為8GB的PC中執(zhí)行，且各算法中的參數(shù)均調(diào)到最優(yōu)水平，如表1所示.此外，在實驗過程中，多通道圖像被分開處理，且每個通道中的像素灰度被歸整為[0,1]的范圍內(nèi).

表1 不同引導濾波方法中的參數(shù)設(shè)置

如圖2，圖3(d),(e),(f) 中的黑色矩形框區(qū)域所示，由于忽略了圖像間的結(jié)構(gòu)差異，JBF，GIF和WGIF將彩色圖像中未出現(xiàn)在深度圖像中的結(jié)構(gòu)傳遞到了濾波輸出中，使其存在著紋理復制.與此相反，如圖2，圖3(g)所示，本文所提算法SSA-GIF在結(jié)構(gòu)相似性感知的幫助下能夠自適應篩選與深度圖像相一致的彩色圖像結(jié)構(gòu)對其進行指導，從而避免了紋理復制.此外，濾波輸出的PSNR指標也表明SSA-GIF在比較算法中取得了最好的去噪效果.

4 結(jié)論

為克服聯(lián)合雙邊濾波，引導圖像濾波等現(xiàn)有引導濾波方法所面臨的紋理復制缺陷，本文通過充分考慮兩圖像結(jié)構(gòu)差異，提出了一個新的濾波方法，即基于結(jié)構(gòu)相似性感知的引導圖像濾波.相比現(xiàn)有算法，本文所設(shè)計的濾波器能夠根據(jù)圖像間的結(jié)構(gòu)相似性，自適應地選擇引導圖像中的結(jié)構(gòu)信息進行引導濾波，從而有效避免了現(xiàn)有引導濾波器中的紋理復制缺陷.