王啟帆,潘振寬,魏偉波
(青島大學(xué)計算機(jī)科學(xué)技術(shù)學(xué)院,青島 266071)
圖像噪聲去除是圖像恢復(fù)中的一類經(jīng)典問題,有學(xué)者首先提出的Tikhonov模型[1]為之后的圖像處理奠定基礎(chǔ),該模型包含了數(shù)據(jù)項和規(guī)則項,雖提高了計算效率,但經(jīng)由Tikhonov 模型處理后的圖像會產(chǎn)生邊緣模糊的問題。針對該問題,1992年,Rudin[2]提出了TV( total variation)規(guī)則項,有效實現(xiàn)了邊緣保持。
圖像噪聲方面的研究主要包括對加性噪聲和乘性噪聲的研究。在圖像處理中對于加性噪聲的研究較多,相對而言比較成熟,對于乘性噪聲的問題的研究非常少,這類問題通常會轉(zhuǎn)化成加性噪聲的形式進(jìn)行處理,導(dǎo)致對乘性噪聲的去除效果不夠理想。為了更好地解決乘性噪聲的相關(guān)問題,基于一階TV模型提出了乘性高斯(Gaussian)噪聲分布的RLO模型[3],能量泛函為
(1)
由于RLO模型無法有效地清除乘性伽馬噪聲,因而提出了針對乘性伽馬噪聲的AA模型[4],能量泛函為
(2)
上述的兩種噪聲模型針對的只是單一乘性噪聲的處理,SO模型[5]對于模型中的a,b,c取不同的值時可以應(yīng)用于不同類型的乘性噪聲,其能量泛函為
(3)
其中,a,b,c為常數(shù)且c=a+b,a,b≥0,λ和α是懲罰參數(shù)。在該模型中,第一項為規(guī)則項,第二項是數(shù)據(jù)項,a,b,c取不同的值分別代表乘性高斯噪聲、乘性瑞利噪聲、乘性伽馬噪聲的噪聲分布。
上文提到的模型大多是針對灰度圖像,雖然彩色圖像可看成由多層灰度圖像構(gòu)成的,但直接處理時由于多層圖像擴(kuò)散程度不同會造成邊緣模糊。故針對彩色圖像噪聲處理問題學(xué)者提出了相關(guān)模型。
在文獻(xiàn)[6-7]基礎(chǔ)上,提出了基于全局耦合的CTV模型[8]能量泛函為
(4)
圖像局部耦合的MTV模型[9-10]能量泛函為
(5)
由于考慮了圖像的層與層之間的耦合關(guān)系,MTV模型可以更好地保持彩色圖像的細(xì)節(jié)等邊緣信息。
關(guān)于圖像去噪問題的處理,大多為低階去噪模型,且以一階TV規(guī)則項的應(yīng)用最為廣泛,但因一階去噪模型圖像中存在嚴(yán)重的階梯現(xiàn)象,故使用高階模型來處理圖像噪聲問題。
Hessian模型[11]被用來解決相關(guān)的乘性噪聲問題,能量泛函為
(6)
雖然該模型可以保持圖像的光滑度,但在圖像對比度保持方面較差。
為了解決以上問題,又提出了關(guān)于圖像去噪的TGV模型[12],能量泛函為
(7)
之后,Goldluecke等[13-15]提出將TC作為規(guī)則項來修復(fù)圖像,能量泛函為
(8)
此后TC模型應(yīng)用也比較廣泛,大多用于圖像修復(fù)。
Euler-Elastic項是由Nitzberg提出[16],Elastic彈性項可以相對較好地進(jìn)行圖像的修復(fù)操作。Shen等[17]在圖像修復(fù)中用到了這個理念,提出了Euler-Elastic 模型,能量泛函為
(9)
對于彩色圖像,傳統(tǒng)的去除乘性噪聲的低階或是高階模型都存在或多或少的問題。CTV模型雖去噪效果較好,但存在邊緣無法保持的問題,MTV雖能保持圖像邊緣,但會產(chǎn)生階梯效應(yīng)。為了解決上述問題,本文提出一種新的模型,將Euler-Elastic規(guī)則項與傳統(tǒng)的去噪模型數(shù)據(jù)項相結(jié)合,在保證去噪的同時,可以有效地較少階梯效應(yīng),并且保留圖像的細(xì)節(jié)等其他信息。為了提高計算效率,本文主要采用Split Bregman算法來求解,通過引入多個輔助變量,將問題分解為多個單一變量的交替迭代求解問題,通過構(gòu)造相關(guān)的Euler-Lagrange方程,在子問題中利用FFT等快速求解方法進(jìn)行求解。
本文提出S-Euler-Elastic模型去除彩色圖像乘性噪聲,設(shè)f(x)=(f1(x),f2(x),…,fm(x)):Ω→Rm,u(x)=(u1(x),u2(x),…,um(x)):Ω→Rm,其能量泛函
(10)
定義Bregman迭代距離(d1i,d2i,d3i,d4i)和4個正的懲罰參數(shù)(θ1,θ2,θ3,θ4),根據(jù)上文得到的約束條件,改寫Split Bregman算法
(11)
式(11)中的Bregman迭代距離為
wk+1=argminE(uk,w,pk,qk,vk,sk),uk+1=argminE(u,ωk+1,pk,qk,vk,sk)
pk+1=argminE(uk+1,ωk+1,p,qk,vk,sk),qk+1=argminE(uk+1,ωk+1,pk+1,q,vk,sk)
vk+1=argminE(uk+1,ωk+1,pk+1,qk+1,v,sk),sk+1=argminE(uk+1,wk+1,pk+1,qk+1,vk+1,s)
(12)
離散化
(13)
分別引入恒等算子與移位算子,I為單位矩陣
再次離散化
(14)
通過FFT,得
(15)
(16)
轉(zhuǎn)換式(15)、(16),得
(17)
其中,Di,j=[θ1-θ2(2coszi+2coszj-4)]FFT(ui,j)=FFT(gi,j)
更新,使用FFT-1,得
(18)
求解w,可得Euler-Lagrange方程
(19)
根據(jù)以上方程求解w
(20)
其中,▽t代表時間步長。
固定其他的變量來求解p,Euler-Lagrange方程為
(21)
轉(zhuǎn)換使用軟閾值公式變換式(21),得
(22)
推導(dǎo),得關(guān)于P的Euler-Lagrange方程為
θ4(ni-mi-d4i)-▽·(2b|pi|(▽·ni))=0
(23)
轉(zhuǎn)換,得
-c▽(▽·ni)+θ4·ni=θ4(mi+d4i)-▽·[(c-2b|pi|)(▽·ni)]
(24)
其中,c=max(2bp(i,j)),接下來求矢量n的Euler-Lagrange方程
(25)
使用FFT求解
(26)
得到線性方程后,通過FFT-1,得
(27)
(28)
求解關(guān)于m的Euler-Lagrange方程,得
(29)
經(jīng)投影方法處理,其中滿足條件為|m|≤1
(30)
S-Euler-Elastic模型的偽代碼:
1) 首先令K=0,且(u,w,p,n,m,d1,d2,d3,d4)=0, (α,β,γ,θ1,θ2,θ3,θ4)>0
2) While|Ek+1-Ek|/|Ek|<ε,do
由式(18),求uk+1;
由式(20),求wk+1;
由式(22),求pk+1;
由式(27)(28),求nk+1;
由式(30),求mk+1
End while
實驗在Inter(R) Core(TM) i5-4590 CPU @ 3.3GHz,4GB內(nèi)存機(jī)器上運行,采用的編程環(huán)境為Matlab R2018b。將本文提出的S-Euler-Elastic模型與傳統(tǒng)變分去噪模型在去噪效果、計算效率等多方面的對比,為了能更客觀的比較各個模型的實驗效果,還引入了兩個圖像對比指標(biāo):峰值信噪比PSNR與結(jié)構(gòu)相似性指數(shù)SSIM。
實驗選擇了3幅分別為Flower、Pepper以及ball的圖像來比較CTV、MTV、TC、TGV模型與本文提出的S-Euler-Elastic模型在處理圖像清晰度、色彩和對比度以及光滑度等方面的優(yōu)缺點。設(shè)置了CTV、MTV模型的λ與θ初始參數(shù)分別為50、0.02。TGV模型的初始參數(shù)α1,α2,β1,θ1,θ2,θ3分別為5,10,10,15,15,25。TC模型的初始參數(shù)α1,θ1,θ2,θ3,θ4,θ5分別為10,10,15,15,20, 25。本文S-Euler-Elastic模型的α初始參數(shù)值為10,其余的參數(shù)值設(shè)置與TC模型的參數(shù)設(shè)置相同,且3幅圖像的大小都是200×200像素,實驗結(jié)果見圖1~圖3。
圖2 乘性瑞利噪聲去除對比(a)Pepper;(b)瑞利噪聲;(c)CTV模型;(d)MTV模型;(e)TC模型;(f)TGV模型;(g)本文模型
圖3 乘性伽馬噪聲去除對比(a)Ball;(b)伽馬噪聲;(c)CTV模型;(d)MTV模型;(e)TC模型;(f)TGV模型;(g)本文模型
由圖1可知,CTV與TGV模型雖然能對原圖像對比度和圖像細(xì)節(jié)保持效果比較好,但卻在花朵的邊緣處產(chǎn)生模糊效應(yīng)。MTV對比CTV雖無模糊的效應(yīng),但圖像細(xì)節(jié)保持的不好,且產(chǎn)生了一定程度的馬賽克效應(yīng)。TC模型無模糊效果,也不會產(chǎn)生階梯效應(yīng),細(xì)節(jié)保持也較好,但對于花朵花瓣處的清晰度還需要進(jìn)一步的調(diào)整提升。本文提出的S-Euler-Elastic模型,避免了圖像產(chǎn)生階梯效應(yīng),并且圖像的清晰度也得到了較好的保持,對比度也較好。
由圖2可知,CTV模型與MTV低階模型都會在產(chǎn)生一定程度的模糊效果,且二者對于圖像邊緣的處理以及噪聲的清除效果都不理想。TGV模型在圖像細(xì)節(jié)處理方面較好,但圖像邊緣模糊。對比以上幾種模型TC高階模型不會產(chǎn)生明顯的模糊效果,但對于圖像的清晰度還需要完善。S-Euler-Elastic模型,避免了產(chǎn)生模糊效果,對辣椒的細(xì)節(jié)保持較好,也沒有損害圖像的清晰度。
由圖3,CTV模型在處理噪聲時產(chǎn)生了明顯的馬賽克效果,處理后的圖像也不夠清晰。MTV模型雖對模糊效果的處理比CTV好很多,但在球的表面還是有大量的噪聲沒有處理干凈。TGV和TC模型雖對噪聲處理比較徹底,但對球面的光滑度以及對比度保持的還不夠好。S-Euler-Elastic模型不僅能夠?qū)υ肼晫崿F(xiàn)較好的清除效果,而且處理后的圖像也沒有明顯模糊的現(xiàn)象產(chǎn)生,對于球的光滑度和對比度的保持也比其它模型保持的更好。
根據(jù)圖4,幾種模型在趨勢上都是先單調(diào)下降再趨于穩(wěn)定的一個狀態(tài),但每個模型的遞減速度卻是不一樣的,遞減速度反映了模型的收斂速度??梢钥闯?,低階模型的遞減速度明顯緩慢。其中,CTV模型到150步左右才開始趨于平穩(wěn),MTV模型與TGV模型的迭代收斂速度比較相近,分別為80步左右和70步左右,相比于其他的傳統(tǒng)模型TC模型收斂更快一些,大約在50步。因存在Eluer-Elastic規(guī)則項,S-Eluer-Elastic模型遞減速度是最快的,只要40步便可以穩(wěn)定。
圖4 不同模型的能量變化情況(a)CTV模型;(b)MTV模型;(c)TC模型;(d)TGV模型;(e)本文模型
通過表1對比傳統(tǒng)去噪模型和本文提出的新模型的PSNR、SSIM、運算時間與迭代步數(shù)可以發(fā)現(xiàn),因為S-Euler-Elastic模型存在高階的Euler-Elastic規(guī)則項,所以運算時間比其他的低階模型更久。同樣存在高階項的TC模型也存在運算時間過長的問題。相比較于低階模型CTV與MTV因不含有高階項所以運算時間會相對較短,但最終得到的PSNR與SSIM值卻不是很理想。因為高階模型中高階規(guī)則項的存在,能夠獲得更高的SSIM和PSNR值,得到的圖像效果更好。雖然運算時間相對比低階模型較長,但因算法中引入了FFT快速求解,故相比于其他高階模型運算時間也會較短。但運算效率還是需進(jìn)一步提高。
表1 不同模型去噪效果的數(shù)值對比
本文使用Eluer-Elastic作為去除彩色圖像乘性噪聲模型的規(guī)則項,并將其應(yīng)用于處理幾類經(jīng)典的噪聲模型。在計算過程中,以Split Bregman算法為主,通過引入多個輔助變量以及使用FFT快速算法進(jìn)行求解。本文提出的S-Eluer-Elastic模型對噪聲的處理相比于其他傳統(tǒng)模型要更好,且PSNR與SSIM指數(shù)也相比傳統(tǒng)模型提升了許多。經(jīng)S-Euler-Elastic模型修復(fù)后的圖像能獲得更高的清晰度與對比度,同時避免了邊緣模糊效果的產(chǎn)生。由于Euler-Elastic規(guī)則項的引入,使計算效率得到了提高。但因S-Euler-Elastic模型涉及到高階項以及彩色圖像耦合的問題,故計算過程比較復(fù)雜,運算時間相對較長,還需要在以后的研究中改進(jìn)完善。