劉傳義,王世峰,王開鑫,陳森,孫琪
(長春理工大學(xué) 光電工程學(xué)院,長春 130022)
圖像在生成和傳輸?shù)倪^程當(dāng)中,經(jīng)常會受到各種噪聲的干擾和影響,從而造成圖像降質(zhì)。這對后續(xù)的圖像處理和圖像的視覺效果產(chǎn)生不利的影響,所以、必須對圖像進(jìn)行去噪預(yù)處理。圖像去噪效果的好壞,會直接影響到后續(xù)工作的進(jìn)行。如:圖像分割、邊緣檢測和目標(biāo)識別等。因此、對于圖像去噪以及去噪效果的評價方法,一直是圖像處理領(lǐng)域中重要的研究課題。由于簡單的線性濾波器會造成圖像模糊,圖像的細(xì)節(jié)將會大量丟失。所以近年來產(chǎn)生了很多非線性濾波器,如小波閾值算法、各向異性擴(kuò)散方程算法、總變分最小算法等。Buades等人[1]結(jié)合之前的算法,提出了一種利用結(jié)構(gòu)相似的算法,即非局部均值濾波(NLM)算法。此算法在去除高斯白噪聲時取得了明顯的效果,并且證明了在去除周期性的噪聲上好于高斯濾波、各向異性濾波、雙邊濾波等濾波方法。但是此算法也同樣存在一些不足之處,例如算法的復(fù)雜度較高,導(dǎo)致算法速度比較慢,參數(shù)選取復(fù)雜,算法自適應(yīng)能力差,過度濾波等。因此,很多學(xué)者針對此算法的不足之處,提出了各種各樣的改進(jìn)。研究主要集中在了兩個方面:(1)對算法速度的提升,因其在計算歐氏距離過程中,是點與點的計算與平移,存在大量的計算,時間較長。為了優(yōu)化加速,引入積分圖的思想,先將含噪圖像偏移,并與原圖做差分平方,作為圖像的歐氏距離矩陣[2-4];(2)對算法去噪效果的提升,主要是中心點權(quán)重、鄰域框尺寸、濾波平滑參數(shù)等的優(yōu)化及自適應(yīng)。文獻(xiàn)[5]中提出根據(jù)噪聲方差和圖像方差估計最優(yōu)濾波h參數(shù)。文獻(xiàn)[6-7]根據(jù)圖像紋理結(jié)構(gòu)不同,選擇使用不同大小的鄰域框。文獻(xiàn)[8]中Mahalanobis距離改進(jìn)了傳統(tǒng)的基于歐氏距離塊相似性度量方法,使之對圖像中不同復(fù)雜程度的區(qū)域進(jìn)行自適應(yīng),較好地去除條紋與隨機(jī)混合噪聲。文獻(xiàn)[9]通過假設(shè)檢驗來估計兩組子視數(shù)據(jù)集是否同質(zhì),并以此為依據(jù)估計圖像塊之間的相似。以上算法僅在相對平坦區(qū)域有較好的去噪效果,而在細(xì)節(jié)信息豐富的邊緣區(qū)域去噪效果很弱。造成這個現(xiàn)象的原因是在整幅圖像中容易找到很多相似的平坦區(qū)域的小塊,用它們作加權(quán)平均可以達(dá)到較好的去噪效果;而邊緣區(qū)域的小塊很難找到與之相似性很高的小塊,故加權(quán)平均效果不明顯。由此說明僅用高斯加權(quán)的歐氏距離作為小塊的相似性度量有一定局限性。本文定義了新的結(jié)構(gòu)相似性指標(biāo):余弦相似度與高斯加權(quán)的歐氏距離乘積作為相似性度量指標(biāo),以達(dá)到在濾波器中引入結(jié)構(gòu)信息的目的。
余弦相似度是一種評價圖像相似性的度量標(biāo)準(zhǔn),可以用來很好地評價圖像鄰域的相似性。將其與經(jīng)典NLM算法中的歐式距離相結(jié)合,以更好地反映圖像中的鄰域相似性,并且能減小光照不均帶來的影響。實驗表明,提出的改進(jìn)算法能更好的保留細(xì)節(jié),同時減小光照不均帶來的影響。并優(yōu)于很多常用去噪聲算法。
常用圖像評價指標(biāo)方面,往往不能在反映去噪聲程度的同時反映去噪后邊緣建構(gòu)保持的程度,誤差的均方誤差MSE和峰值信噪比PSNR往往只能說明去噪的多少[11],無法說明細(xì)節(jié)的邊緣保持程度。結(jié)構(gòu)相似性指標(biāo)(SSIM)比MSE和PSNR通過對比和原圖像比,更符合人的主觀感受。但是也無法反應(yīng)去噪時的邊緣保持程度[12],針對以上問題,實驗表明方法噪聲差指標(biāo)相比誤差的均方差能更好地評價圖像的去噪聲程度和細(xì)節(jié)的保持程度。
設(shè):噪聲圖像為{v(a)|a∈I},去除噪聲后圖像為NL[v],對每個像素a的值通過下式加權(quán)得到:
式中,w代表權(quán)重。衡量相似度的方法有很多,最常用的是根據(jù)兩個像素亮度差值的平方來估計。由于取噪聲單獨的一個像素并不可靠,所以使用它們的鄰域。只有鄰域相似度高才能說明這兩個像素的相似度高。衡量兩個圖像塊的相似度最常用的方法是計算它們之間的歐氏距離:
NLM去噪聲是根據(jù)高斯加權(quán)歐式距離來度量鄰域間的距離,從而度量鄰域間的相似性。而加權(quán)歐式距離不能完全反應(yīng)圖像的相似性,容易導(dǎo)致濾波不足,或者過度濾波使得圖像的細(xì)節(jié)結(jié)構(gòu)模糊,為了解決以上問題,本文引入圖像間的余弦相似度系數(shù),加大相似性較高子塊的權(quán)值,減小相似度較低子塊的權(quán)值,以解決以上題。
余弦相似性,是通過計算兩個向量的夾角余弦值來評估他們的相似度。其定義如下:兩個向量間的余弦值可以通過使用歐幾里得點積公式求出:
給定兩個屬性向量A和B,其余弦相似性θ由點積和向量長度給出,如下所示:
式中,Ai,Bi分別代表向量A和B的各分量。給出的相似性范圍從-1到1,-1意味著兩個向量指向的方向正好截然相反,1表示它們的指向是完全相同的,0通常表示它們之間是獨立的,而在這之間的值則表示中間的相似性或相異性。
計算余弦相似性:對于一幅分辨率是M×N的灰度圖像,可將其灰度轉(zhuǎn)化為M×N維歐氏空間中的一個向量。用aiN+j表示對應(yīng)于圖像中(i,j)點的灰度值,一幅灰度圖像在歐氏空間中可表示為向量X=(x0,x1,…,xN-1)。按照之前描述的方法把兩個判斷相似的子塊,將子塊A表示為向量將子塊B表示為,則兩個子塊的余弦相似度計算公式為:
從上式可以看出,余弦相似度計算的是兩個向量在高維空間中夾角的余弦值。夾角越小余弦值越大,角度越大余弦值越小。由于灰度圖像取得向量值都是正向的,所以算法中余弦相似性的取值范圍在[0,1],其值與向量的模長(即圖片的整體亮度)無關(guān),而取決于各個維度上分量的大小差異(即:圖片上各個點的灰度值差異),所以圖片的整體的明暗程度對余弦相似度影響不大,這就屏蔽了工作環(huán)境明暗程度對結(jié)果的影響。
經(jīng)典非局部均值算法中,各鄰域灰度矩陣間的相似度由它們的高斯加權(quán)歐氏距離d(a,b)來決定,當(dāng)d(a,b)越趨近于0,則表示鄰域灰度矩陣間的相似度越高。式(7)中 cos(a,b)的取值介于[0,1]之間,為了保持與經(jīng)典NLM算法中高斯加權(quán)歐氏距離的一致性,將鄰域灰度矩陣間的相似參數(shù)定義為:
其取值區(qū)間為[0,1],當(dāng)兩個小塊完全相同時,該參數(shù)取值為 0,當(dāng) cosin(a,b)越大時,兩個小塊相似性越低,即與高斯加權(quán)的歐氏距離有相同的單調(diào)性。本文便將該基于結(jié)構(gòu)相似性的參數(shù)與原高斯加權(quán)的歐氏距離相乘,作為子塊相似性度量的改進(jìn),增強(qiáng)算法在邊界保持的作用,也增加對不相似區(qū)域的去噪效果。
其中,E(cosin(a,b))為針對像素a的一個歸一化常數(shù)。
經(jīng)過上述改進(jìn)后,將式(9)替代式(2)代入式(3),負(fù)指數(shù)加權(quán)得到非均值濾波的結(jié)果。
Buades等人[1]在提出非局部均值算法(NLM)的同時提出了方法噪聲,方法噪聲是一種新的圖像去噪性能評價指標(biāo)它的定義為噪聲圖像(imgA)與降噪后的圖像(imgB)的差即:imgAimgB。
由于去噪法都有一定的不足之處,所以方法噪聲中往往會包含殘余的圖像信號,也就是說,在去除噪聲的同時去除了圖像本身的信號。方法噪聲含有更多的高斯白噪聲為好,它含有更少的細(xì)節(jié)信息。
方法噪聲差(NC)是一種在方法噪聲基礎(chǔ)上提出的一種圖像去噪評價的方法,它的定義為:
std2imgC表示方法噪聲圖像的標(biāo)準(zhǔn)差(理論上為去除掉噪聲的標(biāo)準(zhǔn)差),stdimgN表示原來圖像噪聲的標(biāo)準(zhǔn)差,NC表示“方法噪聲差”。方法噪聲差的值越小說明降噪及細(xì)節(jié)成分保留越好。
本節(jié)分為兩個部分。第一部分實驗對方法噪聲差(CB)的去噪評價指標(biāo)與誤差的均方差指標(biāo)(MSE)進(jìn)行對比分析。第二部分對cosin-NLM與經(jīng)典NLM和積分圖像NLM進(jìn)行對比分析,然后再與多種現(xiàn)有主流算法進(jìn)行性能比較。
對 6幅典型圖像(Lena256×256,Man512×512,House512×512, Bridge512×512, Peppers512×512,Barara512×512)分別疊加均值為μ=0且方差σ不同的高斯白噪聲,用均值濾波和經(jīng)典NLM分別對其濾波,用誤差的均方差(MSE)和方法噪聲差(CB)按照[10]給出的方法設(shè)置濾波參數(shù)h,用均值濾波使用3×3的濾波窗口具體數(shù)據(jù)如表1所示。
表1 兩項圖像評價指標(biāo)對比分析表
結(jié)果發(fā)現(xiàn)MSE指標(biāo)和CB對圖像的評價得到了不同的結(jié)果,MSE指標(biāo)顯示均值濾波后的圖像的效果較好,而CB顯示經(jīng)典-NLM去噪效果更好。為了驗證哪種指標(biāo)更符合人主觀的視覺,所以繼續(xù)用人眼主觀視覺評價對濾波后的圖像進(jìn)行進(jìn)一步評價。
不管圖像經(jīng)過何種處理后,最終還是要從視覺效果上盡量逼近原始圖像,其逼近程度主要決定于人的主觀感覺。那么人的主觀感覺對圖像的直接評價,理應(yīng)對最終圖像質(zhì)量優(yōu)劣的決定起著至關(guān)重要的作用。
受測試者要求在同一個房間,距離顯示器約40 cm,依次觀察同一個CRT顯示器(RADEON,9 550,1 024×768)上呈現(xiàn)的圖片對。該測試分白天和晚上兩次進(jìn)行,即:受測試者分別在日光充足的室內(nèi)和白熾燈下對相同的圖片對進(jìn)行感覺并判斷評分。評分的具體事項和標(biāo)準(zhǔn)具體如表2所示。
表2 各項評價指標(biāo)細(xì)節(jié)及打分
受測試者:該實驗中隨機(jī)邀請10名非專業(yè)觀察者,其中有5名男性,這些觀察者的年齡段為20歲至30歲,其文化程度為在讀大學(xué)生和研究生。且視力、色覺均正常,并皆具備正常的判斷、領(lǐng)悟能力。測試對象:為上面采用NLM和均值濾波后的12對圖像測試環(huán)境:白天,室外日光充足,10位被測試者在室內(nèi)按要求觀看18對圖片對并進(jìn)行主觀評判,為穩(wěn)定被測試者的主觀判斷力,在正式評判打分前,適當(dāng)引入幾對樣本圖片以供被測試者觀察,不同圖片對在時間上均勻間隔顯示。被測試者至少觀察3 s,便可以從圖片的淸晰度、去噪效果、細(xì)節(jié)保持程度的好壞進(jìn)行比較打分。詳見表2。表3為10位測試者的評價匯總(在不同標(biāo)準(zhǔn)差下的測試記錄并對結(jié)構(gòu)進(jìn)行[-1,+1]的歸一化對數(shù)據(jù)保留到小數(shù)點后兩位。表4為測試者1在σ=5時的評測結(jié)論表。圖1為σ=10時經(jīng)典NLM和均值濾波在σ=10時‘lena’去噪效果的方法噪聲對比圖。圖1(a)為均值濾波后的圖像;圖1(b)為NLM濾波后的圖像;圖1(c)為均值濾波后的方法噪聲圖;圖1(d)為NLM的方法噪聲圖像??梢钥闯鯪LM濾波效果更好,含有更多高斯白噪聲和更少的邊緣細(xì)節(jié)成分。
圖1 σ=10的濾波效果對比圖
表3 各個測試者的評價匯總
表4 測試者1在σ=5時的評測結(jié)論表
從表3中可以看出測試者們認(rèn)同經(jīng)典-NLM比均值濾波的效果更符合人的視覺感官,同時說明方法噪聲差(CB)比誤差的均方差指標(biāo)更符合人的主觀感受。圖2為不同方法噪聲差(CB)的圖像對比圖,從左到右可以看出去噪后方法噪聲差(CB)越小的圖像,邊緣結(jié)構(gòu)越明顯圖像越清晰。
圖2 不同的方法噪聲差(CB)對比圖
分三個部分給出實驗結(jié)果:在濾波參數(shù)h變化的時候與其他算法進(jìn)行比較,用不同的圖片與其他算法進(jìn)行比較,以及與其他典型去噪算法進(jìn)行比較。
NLM算法中參數(shù)h是一個控制指數(shù)濾波程度的參數(shù),通過影響權(quán)重w(a,b)的大小而決定算法的濾波程度,h較大的時候算法濾波程度較大,h較小的時候去噪程度較小。三個算法,經(jīng)典NLM濾波算法、積分圖像NLM濾波算法、cosin—NLM對一幅典型圖像(‘Lena’256×256),對其添加均值μ=0,方差σ=10的高斯白噪聲用四種參數(shù)峰值信噪比(PSNR)、相關(guān)系數(shù)(SSIM)、方法噪聲差(CB),以及結(jié)構(gòu)相似性指標(biāo)的四個指標(biāo)。關(guān)鍵濾波參數(shù)h從2取到47,先對三種算法每一種進(jìn)行單獨分析,然后再對三種算法進(jìn)行組合分析。如圖3所示。
圖3 三種算法,4種評價指標(biāo)分析圖
經(jīng)典 NLM 算法,從圖3(a)中可以看出:(1)去噪的峰值信噪比確實存在著最大值,是一個由小變大再減小的過程,在h取22的時候去噪程度越明顯;(2)相關(guān)系數(shù)與結(jié)構(gòu)相似系數(shù)和峰值信噪比有一定的相關(guān)性,都是在h取得22的時候取得最大值。說明在這個時候去噪后的圖像和原圖像最相似;(3)方法噪聲差參數(shù)的數(shù)值較大,但是沒有最大值,隨著參數(shù)h的增加在緩慢增加,說明隨著h的增加圖像的細(xì)節(jié)部分在慢慢減少。
積分圖像NLM從圖3(b)中可以看出:(1)從峰值信噪比、相似系數(shù)、相關(guān)系數(shù)都可以得出:去噪確實存在著最大值,它是一個由小變大再減小的過程。h取22的時候去噪程度越明顯;(2)相關(guān)系數(shù)與結(jié)構(gòu)相似系數(shù)和峰值信噪比有一定的相關(guān)性,都是在參數(shù)h取得22的時候得到最大值;(3)方法噪聲差參數(shù)的數(shù)值較大,但沒有最大值,在隨著參數(shù)h的增加而緩慢增加。
cosin-NLM從圖3(c)可以看出,cosin-NLM與前兩種算法本質(zhì)上有所不同:(1)峰值信噪比、相似系數(shù)、相關(guān)系數(shù)沒有最大值;(2)雖然沒有最大值,但在大于某個數(shù)值的時候降噪效果沒有變化。例如:上圖在參數(shù)值大于27的時候趨于穩(wěn)定;(3)方法噪聲差有最大值,沒有呈現(xiàn)上升趨勢。
為了對比三個算法,把三種算法的四個指標(biāo)、峰值信噪比、相似系數(shù)、相關(guān)系數(shù)以及方法噪聲差放到一張圖里進(jìn)行對比分析如圖4所示。得到如下結(jié)論:
圖4 種算法4種指標(biāo)對比分析圖
(1)從峰值信噪比參數(shù)上得到結(jié)論;在濾波參數(shù)h小于22的時候積分圖像NLM的去噪程度最大,但是隨著參數(shù)h的逐漸增大,在濾波參數(shù)h大于32的時候,曲線發(fā)生了交叉,cosin-NLM的去噪程度最大,相似系數(shù)和結(jié)構(gòu)性相似指標(biāo)得到大致相似的作用;(2)從總體上來講cosin-NLM的去噪效果優(yōu)于其它兩個算法,其它兩個算法總體相當(dāng),特別是在濾波參數(shù)h較大的時候更能保持細(xì)節(jié)成分,說明cosin-NLM算法能在去除噪聲的同時保留細(xì)節(jié)。
使用經(jīng)典NLM算法和cosin-NLM對6幅典型圖 像(‘lena’256×256,‘Man’512×512,‘Bridge’512×512,‘house’512×512,‘Peppers’512×512,‘Barara’512×512)分別疊加均值 μ=0,方差 σ=5,10,15高斯噪聲濾波參數(shù)h的選取使用文獻(xiàn)[13]中的方法,去噪算法均采用小塊大小為7×7,將搜索窗口的大小限定為21×21。評價方法使用誤差的均方差(MSE)和方法噪聲差(CB)。實驗結(jié)果如表5所示。從表5中可以看出:(1)方法噪聲差(CB)指標(biāo)說明cosin-NLM相比于經(jīng)典NLM有更好邊緣結(jié)構(gòu)保持效果,尤其是在噪聲較大的情況,圖像的邊緣細(xì)節(jié)保持效果優(yōu)勢更加明顯;(2)從誤差的均方差指標(biāo)(MSE)指標(biāo)得出,在σ=5去噪性能兩種算法去噪程度大致相當(dāng),在σ=10,15時cosin-NLM去除噪聲的程度有要比經(jīng)典NLM更為明顯,綜合兩種圖像質(zhì)量評價指標(biāo)co?sin-NLM在噪聲較大的情況下有較好的濾波效果。
表5 經(jīng)典非局部均值與Cosin-非局部均值去噪性能比較
表6給出本文算法與幾個比較典型的去噪算法在標(biāo)準(zhǔn)圖像‘Lena’(256×256)上的性能比較。為了更好比較算法之間的性能,同時給出誤差的均方差(MSE)和方法噪聲差(CB)兩個評價標(biāo)準(zhǔn)。從表6中可以看出cosin-NLM算法的去噪性能優(yōu)于絕大多數(shù)的現(xiàn)有算法。只有文獻(xiàn)[10]基于復(fù)小波變換(CWT)性能優(yōu)于cosin-NLM算法。但文獻(xiàn)[10]算法參數(shù)設(shè)置比較復(fù)雜,作者指出其算法參數(shù)設(shè)置要根據(jù)大量的實驗經(jīng)驗。
表6 去噪性能比較
圖5給出了cosin-NLM算法在幾個典型圖像上的處理的結(jié)果。從上到下各行依次為圖像(a)‘House’、(b)‘Lena’、(c)‘cameraman’,疊加了(σ=10、σ=20、σ=30)的高斯白噪聲。從左到右依次是原始圖像、加噪圖像和cosin-NLM去噪后的圖像,可以看出cosin-NLM在不同圖像,不同噪聲水平都有很好的去噪效果,能夠在很好的濾除噪聲的情況下,很好的保持圖像的邊緣細(xì)節(jié)。
圖5 cosin-非局部均值算法在不同圖像和不同噪聲水平下的去噪效果
研究了非局部圖像去噪算法中用高斯加權(quán)歐式距離判斷相似度,會出現(xiàn)過度去噪和去噪評價標(biāo)準(zhǔn)難以在評價去噪多少的同時反映圖像的細(xì)節(jié)保持程度的問題。提出了一種能更好的保持邊緣細(xì)節(jié)的算法(cosin-NLM)和一種圖像去噪評價指標(biāo)方法噪聲差(CB)。cosin-NLM通過利用余弦相似性加大相似性較高子塊的權(quán)值,減小相似度較低子塊的權(quán)值提高邊緣結(jié)構(gòu)保持度,方法噪聲差(CB)能同時反應(yīng)去噪程度和圖像細(xì)節(jié)保持程度,因此能很好的反應(yīng)去噪算法的性能。同時本文還與很多經(jīng)典去噪算法進(jìn)行了比較。
最后實驗表明,cosin-NLM能夠在去噪的同時更好的保持細(xì)節(jié)優(yōu)于目前很多主流算法,尤其在噪聲較大的情況下。方法噪聲差指標(biāo)比誤差的均方差指標(biāo)更符合人的視覺主觀感受,能夠在反應(yīng)去噪程度的同時反應(yīng)出圖像的細(xì)節(jié)保持程度。
關(guān)于濾波參數(shù)h的全局最優(yōu)解問題是很多學(xué)者研究的重點,之前h選取的方法都是根據(jù)誤差的均方差(MSE)來確定的,能否根據(jù)方法噪聲差(CB)選取濾波參數(shù)h的全局最優(yōu)解以達(dá)到更好的邊緣細(xì)節(jié)保持效果,值得今后的研究者繼續(xù)研究。