章星晨,孫劉杰
(上海理工大學(xué),上海 200093)
霧和霧霾是一種常見(jiàn)的天氣現(xiàn)象。由于大氣散射和吸收,霧霾會(huì)大大降低圖像可視性,對(duì)比度較低。除了視覺(jué)質(zhì)量惡化之外,重霧還會(huì)嚴(yán)重影響機(jī)器視覺(jué)系統(tǒng)的性能,如視頻監(jiān)控、智能交通監(jiān)控、衛(wèi)星成像、目標(biāo)識(shí)別[1]等。例如,智能交通監(jiān)控系統(tǒng)受到霧天低對(duì)比度的影響,給交通造成不便。因此,圖像去霧算法的發(fā)展對(duì)于圖像質(zhì)量的恢復(fù)已經(jīng)成為一個(gè)非常重要的任務(wù)。
圖像去霧通常分為兩種方法[2]。一種是基于大氣散射物理模型圖像復(fù)原方法,主要分析圖像的退化原因和特性,建立物理模型,并且利用反演算法補(bǔ)償丟失的信息,側(cè)重考慮大氣散射的作用來(lái)實(shí)現(xiàn)霧天圖像的還原。而另外一種基于圖像增強(qiáng)方法,不用分析圖像退化的原因,只需要增強(qiáng)霧天圖像的對(duì)比度來(lái)改善圖像視覺(jué)效果。直觀地說(shuō),傳統(tǒng)的圖像增強(qiáng)方法有直方圖均衡[3]、線(xiàn)性映射、Retinex映射[4]和小波變換[5]等方法。直方圖均衡化由于其簡(jiǎn)單性和有效性而應(yīng)用廣泛,它的主要思想是根據(jù)概率密度函數(shù)(PDF)重新映射圖像的灰度級(jí),但缺點(diǎn)是易造成圖像細(xì)節(jié)的消失。小波變換則可以把原圖像分解為不同的子帶圖像,但由于位移不變性的特征而限制其發(fā)展,不能夠準(zhǔn)確表達(dá)圖像的細(xì)節(jié)[5]?;诖巳秉c(diǎn),一些研究者提出新的尺度變換(曲波變換[6-7]、平穩(wěn)小波變換、輪廓波變換[8]等)來(lái)解決傳統(tǒng)WT中的位移不變性問(wèn)題。這些新的尺度變換具有各向異性和方向性的特點(diǎn),能夠較好地表示圖像的邊緣、紋理和細(xì)節(jié)信息。Retinex算法是基于人類(lèi)視覺(jué)系統(tǒng)所提出的算法,簡(jiǎn)單有效,可通過(guò)反射和光照分量進(jìn)行分解。基于這一原理,陸續(xù)有研究者提出了單尺度Retinex算法、多尺度Retinex算法和帶色彩恢復(fù)Retinex算法。Retinex算法雖然能優(yōu)化突出圖像的細(xì)節(jié),但也存在一定的不足,如出現(xiàn)光暈、失真現(xiàn)象。因此,文中提出了一種基于Shearlet變換的Retinex圖像去霧算法,并從主客觀兩方面與直方圖均衡、多尺度Retinex算法、基于MSR理論的交通圖像去霧霾方法[9]進(jìn)行比較,以驗(yàn)證該算法的有效性。
Retinex理論是1971年由美國(guó)物理學(xué)家Edwin Land[10-11]基于色彩恒常性提出的。Retinex理論認(rèn)為圖像可以分為兩個(gè)部分:照射分量和反射分量。通??梢愿爬槿肷涔夂头瓷涔獾某朔e。因此可用如下公式進(jìn)行描述:
S(x,y)=R(x,y)*L(x,y)
(1)
其中,R(x,y)為反射分量;L(x,y)為照射分量。
一般來(lái)說(shuō),入射分量被認(rèn)為是低頻信號(hào),反射分量是高頻信號(hào),決定物體性質(zhì)的是高頻信號(hào)。Retinex的理論原理如圖1所示。
圖1 Retinex原理
單尺度Retinex[12-13]是由Jobson和Land于1997年根據(jù)中心環(huán)繞算法提出的。與傳統(tǒng)的中心環(huán)繞算法相比,SSR具有更高的運(yùn)算速度、更清晰的物理意義等優(yōu)點(diǎn)。將式1采取對(duì)數(shù)域計(jì)算,可以把復(fù)雜的乘法形式轉(zhuǎn)化為簡(jiǎn)單的加減運(yùn)算,SSR算法可表示如下:
g[R(x,y)]=lg[S(x,y)]-lg[L(x,y)]
(2)
單尺度Retinex算法一般是通過(guò)高斯濾波器來(lái)估計(jì)照射分量,它的數(shù)學(xué)表達(dá)式為:
L(x,y)=F(x,y)*S(x,y)
(3)
其中,*為卷積;F(x,y)為中心環(huán)繞函數(shù),通常使用高斯函數(shù)形式,它的表達(dá)式為:
F(x,y)=Ke-(x2+y2)/σ2
(4)
其中,σ為尺度參數(shù);K由歸一化函數(shù)決定,滿(mǎn)足如下條件:
?F(x,y)dxdy=1
(5)
σ為尺度因子,對(duì)單尺度Retinex算法影響較大,是一個(gè)很重要的參數(shù)。當(dāng)σ取值較小時(shí),可以較好地完成動(dòng)態(tài)范圍的壓縮,但失真現(xiàn)象比較嚴(yán)重。反之,當(dāng)σ取值較大時(shí),顏色保真效果不錯(cuò),但細(xì)節(jié)增強(qiáng)減弱,去霧效果也會(huì)隨之下降。為了解決這一類(lèi)問(wèn)題,很多學(xué)者在此基礎(chǔ)上研究了多尺度Retinex算法[4]。MSR是增強(qiáng)圖像領(lǐng)域中最常用的算法之一,它可以在實(shí)現(xiàn)圖像壓縮的動(dòng)態(tài)范圍的同時(shí)保持圖像的逼真度。在某些情況下,MSR可以實(shí)現(xiàn)圖像色彩恒常性、局部動(dòng)態(tài)范圍壓縮、色彩增強(qiáng)和整體動(dòng)態(tài)范圍壓縮。MSR算法相當(dāng)于多個(gè)SSR的加權(quán)求和,在對(duì)數(shù)域中的多尺度Retinex可以表示為:
Sk(x,y)])
(6)
其中,N為尺度參數(shù)的總數(shù)量;Wn為權(quán)重因子。MSR算法同時(shí)包括了3個(gè)尺度的特征,n通常選為3。Rk(x,y)是k通道中的Retinex輸出,在灰度圖像中,k=1,2,3分別表示R、G、B三個(gè)通道。
相比于單尺度Retinex算法,多尺度Retinex算法處理圖像在動(dòng)態(tài)范圍和細(xì)節(jié)增強(qiáng)上有更好的平衡,產(chǎn)生了更好的視覺(jué)效果。
Shearlet變換是近年來(lái)提出的小波理論的一種新的擴(kuò)展,這種轉(zhuǎn)換基于多分辨率和多方向的分析,并改進(jìn)了多維數(shù)據(jù)的表示。小波方法對(duì)于一維信號(hào)具有最佳逼近特性,但是在多維領(lǐng)域表現(xiàn)不佳,Shearlet變換就克服了這一缺點(diǎn)。當(dāng)維數(shù)n=2時(shí),具有合成膨脹的二維仿射系統(tǒng)定義如下:
MAB(ψ)={ψj,l,k(x)=|detA|j/2ψ(BlAjx-k)∶j,
l∈Z,k∈Z2}
(7)
其中,Shearlet變換是由j,l,k三個(gè)變量組成的函數(shù),j是尺度參數(shù),l是剪切的方向,k是平移量。ψ∈L2(R2),A和B都是可逆矩陣,|detB|=1,若滿(mǎn)足以下Parseval緊框架,即:
(8)
剪切波變換過(guò)程的分解由兩部分組成:多尺度分解和多方向分解,與Contourlets類(lèi)似。但Contourlets在方向表示方面效率較低。用剪切矩陣代替定向?yàn)V波,可以提供更多方向。由于多向性的特點(diǎn),Shearlets能夠更好地捕獲圖像的邊緣。
首先將有霧圖像進(jìn)行Shearlet變換分解,得到低頻信息和一系列高頻信息。由于霧天情況下霧通常集中于低頻部分,所以?xún)?yōu)先對(duì)低頻系數(shù)使用多尺度Retinex算法進(jìn)行處理,從而進(jìn)行去霧。需要注意的是,Shearlet變換后得到的系數(shù)有正負(fù)之分,如果系數(shù)為負(fù),那么將會(huì)對(duì)去霧效果產(chǎn)生影響。所以,可以采取線(xiàn)性映射的方法把低頻系數(shù)f(i,j)映射到區(qū)間[0,255]內(nèi),線(xiàn)性映射的表達(dá)式如下:
(9)
其中,fmin和fmax分別是低頻系數(shù)最小值和最大值。
將線(xiàn)性映射的結(jié)果作為輸入,利用式6對(duì)低頻系數(shù)進(jìn)行多尺度Retinex算法處理,并且把處理后的系數(shù)進(jìn)行線(xiàn)性映射反變換,從而映射到區(qū)間[fmin,fmax],這樣才能進(jìn)行Shearlet重構(gòu)。
圖像的紋理信息、邊緣信息以及噪聲大都存在于高頻分量中,所以需要調(diào)整高頻系數(shù)來(lái)抑制噪聲并且強(qiáng)化邊緣,使圖像的細(xì)節(jié)信息更豐富。為了更好地對(duì)高頻系數(shù)進(jìn)行處理,合適的閾值極其重要,所以文中采用閾值法。閾值定義為:
(10)
σ=median(|HH1|)/0.674 5
(11)
其中,M×N為圖像大??;l為分解尺度;median()為中值函數(shù);HH1為高頻子帶系數(shù)。
若對(duì)高頻圖像采用全局增強(qiáng),則會(huì)出現(xiàn)過(guò)度增強(qiáng)和偽影現(xiàn)象。文中使用清晰度參數(shù)進(jìn)行調(diào)節(jié)可以避免這一現(xiàn)象。圖像清晰度是由局部梯度矩陣奇異值得到的,局部清晰度定義為:
Q=s1(s1-s2)/(s1+s2)
(12)
其中,s1和s2分別為局部梯度矩陣奇異值。圖像越模糊,說(shuō)明Q越小。一幅圖像有清晰像素點(diǎn)和不清晰像素點(diǎn),對(duì)于清晰的地方不需要增強(qiáng),對(duì)于不清晰的地方進(jìn)行適度增強(qiáng)。選擇增強(qiáng)系數(shù)的公式如下:
(13)
其中,T1和T2為閾值;EQ為常數(shù);Q表示清晰度。
對(duì)高頻系數(shù)利用下式進(jìn)行增強(qiáng):
f(i,j)'=(1+E)×f(i,j)
(14)
其中,f'(i,j)表示增強(qiáng)后的高頻系數(shù)。
(1)對(duì)有霧圖像進(jìn)行Shearlet變換分解,得到低頻信息和一系列高頻信息。
(2)優(yōu)先對(duì)低頻系數(shù)使用多尺度Retinex算法進(jìn)行處理。
(3)對(duì)高頻系數(shù)采用閾值法進(jìn)行處理。
(4)進(jìn)行Shearlet逆變換,得到最終的增強(qiáng)圖像。
為了驗(yàn)證文中算法的性能,選出三幅具有代表性的去霧圖像進(jìn)行去霧增強(qiáng),軟件平臺(tái)為Matlab2014a。實(shí)驗(yàn)中將文中算法與直方圖均衡化、多尺度Retinex算法和文獻(xiàn)[9]中的方法進(jìn)行對(duì)比分析。一般采取主觀評(píng)價(jià)和客觀評(píng)價(jià)兩種評(píng)價(jià)方法。主觀評(píng)價(jià)就是各增強(qiáng)方法視覺(jué)效果的對(duì)比,而客觀評(píng)價(jià)依據(jù)峰值信噪比(PNSR)、信息熵、亮度、對(duì)比度、平均梯度等指標(biāo)。
圖2和圖3給出兩組去霧實(shí)驗(yàn)的效果對(duì)比圖。
圖2 實(shí)驗(yàn)對(duì)比(樹(shù)林)
圖3 實(shí)驗(yàn)對(duì)比(教學(xué)樓)
以上兩組圖分別是均衡化算法、多尺度Retinex算法、文獻(xiàn)[9]算法和文中算法處理后的去霧圖。從視覺(jué)效果上看,原圖受霧氣影響較大,景物比較模糊;均衡化的處理效果不是很好,還存在很多霧,細(xì)節(jié)不夠豐富,圖像不是很清晰;多尺度Retinex算法處理后的圖像較均衡化方法好,但色彩存在失真;文獻(xiàn)[9]算法處理后圖像偏暗,但是對(duì)比度較好。而文中算法處理后,景物自然清晰,霧氣消除的也比較好,沒(méi)有過(guò)增強(qiáng)和失真現(xiàn)象,具有很好的視覺(jué)效果。
文中選取亮度、對(duì)比度和信息熵這三個(gè)指標(biāo)對(duì)有霧圖像進(jìn)行分析。亮度值反映了圖像的明暗程度。對(duì)比度越大,圖像越清晰。信息熵體現(xiàn)了圖像的細(xì)節(jié)信息,其值越大,圖像細(xì)節(jié)越豐富,圖像越清晰。計(jì)算公式如下:
均值:
(11)
標(biāo)準(zhǔn)差:
(12)
信息熵:
(13)
其中,f(x,y)為圖像在(x,y)處的灰度值;M×N為圖像大小。
所測(cè)數(shù)據(jù)如表1和表2所示。
表1 客觀對(duì)比(1)
表2 客觀對(duì)比(2)
由表1和表2可以看出,均衡化方法在去霧后,亮度增加較多,對(duì)比度也有提升,但是信息熵有所降低,說(shuō)明存在過(guò)增強(qiáng)現(xiàn)象,圖像部分區(qū)域存在高亮部分,細(xì)節(jié)有所損失,去霧效果不是很好。文獻(xiàn)[9]方法處理后在對(duì)比度和信息熵上有所提高,但是在亮度上有所降低,整體圖像偏暗,色彩不是很自然。而文中算法處理后各個(gè)方面的數(shù)值都有所提高,對(duì)比度更好,細(xì)節(jié)更加突出,整體圖像的色彩更自然,圖像的去霧效果更好。通過(guò)整體對(duì)比可以發(fā)現(xiàn),與其他算法相比,文中算法處理效果更好。
文中提出了一種基于Shearlet變換的Retinex方法來(lái)進(jìn)行圖像去霧。通常情況下,霧大部分集中在低頻譜上,所以對(duì)Shearlet變換后得到的低頻系數(shù)進(jìn)行多尺度Retinex處理,并且在高頻上進(jìn)行閾值處理。實(shí)驗(yàn)結(jié)果表明,經(jīng)過(guò)文中算法處理后得到的去霧圖像較其他算法處理后得到的圖像細(xì)節(jié)更豐富,清晰度更高且色彩更加自然,具有不錯(cuò)的視覺(jué)效果。