緱新科 孫維江
(蘭州理工大學(xué)電氣工程與信息工程學(xué)院 蘭州 730050)
近幾年,霧霾天氣在我國(guó)多個(gè)地方頻繁出現(xiàn),嚴(yán)重影響了人們的生活,在這種天氣條件下,空氣中的各種微小粒子增多,這些粒子會(huì)對(duì)光的傳播造成衰減,使得戶外獲取的圖像,其中的信息被大量的丟失,進(jìn)而對(duì)圖像的后續(xù)處理造成嚴(yán)重的影響,所以通過(guò)相關(guān)技術(shù)來(lái)恢復(fù)有霧圖像是非常重要的。到目前為止,對(duì)于去霧算法的研究主要包括以下兩類方法,第一類是基于圖像增強(qiáng)的去霧方法,該類方法主要是通過(guò)對(duì)有霧圖像中的灰度、對(duì)比度等圖像參數(shù)的調(diào)節(jié)實(shí)現(xiàn)圖像去霧。常見的方法有直方圖均衡化[1]、同態(tài)濾波[2]、Retinex 算法[3]、小波變換[4]等,該類方法雖然有一定的去霧能力,但是由于其忽略了霧霾圖像的成像過(guò)程,只是單純地增強(qiáng)了圖像的細(xì)節(jié)信息,所以本質(zhì)上并沒(méi)有實(shí)現(xiàn)圖像去霧。第二類是基于物理成像模型的圖像去霧算法,該類方法的主要特點(diǎn)是,通過(guò)分析霧霾天氣中粒子對(duì)光線的傳播影響,從根本上解釋了有霧圖像的成像過(guò)程及原理,然后通過(guò)數(shù)學(xué)建模實(shí)現(xiàn)大氣散射物理模型。目前的方法主要有:Tan[5]提出有霧圖像的對(duì)比度要比無(wú)霧圖像要低并且大氣散射物理模型中的局部大氣光變化緩慢,可以認(rèn)為是一個(gè)常數(shù),通過(guò)提高圖像的局部對(duì)比度,實(shí)現(xiàn)圖像去霧,但是該方法使得復(fù)原圖像的對(duì)比度過(guò)高。Fattal[6]認(rèn)為圖像的反射率與大氣透射率在局部是互不影響的,因此可以推斷出物體的反射率,但是該方法容易受到霧濃度的影響,導(dǎo)致去霧不穩(wěn)定。Tarel[7]假設(shè)其大氣光成像函數(shù)在局部范圍是不變的,利用中值濾波估計(jì)大氣光成像函數(shù),該方法能夠滿足快速去霧的要求,但是最終的復(fù)原圖像中的景物邊緣出現(xiàn)光暈。He[8~9]等提出暗通道理論,結(jié)合物體成像模型推導(dǎo)出圖像的透射率,實(shí)現(xiàn)去霧。該方法簡(jiǎn)單并且去霧效果較好,但是該算法非常耗時(shí)。由于暗通道理論是一個(gè)客觀統(tǒng)計(jì)規(guī)律,而且其具有較好的去霧能力,所以越來(lái)越多研究人員開始關(guān)注該理論,并對(duì)其進(jìn)行了大量的研究改進(jìn)。陳書貞[10]等提出通過(guò)引入混合暗通道,來(lái)解決有霧圖像中出先大面積天空和白色物體時(shí)暗通道先驗(yàn)失效的問(wèn)題,張曉剛[11]等通過(guò)對(duì)圖像的邊緣進(jìn)行細(xì)致劃分,改善了現(xiàn)有方法出現(xiàn)的過(guò)度去霧情況,陳丹丹[12]等通過(guò)修正大氣耗散函數(shù),進(jìn)而使得透射率估計(jì)更加準(zhǔn)確。
基于暗通道先驗(yàn)的圖像去霧算法雖然能取得較好的去霧效果,但是該算法耗時(shí)嚴(yán)重,且無(wú)法處理天空區(qū)域,因此本文提出基于透射率優(yōu)化和補(bǔ)償?shù)母倪M(jìn)算法。首先在獲取暗通道圖像的過(guò)程中,采用兩種大小不同濾波窗口,獲取不同的透射率粗估計(jì),使用兩次導(dǎo)濾波優(yōu)化透射率,并且對(duì)有霧圖像天空范圍的透射率進(jìn)行系數(shù)補(bǔ)償,同時(shí)采用四叉樹多層次搜索獲取大氣光的準(zhǔn)確值,最后通過(guò)復(fù)原公式獲得復(fù)原圖像。
通常利用大氣散射物理模型[13~14]來(lái)解釋有霧圖像的形成過(guò)程和原理,該物理模型可以表示為
其中I(x)為有霧圖像,J(x)為最終要恢復(fù)的目標(biāo)圖像,A 為大氣光值。
其中t( x )為透射率,β 為散射系數(shù),d(x)為圖像的深度。根據(jù)大氣散射物理模型可以看出,只有準(zhǔn)確估計(jì)環(huán)境光A 和透射率t(x)的值,才能得到去霧效果較好的復(fù)原圖像J(x)。
He 經(jīng)過(guò)對(duì)室外晴朗天氣下的圖像的研究分析后,發(fā)現(xiàn)了一個(gè)客觀事實(shí):對(duì)于不包含天空區(qū)域的無(wú)霧圖像,其中三個(gè)顏色通道中總是有一個(gè)顏色通道的值非常的低,幾乎等于0,這就是暗通道理論,所以晴朗天氣條件下的圖像J(x)的暗通通道定義為
其中,Ω( x )為鄰域窗口,C 為圖像中顏色通道。根據(jù)暗通道理論可知
通常認(rèn)為一幅圖像的大氣光值為固定不變的常數(shù),并且透射率在Ω( )x 內(nèi)也是不變的,因此對(duì)式(1)兩邊先取最小值通道,然后在進(jìn)行局部最小值濾波,整理之后得到透射率的粗估計(jì)表達(dá)式如下所示
為了使得復(fù)原的圖像更加符合人體的主觀視覺(jué)感受,必須在復(fù)原圖像中保留微量的霧,所以通過(guò)約束參數(shù)ω(0 <ω <1),來(lái)控制去霧的程度,即
其中w 一般取0.95,如果將式(6)的透射率粗估計(jì),直接用于圖像去霧,導(dǎo)致的結(jié)果就是圖像中的邊緣出現(xiàn)模糊現(xiàn)象,因此必須對(duì)透射率進(jìn)行優(yōu)化,He 提出通過(guò)軟摳圖方法來(lái)細(xì)化透射率,最后根據(jù)細(xì)化的透射率得到最終的復(fù)原圖像:
上式中t0為一個(gè)限定常數(shù),一般取0.1,因?yàn)楫?dāng)t( x)等于0 時(shí),大氣散射物理模型中的第一項(xiàng)J( x )t( x)也等于0,這樣導(dǎo)致最終的復(fù)原圖像幾乎為噪聲。所以必須對(duì)透射率做出限定。
由于在獲取暗通道時(shí),當(dāng)最小值濾波器的窗口大小為15×15 時(shí),容易將圖像的邊緣的信息模糊,但濾波窗口中暗通道出現(xiàn)的幾率增大使得最后的去霧效果更自然,而最小值濾波器的窗口大小為3×3 時(shí),圖像的邊緣信息保留,但是會(huì)使得濾波窗口中暗通道出現(xiàn)的幾率降低,導(dǎo)致最后的復(fù)原圖像出現(xiàn)過(guò)度去霧的情況,而He 提出的引導(dǎo)濾波器[14]的特點(diǎn)是能夠保持圖像的邊緣,同時(shí)對(duì)于圖像的非邊緣起到平滑作用。因此利用引導(dǎo)濾波器可以結(jié)合這兩種暗通道的優(yōu)點(diǎn)來(lái)優(yōu)化透射率具體步驟為
1)通過(guò)使用濾波窗口分別為3×3 和15×15最小值濾波器獲取到兩種暗通道圖像,并且得到最初的透射率粗估計(jì)t1(x)、t2(x)。
2)對(duì)t2(x)采用15×15 最小值濾波器處理,得到t3(x)。
3)使用引導(dǎo)濾波器,對(duì)t1(x)進(jìn)行優(yōu)化,其中t1(x)為輸入圖像,t3(x)為引導(dǎo)圖,得到優(yōu)化的透射率t4(x)。
在利用式(1)求取暗通道時(shí)做如下處理:
將式(7)、(8)代入到式(1)得到
整理式(9)得到
根據(jù)暗通道理論,式(11)中Jdark為0,但是由于天空區(qū)域不滿足暗通道理論所以天空區(qū)域的Jdark不等于0,所以導(dǎo)致式(11)中Jdark-A 偏大,進(jìn)而造成天空區(qū)域的t(x)偏小。所以本文提出對(duì)天空區(qū)域的透射率進(jìn)行系數(shù)補(bǔ)償。
在一幅有霧圖像中,大氣光A 是圖像中除了亮白色物體之外值最大的點(diǎn),我們可以采用下面的表達(dá)式的值,來(lái)標(biāo)記圖像中的天空范圍
其中Imin(x)表示有霧圖像的最小值通道圖,這里引入一個(gè)標(biāo)志參數(shù)L,當(dāng)L >?,表示該像素點(diǎn)在圖像中的所處的位置為天空區(qū)域,當(dāng)L ≤?,表示該像素點(diǎn)在圖像中所處的位置為非天空區(qū)域,本文中L 取值為65,因此得到了圖像天空區(qū)域的透射率補(bǔ)償系數(shù),其表達(dá)式為
上式中,ρ 為補(bǔ)償系數(shù),所以對(duì)優(yōu)化后的透射率t4(x)進(jìn)行系數(shù)補(bǔ)償,得到補(bǔ)償后的透射率tT( x ):
在對(duì)優(yōu)化后的透射率t4(x)進(jìn)行修正補(bǔ)償過(guò)程中,會(huì)使得補(bǔ)償后的tT(x) 圖像的一些細(xì)節(jié)信息丟失,所以再次使用引導(dǎo)濾波器,此時(shí)的引導(dǎo)濾波器的引導(dǎo)圖為獲取到的有霧圖像的最小值圖像Imin(x),輸入圖為補(bǔ)償后的透射率估計(jì)tT( )x ,獲得最終的透射率估計(jì)t6(x)。
大氣光A 的準(zhǔn)確估計(jì),直接影響最終的圖像去霧效果,Tan 和He 提出的大氣光估計(jì)方法,都會(huì)受到有霧圖像中亮白色物體的影響,區(qū)別只是Tan提出的方法對(duì)于有霧圖像中任何尺寸的亮白色物體都非常的敏感,而He 等的提出方法會(huì)對(duì)有霧圖像中尺寸較小的亮白色物體進(jìn)行忽略,但是對(duì)于有霧圖像中的存在大面積的亮白色物體時(shí),同樣會(huì)受到影響。
因此本文采用四叉樹多層次分解[15]結(jié)合暗通道圖像,來(lái)確定大氣光的估計(jì)值,如圖1 所示為該方法的操作示意圖。
圖1 大氣光估計(jì)示意圖
具體的步驟如下:
1)首先通過(guò)暗通道理論獲取有霧圖像的暗通道圖像;
2)將暗通道圖像進(jìn)行四叉樹分解,分別計(jì)算四塊圖像的像素均值,減去分別對(duì)應(yīng)的方差得到判定值,然后比較選出判定值最大的圖像塊,繼續(xù)對(duì)這一塊圖像進(jìn)行四叉樹分解,只有當(dāng)分解的圖像塊的中的像素點(diǎn)小于等于100 是停止搜索,確定最終的圖像塊。
3)利用在步驟2)中確定的最終圖像塊,然后找到原有霧圖像中的對(duì)應(yīng)的圖像塊,統(tǒng)計(jì)圖像塊的像素點(diǎn)的平均值為最終的大氣光值。
輸入有霧圖像,獲取最小值濾波窗口分別為3×3 和15×15 時(shí)的暗通道圖像,并且獲得相對(duì)應(yīng)的初始透射率粗估計(jì)t2(x),t1(x),對(duì)初始透射率粗估計(jì)t1(x)利用窗口大小為15×15 的最小值濾波器的濾波處理后得到初始透射率估計(jì)t3(x)。
1)使用引導(dǎo)濾波器優(yōu)化透射率t2(x),其中利用步驟1)中得到t3(x)作為引導(dǎo)圖,t1(x)作為輸入圖,最后得到優(yōu)化的透射率估計(jì)t4(x);
2)對(duì)有霧圖像中的天空區(qū)域的透射率估計(jì)進(jìn)行補(bǔ)償,也就時(shí)對(duì)步驟2)獲得的優(yōu)化的透射率t4(x)圖進(jìn)行補(bǔ)償,最后得到修正補(bǔ)償?shù)耐干渎使烙?jì)t5(x);
3)再次使用引導(dǎo)濾波器,此時(shí)的引導(dǎo)圖為第一步獲取到的Imin(x),輸入圖為補(bǔ)償后的透射率估計(jì)t5(x),獲得最后的透射率估計(jì)t6(x);
4)利用四叉樹多層次搜索聯(lián)合暗通道圖像,得到了有霧圖像的大氣光A 的估計(jì);
5)最后通過(guò)步驟4)、5)獲得的透射率估計(jì)t6(x)和大氣光A 的估計(jì),根據(jù)式(7)計(jì)算出最終的復(fù)原圖像。
如圖2 所示,本文對(duì)無(wú)天空區(qū)域的有霧圖像分別使用三種方法去霧,其中在圖(a)、(b)中,四幅圖像從上到下從左到右依次為輸入有霧圖像、文獻(xiàn)[9]方法、He方法以及本文算法的去霧結(jié)果。
圖2 無(wú)天空區(qū)域圖像去霧霾
在圖2 中,(a)圖像的第二幅圖中樹葉的邊緣出現(xiàn)模糊現(xiàn)象,(a)、(b)中的第三幅圖像出現(xiàn)去霧不徹底,(a)、(b)中的第四幅圖去霧徹底,顏色更真實(shí)。
表1 無(wú)天空區(qū)域的去霧算法的客觀評(píng)價(jià)
在表1 中可以看出,本文算法的運(yùn)算時(shí)間相對(duì)于He 的軟摳圖縮減了90%以上,而且本文算法在結(jié)構(gòu)相似(SSIM)、圖像的信噪比(PSNR)這兩個(gè)參數(shù)上都要比其它兩種算法要高。對(duì)于復(fù)原圖像的信息熵(H),本文要比其它兩種算法低
對(duì)于沒(méi)有天空區(qū)域的有霧圖像去霧實(shí)驗(yàn)結(jié)果總結(jié),主觀評(píng)斷:本文的算法消除了文獻(xiàn)[14]方法造成的圖像邊緣模糊的現(xiàn)象,而且去霧更加徹底;客觀評(píng)斷:本文算法的運(yùn)算時(shí)間相對(duì)于He 的軟摳圖方法大幅度縮減,而且其中的兩個(gè)評(píng)判參數(shù)也要比其它兩種算法要好,綜合評(píng)判,針對(duì)無(wú)天空區(qū)域的有霧圖像去霧,本文算法要優(yōu)于其它兩種算法。
如圖3 所示,本文對(duì)包含天空區(qū)域的有霧圖像,分別使用三種方法去霧,其中在圖(a)、(b)中,四幅圖像從上到下從左到右依次為輸有霧圖像,文獻(xiàn)[9]方法、Tarel方法以及本文算法的去霧結(jié)果。
圖3 包含天空區(qū)域的圖像去霧
在圖3 中,由(a),(b)的第二幅圖中可以看出,文獻(xiàn)[9]方法復(fù)原圖像的天空區(qū)域發(fā)生了顏色失真的情況,由(b)的第三幅圖可以看出圖像中去霧不徹底,且出先了圖像顏色失真,由(a),(b)的第四幅圖可以看出,圖像的天空區(qū)域的還原度相對(duì)較好
表2 含天空區(qū)域的去霧的客觀評(píng)價(jià)
由表2 的(a)、(b)表分析可知,根據(jù)去霧算法的消耗的時(shí)間來(lái)看,Tarel 的方法時(shí)間消耗最短,本文算法在結(jié)構(gòu)相似(SSIM)信噪比(PSNR)參數(shù)上優(yōu)與其它兩種算法,但是本文算法的復(fù)原圖像信息熵(H)低于其它兩種算法。
對(duì)于包含天空區(qū)域的有霧圖像去霧實(shí)驗(yàn)結(jié)果總結(jié),主觀評(píng)斷:本文的算法對(duì)天空區(qū)域的還原度比其他兩種算法高,去霧更加徹底。客觀評(píng)斷:本文算法去霧要比其它兩種算法更加耗時(shí),但是在可接受的范圍內(nèi),且在結(jié)構(gòu)相似和信噪比評(píng)判參數(shù)上要優(yōu)于其它兩種算法。綜合評(píng)判:針對(duì)天空區(qū)域的有霧圖像去霧,本文算法能夠解決天空區(qū)域色彩失真問(wèn)題。
針對(duì)傳統(tǒng)基于暗通道去霧算法,出現(xiàn)的算法時(shí)間復(fù)雜度高,且天空范圍的顏色失真的情況,提出基于暗通道去霧的改進(jìn)方法,該方法結(jié)合兩種暗通道圖像的優(yōu)點(diǎn),利用引導(dǎo)濾波器優(yōu)化透射率,并對(duì)包含天空區(qū)域的透射率進(jìn)行系數(shù)補(bǔ)償,同時(shí)采用四叉樹多層次分解聯(lián)合暗通道圖像,得到大氣光的準(zhǔn)確值,最后通過(guò)大氣物理模型獲得復(fù)原圖像。結(jié)果表明,本文算法去霧耗時(shí)相對(duì)于軟摳圖減少了90%,而且解決了有霧圖像天空區(qū)域顏色失真的問(wèn)題。