楊 斌,林志賢,郭太良
(福州大學 物理與信息工程學院,福建 福州 350100)
在霧霾天氣情況下,視覺系統(tǒng)獲取的圖像會受到霧霾顆粒對可見光散射作用的影響,出現對比度小、細節(jié)模糊等退化現象,影響視覺系統(tǒng)正常工作。因此復原霧天圖像具有重大的必要性。目前,圖像的去霧算法主要有兩個分支:基于圖像增強和基于圖像復原[1-2]。其中基于圖像增強去霧的本質是進行圖像對比度的增強,但該類方法可能會損失圖像信息,導致圖像失真,其中以Retinex算法為代表[3-4]。而基于圖像復原的去霧方法,本質是構建霧天圖像的物理模型,反推霧天圖像退化過程來復原清晰圖像。這種方法復原的圖像色彩自然真實,不易出現圖像信息損失。
2008年,TAN R T[5]基于清晰圖像比有霧降質圖像具有更高的對比度這一前提,通過最大化圖像的局部對比度來獲得清晰圖像,但該方法容易造成色彩過于飽和且容易失真的問題。KIM J H[6]等人提出了構建包括對比度和信息丟失的成本函數,通過求解成本函數最小值來獲得每個區(qū)域塊最佳的傳輸率值,再結合霧天降質物理模型復原圖像,該算法所復原的圖像對比度高,信息損失小。2009 年,HE K M等[7]使用暗原色先驗算法來實現去霧,在大多數情況下得到的復原后圖像顏色自然真實、清晰度高。但是在一些暗原色先驗規(guī)律失效的區(qū)域,比如天空等明亮區(qū)域,會產生嚴重的色調偏移,同時HE K M為了解決邊緣halo效應,采用了時間復雜度較高的soft matting算法來細化介質透射率,導致算法計算量較大,不具實時性。為此,HE K M等[8]又提出Guided Image Filtering算法來替代soft matting算法,降低時間復雜度,提高算法效率,但圖像去霧能力會有所減弱。
霧天圖像的退化過程可以用大氣散射模型[9]描述,即:
I(x)=J(x)t(x)+A(1-t(x))
(1)
式中x為空間坐標,I(x)表示有霧圖像,A為全局大氣光值,J(x)表示復原后的清晰無霧圖像,t(x)為透射率。僅有I(x)一個已知量,要求取J(x),這是一個病態(tài)方程,為此要先求取大氣光值A以及透射率t(x)。
為了求取透射率t(x),利用文獻[7]提出的暗原色先驗,即:在無霧清晰圖像中絕大部分非天空局部區(qū)域至少有一個顏色通道的亮度值很低并趨近于0。換言之,對于圖像J,有:
(2)
其中Jc(y)表示圖像J的一個顏色通道,Ω(x)為以x為中心的方形區(qū)域,Jdark稱為圖像J的暗原色。
(3)
實際情況下,如果將圖像中的霧霾完全去除,會導致復原圖像缺少真實感與層次感,為了保持復原圖像的視覺朦朧感,引入系數ω(0<ω≤1,通常取0.90~0.97)。
(4)
此外,求取大氣光值A的步驟為:首先取暗原色圖像中亮度值為前0.1%的像素所在的位置,其次將這些
位置所對應原圖像的像素取出,最后求這些像素中亮度最大值,即為大氣光值A的估計值。
將算法求出的透射率圖和大氣光值代入式(1)恢復出無霧圖像J(x),即:
(5)
暗原色先驗在天空等明亮區(qū)域的局限性會導致復原含有大面積天空區(qū)域圖像時出現顏色失真,同時大氣光值的求取會受到白色高亮物體干擾。本文在文獻[7]算法的框架基礎上,針對這兩點缺陷提出相應的優(yōu)化算法。
2.1.1天空等明亮區(qū)域色彩失真的原因
在不使用暗原色先驗假設結論的前提下,透射率的精確表達式為:
(6)
在天空等接近大氣光值的明亮區(qū)域,暗原色先驗的失效使該區(qū)域的暗原色值并不為0,因此原算法所得透射率小于該區(qū)域實際的透射率。
定義[10]:
Δc=Ic-Ac,c∈{r,g,b}
(7)
由于通常在明亮區(qū)域大體偏白色,三個通道亮度值與大氣光值差異不大,因此有
Δr≈Δg≈Δb
(8)
又由式(5)可知,極小的Δr,Δg,Δb的值(即(I(x)-A)的值)除以明亮區(qū)域偏小的透射率t會導致復原圖像強度值J急速放大,最終使得計算結果和原圖的色彩有較大的偏差,產生嚴重色偏,如圖1所示。因此需要對文獻[7]算法的明亮區(qū)域的透射率進行動態(tài)調整。
圖1 文獻[7]算法與本文算法透射率圖及去霧效果比較
2.1.2結合像素亮度與飽和度差值的透射率調整算法
文獻[11]提出了顏色衰減先驗:
d(x)∝c(x)∝vs(x)
(9)
其中d(x)為景深,c(x)為霧霾濃度,vs(x)為像素亮度與飽和度的差值。
由式(9)可以看出vs(x)的值與景深成正比,也就是說天空區(qū)域的像素亮度與飽和度的差值大于其他區(qū)域,而在原始透射率圖中天空等明亮區(qū)域的透射率估計值是偏小的。
基于此,本文提出結合像素亮度與飽和度差值圖像的透射率修正算法,其修正公式為:
(10)
其中Iv為圖像亮度圖,Is為飽和度圖。
算法采用亮度-飽和度差值圖像中明亮區(qū)域的歸一化值代替原始透射率圖中相應位置的透射率值,從而達到該區(qū)域透射率修正放大的目的。首先,這種方法避免了對天空進行識別分割的繁瑣操作,降低了算法的復雜度;其次,這種方法不僅提升放大了天空等明亮區(qū)域的透射率,而且還沒有影響其他區(qū)域的透射率值,最大程度提升圖像整體的去霧效果。
觀察圖1(c)可以看出,本文算法較好地調整了天空等明亮區(qū)域的透射率,解決了該區(qū)域因為透射率估值偏小所帶來的色彩失真問題,如圖1(e)所示。
HE K M等在文獻[7]中估計大氣光值的方法很大程度上會受到白色物體的影響,從而產生較大的誤差。
因此本文采用一種改進的基于暈光算子的大氣光值求解算法。算法具體過程如下:
(1)采用文獻[12]提出的暈光算子,其表達式如下:
(11)
其中:
在像素值相差較大的兩片區(qū)域的邊界處,R1值會較小,而R2值較大,使得Halation(x)的值較小,而在像素值相差較小的區(qū)域內,R1與R2的值相差較小,使得Halation(x)的值較大。因此暈光算子可以較好地檢測出像素值差別較大的邊界,尤其是與周圍像素值差別較大的白色區(qū)域。
(2)檢測出白色區(qū)域后通過對暈光算子圖進行腐蝕運算,消除白色物體的干擾。
(3)再對其結果進行二值化處理,得到最終的大氣光求值區(qū)域。在總結大量實驗結果的基礎上,暈光算子二值化閾值可由公式(12)求得:
Hthreshold=0.75×max(Halation(x))
(12)
(4)取大氣光值求值區(qū)域所對應的暗原色圖中亮度值為前0.1%的像素的位置,將這些位置對應的有霧圖像的像素的亮度值求取均值即為最終的大氣光值:
(13)
其中:A(x)為最終的大氣光值求值區(qū)域,n為A(x) 內的像素個數,I(y)為輸入圖像。
圖2白色方框內的黑點區(qū)域為文獻[7]算法與本文算法的大氣光值求值區(qū)域比較。從圖2(a)可以看出,文獻[7]算法錯誤地將白色天鵝區(qū)域與火車車燈當作大氣光值求值區(qū)域,導致大氣光值求解誤差較大。而由圖2(b)可以看出本文算法有效地去除了白色物體的干擾,確定出霧濃度最高的區(qū)域,從而提高估計大氣光值的準確度。
圖2 文獻[7]算法與本文算法大氣光值求值區(qū)域的比較
為了客觀全面地評測本文算法復原圖像的質量,檢驗本文算法的有效性與可靠性,將本文算法與文獻[7]算法、文獻[11]算法進行對比實驗,實驗結果如圖3所示。三種不同算法均采用引導濾波細化粗略透射率,引導濾波的濾波器窗口r為40,調節(jié)系數ε取0.001。有霧圖像素材均來自互聯(lián)網。文獻[11]的算法中β值取1,其他參數取默認值
從圖3、圖4以及圖5的實驗結果可以看出,文獻[7]的暗原色先驗結合引導濾波算法在非明亮區(qū)域取得良好的去霧效果,但是在圖像天空等明亮區(qū)域產生了嚴重的顏色失真。而文獻[11]算法對于圖像的去霧較差,在天空區(qū)域存在略微的偏色現象,其去霧效果受到β取值的影響,如果β值取得大一些,可以提升其去霧效果,但是也極其容易導致天空區(qū)域出現色彩失真。而本文算法的復原圖像整體視覺效果較好,非天空等明亮區(qū)域去霧徹底,明亮區(qū)域無色彩失真,同時本文算法沒有引入其他參數,大大提高了本文算法的自動化程度。
圖3 三種不同算法效果比較
圖4 三種不同算法效果比較
圖5 三種不同算法效果比較
為了進一步客觀評價各個算法復原圖像的質量,本文采用了文獻[13]的色調還原度(C)、有效細節(jié)強度(V)、結構信息(S)三個方面來評測文獻[7]算法、文獻[11]算法與本文算法的優(yōu)劣。有關三個指標的具體定義見文獻[13],其綜合評價指標Q為:
Q=Cα×Vβ×Sγ
(14)
本文取α=β=γ=1。其中色調還原度C越大說明表明算法色彩還原越真實;有效細節(jié)強度V越大表明復原圖像細節(jié)更加細膩,去霧效果越好;結構信息S越大表明算法保持原圖像結構信息的能力越強,復原圖像失真越小。綜合評價指標Q越大則說明復原圖像質量越好。實驗數據如表1所示。
由表1的數據統(tǒng)計可以看出,本文算法相比于文獻[7]的算法,色調還原度平均值、有效細節(jié)強度平均值、結構信息平均值分別提升150.82%、39.9%、15.19%,綜合評價指標平均值提升313.719%。在運行時間上,由于本文算法在透射率修正以及大氣光值求取步驟上的改進導致運行時間略大于文獻[7]的算法。
表1 圖3、圖4及圖5各項指標的比較
而本文算法相比于文獻[11]算法,色調還原度平均值、有效細節(jié)強度平均值、結構信息平均值分別提升54.27%、14.45%、9.23%,綜合評價指標平均值提升95.55%,說明本文算法在解決色彩失真方面、保持圖像結構信息以及復原圖像質量優(yōu)于文獻[11]的算法,同時本文算法的運行時間遠遠小于文獻[11]的算法。
綜上所述,相比于文獻[7]算法,本文算法在犧牲較小的運行時間的代價,大大提升了復原圖像的質量,而相比于文獻[11]算法,本文算法不僅大大提升了運行速度,而且也一定程度提升了復原圖像的質量。
本文提出一種改進的基于暗原色圖像去霧改進算法。首先將歸一化的亮度-飽和度差值圖像與粗略透射率逐一比較取最大值作為新的透射率,以此動態(tài)修正原始透射率;其次采用暈光算子排除白色等明亮區(qū)域,以獲得正確的大氣光值;最后將改進后的透射率圖以及大氣光值用于結合暗原色先驗以及引導濾波優(yōu)化的去霧框架中。實驗結果表明本文算法保持圖像結構信息能力以及復原圖像質量較高,有效地解決了天空等明亮區(qū)域的色彩失真問題,并且算法的復雜度與文獻[7]算法相近且遠小于文獻[11]算法。
[1] OAKLY J R, SATHERLEY B L. Improving image quality in poor visibility conditions using a physical model for contrast degradation[J]. IEEE Transactions on Image Processing,1998,7(2): 167-179.
[2] 禹晶,徐東彬,廖慶敏.圖像去霧技術研究進展[J].中國圖象圖形學報,2011,16(9):1561-1576.
[3] JOBSON D J, RAHMAN Z, WOODELL G A.Properties and performance of a center/surround retinex[J].IEEE Transactions on Image Processing,1997,6(3):451-462.
[4] 馬時平,張明,畢篤彥,等.一種細節(jié)保持的Retinex圖像增強算法[J].西安電子科技大學學報(自然科學版),2010,37(3): 541-546.
[5] TAN R T.Visibility in bad weather from a single image[C]/ / CVPR 2008: Proceedings of the 2008 IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE, 2008: 1-8.
[6] KIM J H, JANG W D, SIM J Y, et al. Optimized contrast enhancement for real-time image and video dehazing[J]. Journal of Visual Communication & Image Representation, 2013, 24(3):410-425.
[7] HE K M, SUN J, TANG X O.Single image haze removal using dark channel prior[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(12): 2341-2353.
[8] HE K M, SUN J, TANG X O.Guided image filtering [J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2013,35(6): 1397-1409.
[9] NARASIMHAN S G, NAYAR S K.Contrast restoration of weather degraded images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(6): 713-724.
[10] 蔣建國,侯天峰,齊美彬,等.改進的基于暗原色先驗的圖像去霧[J].電路與系統(tǒng)學報,2011,16(2):155-160.
[11] Zhu Qinsong, Mai Jiaming, Shao Ling. A fast single image haze removal algorithm using color attenuation prior[J]. IEEE Transactions on Image Processing, 2015, 24(11):3522-3533.
[12] 劉冬冬,陳瑩.基于暗原色先驗的區(qū)域自適應圖像去霧方法[J].計算機工程與應用,2016,52(7):166-170.
[13] 李大鵬,禹晶,肖創(chuàng)柏.圖像去霧算的無參考客觀質量評測方法[J].中國圖象圖形學報,2011,16(9):1753-1757.