劉 哲, 黃文準(zhǔn), 黃世奇

?

一種快速單幅圖像去霧新方法①

劉 哲, 黃文準(zhǔn), 黃世奇

(西京學(xué)院信息工程學(xué)院, 西安 710123)

為了再現(xiàn)霧霾天氣下可見光圖像的清晰場(chǎng)景, 有效抑制霧霾退化造成的圖像對(duì)比度、清晰度下降, 本文提出了一種基于改進(jìn)的雙邊濾波器的快速有效的去霧新方法. 該方法引進(jìn)了本文首次發(fā)現(xiàn)的簡(jiǎn)潔高效的“類高斯核”, 代替?zhèn)鹘y(tǒng)雙邊濾波器的高斯核. 改進(jìn)的雙邊濾波器具有很好邊緣保持特性, 用該濾波器來準(zhǔn)確優(yōu)化霧天大氣傳輸率的估計(jì), 大大提高了計(jì)算效率; 在大氣光值估計(jì)中, 對(duì)暗通道和原圖兩個(gè)區(qū)間亮度最大值, 進(jìn)行加權(quán)平均, 精確的估計(jì)出霧天大氣光值. 本文算法具有很快的處理速度, 能有效提高復(fù)原圖像的清晰度和對(duì)比度, 獲得較好的圖像顏色.

圖像去霧; 改進(jìn)的雙邊濾波器; 大氣散射模型; 暗通道先驗(yàn); 圖像處理

在視頻監(jiān)控、導(dǎo)航控制、目標(biāo)跟蹤、遙感和車輛自主駕駛等技術(shù)領(lǐng)域都涉及到霧天圖像處理. 在霧天天氣下, 空氣中會(huì)漂浮著大量顆粒, 光在大氣中傳播時(shí)會(huì)受到懸浮在大氣中的大量微小水滴、氣溶膠等顆粒的影響, 對(duì)光線產(chǎn)生散射和吸收作用. 它會(huì)導(dǎo)致圖像中目標(biāo)的對(duì)比度降低、飽和度下降和色調(diào)偏移, 直接影響戶外視覺系統(tǒng)效用的發(fā)揮[1,2]. 因此, 霧天降質(zhì)圖像的清晰化處理具有十分重要的意義[3]. 目前, 針對(duì)圖像去霧, 人們提出了各種方法, 具體來說可以分為兩類: 圖像增強(qiáng)方法和圖像復(fù)原方法. 圖像增強(qiáng)處理這類方法是對(duì)被降質(zhì)的圖像進(jìn)行增強(qiáng), 改善圖像的質(zhì)量. 這種方法優(yōu)勢(shì)在于可以應(yīng)用已有的成熟圖像處理算法, 可以對(duì)常用的圖像增強(qiáng)算法進(jìn)行針對(duì)性的運(yùn)用和改良, 增強(qiáng)圖像的對(duì)比度, 突出圖像中景物的特征和有價(jià)值的信息. 但是, 這種方法可能會(huì)造成圖像部分信息的損失, 使圖像失真[4]. 圖像復(fù)原通過分析霧圖降質(zhì)機(jī)理, 建立圖像散射模型, 充分利用圖像退化的先驗(yàn)知識(shí)或假設(shè), 實(shí)現(xiàn)場(chǎng)景復(fù)原. 相比而言, 利用圖像復(fù)原的方法具有內(nèi)在的優(yōu)越性, 已成為圖像去霧領(lǐng)域的研究熱點(diǎn).

近年來, 基于先驗(yàn)知識(shí)或假設(shè)的單幅圖像去霧技術(shù)取得了重大突破[5,6]. Tan[7]利用對(duì)比度的區(qū)域最大法獲得無霧圖像, 由于該方法旨在增強(qiáng)圖像的對(duì)比度, 沒有從物理模型上求解真實(shí)場(chǎng)景反照率, 恢復(fù)后的顏色顯得過飽和, 且在景深不連續(xù)的地方產(chǎn)生Halo效應(yīng). Fattal[8]假設(shè)物體表面色度與介質(zhì)傳播具有局部統(tǒng)計(jì)不相關(guān)性, 利用獨(dú)立成分分析來估計(jì)場(chǎng)景反照率. 該方法的性能與輸入圖像的統(tǒng)計(jì)特性有關(guān), 對(duì)于濃霧下的圖像和灰度圖像, 由于顏色信息不足將導(dǎo)致統(tǒng)計(jì)估計(jì)不可靠. He等[9]提出了暗通道先驗(yàn)法則, 并借助圖像摳圖算法, 對(duì)大多數(shù)戶外圖像都能獲得很好的去霧效果, 具備物理有效性. 但在某些暗通道不接近0的區(qū)域會(huì)出現(xiàn)偏差, 導(dǎo)致復(fù)原圖像失真, 且軟摳圖算法具有很高的時(shí)間和空間復(fù)雜度. Tarel等[10]假設(shè)大氣耗散函數(shù)在可行域中逼近最大值, 且局部變化平緩, 利用中值濾波來估計(jì)大氣耗散函數(shù). 由于沒有嚴(yán)格估計(jì)大氣光參數(shù), 導(dǎo)致復(fù)原效果整體偏暗, 且引入色調(diào)調(diào)整后, 容易引起顏色的失真和Halo效應(yīng).

在保證良好去霧效果的前提下, 盡可能的提高去霧算法執(zhí)行效率是學(xué)者們一直以來研究圖像去霧技術(shù)的方向. 很多新的快速算法源于對(duì)文獻(xiàn)[7]、[8]和[9]中算法的改進(jìn). 文獻(xiàn)[11]先求出部分像素點(diǎn)透射率值, 然后利用多源線性回歸求出整幅圖像的透射率, 以加快算法速度. 但這種方法求出的透射率較為平滑, 只適用于景深變化平緩的特定應(yīng)用場(chǎng)合, 處理景物深度呈現(xiàn)劇烈跳變的圖像則效果較差. 文獻(xiàn)[12]中利用聯(lián)合雙邊濾波器對(duì)透射率進(jìn)行細(xì)化, 代替文獻(xiàn)[9]中的軟摳圖, 一定程度上提升了算法的執(zhí)行效率, 但還是不明顯. 文獻(xiàn)[13]對(duì)圖像進(jìn)行白平衡后, 求取顏色通道最小值作為環(huán)境光的粗估計(jì), 然后進(jìn)行邊緣保持濾波來細(xì)化環(huán)境光. 上述方法中的濾波器仍然較為耗時(shí), 快速性有待提高.

本文首次提出了一種新穎改進(jìn)的雙邊濾波器, 來對(duì)透射率進(jìn)行精確估計(jì). 改進(jìn)的雙邊濾波器在對(duì)圖像進(jìn)行濾波的同時(shí), 能很好的保持圖像邊緣, 相比于He[9]采用軟件摳圖和He[9]提出引導(dǎo)濾波器對(duì)透射率進(jìn)行細(xì)化, 改進(jìn)的雙邊濾波器在保證透射率估計(jì)精度的同時(shí), 具有更快的執(zhí)行速度. 在全局大氣光估計(jì)中, 本文從大氣散射模型出發(fā), 利用暗通道先驗(yàn)知識(shí), 通過與有霧圖像亮度最大值進(jìn)行加權(quán)融合, 精確估計(jì)全局大氣光的取值范圍. 實(shí)驗(yàn)表明, 本文方法大大降低了去霧算法的復(fù)雜度, 具有很好的去霧效果, 能滿足實(shí)時(shí)應(yīng)用的要求.

1 背景

在計(jì)算機(jī)視覺數(shù)字圖像處理學(xué)中, 描述有霧圖像的散射模型[7,8]可表示為:

(2)

2 本文算法

2.1 傳輸率的粗估計(jì)

He[9]等通過對(duì)大量無霧圖像統(tǒng)計(jì)特征的觀察, 發(fā)現(xiàn)了被命名為暗原色先驗(yàn)的先驗(yàn)規(guī)律, 即在無霧圖像的非天空區(qū)域里, 若把圖像分為若干個(gè)子塊, 則每個(gè)子塊中都會(huì)有某些像素點(diǎn)的一個(gè)顏色通道的亮度接近于0.

(4)

(6)

又因?yàn)樘炜展鈦碜詿o窮遠(yuǎn)處, 其傳輸率趨近于0, 所以式(6)能較好地同時(shí)處理包含或者不包含天空的區(qū)域. 我們并不需要事先把天空部分單獨(dú)加以處理. 現(xiàn)實(shí)中, 即使是很晴朗的天氣, 空氣中總會(huì)不可避免地包含一些雜質(zhì)分子. 所以當(dāng)我們看遠(yuǎn)處的物體時(shí)霧依然是存在的. 而且, 霧的存在是人們感知深度的一個(gè)基本線索,這一現(xiàn)象被稱為空間透視. 如果徹底地移除霧的存在, 圖像會(huì)看起來不真實(shí), 并且深度感會(huì)丟失. 所以我們可以通過在方程(6)中引進(jìn)一個(gè)常數(shù)ω (0<ω≤ 1) , 有針對(duì)性的保留一部分覆蓋遙遠(yuǎn)景物的霧:

(8)

2.2 雙邊濾波器

雙邊濾波 (Bilateral filter)[14]是一種非線性的濾波方法, 是結(jié)合圖像的空間鄰近度和像素值相似度的一種折衷處理, 同時(shí)考慮空域信息和灰度相似性, 達(dá)到保邊去噪的目的. 具有簡(jiǎn)單、非迭代、局部的特點(diǎn), 是一種同時(shí)考慮了像素空間差異與強(qiáng)度差異的濾波器, 因此具有保持圖像邊緣的特性. 其表達(dá)式為:

(10)

(11)

因此,

(12)

從式(12)可以看出, 雙邊濾波器的加權(quán)系數(shù)是這兩部分因子的非線性組合, 空間鄰近度因子和亮度像似度因子的乘積. 前者隨著像素點(diǎn)與中心點(diǎn)之間歐幾里德距離的增加而減小, 后者隨著兩像素亮度值之差的增大而減小. 在圖像變化平緩的區(qū)域,鄰域內(nèi)像素亮度值相差不大, 雙邊濾波轉(zhuǎn)化為高斯低通濾波器; 在圖像變化劇烈的區(qū)域,濾波器利用邊緣點(diǎn)附近亮度值相近的像素點(diǎn)的亮度值平均替代原亮度值. 因此, 雙邊濾波器既平滑濾波了圖像, 又保持了圖像邊緣.

由上面公式可以看出, 雙邊濾波器每計(jì)算一個(gè)點(diǎn)的值, 都要在這個(gè)點(diǎn)的鄰域進(jìn)行兩次高斯模板運(yùn)算, 算法復(fù)雜度很高, 在實(shí)際應(yīng)用中非常耗時(shí). 為此本文提出了一種高效的改進(jìn)的雙邊濾波器.

2.3 改進(jìn)雙邊濾波器

1) 該函數(shù)圖形是“類高斯分布圖”, 具有軸對(duì)稱、各向同性, 連續(xù)性、光滑性好;

2) 它與圖像卷積不會(huì)改變圖像的整體動(dòng)態(tài)特性;

5) 具有與高斯函數(shù)相同的性質(zhì), 可以做為核平滑函數(shù), 在圖像處理領(lǐng)域可以得到廣泛應(yīng)用.

所以該濾波器在圖像增強(qiáng)、圖像平滑、圖像降噪、圖像分割、圖像摳圖等領(lǐng)域的應(yīng)用, 將在另外一篇論文中詳細(xì)討論.

(15)

(16)

式(14)、(15)、(16)和式(17)共同構(gòu)成了改進(jìn)的雙邊濾波器. 從公式層面講, 改進(jìn)的雙邊濾波器的核比高斯核減少了非常耗時(shí)指數(shù)運(yùn)算, 從整個(gè)算法效率上講, 改進(jìn)的雙邊濾波器比原來算法提高了近一倍. 為了進(jìn)一步提高計(jì)算效率, 我們把二維濾波改為垂直和水平兩個(gè)方向的一維濾波, 即:

2.4 傳輸率的優(yōu)化估計(jì)

(20)

(21)

2.5 大氣光值的估計(jì)

文獻(xiàn)[10]直接采用最亮像素值估計(jì)大氣光值, 方法簡(jiǎn)單但易受高亮度噪聲或白色物體的影響. 文獻(xiàn)[9]從暗原色中選取0.1%亮度最大的像素, 然后取這些像素對(duì)應(yīng)于原圖像中的最大值作為大氣光值, 但是, 若圖像中天空區(qū)域小于暗原色求取中濾波窗口的尺寸, 則錯(cuò)誤地濾除了天空區(qū)域. 因此, 本文采用減小大氣光取值范圍的方法, 通過區(qū)間估計(jì), 提高大氣光值估計(jì)的精確度和魯棒性.

(a)原圖??????(b)初始傳輸率圖??????(c)初始傳輸率去霧圖???(d)優(yōu)化后的傳輸率圖???(e)優(yōu)化傳輸率去霧圖

(a)原圖??????(b)初始傳輸率圖???(c)初始傳輸率去霧圖???(d)優(yōu)化后的傳輸率圖???(e)優(yōu)化傳輸率去霧圖

(23)

(25)

(27)

2.6 圖像去霧復(fù)原

3 實(shí)驗(yàn)和分析

3.1 算法復(fù)雜度分析

3.2 算法評(píng)價(jià)指標(biāo)

為了衡量去霧算法的有效性, 實(shí)驗(yàn)使用圖像均值(用m表示)來衡量圖像亮度, 鄰域標(biāo)準(zhǔn)差平均值(用e表示)表征局部對(duì)比對(duì), 對(duì)于細(xì)節(jié)邊緣等對(duì)比度信息則使用基于梯度域的清晰度(用d來表示)來進(jìn)行測(cè)度. 為了改善客觀評(píng)價(jià)指標(biāo)的有效度, 便于兩種算法去霧性能的對(duì)比, 將鄰域標(biāo)準(zhǔn)差平均值和基于梯度域的清晰度在原計(jì)算公式的基礎(chǔ)上分別除以圖像亮度均值, 統(tǒng)一為單位亮度上的對(duì)比度和清晰度. 算法評(píng)價(jià)指標(biāo)如表1所示, 其中算法執(zhí)行速度用v表示, 單位為秒.

表1 定量評(píng)價(jià)指標(biāo)集

3.3 算法評(píng)價(jià)與分析

為了驗(yàn)證本文算法的有效性, 選擇了5幅典型圖像進(jìn)行復(fù)原實(shí)驗(yàn), 并從定性和定量?jī)蓚€(gè)角度進(jìn)行評(píng)價(jià)和分析. 圖5至圖9給出了5幅圖像去霧前后的實(shí)驗(yàn)結(jié)果, 表1給出了5幅圖像的定量評(píng)價(jià)指標(biāo)體系.

從圖中可以看出, 經(jīng)過本文算法處理后, 5幅圖像的清晰度和對(duì)比度都得到了很大程度的提高, 并且復(fù)原圖像色彩鮮艷, 具有較好的圖像顏色. 從表1中圖像處理的運(yùn)算時(shí)間(硬件為Intel酷睿i5CPU, 雙核, 主頻2.6GHz, 8G內(nèi)存, 軟件為Matlab R2008a)來看, 本文算法具有很快的運(yùn)算速度, 計(jì)算效率大大提高. 從圖像均值、鄰域標(biāo)準(zhǔn)差平均值、梯度域的清晰度三個(gè)指標(biāo)來衡量, 本文算法的指標(biāo)明顯高于He方法, 表現(xiàn)在:

1) 圖像亮度得到了明顯的提升. 如圖8和圖9, 經(jīng)過本文算法的處理, 圖像的整體亮度提高明顯, 更符合人眼視覺特性.

2) 圖像細(xì)節(jié)保持更好. 如圖5和圖9, 經(jīng)過本文算法處理, 圖像邊緣得到了很好的保持, 細(xì)節(jié)更加豐富和細(xì)膩.

3) 圖像的清晰度表現(xiàn)更好, 色彩更明快. 如圖6和圖7, 經(jīng)過本文算法處理, 能較好地恢復(fù)景物結(jié)構(gòu), 色彩深淺適宜, 圖像清晰度更高.

4) 計(jì)算速度得到了大幅度的提高, 如果進(jìn)行算法優(yōu)化和并行化處理, 可以達(dá)到實(shí)時(shí)性要求.

(1) 樹林原始圖??????(2) He方法去霧圖??????(3) 本文方法去霧圖

(1) 房屋原始圖??????(2) He方法去霧圖??????(3) 本文方法去霧圖

4 結(jié)論

針對(duì)單幅圖像去霧算法中存在的處理效率低、去霧圖像偏暗等問題, 本文提出了一種基于改進(jìn)的雙邊濾波器的快速有效的去霧新方法. 該方法引進(jìn)了本文首次發(fā)現(xiàn)的簡(jiǎn)潔高效的“類高斯核”(國內(nèi)外文獻(xiàn)未見報(bào)道), 代替?zhèn)鹘y(tǒng)雙邊濾波器的高斯核. 改進(jìn)的雙邊濾波器具有很好邊緣保持特性, 本文用該濾波器來準(zhǔn)確優(yōu)化霧天大氣傳輸率的估計(jì), 大大提高了計(jì)算效率; 在大氣光值估計(jì)中, 對(duì)暗通道和原圖兩個(gè)區(qū)間亮度最大值, 進(jìn)行加權(quán)平均, 精確的估計(jì)出霧天大氣光值. 本文算法具有很快的處理速度, 能有效提高復(fù)原圖像的清晰度和對(duì)比度, 獲得較好的圖像顏色. 在下一步研究中, 針對(duì)改進(jìn)的雙邊濾波器, 研究利用高效的查表計(jì)算方法代替差平方和倒數(shù)的計(jì)算, 運(yùn)用并行化處理技術(shù)進(jìn)一步提高算法的效率.

1 Sun XM, Sun JX, Zhao LR, Cao YG. Improved algorithm for single image haze removing using dark channel prior. Journal of Image and Graphics, 2014, 19(3): 381–385.

2 Wu D, Zhu QS. The latest research progress of image dehazing. Acta Automatica Sinica, 2015, 41(2): 221–239.

3 Ji XQ, Dai M, Yin CL, Feng YP, Bai XG. Haze removal for aerial degraded images. Optics and Precision Engineering, 2011, 19(7): 1659–1668.

4 Nan D, Bi DY, Xu YL, Wang SQ, Lou XL. Image dehazing method based on dark channel prior. Journal of Central South University (Science and Technology), 2013, 44(10): 4101–4108.

5 Sun W, Li DJ, Liu HJ, Jia W. Fast single image fog removal based on atmospheric scattering model. Optics and Precision Engineering, 2013, 21(4): 1040–1046.

6 Li QH, Bi DY, Xu YL, Zha YF. Haze degraded image scene rendition. Acta Automatica Sinica, 2014, 40(4): 744–750.

7 Tan RT. Visibility in bad weather from a single image. Proc. of the 2008 IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, USA. IEEE. 2008. 1–8.

8 Fattal R. Single image dehazing. ACM Trans. on Graphics, 2008, 27(3).

9 He KM, Sun J, Tang XO. Single image haze removal using dark channel prior. Proc. of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Miami,USA. IEEE. 2009. 1956–1963.

10 Tarel JP, Hautiere N. Fast visibility restoration from a single color or gray level image. Proc. of the 12th IEEE International Conference on Computer Vision. Kyoto, USA. IEEE. 2009. 2201–2208.

11 Li F, Wang HX, Mao XP, Sun YL, Song HY. Fast single image defogging algorithm. Computer Engineering and Design, 2011, 32(12): 4129–4132.

12 Xu HR, Guo JM, Liu Q, Ye L. Fast image dehazing using improved dark channel prior. Proc. IEEE Conference Information Science and Technology. 2012. 663–667.

13 Yu J, Xiao CB, Li DP. Physics-based fast single image fog removal. Proc. IEEE Conference Signal Processing. 2010. 1048–1052,

14 Tomasi C, Manduchi R. Bilateral filtering for gray and color images. Proc. of the Sixth International Conference on Computer Vision. Washington D.C., USA. 1998. 839–8461.

15 李大鵬,禹晶,肖創(chuàng)柏.圖像去霧的無參考客觀質(zhì)量評(píng)測(cè)方法.中國圖象圖形學(xué)報(bào),2011,16(9):1753–1757.

16 郭璠,蔡自興.圖像去霧算法清晰化效果客觀評(píng)價(jià)方法.自動(dòng)化學(xué)報(bào),2012,38(9):1410–1419.

17 Pei SC, Lee TY. Nighttime haze removal using color transfer pre-processing and dark channel prior. Proc. of the 19th IEEE International Conference on Image Processing (ICIP). Orlando, FL. IEEE. 2012. 957–960.

18 Reinhard E, Adhikhmin M, Gooch B, Shirley P. Color transfer between images. IEEE Trans. on Computer Graphics and Applications, 2001, 21(5): 34–41.

New Fast Single Image Dehazeing Method

LIU Zhe, HUANG Wen-Zhun, HUANG Shi-Qi

(Department of Electronic and Information Engineering, Xijing University, Xi’an 710123, China)

Imaging in the atmosphere presents the phenomenon of low contrast, low saturation and hue offset due to atmospheric particles such as haze and fog. In this paper, a fast method is proposed to remove haze from a single image based on modified bilateral filtering. The similar Gaussian kernel that is firstly proposed in this paper is applied to structure the modified bilateral filtering. The modified bilateral filtering is a linear edge preserving filter and is used to refine medium transmission; meanwhile, it can effectively enhance the speed of data processing. The dark channel prior and fog image are used to accurately estimate the value of global atmospheric light by an interval through weighted fusion. Compared to some state-of-the-art methods, the proposed method can achieve a faster processing speed, effectively improve the visibility and contrast of the restored images, and obtain good color effect.

image dehazing; bilateral filtering; atmospheric scattering model; dark channel prior; image processing

國防預(yù)研項(xiàng)目(20157648)

2016-04-19;收到修改稿時(shí)間:2016-07-14

[10.15888/j.cnki.csa.005576]