孫紅光, 房 超, 張慧杰, 劉麗紅, 王建中(1. 東北師范大學(xué) 計(jì)算機(jī)科學(xué)與信息技術(shù)學(xué)院, 長春 10117; 2. 東北師范大學(xué) 智能信息處理吉林省高校

重點(diǎn)實(shí)驗(yàn)室, 長春 130117; 3. 北京理工大學(xué) 信息與電子學(xué)院通信技術(shù)研究所, 北京 100081)

隨著數(shù)字圖像技術(shù)的廣泛應(yīng)用, 由霧引起戶外場景的變化而導(dǎo)致圖像退化的問題日益突出. 退化的圖像不利于電視監(jiān)控系統(tǒng)、 智能交通系統(tǒng)及軍用探測系統(tǒng)的實(shí)現(xiàn), 因此霧天成像的清晰化問題已引起人們廣泛關(guān)注, 目前已有許多研究結(jié)果, 如極化濾波使用多張帶霧圖像可估計(jì)出清晰的圖像[1-2]; 不同設(shè)備拍攝的帶霧圖像, 通過對物理設(shè)備光學(xué)屬性的估計(jì), 也可以估計(jì)出無霧圖像[3-4]; 景深作為圖像中景物的固有屬性, 可估計(jì)出霧的影響, 達(dá)到去霧目的[5-6]; 3D地理模型作為先驗(yàn)知識(shí), 可估計(jì)無霧圖像[7]; 而單幅圖像信息量少, 難于直接將有霧圖像恢復(fù)為無霧圖像. 無霧圖像相對有霧圖像有更高的對比度[8], 最大化局部對比度可使有霧圖像清晰化. 透射率與物體反光是獨(dú)立的, 使用單圖像估計(jì)出媒介的透射率, 可得到清晰圖像[9]; 通過暗通道值低的特點(diǎn)估計(jì)出透射率, 可恢復(fù)清晰圖像[10]; 基于中值濾波的方法, 運(yùn)行速度快, 可輕易應(yīng)用到灰度和彩色圖像中[11]; 圖像中物體的固有屬性可作為隱Markov模型的隱層, 通過估計(jì)物體固有屬性估計(jì)出清晰圖像[12]. 本文提出一種對暗通道值進(jìn)行補(bǔ)償?shù)姆椒? 對單幅圖像的大氣光進(jìn)行重新估計(jì), 使原有方法可應(yīng)用到不滿足暗通道先驗(yàn)的場景中.

1 去霧方法的光學(xué)理論基礎(chǔ)

景物反射光退化模型描述為本應(yīng)進(jìn)入成像系統(tǒng)的光, 在傳輸過程中由于液滴的存在而使部分光被遮擋和反射而未達(dá)到成像系統(tǒng)[13]:

(1)

其中:d表示圖像的景深；λ表示波長;β(λ)表示大氣散射系數(shù);E∞表示大氣光強(qiáng);r(λ)表示成像系統(tǒng)和景物反射屬性的函數(shù).

空氣光線增強(qiáng)模型描述為霧現(xiàn)象的小液滴反射空氣光, 并傳輸?shù)匠上裣到y(tǒng)中光線的過程:

Ea(d,λ)=E∞(λ)(1-e-β(λ)d),

(2)

將式(1)與式(2)合并, 得

E(d,λ)=Edt(d,λ)+Ea(d,λ),

(3)

簡寫為[10]

I(x)=J(x)t(x)+A(1-t(x)),

(4)

其中:I(x)表示觀察到有霧圖像;J(x)表示無霧圖像;t(x)表示透射率;x表示像素點(diǎn).

本文基于上述模型, 分析其適用場景范圍, 提出一種改進(jìn)的去霧方法.

2 暗通道先驗(yàn)

基于暗通道的單圖像去霧方法[10]是對白天無霧彩色圖像的RGB通道進(jìn)行分析, 結(jié)果表明: 單像素的鄰域內(nèi)總有一個(gè)通道值特別低, 甚至為0; 相應(yīng)場景中有霧圖像對應(yīng)位置通道值也很低, 但不趨于0, 這些值來源于霧的影響. 由暗通道值可估計(jì)出該鄰域內(nèi)的霧影響值, 由式(4)可恢復(fù)無霧圖像. 算法過程如下.

(5)

鄰域內(nèi)像素的RGB各通道值取最小值為

(6)

其中, 暗通道先驗(yàn)

(7)

從而可得估計(jì)

(8)

(9)

3) 估計(jì)大氣光. 無霧狀態(tài)下的大氣粒子分布均勻, 近景與遠(yuǎn)景反射光的強(qiáng)度相似, 可獲取到清晰的圖像； 而霧天空氣中反射光線粒子較多, 分布不均, 會(huì)遮擋景物反射光; 同時(shí)粒子反射光過強(qiáng)導(dǎo)致得到的圖像較模糊. 單圖像中, 最亮的像素點(diǎn)值更接近于大氣光亮度. 可選取暗通道中0.1%最亮的像素值, 取其亮度最大值作為大氣光A的估計(jì).

4) 恢復(fù)原圖像. 通過估計(jì)細(xì)化大氣光A和透射率t, 可得恢復(fù)的無霧圖像為

(10)

其中t0=0.1. 細(xì)化后的t會(huì)有0值出現(xiàn),t→ 0時(shí), 恢復(fù)圖像會(huì)丟失景物信息, 選取t0=0.1可以保證去霧效果并且不丟失景物信息.

3 改進(jìn)的暗通道補(bǔ)償方法

將文獻(xiàn)[10]算法應(yīng)用到大量圖片中, 結(jié)果如圖1所示. 由圖1可見: 光線充足、 色彩鮮艷的圖像中, 該方法效果良好, 如圖1(A)～圖1(C)所示; 光線不足、 色彩單一的圖像, 該方法效果不佳, 如圖1(D)所示. 可見, 暗通道的效果對景物有一定的要求, 符合暗通道特征的圖像才會(huì)有較好的效果, 而包含天空、 水面和純白色物體的圖像不符合暗通道的特點(diǎn), 因此處理后效果不明顯.

圖1 用文獻(xiàn)[10]算法的效果Fig.1 Result images based on reference [10]

3.1 暗通道分析與補(bǔ)償

暗通道先驗(yàn)是基于室外白天拍攝的無霧圖像, 內(nèi)容為圖像中非天空像素的鄰域內(nèi), 像素中某像素點(diǎn)RGB通道中的某個(gè)通道值特別低. 如天空等特例的RGB通道值幾乎相等且接近255, 這種情況下將暗通道的值認(rèn)為由霧引起就會(huì)違背式(4)的理論. 因此, 使用暗通道先驗(yàn)沒有得到很好的效果. 文獻(xiàn)[14]提出一種容差機(jī)制K, 用于區(qū)分天空這類RGB三個(gè)通道值相差不大且接近255的情況. 將式(10)改寫為

(11)

(12)

其中α為補(bǔ)充被忽略的暗通道值. 變形為

(13)

3.2 大氣光

文獻(xiàn)[11]認(rèn)為白平衡先驗(yàn)先于圖像恢復(fù), 即假設(shè)大氣光A是純白色的. 而針對不同的圖像, 由圖像內(nèi)容的不同, 可導(dǎo)致霧粒子反射光線的顏色偏離純白色. 由于視覺系統(tǒng)中接受到的景物顏色是被反光物體吸收后而缺少的那部分顏色. 因此, 景物不同, 圖像中最亮的像素偏于純白色(太陽等光源景物除外). 透射率與景物到成像裝置的距離關(guān)系[4]為

t(x)=e-βd(x).

(14)

文獻(xiàn)[10]中大氣光的估計(jì)為選取暗通道中前0.1%最亮的像素點(diǎn), 取其中亮度最大值作為大氣光A. 本文針對圖像中不同景物有不同景深的特點(diǎn), 提出重估大氣光的方法. 先取暗通道中0.1%最亮的像素點(diǎn), 并取其中亮度最大值A(chǔ)′, 將其映射到每個(gè)像素：

A=βA′,

(15)

其中β為約束系數(shù), 與t的關(guān)系如下:

(16)

估計(jì)出的大氣光基于像素, 即遠(yuǎn)景與近景的大氣光不同, 可更好地恢復(fù)圖像.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 暗通道補(bǔ)償

通過使用暗通道補(bǔ)償方法, 可保持圖像像素與其相鄰像素間的梯度, 即可恢復(fù)圖像也可保持恢復(fù)后的圖像不再出現(xiàn)失真效果. 如圖2所示, 其中: (B)為文獻(xiàn)[10]的處理效果; (C)為暗通道補(bǔ)償后的效果. 由圖2可見: 色彩失真部分已被消除; 圖像(D)比(C)顯得更明亮, 更接近真實(shí)場景.

圖2 不同方法對圖像的改進(jìn)效果Fig.2 Initial picture and improved result

4.2 重估大氣光

由式(4)可知, 去霧效果與大氣光的取值有關(guān). 在去霧模型中, 圖像中的霧化效果都是由于反射大氣光的多少而導(dǎo)致發(fā)白, 而實(shí)際生活中的大氣光不一定是純白光, 通常都與附近的景物相關(guān). 所以在原模型中, 直接取固定值或取圖像中最大的像素值都不可取, 應(yīng)根據(jù)景物的不同取不同的大氣光.

圖3為圖2中圖像相應(yīng)的像素值. 由圖3可見, 原算法過大地放大了像素間的梯度, 而使用暗通道補(bǔ)償方法可降低放大像素間的梯度. 重估大氣光后, 又在暗通道補(bǔ)償?shù)幕A(chǔ)上降低了像素間的梯度, 使圖像更接近真實(shí)圖像.

4.3 使用均方誤差(MSE)對去霧效果進(jìn)行評價(jià)

采用FRIDA(foggy road image database)數(shù)據(jù)庫[15], 分別使用文獻(xiàn)[10]方法、 文獻(xiàn)[14]方法和本文方法做實(shí)驗(yàn)分析, 用K080,L080,M080和U080四個(gè)數(shù)據(jù)集做測試, 并將各種方法的MSE求均值, 實(shí)驗(yàn)結(jié)果如圖4和圖5所示. 圖4和圖5為仿真帶霧圖像去霧后與仿真無霧圖像的MSE曲線, 其中: 圖4(A)～圖4(D)分別為使用K080,L080,M080,U080數(shù)據(jù)集在原方法、 文獻(xiàn)[14]方法和本文改進(jìn)方法上求得的MSE值曲線; 圖5為將圖4 MSE求均值的結(jié)果. 由圖4和圖5可見, 使用暗通道補(bǔ)償機(jī)制可使去霧圖像接近于原圖像, 在暗通道補(bǔ)償上重新估計(jì)大氣光使圖像的MSE更接近于原圖像. 圖6為分別使用本文提出的改進(jìn)方法與文獻(xiàn)[11]中方法對數(shù)據(jù)集求得MSE值的散列點(diǎn). 從每列上觀察, 3個(gè)點(diǎn)中最低值表示運(yùn)行結(jié)果最接近原圖像. 由圖6可見, 與文獻(xiàn)[11]的方法相比, 本文方法重估大氣光后的圖像在多數(shù)情況下都較接近原圖像.

(A) 原始圖像; (B) 原算法; (C) 暗通道補(bǔ)償; (D) 暗通道補(bǔ)償和重估大氣光.圖3 圖2中圖像相應(yīng)的像素值Fig.3 Pixels of pictures from Fig.2

圖4 原方法、 文獻(xiàn)[11]方法和本文方法對FRIDA數(shù)據(jù)庫中4組數(shù)據(jù)集的MSE值Fig.4 MSE calculated by above mentioned four algorithms used FRIDA respectively

圖5 對圖4中MSE求均值結(jié)果Fig.5 Averaging the results in Fig.4 MSE

綜上所述, 本文基于暗通道的去霧方法, 在對實(shí)驗(yàn)數(shù)據(jù)進(jìn)行分析的基礎(chǔ)上, 提出了一種改進(jìn)方法, 并使用MSE進(jìn)行分析評價(jià). 實(shí)驗(yàn)結(jié)果表明, 本文的改進(jìn)方法優(yōu)于文獻(xiàn)[10]的方法, 并擴(kuò)大了文獻(xiàn)[10]方法的適用范圍.

圖6 文獻(xiàn)[11]方法與本文提出改進(jìn)方法的MSE散列點(diǎn)Fig.6 MSE points calculated by reference [11] and proposed in this article

[1] Schechner Y Y, Narasimhan S G. Instant Dehazing of Images Using Polarization [C]//IEEE Conference on Computer Vision and Pattern Recognition. Kuaui: IEEE Press, 2001: 325-332.

[2] Shwatz S, Namer E, Schechner Y Y. Blind Haze Separation [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2006: 1984-1991.

[3] Cozman F, Krotkov E. Depth from Scattering [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 1997: 801-806.

[4] Nayar S K, Narasimhan S G. Vision in Bad Weather [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 1999: 820-827.

[5] Kopf J, Neubert B, Chen B, et al. Deep Photo: Model-Based Photograph Enhancement and Viewing [C]//Proceedings of Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: 1-10.

[6] Narasimhan S G, Nayar S K. Interactive Deweathering of an Image Using Physical Models [C]//IEEE International Conference on Computer Vision. Washington DC: IEEE Computer Society, 2003: 1387-1394.

[7] Hautiere N, Tarel J P, Aubert D. Toward Fog Free in Vehicle Vision Systems through Contrast Restoration [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2007: 1-8.

[8] Tan R T. Visibility in Bad Weather from a Single Image [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2008: 1-8.

[9] Fattal R. Single Image Dehazing [C]//Special Interest Group for Computer GRAPHICS Asia. New York: ACM Press, 2008: Article 72.

[10] HE Kai-ming, SUN Jian, TANG Xiao-ou. Single Image Haze Removal Using Dark Channel Prior [C]//IEEE Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2341-2353.

[11] Tarel J P. Fast Visibility Restoration from a Single Color or Gray Level Image [C]//IEEE 12th International Conference on Computer Vision and Pattern Recognition. Washington DC: IEEE Computer Society, 2009: 2201-2208.

[12] Nishino K O, Kratz L, Lombardi S. Bayesian Defogging [J]. International Journal of Computer Vision, 2012, 98(3): 263-278.

[13] Narasimhan S G, Nayar S K. Contrast Restoration of Weather Degrade Image [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(6): 713-724.

[14] JIANG Jian-guo, HOU Tian-feng, QI Mei-bin. Improved Algorithm on Image Haze Removal Using Dark Channel Prior [J]. Journal of Circuits and Systems, 2011, 16(2): 7-12. (蔣建國, 侯天峰, 齊美彬. 改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法 [J]. 電路與系統(tǒng)學(xué)報(bào), 2011, 16(2): 7-12.)

[15] Tarel J P, Aurelien Cord, Houssam Halmaoui. Foggy Road Image Database [DB/OL]. 2010-03-05. http://www.lcpc.fr/english/products/image-databases/-article/frida-foggy-road-image-database.