張洪坤， 薛模根， 周浦城

（解放軍陸軍軍官學(xué)院軍用光電技術(shù)與系統(tǒng)重點(diǎn)實(shí)驗(yàn)室，安徽 合肥 230031）

在霧天條件下，光學(xué)成像系統(tǒng)獲取的圖像質(zhì)量將會(huì)產(chǎn)生退化，給戶(hù)外監(jiān)控、交通運(yùn)輸?shù)阮I(lǐng)域帶來(lái)很大困難。因此，能夠從霧天降質(zhì)圖像中有效增強(qiáng)景物信息具有重要的現(xiàn)實(shí)意義[1]。

已有的霧天圖像清晰化技術(shù)大致可以分為兩大類(lèi)：一類(lèi)是基于物理模型的圖像復(fù)原方法；另一類(lèi)是基于圖像增強(qiáng)的方法。其中，基于圖像增強(qiáng)的方法只是將霧天圖像中感興趣的特征有選擇地突現(xiàn)出來(lái)，而衰減其不重要的特征，無(wú)須考慮霧天圖像降質(zhì)的具體原因和構(gòu)建退化模型，因此具有應(yīng)用范圍廣、適應(yīng)性強(qiáng)等特點(diǎn)。在基于圖像增強(qiáng)的霧天清晰化技術(shù)中，Retinex算法處理后圖像中的景物具有銳化、顏色恒常等特性，因而受到廣泛關(guān)注[2-4]，但這類(lèi)算法均需涉及采用高斯平滑估算入射光照，而高斯濾波器在處理圖像的高對(duì)比度邊緣時(shí)容易出現(xiàn)光暈偽影現(xiàn)象。為此，Choi等[5]提出一種基于恰辨差異的非線(xiàn)性濾波器，使得該算法具有各向異性；Kimmel等[6]提出一種變分模型的Retinex方法來(lái)抑制光暈偽影現(xiàn)象；胡韋偉等[7]提出利用帶有邊緣保存功能的雙邊濾波器來(lái)估算圖像入射光照分量，但雙邊濾波器在處理光照突變的圖像邊緣區(qū)域時(shí)易出現(xiàn)過(guò)增強(qiáng)現(xiàn)象。針對(duì)傳統(tǒng)Retinex算法在處理霧天圖像時(shí)存在的不足，本文提出了一種基于局部非線(xiàn)性擴(kuò)散均值漂移(mean shift)的Retinex霧天圖像清晰化新算法（以下簡(jiǎn)稱(chēng)LNDMSR算法），實(shí)現(xiàn)了較為理想的霧天圖像清晰化效果。

1 基于Retinex的霧天圖像清晰化原理

根據(jù)Land[8]理論，一幅圖像I主要由兩部分構(gòu)成，分別是入射光照分量e和反射光照分量r，而景物與成像系統(tǒng)的空間位置不予考慮，用公式表達(dá)為：

Retinex圖像清晰化的基本原理就是通過(guò)消除入射光照分量e對(duì)圖像I的影響來(lái)獲得物體的反射光照分量r，從而還原出物體的本來(lái)面貌。將式（1）引入對(duì)數(shù)空間域，則反射光照分量r可表示為：

傳統(tǒng)的Retinex霧天圖像清晰化算法假設(shè)霧表現(xiàn)為低頻成分，并采用高斯平滑來(lái)估算圖像的入射光照分量e(x,y)，進(jìn)而通過(guò)計(jì)算原始圖像I(x,y)與e(x,y)的差來(lái)獲得景物的反射光照分量r(x,y)，即

其中，i∈{R,G,B}是顏色通道；wn為權(quán)值，滿(mǎn)足∑wn=1；ei,n(ui)是在尺度n下的光照估計(jì)。

傳統(tǒng)的Retinex霧天圖像清晰化方法主要存在以下幾點(diǎn)不足：① 在估算入射光照分量時(shí)，是根據(jù)周?chē)袼氐牟煌恢煤途嚯x賦予不同的權(quán)重，易在高對(duì)比邊緣區(qū)域產(chǎn)生光暈現(xiàn)象；② 由于原始光照能量的消失，使圖像上一些能量很低的點(diǎn)被淹沒(méi)，加上在對(duì)數(shù)空間域進(jìn)行計(jì)算，導(dǎo)致景物周邊區(qū)域出現(xiàn)陰影；③直接對(duì)彩色圖像的三通道單獨(dú)進(jìn)行處理易造成景物顏色失真和色飽和度損失。

2 改進(jìn)的霧天圖像清晰化算法

針對(duì)傳統(tǒng)Retinex霧天圖像清晰化算法存在的不足，提出的LNDMSR算法首先采用局部非線(xiàn)性擴(kuò)散均值漂移濾波器來(lái)估算入射光照分量，進(jìn)而獲得景物反射光照分量，然后基于從圖像本身提取的相關(guān)參數(shù)對(duì)反射光照信息進(jìn)行校正，最后在lαβ顏色空間對(duì)色飽和度進(jìn)行補(bǔ)償。

2.1 基于局部非線(xiàn)性擴(kuò)散均值漂移平滑的入射光照估算

鑒于小波分析具有良好的時(shí)頻域局部化特性，因此，首先采用具有很強(qiáng)細(xì)節(jié)表達(dá)能力的Harr小波對(duì)霧天圖像進(jìn)行預(yù)處理，以便豐富和增強(qiáng)景物細(xì)節(jié)信息。經(jīng)小波分解后的圖像重構(gòu)表達(dá)式為：

為了能突出代表景物反射光照信息的高頻成分，對(duì)式（5）引入權(quán)重系數(shù)a和b，其表達(dá)式為：

得到經(jīng)小波預(yù)處理的圖像之后，通過(guò)構(gòu)造局部非線(xiàn)性擴(kuò)散均值漂移濾波器對(duì)圖像進(jìn)行平滑來(lái)估算入射光照，亦即對(duì)圖像上每一點(diǎn)在定義的空間域和值域帶寬內(nèi)進(jìn)行線(xiàn)性加權(quán)求平均[9]

由于受光源明暗強(qiáng)度、色彩以及方向等因素的影響，會(huì)使背景光照存在不連續(xù)分布的現(xiàn)象，采用均值漂移容易造成景物邊緣和輪廓細(xì)節(jié)成份的丟失，使處理后的圖像出現(xiàn)景物亮度分布不均勻和邊緣區(qū)域景物對(duì)比度下降。為此，這里采用非線(xiàn)性擴(kuò)散框架[10]來(lái)改變均值漂移算法的帶寬權(quán)重。

其中，w1(x1,x2)和w2(x1,x2)分別為環(huán)繞中心數(shù)據(jù)點(diǎn)最近鄰域網(wǎng)格點(diǎn)和第二鄰域網(wǎng)格點(diǎn)的非線(xiàn)性擴(kuò)散系數(shù)，其計(jì)算表達(dá)式為：

其中，||?1,2I||表示最近鄰域網(wǎng)格或第2鄰域網(wǎng)格的梯度幅值；g||?1,2I(x1,x2)||表示邊緣停止函數(shù)。

為進(jìn)一步增強(qiáng)景物輪廓信息和克服邊界區(qū)域的模糊現(xiàn)象，這里對(duì)圖像進(jìn)行局部化處理，并采用中值濾波對(duì)圖像中的景物噪點(diǎn)進(jìn)行抑制。對(duì)于圖像上的每個(gè)像素點(diǎn)，算法描述如下：

2）若||m(xj)-xj||＜μ，則結(jié)束循環(huán)，并記為否則，返回第1步；

3）將第2歩得到的結(jié)果賦值給模板子塊mask，并更新計(jì)數(shù)數(shù)組count：

4）移動(dòng)和記錄mask模板中每個(gè)像素點(diǎn)的運(yùn)算次數(shù)，將輸出的灰度值正比于相應(yīng)的運(yùn)算次數(shù)，結(jié)合中值濾波器對(duì)噪點(diǎn)進(jìn)行抑制，得到入射光照信息：

2.2 基于主成分分析的反射光照校正

根據(jù)Retinex理論，反射光照分量r可以用公式表達(dá)為：

在此基礎(chǔ)上，將r分解為一系列向量稀疏的線(xiàn)性組合，并把包含圖像信息最多的向量方向作為其主成分方向進(jìn)行校正，具體步驟如下：

1）對(duì)I和r進(jìn)行協(xié)方差矩陣轉(zhuǎn)換，轉(zhuǎn)換結(jié)果記為矩陣L，并分別計(jì)算圖像I的最大值Imax、最小值Imin及平均值Iaverage以及r分量的平均值Raverage；

2）計(jì)算L的特征值集合D、特征向量V及圖像特征指數(shù)t

3）計(jì)算特征向量V的主成分貢獻(xiàn)率a1、a2，初步得到景物的主成分反射光照W

4）對(duì)主成分補(bǔ)償后的反射光照W進(jìn)行校正

2.3 色飽和度補(bǔ)償

平滑處理往往會(huì)造成圖像的色飽和度過(guò)低，使得景物色彩不夠鮮艷、生動(dòng)。為此，在lαβ顏色空間對(duì)處理后的圖像進(jìn)行色飽和度補(bǔ)償，具體步驟如下：

1）將增強(qiáng)后的圖像從RGB顏色空間轉(zhuǎn)換到lαβ顏色空間來(lái)計(jì)算光照、色度和飽和度：

為減少顏色空間轉(zhuǎn)換引起的數(shù)據(jù)歪斜，將LMS空間數(shù)據(jù)引入對(duì)數(shù)域，即：

2）通過(guò)計(jì)算增強(qiáng)前后圖像的色飽和度差異，對(duì)調(diào)整后的飽和度進(jìn)行線(xiàn)性補(bǔ)償：

其中，CL,max代表平滑后圖像中亮度分量最大值，CI,max代表平滑前圖像中亮度分量最大值。

3 實(shí)驗(yàn)與結(jié)果分析

為驗(yàn)證提出的LNDMSR算法的可行性和有效性，利用多組霧天圖像數(shù)據(jù)進(jìn)行驗(yàn)證，并與單尺度Retinex（Single Scale Retinex，簡(jiǎn)稱(chēng)SSR）和多尺度Retinex（Multi-Scale Retinex，簡(jiǎn)稱(chēng)MSR）霧天降質(zhì)圖像清晰化方法進(jìn)行比較。

圖1(a)～圖1(d)所示是對(duì)一組具有典型高對(duì)比度邊緣區(qū)域的霧天圖像（實(shí)驗(yàn)1）進(jìn)行處理的結(jié)果?？梢钥闯觯?jīng)SSR算法處理后景物圖像對(duì)比度雖有所提升，但景物邊緣區(qū)域的光暈偽影現(xiàn)象嚴(yán)重，亮度分布不均，場(chǎng)景細(xì)節(jié)信息無(wú)法得到較好體現(xiàn)；MSR算法和LNDMSR算法在處理圖像中景物的紋理信息和整體的人眼直觀感受上要更好一些。但是，MSR算法處理結(jié)果中顏色失真現(xiàn)象比較嚴(yán)重，譬如近處景物顏色失真和遠(yuǎn)處景物信息模糊，嚴(yán)重影響了人們對(duì)圖像中景物的識(shí)別和判斷，而LNDMSR算法在顏色保持和細(xì)節(jié)成份提取方面效果明顯強(qiáng)于前者。

圖1 霧天圖像清晰化對(duì)比效果I

為了進(jìn)一步驗(yàn)證LNDMSR算法的有效性，圖2給出了另一組從不同角度拍攝得到的霧天圖像（實(shí)驗(yàn)2）進(jìn)行對(duì)比的結(jié)果。從整體視覺(jué)效果來(lái)看，利用LNDMSR算法得到的圖像增強(qiáng)效果較為理想，處理后的圖像在清晰度方面有了明顯改善，能夠有效地消除高對(duì)比度邊緣區(qū)域的光暈偽影現(xiàn)象，并且通過(guò)色飽和度補(bǔ)償使處理后的景物顏色更加亮麗、自然；文獻(xiàn)[11]給出的處理結(jié)果中景物對(duì)比度雖有所提升，但圖像整體的動(dòng)態(tài)范圍分布變低，導(dǎo)致一些景物細(xì)節(jié)信息被衰減變得模糊不清；而MSR算法處理效果不僅偏暗且看不清楚，顏色失真也較為嚴(yán)重。

除采用以上直觀定性的實(shí)驗(yàn)比較外，下面利用能夠反映圖像景物整體信息水平的圖像熵和梯度均值率作為評(píng)價(jià)指標(biāo)進(jìn)行定量分析，其中，梯度均值率是一種衡量圖像處理后景物可視信息的質(zhì)量評(píng)價(jià)函數(shù)[12]，能夠反映圖像的可視清晰度，定義為：

其中，nr表示增強(qiáng)后圖像的可視邊緣集合基數(shù)，ri表示增強(qiáng)后圖像可視邊緣梯度率。

對(duì)上述兩組實(shí)驗(yàn)結(jié)果進(jìn)行定量分析計(jì)算的結(jié)果如表1所示。可以看出，LNDMSR算法處理后的圖像熵明顯高于MSR、文獻(xiàn)[11]和原始圖像，說(shuō)明處理后的圖像細(xì)節(jié)信息更豐富，而梯度均值率越大說(shuō)明圖像邊緣細(xì)小特征保留的越多，圖像整體的層次感和對(duì)比度就越高。通過(guò)上述客觀評(píng)價(jià)結(jié)果表明，LNDMSR算法處理后的圖像質(zhì)量更好。

圖2 霧天圖像清晰化對(duì)比效果II

表1 不同霧天圖像清晰化處理效果客觀評(píng)價(jià)結(jié)果

4 結(jié) 論

在Retinex框架下，通過(guò)局部非線(xiàn)性擴(kuò)散均值漂移濾波器對(duì)霧天圖像進(jìn)行平滑來(lái)估算入射光照，結(jié)合小波分析實(shí)現(xiàn)了不同尺度下景物信息的增強(qiáng)和調(diào)整，并利用原始圖像的特征信息有效校正反射光照和補(bǔ)償因圖像增強(qiáng)所造成的色飽和度損失。實(shí)驗(yàn)結(jié)果表明，提出的LNDMSR算法在霧天景物細(xì)節(jié)增強(qiáng)、顏色保持和消除光暈現(xiàn)象等方面均取得了良好的效果。

[1]周浦城, 薛模根, 張洪坤, 等. 利用偏振濾波的自動(dòng)圖像去霧[J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(7):1178-1183.

[2]Rahman Z, Jobson D J, Woodell G A. Retinex processing for automatic image enhancement [J].Journal of Electronic Imaging, 2004, 13(1): 100-110.

[3]李權(quán)合, 畢篤彥, 馬時(shí)平, 等. 基于Retinex和視覺(jué)適應(yīng)性的圖像增強(qiáng)[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010,12(15): 1728-1732.

[4]楊萬(wàn)挺, 汪榮貴, 方 帥, 等. 濾波器可變的Retinex霧天圖像增強(qiáng)算法[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào), 2010, 6(22): 995-971.

[5]Doo H C, Ick H J. Color image enhancement based on single-scale retinex with a JND-based nonlinear filter[C]//Proc. of IEEE Int. Symp. Circuits and Syst, New Orleans, 2007: 3948-3951.

[6]Kimmel R, Elad M, Shaked D. A variational framework for retinex [J]. International Journal of Computer Vision, 2003, 52(1): 7-23.

[7]胡韋偉, 汪榮貴, 方 帥, 等. 基于雙邊濾波的Retinex圖像增強(qiáng)算法[J]. 工程圖學(xué)學(xué)報(bào), 2010, 2(2):104-109.

[8]Land E. The retinex [J]. American Scientist, 1964,52(2): 247-264.

[9]Dorin C, Peter Meer. Mean shift: A robust approach toward feature space analysis [J]. IEEE Trans. On Pattern Analysis and Machine Intelligence, 2002,24(5): 603-619.

[10]Danny B, Dorin C. A common framework for nonlinear diffusion, adaptive smoothing, bilateral filtering and mean shift [J]. Image and Vision Computing, 2004, 22(1): 73-81.

[11]He Kaiming, Sun Jian, Tang Xiaoou. Single image haze removal using dark channel prior [C]//Proc of CVPR, 2009.

[12]Hautiere N, Tarel J P, Aubert D, et al. Blind contrast enhancement assessment by gradient ratio at visible edges [J]. Image Analysis & Stereology Journal, 2008,27(2): 87-95.