劉 健 ,張 賓 ,鹿 超 ,王燕燕 ,邸麗霞
(1.北方自動控制技術(shù)研究所,太原 030006;2.陸軍裝備部駐北京地區(qū)軍代局駐太原地區(qū)第二軍代室,太原 030006)
人所獲取的絕大多數(shù)信息來自圖像,圖像采集在視頻監(jiān)控、軍事偵察等領(lǐng)域都有所應用。然而,惡劣的天氣狀況會影響圖像質(zhì)量。例如目前常見的霧霾天氣,使得圖像采集設備所獲取的圖像有能見度低、清晰度低的問題,嚴重影響了特征提取、目標跟蹤等后續(xù)圖像處理工作。因此,圖像去霧技術(shù)的研究十分有必要。
目前,圖像去霧技術(shù)主要有基于非物理模型和基于物理模型兩類[1-2]。基于非物理模型的去霧技術(shù)通過提高對比度以達到突出目標信息的效果,例如基于Retinex與直方圖均衡化的圖像增強算法,這類方法沒有考慮圖像霧天退化機制,所處理的結(jié)果會有一定的顏色失真?;谖锢砟P偷娜レF技術(shù)通過反演霧天圖像退化過程,從含霧圖像復原得到清晰圖像,例如He[3]等提出的基于暗原色先驗的圖像去霧技術(shù)。
He等提出的方法對含霧圖像的復原效果較好,但仍存在一些不足。使用粗估計的透射率進行圖像去霧,會在景深突變處產(chǎn)生“白邊”現(xiàn)象。為避免“白邊”現(xiàn)象,需要對粗估計的透射率進行細化。He使用軟摳圖算法對透射率細化,但軟摳圖算法1需要占用大量的內(nèi)存與消耗大量的時間。He又提出使用引導濾波[4]對透射率進行細化,大大降低了算法復雜度,但是在景深突變處會留有殘霧。文獻[5]采用中值濾波對透射率進行估計,避免了“白邊”現(xiàn)象,但存在過去霧的問題,即在景深突變處有“黑化”現(xiàn)象。此外,暗原色先驗理論不適用于天空區(qū)域,He提出的方法在處理有這類區(qū)域的含霧圖像時,會造成該區(qū)域的顏色失真。針對這一問題,文獻[6]提出利用圖像分割將這類區(qū)域分割出來并進行修復,避免該區(qū)域顏色失真。文獻[7-8]提出使用容差機制糾正這類區(qū)域的透射率,但是容差的選擇依賴于圖像本身,難以做到對全部圖像適用。
本文基于暗原色先驗理論,提出了結(jié)合最小值濾波與中值濾波的粗估計透射率優(yōu)化方法,避免景深突變處的“白邊”與“黑化”現(xiàn)象。針對原算法在天空區(qū)域失效的問題,提出依據(jù)透射率自適應求取透射率下限值的方法,避免該區(qū)域顏色失真。
在計算機視覺與圖像處理領(lǐng)域,采用式(1)描述含霧圖像的物理模型:
式中,I(x)表示含霧圖像;J(x)表示去霧的清晰圖像;t(x)表示透射率,用于描述物體表面的反射光沒有發(fā)生散射而傳輸?shù)綀D像采集設備的比例;A表示圖像大氣光強。
根據(jù)大氣散射理論,受霧霾等大氣粒子的影響,光在該環(huán)境中傳播會發(fā)生散射。霧天大氣對圖像采集的影響主要包括兩個方面:物體表面的反射光在傳播到圖像采集設備的過程中會發(fā)生散射,只有部分反射光進入圖像采集設備,在式(1)中由J(x)t(x)表示;自然或人工光源光線經(jīng)過大氣粒子發(fā)生散射,使其中一部分傳輸?shù)綀D像采集設備,在式(1)中由A(1-t(x))表示。因此,為求解去霧圖像J(x),需從I(x)中估計出t(x)與A。
He等人通過對戶外無霧圖像統(tǒng)計發(fā)現(xiàn),在大多數(shù)無霧圖像非天空的局部區(qū)域,R、G、B 3個通道中至少有一個顏色通道值很低。因此,定義圖像的暗原色求解公式如式(2)所示:
式中,Jc表示圖像的一個顏色通道,Ω(x)表示以x為中心的方形濾波模板。在無霧圖像的非天空區(qū)域,Jdark(x)的值很低。
He通過上述暗原色先驗規(guī)律來求取全球大氣光強A與透射率t(x)。全球大氣光強求取過程如下:選取暗通道中值最大的0.1%的像素點,找出這些點在原含霧圖像中對應點的亮度最大值,將該值作為全球大氣光的估計值。粗估計透射率t(x)的求解如式(3)所示:
式中,ω表示去霧的程度,為使去霧圖像保留一定的景深信息,需要保留少量的霧,原文中ω取0.95。將t(x)與A帶入式(1),可得去霧圖像的求解如式(4)所示:
式中,為避免透射率取值過小造成失真,對透射率的下限值作了限定,原文中取限定值t0為0.1。去霧圖像結(jié)果如圖1(b)所示,可以看到,在景深突變處會有“白邊”現(xiàn)象。He采用引導濾波對粗估計透射率進行細化,將細化后的透射率帶入式(4),去霧圖像結(jié)果如圖1(c)所示,景深突變處的“白邊”現(xiàn)象明顯減弱,但是在更大的區(qū)域范圍內(nèi)仍然有霧未去凈,即“殘霧”現(xiàn)象。
圖1 含霧圖及He算法去霧圖
圖1(b)的“白邊”現(xiàn)象是由于該區(qū)域的透射率估計錯誤造成的。由含霧圖像物理模型可知,景深突變處近景區(qū)域內(nèi)透射率較大,而遠景區(qū)域內(nèi)透射率較小。在透射率估計過程中,當最小值濾波模板包含景深突變處,且模板中心點位于遠景區(qū)域時,該中心點的透射率被估計為近景區(qū)域的透射率,導致透射率估計偏大,造成“白邊”現(xiàn)象。因為引導濾波使用均值濾波對輸入圖像操作,當使用引導濾波對粗估計透射率進行細化時,均值濾波模板大小通常大于式(3)中最小值濾波模板,會使得被高估的透射率降低,同時導致正常的透射率值被高估,形成圖 1(c)中的“殘霧”現(xiàn)象。
文獻[5]在求取暗原色值時,采用中值濾波代替外層的最小值濾波,如式(5)所示:
當濾波模板包含景深突變處,且模板中心點位于近景區(qū)域,而中值點位于遠景區(qū)域時,該中心點的透射率被估計為遠景區(qū)域的透射率,導致透射率估計偏小,造成“黑化”現(xiàn)象。
由暗原色先驗理論可知,在非天空區(qū)域,離圖像采集設備越近的地方,霧氣越少,暗原色值越??;反之,暗原色值越大。如圖2所示,圖中陰影部分表示遠景區(qū)域,白色部分表示近景區(qū)域,當濾波模板包含景深突變處時,可分為4類情況:
1)中心點位于近景區(qū)域,遠景區(qū)域面積較小。此時濾波模板內(nèi)的暗原色最小值點與中值點均落在近景區(qū)域。該情況下采用最小值濾波與中值濾波的結(jié)果相近;
2)中心點位于近景區(qū)域,遠景區(qū)域面積較大。此時濾波模板內(nèi)的暗原色中值點落在遠景區(qū)域,該情況下采用中值濾波會產(chǎn)生“黑化”現(xiàn)象;
3)中心點位于遠景區(qū)域,遠景區(qū)域面積較大。此時濾波模板內(nèi)的暗原色中值點落在遠景區(qū)域,該情況下采用最小值濾波會產(chǎn)生“白邊”現(xiàn)象;
4)中心點位于遠景區(qū)域,遠景區(qū)域面積較小。此時濾波模板內(nèi)的暗原色最小值點落在近景區(qū)域,該情況下采用最小值濾波會產(chǎn)生“白邊”現(xiàn)象。
圖2 景深突變處的情況分類示意圖
由以上分析可知,對濾波模板單獨使用最小值濾波或中值濾波,去霧圖在景深突變處會有部分失真。因此,本文提出根據(jù)景深突變處的不同情況,選擇不同的濾波方式,避免該區(qū)域的“白邊”或“黑化”現(xiàn)象。定義圖像某點處R、G、B三通道的最小值由式(6)計算得到:
對于圖 2(a)、圖 2(b)兩種情況,中心點處三通道的最小值Jchannel與該點的暗原色值Jdark相近,采用最小值濾波;對于2(c)、圖 2(d),Jchannel與Jdark值相差較大,采用中值濾波。改進算法中粗估計透射率求解公式如式(7)所示:
式中,ε為閾值。為使ε值具有自適應性,改進算法采用最大類間方差法求取|Jchannel(x)-Jdark(x)|的自適應閾值。最大類間方差法可以依據(jù)圖像特性求取自適應閾值,將其分為前景與背景。3種濾波方式透射率圖比較如圖 3所示,相較于圖(a)與圖(b),圖(c)可以正確估計景深突變處遠景區(qū)域的透射率,并反映近景區(qū)域的細節(jié)。
圖3 3種濾波方式透射率圖比較
暗原色先驗理論不適用于天空區(qū)域,He算法在處理這類區(qū)域時,會造成去霧圖像的顏色失真。在這類區(qū)域,實際透射率應為[2]:
由于這類區(qū)域找不到暗原色值趨近于0的點,式(8)的分母小于1,由式(8)求得的實際透射率要大于式(3)求得的估計透射率。針對該問題,文獻[2]與文獻[6]采用圖像分割的方法將天空區(qū)域分割出來,并對天空區(qū)域的估計透射率適當增大以減少顏色失真。這類算法的效果依賴于圖像分割的準確性,圖像分割使得暗原色先驗去霧算法復雜度提高。文獻[7]引入一種容差機制,定義k為容差,判定|I(x)-A| 天空區(qū)域離圖像采集設備較遠,在含霧圖像中屬于透射率較低的區(qū)域,但是過低的透射率區(qū)域經(jīng)過暗原色先驗算法處理后會造成顏色失真,He算法中對式(4)中的透射率下限值限定為0.1,通過改變該值可以改善天空區(qū)域的失真問題。若該值取值過小,則圖像失真改善不明顯,若該值過大,則圖像去霧效果不明顯。本文提出采用最大類間方差法求取粗估計透射率的自適應閾值,以此閾值的1/2作為透射率的下限值,再經(jīng)過引導濾波平滑濾波后,作為最終估計的細化透射率。改進算法所求得的透射率下限值通常大于0.1,即在圖像較遠的部分保留了部分霧氣,因此,式(3)中ω值取1。 為了驗證算法的有效性,在MATLAB R2014b平臺上進行了仿真實驗,并將改進算法與文獻[2]算法、文獻[5]算法、文獻[7]算法進行比較,從圖像去霧主觀效果與客觀清晰度指標兩方面進行對比。相關(guān)參數(shù)設置如下: 1)文獻[7]算法:引導濾波參數(shù) r=40,ε=0.001,容差值k=50; 2)改進算法:引導濾波參數(shù)r=40,ε=0.001。 圖4給出了改進算法與對比算法的去霧效果比較圖。其中,第1行圖不含天空區(qū)域,第2行圖含有大面積天空區(qū)域,第3行圖含有小面積天空區(qū)域。 圖4 含霧圖及去霧效果比較 通過比較可得,文獻[5]的處理結(jié)果在景深突變處的近景區(qū)域出現(xiàn)“黑化”現(xiàn)象,并且由于細節(jié)過度突出導致景深信息不明顯,在天空區(qū)域仍然出現(xiàn)顏色失真;文獻[2]通過調(diào)整景深突變處中值濾波模板的大小減弱了“黑化”現(xiàn)象,但由于中值濾波的緣故,仍然導致細節(jié)過度突出,此外,該算法可以分割出天空區(qū)域,但對該區(qū)域的透射率提升強度不大,在處理含大面積天空區(qū)域的含霧圖時仍然有部分失真;文獻[7]的處理結(jié)果由于容差值無法自適應改變,在處理不含天空區(qū)域或天空區(qū)域面積較小的圖像時,會發(fā)生去霧效果不明顯的情況;改進算法可以在避免失真的前提下,復原得到無霧的清晰圖像。 復原圖像的清晰度指標可以很好地反映去霧的效果,圖像的清晰度可以由平均梯度反映。表1給出了含霧原圖以及復原圖像的平均梯度值。其中編號1、2、3對應圖4中的3幅圖,編號4不含天空區(qū)域,編號5含天空區(qū)域。 表1 清晰度比較 由實驗可以看出,各類算法的清晰度都較原圖有所提升,文獻[2]與文獻[5]算法均采用中值濾波求取暗原色值,導致去霧圖像細節(jié)過度突出,清晰度較高;文獻[7]由于容差值無法自適應,處理某些圖像的清晰度較高,而對于另一些圖像清晰度較低。 本文基于暗原色先驗理論,提出一種單幅圖像去霧優(yōu)化技術(shù)。求取粗估計透射率時,根據(jù)景深突變處的分類情況,采用不同的濾波方式,避免了景深突變處出現(xiàn)的“白邊”或“黑化”現(xiàn)象,采用最大類間方差法求取自適應閾值,提高了改進算法的自適應性。改進算法還自適應求取透射率的下限值,避免了去霧后天空區(qū)域的顏色失真現(xiàn)象。仿真實驗結(jié)果表明,改進算法可以從含霧圖像復原得到清晰圖像,并且去霧主觀效果與清晰度評價指標優(yōu)于對比算法。3 實驗結(jié)果分析
3.1 圖像去霧主觀效果
3.2 清晰度指標
4 結(jié)論