黃 鶴,胡凱益,郭 璐,王會峰,朱禮亞
(1.長安大學(xué) 電子與控制工程學(xué)院,西安 710064;2.西北工業(yè)大學(xué) 無人機系統(tǒng)國家工程研究中心,西安 710072)
海霧是一種常常發(fā)生于中國沿海的災(zāi)害天氣現(xiàn)象,在海面、島嶼和濱岸低層大氣中積聚大量水滴和冰晶,其能見度往往小于1 km[1]。海霧形成包括兩個環(huán)節(jié)——水汽凝結(jié)和霧滴低空積聚。分析霧滴殘存物發(fā)現(xiàn),水汽凝結(jié)核由燃燒核、鹽微粒和土壤粒子組成,其比例是5∶4∶1[2-5]。其中,燃燒核半徑為1 μm左右,表面包裹著吸濕凝結(jié)性很強的膜。因此,海面空氣中吸濕性粒子的濃度較高,導(dǎo)致海邊比內(nèi)陸更容易起霧。霧滴低空積聚后一般直徑為10 μm左右,尺寸較小,懸浮在近??諝庵校率勾髿饽芤姸容^低。海霧粒子散射作用會導(dǎo)致可見光攝像頭采集的視頻圖像對比度低、顏色失真,嚴(yán)重影響海上場景監(jiān)控、艦船視覺導(dǎo)航、漁船作業(yè)、軍事活動以及沿海交通的正常運行。
現(xiàn)有去霧方法從原理上大致可分為圖像增強去霧方法和物理模型圖像復(fù)原方法。前者主要是提高對比度,但未考慮導(dǎo)致圖像降質(zhì)的因素,并未實質(zhì)消除霧,效果非常有限[6-8]。而在物理模型圖像復(fù)原方法中,Oakley等[9-10]建立了多參數(shù)統(tǒng)計退化模型,對灰度場景進(jìn)行可見性復(fù)原。Tan等[11]改進(jìn)了統(tǒng)計退化模型,對霧天彩色圖像進(jìn)行可見性復(fù)原。這些方法必須已知場景深度,其詳細(xì)深度信息需要利用高精度測距設(shè)備才能獲得,應(yīng)用成本較高。Narasimhan等[12-13]利用多幅不同天氣的同一場景退化圖像作為輔助信息,從多個角度研究利用場景深度復(fù)原圖像。這種方法在實際應(yīng)用中對條件要求比較苛刻,適用范圍有局限。近年來,很多學(xué)者[14-16]開始著手研究基于先驗知識的單幅圖像去霧方法。He等[17]統(tǒng)計分析大量圖像,發(fā)現(xiàn)不含天空的圖像區(qū)域中,取像素R、G、B的最小值,該值總是趨向于0,定義為暗通道。利用暗通道作為先驗信息估計大氣光和透射率,同時通過軟摳圖獲取透射率的粗估計并濾波,得到精確透射率,從而利用霧天成像模型復(fù)原圖像[18]。海面監(jiān)控畫面中天空相對較多,暗通道方法一般不適用于海霧情況。朱青松等[16]在2015年提出了一種顏色衰減先驗理論,即霧天條件下,景物的亮度變高而色彩飽和度降低,經(jīng)過大量統(tǒng)計證實了這一理論,并給出了亮度和飽和度之間定性和定量的關(guān)系。
海上監(jiān)控畫面獲取的含霧圖像與一般含霧圖像不同,由于拍攝場景本身因素,圖片中含有大量的天空等明朗區(qū)域,且這些區(qū)域通常與含霧區(qū)域混雜。在這些明亮區(qū)域中,暗通道先驗在一定程度上失去作用,導(dǎo)致全局大氣光值選取出現(xiàn)偏差,使用霧天降質(zhì)模型對圖像復(fù)原效果變差,圖像中的部分信息因為圖像復(fù)原過程中場景透射率等的偏移而丟失,圖像亮度較低且色彩失真嚴(yán)重,對海面場景監(jiān)控、海上目標(biāo)跟蹤與識別以及海上行為分析等帶來了負(fù)面影響。
通過分析海霧圖像降質(zhì)機理,針對傳統(tǒng)依賴單一先驗知識的去霧算法往往存在估計大氣光值不夠精確致使還原圖像顏色失真、比較昏暗的問題,提出了一種基于最小方差中值引導(dǎo)濾波融合變差函數(shù)和顏色衰減先驗理論的去海霧圖像算法,使用變差函數(shù)[19]可以較快地判別出像素點是否隸屬于白色或高亮區(qū)域,從而標(biāo)記出圖像中的天空區(qū)域,但其易將近景區(qū)域中物體本身為白色的區(qū)域囊括在內(nèi);使用顏色衰減先驗理論則可以有效去除圖像中近景部分本身存在的純白色區(qū)域,但其對圖片中的高亮天空區(qū)域估計較差。因此使用二者同時對圖像中的非天空區(qū)域進(jìn)行估計,并對獲得區(qū)域取并運算,以相互彌補各自估計錯誤的區(qū)域,得到較為準(zhǔn)確的非天空區(qū)域,最終獲得較好的復(fù)原效果。
借鑒文獻(xiàn)[20-23],建立海霧天圖像降質(zhì)模型見圖1,鏡頭獲取參與成像的光線由場景中目標(biāo)物的反射光與大氣中懸浮霧霾顆粒散射作用后的環(huán)境光組成,其中目標(biāo)物的反射光在傳輸過程中會受到大氣中微粒的散射和吸收作用從而導(dǎo)致衰減,分析該模型可知海霧顆粒對光線的作用以及對成像的影響。含海霧圖像的模型為
圖1 海霧顆粒對成像影響過程Fig.1 Influence process of sea fog particles on imaging
L(x,y)=L0(x,y)e-kd(x,y)+Ls(1-e-kd(x,y))
(1)
式中:采集的含霧降質(zhì)圖像為L(x,y),d(x,y)為場景深度,L0(x,y)e-kd(x,y)為入射光衰減模型,Ls(1-e-kd(x,y))為大氣光成像模型,Ls為環(huán)境光亮度,e-kd(x,y)為透射分布率。L0(x,y)為反射光強度。k為大氣散射系數(shù),微粒大小為γ,波長為λ,計算如式(2)所示。
(2)
通過對上述模型的分析可以得出圖像降質(zhì)的成因:低空積聚后形成的海霧顆粒直徑為10 μm左右,尺寸遠(yuǎn)遠(yuǎn)大于晴朗條件下直徑為10-4μm左右的正??諝馕⒘!R虼?,在海霧條件下,可認(rèn)為相比于波長,顆粒大小作為影響大氣散射系數(shù)的主要因素,致使對不同顏色光線近似等量散射,因此獲取的海霧圖像呈現(xiàn)灰白。同時,從式(1)中入射光衰減模型的計算公式可知,圖像亮度也會受到景深影響呈指數(shù)衰減。海霧顆粒的折射和散射作用還會在成像中引入噪聲,引起離焦模糊,圖像質(zhì)量較差。
在基于物理模型的含霧圖像復(fù)原過程中,大氣光估計值是否準(zhǔn)確決定了去霧后圖像的亮暗程度。在求解全局大氣光時,傳統(tǒng)暗通道去霧方法通常直接選取暗通道圖像中最亮的1‰像素點對應(yīng)含霧圖像中像素點的亮度值作為大氣光值。該方法受圖像中白色或高亮區(qū)域的影響,估計的大氣光值不夠準(zhǔn)確,存在較大局限性。因此,為了剔除出圖像中的白色(高亮區(qū)域),本文提出了一種融合變差函數(shù)和顏色衰減先驗理論的方法來得到較為準(zhǔn)確的全局大氣光估計值。通常直接采用暗通道圖像中最亮的1‰像素點亮度值作為大氣光值。實際情況中該方法受圖像中白色或高亮區(qū)域的影響,估計的大氣光值往往偏離實際大氣光值。
文獻(xiàn)[24]經(jīng)過大量實驗提出了一種可判斷暗通道圖像中像素點是否來自高亮區(qū)域的函數(shù),即變差函數(shù)。用公式描述如下:
(3)
式中:Ii(x,y)表示像素點(x,y)在某一顏色通道的值;m(x,y)為對應(yīng)位置像素點在3個通道的均值;S(x,y)為對應(yīng)位置的變差函數(shù)值;λ為引入的比例系數(shù),經(jīng)過大量實驗這里取經(jīng)驗值為18。
由變差函數(shù)的定義可見,S(x,y)在高亮區(qū)域非常小,在其他區(qū)域比較大。
計算含霧圖像對應(yīng)的暗通道圖像,根據(jù)變差函數(shù)判斷像素點是否隸屬于白色或高亮區(qū)域(Δ為閾值)。若S≥Δ,則將該點作為一個有效全局環(huán)境光值依據(jù),并基于變差函數(shù)求得圖像暗部,記為IVAM_dark;若S<Δ,認(rèn)為其來源于白色或高亮區(qū)域并舍棄像素點數(shù)據(jù)。
顏色衰減先驗理論是對大量含霧圖像統(tǒng)計后得到的規(guī)律。對于海上含霧監(jiān)控圖像來說,場景深度越大的區(qū)域,霧的濃度越高。根據(jù)顏色衰減先驗理論,圖像中任意區(qū)域霧的濃度與該區(qū)域像素點的明度和飽和度之差成正相關(guān),因而可以得到含霧圖像中不同區(qū)域景深的差異,用數(shù)學(xué)公式描述為
d(x,y)∝c(x,y)∝v(x,y)-s(x,y)
(4)
式中:d(x,y)表示圖像中坐標(biāo)為(x,y)處的像素點對應(yīng)的場景深度,c(x,y)為該點處的霧氣濃度,v(x,y)和s(x,y)分別代表該像素點的明度和色彩飽和度。
場景深度同亮度與飽和度之差的相關(guān)性見圖2。左邊為含霧圖像,分別截取近景、薄霧、濃霧3個30×30像素單位大小的矩形區(qū)域,統(tǒng)計其色彩明度和飽和度之差如圖2右邊從上到下3個小圖所示,可以看出場景深度越大,色彩明度和飽和度的差值越大。
圖2 顏色衰減先驗示意Fig.2 Schematic of color attenuation prior
從大氣散射模型的角度來看,顏色衰減先驗理論是指:一方面目標(biāo)場景光線在穿過空氣懸浮的微粒進(jìn)入圖像采集設(shè)備時發(fā)生了折射和散射,導(dǎo)致光線的明度和飽和度均產(chǎn)生了衰減;另一方面空氣中的微粒的折射作用,將非目標(biāo)場景中的光線引入圖像采集設(shè)備中,參與成像過程(即大氣光成像過程),導(dǎo)致含霧圖像的色彩明度增強,由于大氣光影響較大導(dǎo)致最終采集到的含霧圖像色彩明度增強而飽和度降低,且隨著霧氣濃度越大(即場景深度越大),像素的色彩明度和飽和度之差越大。
含霧圖像中天空及白色區(qū)域會影響對大氣光的準(zhǔn)確估計。針對這個問題,提出了一種融合變差函數(shù)和顏色衰減先驗理論的估計大氣光方法。首先求出含霧圖像對應(yīng)的暗通道圖像。本文結(jié)合拍攝的含海霧圖像一般包括較多天空區(qū)域的特點,同時經(jīng)過大量實驗,實驗中設(shè)置閾值取經(jīng)驗值Δ=35,求出IVAM_dark。再根據(jù)顏色衰減先驗理論,將含霧圖像轉(zhuǎn)換到HSV顏色空間,求解各個像素點的色彩明度和飽和度之差,即
D(i,j)=Iv(i,j)-Is(i,j)
(5)
式中Iv(i,j)和Is(i,j)分別為像素點(i,j)處的色彩明度和飽和度,D(i,j)為該像素點對應(yīng)的顏色衰減率。
求解整幅含霧圖像對應(yīng)的顏色衰減率圖像,并將其值按降序進(jìn)行排序,取前10%的顏色衰減率作為顏色衰減先驗變換的亮暗部分界閾值,根據(jù)該閾值得到原霧化降質(zhì)圖像的暗部,記為IHSV_dark。
對由變差函數(shù)得到的圖像暗部IVAM_dark和顏色衰減先驗理論得到的暗部IHSV_dark取并集,得到用于估計暗區(qū)域大氣環(huán)境光值A(chǔ)dark的暗部圖像Imark_dark,進(jìn)行遞減排序,選取像素值排在前1‰的含霧降質(zhì)圖像像素點集合的平均值作為Adark的值。
根據(jù)霧天圖像成像模型和大氣對光線的散射特性,含霧圖像中每個像素點所對應(yīng)的大氣耗散函數(shù)均為0到各顏色通道的最小值之間的正值,因此可以利用3通道的最小顏色分量即最小通道圖對大氣耗散函數(shù)值V進(jìn)行估計
(6)
式中Ic(i,j)為含霧圖像中坐標(biāo)(i,j)處R、G、B某一顏色通道的值。
計算的大氣耗散函數(shù)值包含了豐富的紋理和邊緣信息。而Tan[7]認(rèn)為大氣耗散函數(shù)跟場景深度數(shù)據(jù)有關(guān),僅在景深突變的區(qū)域可能會產(chǎn)生邊緣,因此,去除紋理信息對準(zhǔn)確估計大氣耗散函數(shù)十分重要。
相對總變差模型(relative total variation model,RTV)是一種不依賴紋理先驗知識和人工干預(yù),僅利用函數(shù)的總變差區(qū)分紋理和結(jié)構(gòu)信息的方法,其公式描述為
(7)
式中:p為某一局部區(qū)域,Sp和Ip分別為分解出的結(jié)構(gòu)圖和原圖在該區(qū)域的值,(Sp-Ip)2表示結(jié)構(gòu)圖和原圖的相似度,λ為權(quán)重系數(shù)。Dx、Dy和Lx、Ly分別為x和y方向上區(qū)分紋理和結(jié)構(gòu)信息的正則化系數(shù),ψ是用來預(yù)防分母為0的調(diào)整系數(shù)。
由于相對總變差模型本身的固定性,對于實際含霧降質(zhì)圖像而言,在多樣的氣象條件及拍攝方式影響下,無法適應(yīng)去霧模型中大氣透射率的粗略估計,因而必須改進(jìn)模型。
針對相對總變差模型的局限性,本文提出一種新的多級權(quán)重相對總變差模型(multi-level weight relative total variation model,MWRTV)。權(quán)重相對總變差在RTV基礎(chǔ)上引入平滑權(quán)重系數(shù)η,用于對平滑程度修正,其公式為
(8)
其中:
ax,p(i)=wx·ux
(9)
ay,p(i)=wy·uy
(10)
(11)
(12)
(13)
(14)
式中:p,Sp,Ip,(Sp-Ip)2,λ,ψ與式(7)相同;ax,p(i)和ay,p(i)為平滑項權(quán)重系數(shù),其目的是在x和y方向上區(qū)分紋理和結(jié)構(gòu)信息的正則化系數(shù)。平滑權(quán)重系數(shù)η用于修正紋理和結(jié)構(gòu)信息對最終結(jié)果的影響。
MWRTV根據(jù)不同平滑權(quán)重系數(shù)η下對圖像紋理及邊界的不同影響,采用不同η取值多級處理圖像。首先,對于輸入的暗通道圖像進(jìn)行去紋理信息處理,即使用較小的平滑權(quán)重系數(shù)η,以減少圖像內(nèi)無用的紋理信息;然后,對上述處理后的圖像進(jìn)行邊界增強處理,以突出圖像內(nèi)的邊界景深信息,即使用較大的平滑權(quán)重系數(shù)η。
圖3 多級權(quán)重相對總變差流程圖Fig.3 Flow chart of multi-level weight relative total variation model
使用多級權(quán)重相對總變差對最小值圖像進(jìn)行濾波,去除最小通道圖中包含的紋理信息得到大氣耗散函數(shù)的粗估計W。根據(jù)大氣散射模型,則可得透射率的粗估計,表示為
(15)
式中φ為去霧系數(shù)??紤]到空間透視現(xiàn)象的存在,如果完全移除霧霾,圖像看起來會不自然并且可能丟失景深信息,所以需要對遠(yuǎn)處的對象保留少量的霧霾,此外,霧霾的存在是人類感知深度的基本線索[25],并且He等[17]對此進(jìn)行了詳細(xì)論述。因此,為防止去霧過于徹底,且復(fù)原后圖片需符合真實人類視覺感受,經(jīng)過大量數(shù)據(jù)實驗測試后,φ在此取值為0.9。
引導(dǎo)濾波本質(zhì)是基于最小二乘法的最優(yōu)化過程,避免了求最優(yōu)解過程中的迭代運算。通過濾波器能夠融合引導(dǎo)圖像特征,對濾波圖像進(jìn)行修正。計算公式如下:
qi=akIi+bk,?i∈ωk
(16)
式中:I為輸入引導(dǎo)圖像,q為輸出圖像,ωk為局部濾波窗口,ak和bk是以像素k為中心的窗口系數(shù),Ii及qi分別為引導(dǎo)圖像及輸出圖像窗口內(nèi)臨近像素點。對式(16)求梯度得
?q=a?I
(17)
通過式(17)可以看出,I與q的梯度相關(guān)性能夠說明該濾波器的邊緣保持能力。定義
(18)
式中ε為正則化平滑因子,防止ak過大。計算ak和bk最優(yōu)解,保證I和q差異最小,即式(18)的值最小,就能使得q具有I的邊緣特征。求解ak和bk及式(16)可得濾波輸出q即為平滑后的區(qū)域大氣光,利用最小二乘法計算最優(yōu)解可得
(19)
(20)
本文設(shè)計了一種新的最小方差中值引導(dǎo)濾波器,其工作原理是:計算圖像模板鄰域內(nèi)的方差,選擇圖像灰度值較均勻的區(qū)域中值替代模板中心像素灰度值。而模板較均勻的區(qū)域所對應(yīng)的方差是最小的。為了獲取圖像模板中較均勻區(qū)域的中值,濾波區(qū)域R被劃分為k個重疊的子區(qū)域R1,R2,…,Rk。位于圖像中位置為(u,v)處的每一個像素,所對應(yīng)的每一個模板子區(qū)域的均值和方差通過式(21)和式(22)來計算。
(21)
(22)
對k=1,…,k,有式(23)、(24)成立
(23)
(24)
對應(yīng)方差最小子區(qū)域的中值替代模板中心像素的灰度值,即
I′(u,v)←mediank′(u,v)
(25)
(26)
設(shè)計最小方差中值引導(dǎo)濾波器時,結(jié)合式(17)、(19)、(20)可得,在求解ak和bk過程中,同一個像素會被多個窗口包含計算,從而計算可得多個系數(shù)。為解決這個問題,將該像素點的系數(shù)定義改進(jìn)為
(27)
式中,i表示為位于局部線性窗口ωk的中心像素索引,k為ωk中其他像素點的索引。
式(27)可簡化為
(28)
(29)
(30)
提出算法計算出某一子域的方差后,將該子域向外擴展一個像素,計算新的子域方差并與原方差進(jìn)行比較。若新的子域方差值小于原方差值,則繼續(xù)進(jìn)行新一輪擴展并尋找下一個子域方差進(jìn)行比較,否則將該值作為該子域的最小方差值。尋找到最小方差子域后使用其中值進(jìn)行濾波。這樣,引導(dǎo)圖與被濾波圖經(jīng)過自適應(yīng)8子區(qū)域最小方差中值引導(dǎo)濾波處理,即可得到經(jīng)過邊界增強的圖片。
透射率t(x)與距離和霧的濃度有關(guān),其大小表征了光線在大氣中的穿透能力。透射率數(shù)值越大,表示較多光線能夠穿過海霧進(jìn)入圖像采集設(shè)備,散射越少。實驗發(fā)現(xiàn),傳統(tǒng)優(yōu)化透射率圖的方法不區(qū)分像素點來源于目標(biāo)場景還是天空,在目標(biāo)場景去霧力度不足導(dǎo)致還原圖像不夠清晰,而在天空等明亮區(qū)域去霧過度會造成顏色失真。為了解決這一問題,本文提出了融合變差函數(shù)和顏色衰減先驗理論的算法來區(qū)分圖像中高亮區(qū)域和目標(biāo)場景,根據(jù)本文所得暗部圖像區(qū)域Imark_dark對初步估計的透射率進(jìn)行調(diào)整,弱化亮部圖像的去霧,增強暗部圖像的去霧。調(diào)整函數(shù)用公式表示為
(31)
其中,
(32)
式中:t0為定義的透射率下閾值,tconstraint為場景透射率約束矩陣,testimate為場景透射率粗估計矩陣,tlight為亮部場景透射率,tdark為暗部場景透射率,Δ為定義的變差函數(shù)閾值。最后利用最小方差中值引導(dǎo)濾波對調(diào)整后的透射率進(jìn)行處理,得到最終的透射率圖tfilter。
按照前文所述的融合變差函數(shù)和顏色衰減先驗原理求得大氣光Adark以及結(jié)合透射率調(diào)整函數(shù)和中值引導(dǎo)濾波優(yōu)化后的透射率tfilter,根據(jù)霧天圖像復(fù)原公式
(33)
式中t0取值為0.1,J為求得去霧后的圖像。算法流程見圖4。
本文實驗采用GPU硬件平臺NVIDIA GeForce GTX1080Ti,使用一組不同場景下的無人機航拍海霧圖片,分別采用暗通道去霧算法(DCP)[17]、基于融合的變分圖像去霧算法(FVID)[26]、基于色彩衰減先驗的快速單圖像去霧算法(CAP)[27]、基于深度學(xué)習(xí)的DehazeNet方法[28]、基于改進(jìn)梯度相似度核的交通圖像去霧算法(IGSK)[29]、多尺度窗口的自適應(yīng)透射率修復(fù)交通圖像去霧方法(MSW)[30]及本文算法進(jìn)行處理。這里選取4幅不同場景下關(guān)鍵幀圖片的實驗結(jié)果,見圖5。同時,表1中引入了信息熵、平均梯度、灰度圖像對比度及霧感知密度評估(FADE)等參數(shù),客觀評價去霧效果。
信息熵是圖像特征的一種統(tǒng)計形式,反映了圖像中的平均信息量。信息熵越大,表示圖像包含的信息越多[22,28,31]。其計算公式為
(34)
式中:i表示像素的灰度值,j表示鄰域灰度值,f(i,j)為特征二元組(i,j)出現(xiàn)的頻數(shù),N為圖像尺度。
平均梯度可以直觀反映出圖像邊緣信息的完整性[20,22]。其計算公式為
(35)
式中:M×N表示圖像的大小,?f/?x表示水平方向的梯度,?f/?y表示垂直方向的梯度。
灰度圖像對比度是一幅圖像中明暗區(qū)域最亮的白和最暗的黑之間不同亮度層級的測量,較大的對比度可以體現(xiàn)圖像中更多的信息,且更符合人眼視覺感受[22]。其計算公式為
(36)
式中,δ(i,j)=|i-j|,即相鄰像素間的灰度差;Pδ(i,j)為相鄰像素間的灰度差的像素分布概率。
本文采用的FADE評價指標(biāo)是由Choi等[25]在2015年提出的圖像去霧專用指標(biāo),其全稱為fog aware density evaluator,即霧霾濃度評價指標(biāo),是目前最權(quán)威的圖像去霧評價指標(biāo)。FADE評價指標(biāo)是一種無參考評價指標(biāo),無需參考額外的清晰圖像,無需依賴局部特征等信息,而是通過統(tǒng)計霧霾圖像及其對應(yīng)的清晰圖像差異,對霧霾圖像的特征進(jìn)行學(xué)習(xí),建立一種霧霾濃度評價模型,能準(zhǔn)確評價復(fù)原圖像中的霧霾濃度。
圖5為包含較多細(xì)節(jié)特征且含有大量天空區(qū)域的入??诮ㄖ飯D像及其復(fù)原圖像,較大的天空區(qū)域及水面上較為濃烈的霧霾區(qū)域?qū)ωS富的海岸建筑細(xì)節(jié)的復(fù)原帶來了較大困難。采用DCP算法雖然較好地復(fù)原出近景區(qū)域的建筑物與道路,但是遠(yuǎn)景天空區(qū)域仍殘留一定濃度的霧霾;FVID與CAP方法對近景建筑物區(qū)域均有不同程度的提升,但對遠(yuǎn)景區(qū)域及天空區(qū)域的復(fù)原較差;基于深度學(xué)習(xí)的DehazeNet方法雖然在圖像色調(diào)上與原圖相似度較好,但可以看到整幅圖像上存在一定的薄霧;IGSK方法與DCP方法處理效果相近,即對建筑物、道路等近景部分復(fù)原效果良好,但海面與遠(yuǎn)景部分仍含有大量霧霾噪聲;MSW方法處理后圖像較為明亮,但整圖霧霾噪聲去除效果較差,建筑物、海面等區(qū)域仍有大量霧霾噪聲存在;本文方法得到的復(fù)原圖像與原始場景相似,飽和度有較大程度的提升,且圖像遠(yuǎn)景區(qū)域及天空區(qū)域霧霾去除效果良好,近景區(qū)域建筑物紋理細(xì)節(jié)清晰,色彩飽和鮮艷。
圖6包含大量水面區(qū)域的海面船艇濃霧圖像及其復(fù)原圖像,圖像中含有大量水面濃霧區(qū)域以及相對較小的水面船艇細(xì)節(jié)區(qū)域。DCP方法較好復(fù)原了船艇區(qū)域細(xì)節(jié)信息,但同時大量損失了水面紋理特征;FVID算法在水面區(qū)域的復(fù)原上有所提升,但可以看到圖中船艇區(qū)域仍有薄霧存在;CAP方法雖然將兩個區(qū)域的信息都有所復(fù)原,但復(fù)原效果較差;DehazeNet方法得到的復(fù)原圖像亮度較低且飽和度較低;IGSK方法處理后圖像較暗,且占圖像較大面積的海面仍存在霧霾噪聲,導(dǎo)致整體圖像視覺效果較差;MSW方法處理后圖像明亮,但圖像中船艇區(qū)域存在薄霧,與FVID方法處理后效果相近;而本文方法得到的復(fù)原圖像可以清楚看到水面上的紋理信息,且船艇區(qū)域的顏色、紋理都得到了較好復(fù)原。
圖6 圖像去霧效果2Fig.6 Effect of image defogging 2
圖7為濃霧環(huán)境下海島建筑物監(jiān)控圖像及去霧復(fù)原圖像。相比于其他圖像,最大難點在于過于厚重霧霾噪聲嚴(yán)重影響了原圖像中的細(xì)節(jié)信息,圖像去霧難度較大。DCP方法得到的復(fù)原圖像對島上建筑進(jìn)行了良好的復(fù)原,但圖像的色彩飽和度較低;FVID方法得到的復(fù)原圖像可以明顯看到圖像整體亮度偏低,復(fù)原質(zhì)量較差;CAP方法得到的復(fù)原圖像雖然亮度有所提升,但整幅圖像上仍覆蓋有一定濃度的霧霾;DehazeNet方法得到的復(fù)原圖像整體色調(diào)偏藍(lán),且整幅圖片仍然存留有霧霾;IGSK方法對建筑物的細(xì)節(jié)復(fù)原效果較好,但圖片整體亮度較低;MSW方法得到的復(fù)原圖片雖亮度有所提升,但圖片整體仍存在薄霧;本文方法在保證天空、建筑物及水面區(qū)域不失真的前提下,有效地提升了建筑物區(qū)域的色彩飽和度,相對于DCP方法,色彩更加鮮艷,且整體圖像亮度較高。
圖7 圖像去霧效果3Fig.7 Effect of image defogging 3
圖8為海面船艇含霧圖像。場景中的霧霾區(qū)域主要集中于水面區(qū)域。DCP方法對船艇的上半部分細(xì)節(jié)復(fù)原效果較好,但船艇下半部分及水面區(qū)域有霧霾存在,復(fù)原效果較差;FVID方法得到的復(fù)原圖像整體色調(diào)偏暗;CAP方法雖然對水面區(qū)域的復(fù)原效果有所提升,但提升并不明顯,仍可看到霧霾的存在;DehazeNet方法得到的復(fù)原圖像與含霧圖像亮度、色調(diào)相似,但船艇下半部分及水面區(qū)域霧霾去除不徹底;IGSK方法較好地復(fù)原出水面艦船的邊緣信息,但對霧霾噪聲處理效果較差;MSW方法復(fù)原后圖片的水面區(qū)域仍殘留有大量霧霾噪聲;本文方法得到的復(fù)原圖像有效解決了其他方法的問題,在保證船體區(qū)域細(xì)節(jié)的前提下,有效地去除了水面的濃霧區(qū),水面上船只倒影清晰可見。
圖8 圖像去霧效果4Fig.8 Effect of image defogging 4
根據(jù)圖像去霧評價標(biāo)準(zhǔn),采用信息熵、平均梯度、灰度圖像對比度及FADE等客觀評價指標(biāo)對復(fù)原圖像質(zhì)量進(jìn)行評價,見表1,圖9為客觀評價指標(biāo)的柱狀圖。
圖9 去霧圖像參數(shù)評價直方圖Fig.9 Histogram of evaluation of dehazing image parameters
結(jié)合圖5~8及表1分析實驗結(jié)果可以看出,經(jīng)過基于融合的變分圖像去霧算法(FVID)得到的復(fù)原圖像與原圖像相比,圖像的信息熵、平均梯度、FADE等評價指標(biāo)有所提升,但灰度圖像對比度較小,圖像整體顏色產(chǎn)生偏差且由于海霧情況圖片整體受天空大海影響過大,造成整體亮度估計過高,去霧后圖像偏暗,去霧效果差。經(jīng)暗通道去霧算法(DCP)得到的復(fù)原圖像所測得的評價指標(biāo)雖然都有所提升,但其灰度圖像對比度仍然較低,造成整體圖像色調(diào)偏暗?;谏疃葘W(xué)習(xí)的DehazeNet方法得到的復(fù)原圖像雖然在平均梯度這一項指標(biāo)上表現(xiàn)良好,但仍然存在圖像整體色調(diào)偏暗的問題,且由于其原有訓(xùn)練數(shù)據(jù)集為大量室內(nèi)圖像及人工合成霧霾圖像,對于自然濃霧及包含景深較大的區(qū)域復(fù)原效果較差?;谏仕p先驗的快速單圖像去霧算法(CAP)得到的復(fù)原圖像在灰度圖像對比度這一評價參數(shù)上表現(xiàn)良好,獲得的復(fù)原圖像整體亮度較高,該方法在其他幾個評價參數(shù)下的表現(xiàn)較差,結(jié)合實際去霧效果也會發(fā)現(xiàn)圖像中有部分區(qū)域仍含有大量霧霾噪聲?;诟倪M(jìn)梯度相似度核的交通圖像去霧算法(IGSK)處理后圖像測得的評價參數(shù)相較于DCP算法均有不同程度提升,且平均梯度這一項指標(biāo)高于前幾種算法,但在處理海面較多的圖片時(如圖6、8),所測得的信息熵與灰度圖像對比度數(shù)值較低。多尺度窗口的自適應(yīng)透射率修復(fù)交通圖像去霧方法(MSW)處理后圖像測得的各項評價參數(shù)均表現(xiàn)良好,結(jié)合復(fù)原圖像可觀察出該方法雖對圖片整體霧霾噪聲進(jìn)行去除,但仍然存有薄霧,霧霾噪聲去除不徹底。本文算法得到復(fù)原圖像與原圖像相比信息熵最大,圖像內(nèi)含有的細(xì)節(jié)信息最多,平均梯度及灰度圖像對比度較高,評價參數(shù)FADE較低可說明圖像的整體色調(diào)與原始場景相似度較高,結(jié)合實際復(fù)原圖像可以發(fā)現(xiàn)對于海面上一些霧霾較重區(qū)域處理效果較好,得到圖像色彩更加鮮艷。
表1 去霧圖像參數(shù)評價Tab.1 Evaluation of defogging image parameters
現(xiàn)有圖像去霧算法雖然能取得一定的效果,但是去霧后圖像存在色調(diào)偏暗、色彩飽和度較低、顏色畸變的問題,適用環(huán)境有限,給海上和艦船作業(yè)中圖像監(jiān)控、目標(biāo)識別和目標(biāo)跟蹤等處理過程帶來了極大難度。針對這些問題,本文提出了一種融合變差函數(shù)和顏色衰減先驗理論的海霧圖像去霧方法。與傳統(tǒng)算法相比,本文算法的復(fù)原圖像在信息熵、平均梯度、對比度及FADE等評價指標(biāo)方面均有較大幅度提升,對惡劣海霧天氣條件下,海上監(jiān)控與艦船作業(yè)過程中改善復(fù)原圖像質(zhì)量有著積極的意義。