賀文靖 張俊生 景 寧 王明泉 成向北

（1.中北大學(xué)信息與通信工程學(xué)院 太原 030051）（2.太原工業(yè)學(xué)院電子工程系 太原 030008）

1 引言

由于大氣中存在著水滴和灰塵等懸浮顆粒物，致使圖像在經(jīng)過氣溶膠的射散衰減后變得模糊，在被視覺系統(tǒng)采集處理時難以分辨目標物體［1～2］。因此，圖像去霧的研究對計算機圖像識別檢測領(lǐng)域有著十分重要的意義。

當前，霧天圖像去霧的方法研究眾多，一部分是基于圖像增強的去霧算法，利用圖像本身的相關(guān)物理信息進行處理，調(diào)整圖像對比度和顏色使圖像清晰，最大化地提高原始圖像的可見度。常見的圖像增強算法有直方圖均衡化算法［3］、Retinex算法［4］、同態(tài)濾波［5］和小波變換［6］等，雖然這類方法適用性廣，但在處理過程中容易出現(xiàn)色彩偏移現(xiàn)象，導(dǎo)致獲得的去霧圖像細節(jié)丟失。

另外一部分是基于先驗知識的去霧方法，該算法通過對霧天圖像進行研究獲得先驗信息，將此信息通過大氣散射模型（ASM）恢復(fù)為無霧的圖像。此方向的代表包括：He［7］等通過對大量無霧圖像與有無圖像對比研究，發(fā)現(xiàn)有霧圖像的暗通道是灰色，而無霧圖像的暗通道是黑色，基于此結(jié)合大氣射散模型提出暗通道去霧算法，但是由于這一算法速度太慢，并且當場景物體環(huán)境光［8］與大氣光相似時造成先驗理論失效，復(fù)原圖像存在亮度低色彩扭曲現(xiàn)象；Tarel［9］等提出使用濾波方法對有霧圖像進行大氣光估計，該方法不適用于所有的模糊圖像；Fattal［10］等假設(shè)前提為表面陰影和傳輸函數(shù)是無關(guān)的，通過對大氣散射模型進行運算求得傳輸函數(shù)，該方法只在局部去霧有效，在處理密集的濃霧時效果較差。Berman 等［11］提出霧線模型使用數(shù)百種顏色對無霧圖像進行近似模擬，并利用KD-tree 聚類算法將每個像素替換為其所屬聚類的中心像素，且每種顏色簇形成一個霧殖線，以霧霾線模型估計傳輸函數(shù)并復(fù)原霧天圖像。Wang等［12］為了解決天空等類似大氣光區(qū)域出現(xiàn)的曝光缺點，采用形態(tài)學(xué)算法等操作將霧天圖像的天空區(qū)域進行分離，對天空區(qū)域的傳輸函數(shù)優(yōu)化，解決天空區(qū)域處理效果不佳的問題。

本文首先將有霧圖像進行AINDAN［13］算法增強暗部，之后通過迭代獲得最佳閾值后將其分割為兩部分，大面積留白區(qū)域使用最亮通道取反去霧處理，另一部分使用DCP 導(dǎo)向去霧，然后將兩部分區(qū)域進行融合得到初始融合圖像，對初始融合圖像使用非銳化掩蔽來增強圖像的紋理細節(jié)；為使最終融合圖像保留原始顏色，本文增強圖像的同時對有霧圖像做DCP導(dǎo)向去霧處理，最后將經(jīng)去霧處理的三幅圖像與初始融合圖像做輸入，通過對多尺度圖像進行像素級別的權(quán)重融合后使用laplace 金字塔進行分解重構(gòu)得到平滑處理后的圖像，即為最終去霧圖像。

2 相關(guān)理論

2.1 大氣散射模型

大氣中存在的懸浮顆粒使通過大氣的光會衰減和散射，導(dǎo)致映射在計算機視覺的圖像變得模糊，廣泛用于描述帶霧圖像的大氣散射模型可以表示為

式中I（x）表示拍攝到的原始霧狀圖像，J（x）表示恢復(fù)的無霧清晰圖像，A 為相機或觀察者在觀測無窮遠處時的大氣光強度，t（x）為光線透射率，其表示在成像過程中從物體反射出來的光在未被霧粒子散射光量的比值；在均勻分布的大氣中，t（x）可以進一步表示為

其中，β表示大氣散射系數(shù)，d（x）表示從場景物體到拍攝器的深度。圖1 說明大氣光與目標場景在傳輸過程中散射衰減引起的成像現(xiàn)象。

2.2 暗通道先驗理論

He等［7］通過對大量戶外無霧圖像進行研究，發(fā)現(xiàn)清晰無霧的圖像里總是有一個顏色通道的灰度值很低，所以指出在暗通道先驗理論中其值往往趨于0，對于清晰無霧的暗通道圖像Jdark如下：

其中，Ω（x）表示以像素點x 為中心的一個方形窗口，上標c表示R/G/B三個通道中的一個通道，將式（1）稍作處理表示為下式：

上述推導(dǎo)已知暗通道趨于0，所以得到傳輸函數(shù)為

圖像恢復(fù)公式為式（7），當透射率t的值很小時會導(dǎo)致J 的值過大，從而出現(xiàn)圖像大幅泛白的現(xiàn)象，因此本文設(shè)置閾值t0為0.1，如下：

本文中所有的測試結(jié)果依賴于ω=0.95。

3 本文算法

3.1 算法總流程

本文算法總流程如圖2 所示，大霧天氣會使圖像顏色失真，并且在DCP去霧處理后的圖像會比原始的暗。因此，本文首先對有霧圖像使用AINDAN算法對其暗部進行增強；之后將增強的圖像進行最佳閾值分割為兩部分后分別進行處理，分割的大面積留白區(qū)域使用最亮通道取反去霧算法，從最亮通道取反去霧圖中可以看出，虛線框區(qū)域由于過暗導(dǎo)致細節(jié)丟失，在實線框區(qū)域可以看出去霧效果較佳，而其他背景區(qū)域使用DCP 導(dǎo)向去霧，在圖中可以看出經(jīng)DCP 導(dǎo)向去霧的圖像在虛線框區(qū)域曝光了，實線框部分的去霧細節(jié)保持完整；然后，將兩部分區(qū)域進行融合后得到閾值融合圖像，并使用非銳化掩蔽來增強圖像紋理細節(jié)；同時，為使最后的多尺度融合圖像保留原始圖像的色彩，對原始圖像進行DCP 導(dǎo)向去霧處理后的圖像作為多尺度融合中的一個輸入；最后將三幅去霧后的圖像與閾值融合圖像做輸入，通過圖像的對比度、亮度、飽和度三個通道進行權(quán)重融合后使用laplace 金字塔進行比重分解融合得到平滑最終的去霧圖像。

圖2 算法總流程

3.2 圖像增強

本文采用的圖像增強算法AINDAN［13］實現(xiàn)簡單、速度快且適應(yīng)性廣，能夠在不破壞圖像本身就光照好的位置基礎(chǔ)上增強圖像的暗部細節(jié)。算法步驟分為以下三步。

步驟1根據(jù)圖像亮度分布建立一個自適應(yīng)的全局映射函數(shù)，這極大地提高了圖像中暗部像素的像素值，同時也壓縮了圖像的動態(tài)范圍。首先，計算出彩色圖像的亮度值：

其中參數(shù)z 的值根據(jù)圖像自身得出，對原始圖像的累計直方圖達到0.1 的色階值L 統(tǒng)計后將其分為暗部增強處理、中和處理、亮部無需處理三部分。

如下所示：

步驟2對圖像做自適應(yīng)對比度增強，根據(jù)像素領(lǐng)域內(nèi)的平均值和像素值本身的比例做映射，從而提高圖像的整體對比度。

通過局部對比度進行增強，即不同位置具有相同像素值的像素在增強后會得到不同結(jié)果。當前像素值大于周邊像素的平均值時，當前像素值會增加，反之成立。通常，一種較好的計算方式是高斯模糊，公式如下：

式中，S（x，y）表示對比度增強結(jié)果，指數(shù)E（x，y）如下所示：

式中的下標conv 表示卷積，P 值是通過求原始亮度圖的全局均方差來決定的：

為了得到更好的對比度增強效果，一般會使用多尺度卷積增強，因為各個尺度的卷積會帶來不同的細節(jié)信息。本文分別設(shè)置為5，20，120。

步驟3顏色復(fù)原

λ設(shè)置為1 能保證圖像不會出現(xiàn)色彩偏移現(xiàn)象。

基于圖像增強在部分處理中過于激烈而造成暗部出現(xiàn)色斑，使其在視覺上變得突兀，因此，本文對放大幅度進行限制，根據(jù)圖像內(nèi)容自適應(yīng)設(shè)置，確保在增強過程中避免出現(xiàn)這樣的問題。

3.3 不同區(qū)域分割

為使融合圖像大幅度解決傳統(tǒng)DCP 去霧處理在背景類似大氣光值時導(dǎo)致的曝光問題，本文采用最佳閾值方式對灰度圖像進行分割。通過構(gòu)建一個扇形模型，最小灰度值Imin（x，y）和最大灰度值Imax（x，y），初始閾值可表示為：

利用幾何不等關(guān)系式（17）逼近擬合：

其中T0與T1分別表示灰度值大于閾值的均值和小于閾值的均值，扇形模型如圖3所示。

圖3 扇形模型幾何表示

圖4 不同曝光圖像融合

3.4 RGB亮通道取反去霧

通過對有霧圖像中大面積留白區(qū)域的特征統(tǒng)計分析得知RGB 三通道數(shù)值均值偏高，所以根據(jù)暗原色先驗方法對RGB 中的最亮通道進行取反計算，可以解決在近似大氣光區(qū)域曝光失效導(dǎo)致丟失細節(jié)的問題。

通道取反公式為

新的透射率公式為

經(jīng)過實驗得出結(jié)論，亮通道取反去霧處理對非天空區(qū)域的去霧也有一定效果，但容易導(dǎo)致圖像過暗丟失細節(jié)，所以在本文將大面積留白區(qū)域保留，與傳統(tǒng)DCP去霧圖像進行融合得到初始去霧圖像。

3.5 曝光圖像融合

由于傳統(tǒng)DCP 去霧算法存在大尺度高亮度區(qū)域失真的缺陷，本文結(jié)合曝光融合［15］處理去霧圖像可以獲得優(yōu)化效果。由于曝光不足和曝光過度，疊層中的許多圖像都包含平坦、無色的區(qū)域。這樣的區(qū)域應(yīng)該得到較少的權(quán)重，而包含明亮顏色和細節(jié)的有趣區(qū)域應(yīng)該被保留，所以通過像素級別融合，加上多尺度平滑處理得到多尺度融合圖像。

1）對比度：在過曝圖像或嚴重低曝光的區(qū)域，圖像基本是255或0，因此這些區(qū)域是很平滑的，梯度信息幾乎為0，這些也是曝光融合中要舍棄的區(qū)域——過曝部分缺乏細節(jié)，低曝光區(qū)域缺乏細節(jié)和亮度。因此用laplace算子提取圖像的梯度信息，梯度信息越小的像素在融合時占據(jù)的比重就越小，相反梯度信息越大的像素的比重就越大。對輸入的第k張圖像Ik進行對比度C的計算：

2）同樣針對過曝或嚴重低曝光的飽和度是接近于0 的，而那些飽和度高的區(qū)域常常是需要保留的區(qū)域，因此論文通過RGB 三通道標準差來衡量飽和度S 的大小，標準差越大說明飽和度越高，以此得到不同的比重：

3）亮度E 越接近0 或255，則很可能處在過曝或嚴重低曝光區(qū)域，而在128 附近的常常可以認為是曝光良好的區(qū)域，這些區(qū)域的信息在融合過程中要盡量保留，比重盡量大，如下：

σ是方差，本論文中取0.2。判斷這個點的灰度值和0.5的接近程度，如果灰度值和0.5距離越遠說明這個點的曝光水平不夠好，E 這一項的權(quán)重就會低，反之接近0.5說明該點是一個良好曝光的像素，E的值會相對變高。

上面根據(jù)對比度、飽和度、亮度三方面可以得到每個像素點在融合時的比重，三者合在一起：

其中分別C、S和E“加權(quán)”指數(shù)ωC、ωS和ωE，下標i，j 和k 是指第k 個圖像中的像素（i，j）。如果指數(shù)ω等于0，則不考慮相應(yīng)的度量，最終像素權(quán)重Wij，k將用于融合過程。

為了防止多張圖像融合，出現(xiàn)過高或者過低的值，對W 歸一化；將k 張圖像｛I1，I2，…，Ik｝各自對應(yīng)一張歸一化的比重圖｛W1，W2，…，Wk｝進行融合得到R：

使用laplace金字塔，對每張圖像分解出laplace金字塔，對應(yīng)的比重圖分解出高斯金字塔，然后根據(jù)比重對laplace金字塔做融合，從低分辨率開始上采樣疊加同尺度的融合后laplace細節(jié)，即可得到結(jié)果。

本文從高斯金字塔的低分辨率上采樣，對應(yīng)尺度的高斯金字塔結(jié)果減去這個上采樣結(jié)果，然后，下一次的上采樣結(jié)果是通過高斯金字塔的結(jié)果上采樣得到。

4 實驗結(jié)果與分析

為了驗證本文提出方法的實際性，將文獻［9］、文獻［11］、文獻［7］、文獻［16］與本文的仿真結(jié)果進行對比分析，選取同樣的霧天圖像數(shù)據(jù)從主觀評價、客觀評價兩個方面對仿真結(jié)果進行評價。實驗測試環(huán)境：CPU 為Inter Corei5-12500，顯卡為NVIDIA GeForce GTX1050 Ti，操作系統(tǒng)為WIN11，仿真軟件為Matlab2021b。

4.1 主觀分析

針對不同場景和不同程度的霧濃情況，將本文與文獻［9］、文獻［11］、文獻［7］、文獻［16］進行對比，結(jié)果如圖5所示。

圖5 不同方法復(fù)原結(jié)果比較

從圖5 可以看出，文獻［9］去霧使圖像清晰，但會使圖像在大面積留白區(qū)域出現(xiàn)嚴重色偏，或出現(xiàn)黑色斑狀，并在物體邊緣處理中不夠完善從而導(dǎo)致圖像丟失細節(jié)；文獻［11］在去霧效果上增強了圖像的清晰度和對比度，在薄霧圖像的處理中出現(xiàn)明顯黑色塊狀，視覺上較為突兀，而濃霧場景下的細節(jié)處理較為完整，但在與大氣光相似區(qū)域出現(xiàn)曝光現(xiàn)象；文獻［7］去霧使圖像清晰，在薄霧圖像處理后的細節(jié)保留較好，但在濃霧場景下的圖像去霧處理曝光嚴重使細節(jié)丟失；文獻［15］在去霧的基礎(chǔ)上增強了圖像顏色復(fù)原導(dǎo)致出現(xiàn)輕微色偏，在薄霧圖像中的處理結(jié)果較好，但在濃霧圖像下曝光嚴重使細節(jié)丟失；本文提出的圖像增強方法在處理圖像時不會破壞本身就光照好的位置，對暗部進行增強，使更多細節(jié)和紋理較清晰地表現(xiàn)出來，在圖像融合方法時將過曝或嚴重低曝光部分舍棄，保留飽和度高的區(qū)域和曝光良好區(qū)域使圖像細節(jié)保留下來，得到的去霧圖像細節(jié)完整并且提升了圖像對比度，亮度也更加均勻，具有較好的主觀效果。

4.2 客觀評價

本文使用圖像評價指標里常用的均方誤差（Mean Square Error，MSE）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）、結(jié)構(gòu)相似性（Structure Similarity Index Measure、SSIM）作為客觀評價指標。MSE 就是線性回歸的損失函數(shù)，數(shù)值越小越好，PSNR 數(shù)值表示去霧圖像與原始圖像之間的失真程度，數(shù)值越大圖像復(fù)原質(zhì)量越高，失真程度越小，SSIM 衡量兩張相似圖像的結(jié)構(gòu)相似性指標，數(shù)值越大代表輸入圖像結(jié)構(gòu)損失越小。

圖像評價指標如表1～表3所示，表1為MSE評價指標，表2為PSNR評價指標，表3為SSIM評價指標。從表1～表3中數(shù)據(jù)可以看出，本文算法處理后的圖像評價指標有明顯提高，根據(jù)表中數(shù)據(jù)可以判斷出本文算法引入的噪聲少，在圖像保留方面存有信息更為完整，在結(jié)構(gòu)相似性中的效果相比其他算法較好。

表1 均方誤差指標

表2 峰值信噪比指標

表3 結(jié)構(gòu)相似度指標

5 結(jié)語

根據(jù)傳統(tǒng)去霧處理導(dǎo)致圖像曝光和色調(diào)偏暗的問題，本文提出基于暗通道先驗的多尺度融合去霧算法，其通過AINDAN 算法增強暗部后進行閾值分割，將留白區(qū)域通過最亮通道取反能夠得到保留，另一部分使用DCP 導(dǎo)向去霧，經(jīng)去霧處理的兩部分進行初始融合的去霧圖像改善了色調(diào)偏暗和過度曝光的現(xiàn)象，同時對原始有霧圖像進行DCP導(dǎo)向去霧可以保留一定原色，最后將三幅去霧圖像與初始融合圖像作為多尺度融合的輸入，通過像素級別融合，使用laplace金字塔進行分解重構(gòu)得到多尺度平滑處理后的最終去霧圖像。實驗結(jié)果表明，本算法在原始去霧保留細節(jié)的基礎(chǔ)上能夠較好保留天空或其他留白區(qū)域，同時避免了色彩失真問題，但是，本文算法仍然是對暗通道先驗去霧算法的補充，應(yīng)提升創(chuàng)新性提出獨立的去霧思路增強圖像。