馮燕茹，王一斌

（1. 防災(zāi)科技學院 信息工程學院，河北 三河 065201；2. 四川師范大學 工學院，四川 成都 610068）

1 引 言

霧天條件下拍攝的戶外圖像，受大氣中懸浮氣溶膠等顆粒對光線的散射和吸收作用影響，會出現(xiàn)對比度低，色彩飽和度差，細節(jié)丟失等圖像降質(zhì)問題，為后續(xù)計算機視覺任務(wù)，如遙感監(jiān)測、交通監(jiān)控、目標跟蹤與識別等，帶來了不利的影響。因此，如何消除霧氣造成的影響，復(fù)原清晰的無霧圖像具有實際應(yīng)用價值和研究意義［1］。

目前，單幅圖像去霧的算法可分為兩類：基于先驗的圖像去霧算法和基于神經(jīng)網(wǎng)絡(luò)的去霧算法?；谙闰灥娜レF算法以大氣散射物理成像模型為理論依據(jù)，通過先驗信息來估計模型中的透射率及大氣光，最終獲取清晰圖像。例如，He 等人提出的暗通道先驗Dark Channel Prior（DCP）表明，戶外圖像中非天空區(qū)域的局部鄰域內(nèi)總有像素的某個顏色通道具有較低的像素值［2］。Fattal 等人發(fā)現(xiàn)透射率與場景反射不相關(guān)，并由此構(gòu)建求解透射率的約束方程［3］。Meng等人提出了基于邊緣及紋理約束先驗Boundary Constraint and Contextual Regularization（BCCR）的去霧算法［4］。Yoon 等人發(fā)現(xiàn)了光的波長與成像時場景目標的顏色相關(guān)，提出了基于波長自適應(yīng)先驗 Wavelength-adapitve Prior（WAP）的圖像去霧算法［5］。然而，依據(jù)觀察或信息統(tǒng)計獲得的先驗信息無法泛化到所有的霧天場景，算法的魯棒性較差，去霧精度不高。例如，DCP 無法描述霧圖中白色的前景目標，導(dǎo)致估計的透射率精度較低，去霧結(jié)果存在色差。

隨著深度學習的快速發(fā)展，基于神經(jīng)網(wǎng)絡(luò)的圖像去霧算法廣受關(guān)注。例如，Zhang 等人提出了金字塔稠密連接網(wǎng)絡(luò)Densely Connected Pyra?mid Dehazing Network（DCPDN），聯(lián)合估計透射率，大氣光及清晰圖像［6］。Yin 等人進一步將金字塔模塊與編碼解碼網(wǎng)絡(luò)相結(jié)合，提出了Residu?al Dense Pyramid Network（RDPN），它能從霧圖中捕捉有效的上下文信息，以直接估計清晰圖像［7］。受此啟發(fā)，Chen 等人提出了 Gated Con?text Aggregation Network（GCAN），進一步利用門限融合機制自適應(yīng)融合多層次的上下文特征來實現(xiàn)去霧［8］。隨著研究的深入，Shao［9］和 Yin［10］等人提出了基于先驗信息的圖像去霧網(wǎng)絡(luò)。具體來說，Shao 等人提出Domain Adaptation De?hazing Network（DADN），它利用領(lǐng)域自適應(yīng)知識獲得合成霧圖與真實霧圖間的分布差異，引導(dǎo)網(wǎng)絡(luò)去霧［9］。而 Yin 等人提出的 Attentive U-Re?current Network（AURN），將循環(huán)網(wǎng)絡(luò)生成的透射率圖視為先驗信息，引導(dǎo)后續(xù)的編碼解碼網(wǎng)絡(luò)實現(xiàn)去霧［10］。雖然此網(wǎng)絡(luò)具有較好的去霧效果，但仍存在以下問題：①網(wǎng)絡(luò)僅考慮了透射率對清晰圖像估計時的單向輔助作用，而未考慮清晰圖像對透射率估計的輔助作用，從而忽略了透射率與清晰圖像間的依賴關(guān)系；②網(wǎng)絡(luò)未充分利用透射率與清晰圖像間存在的物理約束，降低了去霧的精度；③多尺度上下文信息未充分利用，約束網(wǎng)絡(luò)表現(xiàn)力和性能。

針對上述問題，本文提出了嵌入大氣散射物理成像模型的分解合成循環(huán)細化網(wǎng)絡(luò)，該模型由兩個并行的多尺度金字塔編碼解碼網(wǎng)絡(luò)分支作為結(jié)構(gòu)框架，并將Long Short-Term Memory（LSTM）［11］循環(huán)單元和多尺度金字塔模塊嵌入到兩個網(wǎng)絡(luò)分支中。為探索透射率與清晰圖像間的依賴關(guān)系，充分利用兩者滿足的物理約束，該模型分別用兩個網(wǎng)絡(luò)分支估計透射率和清晰圖像，并將輸出的透射率，清晰圖像依據(jù)大氣散射物理成像模型合成霧圖，連同估計的透射率和清晰圖像循環(huán)作為網(wǎng)絡(luò)模型的輸入。使得清晰圖估計分支能在透射率和合成霧圖的引導(dǎo)下循環(huán)細化清晰圖像，同時透射率估計分支在清晰圖像和合成霧圖的輔助下循環(huán)細化透射率。其間，為了充分利用多尺度上下文信息，在兩個多尺度金字塔編碼解碼網(wǎng)絡(luò)的瓶頸處分別插入LSTM循環(huán)單元，增強循環(huán)間的信息交互。另一方面，網(wǎng)絡(luò)最后的多尺度金字塔模塊，能有效地利用多尺度上下文信息預(yù)測結(jié)果。實驗證明，算法在合成霧圖及真實圖像上均能取得較好的去霧效果，在視覺評價和客觀評價方面優(yōu)于現(xiàn)有的去霧算法。

2 大氣散射物理成像模型

依據(jù)1976 年McCartney 提出的大氣散射物理成像模型，霧天拍攝的降質(zhì)圖像可描述為：

其中：(x，y)為像素的坐標位置索引；I為霧天圖像；A為大氣光；J為清晰圖像；t為透射率，它與場景的深度和霧的濃度分布有關(guān)，可表示為：

其中：d(x，y)表示場景的深度，β為散射系數(shù)。t值越小，霧濃度越大；t值越大，霧濃度越小。

由此可知，t和J不但滿足公式（1）的約束關(guān)系，且t中包含的霧濃度信息可作為清晰圖像J估計的先驗信息，而清晰圖像J中包含的深度信息亦可作為透射率t估計的先驗信息。受此啟發(fā)，本文提出嵌入物理成像模型的分解合成循環(huán)細化去霧網(wǎng)絡(luò)。

3 嵌入物理成像模型的分解合成循細化網(wǎng)絡(luò)

3.1 算法原理

算法原理如圖1 所示，從中可見，本文所提的去霧算法為分解合成的循環(huán)結(jié)構(gòu)。在循環(huán)開始時，首先輸入初始霧圖，并利用網(wǎng)絡(luò)模型中的透射率估計分支和清晰圖估計分支分別從初始霧圖中估計出透射率和去霧后的清晰圖像，以實現(xiàn)分解操作；隨后依據(jù)大氣散射物理成像模型（公式（1））將估計的透射率和清晰圖像合成霧圖，以實現(xiàn)合成操作；最后，合成的霧圖級聯(lián)本次循環(huán)時估計的透射率和清晰圖像一起作為下次循環(huán)時網(wǎng)絡(luò)的輸入。循環(huán)執(zhí)行上述過程，直到循環(huán)數(shù)達到預(yù)先設(shè)置的最大循環(huán)數(shù)時停止。此時，清晰圖估計分支輸出的去霧結(jié)果，即為算法最終的結(jié)果。

圖1 嵌入物理成像模型的分解合成循環(huán)網(wǎng)絡(luò)模型流程圖Fig.1 Flowchart of decomposition-composition and re?current refinement network based on the physical imaging model

具體來說，本文所提的分解合成循環(huán)細化網(wǎng)絡(luò)結(jié)構(gòu)如圖2 所示，主要包括兩個結(jié)構(gòu)相同的多尺度金字塔編碼解碼網(wǎng)絡(luò)分支，即透射率估計分支和清晰圖像估計分支，分別預(yù)測并循環(huán)細化透射率和清晰圖像。在網(wǎng)絡(luò)循環(huán)的過程中，模型將上次循環(huán)時估計的透射率，清晰圖像以及合成的霧圖共同作為模型下次循環(huán)的輸入，此操作不但能使上次循環(huán)時估計的透射率和清晰圖像分別作為本次循環(huán)時，清晰圖像估計分支和清晰圖像估計分支的引導(dǎo)信息，還能將兩分支估計結(jié)果合成的霧圖，循環(huán)作為網(wǎng)絡(luò)的輸入，以達到充分利用兩者間物理約束，實現(xiàn)去霧的目的。相關(guān)的函數(shù)表示如下：

圖2 嵌入物理成像模型的分解合成循環(huán)細化網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 The architecture of decomposition-composition and recurrent refinement network based on physical imaging model

其中：n為循環(huán)次數(shù)；tn-1，Jn-1，In-1分別為第n-1 次循環(huán)時網(wǎng)絡(luò)輸出的透射率，清晰圖像以及合成的霧圖；tn，Jn，In分別為第n次循環(huán)時獲得透射率，清晰圖像以及合成的霧圖。[?]為級聯(lián)操作。Ht及Hj分別為透射率估計分支函數(shù)及清晰圖像估計分支函數(shù)。

如圖1 所示，n-1 次循環(huán)時網(wǎng)絡(luò)的輸出tn-1，Jn-1，級聯(lián)霧圖In-1，作為本次循環(huán)網(wǎng)絡(luò)的輸入，并由公式（3）的Ht和公式（4）的Hj分別預(yù)測第n次循環(huán)時的tn和Jn，以實現(xiàn)分解操作。隨后公式（5）依據(jù)大氣散射物理成像模型（公式（1））將網(wǎng)絡(luò)分支預(yù)計的tn和Jn合成霧圖In，并進一步級聯(lián)tn和Jn作為n+1 次循環(huán)時網(wǎng)絡(luò)的輸入，以實現(xiàn)合成操作。

3.2 多尺度金字塔編碼解碼的網(wǎng)絡(luò)分支

網(wǎng)絡(luò)中透射率估計分支及清晰圖像估計分支均具有相同的循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)，即多尺度金字塔的編碼解碼網(wǎng)絡(luò)。它在編碼解碼網(wǎng)絡(luò)中添加了LSTM 循環(huán)單元及多尺度金字塔模塊，以便加強循環(huán)間的信息交互，充分利用多尺度上下文信息。以透射率估計分支Ht為例，各組件的描述如下：

（1）編碼器

從 輸 入tn-1，Jn-1，In-1提 取 特 征 。 它 包 含 1個卷積池化層，3 個稠密模塊?？紤]到卷積池化層組合被廣泛用于圖像分類，以實現(xiàn)空間維度減少，感受野增大，我們在網(wǎng)絡(luò)的初始階段設(shè)計了1個核為3×3，步長為2 的卷積層；以及1 個核為5×5，步長為2 的最大池化層。隨后，為了最大化信息流，確保網(wǎng)絡(luò)的快速收斂，卷積池化層輸出的信息進入 dense-net121 網(wǎng)絡(luò)［6］所提供的 3 個稠密模塊。這里每個稠密模塊的最后均包含一個轉(zhuǎn)換層，以提供下采樣操作。故編碼器輸出的特征大小為輸入圖像大小的1 32。相關(guān)函數(shù)：

其中：Hcp為卷積池化層函數(shù)，He為編碼器中加轉(zhuǎn)換層的稠密模塊函數(shù)，en為第n次循環(huán)編碼器輸出。

（2）LSTM 循環(huán)單元

基于編碼解碼的循環(huán)網(wǎng)絡(luò)，僅利用網(wǎng)絡(luò)的輸出作為輸入來實現(xiàn)循環(huán)，忽略了循環(huán)時中間層信息的交互。為解決該問題，我們在編碼器與解碼器的中間嵌入卷積LSTM 循環(huán)單元，以便將本次循環(huán)時中間層捕獲的信息用于下次循環(huán)。

其中：Hlstm為卷積 LSTM 循環(huán)單元的函數(shù)，hn為當前第n次循環(huán)時卷積LSTM 循環(huán)單元的輸出。更多卷積LSTM 循環(huán)單元細節(jié)詳見3.3 節(jié)。

（3）解碼器

為將特征重構(gòu)為與輸入圖像大小一致的透射率，我們堆疊5 個稠密模塊［6］來構(gòu)成解碼器。與編碼器對應(yīng)，每個稠密模塊最后都添加一個上采樣操作，以逐步增大空間維度。相關(guān)函數(shù)如下：

其中：Hd為解碼器中添加了上采樣操作的稠密模塊函數(shù)，dn為當前第n次循環(huán)時解碼器的輸出。

（4）多尺度金字塔模塊

雖然嵌入LSTM 循環(huán)單元的編碼解碼網(wǎng)絡(luò)能充分利用網(wǎng)絡(luò)的中間信息，強化循環(huán)操作間的信息交互，但忽略了霧天場景在不同尺度下的全局信息。受全局上下文信息在目標分類及圖像分割任務(wù)中應(yīng)用的啟發(fā)［12-14］，在編碼解碼網(wǎng)絡(luò)的最后插入多尺度金字塔模塊，估計最終結(jié)果。這里，本文不但利用大的池化尺度來捕捉全局上下文信息，還利用小的池化尺度來獲取體現(xiàn)場景結(jié)構(gòu)的局部信息。

函數(shù)如下：

其中：HP1，HP2，HP3，HP4為池化層函數(shù)，分別提取池化大小為 1 32，1 16，1 8，1 4 特征；↑ 為上采樣操作，它將池化后的特征上采樣為與輸入圖像大小相同的特征；Hr為映射層，它采用核為3×3，步長為1 的卷積層將級聯(lián)的多尺度特征映射為透射率tn。

3.3 卷積LSTM 循環(huán)單元

受文獻［10］啟發(fā)，編碼器及解碼器中間層提取的特征，包含與視覺任務(wù)相關(guān)的豐富信息，在此處添加LSTM 循環(huán)單元，可最大程度捕獲當前循環(huán)時，與任務(wù)相關(guān)的重要信息，用于下次循環(huán)。這里采用卷積LSTM 實現(xiàn)該操作，它具有參數(shù)少，實現(xiàn)簡單的優(yōu)點。其結(jié)構(gòu)如圖3 所示，包含輸入門P，輸入門控制單元G，輸出門控制單元O和記憶單元C，遺忘門控制單元R。輸入門P和輸入門控制單元G共同控制進入記憶單元C的信息；遺忘門控制單元R控制記憶單元C中的信息被保留或被刪除；輸出門控制單元O控制從卷積LSTM 中輸出信息。其中P，G，O，R各包含 2 個卷積層，且2 個卷積層的輸入分別為編碼器的輸出en（見公式（6））以及第n-1 次循環(huán)時Hlstm的隱藏狀態(tài)hn-1，而LSTM 的輸出為當前第n次循環(huán)時隱藏狀態(tài)hn（見公式（7））。相同的LSTM 循環(huán)單元同樣嵌入到清晰圖像估計分支Hd中。

圖3 LSTM 循環(huán)單元結(jié)構(gòu)示意圖Fig.3 The architecture of LSTM recurrent unit

從圖4 可見，在實現(xiàn)的過程中，對于透射率估計分支和清晰圖像估計分支而言，第n-1次循環(huán)時LSTM 輸出的hn-1將作為第n次循環(huán)時LSTM 輸入，從而加強了循環(huán)時的信息交互，充分利用了編碼解碼中間層捕獲的豐富信息。

圖4 LSTM 單元的工作機制Fig.4 The work mechanism of LSTM units

4 損失函數(shù)

考慮到分解合成循環(huán)細化網(wǎng)絡(luò)在實施過程中，涉及到透射率和清晰圖像的分解合成操作，因此損失函數(shù)包括兩部分：透射率和清晰圖像估計的損失函數(shù)和合成霧圖的損失函數(shù)。假設(shè)i=1，2，…，m分別為一組Ht估計的透射率和真實透射率，其中為第n次循環(huán)時Ht估計的透射率。故Ht對應(yīng)的損失函數(shù)Lt表示為：

其中：k為分解合成循環(huán)細化網(wǎng)絡(luò)的最大循環(huán)次數(shù)，‖ ‖2為 2 范數(shù)操作。

假設(shè)Ii和i=1，2，…，m分別為一組輸入的初始霧圖和合成霧圖，則合成操作對應(yīng)的損失函數(shù)Lh為：

5 實驗結(jié)果與分析

5.1 數(shù)據(jù)集及實施細節(jié)

考慮到本網(wǎng)絡(luò)的訓練集需包含霧圖，真實透射率，清晰圖像，故利用 RESIDE［15］和 data-DCP?DN 數(shù)據(jù)集［6］來創(chuàng)建本文的訓練集及測試集。從data-DCPDN 選取4 000 對室內(nèi)霧圖，透射率和清晰圖像，這里霧圖和透射率圖利用公式（1）和公式（2）合成，且合成參數(shù)設(shè)置A∈｛0.5，1.0｝，β∈｛0.4，1.6｝同文獻［6］中參數(shù)設(shè)置。進一步從RESIDE 中選擇4000 對不同霧濃度的室外圖像對，利用公式（1）和公式（2）合成霧圖和透射率圖時 ，合 成 參 數(shù)A∈｛0.8，0.85，0.9，1.0｝，β∈｛0.04，0.06，0.08，0.1，0.12，0.16，0.2｝取值同文獻［15］。故本文的訓練集共包含8000 對室內(nèi)室 外 圖 像 。 同 理 ，從 RESIDE［15］和 data-DCP?DN［6］額外選取 400 張室外圖像對和 400 張室內(nèi)圖像對，組成包含800 對圖像的測試集Test O。最后，選取包含不同霧濃度的500 張室內(nèi)圖像及500 張室外圖像的公共測試集SOTS 來進一步測試算法性能。

算法在NVIDIA RTX 2080 Ti GPU 的PC機上，通過搭建Pytorch 深度學習的網(wǎng)絡(luò)框架實現(xiàn)。網(wǎng)絡(luò)最大循環(huán)次數(shù)n=3。初始J0設(shè)為輸入霧圖I，初始t0設(shè)為初值為0.5 的透射率圖。優(yōu)化算法選用改進的梯度下降法Adaptive Moment Estimation（Adam）算法來更新網(wǎng)絡(luò)模型的參數(shù)，其更新的操作如下所示：

其中：k為時間步，gk為時間步為k時的梯度，mk和vk分別為k時梯度的一階矩（梯度均值）和二階矩（方差），mk-1和vk-1分別為k-1 時梯度的一階矩和二階矩估計，β1和β2分別為一階矩和二階矩的指數(shù)衰減率，θk和θk+1分別為時間步為k和k+1時的參數(shù)，η為學習率，ε為維持數(shù)值穩(wěn)定性而添加的常數(shù)分別為mk和vk的偏差修正。

從公式（14）至公式（16）可見，利用Adam 來更新網(wǎng)絡(luò)權(quán)重時，首先利用公式（14）對梯度gk和梯度平方進行滑動平均，使得mk和vk的每次更新都與歷史值相關(guān)。隨后，利用公式（15）對mk和vk進行偏差修正。最后，Adam 算法利用學習率η及 修 正 的對 模 型 中 的 參 數(shù)θk進 行 更新，獲取θk+1。同其他去霧網(wǎng)絡(luò)［6-7，10］，本文也選用Adam 算法的默認參數(shù)β1=0.9，β2=0.999，ε=10-8來設(shè)置實施優(yōu)化。

5.2 模型結(jié)構(gòu)及參數(shù)分析

為了選取最優(yōu)的網(wǎng)絡(luò)循環(huán)參數(shù)n，我們分別設(shè)置n=1，2，3，4，5。其中n=1 時，網(wǎng)絡(luò)無循環(huán)，此時清晰圖像估計分支Hj獲得的結(jié)果即為最終結(jié)果。不同參數(shù)設(shè)置下的模型在SOTS 測試集上測得的量化結(jié)果如表1 所示?？梢婋S著n值的增加，模型的性能逐漸提高，但當n≥3 時，模型的性能逐減穩(wěn)定。為平衡模型的去霧精度及計算成本，本文設(shè)置網(wǎng)絡(luò)參數(shù)n=3。在此基礎(chǔ)上，進一步驗證分解合成結(jié)構(gòu)及多尺度金字塔模塊的有效性。首先，我們從模型中移除透射率估計分支Ht，僅留下清晰圖像估計分支Hj，故網(wǎng)絡(luò)的分解合成結(jié)構(gòu)去除，第n次循環(huán)時公式（4）中Hj的輸入更新為Jn-1，對應(yīng)的變異模型為w/oHt。隨后，我們從初始模型的Ht和Hj中移除多尺度金字塔模塊，使得公式（8）的輸出dn直接進入映射層Hr，對應(yīng)的變異模型為w/op。w/oHt和w/op在SOTS 測試集上測得的量化結(jié)果如表1 所示，可 見w/oHt和w/op的 SSIM 值 和 PSRN 值 均 低于初始的網(wǎng)絡(luò)模型（n=3），證明分解合成結(jié)構(gòu)及多尺度金字塔模塊能幫助網(wǎng)絡(luò)性能提升。

表1 不同參數(shù)設(shè)置及網(wǎng)絡(luò)結(jié)構(gòu)的SSIM 和PSNR 值Tab.1 Different parameters setting and network architec?ture in terms of SSIM and PSNR

5.3 透射率結(jié)果對比

綜上所述，在分解合成循環(huán)細化網(wǎng)絡(luò)中，透射率估計分支與清晰圖像估計分支相互輔助和相互約束，共同生成高精度的透射率圖和清晰圖像。為驗證透射率估計分支的有效性，選取DCP［2］，BCCR［4］，WAP［5］，DCPDN［6］算法的透射率估計結(jié)果，與本算法透射率估計結(jié)果相對比。不同算法在測試集Test O 和SOTS 的平均SSIM值如表2 所示，從中可見本文算法在所有數(shù)據(jù)集上均具有最高的SSIM 值，透射率估計的準確度較高。

表2 不同算法的透射率SSIM 值Tab.2 Transmission map by different algorithms in terms of SSIM

5.4 合成圖像去霧結(jié)果對比

為驗證算法有效性，本小節(jié)選取DADN［9］，DCPDN［6］，GCAN［8］，DNPAB［10］，RDPN［7］算法與所提算法的去霧結(jié)果進行對比。從Test O 中選取的3 幅室內(nèi)和室外霧圖，各算法的視覺對比結(jié)果如圖 5 所示。圖 5（b）~5（f）為對比算法的去霧結(jié)果，圖 5（g）為本文算法結(jié)果，圖 5（h）為真實清晰圖像。為了更好地觀察去霧效果，圖5 第三行及第五行分別為圖5 第二行及第四行對應(yīng)圖片的局部放大圖。從中可見，GCAN 算法，RDPN 算法和DNPAB 算法雖能去除霧氣，但去霧結(jié)果仍有明顯的顏色偏移。如第一行圖5（d）的窗簾顏色過白，圖 5（e）的窗簾呈現(xiàn)藍綠色，圖 5（f）的窗簾存在明顯的黑影。此外，第五行的圖5（d）和圖5（f）存在顏色過暗或過亮的問題。DCPDN 算法結(jié)果則存在色彩對比度過大的問題，如圖5（c）第一行的窗簾頂部為粉紅色，圖5（c）第二行和第四行的天空出現(xiàn)了失真的亮白色。DADN 算法結(jié)果存在明顯的霧殘余，如圖5（b）的第一行和第三行的柜子和人群處的殘霧。相比而言，本文算法能徹底除霧，其去霧結(jié)果（如圖5（g））與真實結(jié)果（如圖5（h））最接近，視覺效果最好。圖5 下方標出的PSNR/SSIM 值以及表3 列出的各算法在Test O 及SOTS 上的平均量化結(jié)果表明，本文算法在所有數(shù)據(jù)集上均具有最高的PSNR 和SSIM值。以SOTS 數(shù)據(jù)集上測得的PSNR 為例，本文算法較次優(yōu)的DADN 算法至少提高了12%。

表3 不同算法的去霧結(jié)果Tab.3 Dehazing results by different algorithms

圖5 合成圖去霧結(jié)果對比（PSNR/SSIM 值標于圖像下方，最優(yōu)結(jié)果加黑）Fig.5 The comparison of dehazing results on synthetic images（The PSNR/SSIM values are marked under each image with best results in bold）

5.5 真實圖像去霧結(jié)果對比

真實圖像的去霧結(jié)果如圖6 所示。為了更好的觀察細節(jié)及色調(diào)信息，第二行和第四行分別展示了第一行，第三行圖像中的局部細節(jié)。從中可見 DADN［9］，GCAN［8］，DNPAB［10］和 RDPN［7］的去霧結(jié)果均存在不同程度的霧殘余，如圖6（b）、6（d）、6（e）和圖 6（f）中第二行的樹林因霧殘余而導(dǎo)致綠色樹林的鮮艷度不高，此外第四行的樓房墻壁處也有明顯的霧氣。DCPDN 算法［6］結(jié)果存在對比度大，局部區(qū)域顏色偏亮的問題，如圖6（c）第一行天空顏色明顯失真。本算法結(jié)果（見圖6（g））清晰度和顏色保真度最高。

圖6 真實圖去霧結(jié)果對比Fig.6 The comparison of dehazing results on synthetic images

為進一步驗證本算法處理真實霧圖的有效性，采用無參考的圖像質(zhì)量評估指標量化結(jié)果［16］，如圖像對比度（CG）、視覺對比度（VCM）、信息熵（ENT）。CG 體現(xiàn)了圖像的色彩程度，VCM 體現(xiàn)了圖像的可視度，ENT 體現(xiàn)了去霧圖像所包含的信息量。上述三個指標值越高，表明算法的去霧效果越好。表 4 為［6-7］提供的 30 張富有挑戰(zhàn)性的真實霧圖去霧量化結(jié)果。由此可見，本文算法在三個指標上均具有較高的值，清晰度和對比度優(yōu)于已有的算法。

表4 不同算法的去霧結(jié)果Tab.4 Dehazing results by different algorithms

6 運行時間

由于本文所提的分解合成循環(huán)細化網(wǎng)絡(luò)包含分解、合成，循環(huán)細化操作，因此算法的運行時間值得關(guān)注。本節(jié)比較本文算法與DCP［2］，DADN［9］，DCPDN［6］，GCAN［8］，DNPAB［10］算 法的平均運行時間。值得一提的是，DCP 算法是傳統(tǒng)去霧算法，算法運行平臺為Matlab，其余算法為基于神經(jīng)網(wǎng)絡(luò)的去霧算法，算法運行平臺為Pytorch。傳統(tǒng)算法DCP 可直接運行代碼來實施去霧，而基于神經(jīng)網(wǎng)絡(luò)的去霧算法，如DADN，DCPDN，GCAN，DNPAB 算法，需預(yù)先訓練獲得去霧模型后，再進一步進行運行時間的對比。不同算法的單張圖像平均運行時間如表5 所示。從中可見，本算法的運行時間位于第二，明顯優(yōu)于DADN，DCPDN，DCPDN 和 DCP 算法的運行時間。GCAN 因采用單個編碼解碼網(wǎng)絡(luò)及門限融合機制實施去霧，網(wǎng)絡(luò)結(jié)構(gòu)較輕，算法效率較高，運行時間最短。相比之下，本文算法采用兩個金字塔多尺度編碼解碼網(wǎng)絡(luò)分別估計透射率和清晰圖像，較GCAN 算法的運行時間僅相差0.026 s，但算法的精度值，如PSNR，較GCAN提高了近19%。故算法能更好地平衡運行時間和精度。

表5 不同算法的單張圖像平均運行時間Tab.5 Average running time of different methods processing single image

7 結(jié) 論

為充分挖掘去霧先驗，探索透射率與清晰圖像間的約束關(guān)系，提高去霧算法的精度，提出了嵌入物理成像模型的分解合成循環(huán)細化網(wǎng)絡(luò)。此網(wǎng)絡(luò)共包含兩個結(jié)構(gòu)相同的并行循環(huán)分支：透射率估計分支及清晰圖像估計分支。前者估計透射率，后者估計清晰圖像。每次循環(huán)時，兩分支預(yù)測的透射率及清晰圖像將共同作為網(wǎng)絡(luò)的輸入，因此透射率估計分支能在包含深度信息的清晰圖像引導(dǎo)下，估計和優(yōu)化透射率；而清晰圖像估計分支能在包含霧濃度信息的透射率引導(dǎo)下，估計和優(yōu)化清晰圖。此外，每次循環(huán)時兩分支估計的結(jié)果，將通過大氣散射物理成像模型合成的霧圖并輸入到網(wǎng)絡(luò)中，以確保透射率估計分支和清晰圖像估計分支的預(yù)測結(jié)果滿足大氣散射物理成像模型的約束關(guān)系。值得一提的是，為了提高各分支的預(yù)測精度，采用嵌入LSTM 循環(huán)單元的多尺度金字塔編碼解碼網(wǎng)絡(luò)作為分支的框架，它不但能利用LSTM 捕捉每次循環(huán)時與任務(wù)相關(guān)的豐富信息用于下次循環(huán)，還能利用多尺度金字塔模塊挖掘上下文特征用于透射率估計和圖像去霧。在合成圖及真實圖上的測試表明，本文所提的嵌入物理成像模型的雙向協(xié)助網(wǎng)絡(luò)，能高效估計透射率和清晰圖像，且去霧精度較已有去霧算法至少提高了12%，單張霧圖的平均處理時間僅為0.037 s，可用于圖像去霧的工程實踐中。