桂便 祝玉華 甄彤

（河南工業(yè)大學(xué) 信息科學(xué)與工程學(xué)院， 河南 鄭州? 450001）

摘? 要： 針對(duì)現(xiàn)有去霧方法在含有大面積亮白區(qū)域的圖像中，傳統(tǒng)方法有可能導(dǎo)致大氣光值估計(jì)不準(zhǔn)確，提出基于四叉樹(shù)分解的方法，避免亮白區(qū)域?qū)Υ髿夤夤烙?jì)的影響，在天空區(qū)域內(nèi)對(duì)大氣光進(jìn)行準(zhǔn)確估計(jì);同時(shí)，為避免手工特征提取及假設(shè)條件的限制，利用三個(gè)不同尺度的卷積核對(duì)原始霧圖進(jìn)行卷積操作，經(jīng)過(guò)網(wǎng)絡(luò)的一系列特征學(xué)習(xí)之后得到待細(xì)化傳播圖;然后使用圖像融合方法對(duì)其進(jìn)行細(xì)化;最后，將估計(jì)的參數(shù)代入大氣散射模型從而反演出清晰圖像。合成和真實(shí)世界的糧庫(kù)霧塵圖像的定量和定性實(shí)驗(yàn)結(jié)果表明，該算法對(duì)于圖像紋理細(xì)節(jié)以及天空區(qū)域的處理上有較好效果，且魯棒性高，普適性強(qiáng)。

關(guān)鍵詞： 糧庫(kù)圖像; 圖像去霧; 四叉樹(shù)分解; 光值估計(jì); 卷積網(wǎng)絡(luò); 圖像融合

中圖分類號(hào)： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A? ? ? ? ? ? ? ? ? ? ? 文章編號(hào)： 1004?373X（2020）14?0121?04

Research on Grain Depot Image defogging Algorithm in Hazy Environment

GUI Bian， ZHU Yuhua， ZHEN Tong

（College of Information Science and Engineering， Henan University of Technology， Zhengzhou 450001， China）

Abstract： As the traditional defogging method could cause the inaccurate estimation of atmospheric light value in the images containing large areas of bright white， a method based on Quadtree decomposition is proposed， which avoids the effect of bright white areas on the atmospheric light estimate， and accurately estimates the atmosphere light in the sky area. In order to avoid the limitation of handwork feature extraction and assumed condition， the convolution operation of the original fog map is conducted by means of the three different?scale convolution kernels， the diffusion map to be refined is obtained by a series of feature learning of the network， and then the image fusion method is used to refine it. The estimated parameters are incorporated into the atmospheric scattering model to produce a clear image. The experimental results of quantitative and qualitative of the synthetic and real?world grain depot fog image demonstrate that the algorithm has better effect on image texture details and the processing of sky area， and has high robustness and strong universality.

Keywords： grain image; image fogging; Quadtree decomposition; light value estimation; convolution network; image fusion

單幅有霧圖像去霧算法一般需要估計(jì)霧圖像形成模型中的透射率和天空亮度參數(shù)這兩個(gè)關(guān)鍵部分。為了完成這兩部分的估計(jì)，傳統(tǒng)基于先驗(yàn)的方法發(fā)現(xiàn)各種各樣新的霧相關(guān)先驗(yàn)或者通過(guò)提出新的方法來(lái)使用它們。但是，對(duì)于現(xiàn)實(shí)生活中各種各樣不同的場(chǎng)景，霧相關(guān)先驗(yàn)可能會(huì)失效。相比之下，基于學(xué)習(xí)的方法通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式來(lái)探索霧圖及其對(duì)應(yīng)透射圖之間的映射模型，改進(jìn)了傳統(tǒng)基于假設(shè)的方法，得到更加準(zhǔn)確的透射圖。然而，該類方法仍采用傳統(tǒng)方法對(duì)天空亮度參數(shù)進(jìn)行估計(jì)，導(dǎo)致對(duì)明暗變化強(qiáng)烈的圖像處理時(shí)圖像暗部細(xì)節(jié)丟失，引入了色偏、過(guò)增強(qiáng)等一系列的負(fù)面效應(yīng)。故本文提出基于四叉樹(shù)分解的方法。

1? 本文算法實(shí)現(xiàn)

1.1? 獲取大氣光

大量實(shí)驗(yàn)證明，天空區(qū)域在視覺(jué)效果表現(xiàn)上其亮度值明顯高于非天空區(qū)域，局部區(qū)域相對(duì)平滑，即像素強(qiáng)度較大，像素值之間差值較小，標(biāo)準(zhǔn)差較小[1]。因此，基于這兩種特性，本文具體實(shí)現(xiàn)算法如下：

1） 設(shè)定閾值X值為100，劃分子像素塊長(zhǎng)寬方向像素值乘積（Wn×Hn）小于100作為分解的終止條件。

2） 將輸入圖像平均劃分為4個(gè)象限，即[Pin]，n為劃分的迭代次數(shù)，i[∈][1，2，3，4]，分別代表左上限、右上限、左下限、右下限。

3） 對(duì)每一個(gè)象限，分別計(jì)算像素強(qiáng)度平均值和標(biāo)準(zhǔn)差，分別定義為Avg（[Pin]）和Std（[Pin]）。

4） 計(jì)算每個(gè)象限的最終結(jié)果Total（[Pin]），表達(dá)公式為：

[Total（Pin）=Avg（Pin）-Std（Pin）] （1）

5） 將Total（[Pin]）最大的象限分解為4個(gè)子象限，重復(fù)步驟3）、步驟4），直至滿足迭代終止條件：Wn×Hn<100。

6） 當(dāng)?shù)K止時(shí)，將Total最高區(qū)域[Totalhighn]內(nèi)的亮度強(qiáng)度平均值作為大氣光[2]A，表示為：

[A=1Wn×Hnx∈TotalhighnI（x）] （2）

圖1選擇一幅有霧圖像進(jìn)行測(cè)試，并與現(xiàn)有方法（He方法、Shwartz方法以及Tan方法）進(jìn)行試驗(yàn)對(duì)比。從圖中很明顯看出，本文方法準(zhǔn)確定位出了大氣光位置（如圖1b）中方框圈出的區(qū)域），相比之下，對(duì)比方法將大氣光都定位在了干擾物上。

1.2? 透射率估計(jì)

為估計(jì)出精確的傳輸圖，建立霧塵圖像及其傳輸圖之間的映射關(guān)系，本文提出了MS_CNN，一個(gè)可訓(xùn)練的端到端系統(tǒng)[3]，通過(guò)有監(jiān)督學(xué)習(xí)方式準(zhǔn)確地學(xué)習(xí)有霧圖像及其對(duì)應(yīng)傳輸圖之間的映射關(guān)系。

1.2.1? 網(wǎng)絡(luò)設(shè)計(jì)

1） 多尺度特征提取。在霧圖像輸入到模型之前先對(duì)圖像做預(yù)處理，預(yù)處理階段首先將原始的RGB有霧圖像歸一化到320×240，同時(shí)由于圖像灰度圖含有豐富的圖像邊緣信息，在細(xì)化傳輸圖時(shí)能起到很大作用，但是實(shí)際操作中運(yùn)算會(huì)比較復(fù)雜。因此，需要對(duì)歸一化之后的RGB圖像進(jìn)行下采樣處理，下采樣率設(shè)置為1.05，縮短網(wǎng)絡(luò)訓(xùn)練時(shí)的運(yùn)行時(shí)間，分別保留下采樣之后的RGB圖像并將其轉(zhuǎn)換為灰度圖像。經(jīng)過(guò)預(yù)處理之后的RGB圖像大小為304×228作為網(wǎng)絡(luò)第一層的輸入[4]。

采用3個(gè)不同尺度的卷積核對(duì)輸入圖像提取不同尺度的霧相關(guān)特征，用96個(gè)大小分別為11×11，9×9，7×7的卷積核，卷積跨步設(shè)為4，經(jīng)過(guò)卷積之后特征圖大小為74×55，基于Maxout激活函數(shù)強(qiáng)大的擬合能力，能夠擬合任意凸函數(shù)的特性，本文在多尺度特征提取階段的卷積層使用Maxout激活函數(shù)，取每張?zhí)卣鲌D的最大值作為輸出結(jié)果，將3種尺度卷積得到的結(jié)果經(jīng)過(guò)Maxout激活層后獲得霧相關(guān)特征圖。最后將獲得的霧相關(guān)特征圖按通道疊加以便之后的特征學(xué)習(xí)[5]。每個(gè)卷積核對(duì)有霧圖像進(jìn)行特征提取并將其表示為高維向量的過(guò)程定義為F1，具體表示如下：

[F1=max（0，W1x+b1）]? ? ? （3）

2） 特征學(xué)習(xí)。由于進(jìn)行非線性變換前的激活輸入值（y=wx+b，x為輸入）隨著網(wǎng)絡(luò)深度不斷加深或?qū)W(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，其分布不斷發(fā)生偏移，整體分布向非線性函數(shù)取值區(qū)間的極限飽和區(qū)靠攏，導(dǎo)致網(wǎng)絡(luò)收斂速度越來(lái)越慢，出現(xiàn)梯度消失的問(wèn)題[6]，因此，本文在第3層、第4層、第5層的卷積層之后引入批標(biāo)準(zhǔn)化（Batch Normalization，BN），通過(guò)一定的標(biāo)準(zhǔn)化手段，將每個(gè)隱含層神經(jīng)元的輸入值x的分布強(qiáng)制拉回到正態(tài)分布，均值為0，方差為1，以此避免梯度消失的問(wèn)題。其計(jì)算公式如下：

[BNδ，β（x）=y=δx-μσ2+φ+β]? ?（4）

式中：[μ]為x的均值;[σ2]為方差。在批標(biāo)準(zhǔn)化層之后采用ReLu作為激活函數(shù)。該激活函數(shù)在特征提取中對(duì)特征的平移、縮放和旋轉(zhuǎn)具有不變性，相比其他激活函數(shù)，省去了復(fù)雜的運(yùn)算，收斂速度較快。其定義如下：

[F（x）=max（0，x）] （5）

第6層為池化層以下采樣的方式，適當(dāng)?shù)乇３痔卣餍畔?，降低特征維度，本文采用最大池化，Padding為0，Stride為1。為了保持輸出的傳輸圖大小與輸入圖像大小一致，本文在網(wǎng)絡(luò)的第8層增加了一個(gè)上采樣層，由于上采樣會(huì)將圖像線性放大，若上采樣率過(guò)大輸出圖像將會(huì)變得模糊，而且在一定程度上限制了圖像特征[7]。因此，本文將上采樣率設(shè)置為4.2，最后輸出圖像大小為73×54。

3） 非線性回歸。由于網(wǎng)絡(luò)提取到的特征在輸出前的上采樣層有多個(gè)通道，因此，本文采用一個(gè)非線性結(jié)合器在上采樣層之后結(jié)合特征通道。

1.2.2? 網(wǎng)絡(luò)訓(xùn)練

1） 數(shù)據(jù)集。本文選擇2 000幅與糧庫(kù)場(chǎng)景大致相同的清晰圖像及其對(duì)應(yīng)的深度圖，之后基于式（2）和大氣散射模型生成傳輸圖像及其對(duì)應(yīng)的霧霾圖像。利用式（2）生成傳輸圖像時(shí)，散射系數(shù)[β]取值區(qū)間為[0.75，1.5]。[β]值過(guò)小，合成圖像中霧濃度太薄且有噪點(diǎn)產(chǎn)生;[β]值過(guò)大，透射率值t（x）超于0?；诖髿馍⑸淠Ｐ蜕伸F霾圖像時(shí)，光照強(qiáng)度A=（k，k，k），k[∈][0.7，1.0]。在合成圖像時(shí)，[β]在[0.75，1.5]隨機(jī)取4個(gè)值，最終在合成圖像中獲得8 000幅霧霾圖像和傳輸圖像數(shù)據(jù)集[8]。同理，利用Middlebury立體數(shù)據(jù)集生成40幅圖像作為驗(yàn)證集。

2） 網(wǎng)絡(luò)訓(xùn)練。先對(duì)所有權(quán)重[Wni，j]和偏置[bni，j]參數(shù)進(jìn)行初始化，初始偏置設(shè)為0。初始化完成后，本文利用隨機(jī)梯度下降法更新權(quán)重[Wni，j]和偏置[bni，j]，更新規(guī)則為：

[Wni，j=Wni，j-α??Wni，jJW，b] （6）

[bni，j=bni，j-α??bni，jJW，b] （7）

式中，[α]表示學(xué)習(xí)率，初始[α]為0.001，迭代次數(shù)每增加20次，學(xué)習(xí)率下降0.1，迭代值為70。采用式（8） 作為所提網(wǎng)絡(luò)模型的損失函數(shù)，來(lái)比較真實(shí)傳輸圖[tix]與預(yù)測(cè)傳輸圖[t*ix]之間的差值。

[Ltix，t*ix=1mi=1m（Δti）2]? （8）

式中：[Δti=tix-t*ix];i是像素點(diǎn);m是訓(xùn)練集中有霧圖像的數(shù)量。本文所提模型的具體網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

1.2.3? 傳輸圖的細(xì)化

考慮到圖像灰度圖含有豐富的圖像邊緣信息，因此本文在經(jīng)過(guò)多尺度卷積神經(jīng)網(wǎng)絡(luò)獲取到圖像的粗略傳輸圖之后，采用圖像融合的方法，將灰度圖像和粗略傳輸圖像融合成高質(zhì)量的傳輸圖像。圖像融合能夠?qū)⒒叶葓D像和粗略傳輸圖像中對(duì)同一對(duì)象的有力信息結(jié)合起來(lái)[9]，對(duì)圖像的可靠信息充分利用，改善目標(biāo)圖像的清晰度。本文采用加權(quán)平均融合，可以最大限度地保留原始圖像中的細(xì)節(jié)信息。加權(quán)方法公式為：

[I（x，y）=θ1·i1（x，y）+θ2·i2（x，y）] （9）

式中：[θ1]和[θ2]為加權(quán)系數(shù)，滿足[θ1]+[θ2]=1;[（x，y）]為像素的坐標(biāo)位置;[i1（x，y）]為灰度圖像;[i2（x，y）]為粗略傳輸圖像，經(jīng)過(guò)實(shí)驗(yàn)，選定加權(quán)系數(shù)[θ1]為0.4，[θ2]為0.6。

1.2.4? 復(fù)原無(wú)霧圖像

利用所提算法獲得A和t（x）的估計(jì)值之后，開(kāi)始復(fù)原清晰圖像。但是當(dāng)傳輸t（x）的值趨近于0時(shí)，J（x）值偏大，容易出現(xiàn)噪點(diǎn)[10]，因此本文對(duì)于t（x）的值設(shè)定一個(gè)下限值0.1，最終的去霧公式如下：

[J（x）=I（x）-Amax{0.1，t（x）}+A]? （10）

2? 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文所提方法的有效性，在真實(shí)和合成霧霾圖像上進(jìn)行了幾組實(shí)驗(yàn)。將實(shí)驗(yàn)結(jié)果與先進(jìn)算法（He方法、Tarel方法、Meng方法、DehazeNet方法）等作對(duì)比，同時(shí)進(jìn)行定性和定量分析。實(shí)驗(yàn)平臺(tái)為Matlab 2016a，運(yùn)行環(huán)境為64位Windows 7，計(jì)算機(jī)配置為Intel[?]Core（TM） i5?3470 CPU @3.20 GHz，內(nèi)存8 GB。

2.1? 合成圖像對(duì)比實(shí)驗(yàn)

本文使用4個(gè)例子：車輛、道路、庫(kù)區(qū)、門口。同時(shí)，為公平起見(jiàn)，本實(shí)驗(yàn)圖像尺寸均為304×228，在同一臺(tái)PC機(jī)，同一環(huán)境運(yùn)行。圖3展示了不同算法的去霧結(jié)果。從圖3可以看出，He方法和DehazeNet方法結(jié)果更接近于地面清晰圖像，但He方法基于無(wú)霧圖像的暗通道圖像往往趨于0，傾向于高估霧厚度，最終導(dǎo)致去霧后圖像顏色偏暗;Meng方法過(guò)度去霧，導(dǎo)致去霧結(jié)果顏色偏深;Tarel去霧效果較差，去霧結(jié)果上下對(duì)比明顯，下半部分沒(méi)有實(shí)現(xiàn)去霧[11];DehazeNet方法去霧結(jié)果有一些殘余的霧度，去霧結(jié)果偏暗。相比之下，本文所提算法從視覺(jué)效果上看更舒適，顏色較亮，對(duì)于天空區(qū)域的處理也較為自然，且對(duì)于較遠(yuǎn)處的物體，能較好地去除霧氣。

2.2? 真實(shí)圖像對(duì)比實(shí)驗(yàn)

圖4為真實(shí)圖像上不同算法去霧后各個(gè)指標(biāo)的結(jié)果。

相比He算法，本文算法運(yùn)行時(shí)間明顯縮短。所有算法中本文算法的MSE值是最低的，說(shuō)明本文算法去霧結(jié)果失真差異較小，圖像內(nèi)容更接近于原圖像。

總體上來(lái)說(shuō)，本文算法的PSNR指標(biāo)占有優(yōu)勢(shì)，說(shuō)明該算法的去霧結(jié)果受噪聲影響較小，結(jié)果比較清晰;同時(shí)，在SSIM指標(biāo)上，本文算法結(jié)果明顯高于Meng算法和Tarel算法，與He方法和DehazeNet方法結(jié)果大致相當(dāng)，說(shuō)明所提算法在圖像邊緣細(xì)節(jié)處處理結(jié)果較好。

3? 結(jié)? 語(yǔ)

針對(duì)基于學(xué)習(xí)的方法在進(jìn)行圖像復(fù)原時(shí)，往往采用傳統(tǒng)方法估計(jì)大氣光，造成圖像暗部細(xì)節(jié)丟失，同時(shí)為克服亮白區(qū)域?qū)Υ髿夤庵倒烙?jì)的影響，本文首先采用四叉樹(shù)分解的方法對(duì)大氣光進(jìn)行準(zhǔn)確估計(jì);然后利用多尺度卷積神經(jīng)網(wǎng)絡(luò)通過(guò)學(xué)習(xí)的方式獲得粗略傳輸圖，避免了傳統(tǒng)手工特征提取以及先驗(yàn)條件的限制;之后基于灰度圖像含有豐富的邊緣信息，采用圖像融合的方法對(duì)傳輸圖進(jìn)行細(xì)化。

對(duì)于含有亮白區(qū)域和天空區(qū)域的有霧圖像，獲取大氣光和傳輸圖的準(zhǔn)確值，能夠保持較高的魯棒性，經(jīng)大氣散射模型復(fù)原的清晰圖像視覺(jué)效果上更為自然，細(xì)節(jié)信息突出，沒(méi)有出現(xiàn)光暈或偽影現(xiàn)象，表現(xiàn)出較好的去霧效果。

注：本文通訊作者為甄彤。

參考文獻(xiàn)

[1] 向文鼎，楊平，許冰.基于自適應(yīng)閾值分割和融合透射率的圖像去霧算法[J].計(jì)算機(jī)工程，2019（5）：1?8.

[2] 趙建堂.基于深度學(xué)習(xí)的單幅圖像去霧算法[J].激光與光電子學(xué)進(jìn)展，2019（31）：1?13.

[3] 于平平，徐建格，劉學(xué)孔，等.基于明亮區(qū)域和天空識(shí)別的圖像去霧算法[J].河北工業(yè)科技，2019（3）：1?6.

[4] 雎青青，李朝鋒，桑慶兵.改進(jìn)多尺度卷積神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法[J].計(jì)算機(jī)工程與應(yīng)用，2019，55（10）：179?185.

[5] JIANG Y T， SUN C M， ZHAO Y， et al. Image dehazing using adaptive bi?channel priors on super?pixels [J]. Computer vision & image understanding， 2017， 165： 17?32.

[6] SINGH Dilbag， KUMAR Vijay. Image dehazing using Moore neighborhood?based gradient profile prior [J]. Image communication， 2019， 70： 131?144.

[7] LIU T， SONG W， DU C， et al. Fast single image defogging method based on physical model [C]// Eighth International Conference on Digital Image Processing. Chengdu： IEEE， 2016： 101?113.

[8] HE X Y， MAO J X， LIU Z W， et al. A fast algorithm for image defogging [C]// Chinese Conference on Pattern Recognition. Heidelberg： Springer， 2014： 149?158.

[9] MAKOVETSKII A， VORONIN S， KOBER V. Image dehazing using total variation regularization [M]// Rohit M Thanki， Ashish M Kothari. Applications of digital image processing XLI. Ontario： Springer， 2018： 143?150.

[10] LIU Qi， GAO Xinbo， HE Lihuo. Single image dehazing with depth?aware non?local total variation regularization [J]. IEEE transactions on image processing， 2018（7）： 202?212.

[11] KAPLAN N H， AYTEN K K， DUMLU A. Single image dehazing based on multiscale product prior and application to vision control [J]. Signal image video process， 2017，11（8）： 1389.