張浩文，楊 燕，張金龍，王志偉

（1.蘭州交通大學(xué) 電子與信息工程學(xué)院，甘肅 蘭州 730070；2.國網(wǎng)甘肅省電力公司蘭州供電公司，甘肅 蘭州 730050）

0 引 言

在霧天條件下，成像設(shè)備采集圖片時會受到大氣中懸浮粒子等雜質(zhì)的影響，通常表現(xiàn)為采集到的圖片對比度下降、顏色模糊等?；趶?fù)原的去霧方法依據(jù)大氣散射模型，引入一系列先驗信息等條件，進而估計大氣光與透射率。He K 等人［1］提出基于暗通道先驗（dark channel prior，DCP）的圖像去霧算法，對于大多數(shù)有霧圖像都能取得較好的處理效果；但對含有大片天空或白色區(qū)域的圖像則失效。Yang Y等人［2］提出基于邊緣保持函數(shù)代替最小濾波擬合暗通道的去霧算法，利用冪律壓縮和線性衰減克服最小濾波的局限性，得到較為準確的透射率；但對于一些含有超遠景區(qū)域的圖像會產(chǎn)生失真現(xiàn)象。Xu Y 等人［3］提出結(jié)合暗通道和亮通道先驗理論的去霧算法，取得了不錯的復(fù)原結(jié)果；但由于透射率估計不準，復(fù)原結(jié)果局部區(qū)域仍存在失真現(xiàn)象?；趶?fù)原的去霧算法［1～14］大多需借助先驗信息，導(dǎo)致復(fù)原結(jié)果并不總是很準確。

近些年隨著人工智能與深度學(xué)習(xí)的迅速發(fā)展，一些研究人員將神經(jīng)網(wǎng)絡(luò)應(yīng)用于圖像去霧。Cai B等人［15］提出端到端的去霧網(wǎng)絡(luò)（DehazeNet）結(jié)構(gòu)，通過提取特征，結(jié)合多尺度映射與最大池化等操作得到霧氣特征，訓(xùn)練出有霧圖像的透射率，進而得到清晰圖像。Ren W Q等人［16］提出多尺度卷積神經(jīng)網(wǎng)絡(luò)（multi-scale CNN，MSCNN）結(jié)構(gòu)，結(jié)合細尺度網(wǎng)絡(luò)優(yōu)化得到透射率，進而得到復(fù)原結(jié)果。Li B 等人［17］將透射率與大氣光合并為一個變量，提出新型網(wǎng)絡(luò)結(jié)構(gòu)（all-in-one dehazing，AOD-Net）估計此變量，消除了大氣光與透射率分別訓(xùn)練的誤差，取得較好的復(fù)原效果，但復(fù)原結(jié)果整體偏暗。Liu 等人［18］提出殘差網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合有霧圖像及其假設(shè)或者先驗信息估計透射率，進而得到復(fù)原結(jié)果。Qian W 等人［19］提出一種新型去霧卷積神經(jīng)網(wǎng)絡(luò)（CNN）——CIASM-Net，該網(wǎng)絡(luò)模型包括顏色特征提取子網(wǎng)絡(luò)和深度去霧子網(wǎng)絡(luò)，并使用多尺度卷積估計透射率，進而得到復(fù)原結(jié)果。目前這類方法［6，7，15～20］得到了快速發(fā)展，并取得較為理想的效果。

本文提出了一種用以去除霧霾的注意力機制與分組多尺度并聯(lián)CNN模型。主要包含深層常規(guī)卷積模塊、淺層分組卷積模塊、殘差塊與注意力機制結(jié)構(gòu)。深層卷積主要提取RGB 通道與霧氣相關(guān)特征，淺層卷積主要克服RGB 通道的互相影響與色彩渲染造成的結(jié)果失真問題。為了克服反向傳播梯度消失與深層網(wǎng)絡(luò)特征信息丟失問題，引入殘差處理，并以通道注意力的方式合理分配特征資源，進而得到訓(xùn)練結(jié)果。

1 大氣散射模型

用大氣散射模型描述霧天條件下圖像的降質(zhì)過程為

式中 I（x）為成像設(shè)備采集到的有霧圖像，J（x）為復(fù)原的清晰圖像，t（x）為介質(zhì)透射率，A 為大氣光值。大多數(shù)研究人員借助一些先驗信息或者假設(shè)條件估計透射率與大氣光，但由于假設(shè)條件和先驗信息的引入，導(dǎo)致一定程度的主觀干擾，復(fù)原結(jié)果產(chǎn)生偏色和失真等現(xiàn)象。為此，Li 等人［17］將透射率與大氣光進行集中學(xué)習(xí)，將大氣散射模型處理如下

進一步可得

式中 f（x）＝［（I（x）-A）／t（x）＋（A -Δ）］／（I（x）-1），Δ為偏差，取值為1。

2 注意力與多尺度分組并聯(lián)網(wǎng)絡(luò)模型

網(wǎng)絡(luò)結(jié)構(gòu)主要包含深層常規(guī)卷積模塊，淺層分組卷積模塊，上、下2 個注意力模塊，5 個殘差處理模塊（RB1—RB5），整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 本文網(wǎng)絡(luò)結(jié)構(gòu)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)模型

本文采用多尺度卷積核構(gòu)成的并聯(lián)卷積結(jié)構(gòu)，學(xué)習(xí)有霧圖像與f（x）的映射關(guān)系。彩色圖像一般處理其RGB 3個顏色通道，以圖2（a）的2 個圖為例，其RGB 通道分布曲線如圖2（b）所示。

圖2 彩色圖像及其RGB分布

為消除三通道互相作用的問題，引入分組卷積與常規(guī)卷積的并聯(lián)結(jié)構(gòu)。常規(guī)卷積模塊參數(shù)如表1 所示，分組卷積模塊參數(shù)如表2所示。

表1 常規(guī)卷積模塊參數(shù)

表2 分組卷積模塊參數(shù)

深層常規(guī)卷積模塊包含8 層不同尺度卷積，主要用來提取有霧圖像RGB通道和f（x）之間的相關(guān)性特征。利用多尺度提取策略可以獲得更豐富的霧濃度相關(guān)特征，提取更全面的圖像細節(jié)信息。分組卷積模塊包含4 層卷積，前3層將有霧圖像RGB通道分組學(xué)習(xí)，克服三通道互相作用與提取的特征間互相渲染的問題。在深層卷積模塊中，隨著網(wǎng)絡(luò)層次的加深，可能出現(xiàn)梯度消失等問題。He K等人提出的殘差網(wǎng)絡(luò)結(jié)構(gòu)很好地解決了梯度消失與信息丟失問題，因此，本文對深層卷積的特征圖進行殘差處理。

在并聯(lián)結(jié)構(gòu)深層卷積模塊中，每隔兩層卷積得到一個殘差塊，即第1層和第2 層卷積的輸出特征進行殘差處理得到第一個殘差塊RB1。將RB1 作為第3 層卷積的輸入，第3層和第4層卷積的輸出特征進行殘差處理得到殘差塊RB2，以此類推。并聯(lián)結(jié)構(gòu)最后一層的輸出與原始圖像也做一次殘差，以避免特征圖信息丟失的問題，殘差處理結(jié)構(gòu)如圖3所示。

圖3 殘差處理結(jié)構(gòu)

本文對并聯(lián)結(jié)構(gòu)中深層常規(guī)卷積塊和淺層分組卷積塊的最后一層輸出特征分別進行通道注意力加權(quán)操作。通道注意力加權(quán)時，將待處理的特征圖記為Ri，i∈｛1，2｝，通道注意力權(quán)重為mi∈R1×1×C，C為特征圖通道數(shù)，則加權(quán)后的特征可表示為

在深層卷積模塊中，分別將第1，3 層和第5，7 層的輸出特征進行通道合并，并對合并后的特征進行平均池化和1 ×1卷積處理，1 ×1卷積是為了保證注意力權(quán)重個數(shù)與處理的特征通道數(shù)保持一致。淺層分組卷積模塊中，將第3層的輸出特征進行同樣的處理得到注意力權(quán)重值。通道注意力處理結(jié)構(gòu)如圖4所示，其中，Conv8 out表示深層卷積第8層的輸出特征。

圖4 通道注意力加權(quán)處理結(jié)構(gòu)

2.2 損失函數(shù)

圖像復(fù)原采用L2損失函數(shù)即均方誤差（MSE）函數(shù)作為損失函數(shù)，表達式為

式中 m為訓(xùn)練樣本數(shù)目，fi為網(wǎng)絡(luò)結(jié)構(gòu)第i 組的輸出結(jié)果，gi為第i組輸出結(jié)果對應(yīng)的標簽。

2.3 訓(xùn)練細節(jié)

本文選擇RESIDE 數(shù)據(jù)集中的1 390 張清晰圖像作為標簽，每個標簽以不同的參數(shù)合成10 張不同霧濃度的有霧圖像，即將1390張標簽對應(yīng)的13 900 張有霧圖像作為訓(xùn)練集。選擇RESIDE為測試集，包含500 張室內(nèi)合成圖，500 張室外圖。整個訓(xùn)練過程的學(xué)習(xí)率為0.000 1，訓(xùn)練集圖像大小均設(shè)為480 ×640像素，網(wǎng)絡(luò)訓(xùn)練時參數(shù)優(yōu)化方法選擇隨機梯度下降法，所有卷積步長為1。訓(xùn)練環(huán)境為NVIDIA RTX 1050Ti GPU，編程采用Pytorch深度學(xué)習(xí)框架。根據(jù)實驗，迭代次數(shù)為20 左右時，整個訓(xùn)練過程達到收斂，本文模型訓(xùn)練損失曲線如圖5所示。

圖5 本文訓(xùn)練損失曲線

2.4 圖像復(fù)原

最后根據(jù)式（4）恢復(fù)清晰圖像，本文復(fù)原模型結(jié)構(gòu)如圖6所示。本文復(fù)原公式與文獻［17］一致，但本文復(fù)原結(jié)果無論在亮度方面，還是去霧程度均優(yōu)于文獻［17］結(jié)果。圖7為本文結(jié)果與文獻［17］結(jié)果的局部對比，由白色框部分可以看出本文網(wǎng)絡(luò)對于顏色保真度較好。根據(jù)大氣成像理論，薄霧區(qū)域容易去霧過徹底導(dǎo)致顏色失真。由黑色框部分可以看出，本文在近景地面區(qū)域去霧的同時保留了更加符合視覺效果的色彩和亮度特點。

圖7 本文結(jié)果與文獻［17］結(jié)果局部對比

3 實驗結(jié)果與分析

本文選擇真實環(huán)境下的有霧圖像與合成數(shù)據(jù)集中的合成霧圖分別進行主客觀評價。在主客觀評價時，選擇了一些在圖像復(fù)原領(lǐng)域比較經(jīng)典的算法進行對比，分別為He K等人的DCP算法［1］，Cai B等人的Dehaze-Net 算法［15］，Ren W Q 等 人 的MSCCN 算 法［16］，Li B等 人 的AOD-Net 算法［17］，Yang Y等人的Haze Removal算法［2］。

3.1 主觀評價

真實環(huán)境下的實驗結(jié)果對比如圖8 所示，合成數(shù)據(jù)集中室內(nèi)與室外實驗結(jié)果對比如圖9 和圖10 所示。經(jīng)對比可以看出，相比其他算法，本文算法整體復(fù)原效果較好，去霧徹底，亮度適宜。

圖8 真實環(huán)境下霧圖及其復(fù)原結(jié)果對比（圖像1—圖像3）

圖9 測試集室外圖復(fù)原結(jié)果對比

圖10 測試集室內(nèi)圖復(fù)原結(jié)果對比

3.2 客觀評價

對于圖7所示真實霧圖復(fù)原結(jié)果采用可見邊數(shù)e與平均梯度r進行客觀指標對比分析。在RESIDE 數(shù)據(jù)集隨機選擇1 000幅合成霧圖進行峰值信噪比（peak signal to noise ratio，PSNR）與結(jié)構(gòu)相似性（structural similarity，SSIM）的定量分析，上述指標的數(shù)學(xué)計算式如下

式中 nr，n0分別為有霧圖像和無霧圖像的可見邊，Ω為無霧圖像可見邊集合，μi，μo為輸入與輸出的平均值，σ為輸入輸出的協(xié)方差，為輸入與輸出的方差，ω1，ω2為避免分母為0的常數(shù)，fi，fo為清晰圖像標簽和去霧圖像。上述4個指標越大，說明算法有效性越高。

由圖11可以看出，本文所提模型對真實霧圖的處理在客觀指標上取得了理想的評分。Haze Removal算法從大氣散射模型出發(fā)，以傳統(tǒng)的方法估計了透射率和大氣光，對于真實環(huán)境下的有霧圖像復(fù)原結(jié)果較為理想，因此其客觀指標較為理想，與本文算法相差不大。DCP 算法、Dehaze-Net算法、MSCNN算法、AOD-Net 算法在處理自然霧圖時其客觀指標均落后于本文算法。

圖11 自然霧圖客觀指標對比

由表3可以看出，本文所提模型相對其他算法在PSNR和SSIM上均取得了良好的評分，進一步表明本文算法的有效性和適用性。

表3 各算法測試集客觀指標對比

4 結(jié) 論

本文將大氣光與透射率聯(lián)合訓(xùn)練的方式極大地降低了二者分別學(xué)習(xí)引起的誤差放大問題，使訓(xùn)練過程取得較好的擬合性。利用深層常規(guī)卷積與淺層分組卷積的并聯(lián)結(jié)構(gòu)，有效解決了彩色圖像RGB 通道密切相關(guān)和互相影響，其中常規(guī)卷積用來提取其相關(guān)特征信息，分組卷積對RGB通道分組學(xué)習(xí)，進而將常規(guī)層與分組層的輸出特征融合處理，以達到互相補償與抑制的作用。最后利用改進的大氣散射模型獲得清晰圖像。實驗表明，所提模型在主觀評價與定量分析中均表現(xiàn)優(yōu)異。