項 煜 ，叢德銘 ，張 洋 ，袁 飛

（1. 長安大學(xué)公路學(xué)院，陜西 西安 710064；2. 西南交通大學(xué)信息學(xué)院，四川 成都 611756；3. 河南省交通運(yùn)輸廳，河南 鄭州 450016；4. 河南省高速公路聯(lián)網(wǎng)監(jiān)控收費(fèi)通信服務(wù)公司，河南 鄭州 450000）

我國近年來霧霾嚴(yán)重，由于霧霾天所引起的交通事故已經(jīng)占到了交通事故總數(shù)的25%以上[1]. 由于氣象部門尚未能夠?qū)F霾天氣進(jìn)行細(xì)粒度的預(yù)報，導(dǎo)致在大霧天氣時，一些路段的車輛大量出行從而引發(fā)重大交通事故[2-3]. 目前關(guān)于霧天檢測的研究大部分還是停留在基于傳統(tǒng)特征提取的方法. 但是由于傳統(tǒng)特征由于需要人為設(shè)計，其模型遷移能力不強(qiáng)，難以適應(yīng)全國的高速公路的霧天檢測. 隨著近年來深度學(xué)習(xí)的發(fā)展，深度學(xué)習(xí)在分類、檢測等任務(wù)上取得了巨大的成功. 因此，本文中提出了一種基于深度學(xué)習(xí)的雙路深度網(wǎng)絡(luò)融合檢測算法，不僅克服傳統(tǒng)特征的遷移能力不強(qiáng)的情況，而且能夠獲得高精度的檢測結(jié)果. 該方法首先利用了霧天的視覺特征. 由于霧天會導(dǎo)致視覺上的可視距離縮短，提取霧天的視覺深度圖能夠有效反映霧天可視情況，也是判斷霧天關(guān)鍵特征. 其次，根據(jù)霧天成像的原理，提取霧天的暗通道圖像，暗通道圖像是對光照透射率的互補(bǔ)圖像，暗通道值越小的位置則是光線透射率的越高的位置. 獲得兩種特征圖之后，利用深度殘差網(wǎng)絡(luò)的強(qiáng)大建模能力，對兩種特征進(jìn)行建模分類，之后送到融合分類部分進(jìn)行融合檢測.

1 相關(guān)工作

1.1 霧天檢測

霧天檢測已經(jīng)被廣泛研究，Bronte等[4]通過計算邊緣密度結(jié)合道路消失點(diǎn)，以此來檢測霧的有無；Pavlic等[5]通過濾波提取全局的圖像描述子來檢測霧，Tan[6]、Hautiere等[7]、Busch 等[8]還分別研究了檢測環(huán)境光強(qiáng)弱、不同對比度相結(jié)合、小波變換的方法評估圖像的能見度. Schechner等[9]提出了使用由偏振濾光器的旋轉(zhuǎn)產(chǎn)生的具有不同偏振度的相同場景的兩個或更多個圖像以計算場景深度的方法. 文獻(xiàn)[10-12]中提出的方法估計場景深度，然后通過比較在不同天氣條件下捕獲的兩個圖像. Robert等[13-15]把待檢測的圖像和已知能見度的氣象圖像進(jìn)行對比分析能見度，以此來實(shí)現(xiàn)對霧天的檢測. Baumer等[16]通過數(shù)碼全景攝像機(jī)獲取的時間序列圖像，通過可以檢測到的最遠(yuǎn)的事物來實(shí)現(xiàn)對霧天的檢測.

1.2 深度學(xué)習(xí)

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)算法中的一個新興技術(shù).現(xiàn)在已經(jīng)被廣泛運(yùn)用于圖像分類[17]、人臉識別[18]、目標(biāo)檢測[19]和動作識別[20]等領(lǐng)域. 早期的 CNN （convolutional neural network）缺乏大數(shù)據(jù)，硬件性能差，不能處理復(fù)雜問題. 隨著技術(shù)的發(fā)展，許多新的CNN結(jié)構(gòu)被提出. ImageNet競賽中，Krizhevsky等[21]訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)AlexNet，借助了GPU的強(qiáng)大計算能力、深層的CNN網(wǎng)絡(luò)、隨機(jī)梯度下降（SGD）和Dropout等優(yōu)化技巧，結(jié)構(gòu)簡單并且性能較高. 2013年的ZFNet把錯誤率降到了11.2%[22].Szegedy等[23]設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)GoogleNet擁有22層的結(jié)構(gòu). He等[24]設(shè)計了一個多達(dá)152層的ResNet架構(gòu)，它擁有更深層的深度神經(jīng)網(wǎng)絡(luò)和更低的復(fù)雜度，更易于訓(xùn)練，錯誤率也降到了3.6%. Huang等[25]設(shè)計的DenseNet的每一層都直接與前面層相連，實(shí)現(xiàn)特征的重復(fù)利用，同時降低了冗余性.

深度學(xué)習(xí)網(wǎng)絡(luò)在圖像識別領(lǐng)域具有很好的效果，目前關(guān)于霧天檢測的算法大多使用傳統(tǒng)方法，少有研究者使用深度學(xué)習(xí)的方法進(jìn)行霧天的檢測. 但在去霧領(lǐng)域有用到深度學(xué)習(xí)相關(guān)的方法，Cai等[26]設(shè)計了DehazeNet用于圖像去霧，網(wǎng)絡(luò)結(jié)構(gòu)由4個連續(xù)操作（特征提取、多尺度映射、局部極值和非線性回歸）組成. Ren等[27]通過學(xué)習(xí)有霧圖像與其相應(yīng)的透射圖之間的映射，提出了一種用于單圖像去霧的多尺度深度神經(jīng)網(wǎng)絡(luò). 從去霧方法中受到啟發(fā)，本文將采用特征提取與深度學(xué)習(xí)相結(jié)合的方法來實(shí)現(xiàn)霧天檢測.

2 雙路神經(jīng)網(wǎng)絡(luò)融合模型

雙路神經(jīng)網(wǎng)絡(luò)融合模型主要分為兩路，一路學(xué)習(xí)暗通道特征，一路學(xué)習(xí)深度圖特征，見圖1. 每一路網(wǎng)絡(luò)分別進(jìn)行深度網(wǎng)絡(luò)建模，兩路最后經(jīng)過softmax后進(jìn)行融合分類，本實(shí)驗采用平均法. 以下依次對這幾個部分進(jìn)行詳細(xì)介紹

2.1 暗通道特征

暗通道先驗理論是一種圖像去霧算法[28]，這個算法性能較強(qiáng)，在去霧方面表現(xiàn)出良好的效果，具有很高的魯棒性，被廣泛應(yīng)用于圖像增強(qiáng)和圖像去霧.通過觀察在去霧過程中提取的暗通道圖片，發(fā)現(xiàn)無霧圖像的暗通道特征圖像在暗元素區(qū)域有更低的像素值，因此本文嘗試將其用在高速公路監(jiān)控視頻上的霧天檢測中.

暗通道的概念是在統(tǒng)計、分析了大量的外景無霧圖像后而定義的，就是說在大多數(shù)不覆蓋天空的局部區(qū)域中，通常有些像素會在至少一種顏色（R、G、B）通道中具有非常低的強(qiáng)度值. 該區(qū)域的光強(qiáng)度最小值很小，幾乎趨近于0，因此被稱為暗像素[28].對于圖像J，定義對于任何的一個輸入的圖像，其暗通道 Jdark可以用式（1）表示.

圖1 霧天檢測雙路神經(jīng)網(wǎng)絡(luò)融合模型Fig.1 Two-stream neural network fusion model for fog detection

式中：c為三基色的顏色通道； Jc(y) 為圖像的像素在y位置的c通道像素值； ? (x) 為以x像素點(diǎn)為核心的區(qū)域.

暗通道先驗的理論指出：

造成暗通道的暗元素首先是來自圖像中光照產(chǎn)生的陰影，例如樹木、建筑物和汽車的陰影；第二，暗元素素可以來自富有色彩的物體，如花、葉、汽車、建筑物、路標(biāo)或行人；第三，暗元素可以來自黑色物體，如車輛輪胎、路標(biāo)和樹干. 根據(jù)暗通道先驗，霧天圖像形成模型的數(shù)學(xué)描述如式（3）.

式中：I為特征圖像；J為實(shí)際場景圖像；A為大氣光強(qiáng)；x為圖像里的像素點(diǎn)；t為大氣透射度，即場景中物體所反射的光線并沒有發(fā)生任何散射，而是直接就傳輸?shù)搅藬z像機(jī)中的比例值.

進(jìn)一步假設(shè)局部區(qū)域 ? (x) 中的傳輸是恒定的.將區(qū)域的透射率表示為 t? ( x) . 在霧影成像式（3）中對局部區(qū)域進(jìn)行最小運(yùn)算，得到式中： Ic(y) 和 Jc(y) 分別為特征圖像和實(shí)際場景圖像在y位置的c通道像素值； Ac為c通道的大氣光強(qiáng).

請注意，最小操作是在3個顏色通道上獨(dú)立執(zhí)行的. 這個等式相當(dāng)于：

然后，在式（5）中的3個顏色通道中進(jìn)行最小運(yùn)算并獲得

根據(jù)前述的暗通道先驗理論有

由于 Ac始終是正的，可以推導(dǎo)出

實(shí)驗中通過調(diào)用暗通道部分公式來提取圖像的暗通道特征. 通過實(shí)驗，提取了高速公路圖像的暗通道圖像，如圖2所示.

圖2 暗通道示例Fig.2 Dark channel examples

2.2 深度圖提取

首先，將完整的卷積體系結(jié)構(gòu)引入到深度預(yù)測中，并賦予新穎的上采樣塊，從而實(shí)現(xiàn)更高分辨率的密集輸出映射，同時需要更少的參數(shù)和訓(xùn)練數(shù)據(jù). 文獻(xiàn)[29]提出一個完整的卷積架構(gòu)，架構(gòu)還包括殘差學(xué)習(xí)，以模擬單目圖像和深度圖之間的模糊映射. 為了提高輸出分辨率，提出了一種新穎的方式來有效地學(xué)習(xí)網(wǎng)絡(luò)中的特征映射上采樣. 最后為了優(yōu)化，引入了反向Huber損失，由深度圖中通常存在的值分布驅(qū)動. 該模型由單一架構(gòu)組成，經(jīng)過端對端的訓(xùn)練，不依賴后處理技術(shù)，如CRF （conditional random field algorithm）或其他細(xì)化步驟. 因此，可以在圖像或視頻上實(shí)時運(yùn)行. 使用文獻(xiàn)[29]中的模型（ResNet-UpProj）加載轉(zhuǎn)換參數(shù)，提取深度圖特征，提取的高速公路監(jiān)控視頻圖像的深度圖如圖3所示.

圖3 深度圖示例Fig.3 Depth map examples

2.3 深度卷積網(wǎng)絡(luò)建模

深度卷積神經(jīng)網(wǎng)絡(luò)在發(fā)展上主要趨勢為更深更大規(guī)模結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，往往會取得更好的性能. 因此，深層次的神經(jīng)網(wǎng)絡(luò)層出不窮. 遺憾的是，由于層次的加深，利用反向傳播算法優(yōu)化的神經(jīng)網(wǎng)絡(luò)往往難以將深層次的梯度傳到到淺層，出現(xiàn)梯度消失的情況，使得淺層的網(wǎng)絡(luò)參數(shù)難以得到合理的調(diào)整以擬合特定的數(shù)據(jù)分布.

對于該問題，深度殘差網(wǎng)絡(luò)（圖4）在多層之間使用了跳過連接（Skip-connection）的結(jié)構(gòu)，使得梯度可以根據(jù)優(yōu)化權(quán)重的情況選擇性地跳過某些層次，順利傳播到淺層以調(diào)整權(quán)重. 因此，在本論文中，利用ResNet-50的深度殘差網(wǎng)絡(luò)來對已經(jīng)提取的暗通道和深度圖進(jìn)行建模.

2.4 融合分類及優(yōu)化

圖4 深度殘差網(wǎng)絡(luò)Fig.4 Deep residual network

雙路網(wǎng)絡(luò)的輸出結(jié)果最后要輸入到融合分類部分進(jìn)行分?jǐn)?shù)融合. 整個模型從暗通道圖和深度圖輸入到整個結(jié)果輸出為一個端到端（end-to-end）的模型. 在本文中采用的是均值融合方法，使用softmax進(jìn)行激活歸一化，使用交叉熵函數(shù)作為損失函數(shù). 因此，目標(biāo)函數(shù)L描述如下：

式中：y為圖像x所對應(yīng)的真實(shí)標(biāo)簽.

表示損失函數(shù)；w為雙路模型中所有的權(quán)重； λ1為控制該正則項在目標(biāo)函數(shù)中的權(quán)重；其softmax公式描述如下：

式中：i為類別數(shù)，本實(shí)驗中K = 2為二分類；Di(x)為暗通道提取函數(shù)； ?D為暗通道圖像網(wǎng)絡(luò)建模；Pi(x) 為 深度圖提取函數(shù)； ?P為深度圖圖像網(wǎng)絡(luò)建模.

3 實(shí)驗與結(jié)果分析

3.1 數(shù)據(jù)集

為了驗證本文提出算法的有效性，搜集了河南、廣東、山西3個省份的651路視頻監(jiān)控圖像，時間跨度從2015年11月—2017年7月，全面覆蓋了各種天氣、季節(jié)、光照等條下的監(jiān)控視頻，能夠充分反映國內(nèi)高速公路的霧天情況. 從中抽取了21 000張具有代表性的高速公路圖像作為霧天檢測數(shù)據(jù)集（express way fog detection dataset，EWFD）. 與此同時，為了增強(qiáng)模型的魯棒性，從Google 圖片搜索中利用關(guān)鍵詞檢索的方式，搜索爬取了8 000張霧天和無霧的風(fēng)景圖像，作為輔助數(shù)據(jù)集. 把數(shù)據(jù)集按照7∶2∶1的比例分別劃分為訓(xùn)練集、測試集和驗證集.為了客觀評價算法的效果，采用了精確度作為基本的評價標(biāo)準(zhǔn)對結(jié)果進(jìn)行全面分析.

3.2 特征樣本分析

部分特征樣本如圖5所示.

針對樣本的暗通道特征圖如圖5（a）、（b）、（e）、（f）所示. 光照射在物體上，會存在反射和吸收. 例如紅色的物體便是吸收了紅光，反射其他光，那么該物體在其他的顏色通道中就有很低的值. 如圖5（f）所示，當(dāng)光照沒有受到霧氣的影響時，暗通道特征顯示正常，物體的暗通道值接近0；如圖5（e）所示，光照由于受到霧氣的影響，光線無法完全被反射或吸收，在有霧的區(qū)域圖像偏白，暗通道值接近1.

圖5 特征樣本圖Fig.5 Sample feature map

針對樣本的深度圖特征如圖5（c）、（d）、（g）、（h）所示. 通過估計場景深度，比較圖像深度值的方法來判斷霧的有無，為了直觀的表現(xiàn)有霧圖像與無霧圖像的區(qū)別，將深度值以坐標(biāo)形式顯示. 如圖5（h）所示，針對無霧圖像，估計的深度值為3.5；如圖5（g）所示，針對有霧圖像，估計的深度值僅有1.7.

3.3 模型實(shí)現(xiàn)及訓(xùn)練

在本論文中，基于Caffe構(gòu)建[30]提出的雙路神經(jīng)網(wǎng)絡(luò)融合模型. 該模型使用ResNet50 作為模型的骨干網(wǎng)絡(luò)（backbone network），利用交叉熵?fù)p失函數(shù)（cross-entropy loss）計算網(wǎng)絡(luò)損失用以調(diào)整網(wǎng)絡(luò). 利用網(wǎng)上搜集的輔助數(shù)據(jù)集作為預(yù)先訓(xùn)練的數(shù)據(jù)，對骨干網(wǎng)絡(luò)進(jìn)行預(yù)先訓(xùn)練，訓(xùn)練參數(shù)設(shè)置參見Alexnet.后利用預(yù)先訓(xùn)練的模型對雙路神經(jīng)網(wǎng)絡(luò)融合模型進(jìn)行初始化，后再使用EWFD數(shù)據(jù)集聯(lián)合訓(xùn)練優(yōu)化.

所有實(shí)驗均基于單路Intel I7處理器及4路NVIDIA TitanXp的計算工作站進(jìn)行. 使用隨機(jī)梯度下降算法（stochastic gradient descent，SGD）來優(yōu)化整個網(wǎng)絡(luò). 網(wǎng)絡(luò)訓(xùn)練中的批大?。╞atch size）設(shè)置為128，初始學(xué)習(xí)率（LR）設(shè)置為 0.1，沖量（momentum）設(shè)置為10-4. 整個訓(xùn)練回合（epoch）數(shù)設(shè)置為60，學(xué)習(xí)率每20個回合進(jìn)行十倍衰減.

3.4 雙路神經(jīng)網(wǎng)絡(luò)融合模型分析實(shí)驗

（1） 暗通道建模分析

為了探索暗通道特征對霧天檢測準(zhǔn)確程度的影響，對暗通道單獨(dú)建模分析. 為了實(shí)驗的公平性，該實(shí)驗也使用ResNet50作為建模網(wǎng)絡(luò). 實(shí)驗結(jié)果如表1所示（表中黑體數(shù)據(jù)為采用本文算法的實(shí)驗結(jié)果）. 從實(shí)驗結(jié)果中可以看出，RGB圖片直接分類取得了較高的準(zhǔn)確度，達(dá)到了82%. 而與暗通道相比，暗通道取得了超過10%的提高. RGB圖片中的霧天的視覺特征在神經(jīng)網(wǎng)絡(luò)中并不能很好地建模，這是由于數(shù)據(jù)集中圖片具有背景多而復(fù)雜、不容易識別的情況，而暗通道可以準(zhǔn)確將霧天的特征反映出來，再通過ResNet50的建模，可以獲得很好的實(shí)驗結(jié)果.

表1 雙路神經(jīng)網(wǎng)絡(luò)融合對比實(shí)驗Tab.1 Experiments on two-stream neural network fusion

（2） 深度圖建模分析

為了更好地了解深度圖對于整個模型的貢獻(xiàn)，單獨(dú)對深度圖的分類結(jié)果進(jìn)行了分析. 由表1可以看到，深度圖的分類結(jié)果達(dá)到了87.2%，可以明顯看出，深度圖的效果是高于RGB圖像的，但比暗通道特征差. 這是由于深度圖特征是直接利用通用模型訓(xùn)練的模型來提取的. 由于原模型訓(xùn)練中缺少高速公路這一類場景，導(dǎo)致抽取的深度圖效果并不是很好.

3.5 現(xiàn)有方法對比分析

為了更好地檢驗本文中提出的雙路神經(jīng)網(wǎng)絡(luò)融合模型的有效性，與現(xiàn)有最好的分類檢測模型進(jìn)行了對比實(shí)驗，其中包括AlexNet、VGGNet-16、ResNet-50、ResNet101等4個取得巨大成功的分類檢測模型，實(shí)驗結(jié)果如表2所示. 從表2可以看到，Alex-Net和VGGNet的準(zhǔn)確率均在80%以下，特別是AlexNet僅取得76.3%的準(zhǔn)確率，這是由于AlexNet其本身網(wǎng)絡(luò)結(jié)構(gòu)偏小，難以捕捉到復(fù)雜多變的霧天情況；VGGNet的情況與之類似，雖然層數(shù)增加到16層，其提高是有限的；殘差網(wǎng)絡(luò)的表現(xiàn)略好，Res-Net-50層達(dá)到了82.3%，但是ResNet-101卻只有不到1%的提高. 這一實(shí)驗說明，單靠網(wǎng)絡(luò)規(guī)模的增大是難以全面準(zhǔn)確估計霧天的情況的. 而由于本文中提出的雙路神經(jīng)網(wǎng)絡(luò)融合模型結(jié)合了暗通道和深度圖這兩種具有很強(qiáng)表達(dá)能力的視覺特征，再加上ResNet-50的建模能力，取得了93.7%的準(zhǔn)確率（見表2中黑體數(shù)據(jù)）.

表2 現(xiàn)有方法對比實(shí)驗Tab.2 Comparing with existing method

4 結(jié) 論

本文研究了高速公路的監(jiān)控視頻霧天檢測算法. 針對霧天檢測提出了基于深度圖的特征提取和基于暗通道的特征提取的雙路神經(jīng)網(wǎng)絡(luò)融合模型.

（1） 提出的基于雙路神經(jīng)網(wǎng)絡(luò)融合模型的高速公路霧天檢測算法框架，融合了多種特征進(jìn)行聯(lián)合分類；

（2） 首次利用了暗通道特征和深度圖特征作為霧天檢測的輸入特征；

（3） 實(shí)驗結(jié)果顯示，本文提出的霧天檢測算法框架達(dá)到了最好的水平，能夠在實(shí)際高速公路管理與運(yùn)營中應(yīng)用.

該模型在實(shí)驗數(shù)據(jù)集上取得了理想的效果，給高速公路應(yīng)用打下來良好的基礎(chǔ). 在將來的工作中，我們將會推進(jìn)高速公路的信息化、智能化管理，將研究成果推廣應(yīng)用于高速公路實(shí)際運(yùn)營.