陳克瓊,安加喜,布天瑞,劉 偉
(合肥學(xué)院 先進(jìn)制造工程學(xué)院,安徽 合肥 230601)
高速公路發(fā)生團(tuán)霧氣象時(shí),團(tuán)霧內(nèi)部能見(jiàn)度低,且團(tuán)霧位置極易隨大氣的漂移發(fā)生移動(dòng),從而造成車(chē)輛行駛區(qū)域能見(jiàn)度的突變而對(duì)道路行車(chē)安全產(chǎn)生嚴(yán)重威脅[1]。隨著信息技術(shù)的迅速發(fā)展,采用光譜分析、圖像處理、神經(jīng)網(wǎng)絡(luò)等技術(shù)方法實(shí)現(xiàn)雨霧氣象監(jiān)測(cè)受到了廣泛關(guān)注[2-6]。文獻(xiàn)[2]建立了一維參數(shù)化霧模型(Parameterized Fog Model, PAFOG)并且與三維的天氣研究和預(yù)報(bào)建模系統(tǒng)相融合,實(shí)現(xiàn)了對(duì)霧的識(shí)別,并建立了有效的道路交通大霧預(yù)警系統(tǒng);文獻(xiàn)[3]基于霧圖像多特征分析,提出了一種反向傳播神經(jīng)網(wǎng)絡(luò)(Back Propagation, BP)神經(jīng)網(wǎng)絡(luò)分類(lèi)方法以實(shí)現(xiàn)水面霧氣象現(xiàn)象監(jiān)測(cè);文獻(xiàn)[4]集成全球移動(dòng)通信系統(tǒng)、全球定位系統(tǒng)和地理信息服務(wù)等技術(shù),建立了高速公路雨霧檢測(cè)預(yù)警系統(tǒng);文獻(xiàn)[5]給出了團(tuán)霧信息檢測(cè)、傳輸與保存的云計(jì)算模型;文獻(xiàn)[6]基于團(tuán)霧中水凝物的散射特性分析,給出了基于水凝物激光散射性的團(tuán)霧檢測(cè)系統(tǒng)。然而,我國(guó)高速公路位置、地形多樣復(fù)雜,團(tuán)霧現(xiàn)象的發(fā)生與大氣、海拔、地形等環(huán)境因素密切相關(guān),傳統(tǒng)的雨霧氣象分析方法難以對(duì)瞬息萬(wàn)變的高速公路團(tuán)霧現(xiàn)象實(shí)現(xiàn)實(shí)時(shí)精準(zhǔn)檢測(cè),以至于無(wú)法為在高速公路中高速行駛的往來(lái)車(chē)輛提供實(shí)時(shí)有效的預(yù)警與引導(dǎo)信息,因此,對(duì)高速公路團(tuán)霧實(shí)時(shí)精準(zhǔn)檢測(cè)具有十分重要的理論與實(shí)踐應(yīng)用價(jià)值。
近年來(lái),深度學(xué)習(xí)在環(huán)境科學(xué)中得到了廣泛的應(yīng)用[7-9]。文獻(xiàn)[7]使用空間卷積神經(jīng)網(wǎng)絡(luò)(Spatial Convolutional Neural Networks, SCNNs)網(wǎng)絡(luò)對(duì)不同濃度的霧圖像FoggyCULane數(shù)據(jù)集進(jìn)行訓(xùn)練,有效提高霧天車(chē)道線(xiàn)檢測(cè)識(shí)別率;文獻(xiàn)[8]模仿人類(lèi)認(rèn)知方式,結(jié)合遷移學(xué)習(xí)和閉環(huán)控制的思想,給出了一種基于動(dòng)態(tài)交錯(cuò)組卷積的霧氣等級(jí)智能認(rèn)知方法。文獻(xiàn)[9]基于遺傳算法和反向傳播神經(jīng)網(wǎng)絡(luò)(BP)人工神經(jīng)網(wǎng)絡(luò),構(gòu)建霧氣象預(yù)測(cè)模型。在傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)中,伴隨著網(wǎng)絡(luò)結(jié)構(gòu)的深入和分支的增加,能夠由淺入深提取圖像特征信息,但其在各特征層次中對(duì)于圖像信息的提取廣度是不變的,因而對(duì)于圖像局部信息處理不盡如人意。人腦在識(shí)別事物時(shí),往往將注意力聚焦于關(guān)鍵局部信息,從而實(shí)現(xiàn)快速準(zhǔn)確的認(rèn)知。視覺(jué)注意力機(jī)制能夠基于問(wèn)題域在特定特征層次中突出表征特定關(guān)鍵信息,從而擴(kuò)充普通卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力[10-12]。因而,在高速公路團(tuán)霧認(rèn)知模型的特征表征過(guò)程中加入視覺(jué)注意力機(jī)制,能夠提高圖像特征的表征能力,提高認(rèn)知模型性能。
深度隨機(jī)配置網(wǎng)絡(luò)(Deep Stochastic configuration networks,DeepSCN)在相關(guān)約束條件下選取網(wǎng)絡(luò)權(quán)值和閾值,以實(shí)現(xiàn)遞增式學(xué)習(xí)機(jī)制,在模型實(shí)時(shí)性、有效性要求高的應(yīng)用中具有優(yōu)越性能[13-17]。針對(duì)團(tuán)霧生成時(shí)復(fù)雜的氣象環(huán)境造成的團(tuán)霧檢測(cè)效率和精度難以滿(mǎn)足要求等問(wèn)題,結(jié)合認(rèn)知科學(xué)中人腦對(duì)于視覺(jué)區(qū)域中特定部分的集中關(guān)注機(jī)制,本文提出了一種基于視覺(jué)注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知方法。首先,采用圖像通道轉(zhuǎn)換和高斯模糊濾波方法對(duì)輸入的路面圖像進(jìn)行預(yù)處理,獲得歸一化的高速路面樣本圖像集合。其次,提出了基于視覺(jué)注意力機(jī)制的團(tuán)霧圖像深度特征空間構(gòu)建方法,以構(gòu)建多層次差異化團(tuán)霧氣象特征空間表征模型。最后,構(gòu)造了基于深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級(jí)分類(lèi)器,以獲取具有強(qiáng)泛化能力的快速高準(zhǔn)確率分類(lèi)機(jī)制。最后,基于上述方法,開(kāi)展了大量實(shí)驗(yàn),通過(guò)數(shù)據(jù)與結(jié)果分析,驗(yàn)證了本文方法對(duì)于實(shí)時(shí)性、穩(wěn)定性要求較高的高速公路團(tuán)霧氣象等級(jí)認(rèn)知的可行性與優(yōu)越性。
為有效實(shí)現(xiàn)高速公路團(tuán)霧氣象的快速準(zhǔn)確認(rèn)知,本文提出的基于視覺(jué)注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧認(rèn)知模型如圖1所示。模型由訓(xùn)練層和認(rèn)知層兩層結(jié)構(gòu)構(gòu)成,各層的結(jié)構(gòu)與功能為:
圖1 基于視覺(jué)注意力機(jī)制和深度隨機(jī)配置網(wǎng)絡(luò)的高速公路團(tuán)霧等級(jí)快速認(rèn)知模型
訓(xùn)練層包括團(tuán)霧圖像預(yù)處理、基于視覺(jué)注意力機(jī)制的團(tuán)霧圖像深度特征空間構(gòu)建、基于深度隨機(jī)配置網(wǎng)絡(luò)的團(tuán)霧等級(jí)分類(lèi)器構(gòu)造。對(duì)于輸入的原始訓(xùn)練團(tuán)霧圖像樣本集合,采用顏色空間轉(zhuǎn)換與高斯模糊濾波預(yù)處理,構(gòu)造高質(zhì)量、歸一化的訓(xùn)練團(tuán)霧圖像樣本空間;通過(guò)在CNNs中融入視覺(jué)注意力機(jī)制,以構(gòu)建具有可區(qū)分細(xì)節(jié)信息的團(tuán)霧圖像的深度特征空間;構(gòu)造深度隨機(jī)配置網(wǎng)絡(luò)分類(lèi)器,以獲取全局逼近的訓(xùn)練樣本圖像的團(tuán)霧等級(jí)認(rèn)知結(jié)果,為認(rèn)知層測(cè)試團(tuán)霧圖像的團(tuán)霧氣象等級(jí)提供分類(lèi)認(rèn)知匹配準(zhǔn)則。
認(rèn)知層包括待認(rèn)知樣本深度特征空間獲取和團(tuán)霧等級(jí)分類(lèi)認(rèn)知。基于訓(xùn)練層給出的團(tuán)霧圖像深度特征數(shù)據(jù)結(jié)構(gòu),獲取測(cè)試團(tuán)霧圖像樣本空間的同維度特征表征模型;基于訓(xùn)練層給出的團(tuán)霧氣象等級(jí)分類(lèi)匹配準(zhǔn)則,獲取測(cè)試樣本的團(tuán)霧等級(jí)實(shí)時(shí)認(rèn)知結(jié)果。
高質(zhì)量的輸入圖像樣本集合能夠有效提高后續(xù)高速公路團(tuán)霧分類(lèi)認(rèn)知模型的準(zhǔn)確性。本文采用圖像通道轉(zhuǎn)換和高斯模糊濾波方法[18-19],對(duì)采集的高速公路團(tuán)霧圖像樣本進(jìn)行預(yù)處理。
首先,將采集的高速公路團(tuán)霧原始圖像由RGB域轉(zhuǎn)換至HSV域表征,以獲取更為直觀的HSV空間圖像F(x,y)={H(x,y),S(x,y),V(x,y)}以增強(qiáng)得團(tuán)霧顏色的通道對(duì)比度。其次,通過(guò)高斯模糊濾波計(jì)算構(gòu)造歸一化的輸入圖像樣本空間,以降低噪聲干擾。
由此,由上述方法對(duì)輸入的原始高速路面圖像進(jìn)行變換、濾波預(yù)處理,可分別構(gòu)造高質(zhì)量、歸一化的高速路面訓(xùn)練團(tuán)霧圖像樣本集合U={U1,…,UN}和測(cè)試團(tuán)霧圖像樣本集合Y={Y1,…,Yn}.
圖2 基于注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
CNNs在團(tuán)霧檢測(cè)方面具有很好的自學(xué)習(xí)能力,但傳統(tǒng)網(wǎng)絡(luò)在特定層次中提取圖像信息時(shí)往往是一次性無(wú)差別全部獲取,這與人類(lèi)利用一系列部分瞥見(jiàn)并選擇性地關(guān)注顯著部分從而更好地捕捉視覺(jué)結(jié)構(gòu)的視覺(jué)機(jī)理有一定差距。視覺(jué)注意力機(jī)制可以有效關(guān)注關(guān)鍵信息,同時(shí)抑制非必要特征,從而增加特征空間表達(dá)能力[10]。本文采用卷積注意力模塊(Convolutional Block Attention Module,CBAM)并融合于CNNs網(wǎng)絡(luò)中,以增強(qiáng)高速公路團(tuán)霧圖像可區(qū)分性。基于殘差網(wǎng)絡(luò)(Residual Network,ResNet)模型,本文的基于視覺(jué)注意力機(jī)制的團(tuán)霧圖像深度特征提取模型輸入為經(jīng)由濾波變換預(yù)處理后的高速路面訓(xùn)練團(tuán)霧圖像樣本,在不改變網(wǎng)絡(luò)基本結(jié)構(gòu)的前提下,在每?jī)蓚€(gè)卷積塊之間添加一個(gè)CBAM模塊,將一副圖像分解成通道和空間兩個(gè)維度,并分別從兩個(gè)獨(dú)立維度依次加入注意力權(quán)重,并獲得優(yōu)化的特征空間輸出到下一個(gè)卷積塊作為輸入,其模塊結(jié)構(gòu)如圖2所示。
基于文獻(xiàn)[10],采用先通道模塊后空間模塊串行連接方式,以實(shí)現(xiàn)更高的特征覆蓋度。假設(shè)已知由上一殘差模塊獲取的輸入特征圖空間T∈RC×H×W,則經(jīng)由CBAM模塊提取的具有注意力權(quán)重的輸出特征圖空間可基于式(1)獲得。
(1)
其中,F(xiàn)c(T)∈RC×1×1是1維通道注意力特征函數(shù),F(xiàn)S(T′)∈R1×H×W是2維空間注意力特征函數(shù),T′是通道注意力輸出特征圖空間,T″是最終優(yōu)化輸出的團(tuán)霧特征圖空間,?是逐元素乘積運(yùn)算。
這里,通道注意力特征圖空間由共享網(wǎng)絡(luò)聚合輸入特征空間的最大池化和平均池化空間獲得,空間注意力特征空間由兩個(gè)池化運(yùn)算聚合特征圖的通道信息并經(jīng)由標(biāo)準(zhǔn)卷積運(yùn)算獲得,如式(2)所示。
(2)
由此,對(duì)于分別輸入的訓(xùn)練和測(cè)試團(tuán)霧圖像樣本集合U、Y,經(jīng)過(guò)相同的基于注意力機(jī)制的可分別獲得高速路面圖像團(tuán)霧氣象信息的優(yōu)化表征C=[C1,…,CZ,Ud]和K=[K1,…,KZ],其中,Ci和Ki分別為對(duì)訓(xùn)練樣本和測(cè)試樣本構(gòu)建的Z維具有注意力顯著表征的優(yōu)化特征向量之一,Ud為訓(xùn)練樣本真實(shí)決策屬性向量,即大霧的等級(jí)標(biāo)簽。
為改善Softmax分類(lèi)對(duì)于高速公路團(tuán)霧認(rèn)知網(wǎng)絡(luò)分類(lèi)不精確、泛化能力差且處理速度慢的不足,本文采用DeepSCN網(wǎng)絡(luò)構(gòu)造團(tuán)霧等級(jí)分類(lèi)器[20],通過(guò)在約束條件下自適應(yīng)選取網(wǎng)絡(luò)權(quán)值和偏移量參數(shù)實(shí)現(xiàn)全局逼近,從而增強(qiáng)分類(lèi)模型的泛化性能。
基于所構(gòu)建的高速路面團(tuán)霧氣象特征空間C作為輸入,可基于式(3)構(gòu)建DeepSCN網(wǎng)絡(luò)作為團(tuán)霧等級(jí)分類(lèi)器獲得訓(xùn)練模型參數(shù)。
(3)
在隨機(jī)配置網(wǎng)絡(luò)中,網(wǎng)絡(luò)參數(shù)會(huì)自適應(yīng)變化從而優(yōu)化權(quán)重和偏移量,SCN分類(lèi)器具有極強(qiáng)的適應(yīng)能力。對(duì)第λ個(gè)基函數(shù)wλ和aλ進(jìn)行取值時(shí),需要通過(guò)如下約束條件:
(4)
(5)
由此,在具有最大隱含層節(jié)點(diǎn)數(shù)Lmax和可容忍誤差ε的約束條件下,基于式(3)(4)(5)可在訓(xùn)練中通過(guò)逐步增加網(wǎng)絡(luò)節(jié)點(diǎn)數(shù),直至滿(mǎn)足學(xué)習(xí)誤差條件時(shí)停止訓(xùn)練,并獲得最終的團(tuán)霧等級(jí)分類(lèi)器模型和訓(xùn)練樣本類(lèi)別標(biāo)簽。繼而,對(duì)于輸入的測(cè)試樣本的Z維優(yōu)化高速路面圖像團(tuán)霧氣象特征空間K=[K1,…,KZ],與分類(lèi)器模型進(jìn)行分類(lèi)匹配,則可獲得測(cè)試樣本最終的團(tuán)霧等級(jí)輸出向量On。
為了驗(yàn)證本文模型的可行性與有效性,從行車(chē)記錄儀上讀取6000張不同高速公路路面的圖像構(gòu)建不同濃度等級(jí)的輸入團(tuán)霧圖像樣本庫(kù),依據(jù)團(tuán)霧對(duì)交通行車(chē)的影響程度,構(gòu)建樣本庫(kù)包括無(wú)霧(能見(jiàn)度大于一千米)、輕霧(能見(jiàn)度二百米到一千米之間)、濃霧(能見(jiàn)度低于二百米)三種不同濃度的團(tuán)霧等級(jí)。部分團(tuán)霧原始圖像如圖3所示,原始圖片尺寸為309×169,通道數(shù)為3。文中進(jìn)行的對(duì)比實(shí)驗(yàn)均為從6000張高速路面圖像樣本中采用隨機(jī)抽樣的方式,以75%:25%的比例,分別構(gòu)造訓(xùn)練集和測(cè)試集,以保證實(shí)驗(yàn)樣本的隨機(jī)性和實(shí)驗(yàn)數(shù)據(jù)的可靠性。
圖3 部分原始圖像樣本
本文模型所選深度神經(jīng)網(wǎng)絡(luò)模型為ResNet50結(jié)構(gòu),學(xué)習(xí)率lr=0.002,迭代次數(shù)Epoch=2900,批大小Batch_size=32,sigmoid激活函數(shù),DeepSCN網(wǎng)絡(luò)隱含層節(jié)點(diǎn)數(shù)Lmax=1000,容忍誤差ε=0.01且η基于[1,5,10,20,30,40,50]自適應(yīng)選取最優(yōu)值。所有實(shí)驗(yàn)與仿真結(jié)果均來(lái)自飛漿paddlepaddle2.0.2, GPU V100, python3.7, 16G顯存的深度學(xué)習(xí)平臺(tái)和Windows10系統(tǒng)平臺(tái)。
圖4所示為部分不同等級(jí)團(tuán)霧輸入圖像的預(yù)處理結(jié)果。由圖4可知,與原始圖像比較,HSV空間可以非常直接的表現(xiàn)色彩的亮度、顏色以及明亮程度,從而便于實(shí)現(xiàn)色彩間的比較。另外,高斯模糊濾波也在一定程度上降低了噪聲對(duì)圖像質(zhì)量的干擾,預(yù)處理后的樣本圖像尺寸為224×224。
圖5所示為2900次迭代過(guò)程中,基于相同的輸入圖像樣本和相同的分類(lèi)器,在ResNet50網(wǎng)絡(luò)中加入CBAM模塊對(duì)于系統(tǒng)性能的影響。由圖5可知,在本次實(shí)驗(yàn)中,隨著迭代次數(shù)的增加,ResNet50和ResNet50+CBAM網(wǎng)絡(luò)對(duì)團(tuán)霧等級(jí)的認(rèn)知精度不斷增加,最后趨于穩(wěn)定,這說(shuō)明兩種網(wǎng)絡(luò)模型都具有較好的分類(lèi)性能。加入CBAM模塊的ResNet50對(duì)高速公路團(tuán)霧圖像的認(rèn)知精度遠(yuǎn)遠(yuǎn)大于ResNet50本身的認(rèn)知精度,其中ResNet50_CBAM最高認(rèn)知精度達(dá)到94.91%,而ResNet50對(duì)高速公路團(tuán)霧圖像的最高精度在90%,可見(jiàn)加入注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)對(duì)高速公路團(tuán)霧圖像的認(rèn)知精度有明顯的提升,這是由于注意力機(jī)制的加入有效提高了特征覆蓋面,在層次化特征碎片獲取的時(shí)候增加了特定的關(guān)注部位,同時(shí)抑制了一些無(wú)關(guān)冗余的信息。
圖4 部分不同等級(jí)輸入圖像預(yù)處理結(jié)果
圖5 不同深度神經(jīng)網(wǎng)絡(luò)模型的識(shí)別率對(duì)比圖
圖6所示為2900次迭代過(guò)程中,基于相同的輸入圖像樣本和相同的ResNet50+CBAM網(wǎng)絡(luò),分別采用本文的DeepSCN和傳統(tǒng)的softmax兩種分類(lèi)機(jī)制時(shí),對(duì)高速公路團(tuán)霧等級(jí)認(rèn)知的迭代次數(shù)與方差的關(guān)系對(duì)比。樣本方差描述了不同迭代次數(shù)模型預(yù)測(cè)值與均值間的離散程度,由圖6可知,隨著迭代次數(shù)的增加,采用兩種分類(lèi)機(jī)制的系統(tǒng)方差均逐漸減小,最后趨于穩(wěn)定。同時(shí),DeepSCN分類(lèi)器的迭代方差遠(yuǎn)小于softmax分類(lèi)器的迭代方差,這說(shuō)明基于DeepSCN的網(wǎng)絡(luò)分類(lèi)器對(duì)于高速公路團(tuán)霧等級(jí)分類(lèi)效果的穩(wěn)定性更具有優(yōu)勢(shì)。
圖6 不同模式分類(lèi)器的方差對(duì)比圖
為了表明本文方法的優(yōu)越性,本文以相同的訓(xùn)練樣本和測(cè)試樣本為輸入進(jìn)行對(duì)比實(shí)驗(yàn),比較了本文方法與本文的ResNet50+CBAM深度神經(jīng)網(wǎng)絡(luò)與softmax分類(lèi)、ResNet50深度神經(jīng)網(wǎng)絡(luò)與本文的DeepSCN、ResNet50深度神經(jīng)網(wǎng)絡(luò)與softmax分類(lèi)模型對(duì)于高速公路團(tuán)霧等級(jí)認(rèn)知的系統(tǒng)性能,所有實(shí)驗(yàn)均以相同的訓(xùn)練樣本和測(cè)試樣本空間進(jìn)行,所有實(shí)驗(yàn)結(jié)果均以平均識(shí)別率和標(biāo)準(zhǔn)差的形式表達(dá)。對(duì)比實(shí)驗(yàn)結(jié)果如表1所示。
表1 不同算法性能對(duì)比
從表1可以發(fā)現(xiàn),本文所提出的基于視覺(jué)注意力機(jī)制和深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級(jí)認(rèn)知方法相較于其他方法具有更優(yōu)的性能,平均認(rèn)知精度達(dá)到97.60%,且算法結(jié)果的隨機(jī)性也更低。與傳統(tǒng)的感知系統(tǒng)比較,具有注意力機(jī)制的認(rèn)知算法普遍提升3%~7%。視覺(jué)注意力機(jī)制和卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)能迅速對(duì)不同濃度團(tuán)霧的提取特征空間,并壓縮特征內(nèi)部的冗余信號(hào),從而構(gòu)建具備多層次差異性的特征空間。與此同時(shí),還構(gòu)造了快速識(shí)別的隨機(jī)配置網(wǎng)絡(luò)分類(lèi)器映射輸入單一特征空間到輸出高速公路團(tuán)霧濃度等級(jí),實(shí)現(xiàn)對(duì)高速公路團(tuán)霧圖像快速認(rèn)知識(shí)別。
本文提出了一種基于視覺(jué)注意力機(jī)制和深度隨機(jī)網(wǎng)絡(luò)的高速公路團(tuán)霧等級(jí)認(rèn)知方法,該檢測(cè)方法只需要普通攝像機(jī)采集的高速公路團(tuán)霧圖像,可以是本文中的行車(chē)記錄儀采集的圖像,也可以是公路兩邊的固定攝像頭采集到的圖片,能夠滿(mǎn)足系統(tǒng)實(shí)時(shí)性、準(zhǔn)確性的要求。本文方法的主要優(yōu)勢(shì)是通過(guò)在傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)中加入注意力機(jī)制,以能夠在較低的特征層次中獲取更深層次的團(tuán)霧圖像表征結(jié)果,從而有利于后續(xù)的團(tuán)霧等級(jí)分類(lèi)機(jī)制構(gòu)建。另外,DeepSCN的運(yùn)用在較大程度上降低了神經(jīng)網(wǎng)絡(luò)由于隨機(jī)選取初始權(quán)值和偏置所導(dǎo)致的結(jié)果隨機(jī)性,使系統(tǒng)具有更高的穩(wěn)定性與泛化性能。本文主要討論了本文模型對(duì)于高速路面圖像中團(tuán)霧等級(jí)的認(rèn)知,對(duì)于其他具有實(shí)時(shí)性預(yù)警要求的氣象現(xiàn)象,如沙塵暴、浮塵、揚(yáng)沙等的有效認(rèn)知,具有較高的推廣價(jià)值。