譚 熙，方 睿，王 宇，魏袁慧

（成都信息工程大學(xué) 計(jì)算機(jī)學(xué)院，成都 610225）

0 引言

森林火災(zāi)作為世界性林業(yè)災(zāi)害，造成了大量的碳排放、自然環(huán)境損失和經(jīng)濟(jì)損失［1］。但由于自然因素和人為因素的影響，森林火災(zāi)具有突發(fā)性和不可控性，這使得預(yù)防森林火災(zāi)具有一定的難度和挑戰(zhàn)性［2］。森林火災(zāi)發(fā)生伊始常伴隨煙霧產(chǎn)生，隨后才會(huì)出現(xiàn)明火，因此早期煙霧的識(shí)別對(duì)防止火災(zāi)擴(kuò)大損失至關(guān)重要。

目前的森林火災(zāi)預(yù)防措施大多依賴于人力晝夜不停飽和式地監(jiān)測(cè)，而在人工監(jiān)測(cè)上，存在著任務(wù)重、客觀性差、效率低等問(wèn)題，并且耗費(fèi)了大量人力物力，最終的預(yù)防效果卻不盡如人意［3］。傳統(tǒng)機(jī)器視覺(jué)方法通常涉及到復(fù)雜的分類規(guī)則制定、特征選取、目標(biāo)求解優(yōu)化過(guò)程等步驟，還需要較強(qiáng)的專業(yè)技術(shù)知識(shí)；而在算力資源支持下，利用深度學(xué)習(xí)圖像分類算法對(duì)煙霧和火災(zāi)圖像進(jìn)行分類，速度快、精度高、訓(xùn)練方便，因此該方法現(xiàn)已成為了目前領(lǐng)域的研究熱點(diǎn)。

近年來(lái)，許多學(xué)者投身深度學(xué)習(xí)來(lái)研究森林火災(zāi)識(shí)別檢測(cè)的方法。富雅捷等人［4］提出了一種基于遷移學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)森林火災(zāi)檢測(cè)算法，準(zhǔn)確率達(dá)到了97%。傅天駒等人［5］針對(duì)小樣本林火識(shí)別，提出了一種用于復(fù)雜背景下森林火災(zāi)識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，正確率達(dá)到了98%。楊劍等人［6］為解決對(duì)煙霧視頻圖像自適應(yīng)較差的問(wèn)題，提出了改進(jìn)殘差結(jié)構(gòu)的ResNet，取得了不錯(cuò)的效果。盡管這些研究都取得了可觀進(jìn)展，但模型效果極易受到和煙霧具有相似特征的物體干擾，尤其是薄霧天氣，煙霧的特征被嚴(yán)重削弱，最終導(dǎo)致實(shí)際表現(xiàn)不佳。

針對(duì)薄霧天氣，因?yàn)槿鄙俟_(kāi)數(shù)據(jù)集，一些學(xué)者在自建數(shù)據(jù)集上做了相關(guān)研究。Muhammad 等人［7］、Khan 等人［8］分別使用了在ImageNet 上預(yù)訓(xùn)練的VGG-16 和MobileNet-V2 遷移學(xué)習(xí)，在自建的霧天數(shù)據(jù)集上訓(xùn)練，并取得了96%和98%的準(zhǔn)確率。?zbek 等人［9］先將圖像顏色空間從RGB 轉(zhuǎn)換至HSV，使用MobileNet-V2 在合成霧圖的數(shù)據(jù)集上訓(xùn)練，取得了2.23%的精度提升，達(dá)到98.95%，并節(jié)約了一定的內(nèi)存空間。但這些研究仍存在一些不足，首先，上述研究使用的數(shù)據(jù)單一，方法簡(jiǎn)單，模型還有亟待改進(jìn)的地方；其次，森林火災(zāi)場(chǎng)景存在許多易混淆的目標(biāo)、即會(huì)造成誤報(bào)，而誤報(bào)帶來(lái)的風(fēng)險(xiǎn)與代價(jià)較大。因此更高的精度、更低的誤報(bào)率是十分必要的。

1 數(shù)據(jù)集

經(jīng)調(diào)查研究發(fā)現(xiàn)，目前還沒(méi)有森林火災(zāi)領(lǐng)域具有影響力的公開(kāi)數(shù)據(jù)集，大多數(shù)學(xué)者采用的數(shù)據(jù)集主要來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)消防科學(xué)實(shí)驗(yàn)室、韓國(guó)啟明大學(xué)CVPR 實(shí)驗(yàn)室以及比爾肯大學(xué)火災(zāi)研究實(shí)驗(yàn)室，加上一些零散的網(wǎng)絡(luò)圖片以及攝影作品。這些數(shù)據(jù)大多為不包含森林背景的視頻，就可能導(dǎo)致訓(xùn)練出來(lái)的模型泛化能力不足。學(xué)者們獲取分類圖像的方法主要有按幀截取和切幀濾除相似圖片兩種，但前者數(shù)據(jù)重復(fù)度高，后者數(shù)據(jù)量又極小。

因此，本文在網(wǎng)絡(luò)上大量收集了森林火災(zāi)煙霧圖片作為補(bǔ)充，以增加數(shù)據(jù)多樣性；同時(shí)，采用隨機(jī)截取視頻幀的方法，這樣既能保證數(shù)據(jù)量，也能避免數(shù)據(jù)高度重復(fù)。此外，考慮到森林火災(zāi)場(chǎng)景中存在許多易混淆的目標(biāo)，如云彩、云霞等，所以在數(shù)據(jù)集中加入了這2 類數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)的補(bǔ)充，能夠幫助模型區(qū)分易混淆目標(biāo)，降低模型誤報(bào)率。最后，目前針對(duì)極端天氣森林火災(zāi)煙霧識(shí)別檢測(cè)的研究并不多，薄霧天氣的數(shù)據(jù)十分稀少?；诖?，其他學(xué)者紛紛選擇人工合成帶霧的數(shù)據(jù)，本文未能找出更好的解決方法，因此也選擇了人工合成霧圖。

目前主流的圖像合成霧方法主要有RGB 通道合成和標(biāo)準(zhǔn)光學(xué)模型合成兩種。RGB 通道合成是通過(guò)調(diào)整RGB 三通道的值實(shí)現(xiàn)一種“不透光”感。Muhammad 等人［7］、Khan 等人［8］都是將霧通過(guò)圖像疊加的方式添加到圖像上。?zbek 等人［9］在原圖上疊加100 亮度值達(dá)到合成效果。而標(biāo)準(zhǔn)光學(xué)模型合成則是采用標(biāo)準(zhǔn)光學(xué)模型進(jìn)行圖像合成霧。

本文采用了中心點(diǎn)合成霧的方法，簡(jiǎn)稱Certer方法。簡(jiǎn)單來(lái)說(shuō)，是根據(jù)圖像中的位置調(diào)整標(biāo)準(zhǔn)光學(xué)模型中的透射率t（x）生成霧化粒子。透射率t（x）由深度信息和霧化濃度決定：

其中，β為霧化濃度因子，d（x）為深度信息。

進(jìn)一步地，研究中推得：

其中，xi，xj為圖像上按行、列排布的像素點(diǎn)；centerrow，centercol為圖像行、列的中心點(diǎn)；θ為生成霧化粒子的尺寸因子，本文設(shè)置為：θ ＝

最終的標(biāo)準(zhǔn)光學(xué)模型為：

其中，I（x）為合成后的霧圖像；J（x）為待合成的圖像；原圖像中，t（x）為透射率；L為大氣光成分，本文設(shè)置為L(zhǎng) ＝0.5。不同方法合成霧效果如圖1 所示。

圖1 合成霧效果圖Fig. 1 Synthetic fog renderings

依據(jù)Center 方法合成帶霧數(shù)據(jù)，建立提出了含有5 類樣本的薄霧森林火災(zāi)數(shù)據(jù)集，并通過(guò)數(shù)據(jù)增強(qiáng)避免了數(shù)據(jù)不均衡。數(shù)據(jù)集見(jiàn)表1。

表1 數(shù)據(jù)集類別及數(shù)量Tab.1 Categories and quantities of data sets

2 模型構(gòu)建

針對(duì)森林火災(zāi)薄霧天氣識(shí)別困難的問(wèn)題，提出了一種多重注意力分類網(wǎng)絡(luò)ER-ShuffleNet，搭載了通道注意力模塊（CASB）和反向注意力模塊（RAB），能夠兼顧深層次與淺層次特征，同時(shí)考慮多個(gè)顯著特征以區(qū)分易混淆目標(biāo)，實(shí)驗(yàn)表明本文方法顯著優(yōu)于其他學(xué)者方法。

2.1 多重注意力分類網(wǎng)絡(luò)ER-ShuffleNet

ShuffleNet-V2［10］作為最優(yōu)秀的輕量級(jí)分類網(wǎng)絡(luò)，考慮到其精度高、速度快、模型小等優(yōu)點(diǎn)，故本文擬對(duì)此進(jìn)行重點(diǎn)研究。

根據(jù)ShuffleNet-V2 的策略構(gòu)建了一種多重注意力分類網(wǎng)絡(luò)ER-ShuffleNet，由CASB 模塊和下采樣模塊構(gòu)建各個(gè)Stage，并命名為CA-Stage 以作區(qū)分；用GELU激活函數(shù)［11］替換Relu，能夠保留更多信息促進(jìn)通道信息交互；將全連接分類頭替換為1×1 卷積分類頭［12-13］；并在分類頭之前增加了RAB 模塊。這樣經(jīng)CASB 提取的特征高度濃縮，在特征上呈現(xiàn)出“一超多強(qiáng)”的現(xiàn)象，而特征經(jīng)由RAB 處理后則會(huì)呈現(xiàn)“多極化”趨勢(shì)，更利于捕捉細(xì)節(jié)，區(qū)分易混淆目標(biāo)。ER-ShuffleNet 模型結(jié)構(gòu)如圖2 所示。

圖2 ER-ShuffleNet 結(jié)構(gòu)Fig. 2 ER-ShuffleNet structure

2.2 通道注意力模塊（CASB）

Wang 等人［14］提出一種相比SE 模塊更高效的通道注意力機(jī)制（Efficient Channel Attention，ECA）。ECA 承襲了SE 模塊中Squeeze 與Excitation 的思想，通過(guò)自適應(yīng)平均池化壓縮通道特征至通道維度，隨后使用一維卷積聚合鄰近通道特征，使局部通道信息交互，僅涉及少量參數(shù)，卻大幅提升了模型精度。

結(jié)合Shuffle Block 與ECA，提出了一種增強(qiáng)通道注意力的CASB 模塊，其下采樣分支保持不變。CASB 模塊如圖3 所示。

圖3 CASB 模塊Fig. 3 CASB block

本文將ECA 模塊置于3×3 卷積與1×1 卷積之間。這樣設(shè)計(jì)的目的是為了利用深度卷積的特征提取能力，使ECA 壓縮的通道特征更具代表性，而經(jīng)ECA 獲得通道注意力的特征圖再由1×1 卷積進(jìn)一步聚合整理，讓網(wǎng)絡(luò)學(xué)習(xí)到的局部通道信息更加穩(wěn)定有效。通道信息在推理過(guò)程中反復(fù)被壓縮、交互、擴(kuò)張，使網(wǎng)絡(luò)能夠同時(shí)關(guān)注圖像的淺層次與深層次特征，獲得更好的學(xué)習(xí)能力。

2.3 反向注意力模塊（RAB）

在Sun 等人［15］的研究中提到一種分散網(wǎng)絡(luò)對(duì)顯著特征的注意力，從而迫使網(wǎng)絡(luò)關(guān)注其他同樣具有區(qū)分度的特征的方法、即峰值抑制（Peak Suppression）結(jié)合塊抑制（Patch Suppression）構(gòu)建的多樣化模塊（Diversification Block），該模塊能夠提高易混淆目標(biāo)識(shí)別精度。

RAB 模塊如圖4 所示。研究可知，RAB 模塊舍棄了多樣化模塊中的塊抑制，并且優(yōu)化了其峰值抑制方法：不再建立額外的映射特征圖，而是直接對(duì)網(wǎng)絡(luò)最后一層輸出特征圖進(jìn)行最大采樣，節(jié)省了大量的內(nèi)存空間和參數(shù)量。RAB 模塊依據(jù)下列公式進(jìn)行最大采樣和反向注意力：

圖4 RAB 模塊Fig. 4 RAB block

其中，Rc（i，j）為得到的反向注意力特征圖；α為反向注意系數(shù)，在本文實(shí)驗(yàn)中設(shè)置α＝0.9；Mc（i，j）為輸入模塊的特征圖，（i，j）∈（H，W）。

3 實(shí)驗(yàn)結(jié)果及分析

本文的數(shù)據(jù)集按照7 ∶2 ∶1 比例劃分訓(xùn)練集、驗(yàn)證集、測(cè)試集。采用的評(píng)估標(biāo)準(zhǔn)有F1-Score準(zhǔn)確率、參數(shù)量、誤報(bào)率。實(shí)驗(yàn)分為2 個(gè)階段，其步驟可做闡釋分述如下。

（1）就本文提出的改進(jìn)點(diǎn)進(jìn)行消融實(shí)驗(yàn)，結(jié)果表明PASB 模塊能夠以少量參數(shù)代價(jià)顯著降低誤報(bào)率，而RAB 模塊能夠迫使網(wǎng)絡(luò)學(xué)習(xí)多個(gè)特征，提高網(wǎng)絡(luò)精度，實(shí)驗(yàn)結(jié)果見(jiàn)表2。

表2 改進(jìn)點(diǎn)消融實(shí)驗(yàn)Tab.2 Modified point ablation experiment

（2）將本文提出的方法與一些學(xué)者的方法對(duì)比后可知，本文方法的準(zhǔn)確率相比其他方法高出了1.36%～4.09%，實(shí)驗(yàn)結(jié)果見(jiàn)表3。

表3 與其他方法對(duì)比試驗(yàn)Tab.3 Comparison test with other methods

首先將本文提出的改進(jìn)點(diǎn)：PASB 模塊、RAB 模塊（分別標(biāo)記為P、R）進(jìn)行消融實(shí)驗(yàn)。

P 通過(guò)局部通道信息交互，同時(shí)學(xué)習(xí)淺層及深層信息，以少量參數(shù)代價(jià)就能顯著降低誤報(bào)率；R會(huì)迫使網(wǎng)絡(luò)同時(shí)考慮多個(gè)顯著特征，從而更好區(qū)分易混淆目標(biāo)，這時(shí)網(wǎng)絡(luò)需要更強(qiáng)的學(xué)習(xí)能力來(lái)處理多個(gè)顯著特征。兩者結(jié)合在一起，效果就有了質(zhì)的提升，準(zhǔn)確率比基準(zhǔn)高出了1.74%，誤報(bào)率也降低到了2.041%，而參數(shù)量代價(jià)卻很小。

此后，與其他學(xué)者的先進(jìn)方法進(jìn)行了對(duì)比試驗(yàn)，包括基準(zhǔn)模型ShuffleNet-V2、轉(zhuǎn)換HSV 顏色空間［9］和在ImageNet 上預(yù)訓(xùn)練［7-8］的方法，分別標(biāo)記為Shuffle、Shuffle_HSV、Shuffle_TRANS，本文方法標(biāo)記為ER-Shuffle。

不同方法損失對(duì)比和準(zhǔn)確率對(duì)比的結(jié)果曲線分別如圖5、圖6 所示。遷移學(xué)習(xí)能夠?qū)㈩A(yù)訓(xùn)練的知識(shí)轉(zhuǎn)移進(jìn)而提升基線性能，不需要額外的參數(shù)開(kāi)銷，相比基準(zhǔn)模型提升了0.38%準(zhǔn)確率，但無(wú)法修改模型，修改過(guò)的模型自主預(yù)訓(xùn)練所需的算力資源較大，不便于實(shí)現(xiàn)。轉(zhuǎn)換HSV 顏色空間的方法在基準(zhǔn)模型上效果較差，并未顯示出有效性。本文提出的方法準(zhǔn)確率較基準(zhǔn)模型ShuffleNet-V2 提升了1.74%，誤報(bào)率降低至2.041%，而僅付出了較少參數(shù)量的代價(jià)，這表明本文提出的通道注意力結(jié)合反向注意力機(jī)制是十分有效的。

圖5 不同方法損失對(duì)比Fig. 5 Loss comparison of different methods

圖6 不同方法準(zhǔn)確率對(duì)比Fig. 6 Accuracy comparison of different methods

4 結(jié)束語(yǔ)

本文針對(duì)薄霧天氣準(zhǔn)確率較低、誤報(bào)率較高的問(wèn)題，提出中心點(diǎn)合成霧的方法來(lái)提供數(shù)據(jù)支持，建立了薄霧森林火災(zāi)數(shù)據(jù)集；并且提出了一種多重注意力分類網(wǎng)絡(luò)，在本文數(shù)據(jù)集上較基準(zhǔn)模型ShuffleNet-V2準(zhǔn)確率提高1.74%，相比其他方法提高1.36%～4.09%，參數(shù)量?jī)H為2.7 MB，完全能夠滿足輕量化的需求，其分類結(jié)果也可作為多種火災(zāi)場(chǎng)景綜合預(yù)防預(yù)警的數(shù)據(jù)支持，為森林火災(zāi)防控提供有益參考。

盡管本文提出的網(wǎng)絡(luò)實(shí)現(xiàn)了高精度、快速度薄霧森林火災(zāi)分類，但在實(shí)際應(yīng)用中還應(yīng)在視頻監(jiān)控中標(biāo)注出疑似火災(zāi)的位置以幫助工作人員及時(shí)發(fā)出預(yù)警，因此將本文方法應(yīng)用于目標(biāo)檢測(cè)將是此后研究主要內(nèi)容。