馬樂 魏雄 鄭明 許萍萍 同小軍

摘要：利用煙霧檢測(cè)實(shí)現(xiàn)秸稈燃燒檢測(cè)，針對(duì)傳統(tǒng)煙霧檢測(cè)方法中煙霧特征提取難、卷積神經(jīng)網(wǎng)絡(luò)方法檢測(cè)準(zhǔn)確率低等問題，提出了FBF神經(jīng)網(wǎng)絡(luò)的秸稈燃燒煙霧檢測(cè)方法。神經(jīng)網(wǎng)絡(luò)提取特征時(shí)，低層網(wǎng)絡(luò)的特征語(yǔ)義信息比較少，目標(biāo)位置準(zhǔn)確；高層的特征語(yǔ)義信息比較豐富，目標(biāo)位置比較粗略，對(duì)特征圖采用自下而上的提取、自上而下和橫向連接融合的方法。在保證較大特征被提取利用的情況下，使得較小的特征有更好的學(xué)習(xí)及利用，提高了煙霧識(shí)別的準(zhǔn)確率。與現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行對(duì)比，實(shí)驗(yàn)結(jié)果表明該方法具有較高的檢測(cè)準(zhǔn)確率。相比Faster RCNN檢測(cè)網(wǎng)絡(luò)，檢測(cè)準(zhǔn)確率提高了10%，誤報(bào)率降低了16.2%。

關(guān)鍵詞：FBF；秸稈燃燒檢測(cè)；特征圖融合

中圖分類號(hào)：TP391.4文獻(xiàn)標(biāo)志碼：A文章編號(hào)：1008-1739（2020）24-66-4

0引言

秸稈燃燒產(chǎn)生的大顆粒物質(zhì)會(huì)造成空氣污染，是環(huán)境保護(hù)中一個(gè)非常嚴(yán)重的問題[1]，秸稈的不充分燃燒產(chǎn)生大量的碳化物危害人類生命健康。秸稈燃燒檢測(cè)可以提供實(shí)時(shí)秸稈燃燒信息，及時(shí)制止燃燒行為有利于環(huán)境保護(hù)?，F(xiàn)有秸稈燃燒檢測(cè)主要是靠檢測(cè)秸稈燃燒產(chǎn)物來實(shí)現(xiàn)的，煙霧檢測(cè)是秸稈燃燒檢測(cè)的重要手段之一，是近年來機(jī)器視覺領(lǐng)域研究的熱點(diǎn)和難點(diǎn)。

目前大多數(shù)方法都是利用火災(zāi)和煙霧的顏色、紋理、幾何、閃爍和運(yùn)動(dòng)等視覺特征方法實(shí)現(xiàn)煙霧檢測(cè)。Yamagishi[2]和Yamaguchi[3]提出了一種基于火焰時(shí)空波動(dòng)數(shù)據(jù)的火焰檢測(cè)算法，該方法使用顏色信息取得了煙霧檢測(cè)較好的成果，但不能消除火焰接近顏色物體引起的干擾。類似的紋理[4-5]、Hog、高斯模型[6]等方法對(duì)特定的特征有很好的效果，但不能排除其他因素的干擾，這些方法在實(shí)際應(yīng)用中還存在魯棒性的問題。Yuan[7]和Chunyu[8]提出了利用煙霧運(yùn)動(dòng)信息進(jìn)行煙霧檢測(cè)，該特征能夠很好地描述煙霧的運(yùn)動(dòng)信息，提升了煙霧檢測(cè)的準(zhǔn)確性。

近年來，深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）從圖像分類到目標(biāo)提取和語(yǔ)義分割等計(jì)算機(jī)視覺中取得了前所未有的成功，與傳統(tǒng)的計(jì)算機(jī)視覺方法相比，深度學(xué)習(xí)方法避免了手工設(shè)計(jì)并主導(dǎo)了許多著名的基準(zhǔn)評(píng)估。深度學(xué)習(xí)在煙霧探測(cè)中的應(yīng)用研究日益受到重視。Frizzi[9]和Tao[10]用CNN從不同方向進(jìn)行煙霧探測(cè)，CNN克服了煙霧特征提取難的問題，但秸稈燃燒的野外環(huán)境復(fù)雜，產(chǎn)生的煙霧的顏色、梯度等視覺特征不固定，這2種方法在檢測(cè)中難以將煙霧與外界干擾區(qū)分開，導(dǎo)致檢測(cè)精度不高。

提出了一種基于FBF神經(jīng)網(wǎng)絡(luò)的秸稈燃燒煙霧檢測(cè)方法，在特征融合和Faster RCNN網(wǎng)絡(luò)基礎(chǔ)上實(shí)現(xiàn)秸稈燃燒檢測(cè)。Faster RCNN[11]用網(wǎng)絡(luò)結(jié)構(gòu)較深的VGG16網(wǎng)絡(luò)提取特征圖，該網(wǎng)絡(luò)對(duì)較小的特征沒有較好效果。針對(duì)特征提取網(wǎng)絡(luò)的不足進(jìn)行研究，用CNN自下而上特征提取的特性，結(jié)合自上而下和橫向鏈接的特征融合方法來構(gòu)造新的特征圖，利用包含有更強(qiáng)的特征信息的特征圖訓(xùn)練檢測(cè)模型，提升秸稈燃燒煙霧檢測(cè)的準(zhǔn)確率。實(shí)驗(yàn)結(jié)果表明，該方法能獲得更高的準(zhǔn)確率和較低的誤報(bào)率。

1 Faster RCNN

CNN在目標(biāo)檢測(cè)研究中發(fā)揮了非常重要的作用?；趨^(qū)域的CNN（RCNN）是一種非常重要且非常成功的通用目標(biāo)檢測(cè)框架，提供了有效的監(jiān)督學(xué)習(xí)。RCNN生成類別相關(guān)區(qū)域的建議并利用這些定義了檢測(cè)器可用的候選檢測(cè)集。RCNN提高了精度，但也存在低速等缺點(diǎn)。Girshick對(duì)RCNN的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了改進(jìn)，提出了Fast RCNN[14]檢測(cè)網(wǎng)絡(luò)。Fast RCNN支持對(duì)共享卷積特征的端到端檢測(cè)器訓(xùn)練，并顯示出令人信服的準(zhǔn)確性和速度。在RCNN的基礎(chǔ)上，多損失函數(shù)的使用以及回歸和區(qū)域分類的融合提高了整個(gè)網(wǎng)絡(luò)的速度，F(xiàn)ast RCNN還加入了ROI池化層，從性能上優(yōu)化了整個(gè)結(jié)構(gòu)。Fast RCNN一定程度上加快了RCNN的檢測(cè)速度，但是用于選擇性搜索的候選框選擇機(jī)制非常耗時(shí)，Girshick對(duì)Fast RCNN再次改進(jìn)，提出了Faster RCNN檢測(cè)網(wǎng)絡(luò)。Faster RCNN網(wǎng)絡(luò)提出了一種使用RPN代替選擇性搜索新的候選框選擇機(jī)制。RPN與訓(xùn)練網(wǎng)絡(luò)共享一個(gè)網(wǎng)絡(luò)層，大大節(jié)省了時(shí)間。Faster RCNN結(jié)構(gòu)如圖1所示，RPN網(wǎng)絡(luò)基本上以零資源消耗但同時(shí)生成了含有正樣本的區(qū)域建議，F(xiàn)aster RCNN形成了一個(gè)統(tǒng)一的端到端的學(xué)習(xí)框架。

2特征圖融合

特征提取在目標(biāo)檢測(cè)中占據(jù)著十分重要的地位，特征提取的質(zhì)量很大程度上影響著最終檢測(cè)的效果。CNN中的特征提取是利用卷積、池化等操作完成的，隨著卷積和池化層的逐步深入，特征的語(yǔ)義信息和位置信息也在發(fā)生改變。低層的特征語(yǔ)義信息比較少，但是目標(biāo)位置準(zhǔn)確；高層的特征語(yǔ)義信息比較豐富，但是目標(biāo)位置比較粗略。將低層的目標(biāo)信息和高層的語(yǔ)義信息相結(jié)合，使得特征圖具有更強(qiáng)的特征信息。利用CNN特征提取的特點(diǎn)，進(jìn)行特征圖信息的加強(qiáng)。

2.1自下而上的路徑

CNN的前饋計(jì)算就是自下而上的路徑，特征圖經(jīng)過卷積核計(jì)算，通常是越變?cè)叫?，也有一些特征層的輸出和原來大小一樣，稱為相同網(wǎng)絡(luò)階段（Same Network Stage，SNS）。在特征提取過程中對(duì)每個(gè)階段定義一個(gè)金字塔級(jí)別，然后選擇每個(gè)階段的最后一層的輸出作為特征圖的參考集。選擇最后一層的特征層是很自然的，因?yàn)槊總€(gè)階段的最深層具有最強(qiáng)的特征。

2.2自上而下的路徑和橫向連接

自上而下的路徑是將低層次的特征和高層次語(yǔ)義信息進(jìn)行融合。方法就是把語(yǔ)義更強(qiáng)地更抽象的高層特征圖進(jìn)行上取樣，然后把該特征橫向連接至前一層特征，因此高層特征得到加強(qiáng)。值得注意的是，橫向連接的2層特征在空間尺寸上要相同，這樣做是為了利用底層的定位細(xì)節(jié)信息。

自上而下的路徑把高層特征做2倍上采樣（最鄰近上采樣法），然后將其和對(duì)應(yīng)的前一層特征結(jié)合（前一層經(jīng)過1*1的卷積核，目的是改變通道數(shù)，要和后一層的通道數(shù)相同），結(jié)合方式就是做像素間的加法。重復(fù)迭代該過程，直至生成最精細(xì)的特征圖。為了后面的應(yīng)用能夠在所有層級(jí)共享分類層，這里使用3*3卷積后的輸出通道為，這設(shè)為256。因此所有額外的卷積層具有256通道輸出，如圖2所示。

3 FBF煙霧識(shí)別模型設(shè)計(jì)

現(xiàn)有秸稈燃燒檢測(cè)主要秸稈燃燒產(chǎn)生的煙霧作為檢測(cè)的目標(biāo)，但煙霧沒有固定的顏色和形狀，這對(duì)傳統(tǒng)方法的特征提取增加了很多難度。CNN的出現(xiàn)很大程度上緩解了特征提取難的問題，卷積神經(jīng)網(wǎng)絡(luò)不需要將特征提取和分類訓(xùn)練分開，在一定程度提升了煙霧識(shí)別的準(zhǔn)確率。

秸稈燃燒煙霧檢測(cè)的場(chǎng)景是在野外，監(jiān)控設(shè)備獲取秸稈燃燒畫面的圖像野外場(chǎng)景復(fù)雜、客觀物體（房屋、河流等）、光照、天氣等對(duì)煙霧檢測(cè)造成了干擾。利用CNN的煙霧檢測(cè)方法在準(zhǔn)確率上有待提高。因此，提出了一種FBF煙霧識(shí)別方法，本方法對(duì)其特征提取的網(wǎng)絡(luò)進(jìn)行改進(jìn)，使網(wǎng)絡(luò)可以提取到更多信息的特征，從而使檢測(cè)的準(zhǔn)確率更高。將特征圖與Faster RCNN神經(jīng)網(wǎng)絡(luò)融合后的網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。本文的特征提取網(wǎng)絡(luò)是先經(jīng)過自下而上的路徑，提取每一層金字塔的最后一層卷積后的特征圖，再利用自上而下的路徑，將除了第一層金字塔外的其他金字塔層得到的特征圖進(jìn)行上采樣，然后把每層金字塔上采樣后的特征圖進(jìn)行橫向連接至前一層特征，從而實(shí)現(xiàn)特征圖的融合。

訓(xùn)練集圖像經(jīng)過融合的特征提取網(wǎng)絡(luò)后，得到包含有更強(qiáng)特征信息的特征圖，然后經(jīng)過RPN，ROIPooling，RCNN網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到最終的網(wǎng)絡(luò)模型。

在自下而上和自上而下的2個(gè)過程中，低層次的特征信息和高層次的語(yǔ)義信息進(jìn)行的融合，使得煙霧的特征信息更加全面。在自上而下的融合過程中，將自下而上的卷積層的結(jié)果進(jìn)行了一個(gè)1×1的卷積過程，是對(duì)2個(gè)不同的特征圖的通道的統(tǒng)一化。自上而下的路徑把高層特征做2倍上采樣，然后將其和對(duì)應(yīng)的前一層特征結(jié)合，結(jié)合方式就是做像素間的加法。重復(fù)迭代該過程，直至生成最精細(xì)的特征圖，最終得到的預(yù)測(cè)模型更準(zhǔn)確。

4實(shí)驗(yàn)

為了評(píng)估所提出的方法是否能使測(cè)量更準(zhǔn)確，在以下平臺(tái)上進(jìn)行了實(shí)驗(yàn)：Inter-Core i7，64 GB RAM，NVIDIA Geforce RTX 2080 Ti GPU，操作系統(tǒng)為Windows10，使用Tensorflow框架來實(shí)現(xiàn)網(wǎng)絡(luò)。

4.1數(shù)據(jù)集

本實(shí)驗(yàn)使用的數(shù)據(jù)集圖像來自于實(shí)際項(xiàng)目中由高塔攝像頭采集的圖像畫面。數(shù)據(jù)集分為3組，分別命名為Data1，Data2，Data3。Data1如圖4所示，有21 464張含有煙霧的圖像，將圖像中的煙霧區(qū)域打標(biāo)，作為改進(jìn)的Faster RCNN網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)集。Data2和Data3分別含有10 000張圖像，Data2如圖5所示，圖像含有煙霧作為測(cè)試的正樣本，Data3如圖6所示，圖像不含煙霧作為測(cè)試的負(fù)樣本。

4.2網(wǎng)絡(luò)模型訓(xùn)練

實(shí)驗(yàn)基于Tensorflow框架，該網(wǎng)絡(luò)采用隨機(jī)梯度下降法（SGD）對(duì)每層的參數(shù)進(jìn)行更新，最小批量為256，動(dòng)量為0.9，權(quán)值衰減為0.000 1，初始學(xué)習(xí)率為0.01。將RPN網(wǎng)絡(luò)的2個(gè)閾值設(shè)置為0.3和0.7，且卷積網(wǎng)絡(luò)模型的訓(xùn)練使用了GPU并行處理。

4.3評(píng)價(jià)指標(biāo)

從圖7中的數(shù)據(jù)結(jié)果可以分析出，與AlexNet、Faster RCNN秸稈燃燒煙霧檢測(cè)方法相比較，本文的方法再煙霧檢測(cè)的準(zhǔn)確率、召回率、誤報(bào)率都有更好的表現(xiàn)。在對(duì)Faster RCNN和本文的實(shí)驗(yàn)數(shù)據(jù)對(duì)比中發(fā)現(xiàn)，在負(fù)樣本的識(shí)別中有較大的提升，數(shù)據(jù)中較小的某些特征（房屋、湖泊、河流）識(shí)別更加準(zhǔn)確，減少了誤報(bào)數(shù)量，降低了誤報(bào)率。同時(shí)，在原有較好的正樣本的識(shí)別基礎(chǔ)上，進(jìn)一步提升了識(shí)別的準(zhǔn)確率。由此說明，本文方法改進(jìn)的Faster RCNN網(wǎng)絡(luò)更加成功，多特征圖的融合使得識(shí)別率更高。