孫婷婷

(1.山東省船舶控制工程與智能系統(tǒng)工程技術(shù)研究中心，山東 榮成 264300；2.威海海洋職業(yè)學(xué)院，山東 榮成 264300)

0 引言

火災(zāi)是1種頻繁發(fā)生而又損失慘重的災(zāi)難,一直是人們極力關(guān)注而又要求預(yù)防、遏制的災(zāi)禍[1]。火災(zāi)發(fā)生過(guò)程中會(huì)伴隨著煙霧和火焰的產(chǎn)生[2]。隨著圖像處理技術(shù)的快速發(fā)展，具有檢測(cè)范圍廣并且能快速準(zhǔn)確地定位著火點(diǎn)的視頻火焰檢測(cè)技術(shù)應(yīng)用越來(lái)越廣泛。傳統(tǒng)的基于視頻檢測(cè)火災(zāi)的研究大多采取人工設(shè)計(jì)的特征來(lái)實(shí)現(xiàn)火焰識(shí)別[3-4]。Foggia等[5]采用顏色、形態(tài)變化、運(yùn)動(dòng)來(lái)對(duì)各個(gè)區(qū)域進(jìn)行判別，根據(jù)權(quán)重的投票策略進(jìn)行綜合決策，該方法局限性在于對(duì)自身運(yùn)動(dòng)的視覺(jué)系統(tǒng)不適用；劉小虎等[6]采用改進(jìn)的Soble邊緣檢測(cè)算法，選取顏色B分量的邊緣梯度作為判斷火焰和干擾圖像的依據(jù)；李巨虎等[7]在顏色特征的基礎(chǔ)上，提取圖像空域和頻域的紋理特征，該算法能夠提取火焰局部的微紋理信息，表現(xiàn)更好的魯棒性。

Muhammad等[8]提出1種能夠檢測(cè)視頻火災(zāi)的改進(jìn)的GoogleNet卷積神經(jīng)網(wǎng)絡(luò)，但在處理視頻圖像時(shí)，時(shí)間開銷過(guò)多；Zhang等[9]采用Faster RCNN檢測(cè)森林火災(zāi)煙霧，避免了傳統(tǒng)視頻煙霧檢測(cè)方法中復(fù)雜的人工特征提取過(guò)程，為解決訓(xùn)練數(shù)據(jù)的不足，在森林背景中加入真實(shí)煙霧或模擬煙霧生成合成煙霧圖像；衛(wèi)鑫等[10]提出1種深度卷積集成式長(zhǎng)短期記憶網(wǎng)絡(luò)(DC-ILSTM)模型,將其運(yùn)用到森林火災(zāi)探測(cè)中，檢測(cè)性能得到提高，但增加了數(shù)據(jù)處理及訓(xùn)練的成本。針對(duì)以上研究存在的問(wèn)題，將深度學(xué)習(xí)的目標(biāo)檢測(cè)算法Fatser RCNN和堆疊長(zhǎng)短期記憶網(wǎng)絡(luò)ILSTM相結(jié)合，提出基于顏色特征引導(dǎo)的目標(biāo)檢測(cè)和火焰面積隨時(shí)間變化動(dòng)態(tài)行為的火災(zāi)檢測(cè)策略，能夠?qū)崟r(shí)且準(zhǔn)確地檢測(cè)定位火源。

1 改進(jìn)Faster RCNN的火災(zāi)特征提取

火焰和煙霧具有特定的顏色特征，可以根據(jù)顏色的分布特征構(gòu)建火災(zāi)區(qū)域篩選規(guī)則。采用比較寬泛的RGB顏色模型使錨邊界框僅在感興趣的區(qū)域生成的方法對(duì)Faster RCNN的核心RPN區(qū)域進(jìn)行改進(jìn)。該模型能夠覆蓋大多數(shù)火災(zāi)情況下的火災(zāi)和煙霧特征。其疑似火災(zāi)區(qū)域判決條件如式(1)所示：

(1)

式中：M(x,y)為生成火焰和煙霧顏色腌膜；R(x,y),G(x,y),B(x,y)分別為RGB3通道的圖像值；TR為設(shè)置在R通道上面的閾值。

改進(jìn)的基于Faster RCNN顏色特征和空間特征的模型如圖1所示。采用目標(biāo)檢測(cè)模型為Faster RCNN[11]，卷積網(wǎng)絡(luò)結(jié)構(gòu)為VGG16。VGG16卷積網(wǎng)絡(luò)的最后1層，邊界框的坐標(biāo)投影到14×14×512激活圖上提取空間特征。Faster RCNN中的RPN區(qū)域提供圖像中火焰、煙霧和非火災(zāi)區(qū)域的錨邊界框。對(duì)于投影區(qū)域，通過(guò)對(duì)每個(gè)特征映射取加權(quán)平均全局平均池化層GAP方法提取512維空間特征向量。

圖1 改進(jìn)的火災(zāi)特征提取模型Fig.1 Improved fire characteristics extraction model

2 構(gòu)建堆疊長(zhǎng)短期記憶網(wǎng)絡(luò)(ILSTM)火災(zāi)動(dòng)態(tài)行為識(shí)別

長(zhǎng)短期記憶網(wǎng)絡(luò)LSTM(Long Short-Term Memory)用于解決輸入和輸出時(shí)間關(guān)聯(lián)的問(wèn)題[12]。LSTM的基本單元如圖2所示。

圖2 LSTM的基本單元Fig.2 Basic units of LSTM

遺忘門控制忘記的信息，如式(2)所示：

ft=σ(Wfxt+Ufht-1+bf)

(2)

式中：ft為遺忘門；Wf為遺忘門輸入層的參數(shù)矩陣；xt為t時(shí)刻的輸入信息；Uf為遺忘門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bf為遺忘門偏置向量；σ為sigmoid函數(shù)；ht-1為t時(shí)刻前1個(gè)時(shí)刻隱藏層的輸出信息。

輸入門控制保存新信息，如式(3)所示：

it=σ(Wixt+Uiht-1+bi)

(3)

式中：it為輸入門的激活值；Wi為輸入門輸入層的參數(shù)矩陣；Ui為輸入門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bi為輸入門偏置向量。

輸出門用來(lái)控制輸出信息，如式(4)所示：

ot=σ(Woxt+Uoht-1+bo)

(4)

式中：ot為輸出門的信息；Wo為輸出門的參數(shù)矩陣；Uo為輸出門狀態(tài)轉(zhuǎn)移參數(shù)矩陣；bo為輸出門偏置向量。

在LSTM中對(duì)目標(biāo)檢測(cè)相應(yīng)的邊界框內(nèi)的空間特征進(jìn)行時(shí)間上的累積，獲取火災(zāi)的短期動(dòng)態(tài)特性進(jìn)而判斷連續(xù)框是否為火災(zāi)。LSTM隱藏層網(wǎng)絡(luò)由2層組成ILSTM堆疊網(wǎng)絡(luò)，ILSTM中隱藏層數(shù)量由實(shí)驗(yàn)確定。

3 基于Faster RCNN-ILSTM網(wǎng)絡(luò)的火災(zāi)識(shí)別算法

基于Faster RCNN-ILSTM網(wǎng)絡(luò)的火災(zāi)識(shí)別算法如圖3所示。

圖3 火災(zāi)識(shí)別算法Fig.3 Fire identification algorithm

1)火災(zāi)面積變化動(dòng)態(tài)特征

原圖經(jīng)過(guò)特征圖的映射后，會(huì)產(chǎn)生將近300個(gè)錨定框。用四維向量(x,y,w,h)表示框的中心點(diǎn)坐標(biāo)和寬高。候選框、預(yù)測(cè)框和真實(shí)邊界框的幾何形狀如圖4所示。

圖4 候選框、預(yù)測(cè)框和真實(shí)邊界框的幾何關(guān)系Fig.4 Geometric relationship among candidate box,prediction box and real boundary box

預(yù)測(cè)框G和真實(shí)框R與候選框A之間的平移量以及縮放尺度因子關(guān)系如式(5)所示：

(5)

則疑似火災(zāi)區(qū)域的面積如式(6)所示：

(6)

式中：Sarea為疑似火災(zāi)區(qū)域的面積。

為減少預(yù)測(cè)值與真實(shí)值之間的差距，定義損失函數(shù)如式(7)所示：

(7)

2)融合決策—最大投票決策

將基于ILSTM短期決策結(jié)果累積起來(lái)，采用多數(shù)投票的方法決策火災(zāi)長(zhǎng)期動(dòng)態(tài)行為。在給定投票時(shí)間段內(nèi)，最大投票決策計(jì)算方法如式(8)所示：

(8)

式中：F為投票計(jì)算結(jié)果；Nfire和Nno-fire分別表示火災(zāi)和非火災(zāi)決策的數(shù)量。

4 實(shí)驗(yàn)與結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境與配置

硬件配置采用Intel酷睿i7 8700F處理器，操作系統(tǒng)為windows 10版本，內(nèi)存為8GB，運(yùn)行環(huán)境為python3.7的pycharm，使用keras框架，包含CNN(VGG-16)，F(xiàn)aster RCNN和LSTM。

4.2 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)采用的數(shù)據(jù)集來(lái)自于薩勒諾大學(xué)研究室(http://mivia.unisa.it)、意大利摩德納大學(xué)(http://imagelab.ing.unimoer.it/visor/)、中國(guó)消防科學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室(http://smoke.ustc.edu.cn)以及網(wǎng)絡(luò)采集的圖片和視頻。該數(shù)據(jù)集能夠較好地體現(xiàn)數(shù)據(jù)的多樣性。

4.3 實(shí)驗(yàn)評(píng)價(jià)標(biāo)準(zhǔn)

實(shí)驗(yàn)采用A，P，R和MAP等指標(biāo)進(jìn)行網(wǎng)絡(luò)性能的衡量[13]。公式如(9)～(12)所示：

(9)

(10)

(11)

(12)

式中：A為準(zhǔn)確率；P為精準(zhǔn)率；R為召回率；MAP為均值平均精度；TP為實(shí)際正類且預(yù)測(cè)正類；FP為實(shí)際負(fù)類但預(yù)測(cè)正類；TN為實(shí)際負(fù)類且預(yù)測(cè)負(fù)類；FN為實(shí)際正類預(yù)測(cè)負(fù)類。

4.4 實(shí)驗(yàn)結(jié)果與分析

4.4.1 改進(jìn)的Faster RCNN算法準(zhǔn)確率對(duì)比

Faster RCNN采用靜態(tài)圖像作為訓(xùn)練數(shù)據(jù)。通過(guò)對(duì)靜態(tài)圖像的翻轉(zhuǎn)、平移、拉伸、鏡像等數(shù)據(jù)增廣技術(shù)使得靜態(tài)圖像的數(shù)據(jù)集擴(kuò)充到43 000張靜態(tài)圖像。其中75%用于訓(xùn)練，15%用于驗(yàn)證，10%用于測(cè)試數(shù)據(jù)。經(jīng)過(guò)20 000次迭代訓(xùn)練之后，2種模型均達(dá)到收斂。

Faster RCNN的性能是通過(guò)平均檢測(cè)精度MAP來(lái)測(cè)量的，與原Faster RCNN算法性能對(duì)比見(jiàn)表1。改進(jìn)的Faster RCNN精度較高，原因在于采用顏色特征引導(dǎo)的丟錨策略能強(qiáng)化對(duì)火焰和煙霧的敏感，從而能夠提高平均檢測(cè)精度。

表1 各種算法性能對(duì)比Table 1 Comparison on performance of various algorithms

4.4.2 ILSTM短期決策仿真

云、煙囪煙、照明燈等有幾種假陽(yáng)性檢測(cè)，需要結(jié)合時(shí)間特性進(jìn)行檢測(cè)。從數(shù)據(jù)集篩選150個(gè)火災(zāi)視頻和150個(gè)非火災(zāi)的視頻片段。為探究不同ILSTM結(jié)構(gòu)對(duì)火災(zāi)檢測(cè)結(jié)果的影響，設(shè)置輸入層特征維數(shù)為512，設(shè)置學(xué)習(xí)率為0.001，設(shè)置權(quán)重衰減0.000 4，設(shè)置丟棄率為0.5，改變ILSTM層數(shù)以及隱藏單元(m)的個(gè)數(shù)。經(jīng)過(guò)300輪訓(xùn)練后，不同ILSTM結(jié)構(gòu)下火焰檢測(cè)的結(jié)果如圖5所示。

圖5 不同ILSTM結(jié)構(gòu)以及不同訓(xùn)練次數(shù)下火災(zāi)檢測(cè)的結(jié)果Fig.5 Fire detection results under different LSTM structures and different training times

綜合以上實(shí)驗(yàn)結(jié)果可得，最優(yōu)方案為：LSTM結(jié)構(gòu)設(shè)置為512個(gè)隱藏層單元，進(jìn)行140輪訓(xùn)練，火焰檢測(cè)的最高精確率能達(dá)到 94.5%，查全率最高達(dá)到94.7%。

為進(jìn)一步驗(yàn)證該模型的性能，取火災(zāi)視頻做短期決策，將其與文獻(xiàn)[14-15]的算法進(jìn)行對(duì)比，其精確率、召回率、測(cè)試時(shí)間結(jié)果見(jiàn)表2。

表2 與其他文獻(xiàn)算法進(jìn)行短期決策對(duì)比Table 2 Comparison of short-term decision with other literature algorithms

本文算法在精準(zhǔn)率和查全率上均優(yōu)于文獻(xiàn)[14]的算法，與文獻(xiàn)[15]的算法相較而言，雖然在查全率上有小幅下降，但精準(zhǔn)率有大幅提升，從測(cè)試時(shí)間上看，由于采用顏色特征引導(dǎo)的丟錨策略以及對(duì)特征層降維加快數(shù)據(jù)處理，測(cè)試時(shí)間相對(duì)其他算法較快，綜合考慮，本文算法的綜合檢測(cè)性能最佳。

4.4.3 火災(zāi)動(dòng)態(tài)行為長(zhǎng)期決策

為降低該模型的漏檢率，收集了36段超過(guò)3 min的片段，采用長(zhǎng)期決策檢測(cè)火災(zāi)的動(dòng)態(tài)行為。設(shè)置投票時(shí)間Tvot=1 min。電氣火災(zāi)中火焰和煙霧的狀態(tài)會(huì)不斷的發(fā)生改變，通過(guò)長(zhǎng)期決策可捕捉到火災(zāi)的動(dòng)態(tài)行為過(guò)程，如圖6所示。

圖6 電氣火災(zāi)視頻檢測(cè)Fig.6 Video detection of electrical fire

通過(guò)對(duì)比36個(gè)片段的平均準(zhǔn)確率A，可以看出較長(zhǎng)的時(shí)間段通常能夠提供更好的準(zhǔn)確性，因?yàn)樵诙鄶?shù)投票中結(jié)合了更多的ILSTM決策。決策結(jié)果見(jiàn)表3。但是隨著長(zhǎng)期決策周期增長(zhǎng)會(huì)帶來(lái)時(shí)間復(fù)雜度的增加，為不影響火災(zāi)實(shí)時(shí)性的判決，長(zhǎng)期決策時(shí)間不宜超過(guò)1 min。

表3 采用多數(shù)投票表決后最終決策的準(zhǔn)確性Table 3 Accuracy of final decision after majority vote

5 結(jié)論

1)針對(duì)Faster RCNN模型初始錨數(shù)量較多，采用顏色特征引導(dǎo)的丟錨方法和空間特征降維，顯著減少生成錨框的數(shù)量并快速準(zhǔn)確的定位可疑火災(zāi)區(qū)域，使得火災(zāi)檢測(cè)效率提高到91.3%。

2)為降低假陽(yáng)性的誤測(cè)，計(jì)算疑似火災(zāi)區(qū)域的面積，采取ILSTM結(jié)構(gòu)檢測(cè)火災(zāi)的動(dòng)態(tài)行為。結(jié)果表明，ILSTM對(duì)連續(xù)60幀中的特征進(jìn)行累加，能實(shí)現(xiàn)2 s內(nèi)火災(zāi)有效檢測(cè)。

3)為降低模型的漏檢率，采用多數(shù)投票法進(jìn)行1 min長(zhǎng)期決策，準(zhǔn)確率提高到97.92%。該方法具有很高的火災(zāi)檢測(cè)精度，從而減少誤報(bào)。此外，還構(gòu)建1個(gè)包含靜態(tài)圖像和視頻片段的大型火災(zāi)數(shù)據(jù)集，可增強(qiáng)來(lái)自知名公共數(shù)據(jù)集的數(shù)據(jù)。