羅小權(quán)，潘善亮

寧波大學(xué) 信息科學(xué)與工程學(xué)院，浙江 寧波 315211

1 引言

目前火災(zāi)探測(cè)器[1]被廣泛應(yīng)用于火災(zāi)檢測(cè)中，但是單一的火災(zāi)探測(cè)器檢測(cè)結(jié)果往往不夠可靠，Ting 等[2]提出了多傳感器數(shù)據(jù)融合算法將采集到的火災(zāi)物理參數(shù)進(jìn)行融合。但是火災(zāi)探測(cè)器有很多局限性，設(shè)備必須接近火源，屬于接觸性探測(cè)，而且必須等待火災(zāi)發(fā)生一定時(shí)間后產(chǎn)生大量的煙霧、CO 等火災(zāi)物理參數(shù)后才能夠觸發(fā)報(bào)警[3]，而且無(wú)法清楚地感知到火災(zāi)的大小、詳細(xì)位置信息等，給火災(zāi)檢測(cè)帶來(lái)了很大的不便[4]。

隨著計(jì)算機(jī)視覺(jué)的快速發(fā)展，Zhao等[5]利用時(shí)空特征和動(dòng)態(tài)紋理對(duì)火災(zāi)進(jìn)行檢測(cè)，Kim等[6]通過(guò)RGB顏色模型進(jìn)行火災(zāi)檢測(cè)，Mueller等[7]利用運(yùn)動(dòng)模型來(lái)模擬火的運(yùn)動(dòng)特征進(jìn)行火災(zāi)檢測(cè)，這些方法主要是針對(duì)火焰顏色和形狀進(jìn)行檢測(cè)，但是特征提取由人工手動(dòng)提取，人為因素較高，方法的穩(wěn)健性和泛化能力不足，難以在多個(gè)場(chǎng)景應(yīng)用。Frizzi 等[8]通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）取代人工提取特征，自動(dòng)對(duì)火災(zāi)進(jìn)行特征提取和分類。但是采用CNN來(lái)檢測(cè)火災(zāi)只能檢測(cè)出是否有火災(zāi)發(fā)生卻無(wú)法得知火災(zāi)發(fā)生的具體位置，而且對(duì)于火災(zāi)區(qū)域較小的圖像，往往存在漏檢的問(wèn)題[9]。

CNN 主要實(shí)現(xiàn)了火災(zāi)圖像和非火災(zāi)圖像的分類，往往沒(méi)有考慮與火相似的物體，對(duì)于類火物體存在很多的誤報(bào)。到目前為止，各種改進(jìn)版的CNN相繼出現(xiàn)，這些方法主要分為兩類：（1）兩步法（Two Stage）?；趨^(qū)域進(jìn)行檢測(cè)如R-CNN[10]、Fast R-CNN[11]、Faster R-CNN[12]。（2）一步法（One Stage）?；诨貧w進(jìn)行檢測(cè)，直接輸出物體的分類概率和坐標(biāo)如 SSD[13]、YOLO[14]、YOLOV2[15]、YOLOV3[16]可以更快地實(shí)現(xiàn)目標(biāo)檢測(cè)。

針對(duì)火災(zāi)檢測(cè)這一特定領(lǐng)域，本文提出一種改進(jìn)YOLOV3 的火災(zāi)檢測(cè)方法（YOLOV3-IMP），提高了對(duì)火災(zāi)檢測(cè)的效果，特別是對(duì)小火災(zāi)區(qū)域的檢測(cè)。通過(guò)對(duì)該模型的訓(xùn)練實(shí)現(xiàn)對(duì)火災(zāi)圖像和非火圖像進(jìn)行分類，實(shí)驗(yàn)表明該模型能夠?qū)崿F(xiàn)精準(zhǔn)、快速的火災(zāi)檢測(cè)。

2 YOLOV3原理

YOLOV3 由卷積層（Convolution Layers）、激活層（Leaky Relu）、批標(biāo)準(zhǔn)化層（Batch Normalization，BN）組成，網(wǎng)絡(luò)基本采用全卷積，同時(shí)引入了殘差塊（Residual Block）[17]結(jié)構(gòu)，降低了深層網(wǎng)絡(luò)的訓(xùn)練難度，使目標(biāo)檢測(cè)的精度和速度大幅度提升。

YOLOV3 的骨干網(wǎng)（Backbone）為 DarkNet-53，對(duì)輸入的圖像先進(jìn)行特征提取，為了獲取細(xì)粒度特征，YOLOV3 的特征金字塔（Feature Pyramid Networks，F(xiàn)PN）[18]使用步長(zhǎng)為2的卷積來(lái)降采樣，在32、16、8倍降采樣時(shí)進(jìn)行目標(biāo)檢測(cè)，將三次降采樣得到的特征信息通過(guò)轉(zhuǎn)移層（Passthrough Layer）進(jìn)行拼接，在多尺度檢測(cè)（Multiscale Detection）部分使用3種不同尺度特征圖融合（13×13，26×26，52×52），把淺層特征圖連接到深層特征圖，對(duì)不同尺度的特征進(jìn)行融合使YOLOV3 可以學(xué)習(xí)到深層和淺層特征信息，YOLOV3的網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

YOLOV3采用回歸的方法來(lái)提取特征，是一種端到端的訓(xùn)練過(guò)程，輸入圖像之后直接在特征層回歸出其類別和邊框[19]，相比之前的Faster R-CNN等算法先檢測(cè)再回歸的兩步法，這種一步法明顯地提高了實(shí)時(shí)性。

YOLOV3在目標(biāo)檢測(cè)方面雖然有比較好的表現(xiàn)，但是在火災(zāi)檢測(cè)這一特定領(lǐng)域上，部分火災(zāi)區(qū)域很小，需要及時(shí)地檢測(cè)到，YOLOV3 還需要進(jìn)行相應(yīng)的改進(jìn)，使得能夠更好地保證火災(zāi)檢測(cè)的準(zhǔn)確度和實(shí)時(shí)性，針對(duì)YOLOV3 在火災(zāi)檢測(cè)上的不足之處，本文提出改進(jìn)YOLOV3 的火災(zāi)檢測(cè)方法YOLOV3-IMP，并通過(guò)實(shí)驗(yàn)驗(yàn)證本文方法在火災(zāi)檢測(cè)上的可行性。

圖1 YOLOV3網(wǎng)絡(luò)結(jié)構(gòu)圖

3 YOLOV3-IMP

3.1 網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)

3.1.1 特征提取網(wǎng)絡(luò)改進(jìn)

YOLOV3 采用Conv3×3/2 和殘差塊來(lái)對(duì)輸入的火災(zāi)圖像進(jìn)行特征提取工作，可以一定程度上避免隨著網(wǎng)絡(luò)層次增加，在特征提取過(guò)程中特征損失的問(wèn)題，但該特征提取網(wǎng)絡(luò)在進(jìn)行特征提取時(shí)，還是容易丟失部分特征，為了進(jìn)一步減少特征提取時(shí)的損失，本文引入了深度可分離卷積（Depthwise Separable Convolutions）[20]代替殘差塊中的普通卷積，并在輸出到下一層特征圖的卷積層之前采用Conv1×1來(lái)進(jìn)一步進(jìn)行特征平滑，特征提取網(wǎng)絡(luò)對(duì)比如圖2所示。

圖2 特征提取網(wǎng)絡(luò)對(duì)比

深度可分離卷積相比較傳統(tǒng)卷積將對(duì)通道的卷積和對(duì)空間的卷積分離開來(lái)[21]，輸入圖像為RGB三通道，先利用Conv3×3 對(duì)輸入圖像每個(gè)通道的空間進(jìn)行卷積來(lái)做特征提取，然后用Conv1×1對(duì)每個(gè)通道上采集到的空間特征進(jìn)行點(diǎn)卷積進(jìn)行特征融合。深度可分離卷積示意圖如圖3 所示，其中I1,I2,I3為上一層特征圖的輸入，T1,T2,T3為經(jīng)過(guò)深度卷積后的每個(gè)通道的輸出，O1,O2,O3為經(jīng)過(guò)深度卷積和點(diǎn)卷積后的最終輸出。

圖3 深度可分離卷積

經(jīng)過(guò)深度可分離卷積之后再利用Conv1×1 進(jìn)行特征融合，結(jié)合殘差塊進(jìn)行特征輸出，最終將輸出結(jié)果利用Conv1×1 進(jìn)行特征，可以提高特征提取能力，加快網(wǎng)絡(luò)訓(xùn)練速度，改進(jìn)后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 改進(jìn)后的特征提取網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)最終會(huì)產(chǎn)生火災(zāi)、街燈、消防員，清潔工這4類輸出，根據(jù)這四類對(duì)象的差異對(duì)各自的關(guān)鍵特征進(jìn)行提取?；馂?zāi)沒(méi)有固定的形狀，但是有鮮明的顏色特征，將火災(zāi)區(qū)域大小和顏色作為關(guān)鍵特征進(jìn)行提取；街燈的顏色與火災(zāi)顏色類似，但是有固定的形狀（燈罩、燈柱），將街燈的形狀和顏色結(jié)合起來(lái)作為關(guān)鍵特征；消防員和清潔工衣服的顏色與火災(zāi)顏色相似，但是有人的體型，結(jié)合體型和衣服顏色可作為關(guān)鍵特征，根據(jù)消防員和清潔工的工具等細(xì)節(jié)可將兩者分別開來(lái)。通過(guò)改進(jìn)后的特征提取網(wǎng)絡(luò)可以在提取特征時(shí)減少特征提取損失，有效提取出圖像中的關(guān)鍵特征，提高網(wǎng)絡(luò)識(shí)別精度。

3.1.2 多尺度檢測(cè)改進(jìn)

在網(wǎng)絡(luò)特征提取過(guò)程中，淺層特征圖分辨率較大，包含的位置信息較多；深層特征圖分辨率較小，包含的語(yǔ)義信息較多但位置信息較少[22]。為了利用淺層特征圖信息，YOLOV3 在火災(zāi)檢測(cè)時(shí)使用了13×13，26×26，52×52這3個(gè)尺度的特征圖融合。

這種方法在火災(zāi)區(qū)域較大時(shí)檢測(cè)效果較好，但是由于對(duì)淺層信息利用得不夠充分，經(jīng)過(guò)多次卷積后火災(zāi)圖像的部分信息會(huì)丟失，導(dǎo)致小火災(zāi)區(qū)域的檢測(cè)效果欠佳。

為了解決這一問(wèn)題，本文添加低維的尺度檢測(cè)來(lái)強(qiáng)化對(duì)淺層特征圖信息的學(xué)習(xí)能力，但是添加新的尺度檢測(cè)會(huì)增大網(wǎng)絡(luò)復(fù)雜度，增加檢測(cè)時(shí)延，經(jīng)過(guò)對(duì)火災(zāi)檢測(cè)精度和實(shí)時(shí)性的綜合考慮，將之前的3尺度檢測(cè)拓展為4尺度檢測(cè)，添加104×104尺度的檢測(cè)。

另外，在傳統(tǒng)的YOLOV3 中上采樣步長(zhǎng)為2，本文將上采樣步長(zhǎng)拓展為2，4，8 融合不同的淺層特征圖信息，使深層特征圖得到更好的重用，最后將上采樣后的特征圖與104×104的特征圖進(jìn)行級(jí)聯(lián)，更加充分地利用淺層特征圖信息，將不同尺度的特征融合之后再進(jìn)行火災(zāi)檢測(cè)。改進(jìn)的多尺度檢測(cè)如圖4所示。

圖4 改進(jìn)的多尺度檢測(cè)

改進(jìn)后的4 尺度檢測(cè)融合了更多尺度的淺層特征圖信息，在火災(zāi)檢測(cè)實(shí)時(shí)性可接受范圍內(nèi)進(jìn)一步提高對(duì)小火災(zāi)區(qū)域圖像的檢測(cè)效果。

3.2 先驗(yàn)框改進(jìn)

由于數(shù)據(jù)集中的火災(zāi)圖像的火災(zāi)區(qū)域大小各異，為了使檢測(cè)算法能夠更快速和精準(zhǔn)地對(duì)火災(zāi)進(jìn)行檢測(cè)，利用K-means聚類算法對(duì)火災(zāi)數(shù)據(jù)集中的真實(shí)框（Ground True Box）進(jìn)行聚類分析，找到其統(tǒng)計(jì)規(guī)律，以聚類個(gè)數(shù)k為先驗(yàn)框的個(gè)數(shù)，以K個(gè)聚類中心框的寬高為先驗(yàn)框（Anchor）的寬高。

K-means 通常使用歐式距離來(lái)計(jì)算對(duì)象間的距離，但是對(duì)先驗(yàn)框使用歐式距離計(jì)算時(shí)，大的先驗(yàn)框會(huì)比小的先驗(yàn)框產(chǎn)生更多的誤差，因此使用改進(jìn)的距離公式進(jìn)行計(jì)算。因?yàn)榫垲惖哪康氖菫榱俗屜闰?yàn)框與鄰近的真實(shí)框有更大的交并比（IOU），IOU是用來(lái)檢測(cè)數(shù)據(jù)集中相關(guān)對(duì)象準(zhǔn)確性的標(biāo)準(zhǔn)，計(jì)算公式如公式（1）：

其中，TP為真陽(yáng)性，F(xiàn)P為假陽(yáng)性，F(xiàn)N為假陰性。為了對(duì)網(wǎng)絡(luò)中先驗(yàn)框與真實(shí)框能夠方便進(jìn)行交并比計(jì)算，采用如下計(jì)算公式：

其中，I(X)為像素點(diǎn)的交集，U(X)為像素點(diǎn)的并集，計(jì)算公式如式（3）、（4）：

其中，P為訓(xùn)練集中所有圖像像素的集合，X為集合P上像素點(diǎn)經(jīng)過(guò)網(wǎng)絡(luò)的輸出，?為真實(shí)框在P上的分布，若為背景像素點(diǎn)，?=0；若為對(duì)象像素點(diǎn)，X?=1。

為了使先驗(yàn)框到聚類中心的距離越小，同時(shí)使先驗(yàn)框與真實(shí)框的IOU更大，改進(jìn)后的距離公式為：

使用優(yōu)化后的K-means聚類算法，可以得出先驗(yàn)框個(gè)數(shù)K與IOU的關(guān)系如圖5所示。

圖5 先驗(yàn)框個(gè)數(shù)K與IOU分析圖

圖5 中，隨著先驗(yàn)框個(gè)數(shù)K的增加，IOU會(huì)逐漸增大，在K=12 時(shí)增速變緩，綜合考慮網(wǎng)絡(luò)的計(jì)算成本和火災(zāi)檢測(cè)的精確度，將先驗(yàn)框個(gè)數(shù)設(shè)置為12，所以聚類中心數(shù)k為12，隨機(jī)產(chǎn)生12個(gè)初始聚類中心如表2所示。

得到初始聚類中心之后，將火災(zāi)數(shù)據(jù)集中所有標(biāo)記對(duì)象的真實(shí)框進(jìn)行統(tǒng)計(jì)，按照上述距離公式來(lái)計(jì)算距離，不停地進(jìn)行迭代，直到聚類中心的距離變化小于給定閾值（本文中為0.005）則停止，迭代過(guò)程中距離變化如圖6所示。

表2 初始聚類中心

圖6 迭代過(guò)程中距離變化

當(dāng)聚類中心趨于穩(wěn)定時(shí)，可以得出聚類后的聚類中心如表3所示。

表3 聚類后的聚類中心

通過(guò)聚類得到的聚類中心，與輸入圖像的尺寸進(jìn)行乘積運(yùn)算可以得到聚類后的先驗(yàn)框如表4所示。

表4 聚類后的先驗(yàn)框

針對(duì)改進(jìn)后的四種不同尺寸的特征圖，在每種尺寸的特征圖上分別采用三種先驗(yàn)框，在13×13的特征圖上，有最大的感受野，采用126×73，175×174，210×312這三種尺寸的先驗(yàn)框來(lái)檢測(cè)火災(zāi)區(qū)域最大的圖像；在26×26 的特征圖上，采用70×212，100×141，115×292 這三種尺寸的先驗(yàn)框來(lái)檢測(cè)火災(zāi)區(qū)域較大的圖像；在52×52 的特征圖上，采用42×152，59×50，64×97 這三種尺寸的先驗(yàn)框來(lái)檢測(cè)火災(zāi)區(qū)域中等的圖像；在新添加的104×104 的特征圖上，有最小的感受野，采用14×23，30×36，30×77 這三種尺寸的先驗(yàn)框來(lái)檢測(cè)火災(zāi)區(qū)域較小的圖像。

3.3 損失函數(shù)改進(jìn)

YOLOV3 的損失函數(shù)由坐標(biāo)誤差，置信度誤差，分類誤差三部分組成如式（6）～（9）所示：

其中，表示網(wǎng)格j中的邊界框i里面有對(duì)象出現(xiàn)表示網(wǎng)格j中的邊界框i里面沒(méi)有對(duì)象出現(xiàn)時(shí)λcoord表示預(yù)測(cè)框與真實(shí)框的坐標(biāo)誤差，為預(yù)測(cè)框坐標(biāo)，為真實(shí)框（Ground Truth）坐標(biāo)。λobj和λnoobj分別表示有對(duì)象和沒(méi)有對(duì)象的邊界框的置信度，為分類誤差，當(dāng)火災(zāi)存在真實(shí)框里時(shí)，。

其中Losscoord采用和方差（The Sum of Squares due to Error，SSE）損失函數(shù)，置信度誤差和分類誤差采用交叉熵（Cross entropy）損失函數(shù)。當(dāng)網(wǎng)絡(luò)的輸出較大時(shí)，平方差損失函數(shù)得到的誤差很小，網(wǎng)絡(luò)收斂較慢，容易造成梯度消失的情況，交叉熵?fù)p失函數(shù)可以避免梯度消失的發(fā)生。

在YOLOV3 的坐標(biāo)誤差部分，通過(guò)邊界框與真實(shí)框的寬度差和高度差的平方和來(lái)進(jìn)行計(jì)算。但是當(dāng)待檢測(cè)圖像中的火災(zāi)區(qū)域的寬度和高度很相近時(shí)，邊界框的寬度的計(jì)算權(quán)重較低，大火災(zāi)區(qū)域?qū)ψ鴺?biāo)誤差的影響較大，而小火災(zāi)區(qū)域的坐標(biāo)誤差很容易被忽略。當(dāng)待檢火災(zāi)圖像中的火災(zāi)區(qū)域較小時(shí)，該火災(zāi)區(qū)域可能無(wú)法被標(biāo)記，坐標(biāo)誤差的損失函數(shù)的也會(huì)得到一個(gè)很小輸出，不利于檢測(cè)小火災(zāi)區(qū)域。

針對(duì)原始YOLOV3 的坐標(biāo)誤差損失函數(shù)的缺陷，本文在邊界框和真實(shí)框的平方和的基礎(chǔ)上，考慮真實(shí)框的寬度和高度，將真實(shí)框的寬度和高度進(jìn)行加權(quán)，使大火災(zāi)區(qū)域的坐標(biāo)誤差不會(huì)對(duì)小火災(zāi)區(qū)域的檢測(cè)產(chǎn)生太大的影響，提高小火災(zāi)區(qū)域的檢測(cè)能力。改進(jìn)的坐標(biāo)誤差損失函數(shù)如式（10）所示：

以一個(gè)火災(zāi)圖像中有兩個(gè)火災(zāi)區(qū)域?yàn)槔?，其中小火?zāi)區(qū)域的真實(shí)框?yàn)?5×23，邊界框?yàn)?1×32；大火災(zāi)區(qū)域的真實(shí)框?yàn)?32×326，邊界框?yàn)?26×340；可以得出小火災(zāi)區(qū)域的為0.04，為0.06，w為0.05，h為0.08；大火災(zāi)區(qū)域的為0.56，?為0.78，w為0.54，h為0.82。通過(guò)式（7）與式（10）可得出改進(jìn)前后各自損失函數(shù)的值如表5所示。

表5 改進(jìn)前后損失函數(shù)數(shù)值

通過(guò)表5可以看出，對(duì)真實(shí)框的寬度和高度進(jìn)行加權(quán)，可以根據(jù)待檢火災(zāi)區(qū)域的大小來(lái)調(diào)整該火災(zāi)區(qū)域在坐標(biāo)損失函數(shù)中的權(quán)重，使得大火災(zāi)區(qū)域坐標(biāo)誤差的權(quán)重降低，不會(huì)掩蓋小火災(zāi)區(qū)域的坐標(biāo)誤差。通過(guò)對(duì)坐標(biāo)誤差損失函數(shù)的修正有利于提高對(duì)小火災(zāi)區(qū)域的檢測(cè)精度，使算法的準(zhǔn)確率和召回率進(jìn)一步提高。

3.4 非極大值抑制改進(jìn)

對(duì)于每張輸入的火災(zāi)圖像，YOLOV3在得出最終預(yù)測(cè)框之前會(huì)采用非極大值抑制算法（Non Maximum Suppression，NMS）[23]進(jìn)行局部最大值搜索，先將預(yù)測(cè)框按置信度得分排序，保留得分最高的預(yù)測(cè)框，然后以最高得分的預(yù)測(cè)框與其他框進(jìn)行IOU計(jì)算，刪除該預(yù)測(cè)框IOU大于給定閾值的其他預(yù)測(cè)框，然后對(duì)剩余框迭代進(jìn)行這一過(guò)程，最終輸出預(yù)測(cè)框位置。

如果當(dāng)待檢測(cè)區(qū)域重合度較高，NMS 會(huì)將較低置信度的預(yù)測(cè)框刪除，可能會(huì)導(dǎo)致該區(qū)域漏檢，以至于檢測(cè)結(jié)果的Recall較低。為了解決這一問(wèn)題，Soft-NMS[24]對(duì)IOU 大于給定閾值的預(yù)測(cè)框進(jìn)行得分衰減而不是直接刪除，本文采用Softer-NMS[25]，用一種新的最小化預(yù)測(cè)框回歸損失函數(shù)（KL Loss），KL Loss 使預(yù)測(cè)框的預(yù)測(cè)呈高斯分布，而且與真實(shí)框接近，將預(yù)測(cè)框預(yù)測(cè)的標(biāo)準(zhǔn)差作為定位置信度，用來(lái)學(xué)習(xí)預(yù)測(cè)框變換和定位置信度（localization confidence）。

KL Loss 為預(yù)測(cè)框的高斯分布和真實(shí)框的狄拉克分布的KL散度的損失函數(shù)，由式（11）～（13）計(jì)算：

其中，Pθ(x)為預(yù)測(cè)框的高斯分布，PD(x)為真實(shí)框的狄拉克分布；xe為預(yù)測(cè)框的位置期望，xg為真實(shí)框的位置。因?yàn)镻D(x)為一種標(biāo)準(zhǔn)差趨近于0 的高斯分布的極限，所以Pθ(x)的標(biāo)準(zhǔn)差越趨近于0，Lossreg也會(huì)越趨近于0，代表預(yù)測(cè)框與真實(shí)框越接近，所以將預(yù)測(cè)框的標(biāo)準(zhǔn)差作為定位置信度可以對(duì)預(yù)測(cè)框進(jìn)行有效定位。

Softer-NMS 對(duì)預(yù)測(cè)標(biāo)注方差范圍內(nèi)的預(yù)測(cè)框進(jìn)行加權(quán)平均，使得高定位置信度的預(yù)測(cè)框具有較高的分類置信度。

因?yàn)楸疚臄?shù)據(jù)集中有很多圖像的區(qū)域的重疊面積較大，如火情很復(fù)雜的區(qū)域采用了多個(gè)框作為標(biāo)注，而不是用一個(gè)框?qū)⑺谢馂?zāi)范圍包圍起來(lái)；部分街燈的燈柱上有很多燈且相互覆蓋較大，遮住了部分特征；部分消防員和清潔工的位置十分接近，身體遮掩程度較大，原有的NMS 會(huì)導(dǎo)致較高的漏檢率。采用Softer-NMS 代替YOLOV3 原來(lái)的NMS 進(jìn)行預(yù)測(cè)框輸出可以使重合度較高的區(qū)域得到有效檢測(cè)，使算法的Recall得以提高。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)環(huán)境

4.2 數(shù)據(jù)集

本文使用的實(shí)驗(yàn)數(shù)據(jù)集為自制的Fire-Detection Dataset，所有圖像均取自互聯(lián)網(wǎng)相關(guān)圖像，選取4 000張火災(zāi)（Fire）的圖像，2 600 張類火圖像（Fire-Like）（類火圖片包含800 張夜晚街燈圖像，1 000 張消防員圖像，800張清潔工圖像），共計(jì)6 600張，數(shù)據(jù)集分布情況如圖7所示。

圖7 Fire-DetectionDataset數(shù)據(jù)分布

將該數(shù)據(jù)集按8∶1∶1 分配為訓(xùn)練集、驗(yàn)證集、測(cè)試集，具體分配情況如表6所示。

表6 數(shù)據(jù)集分配情況

本文算法需要通過(guò)對(duì)TXT 文本的讀取來(lái)獲得訓(xùn)練圖像的存儲(chǔ)路徑以及圖像中目標(biāo)的標(biāo)記像素坐標(biāo)和目標(biāo)類別。因此首先對(duì)訓(xùn)練圖像進(jìn)行統(tǒng)一編號(hào)，編號(hào)后對(duì)待識(shí)別目標(biāo)（火災(zāi)、類火）用LabelImg 圖像標(biāo)注軟件進(jìn)行標(biāo)注，將圖像中標(biāo)注的目標(biāo)位置信息和類信息存儲(chǔ)為訓(xùn)練需要的XML 文件，再通過(guò)Python 程序生成對(duì)應(yīng)的TXT 文件，將這些文件組合成YOLOV3 可以識(shí)別的VOC2007 格式的數(shù)據(jù)集，訓(xùn)練集樣本示例如圖8所示。

圖8 訓(xùn)練集樣本示例

由于從互聯(lián)網(wǎng)上采集到的火災(zāi)圖像數(shù)量有限，為了讓網(wǎng)絡(luò)能夠更好地學(xué)習(xí)到目標(biāo)特征，需要對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)拓展。常用的數(shù)據(jù)增強(qiáng)方法有翻轉(zhuǎn)、旋轉(zhuǎn)、平移、縮放、隨機(jī)對(duì)比度等。本文對(duì)圖像進(jìn)行90°、180°、270°旋轉(zhuǎn)和水平翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng)，訓(xùn)練集圖像的角度變換增強(qiáng)了訓(xùn)練模型對(duì)不同角度圖像的魯棒性，提高了模型的泛化能力，數(shù)據(jù)增強(qiáng)如圖9所示。

圖9 數(shù)據(jù)增強(qiáng)示例

4.3 模型訓(xùn)練

在模型訓(xùn)練階段，將動(dòng)量（Momentum）設(shè)置為0.9、衰變值（Decay）為0.000 5、批尺寸（Batch size）為32，使用小批量隨機(jī)梯度下降進(jìn)行優(yōu)化，初始學(xué)習(xí)率（Learning rate）為0.001，整個(gè)過(guò)程的學(xué)習(xí)率為10-3、10-4、10-5，分別對(duì)應(yīng)于前 5 000 次、前 5 000～10 000 次、前 10 000～15 000 次。采用數(shù)據(jù)增強(qiáng)來(lái)增加訓(xùn)練樣本。在訓(xùn)練過(guò)程中保存訓(xùn)練日志和訓(xùn)練權(quán)重，從訓(xùn)練日志中提取出loss 值和IOU 值畫圖，根據(jù)損失函數(shù)和IOU 對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行優(yōu)化調(diào)整至最優(yōu)，將loss 值最小時(shí)的權(quán)重作為最終權(quán)重對(duì)火災(zāi)圖像進(jìn)行檢測(cè)，訓(xùn)練參數(shù)如表7所示。

表7 訓(xùn)練模型初始參數(shù)

損失函數(shù)圖如圖10所示，從圖中可以看出，前5 000次迭代過(guò)程中，loss 值變化很大，在到達(dá)第12 500 次迭代次數(shù)時(shí)，loss值趨于穩(wěn)定。

圖10 損失函數(shù)曲線圖

IOU 圖如圖11 所示，從圖中可以看出，在第1 輪到第200 000 輪，隨著迭代次數(shù)增加，IOU 值上升較快，在200 000輪之后，IOU值也趨于穩(wěn)定。

圖11 平均IOU曲線圖

4.4 評(píng)估指標(biāo)

本文將通過(guò)訓(xùn)練后模型檢測(cè)的準(zhǔn)確率（Precision，P）、召回率（Recall，R）、平均精度（mean Average Precision，mAP）作對(duì)比，由式（14）～（17）計(jì)算：

其中，TP為真正例，F(xiàn)P為假正例，F(xiàn)N為負(fù)正例，c為分類數(shù)。P-R（Precison-Recall）曲線以精度和召回率為Y軸和X軸來(lái)繪制，檢測(cè)目標(biāo)對(duì)應(yīng)的P-R曲線圖如圖12所示。

圖12 P-R曲線圖

4.5 結(jié)果與分析

4.5.1 不同改進(jìn)策略的影響

通過(guò)對(duì)YOLOV3 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，將其特征提取網(wǎng)絡(luò)中的普通卷積修改為深度可分離卷積，并在特征輸出后用Conv1×1 進(jìn)行特征平滑，提高特征提取能力，改進(jìn)后效果如圖13所示。

圖13 特征提取網(wǎng)絡(luò)改進(jìn)效果

另外將3 尺度檢測(cè)拓展到4 尺度檢測(cè)，提高對(duì)淺層特征圖的利用，并將上采樣步長(zhǎng)進(jìn)行拓展到2，4，8，提升對(duì)深層特征的重用。將篩選出來(lái)的先驗(yàn)框在每個(gè)尺度上按1∶3進(jìn)行分配，在高維分配3個(gè)最大尺寸的先驗(yàn)框，在低維分配3個(gè)最小尺寸的先驗(yàn)框，以此類推將先驗(yàn)框分配完畢。該種改進(jìn)方案效果如圖14 所示，圖像上方火災(zāi)區(qū)域較小，改進(jìn)后的多尺度檢測(cè)可以有效檢測(cè)出小火災(zāi)區(qū)域。

圖14 多尺度檢測(cè)改進(jìn)效果

在原來(lái)的YOLOV3坐標(biāo)誤差損失函數(shù)加入對(duì)邊界框尺寸的考慮，將邊界框的寬高進(jìn)行加權(quán)，降低大框?qū)π】虻挠绊懗潭?，可以提高網(wǎng)絡(luò)的檢測(cè)效果，加快網(wǎng)絡(luò)的收斂，該方法改進(jìn)后的效果如圖15所示。

圖15 損失函數(shù)改進(jìn)效果

最后在輸出預(yù)測(cè)框之前，將原來(lái)的NMS 改進(jìn)為Softer-NMS，可以有效提高對(duì)重疊區(qū)域的檢測(cè)能力，使網(wǎng)絡(luò)召回率得以提高，改進(jìn)后的效果如圖16所示。

圖16 非極大值抑制改進(jìn)效果

對(duì)YOLOV3 進(jìn)行不同策略的改進(jìn)對(duì)mAP有不同程度的影響，YOLOV3不同改進(jìn)策略對(duì)mAP的影響如表8所示。

表8 不同改進(jìn)策略對(duì)mAP的影響

將傳統(tǒng)YOLOV3算法與不同改進(jìn)策略的YOLOV3算法在P、R、mAP上進(jìn)行比較，影響對(duì)比如圖17 所示。其中Network-IMP 為網(wǎng)絡(luò)結(jié)構(gòu)（特征提取網(wǎng)絡(luò)和多尺度檢測(cè)）改進(jìn)后的算法，Loss-IMP 為損失函數(shù)改進(jìn)后的算法，YOLOV3-IMP 為添加了所有改進(jìn)策略的算法。

圖17 不同改進(jìn)策略的影響對(duì)比

4.5.2 驗(yàn)證集上部分檢測(cè)結(jié)果

為了測(cè)試算法的魯棒性，在驗(yàn)證集中添加了火災(zāi)和類火圖像，用YOLOV3-IMP 在該驗(yàn)證集上進(jìn)行測(cè)試。部分檢測(cè)結(jié)果如圖18所示。

圖18 YOLOV3-IMP部分檢測(cè)結(jié)果

圖18 中（a）～（f）為火災(zāi)圖像的檢測(cè)結(jié)果，其中（a）～（c）為火情較單一的情況，（a）中的火災(zāi)區(qū)域較大，（b）、（c）中的火災(zāi)區(qū)域較小，本文算法均能有效檢測(cè)出火災(zāi)；（d）～（f）為火情較復(fù)雜的情況，本文算法在火情較復(fù)雜的情況下有效檢測(cè)出大火災(zāi)區(qū)域和小火災(zāi)區(qū)域，在檢測(cè)的準(zhǔn)確度和召回率上都表現(xiàn)良好。（g）～（i）為類火圖像的檢測(cè)結(jié)果，（g）中夜晚街燈的光和火災(zāi)發(fā)出光極其類似，（h）中消防員和（i）中清潔工衣服的顏色和火焰也很相似，本文算法能夠有效檢測(cè)出是否有真正的火災(zāi)發(fā)生。

實(shí)驗(yàn)結(jié)果表明本文算法不僅在大火災(zāi)區(qū)域的圖像上有良好的檢測(cè)結(jié)果，而且能夠有效檢測(cè)出小火災(zāi)區(qū)域，在對(duì)類火物體檢測(cè)時(shí)，能夠有效分辨出街燈、消防員和環(huán)衛(wèi)工，漏檢率和誤檢率低，在火災(zāi)檢測(cè)上有良好的表現(xiàn)。

4.5.3 對(duì)比實(shí)驗(yàn)

為了進(jìn)一步驗(yàn)證本文算法在火災(zāi)檢測(cè)上的有效性，將本文算法與目標(biāo)檢測(cè)效果良好的Faster R-CNN、SSD、YOLO、YOLOV2、YOLOV3 等模型在相同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)對(duì)比分析，6 種算法性能測(cè)試結(jié)果如表9所示。

表9 算法測(cè)試結(jié)果

根據(jù)表9可以看出，在測(cè)試集相同的情況下，本文算法相比于Faster R-CNN，P、R、mAP分別提高3.2%、11.7%、7.9%，F(xiàn)aster R-CNN 作為典型的是基于候選區(qū)域的火災(zāi)檢測(cè)算法，其RPN（Region Proposal Networks）推薦候選區(qū)域時(shí)會(huì)消耗大量時(shí)間。雖然該算法整體性能較好，但是其檢測(cè)一張火災(zāi)圖像的時(shí)間長(zhǎng)達(dá)0.34 s，雖然 Faster R-CNN 比 R-CNN 與 Fast R-CNN 的檢測(cè)時(shí)間要短得多，但是在火災(zāi)檢測(cè)的實(shí)時(shí)性要求上仍然有所不足。

將本文算法與基于回歸的檢測(cè)算法進(jìn)行對(duì)比分析，相比于SSD，P、R、mAP分別提高11.2%、21.8%、16.6%，SSD使用低級(jí)特征去檢測(cè)小火災(zāi)區(qū)域，但是低級(jí)特征的卷積層較少，特征提取不夠充分，導(dǎo)致對(duì)小火災(zāi)區(qū)域的檢測(cè)效果欠佳，算法的R較低，雖然檢測(cè)速度比本文算法快0.1 s，但是本文算法比SSD火災(zāi)檢測(cè)效果有大幅度提高。

與YOLO 系列進(jìn)行對(duì)比分析，本文算法在性能上比YOLO 和YOLOV2 有大幅度提升，相比于傳統(tǒng)的YOLOV3，P、R、mAP分別提高6.2%、7.2%、6.7%，因?yàn)楸疚乃惴ㄔ赮OLOV3 上進(jìn)行了相應(yīng)拓展，檢測(cè)速度比YOLOV3慢0.3 s，但是提高了火災(zāi)檢測(cè)效果，特別是對(duì)于小火災(zāi)區(qū)域的檢測(cè)能力有明顯提升。

本文算法在滿足火災(zāi)檢測(cè)的實(shí)時(shí)性要求下對(duì)該數(shù)據(jù)集以0.28 s的平均檢測(cè)速度獲得了84.5%的mAP，實(shí)驗(yàn)證明本文算法在火災(zāi)檢測(cè)中的可行性。算法性能對(duì)比如圖19所示。

圖19 算法性能對(duì)比

5 結(jié)論與展望

針對(duì)YOLOV3 在火災(zāi)檢測(cè)應(yīng)用上的不足，本文主要對(duì)YOLOV3 進(jìn)行了特征提取網(wǎng)絡(luò)改進(jìn)、多尺度檢測(cè)改進(jìn)、先驗(yàn)框改進(jìn)、損失函數(shù)改進(jìn)和非極大值抑制改進(jìn)，使之可以對(duì)火災(zāi)進(jìn)行更好的檢測(cè)，自行設(shè)計(jì)并標(biāo)注了火災(zāi)數(shù)據(jù)集Fire-DetectionDataset進(jìn)行實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)后的方法與同類火災(zāi)檢測(cè)算法相比對(duì)火災(zāi)檢測(cè)有更好的魯棒性，無(wú)論是在準(zhǔn)確度還是速度上都有良好的表現(xiàn)，在數(shù)據(jù)集上達(dá)到了91.6%的準(zhǔn)確率，83.2%的召回率，84.5%的mAP，平均檢測(cè)速度達(dá)0.28 s。在之后的工作中，將對(duì)網(wǎng)絡(luò)進(jìn)行優(yōu)化改進(jìn)，進(jìn)一步提高檢測(cè)效果和算法速度，同時(shí)對(duì)現(xiàn)有的火災(zāi)數(shù)據(jù)集進(jìn)行拓展，增加數(shù)據(jù)集的樣本的多樣性，提高訓(xùn)練集樣本質(zhì)量。