張大勝 肖漢光 文 杰 徐 勇

目前的火焰監(jiān)測主要使用煙霧傳感器與溫度傳感器[1].傳統(tǒng)火焰?zhèn)鞲衅鲬{借廉價、易用的優(yōu)勢被廣泛應用，然而此類傳感器僅限于小型封閉式空間，無法滿足大空間和室外等場景下的火焰檢測.近年來，隨著視頻攝像頭的廣泛使用和圖像處理技術的快速發(fā)展，基于視頻監(jiān)控的火焰檢測技術被廣泛應用于安防領域[2].相比傳統(tǒng)火焰?zhèn)鞲衅鳎曨l火焰檢測技術具有識別速度較快、泛化能力較強等優(yōu)勢.

傳統(tǒng)的火焰檢測方法主要依賴于多特征融合，通過提取火焰的靜態(tài)特征和動態(tài)特征進行判識.Prema等[3]分析森林場景中火焰的顏色空間和紋理，基于YCbCr顏色空間獲取火焰區(qū)域，并通過混合紋理特征檢測候選火焰區(qū)域.Zhu等[4]使用梯度特征(Gradient Features)表示RGB通道中的顏色變化，并應用支持向量機和決策樹模型判斷火焰區(qū)域，但該模型對光照強度敏感，泛化性能較差.Chen等[5]提出基于RGB顏色模型的聚類方法，獲取疑似火焰區(qū)域，再提取火焰閃爍頻率，判別是否為火焰, 但在火災初始階段假陽率較高，實時性能不佳.Zhang等[6]提出基于RGB和HIS的色彩空間模型，提取疑似火焰區(qū)域，并結合三幀差分法和ViBe背景差分算法識別火焰.上述火焰檢測方法在一定程度上能有效檢測火焰，但存在大量誤檢和漏檢，火焰檢測速度較慢.

近年來，深度學習在目標檢測領域取得突破性進展，目標檢測的精確度和效率都得到大幅提升[7-8].Muhammad等[9]提出基于GoogleNet架構的高效卷積神經(jīng)網(wǎng)絡模型，但火焰檢測時誤報率較高.Cai等[10]提出基于改進深度卷積神經(jīng)網(wǎng)絡的火焰檢測方法，使用全局平均池化代替全連接層，防止模型過擬合并提高檢測速度，但未在大型公開火焰數(shù)據(jù)集上進行驗證.Kim等[11]提出基于深度學習的火焰檢測方法，采用Faster R-CNN(Faster Region-Based Convolutional Neural Network)[12]檢測可疑火焰區(qū)域后，再利用長短期記憶網(wǎng)絡(Long-Short Term Me-mory Neural Network, LSTM)[13]進行分類，但網(wǎng)絡參數(shù)量過大，檢測速度較慢.Muhammad等[14]提出較小卷積核且較低計算量的卷積神經(jīng)網(wǎng)絡(Convo-lutional Neural Network， CNN)架構，實現(xiàn)檢測速度的提升.Wang等[15]提出基于火焰顏色特征和運動特征的兩階段火焰檢測方法，使用幀差法和顏色閾值確定火焰區(qū)域，再對火焰區(qū)域進行二次判識，但無法實時檢測火焰.白巖等[16]運用運動學理論、特征提取、CNN等方法，克服傳統(tǒng)方法對室內(nèi)煙霧和火焰識別不準確的缺點，但缺少足夠的火焰訓練數(shù)據(jù)供給模型學習，導致泛化能力不強.Chaoxia等[17]提出信息引導的火焰檢測方法，采用并行網(wǎng)絡生成圖像全局信息，并改進Faster R-CNN,執(zhí)行火焰檢測，但R-CNN(Region CNN)[18]和GIN(Global Informa-tion Network)共享特征圖時計算量較大，方法難以滿足實際應用需求.Choueiri等[19]提出基于人工神經(jīng)網(wǎng)絡的火焰檢測方法，借助傳感器輔助估計火焰.Zhang等[20]提出改進的特征提取方法，利用火焰的形態(tài)特征(如圓度、矩形)消除干擾，但在火焰早期檢測精度較低.Saponara等[21]提出基于YOLOv2(YOLO9000: Better, Faster, Stronger)[22]的實時視頻火焰檢測方法，并部署在低成本的嵌入式設備，但精度仍有待提高.Shahid等[23]通過時空網(wǎng)絡結合火焰形狀和運動頻閃特征獲得候選區(qū)，再利用分類器對火焰候選區(qū)域進行二次甄別.李欣健等[24]使用深度可分離卷積設計輕量化火焰檢測方法，實現(xiàn)準確性和速度的提升，但疑似火焰誤報問題仍有待進一步改善.Xu等[25]提出集成學習方法檢測森林火焰，采用集成模型綜合得分判識火焰，在一定程度上降低誤報率，但網(wǎng)絡結構十分復雜，導致檢測速度較慢.

YOLOv5(You Only Look Once Version5)輕量、靈活、易用，是當前通用的目標檢測算法之一.文獻[26]采用縮放、色彩空間調(diào)整和Mosaic數(shù)據(jù)增強策略，其中Mosaic數(shù)據(jù)增強將4幅圖像以隨機縮放、隨機裁剪、隨機分布方式進行拼接.主干網(wǎng)絡使用CSPNet(Cross Stage Partial Network)[26]，從圖像中提取豐富的特征信息.YOLOv5憑借較強的靈活性和較高的推理速度，被應用于不同對象的檢測中,但由于火焰數(shù)據(jù)樣本不均衡、對光照變化敏感、容易受背景干擾等因素，火焰識別率較低且存在大量真實火焰漏檢和疑似火焰誤檢的問題，該模型無法直接應用于火焰檢測.

為了解決上述問題，本文提出YOLOv5融合多特征的實時火焰檢測方法.在YOLOv5中引入Focal Loss損失函數(shù)[27],解決火焰檢測中正負樣本嚴重失衡的問題.同時為了解決GIoU(Generalized Intersec-tion over Union)收斂較慢的問題，并提高回歸精度，利用CIoU(Complete Intersection over Union)損失函數(shù)[28]，進一步加速收斂并提升性能.結合火焰靜態(tài)特征和動態(tài)特征，對候選火焰區(qū)域進行二次判別.對YOLOv5檢測結果區(qū)域進行顏色特征、相鄰幀差和時序信息分析，在一定程度上消除由于環(huán)境光照變化和易混疑似背景干擾引起的誤報，實現(xiàn)實時高效的火焰檢測方法.針對火焰數(shù)據(jù)集缺少的問題，建立大型高質(zhì)量的十萬量級火焰數(shù)據(jù)集(http://www.yongxu.org/databases.html)，采集大量不同場景下的火焰圖像，提升數(shù)據(jù)的多樣性.最后，在多個公開火焰數(shù)據(jù)集上評估方法，實驗表明，本文方法不僅有效降低誤報率，而且擁有實時檢測的速度.

1 YOLOv5融合多特征的實時火

焰檢測方法

自然場景下的火焰檢測任務主要存在如下3個困難：1)由于火焰訓練數(shù)據(jù)集存在正負樣本、難易樣本極度不均衡問題，同時實現(xiàn)低誤報率與低漏報率是一個很大的挑戰(zhàn).在應用深度網(wǎng)絡進行火焰檢測時，仍存在收斂效率與火焰檢測精度不高的問題.2)火焰的紋理、尖角、邊緣、頻閃等特征具有多樣性和不確定性，并且現(xiàn)實世界中存在大量易混疑似火焰圖像，基于單一模型的火焰檢測方法無法有效剔除并解決問題.3)自然場景中火焰易受光照強度變化、天氣情況的改變、易混疑似背景等因素的干擾，YOLOv5無法適應全天候實時火焰檢測.

為了解決上述問題，本文設計YOLOv5融合多特征的實時火焰檢測方法，總體流程如圖1所示.

圖1 本文方法總體流程Fig.1 Flow chart of the proposed method

本文方法首先利用改進的YOLOv5進行火焰的初步檢測，得出候選火焰區(qū)域.然后利用設計的誤報剔除策略和視頻序列的信息,去除候選火焰區(qū)域中存在的虛假火焰區(qū)域，最終保留的火焰區(qū)域被認為是真正的火焰區(qū)域.誤報剔除策略同時利用火焰的動態(tài)信息與靜態(tài)顏色信息，具體包括視頻中對應候選火焰區(qū)域的幀差時序信息及RGB與HIS顏色空間中的信息.方法涉及的深度網(wǎng)絡與模型訓練及應用的流程如圖2所示.

圖2 深度網(wǎng)絡、模型訓練及應用流程Fig.2 Flow chart of deep network, model training and model application

1.1 候選火焰區(qū)域檢測

類別不均衡是影響火焰檢測模型精度的一大難點,其中最嚴重的是正負樣本不均衡問題，因為一幅火焰圖像中前景、背景類別極度不平衡，只有很少一部分包含真實火焰.易分負樣本過多會主導梯度和損失，導致模型進行無效學習，不能較好地學習檢測火焰區(qū)域.針對火焰檢測的特點，為了緩解正負樣本不均衡的問題并充分利用困難樣本的信息，在YOLOv5網(wǎng)絡中使用Focal Loss損失函數(shù)和CIoU損失函數(shù)，最大程度辨識真實火焰區(qū)域.

Focal Loss損失函數(shù)基于標準交叉熵損失，能動態(tài)調(diào)整訓練過程中簡單樣本的權重，使模型更專注于困難樣本.標準交叉熵可表示為

其中,p表示預測樣本屬于1的概率，y表示類別標簽，取值為±1.為了解決類別不均衡問題，引入權重因子α，定義

則均衡交叉熵(α-balancedCE) 可表示為

CE(pt)=-αtlnpt.

雖然α能平衡正負樣本，但不能區(qū)分難易樣本.Focal Loss降低簡單樣本的權重，并專注于對困難樣本的訓練,具體可表示為

FL(pt)=-αt(1-pt)γlnpt.

其中：αt表示樣本權重，用于平衡正負樣本，解決樣本的不平衡問題；(1-pt)γ表示調(diào)節(jié)因子，減少簡單樣本對損失函數(shù)的影響，使模型專注于難分類的樣本，解決難易樣本不平衡的問題.

本文引入改進標準的二元交叉熵損失函數(shù)，控制對正負樣本的訓練，消除由于火焰數(shù)據(jù)正負樣本比例嚴重失衡引起的檢測精度下降的問題.

目標檢測模型的損失函數(shù)包括類別損失和位置損失，損失函數(shù)的主要功能是使火焰識別準確率更高，定位更精確.YOLOv5采用GIoU Loss計算邊界框(Bounding Box)回歸損失.GIoU Loss可表示為

其中,A、B表示2個任意框，C表示2個框的最小外接矩陣面積.GIoU包含IoU(Intersection over Union)所有的優(yōu)點，同時克服IoU損失在檢測框不重疊時出現(xiàn)的梯度問題.但是，由于嚴重依賴IoU項，GIoU收斂較慢.

為了解決GIoU收斂較慢的問題并提高回歸精度，同時考慮框回歸的三要素(重疊區(qū)域、中心點距離、寬高比)，本文使用CIoU損失函數(shù)，進一步加速收斂和提升性能.CIoU損失函數(shù)可表示為

CIoU在IoU損失的基礎上增加懲罰項

為權重函數(shù)，

度量長寬比的相似性，wgt、hgt表示真實框的寬和高，w、h表示預測框的寬和高.CIoU參數(shù)信息如圖3所示.

圖3 CIoU參數(shù)示意圖Fig.3 Illustration of CIoU parameters

1.2 誤報剔除

在不同場景下采集82 443幅真實火焰數(shù)據(jù)圖像和17 312幅易混疑似火焰數(shù)據(jù)圖像.改進的YOLOv5適合對正樣本火焰的檢測.負樣本包括室內(nèi)外各種光照強度、不同天氣情況和易混疑似背景等場景，檢測結果存在較多誤檢情況，必須通過后處理機制進一步剔除誤報.

本文基于模型檢測得出的候選火焰區(qū)域進行后處理，提取火焰顏色特征、運動特征和多幀時序信息并進一步過濾，使用火焰靜/動態(tài)特征剔除誤檢目標后，最終得到置信度較高的火焰區(qū)域.本文同時發(fā)現(xiàn)，限定適量疑似易混火焰圖像作為負樣本，能有效增強算法的魯棒性和準確性.

1.2.1火焰顏色梯級策略

基于火焰獨有的顏色特征，結合Chen等[29]提出的RGB和HIS判斷依據(jù)，對模型檢測截取的候選火焰區(qū)域進行二次篩選判別，提高火焰檢測方法整體準確度.RGB和HIS約束規(guī)則可表示如下：

Rule1R≥G>B;

Rule2R>RT,RT∈[115,135];

其中:RT表示紅色分量閾值，ST表示飽和度閾值.選擇合適的閾值條件至關重要,本文將RT紅色分量閾值設為115，ST飽和度閾值設為60.先利用RGB和HIS約束規(guī)則篩選候選火焰截圖，再將圖像進行二值化處理，并通過中值濾波消除噪聲干擾，使用形態(tài)學膨脹操作連接相鄰元素，最后得到火焰輪廓區(qū)域.

火焰顏色特征提取流程如圖4所示.顏色模型輪廓檢測結果如圖5所示.

圖4 火焰顏色特征提取流程Fig.4 Fire color feature extraction process

(a)真實火焰輪廓1 (b)真實火焰輪廓2(a)Real fire contour 1 (b)Real fire contour 2

研究顏色特征輪廓區(qū)域圖發(fā)現(xiàn)，對于改進的YOLOv5檢測結果截取后的候選火焰區(qū)域圖像，真實火焰圖像顏色輪廓面積與候選區(qū)域總面積占比較高，且誤報火焰圖像占比極低.本文根據(jù)顏色輪廓面積與候選區(qū)域總面積占比大小，建立顏色梯級模型.通過實驗選擇合適閾值對不同梯級占比進行抑揚，剔除部分誤報疑似火焰.選取22 231幅真實火焰圖像和1 914幅誤報火焰圖像進行實驗，最終得出合理的占比高低閾值(0.2和0.05).當占比大于上限閾值時，認為存在真實火焰，并進行置信度增強.當占比小于下限閾值時，認為不存在火焰，并進行置信度削弱，抑制疑似火焰圖像誤檢.不同的顏色輪廓占比閾值對應的誤報統(tǒng)計結果如表1所示.

由表1可見，當輪廓占比閾值取0.05時，誤報率為0.106，能達到誤報和漏報的折衷.因此，當顏色輪廓占比低于0.05時，對其置信度進行梯級抑制.由于大多數(shù)真實火焰圖像顏色輪廓占比高于0.2,對其置信度進行梯級增強.通過火焰顏色梯級策略，能較好地抑制疑似火焰圖像誤檢，最終達到提升本文方法在自然場景下檢測精度的效果.

表1 不同顏色輪廓占比閾值的誤報統(tǒng)計信息Table 1 False positive statistics for different color contour percentage thresholds

1.2.2火焰區(qū)域運動特征策略

在火焰檢測中存在大量誤檢的靜止目標，該類目標與真實火焰具有相似的顏色、形狀、尖角和紋理等特征，但不具備運動趨勢.然而，由于火焰本身的特點，火焰在燃燒過程中總有運動趨勢，因此可對改進的YOLOv5檢測的候選火焰區(qū)域進行運動檢測，剔除靜止目標誤檢.

幀差法[30]是較常見的運動目標檢測算法，具有運行速度較快，對環(huán)境光照變化不敏感等優(yōu)勢.本文通過對視頻圖像中連續(xù)N幀圖像進行差分運算，獲得運動目標的輪廓.由于候選火焰區(qū)域背景基本靜止不變，只有當出現(xiàn)火焰目標運動時，相鄰幀圖像間才會出現(xiàn)明顯的差別，因此可分析物體的運動特征，具體公式如下:

其中，D(x,y)表示連續(xù)兩幀間差分圖像，I(t-1)、I(t)表示前后幀圖像，Threshold表示差分圖像二值化時閾值.

本文使用相鄰幀差法進行運動檢測，對當前候選火焰區(qū)域與前一幀候選火焰區(qū)域進行差分運算，獲得運動目標輪廓總面積.若輪廓總面積不小于Tarea，符合火焰運動特征，否則剔除當前靜態(tài)目標誤檢.實驗中N=2，Tarea=300.

1.2.3火焰視頻多幀時序策略

針對視頻火焰數(shù)據(jù)，為了充分挖掘視頻前后幀時序信息，提高火焰檢測準確率并有效降低誤報率，基于統(tǒng)計濾波的思想，本文提出多幀時序信息策略.多幀時序策略類似于一個面向分類的“級聯(lián)過濾器”，即只有在連續(xù)的多個幀都判別為火焰時，才認為視頻中存在“真正的”火焰，這樣可有效應對深度模型產(chǎn)生的火焰誤報.

計算前K-1幀與當前幀圖像置信度均值，作為當前幀最終得分，利用火焰多幀置信度平均法，有效降低異常疑似火焰的單幀誤報.多幀策略能有效抑制單幀疑似火焰誤報，并顯著提高真實火焰置信度.多幀時序均值如下所示:

其中，Confn表示視頻中第n幀圖像置信度，K表示進行平均的幀數(shù)，threshold表示判定為真實火焰的閾值.第1個公式為初始化前K-1幀圖像置信度等于真實火焰閾值.在第2個公式中，當前幀判定為非火焰時，設置其前K-2幀圖像置信度為0，當前幀判定為火焰時，利用多幀時序信息設置當前幀置信度為當前幀與前K-1幀的均值.

多幀時序策略流程如圖6所示.該策略充分挖掘多幀間時序信息，利用多幀置信度平均法，能有效過濾非連續(xù)單幀誤報，并提升連續(xù)多幀真實火焰的檢測.實驗中K=3.

圖6 多幀時序策略流程圖Fig.6 Flow chart of multi-frame strategy

2 實驗及結果分析

實驗中使用的平臺是AMD R7-5800H 3.2 GHz和NVIDIA GeForce RTX 2060(6 GB獨顯).實驗開發(fā)環(huán)境為Python，火焰檢測模型由PyTorch框架構建.

2.1 大規(guī)?；鹧鏀?shù)據(jù)集構建

在計算機視覺領域，數(shù)據(jù)集發(fā)揮重要作用，數(shù)據(jù)驅動模型.大規(guī)模、高質(zhì)量、多場景的標注數(shù)據(jù)集有助于充分釋放模型性能.然而，由于數(shù)據(jù)集采集和數(shù)據(jù)標注需要昂貴的人力成本，目前公開可用的火焰數(shù)據(jù)集相對較少.因此，本文構建一個大規(guī)模、高質(zhì)量的火焰數(shù)據(jù)集，包括遠距離、多目標、小目標、不同光照條件、黑夜條件下的82 443幅真實火焰圖像和17 312幅易混疑似火焰圖像.為了保證數(shù)據(jù)集規(guī)范化，本文對數(shù)據(jù)集進行統(tǒng)一格式化命名并逐幅標注.

為了得到不同質(zhì)量火焰數(shù)據(jù)，通過篩選分類將數(shù)據(jù)集分為best(優(yōu)質(zhì)火焰)、good(良好火焰)、normal(一般火焰)、special(特殊火焰)、nofire(易混火焰)5類，其中易混火焰用作負樣本訓練模型.

本文使用收集的部分數(shù)據(jù)訓練模型，使用剩余數(shù)據(jù)驗證模型性能.應用數(shù)據(jù)集上標注的5類數(shù)據(jù)，不僅可充分測試模型性能，而且有利于觀察模型在不同情況下的表現(xiàn)，并據(jù)此對模型進行有針對性的進一步訓練，降低模型的誤報率和漏報率.同時，本文發(fā)現(xiàn)，建立火焰檢測數(shù)據(jù)集時，負樣本限定為疑似火焰圖像是一個較好的辦法，有利于訓練出結果更優(yōu)的模型和方法.

2.1.1火焰圖像采集

在火焰圖像采集過程中，為了確保訓練數(shù)據(jù)集的多樣性和豐富性，提高模型泛化性能，本文收集不同來源的火焰圖像.同時為了有效降低誤報率，收集大量容易混淆的疑似火焰圖像作為負樣本.數(shù)據(jù)集主要來源包括公開視頻集(MIVIA[2]、KMU CVPR Lab Fire[31]、Bilkent University火焰視頻庫、Ultimate Chase視頻火焰數(shù)據(jù)集)、Corsician Fire數(shù)據(jù)集、BoWFire數(shù)據(jù)集[32]、MS COCO2014數(shù)據(jù)集、互聯(lián)網(wǎng)火焰圖像數(shù)據(jù)集(百度、谷歌)、自建火焰圖像數(shù)據(jù)集.該數(shù)據(jù)集以自建火焰圖像為主，詳細統(tǒng)計信息如表2所示.

表2 數(shù)據(jù)集詳細統(tǒng)計信息Table 2 Detailed information of datasets

本文在不同場景和不同天氣與光照情況下拍攝71 523幅真實火焰的圖像，注重小目標火焰圖像的采集.這些圖像可用于提升模型的泛化性能和魯棒性.真實火焰數(shù)據(jù)集樣本如圖7所示，包括實地拍攝圖像與收集的火焰圖像.

由圖7可知，本文提出的火焰數(shù)據(jù)集場景豐富,質(zhì)量較高.在火焰圖像采集過程中，人工制造火焰并通過手機、攝像機等移動設備拍攝錄制火焰數(shù)據(jù)，再對視頻數(shù)據(jù)每隔20幀進行分幀保存火焰圖像.最終收集到的火焰數(shù)據(jù)集涵蓋室內(nèi)、室外、白天、黑夜、森林、工廠、房屋、池塘、公路、山地等不同場景，較好地擬合不同實際場景.

(a)森林火災 (b)電器火焰 (c)房屋火災 (d)汽車火災(a)Forest fire (b)Electrical fire (c)House fire (d)Car fire

同時為了解決樣本不均衡問題和提升模型泛化性能，本文收集17 312幅易混火焰.易混疑似火焰圖像如圖8所示.

針對負樣本，本文提出的數(shù)據(jù)集涵蓋朝霞、夕陽、汽車尾燈、臥室燈光、路燈、橙色衣物、枯樹葉等疑似火焰.

(a)朝霞圖像 b)夕陽圖像 (c)臥室燈光 (d)客廳光影(a)Morning glow image (b)Sunset image (c)Bedroom lighting (d)Living room lighting

2.1.2火焰圖像標注

由于采集的火焰圖像均無標簽數(shù)據(jù)，因此本文使用LabelImg標注工具逐一標注每幅火焰圖像，并保存成VOC格式.對于負樣本圖像，生成YOLO格式空標簽并存儲在txt文件中.為了保證82 443幅火焰圖像的一致性和高質(zhì)量，所有標簽數(shù)據(jù)都逐一標注并手動多輪交叉檢查.經(jīng)過1 800多個工時的艱苦工作，完成整個數(shù)據(jù)集中火焰區(qū)域的精確標記.

2.1.3圖像分類篩選

為了驗證不同質(zhì)量數(shù)據(jù)集對方法性能的影響，本文通過篩選分類，將全部數(shù)據(jù)集分為5類.數(shù)據(jù)集分類統(tǒng)計信息如表3所示.由表可知，把數(shù)據(jù)集分為5類的同時，為了保證數(shù)據(jù)集的可擴充性，對所有數(shù)據(jù)集進行統(tǒng)一規(guī)范化命名，方便后續(xù)補充豐富數(shù)據(jù)集.

表3 數(shù)據(jù)集分類統(tǒng)計信息Table 3 Dataset classification statistics

2.2 評估方法

為了評估方法性能，本文使用的評價指標包括精確率(Precision， P)、召回率(Recall， R)、綜合評價指標(F-Measure)、準確率(Accuracy， ACC)、誤報率(False Positive Rate， FPR)、漏報率(False Negative Rate， FNR).精確率反映模型正確預測正樣本精度的能力，召回率反映模型正確預測正樣本全度的能力，F(xiàn)-Measure是精確率和召回率的加權調(diào)和平均.準確率反映模型判斷正確的能力，誤報率反映模型正確預測正樣本純度的能力，漏報率反映模型正確預測負樣本純度的能力.精確率、召回率越大，模型性能越優(yōu).誤報率、漏報率值越小，模型性能越優(yōu).評價指標定義如下:

其中,NP表示真實火焰樣例數(shù)，NN表示非火焰樣例數(shù),TP(True Positive)表示真實火焰被正確預測數(shù)，F(xiàn)N(False Negative)表示真實火焰被錯誤預測數(shù)，F(xiàn)P(False Positive)表示非火焰被錯誤預測數(shù)，TN(True Negative)表示非火焰被正確預測數(shù).

2.3 不同公共數(shù)據(jù)集上實驗對比2.3.1 BoWFire數(shù)據(jù)集上實驗結果

BoWFire數(shù)據(jù)集較小卻十分經(jīng)典，包含大量與真實火焰高度相似、容易混淆的負樣本，如夕陽、晚霞、強光、夜景等場景.因此檢測時具有挑戰(zhàn)性.BoWFire數(shù)據(jù)集樣例信息如圖9所示.

(a)日落余暉 (b)日落美景(a)Sunset afterglow (b)Sunset view

本文選擇如下對比方法：文獻[9]方法、文獻[14]方法、文獻[17]方法、文獻[29]方法、文獻[32]方法.文獻[9]方法和文獻[14]方法使用SqueezeNet和MobileNet.文獻[17]方法使用Faster R-CNN進行檢測.文獻[32]方法整合顏色、紋理特征進行檢測.

各方法在BoWFire數(shù)據(jù)集上的性能對比如表4所示，表中黑體數(shù)字表示最優(yōu)值.由表可知，本文方法在精確率、F-Measure、誤報率、準確率等指標上優(yōu)于其它方法,在速度方面也較好地達到實時性要求.

表4 各方法在BoWFire數(shù)據(jù)集上的性能對比Table 4 Performance comparison of different methods on BoWFire dataset

在BoWFire數(shù)據(jù)集的119幅火焰圖像和107幅非火焰圖像上，本文方法漏報7幅火焰圖像，誤報4幅非火焰圖像.本文方法具體檢測效果如圖10所示.

(a)夜景火焰 (b)消防圖像 (c)道路小火焰 (d)屋頂火焰(a)Night scene flame (b)Firefighting (c)Road small flame (d)Roof flame

2.3.2MIVIA數(shù)據(jù)集上實驗結果

MIVIA數(shù)據(jù)集[2]包含從真實環(huán)境中獲取的31個視頻.其中前14個視頻為真實火焰，包括室外、室內(nèi)、遠距離、森林等不同場景火焰.后17個視頻為非火焰數(shù)據(jù)，包含移動中的紅色物體、森林煙霧、疑似云朵等干擾信息.MIVIA數(shù)據(jù)集需要申請權限下載，難以獲得.

本文鑒于MIVIA數(shù)據(jù)集上31個視頻中27個來自土耳其Bilkent大學火焰視頻庫，其余4個視頻由作者拍攝.因此，使用收集自Bilkent大學的27個視頻及1個作者拍攝視頻用于實驗.MIVIA數(shù)據(jù)集樣例信息如圖11所示.

(a)庭院火焰 (b)400米外火焰 (c)人為火焰 (d)森林火焰(a)Courtyard flame (b)Flame 400 meters away (c)Artificial flame (d)Forest flame

由圖11可見，MIVIA數(shù)據(jù)集場景豐富,貼切現(xiàn)實世界,包含庭院火焰(伴隨人員移動干擾)、400米遠距離火焰、山林人為火焰、室內(nèi)小火焰及存在大量云煙、山霧、紅色建筑、暖色強光、移動物體干擾下的疑似火焰視頻，檢測難度較大.

鑒于MIVIA為視頻數(shù)據(jù)集，部分視頻中火焰非連續(xù)存在，因此計算評價指標時，針對真實火焰幀數(shù)進行統(tǒng)計.

本文對比文獻[2]方法、文獻[9]方法、文獻[14]方法、文獻[29]方法，具體性能如表5所示，表中黑體數(shù)字表示最優(yōu)值.

由表5可知，本文方法在誤報率、準確率等指標上優(yōu)于其它方法，但漏報率略高，主要表現(xiàn)在對暖色光源、遠距離火焰檢測有待提高.

表5 各方法在MIVIA數(shù)據(jù)集上的性能對比Table 5 Performance comparison of different methods on MIVIA dataset %

本文方法較好地控制疑似火焰誤報問題，目前僅存的個別誤報主要是因為疑似火焰圖像顏色、形狀與真實火焰高度相似.本文方法具體檢測效果如圖12所示.

(a)庭院火焰 (b)遠距離火焰 (c)人為火焰 (d)森林火災(a)Courtyard flame (b)Long-distance flame (c)Artificial flame (d)Forest fire

2.3.3其它數(shù)據(jù)集上實驗結果

為進一步驗證模型性能，本文分別在KMU CVPR Lab Fire[31]、Ultimate Chase火焰視頻、自建火焰測試視頻上進行測試.

KMU CVPR Lab Fire數(shù)據(jù)集包含38個視頻，分為近距離火焰、近距離煙霧、野火煙霧、疑似火焰煙霧4類.KMU CVPR Lab Fire數(shù)據(jù)集樣例信息如圖13所示.

(a)戶外火焰 (b)夜晚火焰(a)Outdoor flame (b)Night flame

Ultimate Chase火焰視頻包含14個視頻，12個為不同場景下的火焰視頻，2個為易混疑似火焰視頻.火焰視頻包括極端火焰、小船著火、煉油廠火焰、房屋著火、車輛火焰等不同場景.易混疑似火焰視頻包括森林煙霧、太陽光疊影、高速公路遠距離濃煙.Ultimate Chase火焰數(shù)據(jù)集樣例信息如圖14所示.

(a)小船著火 (b)房屋起火(a)Boat on fire (b)House on fire

本文自建測試火焰數(shù)據(jù)集包括90個視頻，13個為監(jiān)控視頻，34個為實地拍攝錄制視頻，43個為網(wǎng)絡爬取非火焰視頻.監(jiān)控視頻主要來自高速公路、教學樓、加油站，火焰視頻主要來自農(nóng)村實景拍攝，非火焰視頻主要來自互聯(lián)網(wǎng)爬取.監(jiān)控視頻、爬取視頻與真實火焰視頻極度相似.自建測試火焰數(shù)據(jù)集樣例信息如圖15所示.

(a)黃土火焰 (b)砂礫火焰(a)Loess flame (b)Gravel flame

本文方法在3個數(shù)據(jù)集上的實驗結果如表6所示,由此驗證方法性能較優(yōu).

表6 本文方法在3個數(shù)據(jù)集上的實驗結果Table 6 Experimental results of the proposed method on 3 datasets %

2.4 性能對比

在自建火焰數(shù)據(jù)集上進行消融實驗，對比分析不同模塊對火焰檢測誤報率、漏報率和準確率的影響，結果如表7所示.由表可見，在引入Focal Loss、CIoU Loss后，火焰檢測誤報率得到有效抑制，同時準確率提升0.2%.

表7 改進前后YOLOv5的檢測性能對比Table 7 Comparison of detection performance of YOLOv5 before and after improvement %

2.5 結果分析

綜合2.3節(jié)和2.4節(jié)實驗結果發(fā)現(xiàn)，本文方法在各大公開數(shù)據(jù)集上均表現(xiàn)較佳，同時小目標火焰檢測、實時速度均有明顯提升.經(jīng)過大量實踐測試發(fā)現(xiàn)，本文方法在低誤報、低漏報下較好地滿足實時性要求，火焰檢測速度可達25幀/秒，并支持8路攝像頭實時并行火焰檢測.本文方法在不同場景下均表現(xiàn)出強大的實時火焰檢測性能.

3 結 束 語

本文提出在YOLOv5上融合多特征的實時火焰檢測方法.在各公認的火焰測試數(shù)據(jù)集上的實驗證實本文方法的有效性和優(yōu)越性，不僅可有效降低誤報率，而且能提高小目標火焰檢測率.

此外，針對公開火焰數(shù)據(jù)集規(guī)模較小和現(xiàn)有方法火焰檢測效果不佳的問題，本文構建一個大規(guī)模、多樣性的高質(zhì)量火焰數(shù)據(jù)集，不僅場景豐富、數(shù)據(jù)量大，而且注重小目標和疑似負樣本的收集，并耗費大量時間對其逐張標注、篩選.實驗結果充分表明適當疑似易混的火焰負樣本的采集是提升數(shù)據(jù)集性能的重要手段，也是使模型訓練具有強泛化性能的重要方式，但仍存在特定疑似火焰圖像誤報的問題.今后將深入研究3D卷積神經(jīng)網(wǎng)絡在火焰誤報剔除上的應用.