楊凱文,李雙群
(中電長城圣非凡信息系統(tǒng)有限公司,北京 102209)
隨著社會的不斷進步、城市規(guī)模的擴大以及人口密度的增加,火災作為世界上危害最大的災害之一,嚴重威脅著人類的生命財產安全。近年來,中國發(fā)生了很多重大火災,主要集中在人員密集場所、森林、倉庫、高大建筑物內等,造成了極大的人員和經濟損失,社會影響也越來越大。因此,火災自動檢測顯得尤為重要。基于視頻監(jiān)控的火焰檢測作為火災自動檢測的核心技術,其檢測準確性對于火災的事先預防和快速響應尤為重要。然而,視頻監(jiān)控場景中的火焰檢測仍然存在以下問題:
(1)許多物體與火焰具有相似的外觀,例如陽光、人造燈光、光反射現象、移動的紅色目標,這些物體經常被誤判為火焰;
(2)很難對視頻監(jiān)控中火焰的隨機運動、外觀多變等復雜性質進行建模,但這些因素對于火焰檢測準確率產生著直接影響。
針對上述問題,現有火焰檢測研究還無法達到令人滿意的結果,火焰檢測準確率依然不能滿足應用需要。由于現有的相關研究主要依靠顏色和形狀變化檢測視頻中的火焰,對火焰亮度、燃燒物質和天氣條件等因素變化非常敏感,很難準確地區(qū)分火焰和紅色物體。雖然運動屬性已經被用于檢測火焰,但火焰隨機多變的運動,很難被準確地描述。
本文利用火焰深度特征,對火焰的運動屬性進行建模,結合火焰顏色和運動屬性的互補特性,設計了一種基于多屬性分類器融合的火焰檢測方法,用于準確的檢測森林、室內、室外環(huán)境監(jiān)控視頻中的火焰,提高火焰檢測準確率。首先,提取火焰YUV顏色空間屬性,構建顏色屬性分類器,該分類器受火焰亮度變化影響較?。唤又?,為了準確描述火焰的隨機多變的運動特性,提出了一種運動熵描述符,運動熵描述符可以使用低維度特征向量有效的描述火焰的瞬時運動信息和內部及邊界運動信息,采用詞袋模型表示運動目標的有效運動信息;最后,在火焰檢測數據集(186有火視頻片段和185個無火視頻片段)上的實驗表明,本文方法取得了很好的檢測準確性。
本文主要貢獻為:
(1)設計了一個火焰檢測方法,結合了火焰顏色和運動屬性的互補特性,在監(jiān)控視頻中獲得了準確的火焰檢測結果;
(2)提出了運動熵描述符用于表示火焰的運動信息,綜合描述火焰的瞬時運動和內部及邊界運動信息;
(3)收集了一個更廣泛和更具挑戰(zhàn)性的火焰檢測數據集,綜合評估本文方法良好的火焰檢測性能。
目前,火焰檢測技術已引起學術界、工業(yè)界的廣泛關注。根據使用的特征類型,現有研究大致分為基于顏色屬性的檢測技術和基于運動屬性的檢測技術。
常見可燃物(例如:木材、織物等)燃燒產生的火焰具有相似的顏色,采用基于顏色屬性的方法可以準確地檢測火焰。例如:龍凱等人利用火焰顏色與火焰光譜的關系研究影響火焰顏色的因素,并通過燃燒甲烷進行驗證;Celik等人采用YUV顏色空間描述火焰顏色,并在YUV空間中定義了6個規(guī)則,將火焰的亮度與色度分開,有效地緩解了火焰亮度變化導致檢測準確率降低的問題。本文采用YUV空間下的6種不同規(guī)則的組合來識別火焰顏色。除了光線和背景干擾外,不同材料可燃物燃燒產生的火焰顏色差別很大。如:汽油、庚烷等火焰顏色均接近白色。因此,僅僅使用顏色屬性無法準確地檢測復雜環(huán)境下的火災事件。
此前,研究者們已經提出了一些運動描述符來表示火焰的運動特性。如,Foggia等人提出了一個基于詞袋模型的描述符,來表示火焰運動信息;張馳等人基于支持向量機,將火焰的局部二值模式紋理和邊緣相似度特征進行融合并用于火焰檢測;Xie等人同時利用火焰運動閃爍的動態(tài)特征和深度靜態(tài)特征,對視頻中的火焰進行檢測。與上述方法不同,本文提出了一種新型運動屬性描述符—加權歸一化運動熵,來表示火焰的內部運動和邊界運動,具有描述準確、特征維度低等優(yōu)勢。
本文設計的多屬性分類器融合的火焰檢測算法框架如圖1所示。該算法采用自適應混合高斯模型(GMM),對監(jiān)控視頻背景進行建模,并使用背景差分算法提取監(jiān)控視頻中的運動物體;使用形態(tài)學方法消除噪聲,將運動物體對應的區(qū)域標記為候選目標;引入基于顏色、運動屬性的兩種分類器,分別對候選目標進行分類;最后,使用權重投票機制,融合兩種分類器得到最終檢測結果。
圖1 本文方法概述圖Fig.1 Overview of the proposed method
若所有規(guī)則都滿足,則該候選目標被檢測為火焰目標。
在監(jiān)控視頻中,陽光、人造燈光等場景的顏色與火焰顏色相似,且一些特殊材料(如:汽油、庚烷等)燃燒產生的火焰顏色與常規(guī)材料燃燒的火焰顏色差別很大。因此,僅僅使用顏色屬性無法準確地檢測復雜環(huán)境下的火災事件。
由于自然環(huán)境、燃燒材料等因素影響,火焰的運動具有隨機性、復雜性和不可預測性等特點。而鉸鏈型物體(如:穿著紅色衣服的人)、剛性物體(如:紅色交通工具)和人造燈光(如:霓虹燈、車燈等)在一段時間內沿特定的方向進行移動,其運動具有規(guī)律性、確定性。
為了有效區(qū)分火焰目標和非火目標,本文提出了運動熵描述目標的運動信息,可以有效區(qū)分目標的隨機性運動和規(guī)律性運動。
2.2.1 目標運動特征提取
2.2.2 運動屬性分類器
2.2.2.1 運動屬性描述子
圖2 不同運動目標的運動屬性Fig.2 Motion attributes of different moving objects
2.2.2.2 分類器
如圖2(a)所示,由于火焰的運動方向直方圖是分散的,其運動熵值較大;相反,剛性目標或鉸鏈型目標的方向直方圖是集中的,其運動熵值較小,如圖2(b)所示。因此,基于運動屬性的分類器C定義為:
實驗中,和分別設置為0.6和0.95。由于用來過濾具有閃爍特性的移動目標(如車燈、霓虹燈等),其運動具有很強的規(guī)律性且運動方向平均分布在各個角度區(qū)間中,運動熵值接近于1。
本文采用加權投票方式,融合顏色屬性、運動屬性分類器,屬于決策層信息融合方法,具有高靈活性、強抗干擾性、良好的容錯性等優(yōu)點。文獻[9-10]研究表明,多屬性分類器融合系統(tǒng)是最魯棒的融合方式之一。
權重ω通過貝葉斯公式動態(tài)估算,以獲得最高的識別率。若給定第個分類器的分類矩陣,類別的權重ω()通過公式(6)進行計算:
其中,為類別的數量。
最終分類結果通過最大化多分類器,在識別一個特定類的可信度得到。候選目標屬于類別的可信度(),通過加權投票計算得到:
為了評價本文提出算法的性能,建立了一個火焰檢測數據集?;鹧鏅z測數據集中收集了186個有火視頻片段和185個無火視頻片段。由47個森林場景、129個室內場景和195個室外場景組成。其中包含了155個非常具有挑戰(zhàn)性的負樣本。如車燈、霓虹燈、光線變化及反射、移動的煙霧、穿紅色衣服的人、紅色車輛等。
數據集被隨機劃分成兩個部分:80%作為訓練集、20%作為測試集,使用準確率、誤檢率(FPR)、漏檢率(FNR)評價所提方法的性能。
表1中,與運動估計方法(ME)相比,本文提出的運動屬性分類器(MA)可以通過使用目標內部運動信息和邊界運動信息顯著提高火焰檢測性能。其原因是:ME方法使用SIFT特征匹配來計算運動信息,但很難在火焰上提取到準確的SIFT匹配點,本文提出的運動熵,使用深度運動特征計算目標的運動信息,能夠準確地、區(qū)分性地描述目標的隨機性運動和規(guī)律性運動。最后,使用加權投票規(guī)則,融合顏色屬性和運動屬性進行火焰檢測,得到了最高準確率(91.18%),高于Foggia方法將近1.25個百分點。
通過實驗可知,顏色屬性對于火焰檢測仍然是最重要的屬性(見表1)。但是,如果只使用顏色屬性來檢測火焰,在某些特殊情況下不能正確區(qū)分火焰和非火目標。因此,在這些特殊情況下,通過融合運動屬性可以得到正確的檢測結果。如圖3中的前兩行所示,Foggia方法得到了錯誤的檢測結果,而本文方法通過融合顏色屬性和運動屬性,可以正確區(qū)分火焰和非火對象;圖3中的后兩行屬于常規(guī)材料燃燒產生的火焰,本文方法和Foggia方法都得到了正確的檢測結果。因此,運動屬性能夠減少由顏色屬性引入的誤報(既可以過濾掉穿紅色衣服的人、紅色車輛、車燈、霓虹燈等帶來的誤報),同時也能正確識別由特殊材質(如:汽油、庚烷等)燃燒產生的火焰。
表1 火焰檢測結果對比Tab.1 Comparison of the fire detection results
圖3 不同方法火焰檢測結果的典型示例Fig.3 Examples of fire detection results from different methods
本文設計了一種基于多屬性分類器融合的火焰檢測方法,提出了運動熵描述符用于表示火焰的運動信息,結合火焰顏色和運動屬性的互補特性,提高火焰檢測算法的準確率。此外,還建立了一個更廣泛和更具挑戰(zhàn)性的火焰檢測數據集,用于評估本文提出的方法。實驗結果表明,本文方法得到了良好的火焰檢測性能。在未來研究工作中,將嘗試利用深度學習方法表示火焰運動屬性,以進一步提高火焰檢測準確率。