亓文杰 王亞慧 郭曉冉

關(guān)鍵詞： 大空間圖像; 火焰檢測(cè); 運(yùn)動(dòng)檢測(cè); 顏色空間; 稀疏光流; 識(shí)別特征

中圖分類號(hào)： TN911.23?34 ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼： A ? ? ? ? ? ? ? ? ? ? ?文章編號(hào)： 1004?373X（2019）04?0076?04

Research on large space image flame detection method

QI Wenjie， WANG Yahui， GUO Xiaoran

（Beijing University of Civil Engineering and Architecture， Beijing 100044， China）

Abstract： In order to improve the accuracy of the image flame detection algorithm and meet its real?time requirement， the three?frame difference and background update combining method is adopted to extract the motion foreground region. The color model is established in the RGB space and Lab space to segment the suspected flame region. The Lucas?Kanade sparse optical flow algorithm is used to track the motion region， and obtain the main motion direction of the flame which is taken as the flame recognition feature to determine whether any real fire occurs. The experimental results show that the algorithm has a good real?time performance and robustness， can effectively improve the accuracy of flame recognition， reduce false detection rate， and has an important application value in the large space public building fire?proof system.

Keywords： large space image; flame detection; motion detection; color space; sparse light flow; recognition feature

0 ?引 ?言

近年來(lái)建筑物內(nèi)火災(zāi)事故頻繁，給人們帶來(lái)大量的財(cái)產(chǎn)損失?；馂?zāi)是否能得到及時(shí)有效的預(yù)防已經(jīng)成為保衛(wèi)人身安全的重要因素。感煙、感溫等探測(cè)器受到建筑物內(nèi)高度、空間、溫濕度、粉塵顆粒、氣體流速等因素的影響，不適合大空間內(nèi)火災(zāi)探測(cè)[1]。本文通過(guò)改進(jìn)的三幀差分?背景更新法來(lái)提取運(yùn)動(dòng)區(qū)域，使用幀差分法和背景更新法相結(jié)合的方式。在RGB空間和Lab空間分別建立火焰顏色模型和亮度模型，得到火焰的疑似區(qū)域，同其他顏色空間相比，該方法可以準(zhǔn)確地分割出火焰區(qū)域[2]。最后利用金字塔Lucas?Kanade稀疏光流算法對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行跟蹤，來(lái)獲取火焰區(qū)域的相位分布，進(jìn)而排除疑似火焰的物體[3]。通過(guò)實(shí)驗(yàn)驗(yàn)證本文使用的方法可以快速、準(zhǔn)確地檢測(cè)到火焰區(qū)域并且報(bào)警。

1 ?火焰探測(cè)模型

火焰監(jiān)控視頻中，大多數(shù)時(shí)間是處于無(wú)火狀態(tài)的，本文采用運(yùn)動(dòng)檢測(cè)和顏色空間相結(jié)合的方法來(lái)提取火焰疑似區(qū)域。對(duì)于無(wú)火的視頻，將無(wú)法檢測(cè)到火焰疑似區(qū)域，不用對(duì)其進(jìn)行后續(xù)檢測(cè)，很大程度上避免了大量的計(jì)算，提高了算法的實(shí)時(shí)性。當(dāng)檢測(cè)到火焰疑似區(qū)域時(shí)，通過(guò)進(jìn)一步判斷該區(qū)域的主運(yùn)動(dòng)方向特性來(lái)排除類似火焰移動(dòng)的物體[4]。算法流程如圖1所示。

1.1 ?火焰運(yùn)動(dòng)目標(biāo)檢測(cè)

建筑物內(nèi)火災(zāi)大多數(shù)存在強(qiáng)光干擾，并且對(duì)火災(zāi)檢測(cè)的實(shí)時(shí)性和準(zhǔn)確性都有很高的要求。本文采用幀差分法和背景更新法相結(jié)合的方法，充分結(jié)合兩種方法中準(zhǔn)確提取運(yùn)動(dòng)目標(biāo)和對(duì)光線適應(yīng)性強(qiáng)的優(yōu)點(diǎn)[5]?；鹧孢\(yùn)動(dòng)目標(biāo)檢測(cè)流程如圖2所示。

1.1.1 ?三幀差分法

幀間差分法容易出現(xiàn)漏檢、雙影和空洞等現(xiàn)象，而三幀差分法能夠有效地避免傳統(tǒng)幀差法存在的漏檢、雙影現(xiàn)象[6]。三幀差分法先是提取臨近的三幀圖像，然后每?jī)蓚€(gè)臨近的圖像做幀差，再對(duì)兩次的幀差結(jié)果做與運(yùn)算，得到火焰運(yùn)動(dòng)目標(biāo)方程，具體公式如下：

[f（k，k-1）x，y=1， fk-fk-1≥T10， fk-fk-1<T1] （1）

[fk+1，kx，y=1， fk+1-fk≥T10， fk+1-fk<T1] （2）

[dfkx，y=1， ? fk，k-1x，y∩fk+1，kx，y=10， ?fk，k-1x，y∩fk+1，kx，y≠1] （3）

1.1.2 ?背景更新法

在攝像頭固定的情況下，監(jiān)測(cè)場(chǎng)景中背景由于受到光照強(qiáng)度變化、物體運(yùn)動(dòng)等因素的影響會(huì)發(fā)生緩慢變化，因此本文提出一種建筑物內(nèi)自適應(yīng)背景更新法[7]。該方法確保了背景模型的實(shí)時(shí)性和準(zhǔn)確性，對(duì)環(huán)境中的光線變化、背景干擾不敏感，避免出現(xiàn)漏報(bào)等情況發(fā)生。背景更新如下：

[Bkx，y=αBk-1x，y+1-αfkx，y， ? fkx，y=0Bk-1x，y， ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?fkx，y=1] （4）

式中：[Bkx，y]是第k幀背景圖像的像素灰度值幀;[fkx，y]是第k幀圖像;[α]為背景的更新速度，[α∈0，1]。

1.2 ?自適應(yīng)閾值的選取

利用人工設(shè)置的經(jīng)驗(yàn)閾值在復(fù)雜的環(huán)境中不太適用。本文采用Otsu法獲取動(dòng)態(tài)閾值，實(shí)現(xiàn)自適應(yīng)二值分割。Otsu將圖像分為[C0]和[C1]兩類，類間方差達(dá)到最大值時(shí)的灰度值為最佳閾值?；舅悸啡缦拢簣D像大小為[M×N] ，灰度范圍為[0，L-1]，設(shè)圖像中灰度為[i]的像素?cái)?shù)為[ni]，灰度級(jí)[i]出現(xiàn)的概率[pi=niM×N];將圖像中灰度為[0，t]的像素點(diǎn)歸為[C0]類，灰度級(jí)為[t+1，L-1]的像素點(diǎn)設(shè)為[C1]類。[P0t]，[P1t]表示[C0]類和[C1]類出現(xiàn)的概率;[μ0t]，[μ1t]表示[C0]類和[C1]類的平均灰度級(jí)。

[ P0t=i=0tpi] （5）

[P1t=i=t+1L-1pi=1-P0] （6）

[μ0t=1P0ti=0tipi] （7）

[μ1t=1P1ti=t+1L-1ipi] （8）

圖像的類間方差[δbt]可表示為：

[δbt=P0tμ20t+P1tμ21t] （9）

Otsu閾值T可表示為：

[T=argmax1≤t<LP0tμ20t+P1tμ21t] （10）

1.3 ?運(yùn)動(dòng)目標(biāo)提取

將分別通過(guò)三幀差分法和背景更新法獲取二值圖像進(jìn)行“或”運(yùn)算，提取運(yùn)動(dòng)目標(biāo)背景區(qū)域[8]。此外，變化的光照亮度和噪聲對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)受到背景自適應(yīng)更新和閾值的影響，但是得到的運(yùn)動(dòng)目標(biāo)中往往還會(huì)有部分噪聲和空洞現(xiàn)象的存在，因此必須進(jìn)行形態(tài)學(xué)操作等后續(xù)處理。

2 ?火焰顏色探測(cè)

2.1 ?Lab顏色空間

選擇比較合適的顏色空間對(duì)于火焰圖像分割有十分重要的意義。Lab顏色模型要通過(guò)RGB顏色模型轉(zhuǎn)換得到，首先通過(guò)RGB轉(zhuǎn)換到XYZ空間，再由XYZ轉(zhuǎn)換到Lab空間，其轉(zhuǎn)化公式如下[9]：

[X，Y，ZT=0.412 4530.357 5800.180 4230.202 6710.715 1600.072 1690.019 3340.119 1930.950 227RGB]

[X′=X255Xn，Y′=Y255，Z′=Z255Yn，][Xn=0.950 456，Yn=] ?[1.088 754]

[L=116fY′-16 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?a=500fX′-fY′+128 ? ? ? ?b=200fY′-fZ′+128 ? ? ] （11）

[fX′]，[fY′]，[fZ′]可以用統(tǒng)一公式表示：

[fm=m13， ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? m>0.008 8567.787m+16116， ? ? ? ? m≤0.008 856]

轉(zhuǎn)化后，[L∈0，100]，[a，b∈0，255]。

2.2 ?RGB空間和Lab空間顏色分割

RGB模型是最常見(jiàn)的顏色空間，目前大多數(shù)圖像采集設(shè)備都是以RGB模型為標(biāo)準(zhǔn)。當(dāng)火災(zāi)火焰燃燒時(shí)，它的亮度值和顏色值與背景圖像差別較大。R分量所占的比例明顯高于其他分量，本文結(jié)合RGB模型中的紅色分量R和Lab模型中的L分量亮度信息對(duì)候選火焰區(qū)域進(jìn)行分割[10]。分割條件如下：

[R≥RTL≥LTR≥G≥B]

式中：[RT]是RGB模型中紅色分量的閾值;[LT]是Lab模型中L分量的閾值。[RT]，[LT]通過(guò)統(tǒng)計(jì)直方圖的方法獲得[11]。文中將[RT]設(shè)為[170≤RT≤190]，[LT]設(shè)為[70≤LT≤80]，能取得較好的實(shí)驗(yàn)效果。本文算法得到的火焰區(qū)域結(jié)果見(jiàn)圖3。

對(duì)比圖3b）和圖3c），本文算法不僅能夠提取出完整的火焰區(qū)域，而且排除了大部分噪聲和火焰周圍的反射光的影響，分割后得到疑似火焰區(qū)域。實(shí)驗(yàn)結(jié)果如圖4所示。

從實(shí)驗(yàn)結(jié)果可以看出，通過(guò)以上兩種方法提取得到的二值圖像，仍有一些類似火焰顏色的動(dòng)態(tài)干擾物不被發(fā)現(xiàn)。這些都可能產(chǎn)生誤報(bào)，引起不必要的恐慌和損失，本文將引入光流法獲取火焰方向信息，解決一些移動(dòng)的具有火焰顏色以及全由光反射影響下的火災(zāi)。

3 ?火焰運(yùn)動(dòng)方向探測(cè)

火焰運(yùn)動(dòng)多為大位移，L?K光流計(jì)算方法只適用于小位移運(yùn)動(dòng)，圖像金字塔適用于大位移運(yùn)動(dòng)。基于金字塔的光流法具體做法是從圖像金字塔的最高層開(kāi)始計(jì)算光流，然后將該層計(jì)算結(jié)果作為下一層計(jì)算的起始值，重復(fù)這個(gè)過(guò)程直到金字塔的最底層[12]。通過(guò)上述方法，有效跟蹤更大的尺度和更快的運(yùn)動(dòng)。

假定[px1，y1]，[px2，y2]是跟蹤的某一角點(diǎn)在相鄰兩幀的位置，那么相位角[θ]可表示為：

[r1=y2-y1r2=x2-x1θ=arctanr1r2] ? ? ? ? ? ? ? ? ? （12）

依據(jù)[r1]，[r2]的正負(fù)，判斷[θ]屬于[0，2π]中的哪個(gè)區(qū)間，進(jìn)而判斷火焰目標(biāo)大致運(yùn)動(dòng)。為了方便統(tǒng)計(jì)火焰方向，歸一化所有得到的相位角將[0，2π]分為12個(gè)方向區(qū)間。利用Lucas?Kanade稀疏光流算法計(jì)算光流，得到的火焰視頻和非火焰視頻運(yùn)動(dòng)方向的方向碼數(shù)據(jù)。實(shí)驗(yàn)結(jié)果如圖5所示。

由圖5可知，火焰的運(yùn)動(dòng)趨勢(shì)在1～6區(qū)域內(nèi)占據(jù)了大多數(shù)。非火焰視頻的色譜頻率只是在某個(gè)單一離散方向上頻率遠(yuǎn)超其他方向，發(fā)生火焰的視頻圖像的色譜頻率在多個(gè)離散方向上都比較高，可以輕易地判斷出火焰的運(yùn)動(dòng)方向。設(shè)[n1]，[n2]，…，[n12]為疑似火焰區(qū)域在1～12運(yùn)動(dòng)區(qū)間上出現(xiàn)的次數(shù)，火焰在各個(gè)離散方向中主要運(yùn)動(dòng)趨勢(shì)可以通過(guò)下式進(jìn)行計(jì)算：

[α=i=16nii=112ni] （13）

由圖6可知，通過(guò)設(shè)定主運(yùn)動(dòng)方向的閾值[α]，判斷是否超過(guò)閾值來(lái)確定發(fā)生火災(zāi)的狀況，進(jìn)而確定是否報(bào)警。本文通過(guò)多次實(shí)驗(yàn)總結(jié)設(shè)定閾值[α]為0.8。通過(guò)火焰的主運(yùn)動(dòng)方向特征，可以把圖4中誤判的穿著紅色衣服的行人進(jìn)行排除。

4 ?結(jié) ?論

相比傳統(tǒng)傳感器火焰檢測(cè)，本文提出一種簡(jiǎn)便有效的火焰檢測(cè)方法。首先通過(guò)三幀差分法和背景更新法相結(jié)合的方式獲取完整的火焰運(yùn)動(dòng)目標(biāo)區(qū)域，分析火焰的顏色特性，然后在RGB空間和Lab空間分別進(jìn)行火焰分割，提取疑似火焰區(qū)域。最后通過(guò)基于金字塔的光流法判斷火焰的主運(yùn)動(dòng)方向，排除疑似火焰的運(yùn)動(dòng)物體干擾。

參考文獻(xiàn)

[1] LI Z， MIHAYLOVA L S， ISUPOVA O， et al. Autonomous flame detection in videos with a Dirichlet process Gaussian mixture color model [J]. IEEE transactions on industrial informatics， 2018， 14（3）： 1146?1154.

[2] JIANG B， LU Y， LI X， et al. Towards a solid solution of real?time fire and flame detection [J]. Multimedia tools and applications， 2015， 74（3）： 689?705.

[3] LI H. Research on a new photoelectric detection method to anti?muzzle′s flame or light disturbance and projectile′s information recognition in photoelectric detection target [J]. Optoelectronics and advanced materials?rapid communications， 2014， 8（7）： 653?658.

[4] LI Z， ISUPOVA O， MIHAYLOVA L， et al. Autonomous flame detection in video based on saliency analysis and optical flow [C]// Proceedings of IEEE International Conference on Multisensor Fusion and Integration for Intelligent Systems. Baden?Baden： IEEE， 2016： 218?223.

[5] DIMITROPOULOS K， BARMPOUTIS P， GRAMMALIDIS N. Spatio?temporal flame modeling and dynamic texture analysis for automatic video?based fire detection [J]. IEEE transactions on circuits and systems for video technology， 2015， 25（2）： 339?351.

[6] TOULOUSE T， ROSSI L， CELIK T， et al. Automatic fire pixel detection using image processing： a comparative analysis of rule?based and machine learning?based methods [J]. Signal， image and video processing， 2016， 10（4）： 647?654.

[7] MAHDIPOUR E， DADKHAH C. Automatic fire detection based on soft computing techniques： review from 2000 to 2010 [J]. Artificial intelligence review， 2014， 42（4）： 895?934.

[8] HAN T， LIN B. Research on flame image recognition method in natural scene [C]// Proceedings of IEEE International Conference on Information and Automation. Ningbo： IEEE， 2016： 1776?1780.

[9] ZHAO X， KONG W， WEI J， et al. Gas chromatography with flame photometric detection of 31 organophosphorus pesticide residues in Alpinia oxyphylla dried fruits [J]. Food chemistry， 2014， 162： 270?276.

[10] 宋寧，強(qiáng)彥，董林佳.林火監(jiān)測(cè)中基于視覺(jué)的火焰檢測(cè)方法[J].科學(xué)技術(shù)與工程，2017，17（25）：268?273.

SONG Ning， QIANG Yan， DONG Linjia. Vision based flame detection method in forest fire monitoring [J]. Science technology and engineering， 2017， 17（25）： 268?273.

[11] 戴靜，嚴(yán)云洋，范勇，等.基于BEMD和SVM的火焰檢測(cè)算法[J].常州大學(xué)學(xué)報(bào)（自然科學(xué)版），2017，29（2）：71?77.

DAI Jing， YAN Yunyang， FAN Yong， et al. Flame detection based on bidimensional empirical mode decomposition and support vector machine [J]. Journal of Changzhou University （Natural science edition）， 2017， 29（2）： 71?77.

[12] 嚴(yán)云洋，杜靜，高尚兵，等.融合多特征的視頻火焰檢測(cè)[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2015，27（3）：433?440.

YAN Yunyang， DU Jing， GAO Shangbing， et al. Video flame detection based on fusion of multi?feature [J]. Journal of computer?aided design & computer graphics， 2015， 27（3）： 433?440.