陳 磊,黃繼風(fēng)
(上海師范大學(xué) 信息與機(jī)電工程學(xué)院,上海200234)
現(xiàn)有的火災(zāi)檢測(cè)主要采用煙霧傳感器,但其作用范圍有限。近些年攝像頭監(jiān)控的使用尤其廣泛,充分利用攝像監(jiān)控來(lái)檢測(cè)火災(zāi)可以彌補(bǔ)傳統(tǒng)檢測(cè)方法的不足,且其監(jiān)控成本低,實(shí)用性好。為充分檢測(cè)出火焰區(qū)域,需研究火焰的特征,其特征主要為運(yùn)動(dòng)狀態(tài)、顏色和頻譜信息等。運(yùn)動(dòng)檢測(cè)方面,文獻(xiàn) [1]利用當(dāng)前圖像幀減去參考圖像幀的差分法檢測(cè)并提取目標(biāo)區(qū)域;文獻(xiàn) [2]做了差分運(yùn)動(dòng)檢測(cè)、累積差分和背景更新法的對(duì)比;文獻(xiàn) [3]使用自適應(yīng)背景變化的高斯混合模型對(duì)模型參數(shù)不斷更新并匹配模型以檢測(cè)運(yùn)動(dòng)區(qū)域;文獻(xiàn) [4]利用背景像素點(diǎn)沿時(shí)間軸的一維正態(tài)分布對(duì)其進(jìn)行多次迭代的時(shí)域差分法。但僅兩或三幀間的差分法會(huì)出現(xiàn)散點(diǎn),使用高斯混合模型和時(shí)域差分法均耗時(shí)較長(zhǎng)。顏色檢測(cè)方面,文獻(xiàn) [5]采用HSI靜態(tài)特征模型對(duì)彩色圖像進(jìn)行分割,提取疑似火焰區(qū)域;文獻(xiàn) [6]結(jié)合圖像前景信息并在RGB 空間對(duì)火焰像素進(jìn)行統(tǒng)計(jì)分析,建立火焰顏色的靜態(tài)模型;文獻(xiàn)[7]在HSI空間計(jì)算二進(jìn)制背景圖像并用RGB 空間進(jìn)行顏色檢測(cè)。但其僅使用顏色等靜態(tài)特征模型的方法,沒(méi)有充分考慮運(yùn)動(dòng)特征且不能很好區(qū)分出疑似火焰區(qū)域。RGB空間的三通道信息相關(guān)性比較大,易受到外界光照的影響。
本文對(duì)時(shí)序連續(xù)的3幀圖像進(jìn)行分塊差分,檢測(cè)出運(yùn)動(dòng)區(qū)域,在HSV 空間進(jìn)行顏色分析,使用小波變換[8]研究視頻圖像的時(shí)空域特性,利用8 鄰域?yàn)V除零散非火焰點(diǎn)。這種方法充分考慮火焰在燃燒過(guò)程中的多個(gè)視覺特性,且不受特定情景的影響,穩(wěn)定可行。
燃燒物在空氣中燃燒時(shí)會(huì)產(chǎn)生煙霧,煙霧的顏色、運(yùn)動(dòng)方向可以作為初期的識(shí)別特征。當(dāng)燃燒產(chǎn)生火焰時(shí),火焰的顏色、火焰區(qū)域的大小變化、火焰區(qū)域的邊緣輪廓、火焰的幾何特征、火焰的傾斜程度均為火焰的基本信息,因氣流變化而造成無(wú)規(guī)律的火焰閃爍,其頻譜信息和火焰空間區(qū)域的能量信息可作為火焰的特性。另外,火焰燃燒形成的成塊連通域也是其基本特性。
通過(guò)對(duì)火焰特征信息的分析,本文中選取了火焰燃燒時(shí)的運(yùn)動(dòng)特性、顏色特性、時(shí)域頻譜特性、空域能量特性和連通區(qū)域特性進(jìn)行檢測(cè)。其中火焰檢測(cè)算法的重要步驟如圖1所示。
圖1 火焰檢測(cè)重要步驟
在視頻圖像中,運(yùn)動(dòng)無(wú)疑是最重要的特征,在視頻序列的不同時(shí)間點(diǎn)上,火焰會(huì)呈現(xiàn)不同的形狀,即不同的運(yùn)動(dòng)區(qū)域。有效地檢測(cè)出運(yùn)動(dòng)區(qū)域,有利于進(jìn)一步確定后續(xù)檢測(cè)的范圍,從而大大提高檢測(cè)效率。
視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)常用兩幀或者三幀的幀間差分法對(duì)于輸入的兩幀圖像進(jìn)行減操作,這樣圖像中剩余的部分標(biāo)示圖像的變化部分。三幀圖像差分法是連續(xù)從視頻中連續(xù)輸入三幀圖像,用In,In+1,In+2表示,用ID(n,n+1)和ID(n+1,n+2)分別表示In,In+1和In+1,In+2間的變化,同時(shí),適當(dāng)選取一個(gè)圖像二值化閾值T 將其二值化,T 可以通過(guò)大津法選取,也可以通過(guò)其他方法選取,只要適當(dāng)即可。那么
然后取2個(gè)差分結(jié)果ID(n,n+1)和ID(n+1,n+2)的交集,得到目標(biāo)運(yùn)動(dòng)區(qū)域
這種方法簡(jiǎn)單,然而,該方法也會(huì)受到一定的光照影響,如燈光突然閃爍,沒(méi)有運(yùn)動(dòng)的物體卻因光照增強(qiáng)或者減弱被當(dāng)成是運(yùn)動(dòng),產(chǎn)生錯(cuò)誤檢測(cè),同時(shí)魯棒性不好。基于此類因素影響提出了一種根據(jù)視頻時(shí)域信息來(lái)分塊消除干擾的確定運(yùn)動(dòng)目標(biāo)區(qū)域的方法。該方法原理如下:對(duì)于連續(xù)輸入的一組視頻圖像,每?jī)蓭g的時(shí)間間隔是固定的,取為t。將讀入圖像的轉(zhuǎn)化為灰度圖像,在要檢測(cè)的幀組中取得連續(xù)3幀,如其中一組的三幀Ik,Ik+1,Ik+2,可得
式 (4)、式 (5)求得的結(jié)果中前者表示相鄰幀間各點(diǎn)像素差值的大小,后者表示組內(nèi)幀間各點(diǎn)像素差值變化率的大小。
為了消除幀組內(nèi)差分圖像間噪聲的干擾,對(duì)Itt進(jìn)行分塊[9],如分成大小為N×N 的方塊。將小方塊作為一個(gè)整體,此時(shí)塊中每個(gè)像素不是獨(dú)立存在,而是和周邊像素有關(guān)聯(lián)性的,這種關(guān)聯(lián)性是消除噪聲點(diǎn)的依據(jù)所在,因此通過(guò)計(jì)算每個(gè)小方塊內(nèi)所有變化像素的像素值的總和,當(dāng)總和超過(guò)某個(gè)閾值時(shí)則將該塊作為運(yùn)動(dòng)塊區(qū)域,否則將該塊作為非運(yùn)動(dòng)塊區(qū)域。這樣差分過(guò)程中不僅檢測(cè)出運(yùn)動(dòng)塊區(qū)域,同時(shí)很好的消除了噪聲點(diǎn)的干擾。
通過(guò)上面的運(yùn)動(dòng)區(qū)域模型處理,檢測(cè)的結(jié)果如圖2所示,右邊白色部分表示檢測(cè)到的運(yùn)動(dòng)部分。當(dāng)火焰較小的時(shí)候,檢測(cè)到的運(yùn)動(dòng)部分如圖2 (b)所示;當(dāng)燃燒充分時(shí)火焰區(qū)域明顯增大,檢測(cè)到的運(yùn)動(dòng)部分也隨之增大,如圖2 (d)所示,運(yùn)動(dòng)區(qū)域檢測(cè)比較準(zhǔn)確。
火焰顏色不同于白熾燈和陽(yáng)光的顏色,因?yàn)榛鹧娴念伾植疾煌8鶕?jù)這點(diǎn)可以將明顯不是火的運(yùn)動(dòng)目標(biāo)分辨出來(lái)。在視頻中讀取的彩色圖像,R、G 和B分別表示某張圖像在RGB空間的3個(gè)顏色通道,其火焰的顏色在滿足如下所示規(guī)律
圖2 運(yùn)動(dòng)檢測(cè)效果
其中,Rt、Gt和Bt分別表示R 、G 和B 通道的閾值范圍內(nèi),通常情況下,Rt、Gt和Bt分別取200,200和100左右。通過(guò)上面的模型只能簡(jiǎn)單的濾除和火的顏色明顯不同的顏色。對(duì)于一些與火稍微相近的顏色或者類似于白云或偏白色的墻壁這樣的顏色區(qū)域都不能分辨清楚。為了較好提取出滿足火焰顏色區(qū)域,提升檢測(cè)準(zhǔn)確率,本文采用以下模型。
將RGB圖像轉(zhuǎn)換至HSV 空間[10]中,其中色調(diào)、色飽和度和亮度均在 [0,1]范圍內(nèi)。設(shè)定參數(shù)Ht、St和Vt,其中為了很好的檢測(cè)出火焰像素部分,可以選取色飽和度St與亮度值Vt達(dá)到最大,即為1,Ht為0.083,此時(shí)顏色是純色,飽和度值達(dá)到最大。在運(yùn)動(dòng)區(qū)域中選取的任意一個(gè)像素點(diǎn),它的H、S和V 可通過(guò)以下函數(shù)
而函數(shù)f(x)為
式中:a、b——參數(shù),x——色調(diào),當(dāng)b取的值較大時(shí),函數(shù)模型將包含綠色和紫色等顏色,當(dāng)取的b較小時(shí),函數(shù)模型將排除紅色和黃色等近似火焰的顏色,為了檢測(cè)出火焰顏色,因此參數(shù)b取0.11。a的選取對(duì)函數(shù)模型影響不大,因此當(dāng)b的選取能檢測(cè)出火焰顏色時(shí),a可選為100,。如下圖示所呈現(xiàn)的,橫軸x表示色調(diào),縱軸表示通過(guò)函數(shù)f(x)函數(shù)模型后得到的值。
圖3中可以看出,不同的色調(diào)通過(guò)函數(shù)f(x)可以得出相應(yīng)的值。色調(diào)小于0.2和接近1的兩邊部分均為不同程度的紅色色調(diào),其比較接近火焰的顏色。因此,可將此火焰顏色模型應(yīng)用到檢測(cè)出運(yùn)動(dòng)塊的區(qū)域,根據(jù)不同色調(diào)的選擇,濾除一些可以明顯判別不是火的區(qū)域和難以判別的亮度較大的區(qū)域。
圖3 色調(diào)與f(x)之間的關(guān)系
但是,一些疑似火焰顏色的區(qū)域也可能因?yàn)闈M足上述條件而被誤認(rèn)為是火焰區(qū)域,這將在繼續(xù)通過(guò)后面模型檢測(cè)。
除了顏色信息,火焰的動(dòng)態(tài)特征——火焰閃爍的頻譜特征也是一個(gè)重要的信息。燃燒物在燃燒時(shí)受到燃燒材料和空氣中氣流等很多因素的影響,火焰形狀會(huì)不斷發(fā)生變化,同時(shí)會(huì)出現(xiàn)火焰閃爍的現(xiàn)象。而火焰閃爍的主要頻率在7Hz~15Hz之間,10 Hz左右,攝像頭需要保證能夠在每秒鐘拍攝至少20幀。當(dāng)每秒達(dá)到20 幀的情況下,取視頻中運(yùn)動(dòng)區(qū)域類火焰顏色的某個(gè)點(diǎn)Pn[x,y]的連續(xù)20幀進(jìn)行小波變換。
圖4 二階小波變換
通過(guò)運(yùn)動(dòng)區(qū)域和顏色模型檢測(cè),得到滿足條件的像素點(diǎn),將這些點(diǎn)在時(shí)序圖像上R 通道的值通過(guò)該小波濾波器進(jìn)行變換,判別出明顯不是火焰區(qū)域的部分,故將此部分去除。剩下部分則是時(shí)域小波變換滿足火焰燃燒頻譜特性的區(qū)域。將此部分選定為疑似火焰區(qū)域繼續(xù)進(jìn)行空域小波分析。
為了更好的說(shuō)明檢測(cè)效果,本文從2個(gè)視頻中分別提取的連續(xù)60幀的Pn[217,248]位置的火焰像素點(diǎn)的波動(dòng)情況和Pn[135,201]位置的非火焰像素點(diǎn)。
從圖5、圖6中可看出,視頻的時(shí)序圖像幀中火焰像素點(diǎn)的像素值變化比較大,而非火焰像素點(diǎn)的像素值變化比較平穩(wěn),小波變換后的波動(dòng)比較更加明顯,選取波動(dòng)范圍滿足條件的點(diǎn),則該像素點(diǎn)位置為火焰點(diǎn),否則即為非火焰點(diǎn)。
在圖像的真正的火焰像素區(qū)域內(nèi),其空間像素值變化比較大;而在類火焰像素區(qū)域內(nèi),其空間像素值變化很小,因此可用空間小波進(jìn)行能量分析,以進(jìn)一步確定是否有火焰。
圖5 火焰像素點(diǎn)時(shí)域變化情況
圖6 非火焰像素點(diǎn)時(shí)域變化情況
式中:V——圖像二維小波變換區(qū)域的空間小波能量,Plh[x,y]——原始變換區(qū)域變換后得到的水平細(xì)節(jié)部分,Phl[x,y]——垂直細(xì)節(jié)部分,Phh[x,y]——對(duì)角細(xì)節(jié)部分,M×N ——原始圖像區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)。因?yàn)榛鹧嫦袼嘏c給火焰像素區(qū)域能量的差別,所以可以設(shè)定一個(gè)值V0,當(dāng)V >V0時(shí),即可判定該區(qū)域是火焰像素區(qū)域。
攝像頭檢測(cè)到的火焰像素點(diǎn)均以不定形狀塊的形式存在,所以一些受光照或噪聲點(diǎn)等影響的零散像素點(diǎn)不能當(dāng)成火焰點(diǎn)[11],必須將其濾除。此時(shí),可以將圖像分成3×3的小塊,在每一塊中,中間的像素點(diǎn)必須檢測(cè)為火焰點(diǎn),同時(shí)其周邊的8個(gè)相鄰域像素點(diǎn)也必須超過(guò)一定的數(shù)量才能算是火焰像素點(diǎn)。
如圖7,對(duì)于這樣一個(gè)3×3 塊,分別編號(hào)為1-4、X、5-8。當(dāng)檢測(cè)到X 位置時(shí),必須同時(shí)滿足2個(gè)條件:當(dāng)X 為火焰像素點(diǎn);且當(dāng)標(biāo)記了1-8中8個(gè)鄰域中必須有至少2個(gè)是火焰像素點(diǎn),這時(shí)才能確定X 是火焰像素點(diǎn)。
圖7 火焰相鄰域
火焰在燃燒過(guò)程中會(huì)逐漸變大,而不僅僅是一個(gè)零散點(diǎn)。只有類似于LED 指示燈等在圖像很遠(yuǎn)時(shí)拍攝的視頻圖像才會(huì)是一個(gè)小小的點(diǎn)。圖8中火焰點(diǎn)存在均是連通成塊的,因此通過(guò)對(duì)前面檢測(cè)到的疑似火焰部分檢測(cè)后,再對(duì)每個(gè)像素點(diǎn)進(jìn)行篩選即可濾除那些零散非火焰像素點(diǎn),這樣就保留了不定形狀和面積的成塊的火焰部分。
圖8 零散非火焰像素點(diǎn)示例
本文實(shí)驗(yàn)所用視頻部分來(lái)自http://signal.ee.bilkent.edu.tr/VisiFire/,部分來(lái)自互聯(lián)網(wǎng)。經(jīng)過(guò)上述方法,對(duì)多組視頻進(jìn)行了檢測(cè),選取其中4組結(jié)果如圖9所示。
此視頻中燃料燃燒產(chǎn)生火焰時(shí),有一個(gè)人在火堆旁邊走動(dòng),視為運(yùn)動(dòng)干擾物。此干擾物雖為運(yùn)動(dòng)物體,運(yùn)動(dòng)檢測(cè)到,但顏色模型檢測(cè)條件并不滿足,經(jīng)過(guò)本文算法檢測(cè),不會(huì)當(dāng)成是火焰區(qū)域提出警報(bào)。因此上述一組圖中均未在人身上標(biāo)示出疑似火焰區(qū)域。墻壁顏色與火焰顏色相似,但是墻壁靜止不動(dòng),在分塊檢測(cè)運(yùn)動(dòng)時(shí)不會(huì)通過(guò),因此也不會(huì)當(dāng)成是火焰區(qū)域產(chǎn)生警報(bào)。而中間有明顯的火焰區(qū)域,檢測(cè)產(chǎn)生警報(bào)并標(biāo)示。增長(zhǎng)火焰檢測(cè)如圖10所示。
此視頻中火焰燃燒分2塊主要區(qū)域,一塊火焰區(qū)域有小塊逐漸增大,另一塊是基本不變的小塊,同時(shí)圖像背景中草堆受到陽(yáng)光照射,有部分疑似火焰區(qū)域。經(jīng)過(guò)本文算法檢測(cè),能很好的檢測(cè)出火焰,并對(duì)大的火焰區(qū)域和小的火焰區(qū)域分別標(biāo)示出并報(bào)警。背景干擾火焰如圖11所示。
圖9 運(yùn)動(dòng)干擾燃燒火焰
圖10 增長(zhǎng)火焰檢測(cè)
圖11 背景干擾火焰
此視頻有黃土地和光線嚴(yán)重影響下的火燃燒視頻,同時(shí)有人向火焰區(qū)域加燃燒物。本文的檢測(cè)算法同樣很好的消除了此類干擾,而且精確地檢測(cè)出火焰區(qū)域并標(biāo)示。微弱火焰檢測(cè)如圖12所示。
圖12 微弱火焰檢測(cè)
此視頻中燃燒物開始燃燒時(shí),僅有煙霧,沒(méi)有火焰,逐漸燃燒后產(chǎn)生較小的火焰區(qū)域。同時(shí),光照條件下的樹葉運(yùn)動(dòng)區(qū)域作為運(yùn)動(dòng)檢測(cè)干擾物,疑似火焰顏色的墻壁作為顏色檢測(cè)干擾物。然而此算法在只有煙霧沒(méi)有火焰時(shí)并沒(méi)有出現(xiàn)警報(bào),而在第2張圖片開始,當(dāng)火焰區(qū)域出現(xiàn)時(shí)立即檢測(cè)到有很小區(qū)域的火焰存在并報(bào)警。
因?yàn)樯鲜龇椒ㄏ仁沁M(jìn)行運(yùn)動(dòng)檢測(cè),后進(jìn)行了顏色等變換,所以運(yùn)動(dòng)的車和人等干擾物不會(huì)當(dāng)成是火焰像素,很好的檢測(cè)出火焰部分。同時(shí)對(duì)于穿著紅色衣物走動(dòng)的人也能很好的分別出不是火焰。另外,由于液化石油氣作為碳?xì)浠衔?,點(diǎn)燃時(shí)火焰隨氣流影響呈噴出狀,而且火焰較穩(wěn)定,在充分燃燒時(shí)火焰呈藍(lán)色,所以不適合用本文中的檢測(cè)方法。天然氣中混合有一氧化碳,在燃燒時(shí)火焰偏藍(lán)色,火焰整體部分無(wú)法完全檢測(cè)。蠟燭作為可控火,在氣流相對(duì)穩(wěn)定的室內(nèi)燃燒時(shí)火焰幾乎穩(wěn)定不動(dòng),所以無(wú)法作為本文算法的檢測(cè)對(duì)象。
本文針對(duì)傳統(tǒng)的視頻中運(yùn)動(dòng)目標(biāo)圖像用幀間差分方法檢測(cè)的不足,使用了視頻圖像連續(xù)幀分塊差分的方法,根據(jù)分塊內(nèi)的像素變化的情況,檢測(cè)到的運(yùn)動(dòng)目標(biāo)更具確定性。然后使用色調(diào)、色飽和度和亮度來(lái)對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行火焰顏色的分析,消除亮度對(duì)火焰的干擾。同時(shí)分析了視頻火焰圖像的一些其他特性,如疑似火焰區(qū)域的時(shí)域特性和空域特性,濾除疑似火焰區(qū)域的紅色衣物的干擾。相比較于紅外攝像監(jiān)控而言,普通攝像頭檢測(cè)火焰相對(duì)比較難,而使用本文方法,成本較紅外攝像頭低,且能保證足夠的準(zhǔn)確率。因此本方法在視頻監(jiān)控運(yùn)動(dòng)和火焰識(shí)別中具有一定的實(shí)用價(jià)值。另外,火焰識(shí)別中其他的特性也值得考慮和研究,如火焰燃燒會(huì)產(chǎn)生煙霧等,因?yàn)槿紵锶紵龝r(shí)通常先產(chǎn)生煙霧然后才會(huì)產(chǎn)生火焰,這有助于火災(zāi)警報(bào),為消除火災(zāi)爭(zhēng)取時(shí)間。未來(lái)加入更多的燃燒特性將會(huì)對(duì)火焰識(shí)別的準(zhǔn)確率有進(jìn)一步的提高,這將是我們下一步的工作目標(biāo)。
[1]WANG Wenhao,LIU Shangqin,YE Qingsheng.Design and implementation of fire detection with video[J].Computer Engineering and Design,2008,29 (3):775-778 (in Chinese).[王文豪,劉尚勤,葉慶生.視頻火災(zāi)檢測(cè)的設(shè)計(jì)與實(shí)現(xiàn) [J].計(jì)算機(jī)工程與設(shè)計(jì),2008,29 (3):775-778.]
[2]SU Zhaoxi,LIU Juping.Research on a method of detecting flame motion region based on video [J].Mechanical and Electrical Engineering Technology,2012,41 (12):56-58 (in Chinese).[蘇兆熙,劉舉平.基于視頻的火焰運(yùn)動(dòng)區(qū)域檢測(cè)方法研究 [J].機(jī)電工程技術(shù),2012,41 (12):56-58.]
[3]TANG Yanyan,YAN Yunyang,LIU Yi’an.Fast flame detection with GMM [J].Computer Science,2012,39 (11):283-285 (in Chinese). [唐巖巖,嚴(yán)云洋,劉以安.應(yīng)用GMM 的快速火焰檢測(cè) [J].計(jì)算 機(jī) 科 學(xué),2012,39 (11):283-285.]
[4]XIE Di,TONG Ruofeng,TANG Min,et al.Distinguishable method for video fire detection [J].Journal of Zhejiang University (Engineering Edition),2012,46 (4):698-704 (in Chinese).[謝迪,童若鋒,唐敏.具有高區(qū)分度的視頻火焰檢測(cè)方法 [J].浙江大學(xué)學(xué)報(bào) (工 學(xué) 版),2012,46 (4):698-704.]
[5]ZHANG Zhengrong,LI Guogang.Fire detection technology based on support vector machine [J].Microcomputer and Its Applications,2010,29 (24):70-72 (in Chinese).[張正榮,李國(guó)剛.基于支持向量機(jī)的火災(zāi)探測(cè)技術(shù) [J].微型機(jī)與應(yīng)用,2010,29 (24):70-72.]
[6]Celik T,Demirel H,Ozkaramanli H,et al.Fire detection using statistical color model in video sequences[J].Journal of Visual Communication and Image Representation,2007,18(2):176-185.
[7]Cho Bo-Ho,Bae Jong-Wook,Jung Sung-Hwan.Image processing-based fire detection system using statistic color model[C]//International Conference on Advanced Language Processing and Web Information Technology.New York:IEEE,2008:245-250.
[9]LI Wenhui,XIAO Linchang,WANG Ying,et al.A block-based video smoke detection algorithm [J].Journal of Jilin University(Science Edition),2012,50 (5):979-986 (in Chinese). [李文輝,肖林廠,王瑩,等.一種基于塊的視頻煙霧檢測(cè)算法 [J].吉林大學(xué)學(xué)報(bào)(理學(xué)版),2012,50 (5):979-986.]
[10]Martin Mueller,Peter Karasev,Ivan Kolesov,et al.Optical flow estimation for flame detection in videos [J].IEEE Transaction on Image Processing,2013,22 (7):2786-97.
[11]Yusuf Hakan Habibo glu,Osman Günay,Enisetin A.Covariance matrix-based fire and flame detection method in video[J]. Machine Vision and Applications,2012,23 (6):1103-1113.