金國偉 周立萍
(浙江安防職業(yè)技術(shù)學(xué)院,溫州 325016)
森林是世界上重要的自然資源之一,當(dāng)森林中發(fā)生火災(zāi)時(shí),許多植物將被焚毀,動(dòng)物將被燒死,進(jìn)而造成巨大的經(jīng)濟(jì)損失。
我國領(lǐng)土廣闊,包含了許多的森林資源,但每年卻有上萬次的火災(zāi)發(fā)生,損失的森林面積大約占全球總燒毀的5~8‰[1]。新中國成立以來,在大興安嶺發(fā)生了一次特大火災(zāi),究其原因是沒能及時(shí)發(fā)現(xiàn),最終導(dǎo)致火勢快速蔓延開來,焚毀了大量的樹木,給國家造成了巨大的經(jīng)濟(jì)損失。
當(dāng)前,國家林業(yè)局對森林防火還停留在加強(qiáng)宣傳、組織防火演練和積極排查隱患等較低的層次。在利用高新科技,準(zhǔn)確、快速發(fā)現(xiàn)火災(zāi)研究方面還存在巨大的創(chuàng)新空間。
圖像處理和機(jī)器視覺的不斷發(fā)展,其給火災(zāi)檢測系統(tǒng)研究帶來了新方向。視頻監(jiān)控所能檢測到的范圍較廣,且能獲取較直觀的信息,使基于視頻圖像的火災(zāi)檢測算法成為一項(xiàng)熱門課題。
本文以圖像處理為基礎(chǔ),以火災(zāi)產(chǎn)生的煙霧和火焰等特征為切入點(diǎn),采用深度學(xué)習(xí)和支持向量機(jī)[2]算法相結(jié)合的方式,對視頻監(jiān)控采集到的圖像進(jìn)行煙霧和火焰檢測,從而達(dá)到預(yù)防目的。
發(fā)生火災(zāi)時(shí),火焰的燃燒往往伴隨著大量煙霧,煙霧具有許多特征,如煙霧的顏色多、煙霧隨著風(fēng)飄動(dòng)等。因此,在進(jìn)行煙霧檢測時(shí)可根據(jù)這些特征來進(jìn)行。
攝像機(jī)采集到的圖像存在許多噪聲、圖像清晰度等問題,這些因素對圖像的最終檢測會(huì)產(chǎn)生一定影響,在檢測之前需要對圖像進(jìn)行預(yù)處理以提高圖像質(zhì)量。此處的預(yù)處理主要是通過濾波的方式進(jìn)行降噪。在圖像處理中常用的濾波方式有中值濾波、均值濾波和高斯濾波三種。中值濾波是指建立一個(gè)3×3的模板,將模板中的9個(gè)像素值進(jìn)行排序,用中值來代替模板中間的值。均值濾波同樣需要建立一個(gè)3×3的模板,用模板的均值來代替模板中間的值。高斯濾波指的是建立一個(gè)模板(通常是3×3),模板中的像素值經(jīng)過高斯運(yùn)算后代入到模板中間位置。高斯濾波的計(jì)算函數(shù)有一維高斯濾波函數(shù)和二維高斯濾波函數(shù),如公式(1)和(2)所示。
本文經(jīng)過實(shí)驗(yàn)數(shù)據(jù)對比,采用中值濾波的方式對圖像進(jìn)行去噪處理。
火焰的燃燒往往伴隨著大量煙霧,在對圖像中的煙霧進(jìn)行檢測時(shí)可對其顏色特征[3]進(jìn)行研究,提取出煙霧的顏色特征。自然界中的顏色多種多樣,各種顏色均可以通過紅(R)、綠(G)、藍(lán)(B)三種基色按不同比例配置而成。當(dāng)三基色的像素值均為0時(shí)所組成的顏色為黑色;當(dāng)三基色的像素值均為255時(shí)所組成的顏色為白色。此外,煙霧的顏色特征還可通過HSI和YCbCr兩種顏色空間來表示,H表示色調(diào)、S表示飽和度、I表示強(qiáng)度、Y表示像素點(diǎn)的亮度、Cb表示藍(lán)色色度、Cr表示紅色色度。這三種顏色空間各有優(yōu)缺點(diǎn)且相互之間可以進(jìn)行轉(zhuǎn)換,其轉(zhuǎn)換公式如(3)和(4)所示。
從攝像機(jī)中采集到的圖像是RGB顏色空間的,通過實(shí)驗(yàn)數(shù)據(jù)分析,在利用RGB顏色空間對煙霧進(jìn)行檢測時(shí),煙霧色彩的亮度對檢測結(jié)果造成了非常大的影響,而YCbCr顏色空間可以很好地消除亮度對實(shí)驗(yàn)的影響。故本文利用YCbCr顏色空間來對煙霧進(jìn)行檢測。
深度學(xué)習(xí)算法是通過神經(jīng)網(wǎng)絡(luò)發(fā)展來的,1989年多倫多大學(xué)教授Yahn Lecun提出卷積神經(jīng)網(wǎng)絡(luò)成功訓(xùn)練出了多層網(wǎng)絡(luò)結(jié)構(gòu)[7],但這種算法的實(shí)驗(yàn)效果并不是特別好。十多年后,多倫多大學(xué)的教授Geoffrey Hinton等人在2006年提出了切實(shí)可行的深度學(xué)習(xí)框架[8],至此深度學(xué)習(xí)算法有了突破性發(fā)展,在語音、圖像、文字識別等方面取得了豐碩的成果。
本文將深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于火災(zāi)的煙霧檢測中,利用卷積神經(jīng)網(wǎng)絡(luò)提取出煙霧顏色特征并進(jìn)行目標(biāo)識別。但若直接將采集到的原始圖像輸入到卷積神經(jīng)網(wǎng)絡(luò)算法中,會(huì)增加算法負(fù)擔(dān),降低訓(xùn)練和測試的速度。而如果先將圖像進(jìn)行壓縮再輸入到算法中,雖然能解決訓(xùn)練速度問題,但由于圖像質(zhì)量受到影響導(dǎo)致檢測結(jié)果也受到影響。因此,在對圖像進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)計(jì)算前必須對圖像進(jìn)行處理。
為構(gòu)造適用于進(jìn)行計(jì)算的輸入圖像,又不損失圖像的信息,本實(shí)驗(yàn)將從網(wǎng)上下載大量煙霧圖片,利用正方形框取得到煙霧圖片,并對其規(guī)格化轉(zhuǎn)換為32×32大小的圖像。此外,為增加訓(xùn)練的樣本數(shù)量,本實(shí)驗(yàn)還將煙霧圖像進(jìn)行平移、旋轉(zhuǎn)、鏡像等操作。本實(shí)驗(yàn)中進(jìn)行訓(xùn)練的樣本圖像包括10種類別,每種類別有6000張樣本圖像,其中,包括5000張訓(xùn)練圖像和1000張測試圖像。
物品在燃燒過程中會(huì)產(chǎn)生火焰,火焰燃燒會(huì)伴隨著許多特征,如火焰的顏色特征[4],火焰的面積特征[5]以及火焰的閃爍特征[6]等。在對森林中的火焰進(jìn)行檢測時(shí)可以對這些特征進(jìn)行研究。
火焰的顏色是一種非常顯著的特征,在火焰檢測中起到非常關(guān)鍵的作用。本文通過人工的方法對500張火焰圖像的像素點(diǎn)進(jìn)行提取并研究,通過對1325萬個(gè)火焰像素點(diǎn)的R、G、B通道進(jìn)行分析統(tǒng)計(jì),得出實(shí)驗(yàn)結(jié)果為紅色通道中占比重較高的是像素值高的部分,綠色通道中像素值普遍集中在100左右,最多的在255附近,藍(lán)色通道中像素值普遍低于100,故無法通過R、G、B三通道進(jìn)行火焰識別。
因此,本文將R、G、B顏色空間轉(zhuǎn)換為YCbCr空間來進(jìn)行研究,轉(zhuǎn)換方式在1.2中有所介紹,通過對YCbCr顏色空間進(jìn)行分析統(tǒng)計(jì),可知代表火焰亮度的Y通道的像素值大部分是高于50的,Cb和Cr通道相比于Y通道則顯得較為集中。
此外從實(shí)驗(yàn)數(shù)據(jù)中可知Cb、Cr的分布比較接近正太分布,故本文用聯(lián)合密度函數(shù)(公式2-1)來表示顏色特征。
其中,Cb、Cr的像素值用x1和x2來表示,對應(yīng)通道的均值和標(biāo)準(zhǔn)差分別用μ和σ表示。
一幅圖像中像素點(diǎn)的顏色在火焰樣本中出現(xiàn)的頻次越高,則被判斷為火焰像素點(diǎn)的可能性越高,因此,需要利用分布密度函數(shù)對像素點(diǎn)進(jìn)行分類,從而判斷該像素點(diǎn)是否為火焰像素點(diǎn)。
火焰燃燒時(shí),其亮度會(huì)隨著時(shí)間呈現(xiàn)明暗不定的變化,即火焰的閃爍性?;鹧嬖谌紵龝r(shí),其外圍的閃爍程度要比內(nèi)部更加激烈,而火焰內(nèi)部的亮度變化則比較劇烈,因此,可對像素點(diǎn)的亮度作一段時(shí)間內(nèi)的累積差分,用以表征火焰的閃爍特征,累積差分公式如6所示。
其中,I(i,j,t)表示的是像素點(diǎn)(i,j)在t時(shí)刻的亮度,對于待檢測的區(qū)域,用該區(qū)域內(nèi)所有像素點(diǎn)F(i,j)的均值來表示其閃爍特征,公式如7所示。
檢測火焰時(shí),可用均值F1block來判斷圖像是否包含火焰。
在進(jìn)行火焰檢測時(shí),純粹的利用特征的閾值進(jìn)行檢測雖然簡單易行,但在漏檢率和誤檢率上存在一定缺陷,因此,需要使用機(jī)器學(xué)習(xí)方法對分類器進(jìn)行訓(xùn)練和測試,從而從而達(dá)到火焰檢測的目的,本文中使用的分類器是支持向量機(jī)(SVM)。
支持向量機(jī)(SVM)是一種建立在統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)果風(fēng)險(xiǎn)最小原理基礎(chǔ)上的機(jī)器學(xué)習(xí)分類方法。支持向量機(jī)按其核函數(shù)的不同大致可以分為線性支持向量機(jī)和非線性支持向量機(jī)。網(wǎng)上關(guān)于支持向量機(jī)的介紹很多,這里不做詳細(xì)介紹。
本文中支持向量機(jī)采用的核函數(shù)是徑向基核函數(shù),其參數(shù)和懲罰因子如表1所示。
表1 SVM參數(shù)設(shè)置
森林是一種豐富的自然資源,對人們的生產(chǎn)生活起著非常重要的作用,森林火災(zāi)的發(fā)生將造成巨大的經(jīng)濟(jì)損失。因此,我們需要在火災(zāi)發(fā)生的早期及時(shí)進(jìn)行檢測,才能有效預(yù)防火災(zāi)造成的損失。
本文對火焰燃燒時(shí)所產(chǎn)生煙霧的顏色特征以及火焰的顏色和閃爍特征進(jìn)行分析,利用深度學(xué)習(xí)算法對煙霧進(jìn)行檢測,從而找到火焰的疑似區(qū)域,再利用支持向量機(jī)算法對火焰疑似區(qū)域進(jìn)行火焰檢測,檢測出火焰的區(qū)域。
本實(shí)驗(yàn)具體流程為對捕捉到的圖像采用深度學(xué)習(xí)進(jìn)行煙霧檢測,若存在煙霧則標(biāo)記為火焰疑似區(qū)域并進(jìn)行下一步檢測,否則判斷沒有火焰。在對疑似區(qū)域進(jìn)行檢測時(shí),若檢測到有火焰則表示該區(qū)域存在火焰,否則不存在,其檢測流程圖如圖1所示。
圖1 火焰檢測流程圖
實(shí)驗(yàn)中,煙霧檢測主要是判斷該像素點(diǎn)的Cr、Cb分量的方差,當(dāng)方差值大于閾值T時(shí),該像素為煙霧像素點(diǎn),否則不是。經(jīng)大量實(shí)驗(yàn)數(shù)據(jù)的實(shí)驗(yàn)結(jié)果表明該閾值T的值為0.42;對火焰區(qū)域的檢測主要是判斷顏色特征值和閃爍特征值,其值分別為1.047和10。圖2為火焰檢測的整個(gè)過程,a為原始圖像,b為煙霧檢測圖像,c為火焰檢測圖像。
圖2 火焰檢測結(jié)果
基于圖像特征的森林煙霧檢測和火焰檢測是圖像處理技術(shù)的一個(gè)綜合運(yùn)用,深度學(xué)習(xí)算法大大提高了煙霧檢測效率,運(yùn)用SVM算法對火焰疑似區(qū)域進(jìn)行檢測不但大大縮減了計(jì)算復(fù)雜度,還提高了檢測的準(zhǔn)確率。