王曉薇, 張笑語, 孫 可, 殷守林

(沈陽師范大學 軟件學院, 沈陽 110034)

0 引 言

當今自然界所面臨的災難性毀滅事件之一是野火造成的。因此,在早期檢測到這類野火對于防止由野火引起的災害是至關重要的,從而防止全球變暖、拯救人類生命和他們的財產不受破壞。文獻[1-3]研究的重點是檢測火勢,但從最近幾年開始,由于煙霧是火災的早期跡象,因此它已經轉移到早期的煙霧檢測上。因此,檢測煙霧比檢測火焰要更能警示人們。檢測火災和煙霧有很多不同的方法,這借助于計算機視覺技術,這種技術是在攝像機或在煙霧和火災報警的幫助下使用非光學傳感器?；馂暮蜔熿F報警器是光學煙霧檢測器,這些容器包括發(fā)光二極管(LED)、光電池和用于煙霧顆粒入口的底座開口。在這種情況下,光束在LED和光電池之間不斷地發(fā)射,這顯示了報警內部的完整電路的指示。當發(fā)生火災時,煙霧從警報的底座開口進入,并中斷電路,這被認為是觸發(fā)警報的一個條件。利用這些警報器進行火災和煙霧檢測總是能給出準確的結果,但也存在許多缺點。首先,它們的區(qū)間僅限于一個房間或一個大廳,因此不適合檢測野火煙霧;其次,當一些碳粒子到達傳感器時,煙霧和火焰警報器工作正常,只有警報才會觸發(fā)。因此,在森林、丘陵等廣泛的環(huán)境區(qū)域安裝警報器是不可行的。

而在基于視覺的煙霧檢測中,該技術可以通過從監(jiān)控攝像機中獲取圖像來實現(xiàn)對煙霧進行實時檢測。安裝在山頂或一些移動塔上的監(jiān)控攝像頭可以覆蓋幾公里,以便在早期階段檢測到煙霧。使用這種設置的另一個優(yōu)點是,與基于傳感器的檢測系統(tǒng)相比,安裝起來更便宜、更容易。

近幾十年來,人們提出了多種基于視頻的煙霧檢測方法。因為煙霧具有非常清晰的特征,可以區(qū)別于其他物體,例如它的顏色、紋理和運動狀態(tài)。比如文獻[5-9]采用RGB顏色模型和HSV的顏色空間來找出每個幀的煙霧特征。文獻[10-16]利用相關的均勻局部二值模式(ULBP)和YCbCr顏色空間,結合基于顯著性的煙霧檢測算法,來進行煙霧檢測。

因此,采用各種基于運動的模型、基于顏色的模型及基于空間和時間特征的模型來確定煙霧的特征。

在本文中,提出的方法主要集中利用煙霧的3個主要特征,即運動、紋理和煙霧的顏色。背景減法算法用于高運動區(qū)域的提取。在該區(qū)域上,發(fā)現(xiàn)基于顏色的特征有2個不同的顏色子空間。文獻[4]利用HSV顏色空間,不僅提取了煙霧的紋理,而且提取了煙霧的強度和顏色。文中創(chuàng)新點是采用DBN進行分類,使用局部二進制方法同時檢測紋理和煙霧強度。目前,深度信念網絡很少被用于煙霧檢測。

1 本文提出的方法

提出的方法包括以下主要步驟:

1) 通過使用背景減除算法來確定移動目標區(qū)域。

2) 煙霧顏色檢測,這部分主要通過融合RGB顏色空間和YCbCr顏色空間,確定在高運動區(qū)域存在的煙霧顏色像素。

3) 對于前景目標區(qū)域,計算出局部二進制特征,主要是為煙霧提供紋理和強度特征。

4) 最后,采用DBN用于煙霧和非煙霧像素的分類。

所提出的方法如圖1所示。

圖1 提出的方法Fig.1 The proposed method

1.1 移動目標檢測

背景減除算法采用幀差分方法[17]用于計算高運動區(qū)域。使用背景減法算法的關鍵是,運動是煙霧的一種特殊特征,不同于其他類似的物體,如云和霧,它們在紋理和外觀上可能是相似的。因此,背景減法結合了重要屬性。該算法背后的方法是通過計算當前幀和參考幀之間的差異來檢測運動對象。在該方法中,估計了當前圖像幀在In-1和參考圖像幀之間的絕對差,用于遞歸計算背景圖像Bn-1,即

Bn+1=|In+1-In|

(1)

其中n是幀的總數(shù)。該運動判定算法不足以決定煙霧的存在,因此還考慮了煙霧的顏色和紋理等其他性質。

1.2 顏色檢測

以RGB命名的加性顏色模型之一,構成了范圍廣泛的真顏色(紅色、藍色和綠色)的組合。在顯示器、移動電話等各種電子系統(tǒng)中,圖像的表示描述了RGB顏色模型的使用。RGB顏色模型的有效性隨著光譜含量的增加而增強。盡管RGB顏色模型是最流行的顏色模型之一,并且在許多應用中使用,但是高冗余性和相關性是與它們相關聯(lián)的問題。在這里,相關性一詞是指對亮度信息的強調,從而顯著地降低編碼效率。YCbCr是另一種與人類視覺系統(tǒng)密切相關的顏色模型。這里,亮度和色度靈敏度被等同地指定,并且YCbCr模型的該屬性被認為是與其他顏色模型相比增加的優(yōu)點。YCbCr顏色模型的3個組分分別是以Y、CB和Cr為代表的亮度、色度-藍色和色度-紅色。而組分亮度是眾所周知的,色度-藍色和色度-紅色分別區(qū)分了與亮度的藍色和紅色的差異。

在提出的方法中,將2種不同顏色模型的特性結合起來,以從不同顏色空間的不同方法獲得強烈的煙霧特征。通過觀察視頻中的許多潛在幀,得到了RGB空間中方程(2)、(3)和(4)所表示的條件:

其中τ是閾值。在實驗中,設置τ的值為20。用上述方程來找出煙霧的顏色。因此,通過各種實驗,發(fā)現(xiàn)閾值為20時更有效地檢測到了煙霧的灰白色。在此之后,根據(jù)方程(2)、(3)和(4)提取了顏色的特征。

確定煙霧顏色特征的詳細步驟如下:

1) 對于移動目標區(qū)域,根據(jù)方程(2)、(3)和(4)找到相應的紅色、綠色和藍色值,即RGB顏色空間值。

2) 在相同的條件下,利用RGB到YCbCr顏色空間的轉換,計算煙霧的亮度和色度值。

3) 通過將RGB和YCbCr顏色空間值除以255,將RGB和YCbCr顏色空間的值歸一化到[0,1]。

4) 將RGB顏色和YCbCr顏色空間值合并成一個特征矩陣。

1.3 基于局部極值共生模式的紋理強度檢測

為了提取圖像中的顯著特征,計算機視覺中著名的方法之一是紋理分析。水面上的漣漪、煙霧、飄動的旗子等就是一些紋理的例子。本文利用局部二進制特征,確定煙霧的紋理和HSV顏色空間,該空間利用圖像的強度、顏色和亮度。利用局部極值模式提取局部方向信息,借助灰度共生矩陣,計算特征值。

在LBPS中,中心像素值及其參考鄰域值根據(jù)強度進行比較,而在局部極值模式中,邊緣信息是在不同方向和局部二進制模式下提取的。像素值在0、45、90和135中與中心像素值進行比較,如果比較像素位于與中心像素比較大或小于的方向,則賦值1。如果比較像素具有相對性質的值,即一個像素小于中心像素,而另一個像素大于中心像素,則賦值0。局部極值模式計算如下:

(5)

式(7)用于計算局部極值模式(LEPs),公式(8)計算LEPs的直方圖,φ代表局部極值模式的角度。

1.4 基于深度信念網絡的煙霧檢測

文獻[14]給出的DBN是高連接概率生成模型,具有大量的隱藏層,它們之間具有很強的相關性。這個意義上的概念是基于逐層的貪婪算法,這種算法是以無監(jiān)督的方式學習的。DBN背后的基本思想是一種對數(shù)線性馬爾可夫隨機場(MRF),稱為受限玻爾茲曼機(RBM),它將每一層內層視為RBM。RBM具有隱藏和可見的連接。在RBMS中,用能量函數(shù)E(v,h;θ)描述聯(lián)合分布P(v,h;θ),其中v是可見單元,h是隱單元,θ是給定的模型參數(shù)。聯(lián)合參數(shù)在方程(9)中有數(shù)學描述。

(9)

(10)

對于RBM,基于伯努利函數(shù)(可見)和伯努利函數(shù)(隱藏)的能量由以下公式計算:

(11)

其中ai和bj是偏差,vi和hj是可見和隱藏單元,wij對應于vi和hj之間的對稱交互項?？梢砸詳?shù)學方式計算條件概率:

其中σ(X)=1/(1+exp(X)),同樣,基于高斯-伯努利方程的RBM計算能量如下:

(14)

并且上述條件概率變?yōu)?/p>

圖2 包含2個RBM層的DBN分類器Fig.2 DBN classifier with two RBM layers

2 實驗分析

為了說明提出算法的有效性,該方法已在不同來源的公開數(shù)據(jù)集上進行實驗。在訓練和測試階段,從17個視頻中選擇了10 000個幀,其中10個是含煙視頻,7個是非煙視頻。從含有煙霧的視頻中提取了5 000幀,并從非煙霧視頻中提取了5 000幀。因為數(shù)據(jù)集由10 000幀組成,煙霧和非煙霧類的分布是相等的。其中,70%的幀用于訓練,而其余的幀用于測試。訓練和測試的選擇標準必須是連續(xù)的,以便保留幀內的時間信息,作為特征進行提取。然后將這些幀序列裁剪并標記為煙霧和非煙霧。取7 000幀用于訓練,3 000幀用于測試。含有煙霧的視頻有不同類型的煙霧,從非常濃密的煙霧(如野火中的煙霧)到非常輕的煙霧(如室內或室外煙霧)。非煙視頻的背景與含煙視頻相似。視頻的幀速率為30 Hz,而每個輸入幀的大小為320×240pixel。

根據(jù)圖像等級評估(即煙霧和非煙霧圖像分類精度)來評估精度。由于沒有標準的煙霧檢測數(shù)據(jù)集,將結果與2個同類別的不同分類器——Artifificial Neural Network(ANN)和帶有DBNs的自動編碼器進行了比較,數(shù)據(jù)集中的不同分類器的結果如表1、2、3,分別對應于Epoch值1、20和50。結果表明,對于100個隱單元和時間值為50的,基于DBN分類的分類精度為99.51%。

表1 Epoch值為1的不同分類器的結果比較Table 1 Comparison of results of different classifiers with Epoch value of 1

表2 Epoch值為20不同分類器的結果比較Table 2 Comparison of results of different classifiers with Epoch value of 20

表3 Epoch值為50的不同分類器的結果的比較Table 3 Comparison of results of different classifiers with Epoch value of 50

表4 Epoch值為50的極具挑戰(zhàn)性的無煙數(shù)據(jù)集方法的評價Table 4 Evaluation of a challenging smokeless dataset method with an Epoch value of 50

2.1 極具挑戰(zhàn)性的無煙數(shù)據(jù)集方法評價

在這一節(jié)中,對所提出的方法在極具挑戰(zhàn)性的無煙數(shù)據(jù)集上進行了評價。這些無煙的視頻非常類似于含有煙霧的視頻,視頻包括霧、蒸汽、沙塵暴和云。在這種情況下,也遵循與前幾節(jié)所述的訓練和測試相同的程序。本節(jié)的結果如表4所示。此數(shù)據(jù)集中評價的結果表明,2種形式具有相同的顏色、紋理和運動,由于該方法不能在蒸汽和煙霧之間判別,因此精度降低。在其他情況下,例如霧、云和沙塵暴,該方法也表現(xiàn)得很好。這是因為煙霧的另一種特性,它總是處于運動狀態(tài)。

2.2 野火煙和近距離煙霧檢測的精度對比

在這個場景中,使用了5個野火煙霧視頻和7個非煙霧視頻。在野火煙霧視頻中,增加5 000幀,并從非煙霧視頻中提取5 000幀。連續(xù)取出這些幀,以便可以從先前幀獲取關于高運動區(qū)域的時間信息。然后將這些幀序列剪切并標記為有煙霧和無煙。因此,本方法共使用10 000幀,其中7 000幀用于訓練,3 000幀用于測試。同樣,對于近距離不受控制的煙霧,也遵循同樣的程序。結果如表5和表6所示。

表5 Epoch值為50的野火煙霧檢測精度評價Table 5 Evaluation of detection accuracy of wild fire smoke with Epoch value of 50

表6 Epoch值為50的近距離煙霧檢測精度評價Table 6 Evaluation of detection accuracy of close range smoke with Epoch value of 50

3 結 論

本文提出了一種基于DBN區(qū)域的煙霧檢測系統(tǒng)。煙霧的3個重要特征,即顏色、運動和紋理,用來檢測煙霧的疑似區(qū)域。該方法還可以擴展到火焰檢測,并且具有足夠的魯棒性。與其他煙霧檢測技術相比,所提出的技術有很高的精確檢測效率。