張 斌 魏 維 高聯(lián)欣 宋巖貝 李佳欣

(成都信息工程大學(xué)計(jì)算機(jī)學(xué)院 四川 成都 610225)

0 引 言

在現(xiàn)實(shí)生活中，火災(zāi)突發(fā)性難以控制，特別是野外森林火災(zāi)的發(fā)生不僅會(huì)使自然生態(tài)系統(tǒng)遭到嚴(yán)重破壞，而且還會(huì)對(duì)人類(lèi)生命財(cái)產(chǎn)構(gòu)成了嚴(yán)重威脅。由于煙霧的出現(xiàn)早于火焰之前，因此開(kāi)發(fā)一種有效的早期森林火災(zāi)煙霧的檢測(cè)方法具有重大的理論和現(xiàn)實(shí)意義。目前，研究者們?cè)谖墨I(xiàn)中提出的基于視頻的火災(zāi)煙霧檢測(cè)算法大多集中在顏色和形狀等特征上，他們通常構(gòu)建一個(gè)多維特征向量，然后作為SVM、神經(jīng)網(wǎng)絡(luò)、Adaboost等分類(lèi)算法的輸入。

文獻(xiàn)[1]提出一種基于圖像處理技術(shù)的特征提取算法和基于計(jì)算智能策略的分類(lèi)器來(lái)檢測(cè)煙霧的方法。該方法在檢測(cè)過(guò)程著重于提取煙霧的顏色特征、邊緣特征和運(yùn)動(dòng)區(qū)域檢測(cè)等，然后使用兩層前饋神經(jīng)網(wǎng)絡(luò)來(lái)判別不同幀中的煙霧的區(qū)域，但是該算法對(duì)于野外復(fù)雜場(chǎng)景下的煙霧檢測(cè)適用范圍有限。文獻(xiàn)[2]提出了一種基于時(shí)空特征袋(BOF)模型的特征提取方法，他們從當(dāng)前幀塊中提取HOG作為空間特征，并且基于由熱對(duì)流而使煙霧擴(kuò)散方向向上的事實(shí)，提取HOOF作為時(shí)間特征。通過(guò)結(jié)合靜態(tài)和動(dòng)態(tài)特征，最后通過(guò)隨機(jī)森林分類(lèi)器進(jìn)行分類(lèi)，該方法檢測(cè)效果良好。文獻(xiàn)[3]通過(guò)連接局部二值模式(LBP)和基于局部二值模式方差(LBPV)金字塔的直方圖序列提取了一個(gè)有效的特征向量，并采用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行煙霧檢測(cè)識(shí)別，但是該算法對(duì)于稀薄煙霧的檢測(cè)效果較差。文獻(xiàn)[4]通過(guò)高斯混合模型(GMM)進(jìn)行背景建模后提取疑似煙霧區(qū)域，并通過(guò)NR-LBP(非冗余局部二進(jìn)制模式)特征描述煙霧紋理，然后通過(guò)支持向量機(jī)進(jìn)行分類(lèi)，但是在檢測(cè)野外火災(zāi)煙霧下會(huì)出現(xiàn)誤判。文獻(xiàn)[5]首先使用背景差分法找出運(yùn)動(dòng)目標(biāo)區(qū)域，然后設(shè)置一個(gè)采樣緩沖區(qū)進(jìn)行運(yùn)動(dòng)區(qū)域檢測(cè)，接著利用自定義閾值函數(shù)進(jìn)行煙霧的顏色、面積增長(zhǎng)率和運(yùn)動(dòng)方向的分析，最后根據(jù)這些特征進(jìn)行分類(lèi)識(shí)別，但是該方法對(duì)于野外遠(yuǎn)距離煙霧檢測(cè)效果較差。

傳統(tǒng)的視頻火災(zāi)煙霧檢測(cè)方法通過(guò)依靠專(zhuān)業(yè)知識(shí)來(lái)手工設(shè)計(jì)的相關(guān)特征，然后創(chuàng)建基于規(guī)則的模型和判別特征。但這樣的研究方法不能很好地適用于各種情況。近年來(lái)，基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)模型在圖像分類(lèi)[6]和物體檢測(cè)[7]等多個(gè)計(jì)算機(jī)視覺(jué)應(yīng)用領(lǐng)域中，與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比具有更強(qiáng)大的特征學(xué)習(xí)和特征表達(dá)能力。Xu等[8]在視頻圖像序列上利用AlexNet網(wǎng)絡(luò)結(jié)構(gòu)檢測(cè)人造的煙霧圖像，準(zhǔn)確率最高達(dá)到了94.7%。Frizzi等[9]構(gòu)建了自己的CNN，類(lèi)似于著名的LeNet-5網(wǎng)絡(luò)結(jié)構(gòu)，增加了卷積層中的特征圖數(shù)量。作者在真實(shí)的煙霧場(chǎng)景進(jìn)行測(cè)試，達(dá)到了97.9%的精確度，這比傳統(tǒng)的機(jī)器學(xué)習(xí)方法的性能更高。陳俊周等[10]提出了一種級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)煙霧識(shí)別框架，他們將CNN引入到煙霧的靜態(tài)紋理和動(dòng)態(tài)紋理中以進(jìn)行特征提取，該方法有效降低了非煙霧區(qū)域的誤檢率。

CNN直接在原始RGB幀上運(yùn)行，而不需要特征提取階段。雖然目前很多文章中使用更深層次的CNN網(wǎng)絡(luò)結(jié)構(gòu)來(lái)提取特征，但它們并沒(méi)有利用上時(shí)域中的特征。煙霧具有動(dòng)態(tài)性，它會(huì)隨著時(shí)間的變化而改變形狀，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)則可以累積一組連續(xù)幀之間的運(yùn)動(dòng)信息。因此，本文提出使用CNN和RNN的組合來(lái)進(jìn)行視頻煙霧的檢測(cè)，詳細(xì)的煙霧檢測(cè)框架如圖1所示。

圖1 基于時(shí)空域深度神經(jīng)網(wǎng)絡(luò)的野火視頻煙霧檢測(cè)框架

算法首先通過(guò)使用在文獻(xiàn)[11]中提出的煙霧運(yùn)動(dòng)目標(biāo)檢測(cè)方法來(lái)檢測(cè)出視頻幀中的運(yùn)動(dòng)區(qū)域；然后，將這些候選運(yùn)動(dòng)區(qū)域作為空間流網(wǎng)絡(luò)的輸入以提取空域特征；為了充分利用視頻中煙霧的運(yùn)動(dòng)信息，當(dāng)候選運(yùn)動(dòng)區(qū)域被空間流網(wǎng)絡(luò)CNN識(shí)別為有煙時(shí)，則取出該區(qū)域左右相鄰兩幀圖像的相對(duì)應(yīng)區(qū)域，并對(duì)連續(xù)兩幀圖像通過(guò)時(shí)間流網(wǎng)絡(luò)進(jìn)行處理，以獲取相鄰幀中對(duì)應(yīng)區(qū)域之間的運(yùn)動(dòng)信息，最后輸入給RNN進(jìn)行時(shí)間上的運(yùn)動(dòng)特征累積，以進(jìn)一步降低誤檢。現(xiàn)有的只利用空域特征的深層次CNN以及本文方法(去掉時(shí)間流網(wǎng)絡(luò)和RNN部分)進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果表明，本文所提出的網(wǎng)絡(luò)模型實(shí)驗(yàn)結(jié)果表現(xiàn)出了較高的分類(lèi)檢測(cè)準(zhǔn)確率，最后在多個(gè)真實(shí)視頻場(chǎng)景中進(jìn)行了測(cè)試，實(shí)驗(yàn)結(jié)果表明本文算法具有良好的準(zhǔn)確性和實(shí)時(shí)性。

1 運(yùn)動(dòng)目標(biāo)檢測(cè)

常用的提取運(yùn)動(dòng)目標(biāo)檢測(cè)的方法有：光流法、幀間差法和背景減除法等。本文的視頻煙霧檢測(cè)過(guò)程由運(yùn)動(dòng)區(qū)域提取和對(duì)運(yùn)動(dòng)區(qū)域進(jìn)行特征提取并分類(lèi)識(shí)別這兩大部分組成，具體的視頻煙霧檢測(cè)框架如圖1所示。

在圖像處理中，幀差法是一種通過(guò)對(duì)視頻圖像序列中相鄰兩幀作差分運(yùn)算來(lái)獲得運(yùn)動(dòng)目標(biāo)輪廓的方法[12]。當(dāng)監(jiān)控場(chǎng)景中出現(xiàn)物體運(yùn)動(dòng)時(shí)，通過(guò)差分圖像可以快速獲得運(yùn)動(dòng)區(qū)域，但當(dāng)移動(dòng)目標(biāo)快速運(yùn)動(dòng)時(shí)就會(huì)出現(xiàn)“重影”和“孔洞”現(xiàn)象，但對(duì)于運(yùn)動(dòng)較緩慢的煙霧，其檢測(cè)效果不理想。因此，根據(jù)幀差法的原理，本文使用在文獻(xiàn)[11]中提出的基于混合高斯模型和改進(jìn)的四幀差法相結(jié)合的算法來(lái)檢測(cè)運(yùn)動(dòng)目標(biāo)。具體算法描述如下:

(1) 通過(guò)改進(jìn)的四幀差法的算法和混合高斯模型分別對(duì)視頻圖像進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)及背景建模以獲取前景圖像。

(2) 將它們得到的圖像進(jìn)行邏輯“或”運(yùn)算并進(jìn)行形態(tài)學(xué)處理，目的是為了去除圖像中的噪聲以及空洞現(xiàn)象等，最終提取出比較完整的運(yùn)動(dòng)目標(biāo)區(qū)域。文獻(xiàn)[11]運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)的算法流程圖如圖2所示，算法最終對(duì)視頻的檢測(cè)結(jié)果如圖3所示。

圖2 運(yùn)動(dòng)目標(biāo)區(qū)域檢測(cè)流程圖

圖3 運(yùn)動(dòng)目標(biāo)檢測(cè)效果示例圖

2 候選運(yùn)動(dòng)區(qū)域縮放

首先通過(guò)在文獻(xiàn)[11]中提出的算法從視頻幀中提取出疑似煙霧運(yùn)動(dòng)區(qū)域，再通過(guò)空間流網(wǎng)絡(luò)來(lái)初步計(jì)算這些候選運(yùn)動(dòng)區(qū)域是否含有煙霧的特征。因?yàn)榭臻g流網(wǎng)絡(luò)結(jié)構(gòu)對(duì)輸入圖片的大小是固定的，所以必須將這些疑似煙霧運(yùn)動(dòng)區(qū)域的圖像數(shù)據(jù)轉(zhuǎn)換到固定的大小。因此我們采用插值縮放[13]的方法(這種方法很簡(jiǎn)單，就是不管圖片的長(zhǎng)寬比例，不管它是否扭曲，全部縮放成CNN輸入的大小)，然后將這些縮放后的候選運(yùn)動(dòng)區(qū)域輸入到CNN以提取用于初步確定該區(qū)域是煙霧域還是非煙霧域的特征。

3 基于時(shí)空域深度神經(jīng)網(wǎng)絡(luò)的煙霧識(shí)別模型設(shè)計(jì)

由于煙霧沒(méi)有固定的輪廓和顏色，在傳統(tǒng)的火災(zāi)煙霧圖像識(shí)別研究中，研究者們需要根據(jù)一定的專(zhuān)業(yè)和先驗(yàn)知識(shí)來(lái)手工設(shè)計(jì)和處理特征。然而基于手工設(shè)計(jì)和處理特征的傳統(tǒng)煙霧檢測(cè)算法難以描述煙霧的本質(zhì)屬性，從而影響煙霧檢測(cè)的準(zhǔn)確性。但是卷積神經(jīng)網(wǎng)絡(luò)不需要將特征提取和分類(lèi)訓(xùn)練兩個(gè)過(guò)程分開(kāi)，它在訓(xùn)練的時(shí)候就自動(dòng)提取最有效的特征，具有強(qiáng)大的特征提取能力。同時(shí)CNN訓(xùn)練的模型對(duì)縮放、平移、旋轉(zhuǎn)等畸變具有不變性，有著很強(qiáng)的泛化性。因此，我們將縮放后的這些候選運(yùn)動(dòng)區(qū)域作為空間網(wǎng)絡(luò)的輸入以提取空域特征，并在有煙的基礎(chǔ)上進(jìn)一步利用RNN進(jìn)行時(shí)間上的運(yùn)動(dòng)特征累積，最后使用Softmax損失函數(shù)進(jìn)行分類(lèi)識(shí)別。

3.1 時(shí)間流網(wǎng)絡(luò)結(jié)構(gòu)

空間流CNN架構(gòu)包括1個(gè)輸入層、4個(gè)卷積層、2個(gè)子采樣層、3個(gè)全連接層，我們利用Softmax回歸模型對(duì)最后1個(gè)全連接層進(jìn)行分類(lèi)，以初步判斷該候選區(qū)域是否含有煙霧。具體設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示。

圖4 空間流網(wǎng)絡(luò)結(jié)構(gòu)

空間流網(wǎng)絡(luò)的輸入大小為64×64的RGB彩色圖像，然后依次經(jīng)過(guò)兩次卷積運(yùn)算，取卷積核大小為5×5，步長(zhǎng)為1，濾波數(shù)為32對(duì)輸入圖像進(jìn)行卷積。第三層為池化層，作用是對(duì)激活函數(shù)的結(jié)果再進(jìn)行池化操作，即降采樣。我們使用最大池化方法，保留最顯著的特征，并提升模型的畸變?nèi)萑棠芰?。池化層使用池化的核大小?×3，步長(zhǎng)為2。第四和第五兩個(gè)卷積層的卷積核大小為3×3，步長(zhǎng)為1。最后兩個(gè)全連接層每層有60個(gè)神經(jīng)元，輸出層有2個(gè)神經(jīng)元，分別與最后的分類(lèi)結(jié)果(有煙霧與無(wú)煙霧)相對(duì)應(yīng)。為避免在全連接層上出現(xiàn)過(guò)擬合的現(xiàn)象，在全連接層中，網(wǎng)絡(luò)采用Dropout[14]方法避免過(guò)擬合情況的發(fā)生。在每一個(gè)卷積層后用一個(gè)修正線性單元(Rectified Linear Unit，ReLU)激活函數(shù)，目的是將前面卷積核的濾波輸出結(jié)果，進(jìn)行非線性的激活函數(shù)處理。ReLU激活函數(shù)[15]的公式如下：

f(x)=max(0,x)

(1)

當(dāng)輸入特征值x<0時(shí)，輸出為0，訓(xùn)練完成后為0的神經(jīng)元越多，稀疏性越大，提取出來(lái)的特征就越具有代表性，泛化能力越強(qiáng)；當(dāng)輸入特征值x>0時(shí)，輸出等于輸入，無(wú)梯度耗散問(wèn)題，收斂快。

3.2 運(yùn)動(dòng)流網(wǎng)絡(luò)結(jié)構(gòu)

在實(shí)際應(yīng)用中, 霧氣、云等都可能與火災(zāi)煙霧具有相似的特征，但火災(zāi)煙霧會(huì)隨著時(shí)間的變化而改變它的形狀。光流原理是利用圖像序列中像素在時(shí)間域上的變化以及相鄰幀之間的相關(guān)性來(lái)找到上一幀跟當(dāng)前幀之間存在的對(duì)應(yīng)關(guān)系，從而計(jì)算出相鄰幀之間物體的運(yùn)動(dòng)信息的一種方法[16]。因此，為進(jìn)一步充分利用視頻中煙霧的運(yùn)動(dòng)信息，當(dāng)候選運(yùn)動(dòng)區(qū)域被空間流網(wǎng)絡(luò)CNN識(shí)別為有煙后，提取該煙霧區(qū)域左右相鄰兩幀圖像的相對(duì)應(yīng)區(qū)域，并對(duì)連續(xù)兩幀圖像通過(guò)時(shí)間流網(wǎng)絡(luò)進(jìn)行處理，以獲取相鄰幀中對(duì)應(yīng)區(qū)域之間的運(yùn)動(dòng)信息，最后輸入給RNN進(jìn)行時(shí)間上的運(yùn)動(dòng)特征累積，以進(jìn)一步降低誤檢。

時(shí)間流網(wǎng)絡(luò)包含了4個(gè)卷積層，在每個(gè)卷積層之后使用非線性函數(shù)Tanh函數(shù)。把該煙霧相對(duì)應(yīng)區(qū)域左右相鄰兩幀圖像的連續(xù)兩幀作為輸入，輸入大小為64×64×4。每一層具體網(wǎng)絡(luò)參數(shù)設(shè)置如表1所示，網(wǎng)絡(luò)的最后一層是全連接層，輸出向量為60維。

表1 時(shí)間流網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)設(shè)置

續(xù)表1

3.3 運(yùn)動(dòng)信息累積

在煙霧檢測(cè)問(wèn)題中，累積的運(yùn)動(dòng)信息非常有用，為了更好地提取視頻序列中運(yùn)動(dòng)背景信息的運(yùn)動(dòng)特征，我們采用RNN網(wǎng)絡(luò)，該網(wǎng)絡(luò)可以處理任意長(zhǎng)度的時(shí)間序列，從而可以通過(guò)該神經(jīng)網(wǎng)絡(luò)解決聚合運(yùn)動(dòng)上下文信息的問(wèn)題。尤其是RNN網(wǎng)絡(luò)具有前饋連接，其允許在一段時(shí)間內(nèi)保存信息并基于當(dāng)前幀和前一幀的信息產(chǎn)生輸出。一個(gè)標(biāo)準(zhǔn)的RNN結(jié)構(gòu)圖如圖5所示，對(duì)于給定的RNN網(wǎng)絡(luò)，橫向連接用作存儲(chǔ)器單元，其允許在任何時(shí)間的信息流動(dòng)。

圖5 一個(gè)標(biāo)準(zhǔn)的RNN結(jié)構(gòu)圖

圖5中，x、h和o分別表示輸入層、隱藏層和輸出層，L為損失函數(shù)，y為訓(xùn)練集的標(biāo)簽，t代表t時(shí)刻的狀態(tài)，V、W、U是權(quán)值。則RNN在t時(shí)刻的輸出以及最終模型的預(yù)測(cè)輸出如下所示：

o(t)=Vh(t)+c

(2)

(3)

式中：σ為激活函數(shù)，一般使用Tanh函數(shù)。

4 實(shí) 驗(yàn)

本文使用Keras[17]和Tensorflow[18]來(lái)構(gòu)建和訓(xùn)練所提出的CNN模型。為了便于比較，我們還使用Keras和Tensorflow實(shí)現(xiàn)了其他3個(gè)經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)以及一個(gè)具有深層次的網(wǎng)絡(luò)VGG-16。所有的實(shí)驗(yàn)都是在配備Intel(R) Core i3-6100 CPU @ 3.70 GHz和NVIDIA Tesla M40 GPU的PC上運(yùn)行的Ubuntu 16.04操作系統(tǒng)中進(jìn)行的。實(shí)驗(yàn)中還使用到OpenCV-3.1.0庫(kù)和Python 3.5。

4.1 數(shù)據(jù)集

空間流網(wǎng)絡(luò)的實(shí)驗(yàn)數(shù)據(jù)集圖片來(lái)源于袁非牛教授實(shí)驗(yàn)室。數(shù)據(jù)集分為4組，分別命名為Set1、Set2、Set3和Set4。Set1有1 383張圖像，Set2有1 505張圖像，Set3有10 712張圖像，Set4有10 617張圖像。我們將Set3和Set4合并作為一個(gè)訓(xùn)練集，共計(jì)21 329張圖像；將Set1和Set2合并作為一個(gè)測(cè)試集，共計(jì)2 888張圖像。

如圖6所示，煙霧和非煙霧的內(nèi)部和外部類(lèi)別差異非常大。圖6展示了數(shù)據(jù)集中的一些示例圖像，所有圖像都來(lái)自生活中真實(shí)的場(chǎng)景。

(a) 煙霧圖像 (b) 非煙霧圖像圖6 部分圖像數(shù)據(jù)集示例

我們將來(lái)源于土耳其比爾肯大學(xué)信號(hào)處理小組、韓國(guó)啟明大學(xué)計(jì)算機(jī)視覺(jué)和模式識(shí)別實(shí)驗(yàn)室、意大利薩萊諾大學(xué)機(jī)器智能實(shí)驗(yàn)室、內(nèi)華達(dá)大學(xué)雷諾分校的計(jì)算機(jī)視覺(jué)實(shí)驗(yàn)室的野外火災(zāi)煙霧數(shù)據(jù)集，以及從YouTube、Youku等視頻網(wǎng)站收集并截取出大量野外火災(zāi)煙霧的視頻段，構(gòu)建為一個(gè)新的共5 000個(gè)視頻段的時(shí)間流網(wǎng)絡(luò)數(shù)據(jù)集。其中有煙和無(wú)煙部分分別從有煙視頻與無(wú)煙視頻中截取，且均不與測(cè)試視頻重復(fù)。實(shí)驗(yàn)中隨機(jī)選擇80%樣本作為訓(xùn)練集，其余的作為測(cè)試集。

圖7 部分視頻集數(shù)據(jù)示例

4.2 網(wǎng)絡(luò)模型訓(xùn)練

本文實(shí)驗(yàn)是基于Keras[17]平臺(tái)實(shí)現(xiàn)的，且卷積網(wǎng)絡(luò)模型的訓(xùn)練使用了GPU并行處理。CNN使用4.1節(jié)中的數(shù)據(jù)集進(jìn)行訓(xùn)練。在訓(xùn)練過(guò)程中，我們選擇了Adam optimizer[19]來(lái)優(yōu)化網(wǎng)絡(luò)損耗，Epoch設(shè)置為200，一次處理圖片的最小輸入的數(shù)量(BATCH_SIZE)為64，設(shè)置動(dòng)量系數(shù)為0.9和權(quán)重衰減值為0.000 5，初始學(xué)習(xí)率為0.001，學(xué)習(xí)率在每10 epoch后縮小0.95倍。

4.3 評(píng)價(jià)指標(biāo)

對(duì)于林火視頻煙霧檢測(cè)的性能測(cè)試，我們使用文獻(xiàn)[20]提出的評(píng)估方法，公式如下：

(4)

(5)

(6)

式中：ACC表示準(zhǔn)確率，N為樣本總數(shù)；TPR表示被預(yù)測(cè)為煙霧的煙霧樣本結(jié)果數(shù)，即檢測(cè)率；TNR表示被預(yù)測(cè)為非煙霧的非煙霧樣本結(jié)果數(shù)，即誤檢率；TP表示煙霧總數(shù)中正確檢測(cè)到煙霧的數(shù)量；FN表示未被識(shí)別的實(shí)際煙霧區(qū)域的數(shù)；FP表示認(rèn)定為煙霧的非煙霧數(shù)量；TN表示認(rèn)定為非煙霧區(qū)域的非煙霧區(qū)域數(shù)量。

將本文方法與AlexNet[15]、Frizzi[9]、文獻(xiàn)[21]中提出的算法以及和本文方法(去掉時(shí)間流網(wǎng)絡(luò))進(jìn)行了對(duì)比，F(xiàn)rizzi[9]中使用的是一個(gè)具有8層結(jié)構(gòu)的網(wǎng)絡(luò)，而文獻(xiàn)[21]中則采用的是較深層次的網(wǎng)絡(luò)。我們基本上使用了4.2節(jié)中描述的與訓(xùn)練相關(guān)的超參數(shù)，并根據(jù)不同的網(wǎng)絡(luò)架構(gòu)調(diào)整了輸入圖像的大小。為了公平比較，所有比較的算法都使用同一個(gè)訓(xùn)練集，并且所有的網(wǎng)絡(luò)模型都是從零開(kāi)始訓(xùn)練。

表2 與不同的方法比較結(jié)果

從表2的數(shù)據(jù)結(jié)果可以分析出，與AlexNet、Frizzi和文獻(xiàn)[21]中煙霧檢測(cè)方法相比較，我們的方法在煙霧檢測(cè)準(zhǔn)確率和檢測(cè)率都有更好的表現(xiàn)。盡管AlexNet、Frizzi中和文獻(xiàn)[21]中的網(wǎng)絡(luò)在煙霧檢測(cè)方法檢測(cè)準(zhǔn)確率較高，但是這三種網(wǎng)絡(luò)結(jié)構(gòu)是無(wú)法累積一段視頻的上下文的運(yùn)動(dòng)信息的。相比較而言，本文中的網(wǎng)絡(luò)模型在去掉時(shí)間流網(wǎng)絡(luò)和RNN單元之后，煙霧檢測(cè)的準(zhǔn)確率和檢測(cè)率都下降了至少1%，由此說(shuō)明時(shí)間流網(wǎng)絡(luò)和RNN單元在本文的煙霧檢測(cè)框架中起著重要的作用，意味著RNN單元累積了有效的上下文運(yùn)動(dòng)信息，這種上下文信息不僅能夠很好地學(xué)習(xí)到圖像的特征，還具有較高的檢測(cè)正確率，有利于提高煙霧檢測(cè)的準(zhǔn)確率。

4.4 本文算法用于視頻煙霧檢測(cè)結(jié)果

本文算法在多個(gè)視頻場(chǎng)景中進(jìn)行測(cè)試，鑒于篇幅有限，圖8僅列出9組視頻的檢測(cè)結(jié)果，其中視頻1至視頻5為含有煙霧的視頻，視頻6至視頻9為與無(wú)煙霧的干擾視頻,主要是自然景觀中的云霧，視頻圖像大小為320×240像素?？梢钥闯霰疚乃惴ㄔ诙喾N場(chǎng)景下都具有良好的檢測(cè)效果和一定的抗干擾能力。

圖8 9組測(cè)試視頻的檢測(cè)結(jié)果圖

實(shí)驗(yàn)測(cè)試結(jié)果如表3、表4所示。從表3中可以看出，在視頻1中，文獻(xiàn)[21]的算法比本文方法提早檢測(cè)到煙霧，但本文算法在其他場(chǎng)景下的檢測(cè)性能都不錯(cuò)。從表4中可以看出，在無(wú)煙霧的測(cè)試條件下，不同視頻場(chǎng)景中出現(xiàn)了與煙霧顏色相近的白霧、移動(dòng)的烏云以及擺動(dòng)的樹(shù)葉等干擾物，本文的算法在這些場(chǎng)景中都沒(méi)有出現(xiàn)誤檢的情況，這說(shuō)明本文算法具有較強(qiáng)的抗干擾能力，但是其他四種算法相對(duì)來(lái)說(shuō)有一定的誤檢?？偠灾?，實(shí)驗(yàn)結(jié)果表明本文視頻煙霧檢測(cè)算法具有良好的準(zhǔn)確性和實(shí)時(shí)性，并證明了時(shí)間流網(wǎng)絡(luò)和RNN單元在本文的煙霧檢測(cè)框架中起著重要的作用，在視頻煙霧檢測(cè)方面有更好的表現(xiàn)。

表3 有煙霧測(cè)試視頻的檢測(cè)結(jié)果

表4 無(wú)煙霧測(cè)試視頻的檢測(cè)結(jié)果

5 結(jié) 語(yǔ)

傳統(tǒng)的煙霧檢測(cè)方法是從輸入圖像中手動(dòng)提取特征，然后使用分類(lèi)器對(duì)煙霧進(jìn)行分類(lèi)和識(shí)別，這個(gè)過(guò)程通常比較復(fù)雜和繁瑣。本文提出一種基于時(shí)空域深度神經(jīng)網(wǎng)絡(luò)特征提取與分類(lèi)的林火視頻煙霧檢測(cè)算法。算法提取出候選運(yùn)動(dòng)區(qū)域的空域特征，當(dāng)候選運(yùn)動(dòng)區(qū)域被空間流網(wǎng)絡(luò)CNN識(shí)別為有煙時(shí)，進(jìn)一步充分利用視頻中相鄰幀中對(duì)應(yīng)區(qū)域之間的運(yùn)動(dòng)信息，最后輸入給RNN進(jìn)行時(shí)間上的運(yùn)動(dòng)特征累積，以進(jìn)一步降低誤檢。與僅提取空域特征的煙霧檢測(cè)方法進(jìn)行了對(duì)比，實(shí)驗(yàn)結(jié)果表明，本文方法能夠在多個(gè)視頻場(chǎng)景下準(zhǔn)確檢測(cè)煙霧區(qū)域，檢測(cè)性能得到改善，降低了檢測(cè)失敗率，并且具有一定的抗干擾能力。