盛連軍, 湯致軒, 茅曉亮, 白 帆, 黃定江

（1. 國(guó)網(wǎng)上海市電力公司 奉賢供電公司, 上海 201499; 2. 華東師范大學(xué) 數(shù)據(jù)科學(xué)與工程學(xué)院,上海 200062; 3. 上海深其深網(wǎng)絡(luò)科技有限公司, 上海 200439）

0 引 言

變電站[1]等工業(yè)場(chǎng)景內(nèi)有油浸變壓器、輸配電線路開關(guān)、高壓電容器等易燃設(shè)備, 容易發(fā)生火災(zāi),而火災(zāi)發(fā)生的前期一般伴隨煙霧的產(chǎn)生, 若能在明火出現(xiàn)之前通過(guò)檢測(cè)產(chǎn)生的煙霧進(jìn)行火災(zāi)預(yù)警, 則可以有效預(yù)防火災(zāi)的發(fā)生. 因此, 在變電站內(nèi)進(jìn)行煙霧檢測(cè)對(duì)保障變電站的安全具有重要意義. 目前,變電站內(nèi)基本配備有監(jiān)控?cái)z像頭, 這使得使用監(jiān)控視頻進(jìn)行煙霧檢測(cè)的方式成為可能.

變電站等工業(yè)場(chǎng)景與普通場(chǎng)景, 如民用通道、商場(chǎng)等之間存在著明顯的區(qū)別. 主要體現(xiàn)在兩個(gè)方面: 第一, 光照條件不同. 變電站等工業(yè)場(chǎng)景通常處于零照度, 使用的是紅外補(bǔ)光攝像頭采集數(shù)據(jù), 而民用通道、商場(chǎng)等場(chǎng)景通常采用可見光的RGB (red, green, blue)數(shù)據(jù)進(jìn)行采集, 紅外圖像是通過(guò)獲取物體紅外光的強(qiáng)度所形成的圖像, 可見光圖像則是通過(guò)相機(jī)直接捕捉物體反射的可見光所形成的圖像, 這兩種數(shù)據(jù)在本質(zhì)上存在著差異. 第二, 背景復(fù)雜度不同. 在變電站等工業(yè)場(chǎng)景中, 背景主要由開關(guān)柜、墻面等構(gòu)成, 相對(duì)整潔、簡(jiǎn)單, 而在民用通道、商場(chǎng)等場(chǎng)景中, 背景包含了人物、各種物體和結(jié)構(gòu), 呈現(xiàn)出較為復(fù)雜多樣性特點(diǎn). 所以, 變電站等工業(yè)場(chǎng)景與普通場(chǎng)景在光照條件和場(chǎng)景背景方面存在著明顯差異. 本文主要針對(duì)零照度紅外補(bǔ)光下的變電站等工業(yè)場(chǎng)景進(jìn)行研究和設(shè)計(jì)算法.

在針對(duì)變電站等工業(yè)場(chǎng)景的煙霧檢測(cè)任務(wù)中, 現(xiàn)有技術(shù)存在兩個(gè)主要的難點(diǎn): 第一, 算法的應(yīng)用場(chǎng)景主要針對(duì)變電站等工業(yè)場(chǎng)景, 這些場(chǎng)景通常為零照度條件, 這與普通的可見光條件有根本性的區(qū)別, 這種特殊條件使得問(wèn)題變得更具有挑戰(zhàn)性. 現(xiàn)有的很多煙霧檢測(cè)方法, 如基于暗通道先驗(yàn)、可見光RGB 轉(zhuǎn)HSV (hue, value, staturation)色彩空間等常用技術(shù)在這種情況下不再適用, 常規(guī)方法無(wú)法提供可靠的煙霧檢測(cè)結(jié)果. 第二, 如果僅依賴變電站等工業(yè)場(chǎng)景已配備的物理傳感器, 如感煙報(bào)警器等, 只能得到簡(jiǎn)單的煙霧告警或非告警信號(hào), 而無(wú)法獲取圖像信息. 這種情況下, 無(wú)法確定煙霧出現(xiàn)的具體位置, 從而給工作人員的核驗(yàn)帶來(lái)困難. 然而, 在工業(yè)環(huán)境中, 準(zhǔn)確獲知煙霧的位置信息對(duì)于及時(shí)采取適當(dāng)?shù)膽?yīng)對(duì)措施至關(guān)重要[2], 例如確定煙霧源、調(diào)整通風(fēng)系統(tǒng)或啟動(dòng)緊急應(yīng)對(duì)程序等.

綜上所述, 煙霧檢測(cè)領(lǐng)域面臨的兩個(gè)主要難點(diǎn)是應(yīng)對(duì)變電站等場(chǎng)景的零照度條件和傳統(tǒng)煙霧傳感器無(wú)法提供煙霧位置信息的挑戰(zhàn). 因此, 為了解決這些問(wèn)題, 設(shè)計(jì)能夠應(yīng)對(duì)零照度條件的視覺(jué)煙霧檢測(cè)方法以應(yīng)對(duì)這些難點(diǎn)具有重要意義, 旨在提高煙霧檢測(cè)的實(shí)用性和可靠性, 以有效預(yù)防變電站等工業(yè)場(chǎng)景的火災(zāi)發(fā)生, 進(jìn)而確保工業(yè)環(huán)境的安全性.

在監(jiān)控視頻畫面中, 本文定義的“蒙版特性”是指煙霧出現(xiàn)時(shí)所引發(fā)的一種視覺(jué)效應(yīng), 其中在煙霧出現(xiàn)的覆蓋區(qū)域內(nèi)產(chǎn)生模糊效果, 類似于將一層灰色蒙版疊加在原始畫面上, 而導(dǎo)致的圖像塊中像素的灰度值整體上升或下降. 本文將該視覺(jué)效應(yīng)定義為煙霧的灰度蒙版特性. 本文定義的“剛體運(yùn)動(dòng)”是指在物體運(yùn)動(dòng)中, 其形狀和尺寸保持不變的一種運(yùn)動(dòng)模式. 在剛體運(yùn)動(dòng)中, 假設(shè)物體的內(nèi)部結(jié)構(gòu)不發(fā)生變化, 物體各個(gè)部分以相同的速度和方向進(jìn)行平移或旋轉(zhuǎn), 且相對(duì)位置保持不變, 那么物體的形態(tài)在整個(gè)運(yùn)動(dòng)過(guò)程中保持恒定.

本文提出了一種基于空間域和頻率域方法的煙霧檢測(cè)算法, 通過(guò)在空間域提取煙霧運(yùn)動(dòng)特性和蒙版特性的方式, 有效地檢測(cè)疑似煙霧區(qū)域, 從而保證了較低的漏檢率; 此外, 利用頻率域中的信息排除非煙霧的剛體運(yùn)動(dòng), 進(jìn)一步降低了誤檢率, 使誤檢率和漏檢率達(dá)到了良好的平衡, 并且所提算法僅使用灰度圖像進(jìn)行煙霧檢測(cè), 更好地符合了實(shí)際工業(yè)應(yīng)用場(chǎng)景的需求.

1 相關(guān)工作

目前, 煙霧檢測(cè)方式主要包括基于物理煙霧感應(yīng)器和基于視頻圖像這兩種方式. 本文關(guān)注基于視頻圖像的方式, 此方式包括基于傳統(tǒng)圖像特征的方法和基于深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)的方法.

1.1 基于傳統(tǒng)圖像特征的方法

基于傳統(tǒng)圖像特征的方法主要是利用煙霧的特征來(lái)檢測(cè): 首先選取煙霧的候選區(qū)域; 然后提取煙霧特征; 最后進(jìn)行煙霧檢測(cè). 宋偉等[3]利用改進(jìn)的ViBe (visual background extractor) 算法和顏色特征確定疑似煙霧區(qū)域, 并結(jié)合煙霧面積增長(zhǎng)和移動(dòng)特性識(shí)別煙霧區(qū)域, 實(shí)現(xiàn)了變電站場(chǎng)景的煙霧檢測(cè).T?reyin 等[4]利用小波變換分析圖像高低頻能量, 并結(jié)合煙霧邊界的周期性和煙霧區(qū)域的凸性進(jìn)行檢測(cè), 具有較好的煙霧檢測(cè)效果. Yu 等[5]提出了一種用于實(shí)時(shí)火災(zāi)煙霧檢測(cè)的紋理分析方法, 利用灰度共生矩陣分析煙霧紋理特性, 并使用神經(jīng)網(wǎng)絡(luò)對(duì)煙霧紋理特征和非煙霧紋理特征進(jìn)行分類, 該方法具有較低的誤檢率. Alamgir 等[6]提出了一種煙霧檢測(cè)方法, 該方法將局部二值化模式與 RGB 顏色空間中紋理特征的共現(xiàn)相結(jié)合, 以表征煙霧的不同表現(xiàn)形式, 首先從候選煙霧區(qū)域中提取煙霧特征, 然后使用支持向量機(jī)基于特征進(jìn)行訓(xùn)練和分類, 以區(qū)分煙霧和非煙目標(biāo).

1.2 基于DNN 的方法

近年來(lái), 隨著深度學(xué)習(xí)的不斷發(fā)展, 通過(guò)各種神經(jīng)網(wǎng)絡(luò)提取更高級(jí)、更抽象的特征成為可能, 例如通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(convolution neural network, CNN)[7]提取特征. 因此, 越來(lái)越多的研究者致力于從深度學(xué)習(xí)的角度出發(fā)進(jìn)行煙霧檢測(cè), 促進(jìn)其在工業(yè)領(lǐng)域的應(yīng)用. 趙麗宏等[8]提出了一種基于CNN 的火災(zāi)煙霧視頻檢測(cè)算法, 該算法首先提取可疑區(qū)域的煙霧特征, 然后進(jìn)行模式分類, 最終實(shí)現(xiàn)對(duì)煙霧的檢測(cè). Gagliardi 等[9]提出了一種混合算法來(lái)識(shí)別視頻序列中的煙霧, 該算法結(jié)合了基于卡爾曼濾波和運(yùn)動(dòng)檢測(cè)的傳統(tǒng)特征檢測(cè)器, 以及CNN, 提高了視頻序列中煙霧檢測(cè)的速度和精度. Valikhujaev等[10]提出了一種基于擴(kuò)張CNN 的火災(zāi)煙霧自動(dòng)檢測(cè)方法, 該方法采用包含擴(kuò)展卷積的CNN, 具有較高的分類性能. Wu 等[11]提出了一種基于稠密光流和CNN 的兩階段視頻煙霧檢測(cè)方法, 充分利用視頻中煙霧的運(yùn)動(dòng)特點(diǎn)來(lái)提高檢測(cè)精度. Mardani 等[12]提出了基于Transformer 的視頻火災(zāi)檢測(cè)網(wǎng)絡(luò),通過(guò)計(jì)算注意力分?jǐn)?shù), 識(shí)別視頻幀中的火焰, 完成分類和檢測(cè)任務(wù), 從而進(jìn)行火災(zāi)探測(cè). Almeida 等[13]提出了一種輕量級(jí)CNN 模型用于對(duì)RGB 圖像進(jìn)行野火檢測(cè), 并實(shí)現(xiàn)了邊緣部署, 具有較強(qiáng)的應(yīng)用性. Chen 等[14]提出了一種改進(jìn)的紡織車間混合高斯和YOLOv5 煙霧檢測(cè)算法, 該算法首先采用改進(jìn)的高斯混合算法提取疑似煙霧區(qū)域, 然后在YOLOv5 網(wǎng)絡(luò)的特征金字塔結(jié)構(gòu)中加入自適應(yīng)注意力模塊, 提高多尺度目標(biāo)識(shí)別能力, 完成煙霧檢測(cè), 具有較高的檢測(cè)精度. de Venancio 等[15]提出了一種基于空間和時(shí)間的火災(zāi)探測(cè)方法, 此方法分為兩個(gè)階段, 第一階段通過(guò)基于視覺(jué)的CNN 檢測(cè)可能的火災(zāi)事件, 第二階段分析事件隨時(shí)間的動(dòng)態(tài)特征以確定是否為火災(zāi)事件, 從而降低誤報(bào)率. Wu 等[16]提出了一種基于改進(jìn)YOLOv5 的視頻火災(zāi)檢測(cè)方法, 通過(guò)在YOLOv5 的SPP (spatial pyramid pooling)模塊中引入擴(kuò)展卷積模塊, 并采用激活函數(shù)GeLU (Gaussian error linear unit)和預(yù)測(cè)邊界框抑制DIoU (distance-IoU (intersection over union))-NMS (non-maximum suppression)的方式, 提高特征提取和小目標(biāo)檢測(cè)能力, 該方法檢測(cè)速度較快, 精度較高. Yuan 等[17]提出了一種跨尺度混合注意力網(wǎng)絡(luò), 通過(guò)設(shè)計(jì)多尺度混合注意力模塊, 充分融合跨尺度的信息, 進(jìn)行煙霧圖像分割, 該網(wǎng)絡(luò)模型效果較好. Ahn 等[18]開發(fā)了一種基于計(jì)算機(jī)視覺(jué)的早期火災(zāi)探測(cè)模型, 實(shí)驗(yàn)結(jié)果表明召回率和精度較高,且檢測(cè)速度較快. Huo 等[19]提出了一種基于深度可分CNN 的多尺度目標(biāo)檢測(cè)算法, 用于圖像煙霧檢測(cè), 能更好地提取特征和增強(qiáng)目標(biāo)檢測(cè), 具有較高的準(zhǔn)確率.

基于視頻圖像的煙霧檢測(cè)有越來(lái)越多的研究, 識(shí)別的方法和種類也在不斷發(fā)展, 但面臨的挑戰(zhàn)也從未中斷. 基于傳統(tǒng)圖像特征的方法大多利用煙霧在RGB 顏色通道、HSV 色彩空間中的特性進(jìn)行檢測(cè), 但對(duì)于很多工業(yè)場(chǎng)景零照度下的紅外灰度視頻圖像, 其色彩特性無(wú)法利用, 檢測(cè)挑戰(zhàn)性高; 基于DNN 的方法大部分基于圖片對(duì)煙霧進(jìn)行識(shí)別, 難以結(jié)合煙霧在時(shí)間維度的變化信息, 檢測(cè)難度高. 當(dāng)前, 基于視頻的煙霧檢測(cè)技術(shù)仍處于發(fā)展階段, 煙霧檢測(cè)的誤檢率和漏檢率也需進(jìn)一步降低和平衡,以適應(yīng)工業(yè)應(yīng)用場(chǎng)景的需求.

2 算法介紹

針對(duì)工業(yè)場(chǎng)景的煙霧檢測(cè)算法在誤檢率和漏檢率上較高且難以平衡的問(wèn)題, 本文提出了一種基于空間域和頻率域方法的煙霧檢測(cè)算法, 算法的總體框架如圖1 所示.

圖1 基于空間域和頻率域的煙霧檢測(cè)算法框架Fig. 1 Algorithm framework of smoke detection based on spatial and frequency domains

本文所提算法采用基于空間域和頻率域的方式, 即對(duì)視頻樣本同時(shí)在空間域和頻率域進(jìn)行處理,然后融合檢測(cè)結(jié)果. 算法的具體操作: 首先, 對(duì)原始視頻幀序列進(jìn)行圖像預(yù)處理; 然后, 進(jìn)行圖像分塊處理, 得到分塊后的圖像, 在此基礎(chǔ)上, 對(duì)分塊的圖像分別在空間域和頻率域上進(jìn)行處理, 在空間域上, 分別提取煙霧的運(yùn)動(dòng)和蒙版特性, 在頻率域上, 對(duì)頻率域處理基本單位進(jìn)行三維離散傅里葉變換,再分別通過(guò)傳統(tǒng)濾波方式和深度三維卷積神經(jīng)網(wǎng)絡(luò)方式進(jìn)行煙霧檢測(cè); 最后, 在融合后處理策略部分,融合空間域和頻率域的煙霧檢測(cè)信息, 確定煙霧檢測(cè)結(jié)果.

從物理意義的角度來(lái)說(shuō), 在空間域上, 煙霧在空間域中呈現(xiàn)出像素級(jí)的運(yùn)動(dòng)和密度變化, 通過(guò)利用煙霧運(yùn)動(dòng)特性和設(shè)計(jì)煙霧蒙版特性提取方法, 能夠準(zhǔn)確地檢測(cè)出煙霧區(qū)域, 從而降低漏檢率; 在頻率域上, 隨時(shí)間變化的煙霧在頻率域中表現(xiàn)為特定頻率范圍內(nèi)的能量變化, 通過(guò)頻率域分析可以揭示煙霧在不同頻率上的特征, 這些特征與煙霧的紋理、結(jié)構(gòu)、隨時(shí)間變化的強(qiáng)度等屬性相關(guān), 通過(guò)結(jié)合濾波模塊和神經(jīng)網(wǎng)絡(luò)模塊, 進(jìn)一步降低誤檢率, 準(zhǔn)確地識(shí)別煙霧區(qū)域. 通過(guò)分析煙霧的物理意義, 利用煙霧在不同域中的物理特征, 從而實(shí)現(xiàn)高效、準(zhǔn)確的煙霧檢測(cè).

2.1 基于空間域的煙霧檢測(cè)

現(xiàn)有的基于空間域的煙霧檢測(cè)方法大部分以像素點(diǎn)為單位, 但是會(huì)存在噪聲敏感等缺陷, 這導(dǎo)致了煙霧檢測(cè)效果不理想. 為克服上述缺點(diǎn), 本文提出了基于圖像塊進(jìn)行煙霧檢測(cè)的方式, 空間域分塊示意圖如圖2 所示: 當(dāng)前圖像幀與其前 Δc個(gè)圖像幀按一定粒度劃分為圖像大塊; 將劃分的圖像大塊作為空間域處理的基本單位.

圖2 空間域分塊示意圖Fig. 2 Schematic of block division in the spatial domain

2.1.1 運(yùn)動(dòng)特性提取

在火災(zāi)發(fā)生的時(shí)候, 受熱氣流影響, 煙霧在視覺(jué)上存在隨時(shí)間動(dòng)態(tài)運(yùn)動(dòng)和擴(kuò)散的特性, 此特性反映在視頻中是隨著視頻序列的推進(jìn), 視頻幀中的像素產(chǎn)生變化. 因此, 使用良好的運(yùn)動(dòng)檢測(cè)能有效縮小檢測(cè)范圍, 獲得疑似煙霧區(qū)塊.

常見的運(yùn)動(dòng)區(qū)域檢測(cè)算法主要有3 種: 背景減除法[20]、光流法[21]和幀間差分法[22]. 背景減除法對(duì)亮度和背景變化敏感; 光流法計(jì)算量大, 算法實(shí)時(shí)性難以保證; 幀間差分法算法復(fù)雜度和計(jì)算量低, 實(shí)時(shí)性高. 因此, 本文結(jié)合煙霧運(yùn)動(dòng)特性和算法實(shí)時(shí)性要求, 采用幀間差分法提取疑似煙霧運(yùn)動(dòng)區(qū)塊. 幀間差分法利用視頻幀的時(shí)間差分來(lái)提取連續(xù)圖像序列中相鄰幾幀之間的運(yùn)動(dòng)區(qū)域. 該方法首先求得相鄰圖像幀之間所對(duì)應(yīng)的像素值之差, 得到差分后的圖像, 然后對(duì)差分圖像進(jìn)行二值化處理, 從而提取運(yùn)動(dòng)區(qū)域和背景.

Δc

本文使用基于圖像分塊的幀間差分方式, 針對(duì)當(dāng)前圖像的每個(gè)圖像大塊, 如果與前 幀的對(duì)應(yīng)圖像大塊內(nèi)像素灰度差異絕對(duì)值的均值大于閾值, 則判定此圖像塊為疑似煙霧區(qū)塊, 否則, 判定為非疑似煙霧區(qū)塊. 相應(yīng)判斷公式為

式(1)中:Hb為圖像分塊的塊高;Wb為圖像分塊的塊寬;x、y分別表示像素位置的橫坐標(biāo)和縱坐標(biāo);bij表示圖像分塊中位于第i行第j列的圖像塊;f(x,y,c) 表示在第c幀上, 坐標(biāo)為 (x,y) 的像素值;f(x,y,c-Δc) 表示在第 (c-Δc) 幀上, 坐標(biāo)為 (x,y) 的像素值;Td為判定閾值, 可根據(jù)實(shí)際部署場(chǎng)景進(jìn)行調(diào)整.

2.1.2 蒙版特性提取

在監(jiān)控視頻畫面中, 煙霧的出現(xiàn)會(huì)使其覆蓋區(qū)域變得模糊, 類似于在原始畫面上蒙上了一層灰色蒙版, 使得圖像塊中像素的灰度值整體上升或者下降, 故本文將其定義為煙霧的灰度蒙版特性. 對(duì)于視頻中實(shí)物等剛體的運(yùn)動(dòng), 由于其邊緣輪廓清晰, 不存在這樣的灰度蒙版特性. 因此, 本文利用煙霧和實(shí)物等剛體運(yùn)動(dòng)之間這樣不一致的特性, 進(jìn)一步區(qū)分運(yùn)動(dòng)物體的類別, 從而提取疑似煙霧運(yùn)動(dòng)區(qū)塊.

本文認(rèn)為, 針對(duì)當(dāng)前圖像的每個(gè)圖像大塊, 如果與前 Δc幀對(duì)應(yīng)圖像大塊內(nèi)像素灰度差異的標(biāo)準(zhǔn)差小于閾值, 則判定此圖像塊為疑似煙霧區(qū)塊, 否則, 判定為非疑似煙霧區(qū)塊. 相應(yīng)判斷公式為

式(2)中:Ts為判定閾值;為圖像中位于第i行、第j列的圖像塊中所有像素點(diǎn)的f(x,y,c)-f(x,y,c-Δc) 的均值; 其余符號(hào)含義與式 (1) 相同.

2.2 基于頻率域的煙霧檢測(cè)

早期, 頻率域技術(shù)常用于音頻等一維信號(hào)處理領(lǐng)域, 后來(lái)逐漸運(yùn)用于圖像處理領(lǐng)域, 包括圖像增強(qiáng)、去噪、特征提取等. 常見的頻率域變換方式有3 種: 傅里葉變換[23]、離散余弦變換[24]和小波變換[25].本文使用最通用和最常見的傅里葉變換方式, 即三維離散傅里葉變換. 在本文視頻數(shù)據(jù)中, 對(duì)于一個(gè)大小為M×N ×P的輸入張量, 三維離散傅里葉正變換公式為

式 (3) 中:M為視頻中幀的寬;N為視頻中幀的高;P為視頻中連續(xù)的幀數(shù);u、v、w分別為頻率域中的坐標(biāo)軸;x、y、z分別為空間域中的坐標(biāo)軸;F(u,v,w) 為在頻率域坐標(biāo) (u,v,w) 處的頻率分量;f(x,y,z) 為輸入張量在坐標(biāo) (x,y,z) 處的像素值;u=0,1,2,··· ,M -1 ;v=0,1,2,··· ,N -1 ;w=0,1,2,··· ,P -1.

公式 (3) 相應(yīng)的傅里葉逆變換公式為

式(4)中各符號(hào)含義與式 (3) 相同.

在空間域中, 本文利用煙霧運(yùn)動(dòng)和蒙版特性將視頻幀劃分為圖像塊; 在頻率域中, 本文考慮頻率屬于更為底層的特性, 從而進(jìn)一步將空間域中的圖像塊劃分為更小的塊, 并分析這些小塊中的頻率域特性.

在圖像處理中, 最常用的是使用二維離散傅里葉變換將圖像從空間域轉(zhuǎn)換到頻率域, 從另一個(gè)角度來(lái)觀察分析圖像. 但是, 此方法缺乏對(duì)煙霧變化時(shí)間維度信息的利用. 本文為提取和利用時(shí)間維度信息, 進(jìn)一步堆疊連續(xù)視頻幀, 形成三維張量, 并在此基礎(chǔ)上進(jìn)行處理. 頻率域上的分塊和連續(xù)幀堆疊示意圖如圖3 所示: 當(dāng)前圖像幀與其前連續(xù) Δc個(gè)圖像幀按一定粒度劃分圖像大塊; 將每個(gè)圖像大塊劃分為粒度更小的圖像小塊; 將圖像小塊作為頻率域處理的基本單位, 即劃分的圖像小塊的堆疊.

圖3 頻率域分塊示意圖Fig. 3 Schematic of block division in the frequency domain

圖4 為三維傅里葉變換結(jié)果: 圖4(a)、圖4(c)分別為堆疊煙霧序列中連續(xù)8 個(gè)圖像幀和堆疊相同的8 個(gè)圖像幀, 其中, 圖像大小為 (320 × 176) 像素, 按 (8 × 8) 像素分成圖像小塊, 共880 個(gè)圖像小塊; 圖4(b)、圖4(d)分別為圖4(a)和圖4(c)進(jìn)行三維傅里葉變換的頻譜結(jié)果, 其右側(cè)的色度條表示的是頻譜中各散點(diǎn)顏色所代表的顏色數(shù)值, 數(shù)值軸表示的是頻域3 個(gè)維度的坐標(biāo)軸信息. 對(duì)圖4(b)的結(jié)果進(jìn)行分析: 對(duì)于880 個(gè)三維頻譜有煙霧噴射的區(qū)域, 其在時(shí)間維度上存在變化, 因此, 頻譜中此部分w維度的亮度相對(duì)于畫面中的其他部分亮度較高, 即w維度的頻譜幅值較高, 表明此部分為時(shí)間上的高頻信息, 需要對(duì)應(yīng)w維度幅值較大的正弦波來(lái)刻畫此變化; 另外, 很明顯地, 中間層的亮度明顯高于其他層, 可以理解為沿u維度、v維度的正弦波主要用于構(gòu)成三維張量信息, 沿w維度的正弦波主要刻畫時(shí)間上的變化, 而時(shí)間上的變化相對(duì)于圖像紋理變化較弱, 因此, 對(duì)應(yīng)正弦波的幅值較低.

圖4 三維傅里葉變換結(jié)果Fig. 4 Results of 3D Fourier transform

作為對(duì)比, 圖4(d)為堆疊相同的8 個(gè)圖像幀并進(jìn)行傅里葉變換的頻譜結(jié)果. 不難發(fā)現(xiàn),w維度中間層的幅值較高, 其余層幅值為0, 這表明, 中間一層頻譜是用來(lái)刻畫這張圖像的頻率域信息的, 而其他的層則描述變化, 相同的圖像堆疊不存在變化, 因此其他層幅值為0. 這也表明三維頻譜包含了連續(xù)視頻幀時(shí)空維度的信息, 可以對(duì)其進(jìn)行進(jìn)一步利用.

下面主要介紹本文在頻率域進(jìn)行的傳統(tǒng)濾波方式和DNN 分類方式.

2.2.1 頻率域?yàn)V波

本文觀察并分析了煙霧在頻率域信息中的兩個(gè)特性: 第一, 煙霧圖像在時(shí)間維度上是變化的, 這個(gè)特性在三維頻率域上表現(xiàn)為時(shí)間維度上的高頻信息, 由此, 可以設(shè)計(jì)濾波器, 取時(shí)間維度的高頻信息, 過(guò)濾掉時(shí)間維度的低頻信息, 從而得到運(yùn)動(dòng)信息; 第二, 煙霧的出現(xiàn)會(huì)伴隨其覆蓋區(qū)域畫面整體呈現(xiàn)模糊的狀態(tài), 即區(qū)域的邊緣和細(xì)節(jié)紋理信息減少, 而邊緣和細(xì)節(jié)紋理對(duì)應(yīng)圖像中的高頻信息, 這在頻率域上表現(xiàn)為在空間維度上的低頻信息較強(qiáng), 高頻信息削減, 而實(shí)物等剛體的運(yùn)動(dòng)則為高頻信息較強(qiáng), 低頻信息較弱, 由此, 可以設(shè)計(jì)濾波器, 取空間上的高頻信息來(lái)提取實(shí)物等剛體運(yùn)動(dòng). 為得到煙霧運(yùn)動(dòng), 將上述兩部分變換回空間維度并作差, 從而得到煙霧區(qū)域.

頻率域?yàn)V波處理的流程圖如圖5 所示: 首先, 將頻率域處理的基本單位進(jìn)行三維離散傅里葉變換,將變換后的復(fù)數(shù)頻譜轉(zhuǎn)換為幅值頻譜, 再進(jìn)行中心化處理, 此頻譜越靠近頻譜中心的為低頻信息, 越遠(yuǎn)離張量中心的為高頻信息; 然后, 根據(jù)煙霧特性設(shè)計(jì)2 個(gè)三維濾波器, 分別提取頻率域信息中的運(yùn)動(dòng)部分和實(shí)物運(yùn)動(dòng)部分, 再分別進(jìn)行頻譜中心化和三維離散傅里葉逆變換; 最后, 通過(guò)圖像處理的方式, 提取煙霧區(qū)域.

圖5 頻率域?yàn)V波流程圖Fig. 5 Flowchart of filtering in the frequency domain

本文設(shè)計(jì)的第一個(gè)濾波器只保留時(shí)間維度的高頻信息, 去除時(shí)間維度的低頻信息, 即只提取圖像中所有運(yùn)動(dòng)部分. 該濾波器公式為

式 (5) 中:HI(u,v,w) 為頻率域坐標(biāo) (u,v,w) 處頻率幅值, 1 表示保留此位置頻率域信息, 0 表示去除此位置頻率域信息;TUp,w、TLow,w分別為w維度的上閾值和下閾值.

本文設(shè)計(jì)的第二個(gè)濾波器只保留時(shí)間維度和空間維度的高頻信息, 即只提取圖像中實(shí)物等剛體運(yùn)動(dòng)部分. 該濾波器公式為

式(6)中:TUp,u、TLow,u分別為u維度的上閾值和下閾值;TUp,v、TLow,v分別為v維度的上閾值和下閾值; 其余符號(hào)含義與式 (5) 相同.

為了更加直觀地表述, 本文構(gòu)建了以上2 個(gè)三維濾波器作為示例, 圖6 分別是這2 個(gè)三維濾波器的可視化散點(diǎn)圖, 其右側(cè)的色度條表示的是三維頻域率濾波器各散點(diǎn)顏色所代表的數(shù)值, 數(shù)值軸表示的是濾波器3 個(gè)維度的坐標(biāo)軸信息. 在本文的示例中, 設(shè)定0 ≤u<8,0 ≤v <8,0 ≤w <8,TLow,w,TLow,u,TLow,v=2,TUp,w,TUp,u,TUp,v=5.圖6(a)為只保留時(shí)間維度高頻信息的濾波器, 圖6 (b)為只保留時(shí)間維度和空間維度的高頻信息的濾波器. 其中,u 軸、v軸分別為圖像的寬和高的維度,w軸為時(shí)間維度, 黃色散點(diǎn)代表值為1, 即保留此位置頻率域信息, 紫色散點(diǎn)代表值為0, 即去除此位置頻率域信息. 將濾波器和頻率域張量按位相乘, 得到濾波后的頻率域張量.

圖6 三維頻域率濾波器Fig. 6 3D filter of the frequency domain

在圖像處理過(guò)程中, 處理頻率域?yàn)V波后變換回空間域的圖像幀. 首先, 分別對(duì)運(yùn)動(dòng)部分和實(shí)物等剛體部分二值化, 并對(duì)實(shí)物等剛體部分進(jìn)行膨脹; 然后將兩部分作減法運(yùn)算, 結(jié)果為負(fù)數(shù)部分置為0;最后, 為去噪和平滑煙霧輪廓, 進(jìn)行開運(yùn)算, 得到煙霧區(qū)域. 圖像處理流程圖如圖7 所示.

圖7 圖像處理流程圖Fig. 7 Flowchart of image processing

圖像處理示例如圖8 所示: 圖8(a)為經(jīng)過(guò)預(yù)處理的原圖像幀, 其中存在煙霧區(qū)域和發(fā)煙器繩子晃動(dòng); 圖8(b)為二值化后的所有運(yùn)動(dòng)部分; 圖8(c)為經(jīng)過(guò)二值化和膨脹后的實(shí)物運(yùn)動(dòng)部分; 圖8(d)為煙霧區(qū)域結(jié)果. 可以看到, 濾波后較為準(zhǔn)確地提取了所有運(yùn)動(dòng)區(qū)域以及實(shí)物等剛體運(yùn)動(dòng)區(qū)域; 通過(guò)圖像處理技術(shù), 可得到煙霧區(qū)域, 減少了誤檢的發(fā)生.

圖8 圖像處理示例Fig. 8 Examples of image processing

2.2.2 三維CNN 分類

三維CNN[26]能夠更好地提取三維數(shù)據(jù)的特性. 由此, 本文設(shè)計(jì)了三維CNN 來(lái)提取三維頻譜數(shù)據(jù)的特征. 三維CNN 的輸入特征圖尺寸通常為N×C×D×H ×W, 其中,N表示批大小,C表示通道數(shù),D、H、W分別為輸入特征張量的深度、高度和寬度.

本文使用PyTorch 深度學(xué)習(xí)框架構(gòu)建三維CNN 模型, 簡(jiǎn)稱為SmokeNet. 該模型用于煙霧檢測(cè),接受上述傅里葉變換后的頻譜張量為輸入, 輸出一個(gè)二元分類結(jié)果, 表示輸入的張量是否包含煙霧.該模型包含兩個(gè)主要部分: 特征提取部分和分類器部分. 特征提取部分由卷積層、批量歸一化層、激活函數(shù)層和隨機(jī)失活層組成, 用于提取輸入數(shù)據(jù)的特征; 分類器部分由一個(gè)全連接層組成, 用于將特征映射到二元分類結(jié)果. 模型網(wǎng)絡(luò)結(jié)構(gòu)如圖9 所示. 其中, 3D tensor 表示輸入網(wǎng)絡(luò)的三維張量,Conv3d 表示三維卷積層,k表示卷積核大小,s表示步幅大小,p表示填充大小, BatchNorm3d 表示三維歸一化層, ReLU 表示修正線性單元激活函數(shù), Dropout 表示隨機(jī)失活層, Linear 表示全連接層,Result 表示二分類結(jié)果.

圖9 三維CNN SmokeNet 結(jié)構(gòu)Fig. 9 3D CNN SmokeNet structure

2.3 融合后處理策略

融合后處理策略部分的作用是融合空間域和頻率域的檢測(cè)結(jié)果, 得到煙霧檢測(cè)的最終結(jié)果. 引入3 個(gè)閾值, 確定后處理策略, 從而降低煙霧檢測(cè)的誤檢率.

算法偽代碼見算法1. 其中,λ1用于確定某一煙霧大塊是否為煙霧區(qū)塊, 若此圖像大塊中有煙小塊的占比大于λ1, 則判定此大塊為煙霧區(qū)塊, 否則, 為非煙霧區(qū)塊;λ2用于確定某一視頻幀是否為煙霧視頻幀, 若此視頻幀中煙霧大塊的占比大于λ2, 則判定此視頻幀為煙霧視頻幀, 否則, 為非煙霧視頻幀;λ3用于判定視頻樣本是否為煙霧樣本, 若此視頻樣本中有煙視頻幀的占比大于λ3, 則判定此視頻樣本為煙霧樣本, 否則, 為非煙霧樣本.

算法1 基于空間域和頻率域的煙霧檢測(cè)算法輸入: 一段1 ～ 2 s 的煙霧視頻輸出: 視頻樣本中是否包含煙霧1: 對(duì)視頻幀預(yù)處理Δc 2: 對(duì)視頻幀分小塊并連續(xù)堆疊 幀, 形成三維張量, 將張量轉(zhuǎn)換到頻率域3: 在頻率域?yàn)V波處理并轉(zhuǎn)換到圖像域, 判定圖像小塊是否為有煙小塊4: DNN 判斷小塊所處三維張量是否為有煙張量, 并以此判定圖像小塊是否為有煙小塊5: 變量初始化：sum = 0, sumBig = 0, count = 0, countBig = 0 6: ForEach 視頻圖像幀 do 7: sum++8: 對(duì)此幀分圖像大塊9: ForEach 圖像大塊 do 10: sumBig++11: 計(jì)算每塊與其前幀對(duì)應(yīng)圖像大塊的差分和標(biāo)準(zhǔn)差12: If 差分滿足2.1.1 節(jié)疑似煙霧判定&&標(biāo)準(zhǔn)差滿足2.1.2 節(jié)疑似煙霧判定 do 13: 對(duì)此圖像大塊分小塊, sumSmall = 0, countSmall = 0 14: ForEach 圖像小塊 do 15: sumSmall++16: If 圖像小塊在行3 中判定為有煙小塊 &&在行4 中判定為有煙小塊 do 17: countSmall++18: End if λ1 19: If countSmall /sumSmall> do 20: 確定此圖像大塊為煙霧區(qū)塊21: countBig++22: End if 23: End if λ2 24: If countBig / sumBig > do 25: 確定此圖像幀為存在煙霧圖像幀26: count++27: End if λ3 28: If count /sum > do 29: 返回此視頻樣本中包含煙霧30: Else do 31: 返回此視頻樣本中不包含煙霧32: End if

3 實(shí) 驗(yàn)

3.1 數(shù)據(jù)集采集和標(biāo)注

3.1.1 數(shù)據(jù)集搜集和采集

本文實(shí)驗(yàn)所使用的數(shù)據(jù)集包含3 個(gè)部分, 分別為模擬變電站場(chǎng)景的煙霧數(shù)據(jù)集、中國(guó)科學(xué)技術(shù)大學(xué)火災(zāi)科學(xué)國(guó)家實(shí)驗(yàn)室的公開煙霧數(shù)據(jù)集、互聯(lián)網(wǎng)上搜集的數(shù)據(jù). 實(shí)驗(yàn)數(shù)據(jù)集來(lái)源多樣, 發(fā)煙方式較多, 具有較強(qiáng)的普遍性.

1) 模擬變電站場(chǎng)景的煙霧數(shù)據(jù)集

由于變電站不允許煙火實(shí)驗(yàn), 因此理想的實(shí)驗(yàn)數(shù)據(jù)較難獲取. 本文針對(duì)變電站典型場(chǎng)景采集數(shù)據(jù)集, 使用紅外補(bǔ)光攝像頭, 發(fā)煙方式包括發(fā)煙器發(fā)煙、電烙鐵發(fā)煙、燃燒艾條、燃燒碎紙、抽煙等5 種,并包含不同的攝像頭角度和煙霧濃度; 采集視頻為122 個(gè)有煙視頻和135 個(gè)無(wú)煙視頻.

2) 中國(guó)科學(xué)技術(shù)大學(xué)火災(zāi)科學(xué)國(guó)家實(shí)驗(yàn)室的煙霧數(shù)據(jù)集[27]

中國(guó)科學(xué)技術(shù)大學(xué)火災(zāi)科學(xué)國(guó)家實(shí)驗(yàn)室的煙霧數(shù)據(jù)集分別包含3 個(gè)有煙視頻和無(wú)煙視頻.

3) 互聯(lián)網(wǎng)上搜集的數(shù)據(jù)

本文以與“煙霧”相關(guān)的詞語(yǔ)為關(guān)鍵詞在互聯(lián)網(wǎng)上搜集相關(guān)視頻數(shù)據(jù), 共搜集到煙霧視頻32 個(gè),場(chǎng)景包括車間、室內(nèi)、變電站等.

圖10 為本文部分?jǐn)?shù)據(jù)樣本實(shí)例: 圖10(a)為模擬變電站場(chǎng)景的煙霧數(shù)據(jù)集中的數(shù)據(jù), 發(fā)煙方式為煙機(jī)發(fā)煙, 攝像頭錄制角度較低; 圖10(b)為模擬變電站場(chǎng)景的煙霧數(shù)據(jù)集中的數(shù)據(jù), 發(fā)煙方式為燃燒碎紙, 攝像頭錄制角度較高; 圖10(c)為中國(guó)科學(xué)技術(shù)大學(xué)火災(zāi)科學(xué)國(guó)家實(shí)驗(yàn)室煙霧數(shù)據(jù)集中的數(shù)據(jù),畫面包含人物移動(dòng)和起火過(guò)程中產(chǎn)生的煙霧; 圖10(d)為互聯(lián)網(wǎng)上搜集的數(shù)據(jù), 畫面包含電器燃燒過(guò)程中產(chǎn)生的煙霧.

圖10 采集數(shù)據(jù)示例Fig. 10 Examples of data collected

3.1.2 數(shù)據(jù)預(yù)處理

本文對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注和預(yù)處理, 然后在此基礎(chǔ)上進(jìn)行實(shí)驗(yàn).

在數(shù)據(jù)預(yù)處理階段, 首先對(duì)數(shù)據(jù)進(jìn)行清洗, 刪除包含壞幀、攝像頭移動(dòng)、鏡頭變焦等片段的臟數(shù)據(jù), 并且將視頻劃分成1 ～ 2 s 的視頻片段, 共得到正樣本片段400 個(gè), 負(fù)樣本片段380 個(gè), 并按6∶2∶2 的比例隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集.

在數(shù)據(jù)標(biāo)注階段, 根據(jù)視頻片段中是否有煙來(lái)確定正/負(fù)樣本, 即視頻片段中有煙為正樣本, 無(wú)煙為負(fù)樣本. 另外, 為訓(xùn)練2.2.2 節(jié)所述的DNN, 使用CVAT (computer vision annotation tool) 標(biāo)注工具對(duì)數(shù)據(jù)預(yù)處理后的視頻幀進(jìn)行標(biāo)注, 標(biāo)注采用多邊形語(yǔ)義分割的方式.

3.2 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)的服務(wù)器配置和環(huán)境: CPU 為12th Gen Intel(R) Core(TM) i7-12700; GPU 為RTX3080; 顯存大小12 GB; 內(nèi)存大小128 GB; NPU 為瑞芯微RK3588; 操作系統(tǒng)為L(zhǎng)inux; 編程語(yǔ)言Python; 所采用的深度學(xué)習(xí)框架PyTorch.

3.3 算法評(píng)價(jià)指標(biāo)

本文用于算法評(píng)價(jià)的標(biāo)準(zhǔn)為誤檢率和漏檢率.

(1) 誤檢率: 定義為在真實(shí)所有負(fù)樣本中, 被錯(cuò)誤預(yù)測(cè)為正樣本的比例, 亦稱為假陽(yáng)性率, 用RFP表示. 其計(jì)算公式為

式(7)中:NFP為負(fù)樣本預(yù)測(cè)為正樣本的數(shù)量;NTN為負(fù)樣本預(yù)測(cè)為負(fù)樣本的數(shù)量.

(2) 漏檢率: 定義為在真實(shí)所有正樣本中, 被錯(cuò)誤預(yù)測(cè)為負(fù)樣本的比例, 用RFN表示. 其計(jì)算公式為

式(8)中:NFN為正樣本預(yù)測(cè)為負(fù)樣本的數(shù)量;NTP為正樣本預(yù)測(cè)為正樣本的數(shù)量.

3.4 實(shí)驗(yàn)參數(shù)配置

3.4.1 基于空間域檢測(cè)的參數(shù)配置

在2.1.1 節(jié)的煙霧運(yùn)動(dòng)特性提取中,Hb、Wb均為80, Δc為8,Td為2.3; 在2.1.2 節(jié)的煙霧蒙版特性提取中,Ts為6.4.

3.4.2 基于頻率域檢測(cè)的參數(shù)配置

在2.2.1 節(jié)的濾波器設(shè)置中, 設(shè)置 0 ≤u<8 , 0 ≤v <8 , 0 ≤w <8 ,TLow,w,TLow,u,TLow,v=1,TUp,w,TUp,u,TUp,v=6;在2.2.2 節(jié)的神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中, 設(shè)優(yōu)化函數(shù)為Adam, 學(xué)習(xí)率為1.0 × 10–5,batch size 設(shè)為256, epoch 設(shè)為50.

3.4.3 融合后處理的參數(shù)配置

在2.3 節(jié)融合后處理設(shè)置中,λ1設(shè)為0.04,λ2設(shè)為0.03,λ3設(shè)為0.12.

3.5 實(shí)驗(yàn)結(jié)果分析

3.5.1 參數(shù)選擇實(shí)驗(yàn)

在三維CNN 分類的實(shí)驗(yàn)中, 分塊部分全為人工標(biāo)注的煙霧部分才確定為分類正樣本, 否則, 為分類負(fù)樣本. 由此進(jìn)行訓(xùn)練, 并通過(guò)驗(yàn)證集表現(xiàn)調(diào)整學(xué)習(xí)率、優(yōu)化函數(shù)等超參數(shù), 最終在驗(yàn)證集上的準(zhǔn)確率為0.93.

在融合后處理閾值的選取上, 對(duì)于λ1、λ2、λ3這3 個(gè)閾值, 由于λ1、λ2的選擇較為固定, 因此, 本文對(duì)λ3的選擇進(jìn)行實(shí)驗(yàn), 以獲取更好的閾值. 接收者操作特征曲線也稱ROC (receiver operating characteristic) 曲線, 是一種坐標(biāo)圖式的分析工具, 可以通過(guò)變化閾值繪制曲線, 從而在算法中設(shè)置最佳閾值. 本文在驗(yàn)證集上, 對(duì)不同的λ3數(shù)值進(jìn)行選擇并計(jì)算真陽(yáng)性率 (RTP) 和假陽(yáng)性率 (RFP) , 繪制關(guān)于λ2閾值的ROC 曲線, 如圖11 所示. 其中, 縱軸真陽(yáng)性率RTP亦為召回率, 定義為在真實(shí)所有正樣本中, 被正確預(yù)測(cè)為正樣本的比例,RTP=NTP/(NTP+NFN); 橫軸RFP是假陽(yáng)性率, 也就是評(píng)價(jià)指標(biāo)的誤檢率; 綠色曲線為ROC 曲線; 紅色虛線為完全隨機(jī)(random chance)的分類曲線. 圖11 中, 一個(gè)點(diǎn)越接近左上角, 說(shuō)明此參數(shù)下算法的預(yù)測(cè)效果越好. 因此, 本文選取ROC 曲線最接近左上角的點(diǎn)所對(duì)應(yīng)的閾值作為λ3的閾值, 為0.12.

圖11 ROC 曲線Fig. 11 ROC curve

3.5.2 消融實(shí)驗(yàn)

本文在上述數(shù)據(jù)集上, 對(duì)算法的不同部分進(jìn)行了實(shí)驗(yàn), 表1 展示了各部分的實(shí)驗(yàn)結(jié)果. 由表1 可以看到, 本文算法(基線算法 + 蒙版特性 + 頻域?yàn)V波 + 三維神經(jīng)網(wǎng)絡(luò))在給定的數(shù)據(jù)集上取得了較好的結(jié)果, 其誤檢率為0.053, 漏檢率為 0.113. 基線算法表示僅使用煙霧運(yùn)動(dòng)特性的方法. 在基線算法上增加煙霧蒙版特性模塊, 漏檢率無(wú)明顯增加, 誤檢率小幅降低; 進(jìn)一步加入頻率域?yàn)V波模塊后, 相較于使用基線算法 + 蒙版特性方法, 雖然漏檢率上升了0.063, 但誤檢率大幅降低了0.605; 此外, 通過(guò)增加三維神經(jīng)網(wǎng)絡(luò)分類模塊, 誤檢率進(jìn)一步降低了 0.013.

表1 不同模塊的實(shí)驗(yàn)結(jié)果Tab. 1 Results of different modules

因此, 提取煙霧的運(yùn)動(dòng)和蒙版特性, 能夠獲得較低的漏檢率, 并且融合頻率域進(jìn)行煙霧檢測(cè), 能夠在漏檢率小幅上升的條件下, 大幅降低煙霧誤檢率, 算法最終達(dá)到漏檢率和誤檢率的平衡, 能夠有效提升變電站等工業(yè)場(chǎng)景下煙霧檢測(cè)的性能.

3.5.3 對(duì)比實(shí)驗(yàn)

表2 列出了本文算法與文獻(xiàn)[4] 基于小波變換的煙霧檢測(cè)算法、文獻(xiàn)[5] 基于紋理分析的煙霧檢測(cè)算法、文獻(xiàn)[16] 基于改進(jìn)YOLOv5 的煙霧檢測(cè)算法關(guān)于煙霧檢測(cè)的誤檢率和漏檢率的對(duì)比結(jié)果.

表2 誤檢率和漏檢率對(duì)比實(shí)驗(yàn)結(jié)果Tab. 2 Results of false and missed detection rate comparison experiment

由表2 可知, 本文算法的誤檢率和漏檢率均低于基于小波變換的煙霧檢測(cè)算法, 基于小波變換的煙霧檢測(cè)算法對(duì)復(fù)雜背景或畫面中存在運(yùn)動(dòng)物體情況的誤檢率較高, 且煙霧漏檢率較高, 對(duì)較薄的煙霧易產(chǎn)生漏檢的情況, 而本文算法可以排除實(shí)物等剛體運(yùn)動(dòng)的干擾, 具有非常低的誤檢率, 并且通過(guò)煙霧運(yùn)動(dòng)和蒙版特性提取維持低漏檢率. 基于紋理分析的煙霧檢測(cè)算法使用灰度共生矩陣和分塊的方式, 漏檢率較低, 但是其誤檢率較高, 為0.092, 容易將與煙霧紋理特征相似的物體誤檢為煙霧, 這樣的誤檢率難以匹配工業(yè)場(chǎng)景的應(yīng)用要求, 而本文算法的誤檢率僅為0.053, 相比基于紋理分析的煙霧檢測(cè)算法低了近4 個(gè)百分點(diǎn), 并且漏檢率相對(duì)較低, 為0.113. 基于改進(jìn)YOLOv5 的煙霧檢測(cè)算法對(duì)YOLOv5 目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行了改進(jìn), 誤檢率較低, 為0.079, 但是其漏檢率較高, 為0.173, 分析原因是此方法基于圖像信息, 無(wú)法利用煙霧的運(yùn)動(dòng)特性識(shí)別煙霧, 導(dǎo)致早期的淡煙易存在漏檢情況, 而本文算法的誤檢率和漏檢率都較低.

與現(xiàn)有的算法相比, 本文算法在性能上做到了誤檢率和漏檢率的平衡, 在保證非常低誤檢率的基礎(chǔ)上, 具有較低的漏檢率, 性能較好. 為了驗(yàn)證本文算法的效率, 本文進(jìn)一步做了效率的對(duì)比實(shí)驗(yàn), 即單張圖片在GPU、CPU、NPU 上的平均推理時(shí)間. 實(shí)驗(yàn)在3.2 節(jié)中提到的實(shí)驗(yàn)平臺(tái)上進(jìn)行, 實(shí)驗(yàn)結(jié)果如表3 所示.

表3 效率實(shí)驗(yàn)結(jié)果Tab. 3 Results of efficiency comparison experiment

由表3 可知, 本文算法的單張圖片推理時(shí)間在GPU、CPU、NPU 上分別為48 ms、161 ms 和65 ms,相比于未使用深度學(xué)習(xí)的基于小波變換的煙霧檢測(cè)算法和基于紋理分析的煙霧檢測(cè)算法推理速度較慢; 但是, 本文算法在誤檢率和漏檢率上的綜合表現(xiàn)相比于這兩種算法要好很多; 而相比于在誤檢率上表現(xiàn)較好的基于改進(jìn)YOLOv5 的煙霧檢測(cè)算法, 本文算法的效率明顯優(yōu)于基于改進(jìn)YOLOv5 的煙霧檢測(cè)算法, 有較高的效率. 因此, 本文所提算法做到了性能和效率上的平衡, 能夠?qū)熿F及時(shí)做出檢測(cè)和響應(yīng), 作為服務(wù)于應(yīng)急災(zāi)害的一種手段, 適用于變電站等實(shí)際工業(yè)場(chǎng)景環(huán)境的環(huán)境輔控.

3.5.4 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)結(jié)果展示如圖12 所示: 在行a 圖像、行b 圖像的數(shù)據(jù)中, 存在較少實(shí)物等剛體運(yùn)動(dòng); 在行c 圖像、行d 圖像的數(shù)據(jù)中, 同時(shí)存在煙霧和實(shí)物等剛體運(yùn)動(dòng), 行c 圖像為晃動(dòng)的煙機(jī)線, 行d 圖像為走動(dòng)的人物; 列A 為原始幀經(jīng)過(guò)預(yù)處理后的視頻幀; 列B 中標(biāo)為紅色區(qū)塊的為符合煙霧運(yùn)動(dòng)特性的煙霧大塊; 列C 標(biāo)為綠色區(qū)塊的為符合煙霧運(yùn)動(dòng)和蒙版特性的煙霧大塊; 列D 中標(biāo)為藍(lán)色區(qū)塊的為頻率域處理判定為煙霧的圖像大塊; 列E 為算法最終檢測(cè)出視頻幀中的煙霧區(qū)塊.

圖12 煙霧檢測(cè)結(jié)果示例Fig. 12 Examples of smoke detection results

從圖12 所示的結(jié)果中可以看出, 本文算法在煙霧運(yùn)動(dòng)特性和蒙版特性提取模塊中, 對(duì)煙霧的檢測(cè)存在較低的漏檢率, 在進(jìn)行頻率域處理后, 有效地去除了實(shí)物等剛體運(yùn)動(dòng), 如煙機(jī)的線、行走的人等, 保證了算法具有很低的誤檢率. 因此, 本文算法雖然將少部分有煙區(qū)塊判定為無(wú)煙區(qū)塊, 但是所有檢測(cè)為有煙的區(qū)塊都為真實(shí)有煙區(qū)塊, 即能夠保證非常低的誤檢率, 同時(shí), 具有較低的漏檢率, 符合變電站等工業(yè)場(chǎng)景算法應(yīng)用的需求.

4 結(jié) 論

基于變電站等工業(yè)場(chǎng)景, 本文基于空間域和頻率域方法, 提出了一種新的煙霧檢測(cè)算法. 在空間域上, 提取煙霧的運(yùn)動(dòng)和蒙版特性, 保證了較低的漏檢率; 在頻率域上, 分別通過(guò)傳統(tǒng)濾波和DNN 的方式, 有效降低了誤檢率, 并且, 通過(guò)融合后處理策略結(jié)合空間域和頻率域的中間結(jié)果, 得到煙霧檢測(cè)最終結(jié)果. 實(shí)驗(yàn)證明, 本文提出的算法能夠較好地平衡誤檢率和漏檢率, 能夠作為環(huán)境輔控手段, 進(jìn)一步提升變電站等工業(yè)場(chǎng)景的安全性.