雷景生, 楊忠光

(上海電力大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 上海 200082)

近年來,隨著智能電網(wǎng)的提出及快速發(fā)展,無人值守或少人值守變電站在一定程度上決定了電網(wǎng)的智能化發(fā)展,而變電站場景下的運(yùn)動目標(biāo)檢測和跟蹤技術(shù)是實(shí)現(xiàn)變電站無人值守或少人值守的必要條件[1]。通過對變電站場景內(nèi)移動目標(biāo)(例如人員、動物或者車輛等)的自動檢測和跟蹤,可以解決當(dāng)前變電站內(nèi)存在的安全隱患[2],同時(shí)也能快速準(zhǔn)確地檢測出變電站由移動目標(biāo)的非法侵入、無意進(jìn)入警戒區(qū)域或禁止區(qū)域以及未穿著安全服造成的安全問題,提高變電站的自動識別水平并進(jìn)行實(shí)時(shí)預(yù)警,極大地降低了監(jiān)控人員的工作量,為電力系統(tǒng)安全提供了充分的保障。在目標(biāo)跟蹤問題中,算法需要根據(jù)每一幀圖像中目標(biāo)的檢測結(jié)果,匹配已有的目標(biāo)軌跡;對于新出現(xiàn)的目標(biāo),需要生成新的目標(biāo);對于已經(jīng)離開攝像機(jī)視野的目標(biāo),需要終止軌跡的跟蹤。

文獻(xiàn)[3]采用Siamese對稱卷積網(wǎng)絡(luò)訓(xùn)練并計(jì)算兩個(gè)輸入圖像的匹配程度,通過基于梯度下降提升算法的分類器將目標(biāo)的運(yùn)動信息與相似度相融合,最后利用線性規(guī)劃優(yōu)化算法得到多目標(biāo)跟蹤結(jié)果。文獻(xiàn)[4]針對多目標(biāo)跟蹤中的互相遮擋問題,提出了基于時(shí)間空間關(guān)注模型(Spatial-Temporal Attention Mechanism,STAM)用于學(xué)習(xí)遮擋情況,并判別可能出現(xiàn)的干擾目標(biāo)。文獻(xiàn)[5]設(shè)計(jì)了基于長短期記憶循環(huán)網(wǎng)絡(luò)模型的特征融合算法來學(xué)習(xí)目標(biāo)歷史軌跡信息與當(dāng)前檢測之間的匹配相似度。文獻(xiàn)[6]提出卷積網(wǎng)絡(luò)遞歸訓(xùn)練跟蹤方法(Sequentially Training Convolutional Tracking,STCT),將卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)看成一個(gè)整體,每個(gè)通道的卷積層被看作一個(gè)基學(xué)習(xí)器,通過新的loss獨(dú)立更新,將在線跟蹤轉(zhuǎn)化成了每個(gè)整體中的前景背景分割問題。文獻(xiàn)[7]提出了一種基于非稀疏線性表示的視覺跟蹤器,以在線方式學(xué)習(xí)馬氏距離度量,并將學(xué)習(xí)到的度量合并到優(yōu)化問題中獲得線性表示。

綜上所述,目前多目標(biāo)跟蹤算法主要是融合多種信息,如目標(biāo)的運(yùn)動信息、外觀信息,以及交互信息等來對跟蹤目標(biāo)進(jìn)行跟丟的再識別。本文算法也采用這一思路,以融合變電站內(nèi)移動目標(biāo)的運(yùn)動及表觀信息的方式來實(shí)現(xiàn)對目標(biāo)的跟蹤。

針對變電站中可能出現(xiàn)的遮擋問題,本文提出了一種融合度量學(xué)習(xí)與卡爾曼濾波[8]的變電站內(nèi)目標(biāo)跟蹤方法。該方法首先采用融合多尺度特征的實(shí)時(shí)目標(biāo)檢測算法YOLOv3(You Only Look Once,YOLO)[9]對變電站內(nèi)運(yùn)動目標(biāo)進(jìn)行檢測,然后結(jié)合目標(biāo)的運(yùn)動信息和外觀信息實(shí)現(xiàn)對運(yùn)動目標(biāo)的跟蹤。實(shí)驗(yàn)證明,該方法準(zhǔn)確率高,且能滿足變電站應(yīng)用場景下的魯棒性和實(shí)時(shí)性要求。

1 算法描述

變電站運(yùn)動目標(biāo)跟蹤算法流程如圖1所示。

圖1 變電站運(yùn)動目標(biāo)跟蹤算法流程

首先,對輸入的實(shí)時(shí)視頻幀信號進(jìn)行簡單的預(yù)處理,再通過融合多尺度特征的實(shí)時(shí)目標(biāo)檢測算法YOLOv3對變電站內(nèi)運(yùn)動目標(biāo)進(jìn)行檢測,從而得到視頻序列中目標(biāo)的檢測框,并建立與其對應(yīng)的跟蹤列表。同時(shí)采用預(yù)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)檢測框內(nèi)的外觀特征信息,計(jì)算當(dāng)前目標(biāo)外觀特征信息與之前幀目標(biāo)的平均外觀特征信息的余弦距離。然后,采用卡爾曼濾波算法對檢測到的運(yùn)動目標(biāo)進(jìn)行軌跡預(yù)測,用馬氏距離來表示目標(biāo)的預(yù)測狀態(tài)與目前狀態(tài)之間的運(yùn)動匹配程度。最后,通過匈牙利算法對之前的運(yùn)動軌跡和當(dāng)前檢測對象進(jìn)行匹配,形成目標(biāo)的運(yùn)動軌跡。針對遮擋問題,本文設(shè)定了幀時(shí)間的閾值,該閾值的意思是若當(dāng)前幀時(shí)間與目標(biāo)在上一次成功匹配到的幀時(shí)間之差大于閾值的話,就認(rèn)為目標(biāo)的軌跡終止,在后續(xù)的跟蹤中刪除目標(biāo)軌跡,如果小于的話就認(rèn)為該目標(biāo)軌跡沒有丟失。

2 變電站運(yùn)動目標(biāo)檢測

在變電站場景中,由于攝像機(jī)的安裝高度較高,并且需要實(shí)時(shí)監(jiān)控變電站內(nèi)運(yùn)動目標(biāo)來保證站內(nèi)人員及財(cái)產(chǎn)的安全,所以需要采用實(shí)時(shí)性與檢測小目標(biāo)效果比較好的檢測算法。為了提升目標(biāo)檢測定位與分類精度,YOLOv3算法融合了多尺度特征,設(shè)計(jì)了更深的卷積神經(jīng)網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò),一共有53個(gè)卷積層,命名為Darknet-53。YOLOv3模型結(jié)構(gòu)如圖2所示,主要由Darknet-53特征提取網(wǎng)絡(luò)、多尺度融合特征網(wǎng)絡(luò)構(gòu)成。y1,y2,y3代表YOLOv3在3種不同尺度特征圖的輸出、輸出目標(biāo)位置和類別。Darknet-53主要由53個(gè)卷積層構(gòu)成,大量地采用3×3和1×1的卷積核,同時(shí)借鑒深度殘差網(wǎng)絡(luò)(ResNet)的設(shè)計(jì)思想,在卷積層間構(gòu)建殘差模塊并設(shè)置跳躍連接。具體結(jié)構(gòu)如圖3所示。

圖2 YOLOv3模型結(jié)構(gòu)

YOLOv3采用3種不同尺度的預(yù)測結(jié)果,對于輸入的變電站實(shí)時(shí)視頻圖像信息,例如輸入416×416的圖像信息,基礎(chǔ)特征圖尺度為13×13×N,通過上采樣得到26×26×N的特征圖,將它與前一卷積層輸出融合得到第2個(gè)尺度特征圖26×26×M;之后采用相同的方法得到第3個(gè)尺度特征圖52×52×W;在每個(gè)特征圖上預(yù)測由檢測框、目標(biāo)評分、類別預(yù)測3種信息編碼的3d張量。檢測時(shí)采用9個(gè)聚類獲得的先驗(yàn)框輔助進(jìn)行坐標(biāo)的預(yù)測,并將這9個(gè)先驗(yàn)框分為3組應(yīng)用在3個(gè)不同尺度的特征圖中,使得每個(gè)尺度特征圖預(yù)測3組信息,最后采用邏輯回歸的方式對每個(gè)檢測框的預(yù)測目標(biāo)打分。

3 變電站運(yùn)動目標(biāo)跟蹤

本文基于YOLOv3檢測到目標(biāo)的坐標(biāo)信息(x,y,w,h)以及圖像中的目標(biāo)檢測框信息,采用卡爾曼濾波對檢測到的運(yùn)動目標(biāo)進(jìn)行軌跡預(yù)測,應(yīng)用度量學(xué)習(xí)將預(yù)測軌跡與目標(biāo)運(yùn)動軌跡進(jìn)行匹配,結(jié)合通過檢測提取到的目標(biāo)表觀特征信息,實(shí)現(xiàn)對變電站內(nèi)運(yùn)動目標(biāo)的跟蹤。

3.1 卡爾曼濾波器預(yù)測過程

選取變電站內(nèi)的運(yùn)動目標(biāo)作為跟蹤對象,以檢測框底邊中點(diǎn)(dx(k),dy(k))作為跟蹤的特征點(diǎn),同時(shí)選取檢測框的長度w和高度h作為另兩個(gè)特征變量,共同構(gòu)成一個(gè)四維狀態(tài)變量,進(jìn)而利用卡爾曼濾波算法的工作流程預(yù)測底邊中點(diǎn)和檢測框的長度w和高度h這個(gè)四維狀態(tài)變量?？柭鼮V波的工作過程如圖4所示。

圖4中:X′k-1為歷史狀態(tài)變量值;X′k,k-1為狀態(tài)變量預(yù)測值;Pk為歷史狀態(tài)變量值的協(xié)方差;Pk,k-1為狀態(tài)變量預(yù)測值的協(xié)方差;A和B為狀態(tài)估計(jì)矩陣;H為觀測矩陣;Q和R分別為其協(xié)方差矩陣;uk為c維向量;Zk為下一時(shí)刻的狀態(tài)觀測量。

圖4 卡爾曼濾波工作流程

具體步驟如下。

步驟1 對模型進(jìn)行初始化。假設(shè)輸入控制的c維向量uk的誤差是方差為1的高斯白噪聲,協(xié)方差矩陣Q和R及A和H是對角線為1的單位陣,模型中位置的初始值為目標(biāo)初始檢測框底邊中點(diǎn)坐標(biāo)(dx(k),dy(k)),檢測框長度w和高度h的初始值為目標(biāo)初始檢測框的長度和高度,速度變量初始值為零。

步驟2 狀態(tài)與目標(biāo)位置預(yù)測。計(jì)算狀態(tài)變量和誤差協(xié)方差,同時(shí)用觀測值對預(yù)測值進(jìn)行調(diào)整,得出最優(yōu)觀測值。

步驟3 狀態(tài)更新。更新狀態(tài)變量,然后回到步驟2,開始下一次的目標(biāo)位置預(yù)測。

3.2 度量學(xué)習(xí)

本文將視頻前后幀檢測到的目標(biāo)看成兩個(gè)獨(dú)立的對象,采用度量學(xué)習(xí)的方法,結(jié)合運(yùn)動信息和外觀信息計(jì)算前后幀兩個(gè)獨(dú)立對象的關(guān)聯(lián)程度,同時(shí)引入權(quán)重系數(shù)κ且設(shè)定閾值,從而實(shí)現(xiàn)對變電站內(nèi)運(yùn)動目標(biāo)的跟蹤。

3.2.1 運(yùn)動信息

考慮到當(dāng)前幀的檢測目標(biāo)狀態(tài)是由四維狀態(tài)變量構(gòu)成,因此本文采用馬氏距離來對當(dāng)前幀的檢測目標(biāo)和歷史目標(biāo)軌跡進(jìn)行相似度度量。

本文是要計(jì)算第i幀檢測到的目標(biāo)與第i-1幀目標(biāo)在卡爾曼濾波器預(yù)測目標(biāo)的馬氏距離M(i-1,i),即

(1)

式中:ti——第i幀檢測到的目標(biāo)狀態(tài)(dx(k),dy(k),w,h);

gi-1——第i-1幀目標(biāo)軌跡在第i幀的預(yù)測觀測量;

Si-1——目標(biāo)軌跡由卡爾曼濾波器預(yù)測得到的在第i幀時(shí)觀測空間的協(xié)方差矩陣。

由于視頻幀中的運(yùn)動是連續(xù)的,故可以采用馬氏距離M(i-1,i)對檢測到的目標(biāo)進(jìn)行篩選,設(shè)定3.08作為篩選的閾值,filter為篩選函數(shù)。

a(i-1,i)=

(2)

3.2.2 外觀信息

變電站內(nèi)電氣設(shè)備眾多,若單獨(dú)采用馬氏距離進(jìn)行度量匹配的話,不能解決站內(nèi)出現(xiàn)的遮擋問題,此時(shí)就需要依靠外觀信息進(jìn)行補(bǔ)救。對于每幀檢測到的目標(biāo)檢測框,我們利用深度卷積神經(jīng)網(wǎng)絡(luò)提取出檢測框中的特征向量來代表外觀信息,然后使用余弦距離作為度量函數(shù)。

余弦距離的表示方法為

(3)

式中:A,B——屬性向量。

本文采用特征提取的網(wǎng)絡(luò)是深度卷積神經(jīng)網(wǎng)絡(luò),以變電站人員為例提前在一個(gè)大規(guī)模的行人數(shù)據(jù)集上預(yù)訓(xùn)練得到了外觀模型,輸出256維的特征向量ri,網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

(4)

余弦距離為

(5)

同理,余弦距離度量同樣需要設(shè)定一個(gè)閾值t,此閾值通過訓(xùn)練得到,當(dāng)兩者的余弦距離小于特定閾值t,則表示兩者關(guān)聯(lián)成功,即

c(k,i)=filter{cos dis(k,i)≤t}

(6)

3.2.3 融合度量學(xué)習(xí)

采用融合度量學(xué)習(xí)的方法,設(shè)置權(quán)重系數(shù)κ,對兩種度量方式進(jìn)行加權(quán)平均,即

u=κa(i-1,i)+(1-κ)c(k,i)

(7)

最終采用匈牙利算法[10]對track和detect進(jìn)行最優(yōu)分配。

3.3 跟蹤算法實(shí)現(xiàn)過程

融合度量學(xué)習(xí)與卡爾曼濾波的變電站運(yùn)動目標(biāo)跟蹤算法流程如下。

步驟1 檢測變電站運(yùn)動目標(biāo)。采用YOLOv3算法對實(shí)時(shí)視頻幀信號進(jìn)行檢測。將當(dāng)前幀檢測到的目標(biāo)坐標(biāo)信息存入detection集合中,將歷史檢測到的目標(biāo)坐標(biāo)信息存入track集合中。如果detection集合為空集,就將丟失幀計(jì)數(shù)加1,若丟失幀計(jì)數(shù)超過設(shè)定閾值時(shí),就認(rèn)為該目標(biāo)已消失,然后將該目標(biāo)的歷史坐標(biāo)信息從track中刪除,重新進(jìn)行檢測。如果detection集合不為空,將丟失幀數(shù)計(jì)數(shù)置為零,繼續(xù)下一步。

步驟2 卡爾曼濾波器進(jìn)行預(yù)測。使用一個(gè)基于勻速模型和線性觀測模型的標(biāo)準(zhǔn)卡爾曼濾波器對目標(biāo)的運(yùn)動狀態(tài)進(jìn)行預(yù)測,也即對track集合進(jìn)行預(yù)測得到包含預(yù)測結(jié)果的track_pre集合。

步驟3 融合運(yùn)動信息與外觀信息計(jì)算detection與track的距離。同時(shí)計(jì)算包含track預(yù)測結(jié)果的track_pre集合與detection集合之間的馬氏距離以及detection中提取到的特征向量與歷史軌跡track中提取到的特征向量平均值的余弦距離。

步驟4 分配及更新。若步驟3計(jì)算的距離大于設(shè)定的閾值,則從track中刪除目標(biāo);若小于設(shè)定的閾值,則說明前后幀目標(biāo)匹配成功,采用匈牙利算法對track和detect進(jìn)行最優(yōu)分配,并返回匹配結(jié)果,使用匹配成功點(diǎn)的坐標(biāo)信息來對目標(biāo)位置進(jìn)行更新,重復(fù)步驟1,從而實(shí)現(xiàn)對變電站內(nèi)運(yùn)動目標(biāo)的跟蹤。

4 實(shí)驗(yàn)及結(jié)果分析

4.1 實(shí)驗(yàn)數(shù)據(jù)及環(huán)境

以變電站內(nèi)運(yùn)動的人員為例,將采集到的變電站監(jiān)控視頻分成兩組,光照條件相同,但是遮擋情況不同,以評價(jià)變電站內(nèi)運(yùn)動目標(biāo)跟蹤方法的性能,詳細(xì)參數(shù)如表2所示。其中:視頻1的遮擋物較少,環(huán)境較為空曠;視頻2的遮擋物較多,環(huán)境較為復(fù)雜。

表2 變電站場景數(shù)據(jù)集情況統(tǒng)計(jì)表

實(shí)驗(yàn)選用性能比較高的圖形處理服務(wù)器,其基本配置是Intel(R) Core(TM) i7-8086K CPU @ 4.00 GHz,基于x64的處理器,16 G內(nèi)存,GPU為RTX2080 Ti;算法開發(fā)使用Linux操作系統(tǒng)、Python語言和TensorFlow框架。

4.2 實(shí)驗(yàn)結(jié)果分析

將本文的跟蹤算法分別在2組變電站監(jiān)控視頻中進(jìn)行實(shí)驗(yàn)?？紤]到算法的實(shí)時(shí)性,本文采用的圖像為灰度化之后的圖像(本文算法也適用于彩色圖像)。圖5和圖6為本文算法在2組視頻中的跟蹤效果。

圖5 本文算法在視頻1中的跟蹤效果(遮擋情況不嚴(yán)重)

圖6 本文算法在視頻2中的跟蹤效果(遮擋情況嚴(yán)重)

從圖5可以看出,監(jiān)控視頻1在遮擋情況不嚴(yán)重的情況下,能夠?qū)崿F(xiàn)變電站多名工作人員的精準(zhǔn)跟蹤,雖然出現(xiàn)了少許的人員交叉、重疊及遮擋的情況,但是也能實(shí)現(xiàn)對人員的再跟蹤。

從圖6可以看出,監(jiān)控視頻2中的絕緣子、桿塔比較多,造成的遮擋情況比較嚴(yán)重。但本文算法在遮擋嚴(yán)重的情況下,依然能實(shí)現(xiàn)對于人員的精準(zhǔn)跟蹤。由于本文算法不單單只有人員的運(yùn)動信息,還有外觀信息,增強(qiáng)了人員丟失再識別的能力,具有很強(qiáng)的魯棒性。

本文的跟蹤算法能夠?qū)崿F(xiàn)多目標(biāo)在線跟蹤,因此為了驗(yàn)證本文算法,根據(jù)多目標(biāo)跟蹤算法評價(jià)指標(biāo):多目標(biāo)跟蹤準(zhǔn)確率(MOTA)、所有跟蹤目標(biāo)的平均邊框重疊率(MOTP)、目標(biāo)大部分被跟蹤到的軌跡占比(MT)、目標(biāo)大部分跟丟軌跡占比(ML)、一條跟蹤軌跡改變目標(biāo)標(biāo)號的次數(shù)(IDS)及每秒傳輸幀數(shù)(FPS)作為實(shí)時(shí)性指標(biāo),來分析不同多目標(biāo)在線跟蹤算法在2組變電站監(jiān)控視頻上的性能,結(jié)果如表3和表4所示。表3和表4中:↑表示得分越高越好;↓表示得分越低越好;*表示每個(gè)視頻對應(yīng)的每項(xiàng)指標(biāo)最優(yōu)算法。

表3 跟蹤器在視頻1下的跟蹤性能(遮擋物較少)

由表3和表4可知,本文算法在遮擋物較少的變電站監(jiān)控視頻1中,跟蹤精度相較于文獻(xiàn)[11]算法、文獻(xiàn)[12]算法和文獻(xiàn)[4]算法更好,略低于文獻(xiàn)[5]算法,但在跟蹤的實(shí)時(shí)性方面遠(yuǎn)遠(yuǎn)超過了文獻(xiàn)[5]算法,也比其他算法效果更好。在遮擋物較多的監(jiān)控視頻2中,本文算法的跟蹤準(zhǔn)確率比其他4種算法中準(zhǔn)確率最低的文獻(xiàn)[11]算法要高14.8%,相較于視頻1中效果較好的文獻(xiàn)[5]算法,準(zhǔn)確率只低了0.3%,但實(shí)時(shí)性卻高出近7倍,同時(shí)在遮擋物比較多的情況下,人員ID轉(zhuǎn)換次數(shù)相較于其他算法也較少。由此可知,在變電站場景下對人員進(jìn)行跟蹤時(shí),本文算法能夠獲得較好的跟蹤效果,同時(shí)具有很強(qiáng)的魯棒性和實(shí)時(shí)性。

表4 跟蹤器在視頻2下的跟蹤性能(遮擋物較多)

5 結(jié) 語

本文提出的融合度量學(xué)習(xí)與卡爾曼濾波的變電站人員跟蹤方法,結(jié)合了人員的運(yùn)動信息和外觀信息,實(shí)現(xiàn)了對變電站內(nèi)人員軌跡的描繪。引入了YOLOv3算法和卡爾曼濾波器,前者通過對混合數(shù)據(jù)集的訓(xùn)練,提升了變電站內(nèi)人員檢測的準(zhǔn)確性,后者對檢測到人員的狀態(tài)進(jìn)行預(yù)測,并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)提取到人員的外觀信息,刻劃出變電站內(nèi)人員的運(yùn)動軌跡,也能較好地解決變電站內(nèi)復(fù)雜的遮擋情況。實(shí)驗(yàn)結(jié)果表明,本文算法跟蹤的實(shí)時(shí)性較好,同時(shí)在復(fù)雜環(huán)境下的魯棒性較強(qiáng),能有效地應(yīng)用于現(xiàn)實(shí)場景。本研究是在變電站可視條件較好的情況下開展的,未開展可視條件不佳情況下的人員跟蹤。后續(xù)工作將融合圖像處理技術(shù),對變電站內(nèi)可視條件不佳情況下的人員跟蹤問題開展深入研究。