李炳林

(青海省公路局公路養(yǎng)護(hù)應(yīng)急保障中心,青海 西寧 810001)

0 引言

車輛的實(shí)時(shí)軌跡跟蹤研究是智能交通領(lǐng)域的熱點(diǎn)問題。目前，眾多學(xué)者對車輛跟蹤任務(wù)展開了深入的研究，然而針對應(yīng)急裝備車輛的跟蹤研究較為缺乏。應(yīng)急裝備物資車輛為公路突發(fā)事件應(yīng)急救援等場景提供重要的裝備物資保障，扮演著重要的角色。作為公路交通應(yīng)急處置的關(guān)鍵要素，應(yīng)急裝備物資車輛的實(shí)時(shí)軌跡跟蹤對保障公路應(yīng)急裝備物資及時(shí)到位，及時(shí)恢復(fù)公路交通正常運(yùn)行具有重要意義。

對于目標(biāo)追蹤任務(wù)而言，目前主流的方法一般先采用目標(biāo)檢測算法，檢測出目標(biāo)，然后利用追蹤算法對目標(biāo)進(jìn)行跟蹤。

對車輛進(jìn)行有效檢測是車輛跟蹤的基礎(chǔ)，傳統(tǒng)的目標(biāo)檢測方法有背景差分法、幀差法和光流法[1]。背景差分法是將當(dāng)前幀圖像與背景幀或者是背景更新模型進(jìn)行做差來得到提取前景對象的方法。但是在實(shí)際應(yīng)用當(dāng)中，很難獲取到背景幀圖像，所以出現(xiàn)了許多基于背景更新算法的背景差分法。幀差法對連續(xù)兩幀或是連續(xù)多幀視頻序列做差，根據(jù)做差之后得到的圖像的灰度值來得到運(yùn)動(dòng)目標(biāo)。光流法通過視頻圖像相鄰幀中各個(gè)像素點(diǎn)的亮度值，利用灰度的變化信息和變化程度得到光流場，從而得到目標(biāo)的運(yùn)動(dòng)場。光流法[2]利用的是圖像中像素強(qiáng)度數(shù)據(jù)的時(shí)域變化和相關(guān)性，來進(jìn)一步確定各個(gè)像素點(diǎn)的運(yùn)動(dòng)。與背景差分法和幀差法不同，光流法不僅展現(xiàn)灰度在時(shí)間上的變化，還可以展示目標(biāo)的外形，結(jié)構(gòu)與運(yùn)動(dòng)狀態(tài)的關(guān)系，但計(jì)算困難，耗時(shí)較長。傳統(tǒng)的目標(biāo)檢測算法，在檢測時(shí)間和精度上均有較大的不知之處。

近年來，基于深度學(xué)習(xí)的目標(biāo)檢測算法受到了越來越多學(xué)者的關(guān)注，該算法可以分為一階段(One-stage)和兩階段(Two-stage)檢測算法2類，Two-stage算法以Fast-RCNN[3]、Faster-RCNN[4]為代表，該類算法分為2個(gè)部分，先通過算法生成一系列的候選框，然后再進(jìn)行分類任務(wù)。而One-stage算法不需要生成候選框，可以直接得出檢測目標(biāo)的位置和類別信息，代表算法有YOLO[5]系列、SSD[6]等。因此相較于Two-stage算法而言，One-stage算法檢測速度，實(shí)時(shí)性高，更適合本文的研究對象。

利用視頻對道路上的應(yīng)急裝備車輛進(jìn)行跟蹤對實(shí)時(shí)性要求較高，而目標(biāo)跟蹤算法的速度在很大程度上取決于檢測算法的性能，基于深度學(xué)習(xí)的單階段目標(biāo)檢測算法YOLO系列速度精度權(quán)衡最好，學(xué)者對該系列算法的改進(jìn)也有很多，呂石磊等人[7]使用輕量級骨干網(wǎng)絡(luò)MobileNet-v2對YOLOv3進(jìn)行改進(jìn)，提高模型在CPU端推理速度，但是模型的識別精度略有下降；李繼輝[8]將CBAM注意力機(jī)制引入YOLOv3網(wǎng)絡(luò)中，同時(shí)使用剪枝量化手段使算法在嵌入式開發(fā)板NVIDIA TX2上達(dá)到了24FPS接近實(shí)時(shí)的處理速度；周方禹[9]將SE注意力機(jī)制和雙向金字塔特征融合機(jī)制引入目標(biāo)檢測網(wǎng)絡(luò)，在PASCAL VOC 2007/2012等公開數(shù)據(jù)集和安全帽私有數(shù)據(jù)集驗(yàn)證了改進(jìn)模型的有效性。劉學(xué)平[10]結(jié)合K-means聚類與粒子群優(yōu)化算法進(jìn)行錨框計(jì)算, 在YOLOV3網(wǎng)絡(luò)shortcut層嵌入SENet結(jié)構(gòu),得到SE-YOLOV3網(wǎng)絡(luò)，用于算法訓(xùn)練和測試。試驗(yàn)結(jié)果表明，SE-YOLOV3能有效減少假正例數(shù)量。許小偉[11]提出了一種小型化的改進(jìn) YOLOv3 深度卷積網(wǎng)絡(luò)的實(shí)時(shí)車輛檢測及跟蹤算法，研究表明該小型化網(wǎng)絡(luò)檢測跟蹤算法在復(fù)雜道路環(huán)境中有較強(qiáng)的魯棒性，可以滿足實(shí)際智能駕駛過程中對車輛檢測跟蹤的精度、速度的要求。

在目標(biāo)跟蹤算法方面，Alex Bewley等人[12]簡單結(jié)合了卡爾曼濾波和匈牙利算法實(shí)現(xiàn)了實(shí)時(shí)性好，精度高的SORT在線追蹤算法，相比同時(shí)期SOTA追蹤器(MDP[13]、MHT-DAM[14])快20倍左右，缺點(diǎn)是ID切換比較嚴(yán)重；在SORT基礎(chǔ)上提出的DEEP SORT算法[15]，將重識別模型融入外觀特征，增加級聯(lián)匹配機(jī)制，改進(jìn)算法能夠克服跟蹤過程中更長的時(shí)間的遮擋，有效地減少ID切換的數(shù)量[16]。王春艷[17]提出引用深度外觀特征的在線分層數(shù)據(jù)關(guān)聯(lián)跟蹤算法；劉沛鑫[18]提出網(wǎng)絡(luò)流數(shù)據(jù)關(guān)聯(lián)求解算法，將長短時(shí)記憶網(wǎng)絡(luò)和條件隨機(jī)場引入數(shù)據(jù)關(guān)聯(lián)模型，有效關(guān)聯(lián)跨視角行人跟蹤軌跡片段。

本文的研究對象為應(yīng)急裝備物資車輛，除帶有明顯的標(biāo)志(如紅十字)外，和普通貨車沒有較大的區(qū)別。為了更好地明確應(yīng)急裝備物資車輛，本研究主要在以下2個(gè)場景進(jìn)行應(yīng)急裝備物資車輛的識別研究：(1)應(yīng)急區(qū)域；(2)根據(jù)應(yīng)急車輛的北斗數(shù)據(jù)，協(xié)調(diào)調(diào)度途經(jīng)道路的攝像機(jī)，然后利用采集來的視頻圖像進(jìn)行識別和跟蹤應(yīng)急車輛。

基于以上分析，本研究主要針對應(yīng)急裝備物資車輛檢測跟蹤進(jìn)行方法探究，利用道路監(jiān)控視頻和航拍視頻制作應(yīng)急裝備物資車輛圖像樣本庫，并制作訓(xùn)練數(shù)據(jù)集。采用YOLOv3算法檢測運(yùn)動(dòng)的應(yīng)急裝備物資車輛，通過增加網(wǎng)絡(luò)的檢測層，改進(jìn)網(wǎng)絡(luò)結(jié)構(gòu)，提高模型的檢測性能，使用Deep Sort跟蹤方法進(jìn)行車輛跟蹤，在圖像上畫出跟蹤車輛的運(yùn)動(dòng)軌跡，并對車輛進(jìn)行計(jì)數(shù)，實(shí)現(xiàn)了對應(yīng)急裝備物資車輛的檢測跟蹤。

1 基于改進(jìn)YOLOv3算法的應(yīng)急裝備物資車輛檢測研究

1.1 檢測流程

與傳統(tǒng)的圖像識別方法相比，深度學(xué)習(xí)的網(wǎng)絡(luò)模型能夠自動(dòng)地從原始圖像中學(xué)習(xí)到檢測對象的圖像特征信息，進(jìn)而完成后續(xù)的分類和識別任務(wù)，相比于傳統(tǒng)的圖像識別方法有更好的表現(xiàn)。基于深度學(xué)習(xí)的應(yīng)急裝備物資車輛的檢測流程如圖1所示。

圖1 檢測流程Fig.1 Detection process

1.2 改進(jìn)的YOLOv3算法

YOLO(You Only Look Once)是一種基于深度神經(jīng)網(wǎng)絡(luò)的一階段目標(biāo)檢測算法，其最大的特點(diǎn)是在保證較高精度的同時(shí)，檢測速度很快，可以用于實(shí)時(shí)系統(tǒng)。該算法在檢測過程中將圖像分為S×S個(gè)格子(本文S×S為13×13、26×26、52×52 這3種尺度)，每個(gè)單元格負(fù)責(zé)檢測中心點(diǎn)落于此單元格的對象，每個(gè)單元格需要預(yù)測出3個(gè)邊界框，每個(gè)邊界框會預(yù)測出5個(gè)結(jié)果(x，y，w，h，conf)。x，y分別為目標(biāo)框中心坐標(biāo)值，w，h表示邊界框的長和寬，conf表示框中含有目標(biāo)的置信度。YOLOv3采用殘差網(wǎng)絡(luò)結(jié)構(gòu)，在原有YOLOv2[19]主干特征提取網(wǎng)絡(luò)Darknet19的基礎(chǔ)上，通過添加3×3和1×1的卷積和殘差構(gòu)成了一個(gè)有53個(gè)卷積層特征提取網(wǎng)絡(luò)。算法在骨干特征提取網(wǎng)絡(luò)后面添加FPN[20]網(wǎng)絡(luò)(Feature Pyramid Networks)，對輸入圖像進(jìn)行多尺度的檢測，輸出3個(gè)不同的尺度的特征圖，這使得YOLOv3算法相較于前2個(gè)版本的檢測效果有了顯著的提升。

由于本研究的研究對象為視頻中的應(yīng)急裝備物資車輛，該車輛在視頻中多為小目標(biāo)，為了提高YOLOv3目標(biāo)檢測網(wǎng)絡(luò)對于小目標(biāo)的檢測能力，本研究在YOLOv3網(wǎng)絡(luò)原有的3個(gè)檢測層基礎(chǔ)上，增加第4個(gè)檢測層，用來提高模型對小目標(biāo)的檢測性能。

隨著網(wǎng)絡(luò)深度的增加，模型可以提取更多圖像的全局信息，但是這樣會導(dǎo)致小目標(biāo)物體的語義信息丟失，對小目標(biāo)檢測精度會下降。原始的YOLOv3網(wǎng)絡(luò)采用特征金字塔結(jié)構(gòu)，融合不同尺度大小的特征圖。

在原有的檢測層基礎(chǔ)上，對52×52的輸出特征圖進(jìn)行上采樣，并與骨干特征提取網(wǎng)絡(luò)Darknet53中104×104的特征圖進(jìn)行融合，作為第4個(gè)檢測層。改進(jìn)后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，圖2中實(shí)線部分為原始的網(wǎng)絡(luò)結(jié)構(gòu)，虛線為新添加的檢測層。

圖2 改進(jìn)后的YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Improved network structure diagram of YOLOv3

1.3 試驗(yàn)結(jié)果

將改進(jìn)前后的網(wǎng)絡(luò)進(jìn)行在相同的數(shù)據(jù)集情況下，進(jìn)行對比試驗(yàn)，試驗(yàn)的對比結(jié)果如表1所示，表中的mAP為目標(biāo)檢測任務(wù)中常用的評價(jià)指標(biāo)，表示模型的檢測精度，mAP越大代表模型整體檢測精度高。通過表1可以發(fā)現(xiàn)通過在原網(wǎng)絡(luò)結(jié)構(gòu)中添加第4個(gè)小目標(biāo)檢測層，有效地提高了模型對小目標(biāo)的檢測性能，檢測精度得到提升，相比于基礎(chǔ)的YOLOv3網(wǎng)絡(luò)mAP增加了3.81%。

表1 檢測結(jié)果對比表Tab.1 Comparison of test results

2 基于Deep Sort的應(yīng)急裝備物資車輛跟蹤算法

(1)目標(biāo)的特征提取

在實(shí)現(xiàn)目標(biāo)跟蹤之前，一般分為3步：首先需要識別目標(biāo)，即在跟蹤初始化界面中的第1幀圖像里找到要跟蹤的前景對象，提取其特征。目標(biāo)描述的方法直接決定了目標(biāo)跟蹤的準(zhǔn)確性和實(shí)時(shí)性，而在做分類的時(shí)候，需要從特征入手，將目標(biāo)提取后，檢測其相似度。一個(gè)好的目標(biāo)描述方法可以剔除噪聲干擾，當(dāng)車輛發(fā)生運(yùn)動(dòng)速度變化或者自身形態(tài)變化時(shí)，或者環(huán)境和光照發(fā)生變化時(shí)，數(shù)據(jù)屬性的相關(guān)性由相關(guān)系數(shù)來描述，數(shù)據(jù)對象的相似保證即可，依然能夠依據(jù)車輛目標(biāo)的特征，準(zhǔn)確的識別目標(biāo)；最后一步才是特征的匹配跟蹤。

(2)特征點(diǎn)匹配策略

基于特征點(diǎn)的目標(biāo)跟蹤是在相鄰幀之間進(jìn)行特征點(diǎn)集的關(guān)聯(lián)，特征點(diǎn)是由其本身以及周圍鄰域像素共同表征的灰度信息集合，并以此為依據(jù)，進(jìn)行特征點(diǎn)的匹配。匹配過程的關(guān)鍵就是確定相似性度量準(zhǔn)則。

目前，常用的相似性度量準(zhǔn)則有很多，例如像素灰度絕對值差和(Sum of Absolute Differences，SAD)、歸一化交叉相關(guān)(Normalized Cross Correlation，NCC)和像素灰度差平方和(Sum of Squared Differences，SSD)等。特征點(diǎn)匹配根據(jù)關(guān)聯(lián)方式的不同，可分為確定性方法和基于統(tǒng)計(jì)的方法。最常用的是相似性度量，即評定樣本特征與檢測特征之間的關(guān)系，以及從圖像中選取某些特征點(diǎn)并對圖像進(jìn)行局部分析。確定性方法先采用運(yùn)動(dòng)約束對目標(biāo)和目標(biāo)觀測間的關(guān)聯(lián)定義代價(jià)函數(shù)；還有距離度量，比如，馬氏距離，以及歐式距離。

(3)Deep Sort跟蹤算法原理

Deep Sort全稱是Simple Online and Realtime Tracking。Deep SORT算法在實(shí)際應(yīng)用中使用較為廣泛，核心就是2個(gè)算法：卡爾曼濾波和匈牙利算法。在實(shí)現(xiàn)上較為簡單，常用于先檢測，后跟蹤的結(jié)合。

卡爾曼濾波器在Deep SORT中的作用是進(jìn)行前景對象狀態(tài)的估計(jì)預(yù)測。狀態(tài)指的是bbox(bbox存在待檢測的目標(biāo)對象)的相關(guān)參數(shù)，包括中心的位置、高度、縱橫比等。卡爾曼濾波器可以預(yù)測更新軌跡。

Deep SORT在更新軌跡狀態(tài)的時(shí)候還用到了馬氏距離，計(jì)算公式是：

(1)

式中,d(1)(i,j)為第i個(gè)目標(biāo)預(yù)測框和第j個(gè)目標(biāo)檢測框匹配結(jié)果；Si表示軌跡由卡爾曼濾波器計(jì)算預(yù)測得到在當(dāng)前幀觀測得到的協(xié)方差矩陣;yi是軌跡在當(dāng)前幀，或者說是當(dāng)前時(shí)刻的預(yù)測量;dj是第j個(gè)detection的狀態(tài)。這個(gè)detection的狀態(tài)是由之前的檢測算法得到的檢測框。

匈牙利算法的作用是為了進(jìn)行數(shù)據(jù)之間的關(guān)聯(lián)，數(shù)據(jù)關(guān)聯(lián)也是匹配的一個(gè)關(guān)鍵步驟。這里匈牙利算法使用cost矩陣進(jìn)行detection之間的匹配?；跈z測框位置和IOU的匈牙利算法，使得Deep Sort相對于Sort算法，在效率方面得到了進(jìn)一步的加強(qiáng)。圖3為Deep Sort的算法流程。

圖3 Deep Sort算法流程圖Fig.3 Flowchart of Deep Sort algorithm

圖3中的IOU稱為交并比，是用來衡量模型檢測出來的預(yù)測框和真實(shí)框之間的位置關(guān)系，表征檢測物體位置的準(zhǔn)確性。其計(jì)算公式如式2所示，它是預(yù)測框與真實(shí)框的交集和并集的比值。交集和并集如圖4所示，虛線表示預(yù)測框，實(shí)現(xiàn)表示真實(shí)框：

圖4 交/并集示意圖Fig.4 Schematic diagram of intersection and union

(2)

式中,S交指預(yù)測框與真實(shí)框交集的部分；S并指預(yù)測框與真實(shí)框并集的部分。

3 試驗(yàn)結(jié)果

3.1 試驗(yàn)環(huán)境搭建

本研究中程序算法采用python3.6.7語言進(jìn)行實(shí)現(xiàn)，在Visual Studio 2015開發(fā)平臺上進(jìn)行開發(fā)，試驗(yàn)環(huán)境為Tensorflow1.4.0，Opencv，Keras，sklearn等，Win8系統(tǒng)在CPU上進(jìn)行試驗(yàn)。

3.2 模型訓(xùn)練

(1)圖像庫建立

為了增加跟蹤模型的泛化能力，在建立圖像庫時(shí)，采用不同拍攝角度的視頻，得到不同角度的應(yīng)急物資裝備車輛圖像，提高了模型的檢測性能。數(shù)據(jù)采集來源于青海省應(yīng)急裝備物資儲備中心輻射區(qū)域相關(guān)路段的視頻序列，隔幀抽取出5 293張圖像作為圖形樣本庫，用于訓(xùn)練應(yīng)急裝備物資車輛檢測模型。標(biāo)注方式如圖5所示，將目標(biāo)車輛的位置和類別存儲在文本文件中。

圖5 圖像標(biāo)注Fig.5 Image annotation

(2)訓(xùn)練結(jié)果

采用SGD優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.1，訓(xùn)練300輪結(jié)果如圖6所示。圖6(a)為模型訓(xùn)練過程中的損失曲線，loss代表模型訓(xùn)練的損失值，圖6(b)mAP、圖6(c)Precision和圖6(d)Recall分別代表模型隨著迭代次數(shù)增加在測試集上的平均準(zhǔn)確率、精度和召回率。

由圖6(a)可以發(fā)現(xiàn)，模型在前20輪訓(xùn)練中，損失值下降較為迅速，模型在快速進(jìn)行擬合，從第20到200輪，損失值下降在慢慢減緩，在訓(xùn)練迭代200后，損失值趨于穩(wěn)定狀態(tài)。準(zhǔn)確率也在0.9以上，該模型達(dá)到了很好的檢測效果。

圖6 訓(xùn)練結(jié)果圖Fig.6 Graphs of training result

3.3 試驗(yàn)驗(yàn)證

(1)場景選取

本次研究采用青海省應(yīng)急裝備物資儲備中心輻射區(qū)域路段上應(yīng)急裝備物資車輛行駛場景的視頻序列，進(jìn)行視頻檢測，視頻格式為MP4，幀速率為29幀/s，幀寬度為640，幀高度為368，試驗(yàn)場景如圖7所示。

圖7 試驗(yàn)環(huán)境Fig.7 Experimental environment

(2)試驗(yàn)結(jié)果

① 應(yīng)急裝備物資車輛軌跡檢測結(jié)果

通過YOLOv3算法對路段多個(gè)角度視頻片段檢測效果如圖6所示，結(jié)果顯示，YOLOv3速度快，精度高，相對于傳統(tǒng)的經(jīng)典目標(biāo)檢測算法有很大的優(yōu)勢。

可以看到，在圖8(f)角度6中，由于車輛密集排布，可能出現(xiàn)漏檢的情況。在其他角度檢測結(jié)果都較好。

圖8 檢測效果Fig.8 Test effect

② 車輛軌跡跟蹤結(jié)果

在試驗(yàn)環(huán)境下驗(yàn)證跟蹤情況，如圖9所示，用矩形框標(biāo)記出被檢測出的車輛，并進(jìn)行持續(xù)的跟蹤，本研究提出的模型可以實(shí)現(xiàn)多輛應(yīng)急裝備物資車輛跟蹤并統(tǒng)計(jì)數(shù)量。

圖9 跟蹤情況Fig.9 Target tracking

本研究選取4個(gè)路段各10 min視頻，采用人工計(jì)數(shù)與算法跟蹤結(jié)果進(jìn)行對比，結(jié)果如表2所示。

表2 跟蹤計(jì)數(shù)結(jié)果對比Tab.2 Comparison of tracking and counting result

對比試驗(yàn)結(jié)果可以看出，基于YOLOv3檢測的Deep Sort算法跟蹤精度高，計(jì)數(shù)統(tǒng)計(jì)誤差在5%以內(nèi)。誤差產(chǎn)生原因是YOLOv3檢測算法有可能將較大的普通車輛識別為應(yīng)急車輛。

③ 軌跡提取

在Deep Sort的基礎(chǔ)上進(jìn)行應(yīng)急裝備物資車輛軌跡的提取，在圖像中實(shí)現(xiàn)自動(dòng)繪制出軌跡圖像，結(jié)果如圖10所示。從基于檢測的跟蹤實(shí)驗(yàn)結(jié)果來看，在速度較快，光照變化較明顯的情況下，YOLOv3與Deep Sort算法的結(jié)合在精度和速度上都達(dá)到了不錯(cuò)的效果。一般情況下，在車輛進(jìn)出視頻的時(shí)刻，框的大小會發(fā)生變化，形成軌跡誤差。

圖10 軌跡提取效果Fig.10 Trajectory extraction effect

4 結(jié)論

本研究主要針對車輛檢測和車輛跟蹤2個(gè)部分進(jìn)行了研究，在此基礎(chǔ)上進(jìn)行軌跡提取。主要工作如下：(1)增加YOLOv3算法的檢測層，提高算法對小目標(biāo)的檢測性能。(2)通過對YOLO檢測和Deep Sort進(jìn)行了驗(yàn)證，確定了YOLOv3+Deep Sort結(jié)合的檢測跟蹤算法，在跟蹤的基礎(chǔ)上實(shí)現(xiàn)了繪制出車輛軌跡，并實(shí)現(xiàn)自動(dòng)計(jì)數(shù)功能。(3)在VS2015集成開發(fā)環(huán)境下，主要采用Opencv庫，基于Tensorflow和Keras框架用Python語言進(jìn)行項(xiàng)目開發(fā)，完成了基于視頻的應(yīng)急裝備物資車輛檢測與跟蹤系統(tǒng)，并在試驗(yàn)環(huán)境下進(jìn)行測試，結(jié)果顯示可以有效地檢測與跟蹤應(yīng)急裝備物資車輛，有一定的實(shí)用價(jià)值。

本研究收集到的圖像數(shù)據(jù)有限，對實(shí)際應(yīng)用場景有一定限制，后續(xù)將繼續(xù)擴(kuò)充圖像庫，進(jìn)一步提升檢測跟蹤模型的精度和泛化能力。