杜丹豐 申明雨

（東北林業(yè)大學(xué)交通學(xué)院，黑龍江 哈爾濱 150040）

0 引言

通過監(jiān)控?cái)z像頭采集視頻流數(shù)據(jù)，并對(duì)交通流視頻中的車輛進(jìn)行檢測(cè)、跟蹤，能夠有效提升公路智能化管理水平。交通流視頻多車輛跟蹤是目前公路視頻監(jiān)控中比較先進(jìn)的技術(shù)之一。它具有施工時(shí)無須破壞路面、檢測(cè)器安全且拆卸方便等優(yōu)點(diǎn)，同時(shí)能夠?yàn)榉治龊凸芾斫煌ㄌ峁┛煽康囊罁?jù)。

當(dāng)采集交通流視頻時(shí)容易發(fā)生抖動(dòng)，所獲得的交通流視頻易出現(xiàn)運(yùn)動(dòng)模糊的情況，降低了車輛跟蹤器的精度。當(dāng)前針對(duì)該工況的研究較為匱乏，由于多數(shù)多車跟蹤模型缺乏應(yīng)對(duì)運(yùn)動(dòng)模糊的調(diào)節(jié)機(jī)制，因此跟蹤精度較低，難以應(yīng)對(duì)運(yùn)動(dòng)模糊的場(chǎng)景。

該文利用UA-DETRAC 數(shù)據(jù)集提出了一種抗運(yùn)動(dòng)模糊的交通流視頻多車跟蹤方法。首先，應(yīng)用K 均值聚類算法（K-means 聚類算法）得到關(guān)于車的尺寸的先驗(yàn)框。其次，選擇性能較好的DarkNet53 網(wǎng)絡(luò)提取車輛特征。再次，使用卡爾曼濾波與級(jí)聯(lián)匹配進(jìn)行多車的跟蹤。最后，構(gòu)建基于 Laplacian算子和生成對(duì)抗網(wǎng)絡(luò)的運(yùn)動(dòng)模糊檢測(cè)、去除模塊，該模塊既具備抗運(yùn)動(dòng)模糊的能力，又能滿足現(xiàn)實(shí)工況中的需求。

1 多車跟蹤模塊

1.1 車輛跟蹤數(shù)據(jù)集

UA-DETRAC自動(dòng)駕駛數(shù)據(jù)集是于2018 年被提出來的，其樣圖如圖1 所示。它包括了100 個(gè)具有不同挑戰(zhàn)的視頻序列，這些視頻均是在真實(shí)的交通場(chǎng)景中的不同位置、不同角度拍攝下來的。其中標(biāo)注幀數(shù)超過140 000 幀，標(biāo)注內(nèi)容包括車輛類型、是否有遮擋、折斷比例以及車輛真實(shí)框位置等。

圖1 UA-DETRAC 數(shù)據(jù)集樣圖

UA-DETRAC 數(shù)據(jù)集分為訓(xùn)練集（UA-DETRAC-TRAIN）與測(cè)試集（UA-DETRAC-TEST），其中的視頻序列包括多個(gè)尺度、遮擋以及背景雜亂等挑戰(zhàn)，更適合于訓(xùn)練具有魯棒性的多車跟蹤模型。該文選取UA-DETRAC-TRAIN 作為多車跟蹤模型的訓(xùn)練數(shù)據(jù)集。在測(cè)試多車跟蹤模型時(shí)，選擇UADETRAC-TEST 中不同場(chǎng)景下的視頻進(jìn)行測(cè)試驗(yàn)證。

1.2 車輛先驗(yàn)框選取

先驗(yàn)框能夠檢測(cè)不同尺度大小的物體，在很大程度上影響了車輛定位的準(zhǔn)確性。該文基于UA-DETRAC 數(shù)據(jù)集，使用K-means 聚類算法得到符合車輛尺寸比例的先驗(yàn)框，從而提升檢測(cè)的精度。

K-means 聚類算法屬于聚類分析算法，其采用迭代求解的方式，在數(shù)據(jù)分析中具有廣泛的用途，該算法有以下4個(gè)步驟：1）將數(shù)據(jù)分成組，隨機(jī)選取個(gè)對(duì)象作為初始的聚類中心。2）計(jì)算每個(gè)對(duì)象與各個(gè)種子聚類中心之間的距離，然后把每個(gè)對(duì)象分配給距離它最近的聚類中心。3）聚類中心以及分配給它們的對(duì)象就代表了一個(gè)聚類，每分配一個(gè)對(duì)象，聚類中心都會(huì)根據(jù)聚類中現(xiàn)有的對(duì)象被重新計(jì)算。4）該過程不斷重復(fù)，直到滿足某個(gè)終止條件。終止條件為沒有（或最小數(shù)目的）對(duì)象被重新分配給不同的聚類中心，沒有或者最小數(shù)目的聚類中心再發(fā)生變化，且使誤差平方和局部最小。

該文使用UA-DETRAC 數(shù)據(jù)集，針對(duì)車輛寬高設(shè)置了9個(gè)聚類中心，再使用K-means 聚類算法得到用于車輛檢測(cè)的先驗(yàn)框，其比例結(jié)果為0.53、0.65、0.69、0.72、0.78、0.81、0.91、1.06 和1.19。

1.3 車輛檢測(cè)及外觀嵌入

跟蹤模型采用聯(lián)合學(xué)習(xí)檢測(cè)及嵌入模型（Jointly learns the Detector and Embedding model，JDE）架構(gòu)，其包括檢測(cè)與匹配2 個(gè)階段。其目標(biāo)是在1 次前向傳播過程中同時(shí)輸出檢測(cè)結(jié)果和嵌入模型特征的網(wǎng)絡(luò)架構(gòu)，在特征提取網(wǎng)絡(luò)提取特征后，特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)預(yù)測(cè)多個(gè)尺度特征，并進(jìn)行上采樣融合，將特征輸入卷積神經(jīng)網(wǎng)絡(luò)，同時(shí)輸出目標(biāo)位置及目標(biāo)的嵌入特征，經(jīng)過在線關(guān)聯(lián)等步驟對(duì)已檢測(cè)的目標(biāo)特征進(jìn)行多目標(biāo)跟蹤。該文使用文獻(xiàn)[4]提出的DarkNet53 網(wǎng)絡(luò)作為JDE 的特征提取網(wǎng)絡(luò)，DarkNet53 網(wǎng)絡(luò)能夠更好地進(jìn)行特征采樣，且在訓(xùn)練時(shí)也更加簡(jiǎn)單。多車跟蹤模型檢測(cè)及外觀嵌入流程如圖2 所示，在網(wǎng)絡(luò)傳播的同時(shí)，輸出類別及嵌入特征。

圖2 多車跟蹤模型檢測(cè)及外觀嵌入流程圖

輸入的視頻幀首先通過特征提取網(wǎng)絡(luò)DarkNet53 獲得3個(gè)尺度的特征圖，完成上采樣融合后，輸入預(yù)測(cè)頭中進(jìn)行卷積操作，進(jìn)而得到邊框回歸、分類以及輸出特征嵌入。其中，上采樣的尺度為1/32、1/16 和1/8。預(yù)測(cè)頭輸出的預(yù)測(cè)特征圖的大小為（6+）××（為先驗(yàn)框的數(shù)量；為特征嵌入的維度；為高；為寬）。從以下3 個(gè)維度對(duì)特征頭輸出進(jìn)行劃分：1）邊界框分類。2）邊界框回歸。3）特征嵌入。

該文的損失函數(shù)選用的是，如公式（1）所示。

式中：為模型預(yù)測(cè)的類別概率；為平衡因子用于平衡正、負(fù)樣本數(shù)量比例；為調(diào)制參數(shù)，使損失函數(shù)更加關(guān)注難以訓(xùn)練的樣本；為實(shí)際標(biāo)簽值。

1.4 多車在線跟蹤

在完成車輛檢測(cè)后，該文使用DeepSORT 算法提出的方法進(jìn)行預(yù)測(cè)匹配。具體操作如下：在保持車輛速度恒定的基礎(chǔ)上，先使用卡爾曼濾波通過線性觀測(cè)來處理逐幀數(shù)據(jù)的關(guān)聯(lián)性，并預(yù)測(cè)軌跡，車輛的狀態(tài)量包括位置和速度信息。在得到現(xiàn)有軌跡的預(yù)估位置后，使用成本矩陣將其與新檢測(cè)得到的目標(biāo)的空間和外觀相似性的比對(duì)。

空間相似性（，）如公式（2）所示。

外觀相似性（，）如公式（3）所示。

整合公式（1）、公式（2）得到最終成本矩陣c，如公式（4）所示。

式中：為權(quán)重系數(shù)。

除成本矩陣以外，DeepSORT 算法還使用門控矩陣來表示當(dāng)前空間以及外觀相似性是否滿足要求。門控矩陣b如公式（5）所示。

式中：為索引標(biāo)識(shí)。有2 個(gè)取值，分別為1 和2，代表所使用方法DeepSORT 算法中的2 個(gè)門控指標(biāo)。

當(dāng)空間相似性以及外觀相似性較為接近時(shí)，b為1，否則為0。

通過這2 個(gè)矩陣，該操作對(duì)每幀中新檢測(cè)到的第個(gè)目標(biāo)和現(xiàn)有的第個(gè)追蹤目標(biāo)進(jìn)行了匹配以及后處理，達(dá)到了在線跟蹤的效果。

2 抗運(yùn)動(dòng)模糊模塊

2.1 模糊檢測(cè)模塊

Laplacian 算子常用來進(jìn)行圖像模糊檢測(cè)，它能夠強(qiáng)調(diào)圖片中密度快速變化的區(qū)域，也就是邊界，因此常用于模糊檢測(cè)。Laplacian 算子是維歐幾里得空間中的二階微分算子，如果是1 個(gè)二階可微的實(shí)值函數(shù)，那么其Laplacian 算子如公式（6）所示。

式中：為方向；為方向。

其中，方向的偏導(dǎo)數(shù)如公式（7）所示。

方向的偏導(dǎo)數(shù)如公式（8）所示。

綜合公式（6）～公式（8）能夠得到如公式（9）所示的Laplacian 算子。

針對(duì)1 幀圖像的濾波器如公式（10）所示。

將公式（9）中的系數(shù)代入公式（10），所得矩陣可以在沒有噪聲的情況下查找圖像中快速變化的區(qū)域。從根本上來說，算子在更高維平面上對(duì)圖像的變化趨勢(shì)（其二階導(dǎo)數(shù)）進(jìn)行衡量。如果圖像基本均勻，則結(jié)果為0。無論在何處發(fā)生變化，所得到的矩陣都會(huì)在較暗的一側(cè)具有正元素，在較亮的一側(cè)具有負(fù)元素。在正常圖片中，邊界清晰且方差較大；而在模糊圖片中，方差則較小。

該文使用Laplacian 算子作為基礎(chǔ)模糊檢測(cè)模型，由人工預(yù)先定義好合適的閾值，判斷圖片是否產(chǎn)生運(yùn)動(dòng)模糊。在設(shè)定閾值時(shí)，該文使用UA-DETRAC數(shù)據(jù)集的視頻序列，先使用高斯算法對(duì)視頻序列進(jìn)行運(yùn)動(dòng)模糊處理，然后使用所測(cè)試的閾值進(jìn)行模糊檢測(cè)。該文選取不同大小的閾值進(jìn)行對(duì)比測(cè)試，最終該文將閾值設(shè)置為13。測(cè)試結(jié)果如圖3所示：當(dāng)閾值小于13 時(shí)，判定該幀為模糊；當(dāng)閾值大于13 時(shí)，判定該幀為清晰。該文通過選取UA-DETRAC 數(shù)據(jù)集的1 000 張視頻幀作為測(cè)試樣本，其中運(yùn)動(dòng)模糊幀有100 張。使用閾值13 進(jìn)行測(cè)試，最終針對(duì)運(yùn)動(dòng)模糊的判定正確率為98%。

圖3 模糊判別測(cè)試結(jié)果

2.2 模糊去除模塊

在進(jìn)行模糊去除時(shí)，該文采用基于生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial network）的方法。生成對(duì)抗網(wǎng)絡(luò)是通過2個(gè)神經(jīng)網(wǎng)絡(luò)以相互博弈的方式進(jìn)行學(xué)習(xí)的，它由生成器D 和判別器G 組成，生成器用來捕捉數(shù)據(jù)分布，判別器用來辨別數(shù)據(jù)產(chǎn)生自生成器的概率，并使用博弈機(jī)制進(jìn)行同時(shí)訓(xùn)練。

該文采取基于生成對(duì)抗網(wǎng)絡(luò)的去模糊算法，將特征金字塔結(jié)構(gòu)作為生成器的核心，并將最小二乘法應(yīng)用到判別器的學(xué)習(xí)中，基于WGAN 以及內(nèi)容損失進(jìn)行訓(xùn)練學(xué)習(xí)，提出框架在模糊移除方面性能較好。該文使用生成對(duì)抗網(wǎng)絡(luò)模糊去除模塊（DeblurGAN-v2）來進(jìn)行視頻幀去模糊操作。DeblurGAN-v2 為一種基于特征金字塔的去模糊架構(gòu)，它將5 個(gè)不同尺度的最終特征圖作為輸出，這些特征圖均被上采樣為相同的輸入大小，并連接成1 個(gè)張量。然后在網(wǎng)絡(luò)末端填入2 個(gè)上采樣和卷積層，恢復(fù)原始圖像，減少偽影的存在。為保持訓(xùn)練的有效性，對(duì)損失函數(shù)L的定義如公式（11）所示。

式中：L為均方誤差損失。

L如公式（12）所示。

式中：x為第個(gè)樣本的值；y為第個(gè)樣本的預(yù)測(cè)值；h為特征提取網(wǎng)絡(luò)，為其參數(shù)；為樣本的總量。

L為內(nèi)容損失，用于衡量清晰圖像和模糊圖像之間的特征值差異，如公式（13）所示。

式中：φ為通過特征提取網(wǎng)絡(luò)中第個(gè)池化層前、第個(gè)卷積層后得到的特征圖；W、H為特征圖的維度；I為模糊圖像的特征；I為清晰圖像的特征；G為判別器，θ為其參數(shù)；，為索引值。

為全局和局部判別器的損失，目標(biāo)為使得輸出的數(shù)據(jù)分布能夠更加接近真實(shí)數(shù)據(jù)的分布，如公式（14）所示。

式中：和分別為不同概率分布下的期望計(jì)算，為在不同概率分布下的期望計(jì)算，Pdata（）以及Pz（）分別為其概率分布；D 為判別器；為輸入的真實(shí)樣本數(shù)據(jù)；G 為生成器；為輸入生成器G 的數(shù)據(jù)。

2.3 抗運(yùn)動(dòng)模糊模塊整體架構(gòu)

抗運(yùn)動(dòng)模糊模塊整體結(jié)構(gòu)如圖4 所示，包括模糊檢測(cè)模塊、模糊去除模塊。首先，模糊檢測(cè)模塊對(duì)輸入的視頻幀進(jìn)行判別，大于閾值為清晰，小于閾值為模糊。其次，將判定為模糊的視頻幀輸入模糊去除模塊進(jìn)行預(yù)處理。最后，將其返回多車跟蹤模塊中進(jìn)行跟蹤。

圖4 抗運(yùn)動(dòng)模糊模塊整體架構(gòu)

2.4 抗運(yùn)動(dòng)模糊多車跟蹤方法的整體框架

抗運(yùn)動(dòng)模糊多車跟蹤方法整體框架如圖5 所示，先將輸入的多車視頻分解為視頻幀，然后輸入預(yù)先得到的車輛先驗(yàn)框，再將視頻幀輸入模糊檢測(cè)模塊后進(jìn)行模糊判別，使用模糊去除模塊對(duì)模糊圖像進(jìn)行去模糊操作后返回清晰幀，最后將其輸入多車跟蹤模塊中進(jìn)行跟蹤。

圖5 抗運(yùn)動(dòng)模糊多車跟蹤方法整體框架圖

3 多車跟蹤試驗(yàn)

3.1 試驗(yàn)環(huán)境及試驗(yàn)數(shù)據(jù)集

該文整體算法需要在Pytorch1.7.1 上實(shí)現(xiàn)，硬件平臺(tái)的CPU 需要配置英特爾i7-10700F 處理器，并且訓(xùn)練時(shí)使用GPU 加速，GPU 的配置為GTX-3070 和8G 內(nèi)存。在訓(xùn)練過程中采用線下分離訓(xùn)練和線上組合的方式構(gòu)造多車跟蹤模型。在對(duì)多車跟蹤模型進(jìn)行性能評(píng)測(cè)時(shí)，選取UA-DETRACTEST 作為測(cè)試數(shù)據(jù)集，其中包括40 個(gè)不同序列。在測(cè)試階段抽取4 個(gè)不同場(chǎng)景下的視頻序列，應(yīng)用完成訓(xùn)練的抗運(yùn)動(dòng)模糊多車跟蹤模型對(duì)這些視頻序列進(jìn)行在線跟蹤，以驗(yàn)證所提出的算法的有效性。

3.2 多車跟蹤模型試驗(yàn)

該文在進(jìn)行多車跟蹤模型測(cè)試時(shí)，使用了4 個(gè)不同場(chǎng)景下的視頻序列，測(cè)試結(jié)果如圖6 所示。當(dāng)視頻清晰時(shí)，該文的多車跟蹤模型在訓(xùn)練后的跟蹤性能良好，對(duì)車輛特征的捕捉也較為準(zhǔn)確。

圖6 測(cè)試結(jié)果

3.3 抗運(yùn)動(dòng)模糊多車跟蹤模型試驗(yàn)

為測(cè)試所建的多車跟蹤模型在視頻模糊時(shí)的魯棒性，該文選取了18 個(gè)測(cè)試視頻序列，在模擬現(xiàn)實(shí)情況中的運(yùn)動(dòng)模糊工況時(shí)，對(duì)其中的部分視頻幀進(jìn)行高斯模糊和運(yùn)動(dòng)模糊處理，得到包括模糊幀的視頻幀序列，將其合成處理后又得到帶有模糊幀的視頻。視頻中的模糊幀如圖7 所示。為驗(yàn)證抗運(yùn)動(dòng)模糊多車跟蹤模型的性能，該文將該模型與無抗模糊機(jī)制的普通跟蹤模型進(jìn)行了對(duì)比，對(duì)比結(jié)果見表1。

圖7 視頻中模糊幀樣圖

由表1 可知，該文所提出的抗運(yùn)動(dòng)模糊多車跟蹤模型在視頻受到運(yùn)動(dòng)模糊干擾時(shí)，其模糊檢測(cè)以及模糊去除機(jī)制能夠有效地去除運(yùn)動(dòng)模糊，將漏檢率和誤檢率降低了近18.89%。

表1 抗運(yùn)動(dòng)模糊跟蹤模型與普通跟蹤模型對(duì)比結(jié)果

4 結(jié)論

當(dāng)采集交通流視頻時(shí)，由于環(huán)境因素的影響而產(chǎn)生抖動(dòng)，因此很容易出現(xiàn)運(yùn)動(dòng)模糊的情況，使車輛跟蹤精度降低。目前針對(duì)該工況的研究較為缺乏，該文提出了抗運(yùn)動(dòng)模糊交通流視頻多車跟蹤方法。

首先，該方法針對(duì)車輛尺寸大小，使用聚類算法得到符合車輛尺寸的先驗(yàn)框。其次，采用DarkNet53 網(wǎng)絡(luò)提取車輛特征。再次，使用卡爾曼濾波與級(jí)聯(lián)匹配進(jìn)行多車跟蹤。最后，通過基于Laplacian 算子的模糊判別機(jī)制和嵌入生成對(duì)抗網(wǎng)絡(luò)模糊去除模塊來提升多車跟蹤模型的抗運(yùn)動(dòng)模糊能力。試驗(yàn)結(jié)果表明，該文提出的抗運(yùn)動(dòng)模糊交通流視頻多車跟蹤方法，在交通視頻受到運(yùn)動(dòng)模糊干擾時(shí)跟蹤效果更好，并且具有更好的魯棒性，使漏檢率和誤檢率降低了約18.89%。