劉洋 郭春生

摘要：針對(duì)目前多目標(biāo)跟蹤中目標(biāo)數(shù)據(jù)關(guān)聯(lián)度量方式的不足，以及Wasserstein度量值衡量概率測(cè)度間差異程度的性質(zhì)，提出基于Wasserstein度量的目標(biāo)數(shù)據(jù)關(guān)聯(lián)算法，即利用Wasserstein距離衡量目標(biāo)外觀特征向量之間的相似度，將目標(biāo)外觀特征向量看成一個(gè)分布，計(jì)算分布之間的Wasserstein距離，再用Wasserstein距離判斷目標(biāo)是否相似。但是Wasserstein距離表達(dá)式比較復(fù)雜，難以直接計(jì)算，因此通過(guò)訓(xùn)練一個(gè)深度網(wǎng)絡(luò)計(jì)算Wasserstein距離，并使相同目標(biāo)特征向量之間Wasserstein距離縮小、不同目標(biāo)特征向量之間的Wasserstein距離增大;然后，利用目標(biāo)運(yùn)動(dòng)匹配度進(jìn)一步篩選滿足外觀匹配度的目標(biāo)，最終得到最佳目標(biāo)關(guān)聯(lián)。實(shí)驗(yàn)結(jié)果表明，該算法能較好地解決多目標(biāo)跟蹤中的漏報(bào)問(wèn)題，與原算法相比，MT提高了6.7%，ML減少了4.9%，F(xiàn)N減少了6627個(gè)。

關(guān)鍵詞：多目標(biāo)跟蹤;深度網(wǎng)絡(luò);Wasserstein距離;數(shù)據(jù)關(guān)聯(lián)

DOI：10.11907/rjdk.191176開(kāi)放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類(lèi)號(hào)：TP312文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）010-0074-04

0引言

多目標(biāo)跟蹤是計(jì)算機(jī)視覺(jué)和圖像處理中的基本問(wèn)題，也是智能交通、智能安防領(lǐng)域的熱門(mén)話題，近年來(lái)受到越來(lái)越多的關(guān)注。目標(biāo)檢測(cè)和目標(biāo)數(shù)據(jù)關(guān)聯(lián)是目標(biāo)跟蹤的重要組成部分，深度網(wǎng)絡(luò)模型（Faster-Rcnn、SSD和YOLO）等常被用于實(shí)現(xiàn)目標(biāo)準(zhǔn)確檢測(cè)。目標(biāo)數(shù)據(jù)關(guān)聯(lián)指隨著時(shí)間的移動(dòng)，選擇和聚類(lèi)相應(yīng)的檢測(cè)，這是實(shí)現(xiàn)目標(biāo)跟蹤的前提。

Bewley等在目標(biāo)關(guān)聯(lián)問(wèn)題中僅使用了目標(biāo)運(yùn)動(dòng)信息，造成多個(gè)跟蹤目標(biāo)丟失;Wojke等在文獻(xiàn)[5]的基礎(chǔ)上，增加了目標(biāo)表觀信息，綜合使用馬氏距離和余弦距離計(jì)算目標(biāo)間的相似度，但是目標(biāo)誤報(bào)個(gè)數(shù)較多;Shen等把目標(biāo)軌跡分成若干小段，把目標(biāo)數(shù)據(jù)關(guān)聯(lián)問(wèn)題轉(zhuǎn)換成從小軌跡段集合中選擇最優(yōu)小段的問(wèn)題，思路比較新穎，有效解決了目標(biāo)遮擋問(wèn)題，但是過(guò)程較復(fù)雜;王熠把Wasser-stein距離應(yīng)用于圖像識(shí)別，提出基于Wasserstein距離的圖像聚類(lèi)算法;張潔琳等”提出基于Gromov-Wasserstein距離的3D圖形匹配方法，在保證精確率的前提下得到了較好的匹配率，但是利用傳統(tǒng)方法求解Wasserstein距離，過(guò)程較復(fù)雜。

綜上所述，本文基于Wasserstein度量的目標(biāo)數(shù)據(jù)關(guān)聯(lián)算法，不僅將Wasserstein度量與深度神經(jīng)網(wǎng)絡(luò)結(jié)合，通過(guò)神經(jīng)網(wǎng)絡(luò)求解Wasserstein度量，還將Wasserstein度量應(yīng)用于多目標(biāo)跟蹤中的目標(biāo)數(shù)據(jù)關(guān)聯(lián)問(wèn)題，利用Wasserstein度量值衡量目標(biāo)特征向量之間的相似度，實(shí)驗(yàn)結(jié)果表明該方法可行，并且能有效解決多目標(biāo)跟蹤中的漏檢問(wèn)題。

1 算法原理

余弦距離是一種常用的計(jì)算向量相似度的度量方式。假設(shè)X₁真和X₂是兩個(gè)模為1的m維列向量，其計(jì)算公式為：

可以看出Wasserstein距離不但能衡量?jī)蓚€(gè)分布之間的差異，更能反映分布的空間幾何性質(zhì)。本文對(duì)于檢測(cè)到的每個(gè)目標(biāo)，均可提取目標(biāo)表觀特征，表觀特征是一個(gè)特征向量，可將該特征向量視為一個(gè)高維空間中的分布。如果視頻前后幀中的目標(biāo)匹配，則該分布相似;反之，分布不同。Wasserstein距離可以定量給巾兩個(gè)分布的相似度。但是特征向量的每一維均可正可負(fù)可為零，當(dāng)某一維的值為負(fù)數(shù)時(shí)，則Wasserstein距離失去物理意義，無(wú)法直接利用公式計(jì)算Wasserstein距離，所以本文訓(xùn)練一個(gè)深度網(wǎng)絡(luò)，利用該網(wǎng)絡(luò)計(jì)算Wasserstein距離。同時(shí)Wasserstein距離還可反映目標(biāo)外觀匹配度，對(duì)于滿足外觀匹配度的目標(biāo)再利用目標(biāo)運(yùn)動(dòng)信息進(jìn)一步篩選，最后利用迪杰斯特拉算法得到最佳目標(biāo)數(shù)據(jù)關(guān)聯(lián)。

2 Wasserstein距離求解

通?？紤]式（2）的等價(jià)形式進(jìn)行Wasserstein距離求解。

以上證明過(guò)程說(shuō)明式（6）的對(duì)偶形式與其本身具有相同的解，求原始問(wèn)題的最小值轉(zhuǎn)化為求其對(duì)偶形式最大值問(wèn)題，式（6）的對(duì)偶形式為：

從式（15）可以看出，當(dāng)函數(shù)f（x）的梯度小于1時(shí)，梯度懲罰項(xiàng)為0;當(dāng)函數(shù)f（x）梯度大于1時(shí)，存在梯度懲罰項(xiàng)。但是無(wú)法窮舉所有滿足條件的x求積分，僅保證從P_penalty分布中取得的x、輸㈩值的梯度小于等于1即可，式（15）可轉(zhuǎn)化為式（16）。

3 模型訓(xùn)練

3.1數(shù)據(jù)集制作

本文以文獻(xiàn)[13]在MOT16數(shù)據(jù)集上的目標(biāo)檢測(cè)結(jié)果為基礎(chǔ)，利用文獻(xiàn)[6]對(duì)目標(biāo)進(jìn)行特征提取，使每個(gè)目標(biāo)外觀特征向量維數(shù)均為128;然后，基于這些特征向量制作訓(xùn)練深度網(wǎng)絡(luò)數(shù)據(jù)集。本文制作的訓(xùn)練集數(shù)據(jù)共有110000個(gè)，其中正樣本有70000個(gè)，負(fù)樣本對(duì)共有40000個(gè);正樣本label為0，負(fù)樣本label為1。正樣本代表兩個(gè)特征向量取自視頻前后幀中的同一個(gè)目標(biāo)，負(fù)樣本代表兩個(gè)特征向量取自視頻前后幀中的不同目標(biāo)。

3.2網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)訓(xùn)練的目的是讓相同目標(biāo)特征向量之間的Was-serstein距離盡可能小，不同目標(biāo)特征向量之間的Wasser-stein距離盡可能大。網(wǎng)絡(luò)總體結(jié)構(gòu)如圖1所示。

虛線框?yàn)榫W(wǎng)絡(luò)整體結(jié)構(gòu)，稱(chēng)之為f（x）網(wǎng)絡(luò)。從圖1可以看出f（x）由4個(gè)全連接層和3個(gè)ReLu層組成。輸人數(shù)據(jù)的維度為128，由于ReLu層不改變特征維度，經(jīng)過(guò)前3個(gè)全連接層（FC-1、FC-2、FC-3）之后特征向量維度相同，均為512維，經(jīng)過(guò)最后一個(gè)全連接層（FC-4）之后，輸出為一個(gè)值。x_i為某個(gè)目標(biāo)在當(dāng)前視頻幀特征向量的輸入，經(jīng)過(guò)f（x）網(wǎng)絡(luò)后，得到f（x_i）。

3.3損失函數(shù)

網(wǎng)絡(luò)損失函數(shù)為：

3.4網(wǎng)絡(luò)訓(xùn)練

本文使用Pytorch作為訓(xùn)練深度網(wǎng)絡(luò)的平臺(tái)，在Intel酷睿i7-4790八核處理器、24GB內(nèi)存的NVIDIA GeForceGTX TITAN X的計(jì)算機(jī)上進(jìn)行訓(xùn)練，每個(gè)epoch為128，初始學(xué)習(xí)率為1×e^-6，訓(xùn)練該深度網(wǎng)絡(luò)總共耗吋約48 h。

網(wǎng)絡(luò)模型訓(xùn)練損失值的變化趨勢(shì)如圖2所示，從圖中可以看出隨著迭代次數(shù)的變化，模型損失值呈現(xiàn)不斷下降的趨勢(shì)，模型很快達(dá)到收斂，說(shuō)明網(wǎng)絡(luò)具備學(xué)習(xí)能力。

4實(shí)驗(yàn)結(jié)果與分析

前文已求出Wasserstein距離，該值代表目標(biāo)表觀匹配度，為滿足表觀匹配度的目標(biāo)，計(jì)算當(dāng)前檢測(cè)與軌跡在卡爾曼濾波器預(yù)測(cè)位置之間的馬氏距離，并作進(jìn)一步篩選。馬氏距離計(jì)算公式為：

其中d_j代表當(dāng)前幀中的第j個(gè)檢測(cè)目標(biāo)，y_i代表第i條軌跡在當(dāng)前時(shí)刻的預(yù)測(cè)值，S_i是軌跡由卡爾曼濾波器預(yù)測(cè)得到的在當(dāng)前時(shí)刻觀測(cè)量的協(xié)方差矩陣。

本文使用MOT Benchmark文獻(xiàn)提供的指標(biāo)評(píng)價(jià)多目標(biāo)跟蹤性能，包括：實(shí)際不存在而預(yù)測(cè)為軌跡上的目標(biāo)（FP）;實(shí)際存在于軌跡上但是沒(méi)有被預(yù)測(cè)出來(lái)的目標(biāo)（FN）;跟蹤目標(biāo)從一個(gè)軌跡轉(zhuǎn)換到另一個(gè)軌跡的次數(shù)（IDs）;正確跟蹤軌跡占80%上的目標(biāo)比率（MT）;正確跟蹤軌跡占20%以下的比率（ML）;多目標(biāo)跟蹤準(zhǔn)確度（MO-TA）;多目標(biāo)跟蹤的精確度（MOTP）。將3種跟蹤算法進(jìn)行對(duì)比，結(jié)果如表1所示。

這3種算法在M0716數(shù)據(jù)集上進(jìn)行跟蹤，文獻(xiàn)[5]和本文算法是使用文獻(xiàn)[13]的目標(biāo)檢測(cè)結(jié)果，文獻(xiàn)[17]使用與本文不同的目標(biāo)檢測(cè)結(jié)果，目標(biāo)檢測(cè)置信度閾值是0.3。其中M07A、MOTP和MT 3項(xiàng)指標(biāo)的值越大，表示跟蹤效果越好;ML、IDs、FN、FP的值越小，表示跟蹤性能越好。從表1可以看出，本文方法的MT、ML和FN 3項(xiàng)指標(biāo)均優(yōu)于原始結(jié)果，MOTA和IDs兩項(xiàng)指標(biāo)與原始結(jié)果相比有微小提升。

圖4為攝像機(jī)移動(dòng)場(chǎng)景下的跟蹤結(jié)果，第1列（a）為文獻(xiàn)[5]的跟蹤結(jié)果，第2列（b）為本文算法的跟蹤結(jié)果。從檢測(cè)目標(biāo)個(gè)數(shù)來(lái)看，本文算法檢測(cè)的目標(biāo)個(gè)數(shù)多于文獻(xiàn)[5]的結(jié)果：在第19幀、第24幀中，文獻(xiàn)[5]檢測(cè)的目標(biāo)個(gè)數(shù)分別為8個(gè)、6個(gè);本文算法檢測(cè)的目標(biāo)個(gè)數(shù)分別為11個(gè)、11個(gè)。圖4顯示，文獻(xiàn)[5]無(wú)法檢測(cè)出小目標(biāo)，而本文數(shù)據(jù)關(guān)聯(lián)算法可檢測(cè)并關(guān)聯(lián)小目標(biāo)，例如圖4（b）的17號(hào)、18號(hào)目標(biāo)在圖4（a）中均無(wú)法檢測(cè)也無(wú)法關(guān)聯(lián)起來(lái)。

5結(jié)語(yǔ)

本文提出基于Wasserstein度量的目標(biāo)數(shù)據(jù)關(guān)聯(lián)算法，利用Wasserstein距離的值衡量目標(biāo)外觀特征向量匹配度，并把Wasserstein度量與深度網(wǎng)絡(luò)結(jié)合起來(lái);對(duì)于滿足外觀匹配的目標(biāo)，再利用目標(biāo)運(yùn)動(dòng)匹配度進(jìn)一步篩選。從目標(biāo)跟蹤結(jié)果可以看出，本文把Wasserstein度量應(yīng)用于多目標(biāo)跟蹤中的目標(biāo)數(shù)據(jù)關(guān)聯(lián)問(wèn)題可行，并且能有效減少多目標(biāo)跟蹤中漏檢目標(biāo)個(gè)數(shù)。