畢篤彥 張園強(qiáng) 查宇飛 庫 濤 吳 敏 唐書娟

(空軍工程大學(xué)航空航天工程學(xué)院, 西安 710038)

利用候選區(qū)域的多模型跟蹤算法

畢篤彥 張園強(qiáng) 查宇飛 庫 濤 吳 敏 唐書娟

(空軍工程大學(xué)航空航天工程學(xué)院, 西安 710038)

跟蹤過程中發(fā)生的尺度變化、形變、遮擋是導(dǎo)致模型漂移的重要原因。為了克服模型漂移對(duì)魯棒跟蹤的影響，本文提出了一種利用多判別式模型和候選區(qū)域的跟蹤算法。首先，該算法采用候選區(qū)域替代傳統(tǒng)的滑動(dòng)采樣，適應(yīng)跟蹤過程中目標(biāo)的位移和尺度變化。接下來，為了提高目標(biāo)的表征能力，先用預(yù)訓(xùn)練網(wǎng)絡(luò)提取整幅圖片的深度特征，再通過感興趣區(qū)域采樣層(ROI pooling layer)快速提取每一個(gè)候選區(qū)域的深度特征，進(jìn)一步提高跟蹤算法的魯棒性。最后，運(yùn)用多模型選擇機(jī)制進(jìn)行回撤過去錯(cuò)誤的模型更新，并通過調(diào)整搜索區(qū)域?qū)崿F(xiàn)對(duì)目標(biāo)的重檢測(cè)，有效抑制了模型漂移對(duì)魯棒跟蹤的影響。實(shí)驗(yàn)中，本文算法與相關(guān)算法在OTB 2013數(shù)據(jù)庫和UAV 20L數(shù)據(jù)庫上進(jìn)行了對(duì)比。結(jié)果表明，本文算法在精確度與成功率上均取得了最優(yōu)性能，并能有效抑制模型漂移對(duì)魯棒跟蹤的影響。

目標(biāo)跟蹤； 候選區(qū)域； 重檢測(cè)

引言

目標(biāo)跟蹤被廣泛應(yīng)用于人機(jī)交互、軍事導(dǎo)航以及機(jī)器人等眾多領(lǐng)域[1-2]。但是在跟蹤過程中出現(xiàn)的尺度變化、形變以及遮擋是導(dǎo)致模型漂移的一個(gè)重要原因。近幾年，基于相關(guān)濾波的跟蹤算法如KCF[3]、SRDCF[4],利用循環(huán)矩陣的性質(zhì)提高了跟蹤的性能與效率。但其適應(yīng)目標(biāo)的尺度變換是通過在初始幀長寬比不變的情況下進(jìn)行同比例縮放，不能很好地反映跟蹤目標(biāo)的尺度變化。其他的一些算法如GOTURN[5]、MDNet[6],利用深度學(xué)習(xí)的強(qiáng)大表征能力提高了跟蹤性能，但其尺度變化亦不能反映目標(biāo)的物質(zhì)屬性。候選區(qū)域(Object proposals)[7]是一種最開始被應(yīng)用于圖像檢測(cè)的方法。它克服了傳統(tǒng)的滑動(dòng)采樣的劣勢(shì)，能夠大量減少候選樣本的數(shù)目，并反映目標(biāo)的物質(zhì)屬性和尺度屬性，適應(yīng)檢測(cè)中目標(biāo)的長寬比變化。EBT[8]、sPST[9]是近兩年將候選區(qū)域與傳統(tǒng)算法相結(jié)合的跟蹤算法，在2015年的視覺目標(biāo)跟蹤競(jìng)賽[10](Visual object tracking 2015，VOT2015)中取得了不錯(cuò)的成績(jī)。但是,這些算法一方面沒有利用深度學(xué)習(xí)的強(qiáng)大表征能力, 另一方面，它們?nèi)鄙賹?duì)模型的糾錯(cuò)機(jī)制。所以一旦目標(biāo)發(fā)生遮擋或者形變很容易發(fā)生模型漂移，進(jìn)而導(dǎo)致跟蹤失敗。因而,本文提出一種利用候選區(qū)域的多模型跟蹤算法，該算法利用候選區(qū)域適應(yīng)目標(biāo)的尺度變化，建立多模型選擇機(jī)制以糾正模型。

1 算法流程

在本文算法中，首先候選區(qū)域被用來適應(yīng)目標(biāo)的尺度變化，在當(dāng)前幀的深度特征與候選區(qū)域的位置信息被輸入感興趣區(qū)域采樣層[11](Region of interest pooling layer, ROI pooling layer)后，每一個(gè)候選區(qū)域的深度特征可以被快速獲??；接下來，通過每隔φ幀保存跟蹤模型而建立的多模型系統(tǒng)對(duì)這些樣本進(jìn)行評(píng)估。在這過程中，每一個(gè)模型的判決結(jié)果都會(huì)被熵決策機(jī)制評(píng)估，并且當(dāng)感知到模型發(fā)生漂移時(shí)，該文算法可以通過擴(kuò)大搜索區(qū)域?qū)δ繕?biāo)實(shí)現(xiàn)重檢測(cè)。最后，最好的跟蹤模型確定當(dāng)前幀目標(biāo)的位置，并對(duì)其進(jìn)行模型更新。整個(gè)跟蹤算法的流程如圖1所示。

圖1 整個(gè)跟蹤算法的流程圖Fig.1 Flow chart of whole tracking algorithm

2 初始化

2.1 特征提取

如圖1所示，為獲取目標(biāo)的特征表征，本文算法首先將該幀圖像輸入一個(gè)預(yù)訓(xùn)練網(wǎng)絡(luò)獲取該幀的特征。接下來，通過把整幅圖像的特征與每一個(gè)候選區(qū)域的位置信息輸入感興趣區(qū)域采樣層(ROI pooling layer)[11]，最終快速獲取每個(gè)候選區(qū)域的深度卷積特征。

在這里需要注意的是，感興趣區(qū)域采樣層的輸出是相同長度的特征向量，也就是說，感興趣區(qū)域采樣層能夠?qū)⒉煌叽绲暮蜻x區(qū)域變成相同長度的特征向量。

在本文中，基于區(qū)域塊的快速卷積神經(jīng)網(wǎng)絡(luò)(Fast region-based convolutional network, FR-CNN)[11]被作為預(yù)訓(xùn)練網(wǎng)絡(luò)，并提取其第1層全連接輸出作為特征。但是其他的網(wǎng)絡(luò)結(jié)構(gòu)也可以被用來提取樣本的特征。從整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)來看，F(xiàn)R-CNN中的感興趣區(qū)域采樣層能夠一次性地快速提取所有候選區(qū)域的特征，因而本文選取FR-CNN作為預(yù)訓(xùn)練網(wǎng)絡(luò)來提取樣本特征。

2.2 樣本選取與模型訓(xùn)練

在獲取每個(gè)候選區(qū)域的深度特征之后，需進(jìn)行正負(fù)樣本的選取。正負(fù)樣本的選取被定義為

(1)

式中s(xi)——第i個(gè)候選樣本的面積

xi——第i個(gè)候選樣本

x*——當(dāng)前幀算法預(yù)測(cè)的目標(biāo)區(qū)域

s(x*)——算法在當(dāng)前幀預(yù)測(cè)的目標(biāo)區(qū)域面積

y(i)——第i個(gè)樣本的標(biāo)簽

從式(1)可以看出比率在0.5～0.9之間的樣本沒有參與正負(fù)樣本的選擇，這是為了避免模型漂移的發(fā)生，提高跟蹤算法的魯棒性。

得到正負(fù)樣本之后，接下來是對(duì)支持向量機(jī)(Support vector machine，SVM)的訓(xùn)練。在本文中，采用來源于MEEM[12]算法中的SVM模型，與傳統(tǒng)SVM模型不同的是，它使用1個(gè)標(biāo)準(zhǔn)樣本集來概括先前的支持向量與當(dāng)前的正負(fù)樣本，并用這個(gè)樣本集來更新跟蹤模型。當(dāng)支持向量的數(shù)目超過某個(gè)閾值的時(shí)候，通過計(jì)算樣本之間的距離來使最相近的支持向量進(jìn)行融合，最終使得支持向量的數(shù)目不超過某個(gè)閾值。

總的來說，本文算法所提出的跟蹤器具有很強(qiáng)的魯棒性，主要體現(xiàn)在：來自于edgebox算法[7]的候選區(qū)域不僅能夠適應(yīng)跟蹤過程中目標(biāo)長寬比變化，而且候選區(qū)域所具有的物質(zhì)屬性為模型的訓(xùn)練更新提供了高質(zhì)量的樣本；本文算法使用深度特征來表征每一個(gè)候選區(qū)域，它能夠提高目標(biāo)的表征能力，進(jìn)而提高跟蹤算法的魯棒性。

3 利用候選區(qū)域的多模型跟蹤

3.1 熵決策機(jī)制

因?yàn)閳D像檢測(cè)的目的是檢測(cè)出圖像中所有目標(biāo)，而跟蹤卻只要求跟蹤某個(gè)特定的目標(biāo)。目標(biāo)框中輪廓線條的多少與目標(biāo)框包含物體的概率有著密切的關(guān)系，DOLLAR基于這樣的觀察提出了edgebox算法[7]，它能夠快速精準(zhǔn)地產(chǎn)生包含目標(biāo)的候選區(qū)域，但是在跟蹤過程中，生成的候選區(qū)域與搜索區(qū)域的大小有關(guān)。因?yàn)橐粋€(gè)大的搜索框通常含有更多的線條，而當(dāng)目標(biāo)相對(duì)于該幀圖像尺寸很小時(shí)，此時(shí)就很難產(chǎn)生針對(duì)該目標(biāo)的候選區(qū)域了。針對(duì)此問題，本文比較了不同搜索區(qū)域大小對(duì)生成候選區(qū)域的影響。其結(jié)果如圖2所示，從圖2可以看出，一個(gè)比目標(biāo)尺寸稍大的搜索區(qū)域能產(chǎn)生許多高質(zhì)量的候選區(qū)域。因而，比目標(biāo)尺寸稍大的搜索區(qū)域更適合用于目標(biāo)跟蹤任務(wù)。然而，當(dāng)目標(biāo)發(fā)生模型漂移時(shí)，一個(gè)小的搜索區(qū)域很容易導(dǎo)致目標(biāo)跟蹤失敗。

圖2 不同搜索區(qū)域大小對(duì)生成候選區(qū)域的影響Fig.2 Effects of different searching area sizes on generated object proposals

針對(duì)這個(gè)問題，本文一方面利用熵決策機(jī)制自動(dòng)決定搜索區(qū)域的大小。另一方面，多模型選擇機(jī)制被用來撤銷由模型漂移導(dǎo)致的錯(cuò)誤模型更新。具體來說，當(dāng)模型發(fā)生漂移并被熵決策機(jī)制感知時(shí)，搜索區(qū)域?qū)?huì)被放大以實(shí)現(xiàn)對(duì)目標(biāo)的重檢測(cè)。同時(shí)，通過選擇先前的跟蹤模型，可以撤銷先前錯(cuò)誤的模型更新。

熵決策機(jī)制最早出現(xiàn)于文獻(xiàn)[13],而后被適當(dāng)修改后應(yīng)用于MEEM[12]跟蹤算法中，本文算法類似于MEEM算法，多模型選擇機(jī)制被用以減少模型漂移的影響，但是基于熵決策機(jī)制，一種新的目標(biāo)重檢測(cè)策略被用來進(jìn)一步提高目標(biāo)跟蹤的魯棒性，這是MEEM算法所忽略的。除此之外，本文算法將候選區(qū)域融入跟蹤框架，并用深度特征來表征它，這使得本文算法能夠適應(yīng)目標(biāo)的尺度變化，因而本文算法能夠更好地應(yīng)對(duì)模型漂移對(duì)魯棒跟蹤的影響。

對(duì)于熵決策機(jī)制，本文首先定義候選樣本x=(x1,x2,…,xn)為可能的目標(biāo)集。yi=(ωi,li)是某個(gè)候選樣本xi對(duì)應(yīng)的標(biāo)簽。式中ωi∈(0,1)表示目標(biāo)的前景與背景的標(biāo)簽，li表示樣本xi的位置。z=((ω1,l1),…,(ωn,ln))代表可能的標(biāo)簽集。損失函數(shù)被定義為

Jm(x,z)=-L(θm;x,z)+λH(y|x,z;θm)

(2)

其中

(3)

(4)

式中L(θm;x,z)——模型的對(duì)數(shù)似然函數(shù)

H(y|x,z;θm)——經(jīng)驗(yàn)條件熵

λ——對(duì)數(shù)似然函數(shù)和經(jīng)驗(yàn)條件熵之間的權(quán)衡因子

θm——模型的參數(shù)

由式(3)和式(4)可得知，標(biāo)簽yi=(ωi,li)僅僅取決于樣本xi的特征和位置信息。詳細(xì)來說，樣本xi是通過空間的先驗(yàn)概率P(li|ωi)和后驗(yàn)概率P(ωi|xi;θm)來確定目標(biāo)位置的。其中，P(li|ωi)由一個(gè)高斯函數(shù)來表征，它的中心是上一幀目標(biāo)的中心位置。從式(3)和式(4)也可看出，P(ωi|xi;θm)的值越大，似然函數(shù)L(θm;x,z)的值也將越大。

經(jīng)驗(yàn)條件熵被定義為

(5)

其中

(6)

式中δz(y)、δz(y′)——脈沖函數(shù)

y′——候選樣本x的標(biāo)簽

唯有y∈z時(shí)，δz(y)的取值為1，否則為0。從式(5)和式(6)可以看出，當(dāng)N個(gè)模型在目標(biāo)位置上沒有分歧時(shí)，P(y|x,z;θm)的值為1，熵正則化項(xiàng)H(y|x,z;θm)的值為0。但是，當(dāng)N個(gè)模型在目標(biāo)位置上存在分歧時(shí)，熵正則化項(xiàng)將不會(huì)為0，因?yàn)镻(y|x,z;θm)的值將不再等于1?？偟膩碚f，在目標(biāo)位置上的分歧越大，不確定性與熵將越大。

3.2 模型選擇與候選區(qū)域的生成

一般來說，最好的模型具有最強(qiáng)的判別力，因而它在幾個(gè)可能的目標(biāo)位置上的得分差異更大。基于這樣的共識(shí)，假設(shè)長時(shí)間的遮擋已經(jīng)發(fā)生，通過每隔φ幀保存1個(gè)模型，最新的N個(gè)模型將會(huì)被用來評(píng)估當(dāng)前的樣本集，不同的模型對(duì)目標(biāo)的位置預(yù)測(cè)有著不同的答案。

在這里，mc代表當(dāng)前最好的模型，mt代表之前的某個(gè)模型。相比于當(dāng)前的模型mc，之前的模型在可能的目標(biāo)位置上分歧將會(huì)更大。原因在于當(dāng)前最好的模型由于學(xué)習(xí)到了遮擋時(shí)錯(cuò)誤的背景信息，而之前的模型mt由于沒有學(xué)到錯(cuò)誤的背景信息，因而它的判別能力更強(qiáng)，它在幾個(gè)可能的目標(biāo)位置上的得分差異性將更大。

而熵是不確定性的度量，不確定性越大，熵越大。所以通過式(2)對(duì)每個(gè)跟蹤模型進(jìn)行評(píng)估，最好的模型將會(huì)具有最小的損失值。不失一般性，本文通過計(jì)算最近若干幀的損失值之和來決定最好的跟蹤模型。對(duì)最好模型的選擇基于

(7)

其中

M=(mt1,mt2,…)

式中M*——最好的模型

M——模型集合

Jmk——某個(gè)模型在第k幀的損失值

除了通過熵決策機(jī)制選擇最好的跟蹤模型之外，本文利用最好的模型在最近幾幀的損失值來確定搜索區(qū)域的大小。由于在大部分情形中，多個(gè)模型在目標(biāo)的位置上是一致的，也就是說對(duì)當(dāng)前幀的目標(biāo)位置不確定性為零，所以式(2)中熵正則化項(xiàng)的值為零，模型的損失值很小，但是當(dāng)模型漂移發(fā)生時(shí)，此時(shí)多個(gè)模型存在對(duì)目標(biāo)位置的分歧，不確定性不為零，從而式(2)中的熵正則化不為零，所以模型的損失值將會(huì)增大?；谶@樣的發(fā)現(xiàn)，本文提出了一種通過擴(kuò)大搜索區(qū)域來實(shí)現(xiàn)目標(biāo)重檢測(cè)的方法，其中搜索區(qū)域的改變基于

(8)

式中t——當(dāng)前幀η——損失值比率

當(dāng)比率η超出某個(gè)閾值時(shí)，模型漂移很有可能發(fā)生，此時(shí)通過擴(kuò)大搜索區(qū)域?qū)δ繕?biāo)進(jìn)行重檢測(cè)，模型漂移的影響將會(huì)被減小。

3.3 候選樣本的生成

對(duì)于候選樣本x=(x1,x2,…,xn)的選擇是基于

Smi=P(li|+)P(+|xE∪Ri;θm)

(9)

其中

(10)

式中l(wèi)i——某個(gè)樣本的中心位置

f(xE∪Ri)——樣本xE∪Ri被某個(gè)模型計(jì)算后的得分

一個(gè)標(biāo)準(zhǔn)差為15的二維高斯函數(shù)被用來代表空域優(yōu)先概率P(li|+)。在所有的樣本xE∪R經(jīng)過式(9)和式(10)計(jì)算之后，得分值被歸一化為0～1，并經(jīng)過非極大值抑制處理后，只有得分值大于0.9的樣本將會(huì)被作為候選樣本。

4 仿真

4.1 OTB 2013 數(shù)據(jù)集

在OTB 2013 數(shù)據(jù)集中，本文算法與SRDCF[4]、MEEM[12]、CNN-SVM[16]等30種較新的算法進(jìn)行了對(duì)比分析。這些算法都是近幾年排名靠前的算法。在本次實(shí)驗(yàn)中，精確度與成功率這2個(gè)指標(biāo)被用來評(píng)估本文算法與對(duì)比算法的性能。

其中精確度是一項(xiàng)基于中心位置誤差的指標(biāo)。中心位置誤差是指預(yù)測(cè)的目標(biāo)位置中心與實(shí)際的目標(biāo)位置中心之間的歐氏距離。而精確度是指距離小于某個(gè)門限值的幀數(shù)占整個(gè)視頻幀數(shù)的百分比。

成功率是另外一項(xiàng)基于重疊率的性能指標(biāo)。重疊率表示預(yù)測(cè)區(qū)域與實(shí)際區(qū)域的交集與其并集之比，成功率表示重疊率大于某個(gè)閾值的幀數(shù)占視頻總幀數(shù)的比重。

圖3為各種算法在OTB 2013數(shù)據(jù)庫中的總體效果。圖中只列出排名靠前的10種算法。由圖3可以看出，在精確度與成功率這2個(gè)性能指標(biāo)上，本文算法均取得了最好的效果。

圖3 各算法在OTB 2013數(shù)據(jù)庫上的性能對(duì)比Fig.3 Performance comparisons of algorithms in OTB 2013 database

在精確度上，CNN-SVM獲得了一個(gè)得分為77.7%的次優(yōu)結(jié)果。它是利用卷積神經(jīng)網(wǎng)絡(luò)獲取指定目標(biāo)的顯著性映射的一種方法。SRDCF比CNN-SVM得分低1.7個(gè)百分點(diǎn)，獲得了第3名的結(jié)果。由于本文算法的候選樣本融入了候選區(qū)域，而這些候選區(qū)域能夠自然地適應(yīng)目標(biāo)的長寬比變化，除此之外，當(dāng)模型發(fā)生漂移時(shí)，自適應(yīng)的調(diào)整搜索區(qū)域?qū)崿F(xiàn)對(duì)目標(biāo)的重檢測(cè)，能夠很好的減輕模型漂移對(duì)跟蹤模型的影響。所以本文算法獲得了最高得分80.2%，達(dá)到了最好的跟蹤性能。

圖4 各算法在不同屬性上的性能對(duì)比Fig.4 Performance comparisons of different attributes of algorithm

在成功率這個(gè)評(píng)價(jià)指標(biāo)上，由于MEEM不能適應(yīng)目標(biāo)的尺度變化，所以它在成功率上的指標(biāo)比較靠后。SRDCF是一種通過壓制邊界效應(yīng)的相關(guān)濾波算法，它獲得了一個(gè)62.6%的得分。本文算法得分為63.6%，獲得了最好的性能結(jié)果。

為進(jìn)一步分析本文算法在解決模型漂移上的優(yōu)越性，本文對(duì)比了不同算法在不同屬性指標(biāo)上的性能，部分實(shí)驗(yàn)結(jié)果如圖4所示。

在尺度變化中，一些視頻序列比如滑雪，目標(biāo)涉及到突然的長寬比變化，由圖4可以看出，本文算法效果明顯比CNN-SVM[16]、DSST[17]等算法要好。長寬比變化自適應(yīng)是本文算法取得最優(yōu)效果的一個(gè)重要原因。

在形變、平面旋轉(zhuǎn)以及遮擋等屬性中，模型漂移很容易發(fā)生。尤其是在發(fā)生長時(shí)間的遮擋后，由于錯(cuò)誤的模型更新，背景信息不可避免的被跟蹤模型學(xué)到，所以跟蹤失敗很容易發(fā)生在接下來的跟蹤過程中。但是對(duì)于本文跟蹤算法，一方面，候選區(qū)域具有物質(zhì)屬性，這在一定程度上能夠減輕形變或平面旋轉(zhuǎn)對(duì)跟蹤性能的影響。另一方面，通過保存之前跟蹤模型建立的多模型選擇機(jī)制，在多個(gè)模型中選擇最具有判別力的跟蹤模型，這樣就能減輕由于遮擋造成的模型漂移對(duì)跟蹤性能的影響。所以在這3個(gè)屬性指標(biāo)上，本文算法均實(shí)現(xiàn)了最好性能。

4.2 UAV 20L 數(shù)據(jù)庫

最近發(fā)布的UAV 20L數(shù)據(jù)庫包含了20個(gè)長視頻序列，共有58 670幀圖像?；诋?dāng)前無人機(jī)跟蹤在搜索與營救、障礙規(guī)避等計(jì)算機(jī)視覺領(lǐng)域的廣泛應(yīng)用，UAV 20L數(shù)據(jù)庫被用來評(píng)估本文算法在無人機(jī)長期跟蹤上的魯棒性。精確度與成功率被用來評(píng)估本文算法在此數(shù)據(jù)庫上的有效性。

在本次實(shí)驗(yàn)中，15個(gè)包含有MEEM[12]、DSST[17]、SAMF[18]、MUSTER[19]、Struck[20]等先進(jìn)跟蹤算法被用來驗(yàn)證本文算法在UAV 20L數(shù)據(jù)庫上的優(yōu)越性，圖5是它們?cè)谡麄€(gè)數(shù)據(jù)庫上的整體性能比較，圖6展示了本文算法與部分對(duì)比算法的跟蹤結(jié)果。

圖5 各算法在UAV 20L數(shù)據(jù)庫上的性能對(duì)比Fig.5 Performance comparisons of algorithms in UAV 20L database

圖6 跟蹤效果示意圖Fig.6 Sketch images of tracking effect

與各個(gè)算法在OTB 2013數(shù)據(jù)庫上的得分相比，在UAV 20L數(shù)據(jù)庫上的得分普遍偏低，這說明UAV 20L相比于OTB 2013數(shù)據(jù)庫更具挑戰(zhàn)性。因?yàn)樵跓o人機(jī)視頻跟蹤過程中，一方面無人機(jī)可能因?yàn)榍胺浇ㄖ日系K物需實(shí)時(shí)轉(zhuǎn)換角度或高度；另一方面，也因?yàn)槟繕?biāo)所處地理環(huán)境復(fù)雜，無人機(jī)必須得實(shí)時(shí)轉(zhuǎn)換角度和位置才能適應(yīng)目標(biāo)的變化。這些因素最終導(dǎo)致的尺度變化和形變是UAV 20L數(shù)據(jù)庫上的主要屬性，而且在尺度變化中，長寬比變化相比于OTB 2013數(shù)據(jù)庫更為常見。

由圖5可以得知，SRDCF在成功率上取得了次優(yōu)結(jié)果，它的成功率為0.413。由于本文算法融入了候選區(qū)域，這些候選區(qū)域能夠自適應(yīng)目標(biāo)的長寬比變化，因而本文算法在尺度變化上更為靈活，這是一些經(jīng)典算法如SRDCF、SAMF所不能實(shí)現(xiàn)的。在模型更新上，本文引入了多模型選擇機(jī)制來回撤錯(cuò)誤模型更新，并通過改變搜索區(qū)域?qū)崿F(xiàn)目標(biāo)的重檢測(cè)以應(yīng)對(duì)跟蹤過程中遮擋的影響，因而本文算法在成功率上取得了最優(yōu)性能。

4.3 參數(shù)分析與算法復(fù)雜度

為進(jìn)一步分析本文算法各個(gè)環(huán)節(jié)對(duì)跟蹤性能的影響，本文算法在OTB 2013數(shù)據(jù)庫上分別分析了樣本xR和候選區(qū)域xE的加入分別對(duì)跟蹤性能的影響，成功率被用來對(duì)比它們之間的性能差異。結(jié)果如表1所示。

表1 xR和xE不同結(jié)合方式對(duì)跟蹤性能的影響

從表1中可以看出，當(dāng)只把滑動(dòng)樣本作為候選樣本時(shí)，其得分比只把候選區(qū)域作為候選樣本的得分值低，滑動(dòng)樣本沒有尺度變化是一個(gè)重要原因。但它比MEEM的得分值要高，說明深度特征比傳統(tǒng)的特征要好，xR和xE結(jié)合的方式取得了最高分，說明在一些復(fù)雜場(chǎng)景如部分遮擋時(shí)，候選區(qū)域并不能很好的框住目標(biāo)，而滑動(dòng)采樣彌補(bǔ)了這一缺陷，使其取得了最好的跟蹤效果。除此之外，本文還進(jìn)一步分析了候選區(qū)域的數(shù)量對(duì)跟蹤性能的影響，其結(jié)果如表2所示。

表2 不同數(shù)量的候選區(qū)域?qū)Ω櫺阅艿挠绊慣ab.2 Effects of different numbers of objectproposals on tracking performance

從表2可以看出，當(dāng)候選區(qū)域的數(shù)量達(dá)到200個(gè)時(shí)，跟蹤算法的性能基本保持穩(wěn)定，此時(shí)增加候選區(qū)域的樣本只能增加計(jì)算的冗余度，因而本文算法選取200個(gè)候選樣本用于跟蹤。

在該文算法中，深度特征的提取是本文算法比較耗時(shí)的一個(gè)部分，為此，本文使用GPU對(duì)特征提取部分加速，使得特征提取部分速度得到提高，最終使得算法跟蹤速度達(dá)到了4幀/s。

5 結(jié)束語

本文提出了一種利用候選區(qū)域的多判別式模型跟蹤算法。在本文算法中，深度特征表征的候選區(qū)域被用來適應(yīng)目標(biāo)的尺度變化，基于熵決策機(jī)制的多判別式模型被用來修正錯(cuò)誤的模型更新，對(duì)目標(biāo)的重檢測(cè)有效避免了遮擋對(duì)魯棒跟蹤的影響。在實(shí)驗(yàn)中，OTB 2013數(shù)據(jù)庫與UAV 20L數(shù)據(jù)庫被用來驗(yàn)證本文算法的優(yōu)越性，實(shí)驗(yàn)結(jié)果表明本文算法取得了最好的性能結(jié)果，并能有效克服模型漂移對(duì)魯棒跟蹤的影響。

1 李盛輝,田光兆,姬長英,等.自主導(dǎo)航農(nóng)業(yè)車輛的全景視覺多運(yùn)動(dòng)目標(biāo)識(shí)別跟蹤[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(1):1-7. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1amp;file_no=20150101amp;journal_id=jcsam.DOI:10.6041/j.issn.1000-1298.2015.01.001.

LI Shenghui, TIAN Guangzhao, JI Changying, et al. Multiple moving objects tracking based on panoramic vision for autonomous navigation of agricultural vehicle[J/OL].Transactions of the Chinese Society for Agricultural Machinery, 2015,46(1):1-7.(in Chinese)

2 張園強(qiáng),畢篤彥，查宇飛，等.一種利用最大間隔相關(guān)濾波的魯棒目標(biāo)跟蹤方法[J]. 空軍工程大學(xué)學(xué)報(bào):自然科學(xué)版,2017, 18(2)：63-68.

ZHANG Yuanqiang, BI Duyan, ZHA Yufei,et al. A robust object tracking algorithm using maximum margin correlation filter[J]. Journal of Air Force Engineering University: Natural Science Edition, 2017，18(2):63-68.(in Chinese)

3 HENRIQUES J, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2015, 37(3): 583-596.

4 DANELLJAN M, HAGER G, SHAHBAZ K F, et al. Learning spatially regularized correlation filters for visual tracking[C]∥IEEE International Conference on Computer Vision, 2015:4310-4318.

5 HELD D, THRUN S, SAVARESE S. Learning to track at 100 fps with deep regression networks[EB/OL]. [2016] .https:∥arxiv.org/abs/1604.01802.

6 NAM H, HAN B. Learning multi-domain convolutional neural networks for visual tracking[EB/OL]. [2015]. https:∥arxiv.org/abs/1510.07945.

7 ZITNICK C L, DOLLAR P. Edge boxes: locating object proposals from edges[C]∥European Conference on Computer Vision, 2014:391-405.

8 ZHU G, PORIKLI F, LI H. Beyond local search: tracking objects everywhere with instance-specific proposals[EB/OL]. [2016]. https:∥arxiv.org/abs/arXiv:1605.01839.

9 HUA Y, ALAHARI K, SCHMID C. Online object tracking with proposal selection[C]∥IEEE International Conference on Computer Vision, 2015:3092-3100.

10 KRISTAN M, MATAS J, LEONARDIS A, et al. The visual object tracking VOT2015 challenge results[C]∥ IEEE International Conference on Computer Vision Workshop, 2015:564-586.

11 GIRSHICK R. Fast r-cnn[C]∥IEEE International Conference on Computer Vision, 2015:1440-1448.

12 ZHANG J, MA S, SCLAROFF S. MEEM: robust tracking via multiple experts using entropy minimization[C]∥European Conference on Computer Vision, 2014:188-203.

13 GRANDVALET Y, BENGIO Y. Semi-supervised learning by entropy minimization[C]∥Neural Information Processing Systems,2005:529-536.

14 WU Y, LIM J, YANG M H. Online object tracking: a benchmark[C]∥ IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2411-2418.

15 MUELLER M, SMITH N, GHANEM B. A benchmark and simulator for uav tracking[C]∥ European Conference on Computer Vision, 2016: 445-461.

16 HONG S, YOU T, KWAK S, et al. Online tracking by learning discriminative saliency map with convolutional neural network[EB/OL]. [2015]. https:∥arxiv.org/abs/1502.06796.

17 DANELLJAN M, HAGER G, KHAN F S, et al. Accurate scale estimation for robust visual tracking[C]∥British Machine Vision Conference, 2014:65.1-65.11.

18 LI Y, ZHU J. A scale adaptive kernel correlation filter tracker with feature integration[C]∥European Conference on Computer Vision, 2014:254-265.

19 HONG Z, CHEN Z, WANG C, et al. Multi-store tracker (muster): a cognitive psychology inspired approach to object tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2015:749-758.

20 HARE S, SAFFARI A, TORR P H S. Struck: structured output tracking with kernels[C]∥IEEE International Conference on Computer Vision,2011:263-270.

MultipleModelTrackingAlgorithmUsingObjectProposals

BI Duyan ZHANG Yuanqiang ZHA Yufei KU Tao WU Min TANG Shujuan

(InstituteofAeronauticsandAstronauticsEngineering,AirForceEngineeringUniversity,Xi’an710038,China)

The scale variation, deformation and occlusion are the important reasons for model drift. In order to overcome the effect of model drift on robust tracking, a multiple model tracking algorithm based on object proposals was proposed. Firstly, as object proposals can reflect the general object material properties, the proposed tracker replaced traditional sliding sampling with object proposals to adapt the displacement and scale variation in the tracking process. And then, in order to enhance the object representation ability, the deep convolutional feature was used to characterize the target. During this process, although the previous size of object proposals may be different, the deep convolutional feature of each object proposal can be extracted quickly by a ROI pooling layer, and each object proposals feature had the same length, which can help to model training and further improve the robustness of the tracker. Lastly, the multi-models selection mechanism was used to undo past bad model updates by selecting the best tracking model, and adjusting the searching area can achieve object re-detection. These measures can inhibit the effect of model drift on robust tracking. In order to verify the superiority of the algorithm, the OTB 2013 benchmark and UAV 20L benchmark, and some classic contrast algorithms recently were used to evaluate the proposed tracker. The results showed that the proposed tracker achieved the best performance on precision and success rate, and the effect of model drift on robust tracking can be effectively suppressed.

object tracking; object proposals; re-detection

10.6041/j.issn.1000-1298.2017.11.005

TP391.4

A

1000-1298(2017)11-0035-08

2017-03-14

2017-04-01

國家自然科學(xué)基金項(xiàng)目(61472442)和航空科學(xué)基金項(xiàng)目(20155596024)

畢篤彥(1962—)，男，教授，博士生導(dǎo)師，主要從事計(jì)算機(jī)視覺與圖像處理研究，E-mail: 463431261@qq.com