呂 凱，袁 亮?，王國(guó)亮

(1.新疆大學(xué) 機(jī)械工程學(xué)院,新疆 烏魯木齊 830047；2.新疆維吾爾自治區(qū)人民醫(yī)院 高血壓研究中心,新疆 烏魯木齊 830001)

0 引言

隨著計(jì)算機(jī)技術(shù)的快速發(fā)展，目標(biāo)跟蹤作為計(jì)算機(jī)領(lǐng)域的重要部分之一，已經(jīng)較成熟的應(yīng)用在智能視頻監(jiān)控、視覺(jué)導(dǎo)航、無(wú)人駕駛、人機(jī)交互中[1].近年來(lái)，相關(guān)濾波跟蹤算法有著高精度、高速度的優(yōu)勢(shì)[2]，從而引起了研究人員的廣泛關(guān)注，并且基于相關(guān)濾波算法框架做了大量的改進(jìn)算法.例如，Henriques等[3]提出的核相關(guān)濾波算法（KCF），使用HOG特征去表達(dá)目標(biāo)模型，并且使用循環(huán)矩陣采集正負(fù)樣本，采用嶺回歸訓(xùn)練；Li Yang等[4]提出的多特征融合尺度自適應(yīng)算法(SAMF)將圖像的灰度特征、HOG特征、CN特征通過(guò)矢量加權(quán)進(jìn)行融合，并且利用尺度池的思想解決目標(biāo)尺度變化的問(wèn)題；Ma Chao等[5]提出了長(zhǎng)時(shí)相關(guān)跟蹤(LCT)，LCT算法是在DSST算法中的平移濾波器和尺度濾波器的基礎(chǔ)上添加了第三個(gè)負(fù)責(zé)檢測(cè)目標(biāo)置信度的相關(guān)濾波器，而它的檢測(cè)模塊使用隨機(jī)蕨分類器(random fern)；Galoogahi等[6]提出的背景感知相關(guān)濾波器(BACF)，放棄了傳統(tǒng)CF方法通過(guò)正樣本循環(huán)位移產(chǎn)生的負(fù)樣本，而是使用了真實(shí)的位移產(chǎn)生的負(fù)樣本，并且采用較大尺寸檢測(cè)圖像塊和較小尺寸濾波器來(lái)提高真實(shí)樣本的比例，解決了邊界效應(yīng).

目前大多數(shù)跟蹤算法基本都是針對(duì)短時(shí)跟蹤，且無(wú)法有效的解決目標(biāo)遮擋問(wèn)題，為此本文提出一種基于相關(guān)濾波-粒子濾波協(xié)作的長(zhǎng)時(shí)目標(biāo)跟蹤算法(CFPF).首先相關(guān)濾波采用自適應(yīng)融合CN特征和HOG特征，增強(qiáng)在復(fù)雜情況下的目標(biāo)特征表達(dá)能力；然后將APCE指標(biāo)[7]與最大響應(yīng)值相結(jié)合對(duì)濾波器模板做出更新調(diào)整，最后當(dāng)跟蹤失敗時(shí)，通過(guò)粒子濾波重新檢測(cè)目標(biāo)位置.

1 BACF濾波器

相關(guān)濾波算法是構(gòu)造目標(biāo)函數(shù)并且讓目標(biāo)函數(shù)最小化訓(xùn)練濾波器模板，公式如下：

式中：K為目標(biāo)特征通道個(gè)數(shù)，k為第k通道；hk∈RD為濾波器模板，xk∈RD為目標(biāo)特征，其D為濾波器模板維數(shù)；y為目標(biāo)期望響應(yīng)，?為卷積運(yùn)算；λ為正則化系數(shù).

BACF濾波器是在相關(guān)濾波算法的基礎(chǔ)上改進(jìn)的，首先式（1）在空間域中表示為：

式中：y(j)為y的第j元素；[Δτj]為循環(huán)位移算子;H為矩陣轉(zhuǎn)置符號(hào).

為了避免傳統(tǒng)相關(guān)濾波算法中循環(huán)位移樣本導(dǎo)致的邊界效應(yīng)問(wèn)題，通過(guò)建立裁剪矩陣對(duì)搜索區(qū)域特征進(jìn)行裁剪，從而獲得多個(gè)真實(shí)的訓(xùn)練樣本.

式中：P為一個(gè)D×T的二值矩陣，作為裁剪矩陣；為了提高計(jì)算效率，相關(guān)濾波器常在頻域中學(xué)習(xí)，因此式（3）可以在頻域中表示為：

2 CFPF算法

BACF濾波器雖然避免了相關(guān)濾波中循環(huán)位移樣本造成的邊界效應(yīng)，但是也存在需要改進(jìn)的地方，如BACF濾波器只采用單一的HOG特征不能有效的適應(yīng)復(fù)雜場(chǎng)景、模板更新固定極易受到污染、當(dāng)目標(biāo)丟失后無(wú)法重新檢測(cè)等.針對(duì)這些問(wèn)題，CFPF算法在BACF濾波器的基礎(chǔ)上做出改進(jìn).

2.1 特征融合CN特征和HOG特征

在目標(biāo)跟蹤領(lǐng)域中，提取圖像特征直接影響跟蹤的性能.目前圖像特征大致可以分為顏色特征、紋理特征和深度特征，而每一種特征描述圖像的能力均不一樣，適用于場(chǎng)景也不一樣.因此要想在不同的場(chǎng)景下描述圖像的信息，采用多特征融合是必要的.大量的學(xué)者研究發(fā)現(xiàn)，顏色特征和紋理特征融合互補(bǔ).HOG特征具有平移、旋轉(zhuǎn)、光照不變性，而CN特征對(duì)于運(yùn)動(dòng)模糊具有很好的穩(wěn)定性；同時(shí)HOG特征描述圖像的局部性質(zhì)，CN特征描述圖像的全局性質(zhì).因此將兩個(gè)特征結(jié)合起來(lái)描述目標(biāo)的外觀信息，更具有表達(dá)目標(biāo)外觀的能力，增強(qiáng)跟蹤器的魯棒性.CFPF算法是將HOG特征和CN特征進(jìn)行線性組合.

式中：HOGi、CNi為31維數(shù)組；CNi為11維數(shù)組；Ci為42維數(shù)組用來(lái)表示4×4圖像塊信息.

2.2 模板更新策略

在跟蹤過(guò)程中，跟蹤目標(biāo)難免會(huì)發(fā)生目標(biāo)漂移或者目標(biāo)部分丟失等問(wèn)題，在這類問(wèn)題下更新的目標(biāo)信息會(huì)存在一些錯(cuò)誤，使得模板信息不準(zhǔn)確，直接影響后續(xù)的跟蹤精度，因此正確的模板信息是影響能否跟蹤成功的一個(gè)關(guān)鍵所在，有效的模板更新策略可以判斷模板信息的準(zhǔn)確性，可以有效的防止目標(biāo)漂移，提高抗遮擋能力、并且在長(zhǎng)時(shí)間跟蹤中最大化減小累積誤差的問(wèn)題，從而提高目標(biāo)跟蹤的性能.在BACF算法中的模板更新是固定不變的，即每幀更新模板信息，而CFPF算法中的模板更新做出改進(jìn)，提出采用最大響應(yīng)值Fmax和平均峰值相關(guān)能量(Average Peak to Correlation Energy，APCE)去判斷在當(dāng)前幀中跟蹤目標(biāo)是否準(zhǔn)確，從而判斷模板是否需要更新.首先設(shè)置兩個(gè)閾值Tf=0.01和TAPCE=20，若當(dāng)Fmax＞Tf且APCE＞TAPCE，則說(shuō)明跟蹤目標(biāo)信息準(zhǔn)確，更新模板信息；若當(dāng)Fmax＜Tf且APCE＜TAPCE，則說(shuō)明跟蹤目標(biāo)信息錯(cuò)誤，停止更新模板信息，啟動(dòng)重檢測(cè)，重新定位目標(biāo)位置信息；若在以上兩種情況之外，則說(shuō)明跟蹤目標(biāo)信息有一定的偏差，停止更新模板信息，不啟動(dòng)重檢測(cè).目標(biāo)模板更新公式為

式中：Fmax是最高響應(yīng);Fmin是最低響應(yīng);Fw,h是在(w,h)位置上的響應(yīng).

2.3 目標(biāo)重新檢測(cè)

在跟蹤過(guò)程中，目標(biāo)在被遮擋或者丟失的情況下，造成后續(xù)幀的跟蹤失敗，因此當(dāng)判斷跟蹤失敗時(shí)啟動(dòng)重新檢測(cè)是非常重要的環(huán)節(jié)之一.在CFPE算法中設(shè)計(jì)了一個(gè)重新檢測(cè)器，當(dāng)Fmax＜Tf且APCE＜TAPCE時(shí)，啟動(dòng)重新檢測(cè)器，這樣重新檢測(cè)器不會(huì)在每幀中進(jìn)行檢測(cè)目標(biāo)位置信息，避免了重建檢測(cè)器和正常檢測(cè)造成的冗余信息，減少算法的運(yùn)算量，提高了算法的運(yùn)行速度.

粒子濾波算法可以解決非線性和高斯系統(tǒng)的問(wèn)題，并且精度可以逼近最優(yōu)估計(jì)，而顏色直方圖是按照顏色對(duì)圖像中的像素在不同量化區(qū)間的分布數(shù)量統(tǒng)計(jì)，計(jì)算簡(jiǎn)單，具有較強(qiáng)的抗形變和旋轉(zhuǎn)能力，因此CFPE算法將粒子濾波器設(shè)計(jì)為一個(gè)目標(biāo)重檢測(cè)器，并且將顏色直方圖作為目標(biāo)特征表達(dá).

2.4 CFPF算法流程

CFPE算法流程如圖1所示.

圖1 CFPE算法流程圖Fig 1 CFPE algorithm flow chart

3 性能測(cè)試及實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)環(huán)境及設(shè)置

實(shí)驗(yàn)硬件環(huán)境為CPU Intel Core i5-7500，主頻3.40 GHz，內(nèi)存8 GB配置的計(jì)算機(jī)，算法開發(fā)平臺(tái)為MATLAB R2018a.除特殊說(shuō)明外，實(shí)驗(yàn)中的參數(shù)使用原作者提供代碼的默認(rèn)參數(shù).

CFPE算法對(duì)跟蹤目標(biāo)被遮擋、形變問(wèn)題以及長(zhǎng)時(shí)間穩(wěn)定跟蹤問(wèn)題有所改進(jìn)，為了驗(yàn)證CFPE算法的性能，采用OTB100數(shù)據(jù)集[8]含有不同屬性的視頻集進(jìn)行評(píng)估CFPE算法抗遮擋、形變性能以及適應(yīng)復(fù)雜環(huán)境的魯棒性，因?yàn)閁AV123數(shù)據(jù)集[9]的視頻序列較長(zhǎng)，因此采用UAV123數(shù)據(jù)集評(píng)估CFPE算法的長(zhǎng)時(shí)間跟蹤的性能.為了直觀且更好的分析CFPE算法的性能，實(shí)驗(yàn)測(cè)試分析中將選用SAMF[4]、LCT[5]、BACF[6]、ECO-hc[10]、DSST[11]等5種流行跟蹤算法.

3.2 評(píng)估方法

選擇使用OPE(One Pass Evaluation)模式驗(yàn)證6種跟蹤算法的性能，即跟蹤算法在每個(gè)視頻中運(yùn)行一次得出評(píng)估結(jié)果，并且采用了三種常見的評(píng)估指標(biāo)：跟蹤成功率(Success Rate)、跟蹤精度(Precision)、跟蹤算法速度(FPS).

3.3 實(shí)驗(yàn)對(duì)比分析

3.3.1 整體性能分析

本組實(shí)驗(yàn)采用OTB100數(shù)據(jù)集進(jìn)行測(cè)試，該數(shù)據(jù)集中一共包含100組圖像序列，并且每組圖像序列都存在若干個(gè)常見的干擾屬性.圖2為6種跟蹤算法在0TB100數(shù)據(jù)集中整體性能的OPE精確度曲線圖和成功率曲線圖，并且圖2中的圖例顯示每種算法的運(yùn)行速度.在圖2（a）精確度圖中，CFPE算法排在第一位，并且相比于BACF算法，跟蹤精度提高了2.0%;在圖2（b）成功率圖中，CFPE算法依然排在第一位，并且成功率比BACF算法提高了1%；在圖2中看出CFPE算法的平均運(yùn)算速度為26.2 fps，可以達(dá)到實(shí)時(shí)要求.因此從圖2中的數(shù)據(jù)得出CFPE算法在復(fù)雜場(chǎng)景下跟蹤具有較好的魯棒性并且具有實(shí)時(shí)性.

圖2 OTB100數(shù)據(jù)集整體屬性的精度曲線和成功率曲線Fig 2 The accuracy curve and success rate curve of the overall attributes of the OTB100 data set

3.3.2 單個(gè)屬性的性能分析

為了驗(yàn)證CFPE算法在各種屬性中的性能，本組實(shí)驗(yàn)采用OTB100數(shù)據(jù)集進(jìn)行測(cè)試，對(duì)CFPE算法做定性分析.如表1所示，6種跟蹤算法在0TB100數(shù)據(jù)集中的11種干擾屬性的跟蹤精度和成功率，其中括號(hào)中數(shù)值表示跟蹤成功率，加黑符號(hào)表示在某個(gè)屬性中排名第一，下劃線符號(hào)表示在某個(gè)屬性中排名第二.通過(guò)表1中數(shù)據(jù)得出CFPE算法和ECO hc算法在11個(gè)屬性中基本排在前二.從表1可以看出，在背景干擾、形狀改變和遮擋屬性中，CFPE算法的跟蹤精度和成功率和BACF算法相比，其中跟蹤精度分別提高了4.7%、6.3%、7.4%，成功率分別提高了3.7%、2.5%、6.4%.

表1 11種干擾屬性的跟蹤精度和成功率Tab 1 Tracking accuracy and success rate of 11 interference attributes

3.3.3 實(shí)際跟蹤效果圖對(duì)比

為了更加直觀的反映CFPE算法性能，將6種算法在圖像序列上的跟蹤效果進(jìn)行對(duì)比分析.圖3為6種算法在部分序列上的跟蹤結(jié)果.

圖3 6種算法在部分序列上的跟蹤結(jié)果Fig 3 Display of tracking results of 6 algorithms on partial sequences

（1）背景干擾，在跟蹤目標(biāo)過(guò)程中，由于靠近目標(biāo)的背景與目標(biāo)的顏色或紋理相近，造成跟蹤漂移或者失敗.以“couple”“matrix”組視頻為例，如圖3(a)跟蹤目標(biāo)為白色上衣的男子，但是在跟蹤過(guò)程中，黑色上衣的男子作為目標(biāo)背景，且紋理信息與目標(biāo)相似，隨著兩人分開，只有CFPE算法穩(wěn)定跟蹤目標(biāo)，而其他算法跟蹤失敗.如圖3(b)跟蹤目標(biāo)和背景的顏色信息相近，因此在跟蹤過(guò)程中只有CFPE算法可以有效跟蹤.

（2）形狀改變，由于目標(biāo)對(duì)象為非剛性，在跟蹤過(guò)程中目標(biāo)發(fā)生形狀改變而影響跟蹤精度.以“fleetface”“Skating2.1”組視頻為例，如圖3 (c)、圖3(d)跟蹤對(duì)象為人臉和滑冰女孩，在跟蹤過(guò)程中，跟蹤對(duì)象一直發(fā)生形狀改變，造成跟蹤的困難，只有CFPE算法和ECO_hc算法可以穩(wěn)定跟蹤，而其它算法發(fā)生漂移.

（3）遮擋屬性，在目標(biāo)跟蹤過(guò)程中，遮擋問(wèn)題時(shí)常發(fā)生.以“Bird2”“ car7”組視頻為例，如圖3(e)跟蹤對(duì)象為大鳥，但是在跟蹤過(guò)程中大鳥被小鳥遮擋，只有CEPE算法可以穩(wěn)定跟蹤，而其它算法的跟蹤框都漂移到小鳥身上，造成跟蹤失敗；如圖3(f)跟蹤對(duì)象為白色轎車，在跟蹤過(guò)程中，白色轎車被樹遮擋，當(dāng)白色轎車脫離遮擋時(shí)，只有CEPE算法和ECO_hc算法可以穩(wěn)定跟蹤，而其它算法均跟蹤失敗.

3.3.4 長(zhǎng)時(shí)間穩(wěn)定跟蹤的性能分析

本組實(shí)驗(yàn)采用UAV123數(shù)據(jù)集進(jìn)行測(cè)試.圖4為6種跟蹤算法UAV123數(shù)據(jù)集上的OPE精確度圖和成功率圖.在CFPE算法中增加了判斷濾波器模板更新機(jī)制，只有在適當(dāng)?shù)臈l件下才會(huì)更新，這樣就減少了模板被污染或者降低更新模板中造成的累計(jì)誤差.在圖4（a）精確度圖和圖4（b）成功率圖中，CFPE算法均排在第一位，并且相比于BACF算法，跟蹤精度提高了7.5%，成功率提高了6.1%；因此可以得出CFPE算法在長(zhǎng)時(shí)間跟蹤過(guò)程中，跟蹤性能較穩(wěn)定.

圖4 UAV123數(shù)據(jù)集的精度曲線和成功率曲線Fig 4 Accuracy curve and success rate curve of UAV123 data set

4 結(jié)論

由于BACF算法無(wú)法有效解決目標(biāo)被遮擋、形變以及長(zhǎng)時(shí)間穩(wěn)定跟蹤的問(wèn)題，本文提出了一種基于相關(guān)濾波-粒子濾波協(xié)作的長(zhǎng)時(shí)目標(biāo)跟蹤算法(CFPF).首先在目標(biāo)特征表達(dá)方面，將融合CN特征和HOG特征以增強(qiáng)在復(fù)雜情況下的目標(biāo)特征表達(dá)能力;然后將APCE指標(biāo)與最大響應(yīng)值相結(jié)合對(duì)濾波器模板做出更新調(diào)整，并且當(dāng)判斷目標(biāo)跟蹤失敗時(shí)，通過(guò)粒子濾波重新檢測(cè)目標(biāo)位置.最后在公認(rèn)數(shù)據(jù)集中進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，CFPE算法增強(qiáng)了在復(fù)雜環(huán)境下跟蹤目標(biāo)魯棒性和長(zhǎng)時(shí)間穩(wěn)定跟蹤的性能，并且在目標(biāo)被遮擋、形變等情況下跟蹤精度和成功率有著顯著提升，同時(shí)速度可以達(dá)到實(shí)時(shí)要求.