歐陽美龍

（遼東學院工程技術(shù)學院，遼寧 丹東 118000）

0 引言

目標跟蹤是當前計算機視覺領(lǐng)域的研究熱點，在智能監(jiān)控、導航定位及人機交互等領(lǐng)域有著重要應(yīng)用，但受限于實際應(yīng)用中遮擋、目標形變、相似干擾及光照變化等復雜環(huán)境，已有跟蹤算法難以滿足應(yīng)用中的準確性、實時性以及魯棒性要求，因此，構(gòu)建有效的視覺特征模型，并提高其對復雜背景的可分性和自適應(yīng)性，是進行魯棒目標跟蹤的關(guān)鍵，也是極具挑戰(zhàn)的課題之一。

目標跟蹤通常分為產(chǎn)生式和判別式兩類方法，產(chǎn)生式算法基于模型匹配處理，通過先驗模型構(gòu)建和最后似然估計，搜索與目標最匹配的圖像匹配，如空間學習、特征模板和局部稀疏表達等方法，產(chǎn)生式算法具有豐富的目標信息描述能力，但缺少對背景影響的考慮，當目標自身變化或光照變化、遮擋存在時，跟蹤漂移較大；判別式算法構(gòu)建目標和背景的二分類模型，通過更新在線分類器完成對背景的分類和目標的跟蹤，判別式算法又可細分為傳統(tǒng)方法、基于相關(guān)濾波和深度學習的方法，傳統(tǒng)方法如：基于Boosting、SVM、Bayesian和隨機學習的分類器，傳統(tǒng)判別式跟蹤方法兼顧到目標與場景信息，具有較好的判別能力，但其對樣本質(zhì)量和數(shù)據(jù)要求較高，且計算復雜度較大。

具有頻域快速計算特性的相關(guān)濾波的跟蹤方法以其出色的性能和速度優(yōu)勢，緩解了傳統(tǒng)判別式算法的低效及對樣本依賴問題，成為研究熱點之一。Bolme 等首次將相關(guān)濾波引入到了目標跟蹤領(lǐng)域；Henriques 等在相關(guān)濾波基礎(chǔ)上，提出核相關(guān)濾波（kernel correlation filter，KCF）算法，并采用多通道HOG 特征來提高算法的跟蹤跨度與環(huán)境適應(yīng)性，但KCF 算法對遮擋處理不好，且采用固定采樣窗；DONG 等將顏色名屬性特征引入到相關(guān)濾波框架中以擴展跟蹤器特征，并對高維顏色特征進行了自適應(yīng)降維處理以確保算法的實時性；沈秋等將HOG 等多種特征與圖像灰度特征串聯(lián)，并以跟蹤器最大響應(yīng)位置進行目標跟蹤，以緩解相關(guān)濾波中單一特征易被復雜場景干擾問題；趙高鵬等融合了LBP 峰值旁瓣比及圖像灰度特征等，以避免單一特征局限；熊昌鎮(zhèn)等基于特征融合并采用核相關(guān)濾波計算目標的顏色屬性和梯度直方圖濾波響應(yīng)，并以此分配權(quán)重估計目標位置，算法的跟蹤效率較高；MA 等通過對前一幀圖像跟蹤結(jié)果的多尺度采樣來評估幀間的尺度變化，有效解決模塊大小的定型問題，一定程度上緩解目標尺度變化對跟蹤性能的影響，但并未完全有效解決尺度變化影響；相關(guān)濾波跟蹤極大提高了算法效率，但未將局部背景信息引入到模型中，因而在復雜干擾環(huán)境下，算法的分類能力下降，易產(chǎn)生跟蹤漂移。

近年來，具有強大特征提取和表達能力的深度學習被引入到目標跟蹤領(lǐng)域，并得到研究人員重視。BLEI 等利用分層CNN 網(wǎng)絡(luò)進行目標特征學習，低層高分辨率特征進行精確目標定位，高層語義信息處理目標姿態(tài)變化，然后以線性加權(quán)實現(xiàn)目標準確跟蹤；李康等將深度特征的豐富信息引入到相關(guān)濾波框架中，并與傳統(tǒng)特征相融合，取得較好的跟蹤效果，但基于深度學習的目標跟蹤算法仍面臨大樣本依賴和計算復雜度高的問題。

基于分塊的跟蹤算法通過對子塊匹配程序的測試，實現(xiàn)高置信度子塊的準確目標跟蹤，由于子塊內(nèi)圖像具有較好的模式不變性，基于圖像分塊的目標跟蹤算法，對目標的局部變化、遮擋及光照變化等具有較好的適應(yīng)性。Lukeic 等以均勻矩形方式對目標進行分割，并提取直方圖特征，然后通過子塊加權(quán)進行目標定位跟蹤；Bency 等將自適應(yīng)相關(guān)濾波與目標分塊相關(guān)濾波，在對目標分塊為固定的矩形塊后，進行塊內(nèi)相關(guān)濾波計算，并通過塊內(nèi)預測結(jié)果加權(quán)進行目標跟蹤；Song 等將目標進行固定矩形分塊，并對分塊進行獨立相關(guān)濾波訓練，并結(jié)合塊間結(jié)構(gòu)關(guān)系進一步提高跟蹤精度。已有的分塊目標跟蹤算法通常采用固定數(shù)量的矩形分塊形式，不利于跟蹤目標的多樣性，且易引入背景干擾。

1 光照不敏感特征提取

局部敏感直方圖（local sensitive histogram，LSH）用于計算某像素的鄰域內(nèi)不同灰度級像素值的加權(quán)累加，其計算式為：

其中，H（b）描述了圖像中p 點像素的灰度值為b的LSH 值；b=1，…，B，B 為像素鄰域中灰度級數(shù)；α∈（0，1）為浮點權(quán)值的控制因子。當像素距離中心像素點p 位置較遠時，其值取較小值，I為鄰域內(nèi)像素點q 的灰度值，當I位于灰度級b 內(nèi)時，有Q（I，b）=1，反之，則Q（I，b）=0，W 為像素p 的鄰域總像素數(shù)。

為適應(yīng)目標跟蹤過程中，光線變化對提取特征的影響，根據(jù)LSH 構(gòu)建光照不敏感特征（light-insensitive feature，LIF）如下：

式中，b為p 點像素所處的灰度級別；κ 為某一常數(shù)值，通常取值為κ=0.1；I為目標區(qū)域的平均灰度值。對式（2）所示光照不敏感特征進行不同光照條件實驗，部分實驗結(jié)果如圖（1）所示，圖1（a）和圖1（b）分別為同一人物與背景在光線較強和較暗時的圖像，而圖1（c）和圖1（d）分別為對應(yīng)的通過光照不敏感特征變換后的結(jié)果，可以看出，圖1（c）和圖1（d）結(jié)果基本相同，說明式（2）在忽略量化誤差情況下，其特征具有較好的光照不變特性。

圖1 光照不敏感特征實驗結(jié)果

2 基于自適應(yīng)分塊的多模型融合目標跟蹤

2.1 圖像自適應(yīng)分塊

圖像分塊可以將圖像劃分為若干結(jié)構(gòu)化子圖，通過子圖匹配度分析，實現(xiàn)目標跟蹤。由于子圖通常具有較強的模式不變性，并對局部遮擋及背景變化的適應(yīng)性較強，因而有利于提高算法的目標跟蹤性能，并得到廣泛關(guān)注。但傳統(tǒng)分塊算法通常采用數(shù)量固定或尺寸均勻的矩形分塊，雖然分場簡單快速，但易對目標自身結(jié)特性及其與背景的邊界差異造成破壞，不利于算法對目標多樣化和多變性的適應(yīng)。

超像素模型可以根據(jù)圖像像素的灰度、紋理及顏色等屬性，將屬性相似的近鄰像素劃分到同一分塊中進行整體處理，超像素分塊內(nèi)像素的特征較為一致，因而利用超像素模型可以自適應(yīng)地實現(xiàn)跟蹤目標與背景環(huán)境的有效分塊，以自適應(yīng)地保持邊界信息及目標的空間結(jié)構(gòu)特征，并獲得一定的語義獨立性。相對傳統(tǒng)固定數(shù)量及分塊尺寸，超像素分塊的目標模式不變性能更優(yōu)，為此，文中算法以超像素模型對采集的圖像區(qū)域進行自適應(yīng)劃分，在此基礎(chǔ)上，通過子塊權(quán)重度量，自適應(yīng)選擇目標區(qū)域分塊進行跟蹤?；诔袼啬Ｐ偷淖赃m應(yīng)目標分塊過程如圖2 所示，圖2（a）中紅色區(qū)域為預選目標區(qū)域，圖2（b）為基于超像素模型的自適應(yīng)分塊結(jié)果，圖2（c）為分塊對目標區(qū)域的優(yōu)化。從圖2（c）的局部放大圖可以看出，通過超像素模型分塊優(yōu)化后，目標區(qū)域內(nèi)分塊盡可能保留了特征較為統(tǒng)一的目標信息，而剔除差異相對較大的背景區(qū)域。為進一步提高算法的抗遮擋能力以優(yōu)化目標跟蹤性能，文中將與手動預選目標區(qū)域的邊界存在交叉的超像素設(shè)置為背景，以消除超像素模型可能存在的不確定性。

圖2 超像素模型自適應(yīng)分塊實驗結(jié)果

2.2 目標子塊自適應(yīng)選擇

在進行基于子塊劃分的目標跟蹤時，如果用于跟蹤的子塊特征與目標背景差異較大，或受背景影響較小，則子塊對于目標跟蹤的結(jié)果更為準確，為此，定義局部差異描述因子d（r）來量化背景環(huán)境對目標子塊的干擾，其計算式為：其中，KL（h，h）為Kullback-Leibler 相對熵，即文中采用Kullback-Leibler 相對熵定義目標區(qū)域與背景區(qū)域的局部差異性；t 為當前圖像幀數(shù)；r 為子塊索引號，h（i）與h（i）分別為子塊區(qū)域及其背景區(qū)域的直方圖，其中，子塊的背景區(qū)域定義為：

圖3 子塊局部差異隨采集幀數(shù)變化曲線

在進行目標跟蹤過程中，對于新一幀采集到的圖像，先進行超像素分塊，然后基于已訓練的p（i）值，根據(jù)當前幀聚類結(jié)果，度量超像素分塊的屬于待跟蹤目標區(qū)域的概率為：

其中，p（t）和p（t）為控制參數(shù)，控制w和w對目標子塊的置信貢獻度，其值需要根據(jù)前期已有幀圖像的場景變化進行動態(tài)調(diào)整，即

2.3 基于子塊自適應(yīng)劃分的目標跟蹤

設(shè)t 時刻的采集圖像I的N 個子塊表示為

實際情況下，待跟蹤目標的各個組成子塊間的相對位置在一段較短時間內(nèi)是相對固定的，為此，式（13）的子塊跟蹤預測位置估計目標當前位置為：

2.4 基于LIF 相似度量的目標跟蹤優(yōu)化

在粒子濾波框架內(nèi)，根據(jù)目標值與觀測值的一致性理論，由式（17）可以計算單個子塊的似然函數(shù)：

3 目標遮擋及模型更新策略

3.1 目標遮擋處理

復雜場景下極易出現(xiàn)的目標遮擋會導致目標跟蹤過程的累積漂移，為此，本文基于目標相似性及分塊判別進行遮擋的檢測處理，對于第t 幀采集圖像，其判別式為：

基于f（i）的采集圖像遮擋檢測結(jié)果如圖4 所示，圖中將目標分為“Leg”和“Body”兩個超像素子塊，從“Leg”塊曲線可以看出，在111 幀圖像時，子塊遮擋嚴重，此時f（i）曲線變化率值最大（藍色）；而相應(yīng)的153 幀時，遮擋消除，此時曲線變化率最小（綠色）；197 幀后，子塊再次出現(xiàn)遮擋，此時曲線再次出現(xiàn)局部峰值點，而在這一過程，“Body”子塊不存在遮擋，其曲線變化率一直較小且較為穩(wěn)定?？梢?，通過f（i）檢測方式，可以較為有效地檢測待跟蹤目標的遮擋情況。

圖4 f2（i）遮擋檢測實驗結(jié)果

3.2 基于緩沖區(qū)的子塊異步更新

4 實驗

為驗證文中目標跟蹤算法的有效性，以目標跟蹤 數(shù) 據(jù) 集 中Woman、Faceocc1、David1、Diving 和Shaking 等6 個跟蹤視頻序列作為實驗數(shù)據(jù)，實驗數(shù)據(jù)涵蓋了遮擋、光照變化、背景干擾、相似目標及姿態(tài)變化干擾等主要挑戰(zhàn)，以跟蹤性能較為優(yōu)異的KCF 算法、DSST 算法、SPT 算法、BACF算法作為實驗比較算法，與文中算法一起從定性、定量和運行效率3 個方面進行性能比較測試，實驗環(huán)境為：CPU intel Core i7-9750H @ 2.60 GHz 32 G 內(nèi)存，采用matlab 2016a 軟件實現(xiàn)各算法。

4.1 目標跟蹤性能實驗分析

為從定性角度驗證本文算法的目標跟蹤性能和跟蹤穩(wěn)定性，在存在目標遮擋、復雜背景及光照變化等嚴重影響目標跟蹤效果的實驗場景中進行目標跟蹤實驗，并對結(jié)果進行綜合分析，實驗過程中，手工選定待跟蹤的目標，然后對其進行超像素分割和目標跟蹤，實驗過程中的部分實驗結(jié)果如圖5 所示，圖中紅色框為本文算法，粉色框為SPT 算法，橘色框為BACF 算法，黃色框為KCF 算法，藍色框為DSST 算法。

圖5 各算法目標跟蹤實驗結(jié)果

圖5（a）和圖5（b）存在目標遮擋視頻序列中，場景中存在相似目標，且該目標移動較為快速，并在跟蹤過程中存在一定遮擋，從實驗結(jié)果可以看出，在實驗開始過程，各算法均能穩(wěn)定且正確跟蹤目標，但隨著目標快速移動，SPT 算法和BACF 算法逐漸發(fā)生偏移，當出現(xiàn)樹木遮擋時，兩種算法由于缺少有效的遮擋檢測而完全丟失目標，主要因為SPT算法經(jīng)歷一次遮擋影響后，其密集采樣相關(guān)濾波的分類器性能極速下降；BACF 算法主要依據(jù)在首幀采樣數(shù)據(jù)進行模型的迭代更新，缺乏在線訓練過程，因而對遮擋的適應(yīng)性較差，且跟蹤過程偏移累積較大。KCF 算法和DSST 算法在模型相關(guān)濾波更新時采用實時的背景作為負樣本，模型判別和抗遮擋性能更強，因而實驗中對目標的跟蹤較為穩(wěn)定，只有少部分的圖像幀中丟失目標。文中算法通過高權(quán)子塊（如眼睛子塊和腿部子塊）權(quán)值在遮擋前后的變化度量實時獲取目標變化，并根據(jù)變化結(jié)果，通過擴展采樣范圍實現(xiàn)對目標的重新跟蹤和捕捉。

圖5（c）和圖5（d）復雜背景視頻序列中背景復雜，且目標存在較多的姿勢變化，從實驗結(jié)果可以看出，所有實驗算法的目標跟蹤準確性和穩(wěn)定性都不高，BACF 算法、KCF 算法和DSST 算法對復雜背景的適應(yīng)性較差，在開始時可以實現(xiàn)準確跟蹤，但隨著跟蹤的中斷，算法很快丟失目標或跟蹤到背景假目標中；由于在局部鄰域，待跟蹤目標與復雜背景存在較高的可分性，因而以超像素分塊為基礎(chǔ)的SPT 算法及本文算法在跟蹤時可以搜索到穩(wěn)定的高可靠的目標子塊，盡管目標姿態(tài)變化會導致目標子塊的背景可分性下降，但本文算法通過初始高權(quán)值目標子塊（如圖5（d）中穩(wěn)定跟蹤在目標腿部子塊）捕捉和后續(xù)的粒子濾波擴展采樣，快速恢復實現(xiàn)對目標完整的跟蹤；SPT 算法采用顏色統(tǒng)計特征優(yōu)化其對外界干擾的感知，不受目標形跡的影響，因而也取得較好的跟蹤效果，好于其他方法。

圖5（e）和圖5（f）光照變化視頻序列中存在復雜光照、相似目標及遮擋等干擾因素，對算法的跟蹤魯棒性帶來極大挑戰(zhàn)。從實驗結(jié)果看，盡管相似目標和光照變化影響較大，但鄰域內(nèi)的局部可分性較好，因而各算法在起始均能較好地跟蹤目標，但隨著背景光線及相似目標的互遮擋，BACF、KCF 及DSST 等基于整體更新策略的跟蹤算法逐漸出現(xiàn)較大的偏移，DSST 算法仍能對目標進行跟蹤，但其跟蹤窗口內(nèi)包含大量非目標像素；BACF 算法的循環(huán)移位采用范圍擴展策略受相似目標影響，導致難以判別真實目標，后期完全丟失目標。

綜合分析上述實驗結(jié)果，可以看出，在遮擋、光照變化及相似目標等復雜場景下，本文算法的綜合目標跟蹤表現(xiàn)更加平穩(wěn)，正確率最優(yōu)。

4.2 跟蹤精度比較分析

為驗證本文算法的目標跟蹤精度，以平均正確率f和平均重合率f作為評價指標：

其中，T 和R 分別為目標真實框和跟蹤框；M 和M分別為實驗數(shù)據(jù)集圖像的總幀數(shù)及成功跟蹤的幀數(shù)。其中，當f大于預設(shè)閾值時，則認為當前幀跟蹤成功，文中閾值設(shè)置為0.5。f描述了一次實驗中目標成功跟蹤的圖像幀數(shù)，f值越大，說明算法跟蹤準確性越高；f描述了實驗結(jié)果與實際目標之間的中心偏差均值，其值越小，說明跟蹤精度越高。如表1和表2 為多次實驗結(jié)果的f和f均值。從實驗結(jié)果可以看出，KCF、DSST 和BACF 算法在背景干擾較小Faceocc1 實驗序列中，取得與SPT 算法和本文算法相近的實驗結(jié)果，但在其他序列中，當遮擋、復雜背景和相似目標存在時，這3 種算法的跟蹤準確率和跟蹤精確度迅速降低，SPT 和本文算法在各實驗序列中均取得相近且較優(yōu)的結(jié)果，而本文算法更有優(yōu)勢，這與4.1 實驗結(jié)果相一致。

表1 各算法的跟蹤正確率均值

表2 各算法的跟蹤重合率均值

4.3 算法運行效率分析

本文算法時間復雜度主要與樣本數(shù)、目標區(qū)域、分塊數(shù)及目標子塊數(shù)等相關(guān)。為提高跟蹤效率，在超像素子塊分割時，僅對當前幀前一幀確定的目標的一定鄰域范圍進行分塊，并將搜索到的目標子塊控制在2～5 之間，因為多次實驗后發(fā)現(xiàn)，如果模型在跟蹤過程中，沒有對子塊進行進一步篩選和優(yōu)化，子塊數(shù)的增大，對跟蹤精度的提高并不明顯。因此，控制目標子塊數(shù)可在保證跟蹤精度的同時，減少計算復雜度。表3 統(tǒng)計了實驗中不同算法的跟蹤效率，表中數(shù)據(jù)為各算法每秒處理的圖像幀數(shù)均值。

表3 各算法的運行效率對比

從實驗結(jié)果可以看出，本文算法的整體運行效率低于KCF、DSST 和BACF 3 種算法，但與性能相近的SPT 算法相比，略有優(yōu)勢，整體高于SPT 算法，基本滿足實時性要求。本文算法在訓練階段和測試階段，可以根據(jù)待跟蹤目標的大小對分塊壓縮因子及塊數(shù)據(jù)進行動態(tài)調(diào)整，結(jié)合異步更新和光照不敏感特征，盡管損失了一部分計算效率，但在保證對復雜場景的魯棒性基礎(chǔ)上，取得了較高的跟蹤準確性和跟蹤精度。

5 結(jié)論

為解決復雜環(huán)境下跟蹤算法面臨的光照變化、遮擋及相似干擾等問題，提出了基于多模型融合的自適應(yīng)分塊魯棒目標跟蹤算法。算法基于局部敏感直方圖構(gòu)建光照不敏感特征，基于超像素分割對采集圖像進行自適應(yīng)分塊，以充分發(fā)揮子塊的特征一致優(yōu)勢；通過相對熵和均值聚類構(gòu)建雙權(quán)值約束，以自適應(yīng)提取高置信度子塊進行目標跟蹤，從而避免全局搜索，并提高跟蹤的精確性和實時性；最后算法通過遮擋檢測和子塊異步更新，進一步提高算法的運行效率和魯棒性，提高模型對背景信息的過濾能力。實驗結(jié)果表明，與其他跟蹤方法相比，在包括遮擋、光照變化、相似目標和背景干擾等復雜場景下，本文算法具有更優(yōu)的跟蹤精度和跳躍正確率，以及對不同場景的適應(yīng)性和魯棒性。