李興陽，趙天亮，李雅欣，桑飛飛，王晨宇，肖春寶

(河南科技大學 信息工程學院,河南 洛陽 471023)

0 引言

計算機視覺技術(shù)在當前的科技領(lǐng)域中擁有著廣泛的應用,其中目標跟蹤技術(shù)是研究的重點之一。由于目標跟蹤技術(shù)具有廣泛的應用前景,在過去的幾十年里,已經(jīng)涌現(xiàn)出了許多優(yōu)秀的目標跟蹤算法,其中基于核相關(guān)濾波(KCF)的算法成為研究熱點之一。KCF算法通過對模板和響應圖像之間的相關(guān)運算來進行目標跟蹤,具有實時性和高準確性的優(yōu)點,已經(jīng)成為目標跟蹤領(lǐng)域的主流算法之一。

然而,在實際應用中,由于種種原因,如目標快速運動、光照變化、目標遮擋等,傳統(tǒng)的KCF算法可能會出現(xiàn)跟蹤失敗或跟蹤誤差大等情況,這給目標跟蹤技術(shù)的應用帶來了困難。針對以上問題,本文在KCF算法的基礎(chǔ)上,提出了一種針對目標被遮擋后導致目標丟失的解決方法,通過該幀的響應峰值判斷目標是否異常,若目標連續(xù)異常數(shù)達到閾值則判定目標丟失,此時通過使用運動估計和模板匹配算法來重定位目標,重定位成功后則繼續(xù)采用KCF算法進行跟蹤。

1 KCF算法簡介

KCF算法是一種經(jīng)典的目標跟蹤算法,采用離散傅里葉變換(DFT)和相關(guān)濾波的思想,通過計算目標和背景的相似度,實現(xiàn)目標的定位和跟蹤。KCF算法首先通過使用高斯核函數(shù)將目標的特征表示為一個高維向量,然后通過計算訓練樣本和測試樣本的核相關(guān)矩陣,得到訓練樣本的響應圖。使用循環(huán)移位技術(shù)將測試樣本響應圖的峰值與目標位置對齊,即可得到目標的位置信息。最后,利用在線學習方法不斷更新目標的特征向量,實現(xiàn)目標的連續(xù)跟蹤。KCF算法具有計算速度快、實時性強和魯棒性好等優(yōu)點,在目標跟蹤領(lǐng)域得到了廣泛應用。由于該算法依賴于局部相似度和單目標模型,在復雜場景下仍然存在著一定的局限性,需要進行進一步改進。

2 改進KCF算法原理

2.1 目標丟失預警機制

當目標丟失后,傳統(tǒng)KCF算法將繼續(xù)使用上一幀的跟蹤結(jié)果來預測下一幀中的目標位置,從而導致跟蹤框位置發(fā)生漂移。由于KCF算法總是將待檢測樣本中響應值最大的位置作為目標,無論目標是否在采樣窗口內(nèi),在待檢測的樣本中總有響應值最大的位置,此位置可能并非目標的真實位置。

采用文獻[1]的思想,并加以改進,可以根據(jù)響應峰值的大小來判斷目標是否丟失或?qū)⒁獊G失。令Pt表示當前幀的響應峰值,集合{Vi|i=1,2,…,n}表示從開始到當前幀為止所有響應峰值正常的幀的響應峰值的大小。

(1)

其中:v表示正常幀的響應峰值的平均值;σ表示標準差。

如果當前幀的響應峰值距離均值v超過了λσ(λ為異常檢測因子)則判定當前幀中的目標跟蹤異常。當待測樣本中響應峰值出現(xiàn)異常,這并不能代表目標已經(jīng)失去跟蹤,可能只是目標部分被遮擋所導致,當目標再次出現(xiàn)時,仍然能夠繼續(xù)定位,所以此時繼續(xù)采用KCF算法進行跟蹤。當連續(xù)T(本文取值25)幀出現(xiàn)響應峰值異常時,說明此時目標已經(jīng)跟蹤失敗,判定目標丟失,需要重新對目標進行定位。

2.2 目標重定位

當目標發(fā)生遮擋時,主要是因為目標發(fā)生橫向移動所導致,縱向移動主要影響目標的尺度變化,故此時可以忽略目標的尺度變化[2]。當檢測到峰值異常時,記錄最近一次正常幀的目標模板,當超過幀峰值仍未恢復正常,則應該停止對目標模板的更新,同時將目標模板恢復至最近一次正常幀的目標模板,減少異常幀對目標模板的影響,同時開始重定位目標位置。

2.2.1 線性預測目標位置

當目標丟失后,由于攝像機的運動和目標的運動同時發(fā)生,目標的位置很難預測,也并沒有很好的運動模型適合預測。由于目標的運動趨勢在最近幾幀中并不會有較大改變,再加上系統(tǒng)對實時性的要求,故采用線性預測[3]的方法來估計目標的新位置。

設在第t幀中目標響應峰值開始異常,目標框的中心位置(xt,yt),則在連續(xù)T幀后,即t+T幀開始對目標位置進行重定位。集合L={(xi,yi)|i=1,2,…,n}表示t幀前n幀中目標框的中心位置,則有:

(2)

然后,對預測位置進行模板匹配,根據(jù)響應峰值判斷是否預測成功,如果預測成功則繼續(xù)進行KCF算法,反之開始進行模板匹配算法,再次進行重定位。

2.2.2 模板匹配算法

采用歸一化相關(guān)系數(shù)匹配算法,在響應峰值正常的圖像中根據(jù)目標的位置,將目標截取出來并保存,作為模板匹配的模板圖像使用。當目標丟失后再次出現(xiàn)時,通過歸一化相關(guān)系數(shù)匹配算法,能夠很容易在一幀中將目標定位出來。

(3)

其中,⊙表示兩個矩陣進行點乘;T表示模板圖像;I表示待匹配圖像;T′,I′表示去均值后的矩陣;x,y代表當前搜索框在I矩陣中左上角元素的坐標;x′,y′ 代表T和搜索框框出來的I的矩陣的元素坐標。

計算出的相關(guān)系數(shù)被限制在了[-1, 1] 之間,1表示完全相同,-1表示兩幅圖像的亮度正好相反,0 表示兩幅圖像之間沒有線性關(guān)系。通過尋找輸出矩陣的最大值,得到一個像素點,以該像素點為矩形區(qū)域的左上角,繪制與模板圖像同尺寸的矩形框,此矩形框就是通過模板匹配算法定位到的目標可能存在的位置。然后通過KCF算法對其進行判定,若得到的響應峰值不再異常,則判定目標重定位成功,反之失敗。

3 算法整體步驟

首先,讀入視頻序列并選擇跟蹤目標,然后采用KCF算法進行跟蹤,判定目標跟蹤是否異常,當連續(xù)異常幀數(shù)大于幀時判定目標丟失,跟蹤失敗,此時開始目標重定位算法,優(yōu)先通過模板匹配算法對目標可能出現(xiàn)的位置進行預測,然后根據(jù)響應峰值判斷目標是否重定位成功,若成功則進入下一幀,若失敗則通過線性預測,進行目標定位,再次通過目標框的響應峰值判斷目標是否重定位成功,若失敗則使用正常幀去檢測下一幀中的目標。

圖1 算法流程圖

4 實驗與分析

4.1 距離精度

為了驗證算法的跟蹤性能,采用距離精度(DP),即中心位置誤差低于某一閾值(本文取30)的幀數(shù)占視頻總幀數(shù)的百分比。(xa,ya)表示預測目標中心位置,(xb,yb)表示真實的目標中心位置。

(4)

符合條件的幀數(shù):中心位置誤差<閾值

精度 = 符合條件的幀數(shù)/總幀數(shù)

由表1中的數(shù)據(jù)可知,本文算法在目標發(fā)生遮擋時跟蹤效果比較好,KCF算法數(shù)據(jù)DP精度較小是因為算法在目標被遮擋時,沒有進行有效的判定,導致后續(xù)目標一直處于丟失狀態(tài)。本文通過線性預測和模板匹配兩種算法對丟失目標進行重定位,能夠有效提高KCF算法對丟失目標的再次跟蹤的能力。

表1 DP精度對比

表2 運行速度對比

4.2 跟蹤速度對比

KCF算法的平均速度約為62幀/s,本文算法平均速度約為48幀/s,相比之下,本文算法在速度上有所下降,這是因為在判定目標響應峰值是否異常、目標的線性預測以及目標的模板匹配時耗費了一些時間,不過考慮到對目標跟蹤準確度的提升,還是在可接受范圍的。

4.3 效果對比

圖2 展示了KCF算法和改進算法對Pktest01序列數(shù)據(jù)的跟蹤效果對比。傳統(tǒng)KCF算法在目標被遮擋后再次回到視野之內(nèi)時,KCF算法并不能夠識別并跟蹤目標,相比之下本文通過引入線性預測和模板匹配算法,增強了原算法對目標丟失后的處理能力。

圖2 Pktest01數(shù)據(jù)跟蹤效果對比

5 結(jié)論

本文提出了一種改進的基于核相關(guān)濾波(KCF)的目標跟蹤算法,通過引入線性預測和模板匹配技術(shù)對于丟失目標進行重新定位。實驗結(jié)果表明,本文所提出的改進算法在跟蹤準確性和魯棒性方面都有顯著提高,但由于融入了重定位算法,導致算法在追蹤速度方面有所下降。下一步的研究方向主要是,在不影響跟蹤效果的同時,提高算法的運行速度。