戴煜彤，陳志國，傅毅

（1.江南大學 人工智能與計算機學院，江蘇 無錫 214122;2.無錫環(huán)境科學與工程研究中心，江蘇 無錫 214153）

目標跟蹤[1]近年來因其橫跨視頻監(jiān)控、無人駕駛、無人飛行器、醫(yī)學圖像分析、空中預警等諸多領域而迅速成為計算機視覺研究的熱點之一。目標跟蹤的主流方法目前正由生成類方法逐漸轉向判別式方法，其中基于相關濾波的目標跟蹤算法發(fā)展尤為快速[2]。

相關濾波算法由Bolm 等提出的最小輸出誤差平方和[3](minimum output sum of squared error,MOSSE)引入目標跟蹤領域。Henriques 等采用了HOG 特征和循環(huán)移位采樣方式，提出了核相關濾波器[4](kernelized correlation filter,KCF)跟蹤算法，大大提高了跟蹤算法的準確率。Martin Danelljan 等在MOSSE 的基礎上增加了一個尺度濾波器用以應對尺度變換的情況，提出了DSST(discriminative scale space tracking)算法[5]。循環(huán)移位策略的應用使得基于相關濾波的目標跟蹤算法會受到邊緣效應的影響，Martin Danellja 提出的SRDCF[6](spatially regularized discriminant correlation filter)采用空間正則化懲罰系數取得了一定的效果。之后，Danelljan 在2016 年提出了C-COT[7](continuous convolution operators for visual tracking)算法，通過差值函數，將不同分辨率的特征圖映射到連續(xù)的空間域上，計算機效率卻降低了。隨后，Danelljan 于2017 年在CVPR 上提出了ECO[8](efficient convolution operators)，該算法分為手工特征算法(efficient convolution operators handcraft,ECO_HC)和卷積特征算法兩個版本。ECO 使用高效卷積操作融合多個特征獲取特征圖，從模型的大小、訓練集的更新策略以及模型更新的頻率3 個方面對C-COT 改進，極大地提高了算法的時間與空間效率。2018 年，Li 等[9]在CVPR 上發(fā)表了Siam-RPN(siamese-region proposal network)網絡架構算法。為了解決Siam-RPN 網絡架構算法在使用訓練好的深層網絡時出現的跟蹤算法精度下降問題，Li 等[10]在2019 年CVPR 上又提出了Siam-RPN++算法。Fan 等[11]為了解決大的尺度問題，在CVPR 2019 上提出了多級tracking 網絡La-SOT(large-scale single object tracking)算法。

本文針對ECO_HC 在遮擋方面的不足提出了多特征融合的抗遮擋相關濾波跟蹤算法。將FHOG 特征和ULBP 特征進行自適應加權融合，實現了對目標更精確地定位。再利用高斯掩碼函數過濾掉一部分負樣本，用以解決循環(huán)移位造成的邊界效應，緩解模型漂移的情況。最后，根據最大響應值計算的峰值均值比判斷目標是否被遮擋，若目標處于正常跟蹤狀態(tài)，則修正卡爾曼濾波器預測的跟蹤目標坐標；若目標處于被遮擋狀態(tài)，則啟動目標重定位策略，使用卡爾曼算法預測得出目標位置，并停止模型更新，回溯到之前模型未被污染的狀態(tài)。

1 ECO_HC 跟蹤基本原理

相關濾波器[12-18]的核心是通過當前幀和前序幀訓練的濾波器判定跟蹤目標在下一幀的位置。ECO_HC 算法首先在第一幀中選定跟蹤目標，獲取其在圖片幀中的實際位置及其他特征信息用以初始化訓練跟蹤器，后續(xù)幀中根據跟蹤器中預測的位置對其周圍進行采樣點響應，取最高響應值的位置為跟蹤的目標所在位置，并對跟蹤器進行更新。相關濾波是根據前序幀訓練的模型去預測跟蹤目標下一幀的位置，當跟蹤目標發(fā)生劇烈變化，比如產生形變或者遮擋時，模型就會學習到錯誤的信息，受到污染，導致后續(xù)幀容易跟蹤失敗。此外，相關濾波采用了循環(huán)移位來豐富樣本，這就導致在訓練的圖像塊中，只有萬分之一的圖像塊是真實的樣本，因此，解決邊界效應對提高模型的準確度有著至關重要的作用。

1.1 相關濾波

相關濾波的核心思想如下：若濾波器為h，輸入的圖像為f，對二者做相關運算求得響應值g：

響應值g越大，則f和h的相關度越高。當輸出的響應值取最大值時，該響應值對應的位置即為當前跟蹤目標的位置。為了提高計算速度，可將式(1)利用快速傅里葉變換轉至頻域計算：

式中：(?)表示共軛，上述公式可簡化為

對于每一個樣本圖像fi都存在與其對應的gi，則式(3)可變換為

H*的更新公式為

最后，對式(5)進行傅里葉逆變換即可求得濾波器h。

1.2 因式分解的卷積操作

ECO_HC 是在C-COT 算法的基礎上進行改進的，C-COT 通過學習一個含有M個訓練樣本的集合獲得一個卷積濾波器，其中每一個通道d的特征層都有獨立的分辨率Nd。通過引入運算符Jd給出的插值模型，將特征通過插值操作轉至連續(xù)空間域t(t∈[0,T))：

式中：bd是周期為T(T>0)的插值內核，所得插值特征層是一個連續(xù)的周期為T的函數。在C-COT 中，使用Jd{x}表示整個插值特征圖，將其與訓練的一個連續(xù)的周期為T的多通道卷積濾波器f=(f1,f2,···,fD)進行相關運算，得到的響應分數S f{x}為

C-COT 對于每個維度的特征都訓練了一個對應的濾波器，但是其中很多濾波器的貢獻不大。因此，ECO_HC 在特征提取的階段使用了原來特征的子集，對于D維特征，ECO_HC 選取了其中貢獻較大的C個濾波器(C

式中：P為D×C的系數矩陣；PT為線?性降維算子；是特征層為c的濾波器的線性組合；pd,c為濾波器的學習系數。

1.3 生成樣本空間模型

ECO_HC 更改了訓練集的樣本更新策略，用高斯混合模型(gaussian mixture model,GMM)生成不同的分量，每個分量是一組相似度較高的樣本，分量之間差異較大。GMM 的建模如下：

式中：L是高斯分量N(x;μl;I)的數量；πl(wèi)是高斯分量的先驗權重；μl是高斯分量的平均值；單位矩陣I是協(xié)方差矩陣。起初，每一個新樣本xj都初始化一個新的分量m：

γ為學習速率，當分量個數超過設定好的上限L時，如果有一組分量的權重 πl(wèi)小于設定的閾值，則丟棄該分量；否則，將兩個最相似的分量k與l合并為一個公共分量n：

2 再定位基本原理

本文算法是基于ECO_HC 實現的目標遮擋后的再定位技術[19-20]。首先，將FHOG 特征和ULBP 特征進行自適應加權融合；其次，加入高斯形狀的掩碼函數解決邊緣效應，并保留更多的背景信息，減少模型漂移；最后，本算法根據每一幀獲取的峰值響應值計算參數峰值均值比(peak-to-average ration，PAR)，使用PAR 對目標是否被遮擋進行判斷。若PAR 大于一個固定的閾值，說明目標此時處于正常跟蹤狀態(tài)，根據ECO_HC 算法預測的目標位置，修正Kalman 算法預測的目標位置，并更新濾波器模型；若PAR 小于一個固定的閾值，則說明目標處于遮擋或失蹤狀態(tài)，此時采取目標再定位機制，使用Kalman 濾波器預測出當前目標的位置，并回溯到之前未被污染的模型來更新模型。

2.1 ULBP 特征提取

本文使用ULBP 提取的特征來加強FHOG 提取的特征。ULBP 算法是對LBP(local binary pattern) 算法的一種改進，是單維度的特征表述，LBP 描述的是圖像局部紋理特征。LBP 算子是對樣本中的每個像素點，選取其為中心的3×3 鄰域，在該鄰域內，將其周圍的8 個像素值與之比較，大于該像素點的值置1，否則置0，然后按照順時針方向組合即可產生8 位二進制數，即28種模式。但是，過多的二進制模式對于紋理的表達是不利的，過于復雜且較大的信息量，對快速提取目標特征信息是不利的，因此需要的是盡可能少且具有代表性的一些目標特征。因此本文采取了uniform LBP(ULBP)，其核心思想是對LBP 進行降維，絕大多數LBP 模式只包含兩次從1 到0 或者從0 到1 的跳變，并將最多有兩次跳變的歸為一個等價模式類，其余的歸為混合模式類，通過這樣改進，3×3 的鄰域的二進制模式就由28模式減少為58 種，并且不會丟失任何信息，也能減少高頻噪聲的影響。

在FHOG 提取得到的一個31 通道的梯度直方圖M1的基礎上，用ULBP 得到的一維特征MULBP與M1的每個通道進行線性加權融合，得到特征圖M2。通過大量實驗，融合系數 λ取值為0.01：

2.2 高斯掩碼函數

本文在模型更新時采用高斯掩碼函數，對跟蹤目標的中心取較大的系數，邊緣取較小的系數，保留一定的背景信息，緩解邊緣不連續(xù)性造成的影響，以提高模型的準確性。

二維高斯函數將正態(tài)分布應用于圖像處理中，隨著中心點到邊緣的距離增大，取得的加權平均值越小。若(u,v)表示像素點坐標，則二維高斯函數的定義為

因為目標中心位置的樣本信息比邊界位置上的信息更加重要，所以本文對高斯函數做了相應的改進，使得函數由中心點隨著目標框的形狀呈橢圓形向圖像邊緣發(fā)散，結合掩碼函數，對圖像邊緣不連續(xù)性的地方至0，其余地方至改進過后的高斯函數值。然后將此構造好的掩碼矩陣左乘循環(huán)移位樣本，得以增加真實訓練的樣本比例，得到的函數如圖1(d)所示。定義如下：

式中：假設原始樣本的長寬分別為W與H，則w與h分別為目標框的長與寬，則只有在時，會發(fā)生邊緣不連續(xù)性的情況，如圖1(b)所示。參數 σ控制函數徑向作用范圍，即控制樣本權重衰減的速度。本文將二維高斯函數分解成兩個一維的高斯函數，先從水平方向對圖像進行卷積操作，將所得結果再對豎直方向進行操作，提高了算法的效率。圖1(b)和圖1(c)對比看出，加了高斯掩碼函數之后，邊界效應得到了有效的緩解。

圖1 高斯掩碼示意Fig.1 Illustration of the mask

2.3 參數峰值均值比

本文在模型更新時使用參數峰值均值比(peak to-average-ratio，PAR)來判斷當前目標是否處于遮擋狀態(tài)。ECO 主要采用連續(xù)空間域中的卷積算子對訓練樣本進行隱式差值，通過對一組卷積濾波器來產生目標的連續(xù)域置信度圖，該圖中的最高響應值即為目標位置。而當目標處于遮擋狀態(tài)的時候，置信度圖則會由一個很高峰值變?yōu)槎鄠€不明顯的峰值狀態(tài)，為了解決目標此狀態(tài)下容易跟蹤失敗的問題，本算法引入再跟蹤機制。由PAR 判斷跟蹤目標在當前幀中的狀態(tài)，若PAR 不小于閾值θ，說明目標處于正常跟蹤狀態(tài)；而當PAR 小于閾值θ，說明目標處于遮擋狀態(tài)，開始執(zhí)行再跟蹤機制。PAR 的定義為

式中：max(f(i))表示第i幀的最大響應值；PAR 即為跟蹤目標在i幀的最大響應值與前q幀的最大響應值均值的比值,本文q的值為20。通過大量實驗，閾值 θ取值為0.55。

當跟蹤目標處于正常跟蹤狀態(tài)時，PAR 的值處于一種相對穩(wěn)定的波動狀態(tài)而當目標處于遮擋狀態(tài)時，max(f(i))會突然變小，因而PAR 的值也會隨之變小，見圖2。因此，PAR 可以判斷目標目前的跟蹤狀態(tài)。

圖2 視頻序列Girlmov 的PAR 時刻值Fig.2 PAR time value of Girlmov

2.4 目標重定位

卡爾曼濾波[21]結合前序幀與當前幀可遞推地推測下一幀跟蹤目標的位置，從而預測出目標被遮擋后在圖片中的位置。若PAR 小于閾值θ，則目標被遮擋，此時啟動目標重定位機制，將卡爾曼濾波器預測的目標位置傳給核相關濾波器，并回溯至之前未被污染的模型去更新模型；若PAR 大于閾值θ，則使用ECO 算法中目標的位置修正卡爾曼濾波預測的目標位置。為了提高計算效率，將目標中心點的橫縱坐標分兩步更新。假設ri是系統(tǒng)噪聲，vi是觀測噪聲，皆服從高斯分布，則根據式(16)、(17)構造第i幀的橫坐標ui狀態(tài)預測方程和系統(tǒng)的觀測方程：

式(18)和式(19)是狀態(tài)預測方程和誤差協(xié)方差預測方程。上述兩個方程中C?i是根據前一幀中的噪聲協(xié)方差矩陣遞推計算出的第i幀的預測的誤差。Q為協(xié)方差矩陣。

′

式(20)～(22)是狀態(tài)更新方程，其中K是卡爾曼增益矩陣，C是卡爾曼增益矩陣的誤差值，N是修正后的狀態(tài)轉移矩陣，R為修正后的協(xié)方差矩陣。式(21)是修正過后的目標中心點的橫坐標值。目標中心點縱坐標的預測和更新與橫坐標一致，如若啟動重定位機制，則將卡爾曼濾波器預測的位置傳回原濾波器，并停止模型更新。

本文改進算法的具體流程如圖3 所示。

圖3 算法整體流程圖Fig.3 Algorithm overall flow char

3 實驗結果及分析

3.1 實驗環(huán)境及參數

本算法的測試平臺為Matlab2018b，所有實驗均在Intel(R) Core(TM) i5-8250U CPU with NVIDIA GeForce MX150 2G，主頻1.6 GHz，8 GB 內存配置的windows10 64bit PC 系統(tǒng)上完成的。本文算法仍保留ECO_HC 算法的基本參數，并在所有測試視頻上保持一致，高斯標簽帶寬 σ的值為0.062 5，學習率為0.009，存儲的最大訓練樣本的數量為30。

3.2 性能評估方法

為了驗證本算法對抗遮擋問題的有效性，本文選用了數據集Temple Color 128 中16 個不同程度遮擋的視頻進行測試，16 個視頻分別為Airport_ce、Busstation_ce1、Coke、Face_ce2、Girlmov、Motorbike_ce、Soccer、Suitcase_ce、Surf_ce3、Tiger2、Busstation_ce1、Jogging2、Kite_ce2、Matrix、Basketball、Boat_ce2。除了與ECO_HC[8]進行對比之外，本文還選取了DSST[5]、KCF[4]、SRDCF[6]、STRCF[22]、LDES[23]和SAMF[24]進行比較。本文分別從精確度、成功率、覆蓋率和中心誤差對算法進行分析。精確度DP=m/N(distance precision，DP)，成功率SR=Sn/N(success rate，SR)，中心誤差tion error,CLE)。

為跟蹤目標覆蓋率，Rt為跟蹤得到的目標窗口，Rgt為真實目標窗口，area是區(qū)域面積。Sn為成功的次數，當score>0.5時，Sn加1。(xi,yi)是第i幀濾波器得到的目標中心位置，(xi0,yi0)是目標在第i幀的真實中心位置。N是視頻幀總數。

3.3 抗遮擋實驗結果

3.3.1 本文算法與基線ECO_HC 算法比較

首先將本算法與ECO_HC 算法在16 組有不同程度遮擋問題的視頻上針對抗遮擋問題進行對比實驗，以驗證本文算法的有效性。表1 中顯示了本文算法與ECO_HC 在精確度和成功率兩個評價指標上的測試結果，可以看出本文算法性能較好。在這10 個視頻集中，本文算法的平均精確度為87.3%，成功率為76.5%，相比基線算法ECO_HC，分別提升了27.7%和23.7%。由此可見，本文改進后的算法產生了積極的作用。

表1 在視頻集上的精確度和成功率Table 1 Precision and success rate on the videos

3.3.2 抗遮擋性能的定性分析

本實驗選用DSST[5]、ECO_HC[8]、KCF[4]、SRDCF[6]、STRCF[22]、LDES[23]、SAMF[24]共7 種跟蹤算法進行性能對比，測評結果如圖4 所示。在視頻序列Airport_ce 上，目標受到顏色相同的干擾物遮擋時，DSST、SRDCF、ECO_HC 隨著遮擋物發(fā)生了偏移，例如第80 幀、90 幀、100 幀。在視頻序列Busstation_ce1 上，第60 幀顯示的是目標處于較長時間的全遮擋后的位置，只有本文的算法跟上了目標，而其余的7 種算法均丟失了跟蹤目標。在視頻序列Girlmov 中，目標發(fā)生完全遮擋后，其他幾種算法都隨著遮擋物發(fā)生了漂移，例如第110 幀、第120 幀、第130 幀、第140 幀。在視頻序列Motorbike_ce 中，當目標發(fā)生遮擋又重新出現之后，本文算法跟蹤準確，而其他算法發(fā)生了不同程度的偏移。在視頻序列Suitcase_ce中，目標的尺度較小，而遮擋物的尺度較大，遮擋情況比較嚴重，本文算法較準確地預測出了行李箱的位置，ECO_HC 與SRDCF 發(fā)生了嚴重的漂移，其余算法則停留在目標被遮擋前的位置，例如第170 幀。綜合這5 個測試視頻中的跟蹤效果，可見本文算法較好地預測了目標被遮擋后的位置，并且較好地學習了背景信息，優(yōu)化了模型污染造成的漂移問題，而其他7 種算法在處理遮擋問題上效果不佳，本文算法的效果較好。

圖4 目標遮擋部分效果Fig.4 Part of target occlusion results

圖5 顯示了本文算法與其他7 種在視頻序列上的精確度。在受部分遮擋的視頻序列Coke、Tiger2 中，除了KCF 和DSST 外，其他幾種算法效果差不多。而當目標遮擋情況嚴重一點時，比如Soccer 和Face_ce2 中，LDES、SAMF、ECO_HC 的精度些許偏低。但是當目標處于一段時間的完全遮擋，比如視頻序列Airport_ce 和Busstation_ce1，本文算法的重定位機制以及改進的模型更新算法起到了有效的作用。

圖5 不同算法在不同視頻集上的精確度圖Fig.5 Distance precison diagram of different trackers on different videos

表2 展示了幾種算法在這幾個視頻序列上的跟蹤結果。本文提出的算法在Coke、Tiger2 這幾個發(fā)生較輕微遮擋的視頻序列中，精確度與其他算法僅相差0.1% 與0.05%，均高于90.7%，而STRCF 在這兩個視頻序列上的結果僅為89.7%和52.6%。在余下幾個遮擋嚴重的視頻序列中，KCF 算法基本都沒有跟上目標，SAMF 和STRCF效果好些，精確度分別為60.9%和63.2%，ECO_HC算法的精確度也達到了59.6%，本文算法的優(yōu)勢較為明顯，平均精確度能達到87.3%。

表2 不同算法在視頻序列上的結果Table 2 Results of the videos via different methods

續(xù)表 2

表3 顯示了中心誤差位置這一評價指標的測試結果，由于存在部分視頻序列跟丟的情況，因此7 種算法的表現不是很好。DSST、ECO_HC、KCF、SRDCF、LDES 的平均中心誤差都超過了40。SAMF 與STRCF 的中心位置誤差較小,分別為30.10 和32.78。本文算法的中心誤差遠小于其他幾種算法，平均中心誤差為8.71，說明本文算法的表現較好。

表3 不同算法在視頻序列上的中心誤差值Table 3 Center location error of the videos via different methods

表4 顯示了8 種算法在這16 個視頻序列上的成功率情況，ECO_HC、KCF、SAMF 跟丟的情況出現的較多，成功率偏低，分別為0.528、0.450 和0.507。SRDCF 與STRCF 這兩個算法對模型污染有較好的效果，在目標被遮擋的情況下表現的效果稍好，平均成功率分別為0.589 和0.541。LDES 在這7 種算法中表現較好，平均成功率達到63.6%。而本文算法的成功率76.5%，較基線方法ECO_HC 優(yōu)勢明顯。因此，本文算法的抗遮擋性能表現良好。

表4 不同算法在視頻序列上的成功率Table 4 Success rate of the videos via different methods

由于視頻序列Matrix 只有100 幀，所以在繪制圖6 的平均中心誤差和平均覆蓋率評價曲線時，截取了16 個視頻序列的前100 幀進行對比。圖中紅色曲線為本文算法的效果曲線，雖然本算法在覆蓋率這一評價指標的前50 幀效果一般，但總體效果優(yōu)勢明顯，對ECO_HC 算法的改進成效不錯。由上可知，本文改進的算法相較基線算法在抗遮擋方面有較強的魯棒性。

圖6 16 個視頻序列上的平均精確度、平均中心誤差、平均覆蓋率和平均成功率Fig.6 Average distance precision,average center location error,average cover rate and average success rate on 16 videos

4 結束語

本文針對ECO_HC 算法容易被遮擋以及遮擋后模型污染等情況干擾而導致算法效果不佳的問題，提出了一種融合ULBP 特征的目標重定位機制相關濾波算法，有效地解決了由于遮擋因素帶來的模型漂移問題，提高了算法跟蹤的精度。在視頻序列集上的結果顯示，本文算法在覆蓋率、跟蹤成功率、中心誤差等評價指標下較其他算法性能較好，具有較強的魯棒性。本文算法在面對目標發(fā)生快速移動時表現效果較差，因此對目標行動軌跡的預測仍需進一步的改進與研究。