蔣天翼

（杭州電子科技大學計算機學院 浙江省杭州市 310018）

1 引言

目標跟蹤是近年來人工智能方向的熱門領域，近年來其發(fā)展勢頭迅猛，并被廣泛應用在安防系統(tǒng)、自動駕駛、體育賽事轉播、公共交通等領域。在傳統(tǒng)的單目標跟蹤任務中，首先給定視頻初始幀的目標位置，即目標在視頻幀中的邊界框，使用相關跟蹤方法，輸出后續(xù)視頻幀中目標所在的位置信息以及寬高信息。然而在實際運用中，被跟蹤物體往往會發(fā)生形變、高速運動、干擾物遮擋等問題，給目標跟蹤任務帶來了極大的挑戰(zhàn)。因此，如何克服物體在運動中發(fā)生的變化，從而較為準確地跟蹤目標，是該領域的一個關鍵問題。

2 相關工作

目前，許多目標跟蹤算法都得到較成熟的發(fā)展。在被廣泛運用于計算機視覺的各種方法中，均值漂移是一種常見的聚類算法，Comaniciu 等人首次將其與目標跟蹤相結合，提出基于均值漂移的目標跟蹤算法[2]。具體來說，這種方法無需先驗知識，而僅需要先對待跟蹤對象建模，在當前視頻幀中不斷迭代搜索框，使其沿著圖像特征均值漂移方向不斷移動，最終確定目標坐標。均值漂移方法迭代速度快，計算效率高，但健壯性較差，并且由于目標邊界框大小固定，在目標發(fā)生大小形變時難以產生準確結果。另一方面，采用相關濾波來進行目標跟蹤的方法也隨之出現，并逐漸成為一種主流的跟蹤手段。Bolme 等人提出的MOSSE 算法[3]，首次將信號處理與目標跟蹤相融合。其算法目的是訓練一種相關濾波器，使得被跟蹤目標能在視頻幀中得到最高的響應度。MOSSE 方法只需要圖片的灰度特征，這進一步提高了算法的運行效率，跟蹤速度可以超過幾百幀每秒。在這之后也有許多優(yōu)秀的相關濾波方法，如CSK[4]、KCF[5]等，其核心目標就是訓練一個能夠區(qū)分當前視頻幀前景與背景的分類器。這種算法的執(zhí)行速度通常較高，能夠達到實時需求，但抗干擾能力依舊不是很理想。另外，由于相關濾波方法需要經常對濾波器進行更新，這對算法執(zhí)行速度也產生一定影響。

自從近年以來，基于深度學習的方法在計算機視覺領域漸漸展露其非凡的實力。Alex Krizhevsky 等人提出的AlexNet[6]首次將卷積神經網絡（CNN）用于目標分類任務，獲得了十分理想的效果。CNN 網絡有著強大的特征提取能力，能夠更加準確的挖掘目標淺層和深層的語義信息，這對目標跟蹤任務也適用。2015年由Ma等人提出的HCF 算法[7]，在KCF 算法的基礎上，將深度學習中的CNN 網絡與相關濾波的方法融合，用深度學習特征替代原有的HOG 特征，使跟蹤器能夠應對目標較大的位移變化，并有效防止跟蹤器漂移。在深度學習的一系列方法之中，孿生網絡借由其共享網絡權重的特點，非常適合相似性度量的任務。SiamFC[8]算法通過將模板幀和跟蹤幀經過CNN 提取后的特征進行互相關操作，得到目標位置的預測分數。Siamese-RPN[1]在其基礎上進一步提出了區(qū)域舉薦網絡（Region Proposal Network），使得目標候選框的生成更加準確。但在大部分孿生網絡的跟蹤方法中，它們只能從非語義的背景中識別前景，而不好識別的背景就很容易被認為是干擾物。為了解決孿生網絡難以識別干擾物的問題，本文提出了基于概率回歸的方法模型，將其用在目標跟蹤領域，有效提高了網絡的抗干擾能力，在VOT2018 數據集上表現優(yōu)秀。

3 基于孿生網絡的神經網絡結構

孿生網絡是眾多神經網絡中較為特殊的一種，它由兩個或以上子網絡構成，同時可以接受兩個以上的輸入，并共享這幾個網絡分支的權值。孿生網絡的核心思想是找到一組參數，使得目標空間的距離近似地等價于輸入空間的“語義”距離，使得相似度度量在同類別中較小，不同類別中較大。

基于全連接層孿生網絡框架的跟蹤模型：

由于孿生網絡結構非常適合相似性度量，事實上，早在2016年來自牛津的Luca Bertinetto 便基于此網絡結構推出了基于全連接層孿生網絡框架的跟蹤模型——SiamFC[8]。算法的核心思想是通過訓練一個函數f(z,x)來比較樣本圖像z 和待查詢圖像x 的相似性，如果是一致的目標則判定為分數較高，反之給予較低的分數。

圖1描繪的是全連接孿生網絡的架構。首先特征提取網絡將對網絡的兩個輸入z 和x 進行相同的變換φ，并且把得到的輸出傳遞給互相關模塊。相似性度量函數也可由此過程后得到：f(z,x)=g(φ(z),φ(x))。本文采取該架構，針對搜索到的圖像x 進行全連接卷積操作，并輸出含有標量值的分數圖，同時以圖像大小來決定尺寸。

這種跟蹤模型選用視頻上一幀中預測的目標中心位置作為當前幀的位置來進行搜索并跟蹤。其中需要的最大的得分的位置，其值與得分圖的中心有關。用這個值乘上方法中網絡的步長，從而可以得到不同幀之間的目標的相對位移。在單次的操作中，以多種不同的尺度對目標進行搜索，進而得到合適的候選框。

4 基于概率回歸的孿生網絡目標跟蹤方法

視覺目標跟蹤的任務本質是將一個視頻拆分為若干幀圖片，并對每一幀圖片預測目標狀態(tài)的一種任務，其中最普通的情況就是使用矩形框來框選需要跟蹤的目標范圍。和別的機器視覺任務，如目標檢測還有定位等類似，目標跟蹤任務也可以看作一個回歸任務。跟蹤器算法需要去學習一個比較通用的模型，這種模型能夠識別目標在每一幀中的位置和狀態(tài)。傳統(tǒng)的跟蹤模型使用置信度回歸作為優(yōu)化方向，采用置信度預測值s(y,x)來描繪視頻輸入幀的特征x 與當前區(qū)域y 相似的可信度。完成這步之后，采用置信度分數y*=argmax{s(y,x)}，對所有y 來進行估計并最大化這個分數，從而得到這個條件下最好的結果。

圖1：全連接層孿生網絡框架圖

圖2：目標框和目標中心對比

圖3：經處理后的訓練集圖像

基于置信度回歸的目標跟蹤方法，主要用在主流跟蹤算法，如相關濾波方法或基于深度學習的方法等之中。不同于在直接回歸方法中采取y=f(x)來預測單個y，而忽略背景中的其他信息，基于置信度回歸的方法在表達一些不確定的物體上非常靈活。但同時，在置信度回歸中，所謂的置信度值并沒有比較明確清晰的解釋，僅僅是一個應當被最大化的目標分數而已，在解釋為何產生分數會最大上面欠缺說服力。由于置信度值的范圍和特性很依賴模型選擇的損失函數和生成訓練的偽標簽，這令研究者難以設計出合適的估計方法，而在推理預測的過程中也會因這些原因而倍感壓力。另外，在目標跟蹤任務中，只要目標產生微小的變化，目標框中心位置和目標的中心位置就會有很大的不同，如圖2所示。由于一般的回歸方法只專注回歸目標中心本身，而忽略了目標框中心和目標中心的差別，這對跟蹤準確度來講是一個不能忽視的挑戰(zhàn)。

本文在Saimese 網絡中使用概率回歸目標框的方法替代置信度回歸，使得上述問題得到解決。

4.1 基于概率回歸方法

圖4：目標跟蹤算法流程框架圖

圖5：準確率AUC 與迭代次數關系圖

本文用概率回歸替換置信度回歸，并將其用于Siamese 網絡框架之中。這種方法擁有大部分置信度回歸方法的優(yōu)點。但與其不同的是，本方法用預測的概率分布p(y|x,θ)，其中θ 是概率分布的參數。網絡的優(yōu)化方向是最小化預測概率分布p(y|x,θ)與條件真值的概率分布P(y|yi)之間的KL 散度。在測試中，選擇概率密度最大的點作為預測結果，也就是目標中心點。

與普通的回歸方法相比較，這種方法有如下幾個特點。首先，在一般的回歸方法中，預測值s(y,x)和實際回歸任務之間的聯系難以確定，同時這個值也容易受到實驗者選擇的損失函數以及偽標簽的影響。其次，這種方法不需要選擇損失函數，而是采用最小化KL 散度的方式替代了最小化損失函數這個步驟，這種方法可以直觀反應預測概率分布和真實概率分布之間的差別。在下一節(jié)，本文將會給出一般性的回歸模型，并將其與基于孿生網絡的跟蹤算法相結合。

4.1.1 一般性方法

本小節(jié)提出了一種有效的辦法來訓練網絡，從而預測概率分布。首先給出在得到輸入x 情況下預測輸出y 的概率分布p(y|x,θ)：

由于sθ(y,x)本質上來講是置信度預測值，也是輸入和輸出關系被神經網絡所轉化為的一個標量值，這個式子表達的就是將這個值轉化為概率密度，然后通過歸一化常數進行調整和局部減少操作。

在參數訓練方面，算法無需選取一般的Loss 函數，或者用負對數似然的方法來描述條件真值概率分布P(y|yi)與預測的條件概率值分布p(y|x,θ)之間的差異，而是選用KL 散度來將這兩個概率分布的差異量化為標量值，KL 散度的一般性定義可以寫為：

其中q(xi)是事件的近似分布，而p(xi)是事件的真實分布。根據式子，KL 散度的取值是從0 到無窮大的，近似分布與真實分布之間差異越小，KL 散度的值也就越小，反之亦然。在給出KL 散度的一般性定義之后，就可以給出用于訓練網絡來訓練參數的KL散度：

通過最小化KL 散度值，就可以獲得與真實分布最匹配的預測概率分布參數。

5 模型訓練

5.1 數據集處理

本算法使用ILSVRC2015 競賽所用數據集進行訓練。視頻序列總量大概為4500 多組，分為前80%和后20%，分別進行訓練和測試。選取該數據集是因為其中很多數據擁有人工標記，可以省去手動打標記的時間。對于每一個視頻幀，本算法對邊緣部分進行了裁剪并填充，從而保證輸入圖像為255*255*3 的RGB 圖像。如圖3所示。

5.2 算法框架流程

整個算法框架的執(zhí)行流程如圖4所示。

本算法可以分為兩個環(huán)節(jié)。首先是進行離線模型訓練，然后是進行在線目標跟蹤。在模型訓練環(huán)節(jié)中主要是數據的預處理和網絡的訓練。在目標跟蹤環(huán)節(jié)中，首先給出待跟蹤目標在視頻首幀中的中心坐標和目標框尺寸，并為此建模。之后在視頻的后續(xù)幀中持續(xù)執(zhí)行跟蹤任務，并輸出目標框的位置坐標。

5.3 回歸模型訓練

在本算法執(zhí)行目標跟蹤的過程中，涉及兩個回歸任務，下面給出兩種回歸任務模型構建方法。

5.3.1 目標中心回歸本算法采用網絡采樣的方法來訓練目標的KL 散度值。其中條件真值密度可以設置為高斯分布。對于回歸中心的分支預測權重模塊，可以通過KL 散度損失函數和正則化來優(yōu)化。之后本算法進行了快速下降結構的優(yōu)化，并采用了二階泰勒展開去近似優(yōu)化目標。這是基于一個事實：線性預測中的目標函數是凸的，同時也因為梯度相關信息，所以可以這么做。

5.3.2 邊界框回歸

表1：模型測試指標分數

圖6：籃球運動員跟蹤效果演示

對邊界框的回歸模型采用和孿生網絡中類似的結構，并應用本文使用的一般性概率公式進行優(yōu)化。之后本算法采用了負似然估計的方法進行損失估計，并且使用近似方法擴展了概率設置。

6 實驗結果分析

本文對改進后的基于概率回歸的孿生網絡目標跟蹤方法在多個數據集上進行了訓練和測試。所有實驗均在AMD Ryzen51600x3.6GHz，16GB 內存和 NVIDIA GeForce RTX2080 顯卡的PC 上運行。操作系統(tǒng)為Windows，采用Pytorch 1.7.1 作為機器學習庫，編程語言為Python 3.6。

經測試，跟蹤器能夠達到40FPS 的跟蹤速度。我們保存了模型訓練每迭代2000 次取得的準確率（AUC）分數，繪制了模型迭代次數與準確率之間的關系。其中準確率是預測正確樣本與總樣本數量之間的比值。如圖5所示。

將本模型與目前流行的孿生網絡跟蹤算法進行橫向對比，涉及的算法模型有全卷積孿生網絡目標跟蹤算法（SiamFC），基于干擾物感知的孿生網絡跟蹤算法（DaSiamese），基于概率回歸的孿生網絡跟蹤方法（PrSiamese）。評價指標有準確率（AUC），期望平均重疊率（EAO），健壯性（Robustness）。測試集基于VOT2018 數據集，其中對各個模型進行了測試并統(tǒng)計總體結果。其中各個評價指標評價表如表1所示。

從指標上來看，在孿生網絡跟蹤器中使用概率回歸替代置信度回歸是一種有效的優(yōu)化手段。

6.1 系統(tǒng)演示

筆者搭建了簡單的前端框架來實現跟蹤過程的可視化，效果圖如圖6所示。

7 結語

本文首先分析并列出了目標跟蹤領域的機遇和挑戰(zhàn)，這些問題主要有背景快速變化和干擾、光照變化、物體的模糊和多尺度變化等。在分析目前主流跟蹤算法的優(yōu)劣點之后，提出一種基于區(qū)域推薦孿生網絡的目標跟蹤算法，并對其進行優(yōu)化。本文采取概率回歸的方法來替代傳統(tǒng)目標跟蹤中的置信度回歸方法， 將Siamese 網絡構架與基于概率回歸的模型相融合，經測試算法模型在遇到干擾的情況下依然有較好的表現。

展望未來，本算法依然有可以改進之處。首先本文實驗數據集有限，沒有在足夠的訓練集上進行訓練?？梢灶A想，若對模型進行充分訓練，則算法的泛化性能將會更好。同時本文中的概率模型僅運用在了基礎的孿生網絡上，未來可以和更多更復雜的孿生網絡模型進行融合，這也是一個重要方向。