李楚為，張志龍，鐘平

（國防科技大學 電子科學學院 自動目標識別重點實驗室，湖南 長沙 410073）

引言

隨著低成本無人機和嵌入式人工智能芯片的發(fā)展[1]，單目標跟蹤技術在違法取證[2]、精確打擊[3]等無人機應用上發(fā)揮了重要作用。在計算機視覺領域，單目標跟蹤任務是指給定目標初始位置，要求跟蹤算法對目標在后續(xù)圖像幀中的位置進行預測。如果初始跟蹤框質量不高，跟蹤算法的性能就會大打折扣[4]。初始跟蹤框既可以由人手動選取，也可以由算法自動求得，如表1 所示。在具備目標先驗信息的前提下，可以用模板匹配[5]、目標識別[6]等方式獲取目標的初始跟蹤框；缺少目標先驗信息的場合，則可以用差分法檢測運動目標，作為初始跟蹤框[7-8]。

表1 目標跟蹤初始化方法對比Table 1 Comparison of object tracking initialization methods

在無人機對地場景中，無人機平臺高速運動，與目標之間也存在相對運動[13]，使得差分法難以適用。而對于未知的待跟蹤目標，基于先驗信息的方法又不具備通用性。因此，在無人機對地偵察任務中，采用“手動選取初始跟蹤框”這一方式非常有必要?！笆謩舆x取初始跟蹤框”通常有兩種形式：正方形框和任意長寬比的矩形框。由于目標在畫面中持續(xù)運動，選取貼合目標的矩形框并非易事-人手動選取矩形框平均需要1.5 s，最長則要6 s[12]。在選取矩形框的過程中，目標已經在傳感器視場中大幅度移動，會使初始跟蹤框偏離目標實際位置，這將直接導致跟蹤失敗。

目前，一些機載光電吊艙使用正方形框進行手動跟蹤的起始，如圖1 所示。地面控制臺采用“搖桿+扳機”的方案，通過搖桿控制正方形框的大小和位置、通過扳機下達跟蹤指令。與選取任意長寬比的矩形框相比，這類方案雖然設計簡單、操作便捷、便于快速鎖定目標，但容易包含過多背景，導致跟蹤器性能下降、甚至跟蹤失敗，如圖1 所示。

本文試圖解決無人機對地偵察任務中的跟蹤框初始化問題。如何在無人機和目標的相對運動過程中，讓操作員快速、準確地鎖定任意目標，是這一問題的最大難點。本文的貢獻主要有3 方面：1）在VisDrone2018-SOT-test-dev[14]數(shù)據(jù)集上，定量評估了不同偏差的正方形初始跟蹤框對跟蹤精度的影響；2）提出了一種結合人的主觀選擇和視覺認知的跟蹤框初始化和優(yōu)化策略，可以快速、準確地鎖定感興趣目標，并在VisDrone2018-SOT-testdev 和UAVDT[15]數(shù)據(jù)集上進行了驗證；3）本文提出的策略可以與任意跟蹤算法結合，并具備在嵌入式設備中的可移植性。本文提出的跟蹤框自適應優(yōu)化代碼在線發(fā)布地址為：https://github.com/iammusili/SQUARE_BBOX_OPT。

1 相關工作

1.1 目標跟蹤初始化

單目標跟蹤算法包括初始化和更新兩個階段，初始化階段的輸入為第1 幀圖像和初始跟蹤框。為減少人工交互，文獻[7]、文獻[8]分別利用背景差分法和幀間差分法檢測運動目標，將其用作初始跟蹤框；文獻[10]、文獻[11]則利用視覺顯著性代替人工標定初始幀。給定目標先驗信息，文獻[5]將目標模板匹配的結果作為初始跟蹤框；文獻[6]使用Adaboost 人臉分類器檢測人臉，實現(xiàn)人臉跟蹤首幀自動初始化；文獻[9]使用Faster R-CNN (區(qū)域卷積神經網絡)檢測無人水面艇得到原始邊框，然后用超像素進行細化，再進行跟蹤。上述方法在各自的應用場景中均發(fā)揮了較好的作用，但并未與人的主觀選擇相結合，也并非針對無人機應用場景專門設計。

1.2 視覺顯著性

視覺顯著性算法通常可分為兩類：預測人類注視點，檢測圖像中的顯著物體或區(qū)域[16]。早期的視覺顯著性研究多為啟發(fā)性方法。文獻[17]提出一種基于生物啟發(fā)和多尺度圖像特征的視覺顯著性計算方法；文獻[18]使用布爾圖理論同時估計注視點和顯著區(qū)域。隨著視覺顯著性基準數(shù)據(jù)集的發(fā)展，基于機器學習的方法得到廣泛關注。文獻[19]將顯著圖計算視為回歸問題，訓練基于多層級特征的隨機森林回歸器；文獻[20]訓練基于卷積神經網絡的顯著性檢測模型；文獻[21]則訓練基于卷積長短時記憶神經網絡的視覺顯著性模型。在目標跟蹤問題上，視覺顯著性算法已經被用于跟蹤框糾偏[22]、跟蹤框精確定[23]等方面，并取得一定效果。然而，當存在多個顯著目標時，僅依賴圖像自身信息，算法難以關注到無人機對地場景中的局部顯著目標（如圖6 所示）。

1.3 圖像分割和顯著區(qū)域分割

傳統(tǒng)圖像分割算法通常使用輪廓、紋理、顏色等線索。GraphCut[24]算法將某些像素標記為“前景”或“背景”，獲得較為準確的分割結果；Grab-Cut[25]算法用矩形框標記前景區(qū)域，既減少了用戶交互，還提升了分割質量。

基于顯著圖的圖像分割技術被稱為顯著區(qū)域分割。文獻[26]對原圖分別進行mean-shift（均值漂移）分割和顯著性計算，將均值漂移分割結果中顯著性值大于自適應閾值的區(qū)域作為最終分割結果；Saliency Cut 算法[27]在顯著圖上迭代運行GrabCut并更新前景、背景和區(qū)域位置信息，得到顯著區(qū)域分割結果。與傳統(tǒng)圖像分割相比，顯著區(qū)域分割綜合了圖像信息和顯著性線索，在復雜場景圖像上更具優(yōu)勢。

2 初始跟蹤框對跟蹤精度影響的定量分析

文獻[28]認為跟蹤算法對初始跟蹤框較為敏感，提出對跟蹤數(shù)據(jù)集的真值框進行隨機平移和尺度變化，以模擬檢測算法帶來的誤差，在此基礎上定量評估跟蹤算法的性能。參考文獻[28]的做法，本節(jié)定性對比幾種不同的跟蹤初始化方法，并定量分析不同偏差的正方形初始跟蹤框帶來的精度損失。

2.1 典型跟蹤初始化方法的定性對比

圖2 展示了在無人機對地圖像序列上，用幾種不同方法對fDSST（fast discriminative scale space tracking）[29]算法進行初始化的跟蹤結果。圖中紅色、綠色、藍色、黃色分別表示為基于跟蹤數(shù)據(jù)集的真值框、真值框的外接正方形框、YOLO V3 檢測框以及優(yōu)化后的初始跟蹤框。可以看出：1）當目標長寬比接近于1 時（圖2 中序列一），無論采用何種跟蹤初始化方法，跟蹤算法都能穩(wěn)定地跟蹤目標；2）當目標長寬比過大時（圖2 中序列二、三），基于正方形框初始化會逐漸跟丟目標，而經過本文方法（3.2 節(jié)）優(yōu)化后的初始跟蹤框仍然可以取得與真值框、檢測框接近的跟蹤效果。

圖2 不同跟蹤初始化方法的跟蹤結果Fig.2 Tracking results of different initialization methods

2.2 正方形初始跟蹤框的精度損失評估

上一節(jié)定性地展示了正方形初始跟蹤框可能存在的問題。本節(jié)對不同偏差的正方形初始跟蹤框進行測試，定量評估其造成的跟蹤精度損失。

2.2.1 實驗設計

文獻[28]在計算SRE（spatial robustness evaluation，空間魯棒性評估）得分時，將目標真值框尺度從80%遞增到120%，測試不同尺度下跟蹤器的性能，然后計算均值。

本文使用跟蹤數(shù)據(jù)集標注文件中目標在第1 幀的位置作為目標真值框。參考文獻[28]的做法，首先將真值框擴展為最小外接正方形框，然后計算5 種不同尺度（分別為80%、100%、125%、150%、200%）下的跟蹤算法精度。與文獻[28]不同，本文不計算均值，采用OPE（one-pass evaluation，一次性通過評估）準則。選用4 種具有代表性的跟蹤算法進行評估，分別為MUSTer（multi-store tracker）[30]、GOTURN（generic object tracking using regression networks）[31]、fDSST 和 ECO（efficient convolution operators）[32]。測試數(shù)據(jù)集為VisDrone-2018-SOT-test-dev，共35 個序列，最短90幀，最長2 783 幀。評價指標為OPE 準則下的成功率（success）和精度（precision），來自于文獻[28]。

精度和精度曲線（precision plot）的計算方法如下文。首先，根據(jù)算法輸出的跟蹤框中心位置(xtrack,ytrack)和 目標真值框中心位置 (xgt,ygt)，計算中心位置誤差 ?：

其次，設置0～50 像素、間隔1 像素的位置誤差閾值，統(tǒng)計不同位置誤差閾值下 ?小于該閾值的圖像幀數(shù)量占圖像序列總幀數(shù)的比值，繪制為精度曲線。然后，將位置誤差閾值20 像素對應的比值作為跟蹤精度。

成功率和成功率曲線（success plot）的計算方法如下文。首先，根據(jù)算法輸出的跟蹤框區(qū)域Rtrack和目標真值框區(qū)域Rgt，計算平均重疊得分S：

其次，設置0～1、間隔0.05 的重疊閾值，統(tǒng)計不同重疊閾值下S大于該閾值的圖像幀數(shù)量占圖像序列總幀數(shù)的比值，繪制為成功率曲線。然后，將曲線下面積作為跟蹤成功率。

2.2.2 實驗結果

圖3 和圖4 分別展示了不同偏差的正方形初始框對跟蹤成功率和精度的影響?？梢钥闯觯?）使用正方形框作為初始框，嚴重影響跟蹤性能；2）正方形框與真值框的尺度偏差越大，跟蹤性能越差。

圖3 不同偏差的正方形初始框對跟蹤成功率的影響Fig.3 Effect of square initial boxes with different deviations on tracking success value

圖4 不同偏差的正方形初始框對跟蹤精度的影響Fig.4 Effect of square initial boxes with different deviations on tracking precision value

3 跟蹤框快速初始化和自適應優(yōu)化

如前所述，現(xiàn)有的跟蹤框自動初始化方法存在一定局限，不能滿足無人機對地偵察任務的需要。手動選取正方形框的初始化方式雖速度較快，但2.2 節(jié)的定量實驗表明，該方式會導致性能嚴重下降。由此，針對實際系統(tǒng)的需要，本節(jié)將提出一種跟蹤框的快速初始化和自適應優(yōu)化策略，并給出驗證樣例。

3.1 總體策略

如圖5 所示，本文提出的跟蹤框初始化和優(yōu)化策略共分為粗選取、自適應優(yōu)化、細選取3 個階段：首先，由操作員手動選取一個盡可能覆蓋目標、且形心與目標中心接近的正方形框，這一過程相對較快，即便是目標相對無人機快速運動時也可完成；然后，由跟蹤框自適應優(yōu)化算法自動找出正方形框中最符合人的視覺認知的顯著目標，以其分割得到的外接矩形作為初始跟蹤框，然后起始跟蹤，這一過程由算法完成，故速度較快。最后，在跟蹤算法持續(xù)鎖定目標的過程中，可以根據(jù)需要手動選取更為精細的、貼合目標的任意長寬比矩形框。

圖5 跟蹤框快速初始化和自適應優(yōu)化策略Fig.5 Strategy of tracking box initialization and optimization

3.2 跟蹤框自適應優(yōu)化算法

給定輸入圖像和手動選取的正方形框，跟蹤框優(yōu)化算法要找到正方形框中最符合人的視覺認知的目標，并具備一定的偏差容忍能力。本節(jié)對視覺顯著性和顯著區(qū)域分割在無人機圖像上的應用方式進行探索，提出一種跟蹤框自適應優(yōu)化算法。

3.2.1 視覺顯著性的全局和局部對比

選取4 種具有代表性的視覺顯著性算法進行測試，分別為：BMS（boolean map saliency）[18]、DRFI（discriminative regional feature integration）[19]、MDF（multiscale deep CNN features）[20]、ASNet（attentive saliency network）[21]。

圖6、圖7 分別展示了視覺顯著性算法在典型無人機對地圖像上的全局顯著圖和局部顯著圖。圖6 中黃色方框表示感興趣目標?？梢钥闯?，局部突出的目標，全局上不一定具備顯著性。

圖6 無人機對地圖像的全局顯著圖Fig.6 Global saliency map of UAV ground images

圖7 無人機對地圖像的局部顯著圖Fig.7 Local saliency map of UAV ground images

3.2.2 圖像分割和顯著區(qū)域分割對比

對比兩種交互式圖像分割方法和兩種顯著區(qū)域分割方法，分別為：GrabCut[25]、OneCut[33]和二倍閾值分割[26]、Saliency Cut[27]。其中，顯著區(qū)域分割方法使用的顯著圖來自BMS 算法。從圖8 可以看出，基于顯著圖的顯著區(qū)域分割方法比基于方框的交互式圖像分割方法要穩(wěn)定，且分割結果也較為準確。

圖8 圖像分割和顯著區(qū)域分割對比圖Fig.8 Comparison of image segmentation and salient region segmentation

3.2.3 算法設計

如前所述，視覺顯著性算法雖然具備在復雜場景中快速、準確定位目標的能力，但需要適當?shù)囊龑畔ⅰ?.2.1 節(jié)的結果也驗證了這一觀點。若將手動選取的正方形框視作引導信息，問題則將轉化為：給定輸入圖像和正方形邊框，如何找出正方形框中的局部顯著目標。

結合3.2.1 節(jié)和3.2.2 節(jié)的實驗結果，并考慮到在嵌入式設備上的部署便捷性。本節(jié)提出基于視覺顯著性和顯著區(qū)域分割的跟蹤框自適應優(yōu)化算法，如圖9 所示。圖9中，圖像切片從上至下依次為根據(jù)真值框的外接正方形縮放1.25、1.0、0.8 倍后從原圖截取，顯著圖來自BMS 算法，顯著區(qū)域分割從上至下依次為二倍閾值分割和Saliency Cut算法。

圖9 跟蹤框自適應優(yōu)化算法流程圖Fig.9 Flow chart of tracking box optimization algorithm

算法偽代碼如表2 所示。算法在計算過程中用到兩 個經驗閾值：Tdist和Tratio。Tdist的作 用是 優(yōu)先考慮形心與B中心距離最近的矩形邊框，設為0.2（若超出這一距離，則不予考慮）；Tratio的作用是優(yōu)先考慮最長邊與B邊長最接近的矩形邊框，設為0.5（若小于這一比值，則不予考慮）。

表2 算法偽代碼Table 2 Algorithm pseudocode

圖9 中外接矩形對應的數(shù)值如表3 所示。

4 實驗

實驗設備為Intel i7 CPU@2.80 GHz 和8 GB 內存的筆記本電腦，實驗環(huán)境為Matlab R2016b。通過Matlab 與C++混合編程的方式，調用視覺顯著性算法BMS 和顯著區(qū)域分割算法Saliency Cut；在Matlab 環(huán)境下進行圖像裁剪、計算歸一化距離和可視化等操作。

4.1 實驗設置

本節(jié)在VisDrone2018-SOT-test-dev 和UAVDT數(shù)據(jù)集上，定量地評價本文提出的跟蹤框自適應優(yōu)化算法對跟蹤精度的提升效果。與2.2.1 節(jié)相同，對比MUSTer、GOTURN、fDSST 和ECO 4 種跟蹤算法。實驗中，仍然以跟蹤數(shù)據(jù)集標注文件中目標在第1 幀的位置作為目標真值框。將真值框擴展為最小外接正方形框，計算2 種不同尺度（125%和150%）下優(yōu)化前和優(yōu)化后的跟蹤算法精度。評價指標為OPE 準則下的成功率曲線（success plot）和精度曲線（precision plot），來自于文獻[28]。

4.2 實驗結果

實驗結果如圖2、圖10 和圖11 所示。

圖10 VisDrone2018-SOT-test-dev 數(shù)據(jù)集上的成功率曲線圖和精度曲線圖Fig.10 Overall success plot and precision plot on VisDrone2018-SOT-test-dev dataset

圖11 UAVDT 數(shù)據(jù)集上的成功率曲線圖和精度曲線圖Fig.11 Overall success plot and precision plot on UAVDT dataset

可以看出：1）經過本文跟蹤框自適應優(yōu)化算法優(yōu)化后的初始跟蹤框，能較好地貼合目標，并有效提升跟蹤性能；2）在VisDrone2018-SOT-test-dev數(shù)據(jù)集上，與優(yōu)化前相比，成功率平均提升0.138，最高提升了0.262，精度平均提升0.135，最高提升了0.165；3）在UAVDT 數(shù)據(jù)集上，與優(yōu)化前相比，成功率平均提升0.093，最高提升了0.147，精度平均提升0.082，最高提升了0.177。

圖10、圖11 中：MUSTer、GOTURN、fDSST和ECO 前綴表示4 種跟蹤算法；125、150 后綴分別表示將真值框擴展至1.25 倍和1.5 倍外接正方形框；opt 后綴表示正方形框經過本文算法優(yōu)化。

5 討論和分析

5.1 方案優(yōu)勢和局限性

本文提出的跟蹤框快速初始化和自適應優(yōu)化策略結合了人的主觀選擇和視覺認知，與基于先驗信息的方法相比，更具通用性；與基于任意長寬比矩形框的方法相比，速度更快；與基于正方形框的方法相比，更貼合目標。

由于未考慮先驗信息，目前方案存在一定局限：在處理帶有陰影的目標（圖12 中序列一）、結構多樣的目標（圖12 中序列二、三）時，跟蹤框自適應優(yōu)化結果難以與人的認知保持完全一致。但相較于正方形框而言，優(yōu)化后的框仍具備更好的跟蹤初始化效果。圖12 中藍色、綠色、黃色分別為基于跟蹤數(shù)據(jù)集的真值框、真值框的外接正方形框、優(yōu)化后的初始跟蹤框對fDSST 算法進行初始化的跟蹤結果。

圖12 跟蹤框自適應優(yōu)化算法的局限性Fig.12 Limitations of tracking box optimization algorithms

5.2 算法參數(shù)和耗時分析

5.2.1 距離歸一化閾值和邊長歸一化閾值

由于反應延遲和通信延遲帶來的偏差，操作員在地面端選取正方形框時，正方形框中心與目標中心難以保持一致。為確保跟蹤框自適應優(yōu)化算法可以準確鎖定目標，不被其他目標干擾，根據(jù)經驗值將距離歸一化閾值Tdist設為0.2。圖13 展示了對正方形框進行隨機擾動時這一閾值的效果。圖13 中藍色、黃色分別為真值框的外接正方形框、優(yōu)化后的初始跟蹤框。

圖13 距離歸一化閾值的作用Fig.13 Role of distance normalization threshold

此外，考慮到操作員在選取正方形框時，難以準確覆蓋目標，除了采用三層圖像金字塔結構（5.2.2 節(jié)）外，還需要對目標的長度與正方形框的邊長比值進行限制，遠大于邊框或遠小于邊框的目標都不予考慮。因此，根據(jù)經驗值將邊長歸一化閾值Tratio設為0.5。

5.2.2 圖像金字塔

在無人機飛行過程中，由于時間有限或心理壓力等原因，操作員選取的正方形框可能在目標實際尺寸上下浮動。針對這一問題，采用三層圖像金字塔結構（見圖9），對原始正方形框縮放1.25、1.0、0.8 倍后截取圖像切片，再進行后續(xù)的顯著性和區(qū)域分割處理。圖14 定性地展示了這一結構的有效性：當背景雜亂、存在相似目標時（圖14 第1 行），縮小視野可以忽略干擾；當目標簡單、獨立時（圖14 第2 行），放大視野更容易把握全局。圖14中黃色表示優(yōu)化后的初始跟蹤框。

圖14 三層圖像金字塔結構的作用Fig.14 Role of three-tier image pyramid structure

5.2.3 算法可移植性和耗時分析

本文使用的BMS 算法和Saliency Cut 算法分別來自文獻[18]、文獻[27]，其核心代碼均為C 語言開發(fā)。因此，可以很便捷地移植到嵌入式設備上。在Intel i7 CPU@2.80 GHz 和8 GB 內存的電腦上運行，以200×200 像素的圖像為例，release 模式下耗時為0.3 s?？紤]到本文算法的三級金字塔是分別獨立的，可以并行處理優(yōu)化，則理論上可以達到0.1 s 的速度（10 幀/s），基本滿足實時性要求。

6 結論

本文對單目標跟蹤的跟蹤初始化問題進行了討論和研究。針對無人機對地偵察任務的特點，提出了一種結合人的主觀選擇和視覺認知的半自動初始化和優(yōu)化策略，并給出了基于視覺顯著性和顯著圖像分割的自適應優(yōu)化算法樣例，在兩個公開數(shù)據(jù)集上驗證了跟蹤框自適應優(yōu)化算法的有效性。

本文的主要貢獻在于對跟蹤初始化問題的探討，以及一種提升初始跟蹤框精度的策略，而非算法創(chuàng)新。在當前的框架下，包括本文方法在內的多數(shù)跟蹤初始化方法都只利用了當前幀信息，因此仍不是最佳解決方案。如何利用歷史幀的時空上下文信息，實現(xiàn)更為準確、快速的通用目標跟蹤初始化，是下一步研究的重點。