王賀，卜智勇，譚沖

(1 中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所，上海 200050；2 中國科學(xué)院大學(xué)，北京 100049；3 中國科學(xué)院無線傳感網(wǎng)與通信重點(diǎn)實(shí)驗(yàn)室，上海 200335)(2020年1月6日收稿；2020年4月8日收修改稿)

無人機(jī)具有反應(yīng)速度快、姿態(tài)變化多樣等優(yōu)點(diǎn)，搭載攝像頭后，相比傳統(tǒng)監(jiān)控設(shè)備，監(jiān)測范圍更大，適用場景更廣。基于無人機(jī)的對地目標(biāo)跟蹤在安防巡檢、智慧交通等領(lǐng)域有很多落地應(yīng)用，而對目標(biāo)的逼近可以完成抵近偵察、精準(zhǔn)打擊等軍事任務(wù)，因此成為當(dāng)前的研究熱點(diǎn)之一。

基于無人機(jī)的對地目標(biāo)跟蹤與逼近首先要估計(jì)目標(biāo)位置，然后進(jìn)行無人機(jī)控制，引導(dǎo)其完成目標(biāo)任務(wù)。當(dāng)前，主要使用目標(biāo)跟蹤算法檢測目標(biāo)在視頻序列中的位置，以KCF(kernel correlation filter)[1]算法為代表的核相關(guān)濾波跟蹤算法具有成功率高、速度快的優(yōu)點(diǎn)，在工程中被廣泛應(yīng)用，但是目標(biāo)跟蹤過程中存在的目標(biāo)尺度變化、目標(biāo)遮擋問題仍是研究難點(diǎn)。

針對目標(biāo)尺度變化問題，Li等[2]使用多個尺度因子，將檢測區(qū)域進(jìn)行不同程度的縮放，再使用線性插值的方式使目標(biāo)圖像調(diào)整到模板矩陣大小，然后使用相關(guān)濾波的方法分別求響應(yīng)值，從中選擇最優(yōu)結(jié)果。DSST(discriminatiive scale space tracker)[3]算法利用三維濾波器、一維尺度、二維位置，先用位置濾波器計(jì)算目標(biāo)的位置中心，然后使用尺度濾波器在33個尺度樣本上估計(jì)最佳尺度。以上算法使用多個濾波器可以有效解決尺度變化問題，但也因此帶來了算法的復(fù)雜性和冗余性，導(dǎo)致實(shí)時性降低。

針對目標(biāo)遮擋問題，當(dāng)目標(biāo)在視野中重新出現(xiàn)時，LTD(tracking-learning-detection)[4]跟蹤算法使用檢測模塊對圖片幀進(jìn)行全局搜索，重新定位目標(biāo)位置，初始化跟蹤模塊，再次進(jìn)行跟蹤。張玉冰等[5]對目標(biāo)進(jìn)行分塊，估計(jì)每個小塊的位置，推算出目標(biāo)的位置和范圍，不僅增加了對遮擋的魯棒性，同時解決了目標(biāo)的形變問題。以上算法都可以解決目標(biāo)的部分遮擋問題，但均不能保證實(shí)時性。

對于無人機(jī)的導(dǎo)引，文獻(xiàn)[6]使用李亞普諾夫向量場法，將無人機(jī)的速度矢量和期望軌跡中的每個點(diǎn)相匹配，只要無人機(jī)按照匹配的速度飛行，便可以實(shí)現(xiàn)精確制導(dǎo)，但是尋找一個理想的Lyapunov函數(shù)是一大難點(diǎn)。文獻(xiàn)[7]使用圖像伺服控制器建立圖像中目標(biāo)運(yùn)動與四旋翼運(yùn)動之間的關(guān)系，通過求解Jacobian矩陣的偽逆，得到控制量，實(shí)現(xiàn)四旋翼的自主降落。對于具有欠驅(qū)動特性的四旋翼，需要對無人機(jī)建立復(fù)雜動力學(xué)模型。相比之下，比例導(dǎo)引法[8]用于無人機(jī)的控制，具有導(dǎo)引精度高、所需參數(shù)少、飛行軌跡平滑等優(yōu)點(diǎn)，適合工程使用。

綜合以上論述，考慮無人機(jī)與目標(biāo)相對運(yùn)動造成的目標(biāo)尺度變化、部分遮擋等情況，提出改進(jìn)的核相關(guān)濾波算法：首先將方向梯度直方圖(histogram of oriented gradient,HOG)特征、Lab顏色特征和局部二值模式(local binary pattern,LBP)特征進(jìn)行響應(yīng)融合，提取檢測區(qū)域的紋理信息，抑制邊緣噪聲；然后根據(jù)無人機(jī)與目標(biāo)的相對速度，計(jì)算自適應(yīng)尺度因子，對目標(biāo)圖像縮放進(jìn)行相關(guān)濾波檢測；最后判斷峰值旁瓣比(peak sidelobe ratio,PSR)的值對模板進(jìn)行自適應(yīng)更新。根據(jù)改進(jìn)KCF算法跟蹤的結(jié)果，使用二維比例導(dǎo)引律控制多旋翼無人機(jī)運(yùn)動，完成目標(biāo)跟蹤與逼近。

1 系統(tǒng)設(shè)計(jì)

比例導(dǎo)引作用于無人機(jī)的速度方向，而帶有半自主自駕儀的無人機(jī)可通過遙控指令，直接控制無人機(jī)的姿態(tài)。本文選用大疆Mavic Air-多旋翼無人機(jī)平臺，帶有三軸云臺相機(jī)，利用其SDK(software development kit)開發(fā)地面站系統(tǒng)，獲取無人機(jī)回傳的圖像。使用改進(jìn)的KCF算法跟蹤目標(biāo)位置，比例導(dǎo)引負(fù)責(zé)解算速度指令，并通過虛擬遙桿控制無人機(jī)運(yùn)動，其系統(tǒng)框如圖1所示。

圖1 系統(tǒng)框圖

為增強(qiáng)目標(biāo)跟蹤算法對地面目標(biāo)尺度變化、部分遮擋的魯棒性，對KCF算法從特征融合、自適應(yīng)尺度檢測、自適應(yīng)模板更新3個方面進(jìn)行改進(jìn)。地面站開發(fā)使用Android NDK，利用C++語言實(shí)現(xiàn)目標(biāo)跟蹤算法并在上層通過JNI(Java native interface)調(diào)用跟蹤結(jié)果。無人機(jī)回傳的圖像首先經(jīng)過改進(jìn)的KCF算法，檢測目標(biāo)在視野中的位置。為了使用二維的比例導(dǎo)引，簡化控制，需要根據(jù)目標(biāo)位置控制無人機(jī)的偏航使目標(biāo)處于視野的水平中心。當(dāng)目標(biāo)處于視野中心時，通過比例導(dǎo)引律計(jì)算無人機(jī)下一時刻需要的速度，大疆SDK提供了虛擬搖桿指令的接口，可直接向無人機(jī)發(fā)送速度指令，控制多旋翼姿態(tài)。

2 多旋翼無人機(jī)對地目標(biāo)的KCF跟蹤算法

2.1 KCF跟蹤算法

KCF跟蹤算法是基于檢測的跟蹤，使用相關(guān)濾波器檢測目標(biāo)位置，然后不斷學(xué)習(xí)、更新濾波器，提高魯棒性。整個算法流程如圖2所示。

圖2 KCF算法流程

KCF算法主要分為3個步驟：1)初始化分類器：在視頻序列中框選目標(biāo)作為初始幀，利用循環(huán)矩陣稠密采樣，構(gòu)建正負(fù)樣本，使用FHOG[9]和CIELAB提取目標(biāo)HOG和Lab特征，訓(xùn)練模板矩陣作為分類器; 2)目標(biāo)位置檢測：對于后續(xù)幀，先提取待檢測區(qū)域的目標(biāo)特征，再求與候選區(qū)域的卷積響應(yīng)，以響應(yīng)值最大處作為目標(biāo)的中心位置；3)模板更新：以新的目標(biāo)位置為基樣本，使用循環(huán)矩陣重新采樣，訓(xùn)練新的模板矩陣，為提高分類器魯棒性，以線性插值的方式進(jìn)行更新。

2.2 多旋翼無人機(jī)對地目標(biāo)的KCF跟蹤算法

應(yīng)用到無人機(jī)平臺，本文主要從以下3個方面進(jìn)行KCF算法改進(jìn)。

首先是特征融合。HOG特征提取目標(biāo)的方向梯度直方圖，可以很好地描述目標(biāo)的輪廓，但是容易被邊緣噪聲干擾[10]。LBP算子提取圖像的紋理特征，能夠有效抑制噪聲，本文將LBP特征串聯(lián)在FHOG和Lab特征之后，形成3種特征融合的特征向量表示目標(biāo)。如圖3所示，LBP算子即局部二值模式，通過閾值比較和編碼形成LBP值，用以表示以當(dāng)前像素為中心的鄰域內(nèi)的紋理信息。

圖3 LBP特征提取流程

本文使用SEMB-LBP[11]特征，對LBP特征進(jìn)行降維處理，同時保證信息的有效性。SEMB-LBP提取過程如下：

1)將候選區(qū)域劃分成若干個4×4大小的塊，每個塊劃分成4個2像素×2像素大小的胞元，計(jì)算每個胞元的灰度平均值；

2)將每個胞元作為一個整體，與鄰域胞元進(jìn)行比較，計(jì)算LBP值；

3)對每個塊中的LBP值求直方圖并按bin值降序排列，將排序在前N位的bin值對應(yīng)的LBP值作為樣本SEMB_LBPs，重新對圖像進(jìn)行編碼。特征圖中(x,y)處的LBP值L(x,y)如果在樣本庫SEMB_LBPs中，則將其序號Index[L(x,y)]賦值給L(x,y)，如果不在樣本庫中，則令其等于N。例如，排序23的LBP值為127，編碼后，所有LBP值為127的胞元，均被替換為23。取N=63，這樣圖像的灰度值范圍變成0～63，共64種取值。公式如下

(1)

其次是自適應(yīng)尺度。為解決目標(biāo)跟蹤過程中的尺度變化問題，SAMF[2]算法使用了尺度池方法，采用7個尺度，步長Si={0.985,0.99,0.995,1.0,1.005,1.01,1.015}，對每幀候選區(qū)域都進(jìn)行Si倍的縮放，計(jì)算響應(yīng)值。但是在計(jì)算大圖像塊時計(jì)算量很大，且7個尺度只有一個最終能用，造成冗余，不能保證實(shí)時性。

對于目標(biāo)跟蹤與逼近任務(wù)，目標(biāo)在視野中的尺寸以正比于無人機(jī)和目標(biāo)相對速度的速率增大。采用一種自適應(yīng)的尺度因子，可以減小運(yùn)算量，提高檢測速度，如下所示

L=1+V×0.01，

(2)

其中：L為尺度因子，V為無人機(jī)與目標(biāo)沿視線角方向的相對速度。

最后是失敗檢測與模板自適應(yīng)更新，借用文獻(xiàn)[12]使用PSR值進(jìn)行跟蹤失敗檢測的方法，設(shè)定PSR閾值，通過閾值比較檢測跟蹤是否失敗。為避免在目標(biāo)部分遮擋時學(xué)習(xí)到過多的背景信息，使用視頻序列前10幀計(jì)算的PSR值的平均值的1/2作為閾值。如果此時的PSR值大于閾值，判定為跟蹤成功，使用線性插值的方式，更新模板矩陣；如果此時PSR值小于等于閾值，則跟蹤失敗，不進(jìn)行模板的更新。

3 基于比例導(dǎo)引的多旋翼無人機(jī)跟蹤與逼近

3.1 比例導(dǎo)引的基本原理

比例導(dǎo)引律[13]可表示為

ηc=NVcλ′，

(3)

其中：ηc為導(dǎo)彈需要的加速度，N為常系數(shù)，Vc為相對速度，λ′為彈目線方向角變化率。圖4展示了無人機(jī)與目標(biāo)的攔截曲線，假設(shè)無人機(jī)高度為20 m，圖4(a)目標(biāo)靜止，圖4(b)目標(biāo)以0.5 m/s的速度前進(jìn)，方向與無人機(jī)速度方向相同，圖4(c)目標(biāo)以0.5 m/s的速度前進(jìn)，方向與無人機(jī)速度方向相反。將速度矢量沿視線角方向分解為水平方向和豎直方向的速度，發(fā)送到無人機(jī)平臺，便可以實(shí)現(xiàn)有效制導(dǎo)。

圖4 導(dǎo)彈與目標(biāo)攔截曲線

3.2 基于比例導(dǎo)引的多旋翼無人機(jī)跟蹤與逼近算法設(shè)計(jì)

根據(jù)目標(biāo)跟蹤算法返回的結(jié)果，控制無人機(jī)的偏航，使目標(biāo)在水平方向上處于視野中心，且相機(jī)俯仰角度為零。此時，將運(yùn)動方程限制在豎直二維剖面內(nèi)，通過求解無人機(jī)與目標(biāo)的視線角變化率、相對速度就可以求得無人機(jī)的控制加速度。

如圖5所示：T為待跟蹤的目標(biāo)；假設(shè)M點(diǎn)為機(jī)載相機(jī)的焦點(diǎn)，且與無人機(jī)重心重合，點(diǎn)B為成像平面的中心點(diǎn)，點(diǎn)A為T的投影點(diǎn)，此時處于成像平面水平方向的中線上，即直線AB為成像平面水平方向的中線。

可根據(jù)無人機(jī)高度H、相機(jī)焦距f、視野中目標(biāo)距視野中心的距離d，求得無人機(jī)與目標(biāo)的視線角θ、無人機(jī)與目標(biāo)的距離RTM，如下

(4)

(5)

對時間t求導(dǎo)即可得視線角變化率及相對速度：

(6)

(7)

其中：H′為無人機(jī)豎直方向的速度，d′為圖像中目標(biāo)在豎直方向的速度，設(shè)T為圖像刷新的幀率：

H′=(HT+1-HT)×T，

(8)

d′=(dT+1-dT)×T.

(9)

4 仿真和實(shí)驗(yàn)

4.1 改進(jìn)的KCF算法測試

UAV123數(shù)據(jù)集[14]是無人機(jī)拍攝的用于目標(biāo)跟蹤的數(shù)據(jù)集。為驗(yàn)證改進(jìn)算法(GCF)的有效性，如表1所示，在UAV123數(shù)據(jù)集中選取3個序列(bike1、person12、car18)與KCF算法、DAT[15]算法、STAPLE[16]算法進(jìn)行對比實(shí)驗(yàn)，采用跟蹤精度和成功率進(jìn)行評估。

表1 序列特點(diǎn)說明

定義距離誤差為算法估計(jì)的中心點(diǎn)(x1,y1)與真實(shí)中心點(diǎn)(x2,y2)的距離，表示如下

(10)

設(shè)定閾值為20像素，則跟蹤精度為誤差距離小于20像素的幀數(shù)占所有幀的比例。

定義重合率為算法估計(jì)的目標(biāo)框(記為a)與真實(shí)目標(biāo)框(記為b)的比值

(11)

假設(shè)當(dāng)重合率大于α?xí)r，視為跟蹤成功，成功率即為所有跟蹤成功的幀占所有幀的比例。

如圖6所示，由測試結(jié)果可知，對于改進(jìn)的算法，設(shè)定距離誤差閾值為20像素，跟蹤精度能夠穩(wěn)定在0.6以上，設(shè)定重合率的閾值為0.5，成功率能夠達(dá)到0.73以上。對比KCF算法，有效解決了目標(biāo)部分遮擋、尺度變化等問題，提高了跟蹤魯棒性。對比其他算法，雖然算法性能提高不是很明顯，但改進(jìn)算法能保證實(shí)時性。

圖6 對比實(shí)驗(yàn)結(jié)果

圖7是算法改進(jìn)前后的對比圖，選自person12序列，第910幀，目標(biāo)出現(xiàn)部分遮擋，此時原始算法仍在不斷地學(xué)習(xí)、更新模板矩陣,以至于學(xué)習(xí)到大量的背景信息，由于PSR值小于閾值，改進(jìn)算法避免了背景的干擾。在第1 063幀，原始算法一直停留在目標(biāo)被遮擋的地方，而改進(jìn)的算法一直保持準(zhǔn)確跟蹤。

圖7 算法改進(jìn)前后對比圖

4.2 地面站測試

將改進(jìn)的算法移植到地面站，進(jìn)行外場實(shí)驗(yàn)，使用手勢框選目標(biāo)，如圖8所示，可以實(shí)現(xiàn)對目標(biāo)的實(shí)時跟蹤與逼近，并且能夠自適應(yīng)變化跟蹤框尺度。

圖8 地面站實(shí)時記錄畫面

5 總結(jié)

經(jīng)典KCF算法在目標(biāo)跟蹤問題上具有很強(qiáng)的實(shí)時性，但是不能很好地處理對地目標(biāo)跟蹤過程中的尺度變化、目標(biāo)遮擋等問題。本文提出一種改進(jìn)的KCF對地目標(biāo)跟蹤算法，以適用于無人機(jī)平臺：1)提出融合的特征提取方法，在原有特征基礎(chǔ)上疊加LBP特征，有效抑制邊緣噪聲；2)結(jié)合無人機(jī)平臺，設(shè)計(jì)了自適應(yīng)的尺度因子，根據(jù)無人機(jī)與目標(biāo)距離，實(shí)時調(diào)整目標(biāo)在視野中的尺寸；3)使用峰值旁瓣比，判斷跟蹤效果，對模板進(jìn)行選擇性更新。以跟蹤精度和成功率兩個方面與現(xiàn)有算法對比，證明了改進(jìn)算法的有效性。最后基于Android平臺，移植KCF算法，開發(fā)大疆四旋翼無人機(jī)的地面站，根據(jù)改進(jìn)KCF算法的結(jié)果，采用比例導(dǎo)引的方法，完成目標(biāo)的跟蹤與逼近。