歐豐林, 楊文元

(1.漳州職業(yè)技術(shù)學(xué)院 信息工程學(xué)院，福建 漳州 363000；2.閩南師范大學(xué) 福建省粒計(jì)算及其應(yīng)用重點(diǎn)實(shí)驗(yàn)室, 福建 漳州 363000)

隨著視頻跟蹤技術(shù)的飛速發(fā)展，視覺目標(biāo)跟蹤在無人駕駛飛行器(Unmanned Aerial Vehicle, UAV)中起著重要的作用.它已被廣泛應(yīng)用于不同類型的無人機(jī)應(yīng)用，如野生動(dòng)物保護(hù)[1]、基礎(chǔ)設(shè)施檢查[2]，公共區(qū)域的異常目標(biāo)行為識(shí)別[3]，列車自動(dòng)駕駛軌跡分析[4]等人類活動(dòng)監(jiān)視.UAV的視頻目標(biāo)跟蹤在快速運(yùn)動(dòng)、比例變化、攝像機(jī)運(yùn)動(dòng)、視差、低圖像分辨率和雜亂背景等仍然是具有挑戰(zhàn)性的重要問題.

目標(biāo)跟蹤的類型大致有兩種:基于生成式方法和基于判別式方法.生成式跟蹤方法是采用目標(biāo)的外觀模型作為模板，然后在搜索區(qū)內(nèi)利用最小化重構(gòu)誤差的模式進(jìn)行匹配，實(shí)現(xiàn)目標(biāo)的跟蹤;判別式方法則是把跟蹤問題視為二元分類，通過圖像訓(xùn)練來區(qū)分目標(biāo)與背景的邊界[5]，利用跟蹤目標(biāo)和背景信息進(jìn)行目標(biāo)外觀學(xué)習(xí).判別跟蹤方法作為一種檢測(cè)跟蹤方法，在視覺跟蹤應(yīng)用中得到了廣泛的應(yīng)用[6-7].

相關(guān)濾波(correlation filtering, CF)的判別跟蹤器近年來取得了重大進(jìn)展[8-9].特別是基于判別相關(guān)濾波器(Discriminant Correlation Filters, DCF)的跟蹤器[10-11]達(dá)到了預(yù)期的效果，在傅里葉頻域上有效地解決嶺回歸問題，從而在精度和速度之間保持較好性能.基于DCF的跟蹤性能的提升來源于使用顏色信息[11]、減小邊界效應(yīng)[12]、非線性內(nèi)核[13]和多因素驅(qū)動(dòng)的多維特征[14].不同的特征會(huì)捕獲不同的目標(biāo)信息渠道，從而獲得更好的性能.

隨著計(jì)算機(jī)視覺[15]、語音識(shí)別[16]、大數(shù)據(jù)[17]等領(lǐng)域取得的巨大成功，研究人員開始將目標(biāo)跟蹤應(yīng)用于無人機(jī)的目標(biāo)跟蹤領(lǐng)域.張?chǎng)蔚热薣18]提出的UAV目標(biāo)跟蹤預(yù)測(cè)算法研究，以粒子濾波算法作為跟蹤的主體框架，采用Kalman濾波預(yù)測(cè)目標(biāo)軌跡，解決UAV在采集視頻圖像在與地面站進(jìn)行數(shù)據(jù)通信的數(shù)據(jù)鏈延時(shí)問答，提高了目標(biāo)跟蹤的精度.邵博等人[19]提出基于核相關(guān)濾波器的無人機(jī)目標(biāo)跟蹤算法，通過顏色空間直方圖的相似性度量算法進(jìn)行尺度估計(jì)，最后采用濾波器獲得目標(biāo)位置，快速準(zhǔn)確地跟蹤目標(biāo).Wang等人[20]提出無人機(jī)跟蹤的自適應(yīng)采樣，通過局部核特征對(duì)無人機(jī)跟蹤對(duì)象的特性進(jìn)行編碼，采用邊緣盒方案和隨機(jī)樣本作為訓(xùn)練樣本，根據(jù)可靠的先驗(yàn)知識(shí)來識(shí)別跟蹤目標(biāo)，無人機(jī)目標(biāo)跟蹤精度效果較好.

然而，UAV上使用的對(duì)象跟蹤方法大多依賴于特征點(diǎn)檢測(cè)[21-22]，如(Histogram of Oriented Gradient, HOG)[23]特征對(duì)運(yùn)動(dòng)模糊、光照變化及顏色變化等很魯棒，但對(duì)形變的魯棒性較差；顏色特征(Color Name,CN)對(duì)形變魯棒性較好，但對(duì)光照變化不夠魯棒；顯著性特征在對(duì)象檢測(cè)中，利用對(duì)象比背景更明顯的事實(shí)，具有顯著性信息的對(duì)象用于增強(qiáng).

為實(shí)現(xiàn)精確目標(biāo)定位，本文提出一種新的響應(yīng)融合策略，將對(duì)提取的HOG，CN，Saliency三種特征通過峰值信噪比進(jìn)行降噪后，再進(jìn)行加權(quán)融合，實(shí)現(xiàn)目標(biāo)跟蹤的精確定位.首先，通過背景感知相關(guān)濾波器對(duì)跟蹤的目標(biāo)提取的每個(gè)特征；然后，利用峰值信噪比衡量每個(gè)特征響應(yīng)值的峰值強(qiáng)度后進(jìn)行降噪后對(duì)每個(gè)特征響應(yīng)值進(jìn)行組合后再進(jìn)行加權(quán)融合.最后，對(duì)目標(biāo)進(jìn)行精確定位.該算法在UAV123公開的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，與6個(gè)視頻跟蹤算法進(jìn)行對(duì)比分析.實(shí)驗(yàn)表明，該算法表現(xiàn)出較好的性能，特別是在目標(biāo)跟蹤的運(yùn)動(dòng)中視差，光照變化的精度有一定程度提高.

1 相關(guān)工作

1.1 HOG對(duì)象特征表示

HOG特征捕捉邊緣或梯度結(jié)構(gòu)，這是高度的局部形狀特征，具有局部幾何變換和光度變換不變性的優(yōu)點(diǎn).如果轉(zhuǎn)換或旋轉(zhuǎn)比定向框的大小得多，那么在對(duì)象表示上沒有太大的差別.即使不精確地確定相應(yīng)的梯度或邊緣位置，局部物體的外觀和形狀可以通過局部強(qiáng)度梯度或邊緣方向的分布來很好地表征.

1.2 顏色對(duì)象特征表示

除了紋理信息之外，在圖像檢索[24]中表現(xiàn)良好的顏色屬性可以用來描述對(duì)象的特征.顏色屬性被引用作為顏色名稱，可以很好地處理物體的變形和形狀的變化.構(gòu)建對(duì)象顏色名稱的操作是將RGB觀測(cè)與預(yù)選的11個(gè)基本顏色標(biāo)簽項(xiàng)集相關(guān)聯(lián).為了實(shí)現(xiàn)CN特征圖像首先將圖像I(k)調(diào)整為I(k)re，其大小與C(k)相同，如圖1所示.

1.3 背景感知相關(guān)濾波器原理

經(jīng)典的相關(guān)濾波器跟蹤器主要是通過最小化目標(biāo)函數(shù)ε(f)來訓(xùn)練分類器，得到濾波器f的最優(yōu)參數(shù)，ε(f)定義為

(1)

其中：ε(f)是樣本xd的相關(guān)響應(yīng)與它們的M×1期望相關(guān)響應(yīng)y之間的平方誤差和，xd∈M和fd∈M分別是矢量化圖像特征和濾波器，下標(biāo)d表示D特征通道中的第d個(gè)，λ是正則化參數(shù)，*表示空間相關(guān)算子.

圖1 顏色特征對(duì)象表示

與經(jīng)典的相關(guān)濾波(Correlation Filters, CF)不同，背景感知相關(guān)濾波器(Background-Aware Correlation Filters,BACF)[25]在圖像上應(yīng)用了一個(gè)循環(huán)移位算子和一個(gè)裁剪算子，通過訓(xùn)練一個(gè)過濾器來更好地區(qū)分前景對(duì)象和其移動(dòng)的樣本.背景感知相關(guān)濾波器f是通過最小化以下目標(biāo)來訓(xùn)練的，公式定義為

(2)

其中：ε(f)是樣本Bxd[Δτj]及其回歸目標(biāo)y(j)響應(yīng)的平方誤差和.B∈M×N是一個(gè)二進(jìn)制矩陣，它可以裁剪信號(hào)xd的中間M個(gè)元素，大小為N，即xd∈N×1,N?M,Δτj是循環(huán)移位算子，而xd[Δτj]表示信號(hào)中的元素xd循環(huán)移動(dòng)j個(gè)位置，因此，返回所有大小為M的移位信號(hào)xd，上標(biāo)T表示復(fù)向量或矩陣的共軛轉(zhuǎn)置.

2 多特征融合算法

為了適應(yīng)各種外觀變化且能夠在具有挑戰(zhàn)性UAV123數(shù)據(jù)集上進(jìn)行目標(biāo)跟蹤，僅用單一的特征來實(shí)現(xiàn)目標(biāo)跟蹤，提取的特征信息是不夠的.受CF算法的啟發(fā),在背景感知相關(guān)濾波基礎(chǔ)上,提出多特征融合的無人機(jī)相關(guān)濾波算法目標(biāo)跟蹤.

2.1 多特征學(xué)習(xí)的融合

假設(shè)給定的圖像幀I(k)，則每個(gè)特征的響應(yīng)圖用Rf(k)表示，定義為

Rf(k)=P(I(k))

(3)

其中:f(k)∈{H(k),C(k),S(k)}.H，C和S分別表示HOG，CN和視覺強(qiáng)化特征.在跟蹤的過程中，不同的響應(yīng)映射被融合而不進(jìn)行任何預(yù)處理，容易產(chǎn)生干擾信息將使得融合的響應(yīng)映射不可避免地包含噪聲，該算法采用峰值信噪比，測(cè)量Rf(k)的響應(yīng)強(qiáng)度和權(quán)重.處理后的響應(yīng)強(qiáng)度為公式(4)

Rf(k)=ωf(k)1Rf(k),

(4)

其中：ωf(k)1定義為

(5)

其中：μf(k)1和σf(k)1分別是Rf(k)的均值和標(biāo)準(zhǔn)差.為了使噪聲濾波更準(zhǔn)確、更自適應(yīng)，提出的融合策略將不同的Rf(k)信息融合在一起.Rf(k)1f(k)2是指經(jīng)過處理的響應(yīng)映射Rf(k)1和Rf(k)2加權(quán)，定義為

Rf(k)1f(k)2=Rf(k)1Rf(k)2,

(6)

其中：f(k)1≠f(k)2，為按元素劃分的乘積.然后將所有映射的響應(yīng)值組合后進(jìn)行融合，即RH(k)C(k),RH(k)S(k),RS(k)C(k).

為了更好地利用每個(gè)融合響應(yīng)圖并突出顯示每個(gè)響應(yīng)圖中的信息，最終融合Q(k)定義為

ωH(k)S(k)2RH(k)S(k)+ωC(k)S(k)2RC(k)S(k)),

(7)

其中：ωf(k)1f(k)22定義為

(8)

其中：μf(k)1f(k)22和σf(k)1f(k)22是Rf(k)1f(k)2的均值和標(biāo)準(zhǔn)差，實(shí)現(xiàn)最終的融合響應(yīng)映射.

2.2 MFFT 算法

如圖2，本文提出一種新的響應(yīng)融合策略框架，通過背景感知相關(guān)濾波器對(duì)無人機(jī)捕獲的目標(biāo)進(jìn)行識(shí)別，重新構(gòu)建大小合適的圖像，并根據(jù)獲得的目標(biāo)進(jìn)行HOG, CN, Saliency特征的提取；然后，通過提取特征得到的目標(biāo)響應(yīng)圖，利用峰值信噪比對(duì)已經(jīng)提取的特征進(jìn)行降噪聲，獲得降噪后的強(qiáng)度最大響應(yīng)值；接著，根據(jù)降噪后的三個(gè)最大特征響應(yīng)值進(jìn)行加權(quán)融合，求出平均值即獲得融合后的響應(yīng)值；最后，根據(jù)融合后的響應(yīng)值進(jìn)行目標(biāo)精確定位.具體算法步驟：

算法:多特征融合無人機(jī)目標(biāo)跟蹤算法MFFT

輸入：視頻序列I(k)，第一幀目標(biāo)位置，參數(shù)輸入.

主要參數(shù)：特征選擇FHOG,CN,Saliency；正則化參數(shù)0.01；迭代的次數(shù)為3；學(xué)習(xí)率為0.012等.

輸出：視頻所有幀的目標(biāo)的跟蹤位置.

1)對(duì)圖像的大小進(jìn)行重構(gòu)，在框架k中提取以對(duì)象位置為中心的搜索窗口.

2)提取HOG，CN，Saliency三種相關(guān)濾波響應(yīng)的特征.

3)根據(jù)公式(3)計(jì)算響應(yīng)圖，并利用公式(4)對(duì)獲得的響應(yīng)值進(jìn)行降噪聲.

4)根據(jù)公式(6)對(duì)降噪聲后的的3個(gè)響應(yīng)值進(jìn)行融合，得到RH(k)C(k),RH(k)S(k),RS(k)C(k)三種響應(yīng)特征組合.

5)將公式(7)組合后的響應(yīng)特征進(jìn)行融合，獲得響應(yīng)特征融合后取平均值.

6)根據(jù)最終融合后的響應(yīng)Q(k)，實(shí)現(xiàn)目標(biāo)跟蹤定位.

返回：目標(biāo)跟蹤結(jié)果.

圖2 MFFT多特征融合的無人機(jī)目標(biāo)跟蹤框圖

3 實(shí)驗(yàn)結(jié)果與分析

在本節(jié)中，將通過實(shí)驗(yàn)來驗(yàn)證MFFT算法在視頻跟蹤中的有效性.測(cè)試集采用UAV123[26]公開數(shù)據(jù)集，與6個(gè)視頻跟蹤算法進(jìn)行比較.

3.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

該實(shí)驗(yàn)使用處理器Intel Core i7-4790@3.4GHz，內(nèi)存為8GB的電腦.算法中的參數(shù)設(shè)置如表1所示.

表1 算法參數(shù)設(shè)置

3.2 實(shí)驗(yàn)結(jié)果分析

在UAV123公開測(cè)試集上，與MCCT[27]、MEEM[28]、BACF、MUSTER[29]、SRDCF[12]，SAMF[30],這6個(gè)算法進(jìn)行比較，如圖3、4所示.

無人機(jī)圖像序列分為12種不同類型，即高寬比變化(ARC)、背景雜波(BC)、攝像機(jī)運(yùn)動(dòng)(CM)、快速運(yùn)動(dòng)(FM)、完全遮擋(FC)、光照變化(IV)、低分辨率(LR)、視差(OV)、部分遮擋(POC)、比例變化(SV)、相似對(duì)象(SOB)和視點(diǎn)變化(VC)等來進(jìn)行跟蹤性能評(píng)估.

圖3 對(duì)比算法中跟蹤器UAV123數(shù)據(jù)集的樣本跟蹤結(jié)果

圖4 對(duì)比算法中跟蹤器在不同評(píng)價(jià)指標(biāo)中的直方圖

表2中，MFFT算法在ARC、CM、IV、LR、OV屬性方面比其他跟蹤器具有更好的精度分?jǐn)?shù).

該算法在ARC的性能為56.5%，同比MCCT，MEEN為49.3%，51.1%,高7.2%，5.4%.在BC評(píng)價(jià)指標(biāo)為47.8%，同比BACF，SRDCF分別為42.5%，38.9%,提高了5.3%，8.9%，主要原因是無人機(jī)算法中特征提取的同時(shí)進(jìn)行降噪，再通過加權(quán)融合實(shí)現(xiàn)目標(biāo)精確捕獲.

表2 UAV123數(shù)據(jù)集12種不同類型的評(píng)價(jià)指標(biāo)

在CM評(píng)價(jià)指標(biāo)為53.9%，同比SRDCF性能為52.7%,略微提高了1.2%，主要是因?yàn)闊o人機(jī)在拍攝過程中受到氣壓，風(fēng)向的影響，破壞了無人機(jī)的飛行穩(wěn)定性，對(duì)目標(biāo)捕獲造成間接影響.

在LR評(píng)價(jià)指標(biāo)為49.8%，同比MEEM，MCCT性能為48.4%，45.5%提高了1.4%，4.3%，該無人機(jī)在較高的飛行環(huán)境下，拍攝到地面目標(biāo)，產(chǎn)生了較低分辨率圖像，導(dǎo)致目標(biāo)跟蹤的精度略微下降，目標(biāo)的識(shí)別相對(duì)穩(wěn)定.

在IV評(píng)價(jià)指標(biāo)為53.2%，同比MCCT，MEEM分別為47.7%，48.1%分別提高5.5%，5.1%，主要是融合了HOG的特征，特別是對(duì)運(yùn)動(dòng)模糊、光照變化及顏色變化等很魯棒.

在OV評(píng)價(jià)指標(biāo)為54.5%，同比MCCT性能為49.3%，提高了5.2%，因?yàn)橐暡钍菬o人機(jī)航拍過程中存在目標(biāo)小，距離大等問題，當(dāng)距離較遠(yuǎn)時(shí)，拍攝的效果擴(kuò)大化視差的效果，一定程度上降低了分辨率，如果低空拍攝目標(biāo)，那么產(chǎn)生的視差程度將進(jìn)一步縮小.

4 結(jié) 語

本文提出了一種多特征融合的無人機(jī)目標(biāo)跟蹤算法.通過對(duì)提取的特征利用峰值信噪比進(jìn)行降噪后，對(duì)響應(yīng)圖中的峰值強(qiáng)度最大響應(yīng)進(jìn)行特征組合，通過最終的加權(quán)融合來實(shí)現(xiàn)目標(biāo)跟蹤的精確定位.該算法可解決視差和光照變化影響無人機(jī)目標(biāo)跟蹤性能的問題.然而，在跟蹤過程中，因攝像機(jī)拍攝的圖像抖動(dòng)因素對(duì)目標(biāo)的跟蹤的性能產(chǎn)生一定干擾的影響，下一步擬采用深度學(xué)習(xí)方法將對(duì)運(yùn)動(dòng)模糊的影響因素進(jìn)行抑制，在保證跟蹤器魯棒性的前提下，提升跟蹤性能.