摘要：在復(fù)雜地物類型背景條件下，多目標(biāo)跟蹤算法通常表現(xiàn)出目標(biāo)識(shí)別與跟蹤能力較差問題，特別在被其它地物遮擋后目標(biāo)跟蹤丟失更嚴(yán)重。提出一種改進(jìn)的基于多源特征提取與特征融合的多目標(biāo)跟蹤算法。為提高目標(biāo)在復(fù)雜背景下的空間分辨力，充分利用對(duì)異類物體判別能力較強(qiáng)的高層特征和針對(duì)同類不同物體判別能力較強(qiáng)的淺層特征，提高復(fù)雜背景下地物目標(biāo)的識(shí)別能力。同時(shí)，為了解決物體被遮擋后導(dǎo)致跟蹤算法丟失目標(biāo)問題，利用濾波器獲得追蹤目標(biāo)的空間尺度大小，提高跟蹤算法的準(zhǔn)確性與可靠性。實(shí)驗(yàn)表明，多目標(biāo)跟蹤算法識(shí)別目標(biāo)的準(zhǔn)確性可達(dá)87.5%，誤差在±2.31%左右，具有良好的尺度估計(jì)效果。

關(guān)鍵詞：機(jī)器視覺;特征融合;目標(biāo)跟蹤;尺度估計(jì);運(yùn)動(dòng)檢測(cè)

DOI： 10. 11907/rjdk.191604

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

中圖分類號(hào)：TP312

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：1672-7800（ 2020）004-0046-04

Research on Multi-target Tracking Algorithm for Complex Background

Based on Feature Fusion

WANG Zhi-yu1.2

（l.College of Computer Science arzd Engineering ， .Sh.andong Univer.sity of Scie，zce and Tech.nology ，

Qingda0 2665 90 ， Ch.ina ;

2. Huangrlao District Ch.inese Medicine. Hospital， Qingda0 266500 . Clzina ）

Abstract： In the context of conlplex object types， multi-target tracking algorithrus usually show poor target recognition and targettracking ability， especially after being occluded by other objects， u-hich will lead to the loss of tracking sef targets. A multi-fargettracking algorithm for rnulti-source feature extraction and feature fusion is proposed in order to improve the spatial resolving power of'neural networks. iuake f'ull use of' different depth f'eatures and high-level f'eatures that have strong discriminative ability for heteroge-neous objects and discriminate against different objects of the same kind. Strong shallow features and multi-source fusion for featuresare fully used to improve the recognition of ground objects. At the same time. in order to solve the problem that the tracking algorithmloses the target after the object is occluded. the scale filter is used to calculate the spatial scale of the target， and the performance ofthe iuulti-target tracking algorithm is improved. Field experiments show， that multi-target tracking algorithm can achieve target accura-cy of 87.5% ， error rate is +2.31% . and the algorithm has good scale estimation effect.Key Words ： machine vision ; feature fusion ; target tracking; scale estimation ;motion detection

O 引言

深度卷積神經(jīng)網(wǎng)絡(luò)可以提取并表達(dá)目標(biāo)的深層特征，被廣泛用于提高目標(biāo)追蹤算法的準(zhǔn)確性，適用于運(yùn)動(dòng)目標(biāo)軌跡不斷變化情況。但卷積預(yù)算過(guò)程中大量的矩陣操作導(dǎo)致計(jì)算量較大，影響多目標(biāo)追蹤的時(shí)效性，為此學(xué)者進(jìn)行了相關(guān)研究。如周奇等…利用多特征進(jìn)行輪船運(yùn)動(dòng)目標(biāo)的跟蹤和軌跡獲取;李寧寧等[2]利用基于中心對(duì)比的卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)特定目標(biāo)的跟蹤算法;馮樂樂等[3]基于連續(xù)幀神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)行人的白動(dòng)檢測(cè)。這些算法都有效利用了卷積神經(jīng)網(wǎng)絡(luò)強(qiáng)大的多尺度特征表達(dá)能力，但神經(jīng)網(wǎng)絡(luò)高層卷積層輸出特征尺寸較小，使用高層特征進(jìn)行目標(biāo)跟蹤時(shí)受各種外界因素的影響[5-6]較大，難以達(dá)到理想效為解決此問題，通過(guò)局部裁剪方式。[7]計(jì)算前一幀圖像的預(yù)測(cè)結(jié)果作為當(dāng)前幀的中心，根據(jù)濾波框架位置裁剪出一塊略大于目標(biāo)尺寸的局部區(qū)域，通過(guò)圖像采樣處理，輸入到卷積神經(jīng)網(wǎng)絡(luò)。利用基于紋理和空間信息的多特征融合算法，通過(guò)目標(biāo)的多尺度高層特征提高目標(biāo)識(shí)別的準(zhǔn)確性。

針對(duì)復(fù)雜場(chǎng)景圖像局部裁剪引起的運(yùn)動(dòng)目標(biāo)跟蹤丟失等問題。[8-9]，本文提出一種改進(jìn)的基于深度卷積特征融合的多目標(biāo)跟蹤算法，利用多尺度融合特征提高目標(biāo)的空間分辨能力和目標(biāo)識(shí)別能力。

1 算法流程及步驟

傳統(tǒng)的目標(biāo)檢測(cè)和跟蹤算法普遍利用梯度“0。、紋理llll和邊緣[12]等特征，在分離圖像前景和背景基礎(chǔ)上，采用特定模型在待檢測(cè)圖像中進(jìn)行特征匹配。但是，這類方法通常實(shí)現(xiàn)起來(lái)比較復(fù)雜[13-14]，并且容易受到外界環(huán)境因素和目標(biāo)自身形態(tài)變化的影響。在場(chǎng)景不受限制的條件下，人T設(shè)計(jì)的特征較難適應(yīng)各種動(dòng)態(tài)變化[15];在實(shí)際應(yīng)用場(chǎng)景下，由于背景的復(fù)雜性和多樣性，造成運(yùn)動(dòng)目標(biāo)檢測(cè)效果不佳。

本文針對(duì)復(fù)雜背景下多目標(biāo)跟蹤問題，利用深度卷積模型VGG19，采用濾波器提取目標(biāo)區(qū)域的多層次深度卷積特征，設(shè)計(jì)了改進(jìn)的多目標(biāo)跟蹤算法，主要包含目標(biāo)定位、目標(biāo)尺度計(jì)算和模型更新。本文提出的目標(biāo)跟蹤算法框架如圖1所示。

1.1 定位階段

1.1.1 局部檢測(cè)模型

利用裁剪的目標(biāo)局部區(qū)域，對(duì)多尺度目標(biāo)圖像的深層特征進(jìn)行特征提取和特征融合，通過(guò)改進(jìn)的反卷積層，上采樣處理Conv5輸出特征圖，使其與Conv4層的特征圖尺寸大小相同。用兩個(gè)特征圖構(gòu)造一個(gè)疊加的高層特征圖，提取高層深度特征，得到局部檢測(cè)模型的預(yù)測(cè)輸出結(jié)果。

使用第一幀圖像進(jìn)行訓(xùn)練。在局部檢測(cè)模型給定的目標(biāo)框周圍，沿著目標(biāo)框邊緣進(jìn)行裁剪，將裁剪得到的局部區(qū)域圖像拉伸至VGG19網(wǎng)絡(luò)的輸入尺寸，并輸入到網(wǎng)絡(luò)得到特征圖，輸出預(yù)測(cè)追蹤目標(biāo)在熱度圖上對(duì)應(yīng)的每個(gè)點(diǎn)出現(xiàn)的概率大小。

計(jì)算損失函數(shù)，實(shí)現(xiàn)局部檢測(cè)網(wǎng)絡(luò)訓(xùn)練。

其中，M，為局部檢測(cè)模型輸出，M2為目標(biāo)熱度圖，它符合二維高斯分布，采用隨機(jī)梯度下降法進(jìn)行模型參數(shù)的訓(xùn)練。

計(jì)算前一幀圖像預(yù)測(cè)的目標(biāo)位置，并以該位置為中心進(jìn)行目標(biāo)局部區(qū)域的圖像裁剪。根據(jù)追蹤目標(biāo)的預(yù)測(cè)熱度圖，計(jì)算概率最大的位置為當(dāng)前數(shù)據(jù)幀預(yù)測(cè)目標(biāo)所在位置。

1.1.2 全局搜索模型

在目標(biāo)檢測(cè)過(guò)程中，物體的遮擋、光照、陰影以及背景對(duì)象的移動(dòng)等因素都會(huì)影響目標(biāo)檢測(cè)和識(shí)別精度[16-17].本文使用Faster RCNN算法作為全局檢測(cè)模型，對(duì)目標(biāo)框聚類分析，計(jì)算得到目標(biāo)區(qū)域的權(quán)值。若超過(guò)設(shè)定的目標(biāo)識(shí)別閾值，則將權(quán)值最高點(diǎn)作為目標(biāo)新位置，繼續(xù)利用局部檢測(cè)模型進(jìn)行特定目標(biāo)的識(shí)別與跟蹤，如圖2所示。

本文設(shè)計(jì)了一種區(qū)域生成網(wǎng)絡(luò)優(yōu)化策略：①區(qū)分目標(biāo)與背景類型，采取二分類標(biāo)簽判定策略：背景標(biāo)簽為O，目標(biāo)標(biāo)簽為1;②采樣區(qū)域生成網(wǎng)絡(luò)，生成一系列帶有權(quán)值的矩形區(qū)域框。

若局部檢測(cè)模型特征圖輸出的最高值大于給定閾值，則作為檢測(cè)目標(biāo)位置。此時(shí)，將整張圖像輸入到全局檢測(cè)網(wǎng)絡(luò)中，預(yù)測(cè)出一組帶有權(quán)值的矩形候選框，獲得權(quán)值最高的候選區(qū)域。如果矩形框的權(quán)值大于給定閾值，則將其中心作為當(dāng)前數(shù)據(jù)幀目標(biāo)所在位置，繼續(xù)利用局部檢測(cè)網(wǎng)絡(luò)并跟蹤目標(biāo)。

1.2計(jì)算目標(biāo)尺度

在追蹤目標(biāo)對(duì)象過(guò)程中，不但要預(yù)測(cè)給定目標(biāo)的當(dāng)前位置，還要計(jì)算目標(biāo)的尺度大小，獲得目標(biāo)在整幅圖像中的候選區(qū)域[18]。

在確定目標(biāo)對(duì)象位置后，首先以該位置為中心截取不同尺度大小的候選區(qū)域，然后將這些圖片拉伸至同樣大小[19]，根據(jù)目標(biāo)框提取不同尺度的特征構(gòu)造輸出。在跟蹤過(guò)程中，通過(guò)不斷訓(xùn)練和迭代確定目標(biāo)對(duì)象位置，利用計(jì)算尺度濾波器的響應(yīng)最大值獲取當(dāng)前幀目標(biāo)框。

1.3 模型更新

在目標(biāo)對(duì)象追蹤運(yùn)動(dòng)過(guò)程中，外觀有可能會(huì)發(fā)生漸變現(xiàn)象[20-21]。為提高目標(biāo)追蹤效率并避免丟失追蹤目標(biāo)對(duì)象，要不斷更新局部檢測(cè)模型和尺度濾波器。

根據(jù)熱度圖的最大響應(yīng)值，如果權(quán)值大于閾值，則認(rèn)為局部檢測(cè)模型可以對(duì)當(dāng)前圖片進(jìn)行準(zhǔn)確檢測(cè)[22]。利用當(dāng)前數(shù)據(jù)幀預(yù)測(cè)的目標(biāo)框作為局部檢測(cè)模型的輸入，通過(guò)不斷迭代更新局部檢測(cè)模型。

在目標(biāo)對(duì)象跟蹤過(guò)程中，算法對(duì)目標(biāo)的運(yùn)動(dòng)模糊無(wú)法進(jìn)行有效識(shí)別，因此該算法不適合對(duì)全局檢測(cè)模型進(jìn)行更新。

2 特征融合方法

本文沒計(jì)一種改進(jìn)的多目標(biāo)跟蹤特征融合方法，主要流程如下：①針對(duì)視頻中的每一幀圖像，識(shí)別特定目標(biāo)與背景信息，分出待識(shí)別的目標(biāo)信息;②提取目標(biāo)的邊緣與紋理特征，建立特征直方圖并進(jìn)行相似性度量;③計(jì)算特征相似性度量值，針對(duì)計(jì)算結(jié)果進(jìn)行目標(biāo)圖像的深層特征融合;④針對(duì)視頻中的每一幀圖像進(jìn)行處理，構(gòu)建特征融合匹配矩陣。

目標(biāo)特征融合方法算法流程如下：

輸入：視頻、圖像

輸出：特征融合匹配矩陣

detect video target

get N frames foreground image

for i=l.2.…….N do

extract edge features

generate HSV spatial color histogram

calculate similaritv M

//汁算目標(biāo)和候選目標(biāo)的匹配度

extract texture fratures

generate HSV spatial color histogram

calculate similarity M

extract texture fratures

add fusion feature matching ll特征融合

end for

return feature matching matrix

3 實(shí)驗(yàn)結(jié)果及分析

為檢驗(yàn)?zāi)繕?biāo)跟蹤算法的工作效率，結(jié)合實(shí)際環(huán)境中的復(fù)雜地物背景，選取視頻序列進(jìn)行測(cè)試，主要考慮光照變化、尺度變化、背景雜亂、目標(biāo)遮擋、快速運(yùn)動(dòng)等因素。

3.1 步行實(shí)驗(yàn)

本實(shí)驗(yàn)是一種基于連續(xù)幀的行人檢測(cè)，利用連續(xù)數(shù)據(jù)幀提取視頻序列的時(shí)間和空間特征，提高遮擋行人檢測(cè)能力。基于行人檢測(cè)在時(shí)間上的持續(xù)性，采用目標(biāo)跟蹤算法進(jìn)行行人檢測(cè)，預(yù)測(cè)行人位置，評(píng)估行人檢測(cè)結(jié)果，提高行人被遮擋情況下的識(shí)別與跟蹤能力。

本次實(shí)驗(yàn)先后出現(xiàn)3個(gè)行人步行狀態(tài)的跟蹤目標(biāo)，如圖3所示。從圖3（a）第523幀目標(biāo)出現(xiàn)在場(chǎng)景中開始，一直追蹤行人在馬路上行走過(guò)程，直到圖3（g）和圖3（h）行人被大樹遮擋，目標(biāo)追蹤丟失。本實(shí)驗(yàn)場(chǎng)景較為復(fù)雜，算法判別給定目標(biāo)與背景的準(zhǔn)確性達(dá)到87.5%以上，誤差在±2.31%左右。

3.2 快速運(yùn)動(dòng)實(shí)驗(yàn)

跟蹤該物體一直到視頻播放結(jié)束，如圖4所示。由于加強(qiáng)了尺度估計(jì)，算法在平均重疊率和平均中心點(diǎn)誤差方面表現(xiàn)較好。目標(biāo)特征從圖片部分區(qū)域獲得，超出采樣區(qū)域或目標(biāo)背景中其它物體遮擋，則裁剪得到的圖片中沒有目標(biāo)物，導(dǎo)致目標(biāo)跟蹤算法失敗。 4 結(jié)語(yǔ)

在計(jì)算機(jī)視覺領(lǐng)域的復(fù)雜場(chǎng)景環(huán)境中，目標(biāo)在運(yùn)動(dòng)過(guò)程中經(jīng)常會(huì)發(fā)生被遮擋、背景雜波干擾和目標(biāo)形變等情況，造成多目標(biāo)對(duì)象跟蹤算法識(shí)別效果不佳，當(dāng)目標(biāo)被其它物體遮擋時(shí)，容易發(fā)生目標(biāo)跟蹤丟失問題。

本文針對(duì)視頻監(jiān)控環(huán)境中的運(yùn)動(dòng)目標(biāo)檢測(cè)和跟蹤問題，提出一種改進(jìn)的基于多源特征提取和特征融合的多目標(biāo)跟蹤算法。在目標(biāo)比例發(fā)生變化的情況下，利用跟蹤框更新機(jī)制，自適應(yīng)調(diào)整跟蹤框尺寸大小，以適應(yīng)目標(biāo)比例變化。充分利用目標(biāo)的多尺度特征進(jìn)行特征融合，提高目標(biāo)對(duì)象的判別能力。

經(jīng)過(guò)現(xiàn)場(chǎng)實(shí)驗(yàn)驗(yàn)證，本文提出的多目標(biāo)跟蹤算法能夠較好地判別給定目標(biāo)，跟蹤準(zhǔn)確性有一定程度提高。但該算法針對(duì)目標(biāo)外觀特征提取不穩(wěn)定，利用目標(biāo)狀態(tài)特征構(gòu)造多目標(biāo)外觀特征的稀疏表示模型有利于提高目標(biāo)跟蹤的準(zhǔn)確性，下一步將針對(duì)該問題進(jìn)行深入研究。

參考文獻(xiàn)：

[1]周奇基于多特征的輪船運(yùn)動(dòng)目標(biāo)跟蹤及軌跡獲取方法[D].北京：北方工業(yè)大學(xué)，2018.

[2]李寧寧.基于中心對(duì)比卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法研究[D].北京：北京郵電大學(xué)，2018.

[3]馮樂樂基于連續(xù)幀卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)方法研究[D]北京：北京工業(yè)大學(xué)，2017.

[4]尹宏鵬，陳波.基于視覺的目標(biāo)檢測(cè)與跟蹤綜述[J].自動(dòng)化學(xué)報(bào)， 2016. 42（ 10）： 1466-1489.

[5] 閔召陽(yáng)，趙文杰基于卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)的多鏡頭多目標(biāo)跟蹤算法[J]艦船電子工程，2017，37（12）：25-28，38.

[6] 孫皓，孫顯.一種高分辨率遙感圖像艦船檢測(cè)方法研究[J].測(cè)繪 科學(xué)，2013，38（5）：112-116.

[7]李明杰，劉小飛基于粒子濾波和背景減除的多目標(biāo)檢測(cè)與跟蹤算法[J].計(jì)算機(jī)應(yīng)用研究，2018，35（8）：2506-2509.

[8]王國(guó)坤.復(fù)雜背景下基于深度學(xué)習(xí)的多目標(biāo)跟蹤算法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2018

[9]顧蘇杭，陸兵.基于輪廓和ASIFT特征的目標(biāo)檢測(cè)與跟蹤算法[J].計(jì)算機(jī)仿真，2017，34（6）：266-271，339

[10]丁冉冉基于步態(tài)識(shí)別的人體目標(biāo)檢測(cè)與跟蹤[D].北京：北京交通大學(xué)，2017.

[II]周雅基于目標(biāo)檢測(cè)與加權(quán)混合特征的目標(biāo)跟蹤算法[J].科技通報(bào)，2017，33（ 4）：138-143

[12]汪宏異，郝群.一種抗遮擋抗干擾的目標(biāo)檢測(cè)跟蹤方法研究[J]光學(xué)技術(shù)，2016，42（ 4）：376-379，384.

[13]郭毓，蘇鵬飛基于Faster R-CNN的機(jī)器人目標(biāo)檢測(cè)及空間定位[J].華中科技大學(xué)學(xué)報(bào)（自然科學(xué)版），2018，46（12）：55-59.

[14]陳飛，章東平.基于多尺度特征融合的Faster-RCNN道路目標(biāo)檢測(cè)[J].中國(guó)計(jì)量大學(xué)學(xué)報(bào)，2018，29（4）：393-397

[15]楊磊，龐芳.基于低秩一稀疏聯(lián)合表示的視頻序列運(yùn)動(dòng)目標(biāo)檢測(cè)[J].系統(tǒng)仿真學(xué)報(bào)，2018，30（12）：4693-4702

[16]曹雯雯.基于多特征融合的稀疏表示目標(biāo)追蹤方法的研究[D].南京：南京郵電大學(xué)，2018.

[17] 陳瑩瑩，房勝，李哲.加權(quán)多特征外觀表示的實(shí)時(shí)目標(biāo)追蹤[J].中國(guó)圖象圖形學(xué)報(bào)，2019，24（2）：291-301.

[18]孫海宇，陳秀宏.聯(lián)合外形響應(yīng)的深度目標(biāo)追蹤器[J].智能系統(tǒng)學(xué)報(bào)，2018（6）：1-8.

[19]孫曉霞，龐春江基于全巷積對(duì)稱網(wǎng)絡(luò)的目標(biāo)尺度自適應(yīng)追蹤[J].激光與光電子學(xué)進(jìn)展，2019，56（1）：242-250

[20]張偉東，趙建偉基于特征選擇與時(shí)間一致性稀疏外觀模型的目標(biāo)追蹤算法[J]模式識(shí)別與人工智能，2018，31（3）：245-255.

[21] 李厚彪，樊慶宇基于自適應(yīng)同時(shí)稀疏表示的魯棒性目標(biāo)追蹤[J].電子科技大學(xué)學(xué)報(bào)，2018，47（1）：1-12.

[22]趙中楠，王健基于多源協(xié)同感知的目標(biāo)追蹤優(yōu)化模型[J].北京理工大學(xué)學(xué)報(bào)，2017，37（11）：1137-1143.（責(zé)任編輯：杜能鋼）

收稿日期：2019-04-25

基金項(xiàng)目：山東省自然科學(xué)基金項(xiàng)目（ ZR2018BFOOI）

作者簡(jiǎn)介：王志余（1967-），男，山東科技大學(xué)計(jì)算機(jī)學(xué)院碩士研究生、黃島中醫(yī)醫(yī)院工程師，研究方向?yàn)闄C(jī)器視覺、高性能計(jì)算、深度

學(xué)習(xí)。