姚 礪， 孫 匯

(東華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院, 上海 200000)

0 引 言

在科技高速發(fā)展的時(shí)代，智能化商場(chǎng)是未來(lái)的發(fā)展趨勢(shì)，商場(chǎng)中準(zhǔn)確的客流分析系統(tǒng)有利于優(yōu)化資源分配以及預(yù)判商業(yè)發(fā)展趨勢(shì)。高準(zhǔn)確率以及高性能的目標(biāo)檢測(cè)與跟蹤是優(yōu)化客流分析系統(tǒng)的重要條件，基于深度學(xué)習(xí)技術(shù)的目標(biāo)檢測(cè)和跟蹤具有更高的準(zhǔn)確率，有效的降低了因遮擋造成的目標(biāo)丟失和誤報(bào)的情況，并且具有更好的魯棒性。

目前，比較流行的多目標(biāo)跟蹤算法是基于檢測(cè)的目標(biāo)跟蹤，檢測(cè)部分在很大程度上影響了目標(biāo)跟蹤的最終效果[1]。在線的多目標(biāo)跟蹤算法比離線模式的多目標(biāo)跟蹤算法具有更高的準(zhǔn)確性[2]，更適用于實(shí)時(shí)的多目標(biāo)跟蹤。但是在線的多目標(biāo)跟蹤算法采用逐幀關(guān)聯(lián)的方式，只能截止到當(dāng)前幀的信息，容易受到遮擋和外觀變化的影響[3]。Bewle在基于檢測(cè)的在線多目標(biāo)跟蹤框架中提出深度關(guān)聯(lián)度量的跟蹤算法Deep SORT來(lái)解決多目標(biāo)跟蹤問(wèn)題，采用卡爾曼濾波進(jìn)行預(yù)測(cè)，利用運(yùn)動(dòng)信息和外觀特征相融合的度量方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)[4]，但對(duì)復(fù)雜環(huán)境下的多目標(biāo)跟蹤，仍會(huì)由于遮擋出現(xiàn)誤檢和漏檢的問(wèn)題。

針對(duì)復(fù)雜的商場(chǎng)場(chǎng)景中的客流分析，基于行人檢測(cè)的目標(biāo)跟蹤算法很容易由于遮擋問(wèn)題以及行人體型、衣服顏色等外觀特征信息影響跟蹤結(jié)果，導(dǎo)致跟蹤誤檢、漏檢。本文在基于行人檢測(cè)的目標(biāo)跟蹤基礎(chǔ)上，提出增加人臉特征比對(duì)來(lái)提高跟蹤算法的準(zhǔn)確性，通過(guò)對(duì)檢測(cè)算法得到的目標(biāo)行人進(jìn)行人臉姿態(tài)估計(jì)，得到臉部朝向信息，判斷目標(biāo)行人是否是正向人臉，對(duì)正向人臉的目標(biāo)行人采用人臉特征點(diǎn)比對(duì)算法實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)，非正向人臉采用運(yùn)動(dòng)信息和外觀特征相融合的度量方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)多目標(biāo)跟蹤。相對(duì)于傳統(tǒng)的多目標(biāo)跟蹤算法，本文提出的算法有效解決了目標(biāo)因遮擋等復(fù)雜情況造成的跟蹤失敗問(wèn)題，并有效的減小誤檢、漏檢對(duì)跟蹤造成的影響。

1 基于人臉識(shí)別的多目標(biāo)跟蹤方法

基于人臉識(shí)別的多目標(biāo)跟蹤方法主要包括行人檢測(cè)、人臉特征比對(duì)、基于Deep SORT的多目標(biāo)跟蹤。首先采用YOLOv3檢測(cè)算法對(duì)視頻幀進(jìn)行行人檢測(cè)；其次，對(duì)目標(biāo)行人臉部6個(gè)關(guān)鍵點(diǎn)采用3D臉部模型對(duì)應(yīng)投影到2維圖像坐標(biāo)系中的點(diǎn)集之間的變換關(guān)系矩陣來(lái)進(jìn)行人臉姿態(tài)估計(jì)，并用歐拉角表示臉部朝向信息；最后，對(duì)正向人臉采用人臉特征比對(duì)算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，非正向人臉采用運(yùn)動(dòng)信息和外觀特征相融合的度量方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)多目標(biāo)跟蹤。本文提出的多目標(biāo)跟蹤算法框架如圖1所示。

圖1 基于人臉識(shí)別的多目標(biāo)跟蹤方法框架

2 基于人臉識(shí)別的多目標(biāo)跟蹤關(guān)鍵技術(shù)

本文采用基于深度學(xué)習(xí)的YOLOv3s算法進(jìn)行行人檢測(cè)，對(duì)目標(biāo)行人中的正向人臉采用基于特征點(diǎn)的人臉比對(duì)算法，對(duì)目標(biāo)行人中的非正向人臉采用基于Deep SORT的多目標(biāo)跟蹤算法，實(shí)現(xiàn)復(fù)雜的場(chǎng)景中的客流分析系統(tǒng)，提高客流分析的準(zhǔn)確率和速度。

2.1 基于深度學(xué)習(xí)的行人檢測(cè)

在基于檢測(cè)的多目標(biāo)跟蹤算法中，檢測(cè)器的檢測(cè)效果直接影響多目標(biāo)跟蹤的最終結(jié)果?；谏疃葘W(xué)習(xí)的檢測(cè)方法主要分為以SSD、YOLO為首的one-stage和以RCNN系列為首的two-stage兩種。one-stage的目標(biāo)檢測(cè)方法直接通過(guò)主干網(wǎng)絡(luò)給出類別和位置信息，經(jīng)過(guò)單次檢測(cè)生成最終的結(jié)果，two-stage檢測(cè)算法將檢測(cè)問(wèn)題劃分為兩個(gè)階段，首先產(chǎn)生候選區(qū)，然后對(duì)候選區(qū)分類。相對(duì)來(lái)說(shuō)two-stage算法在準(zhǔn)確度上有優(yōu)勢(shì)，one-stage算法在速度上有優(yōu)勢(shì)。YOLOv3是使用一個(gè)CNN網(wǎng)絡(luò)直接預(yù)測(cè)不同目標(biāo)的類別與位置的one-stage算法，精確度高并且速度快，能夠滿足實(shí)時(shí)的檢測(cè)和檢測(cè)的準(zhǔn)確性[5]。

YOLOv3是一種端到端的實(shí)時(shí)深度學(xué)習(xí)目標(biāo)檢測(cè)算法,基本思想是首先將輸入圖片壓縮到416×416，通過(guò)特征提取網(wǎng)絡(luò)(Darknet53 without FC layer)對(duì)輸入圖像提取特征，得到S×S大小的特征圖，然后將輸入圖像分成S×S個(gè)單元網(wǎng)格，每個(gè)單元格負(fù)責(zé)檢測(cè)中心點(diǎn)落在該單元格內(nèi)的目標(biāo)，每個(gè)單元格會(huì)預(yù)測(cè)B個(gè)邊界框和置信度?，F(xiàn)在YOLO已經(jīng)衍生到第三個(gè)版本，相比于前兩個(gè)版本，YOLOv3最明顯的改進(jìn)是采用了類似Feature Pyramid Networks for Object Detection(FPN)架構(gòu)來(lái)實(shí)現(xiàn)多尺度預(yù)測(cè)[6]，每個(gè)尺度預(yù)測(cè)3個(gè)邊界框，明顯提升了對(duì)小目標(biāo)檢測(cè)的效果，另外特征提取采用了分類效果更好的骨架網(wǎng)絡(luò)darknet53，其特征提取器包含了52個(gè)卷積層和一個(gè)全連接層，加入了多個(gè)連續(xù)的3×3和1×1的卷積層。相比于YOLOv2采用的Darknet-19網(wǎng)絡(luò)結(jié)構(gòu)使用了殘差單元，提高了檢測(cè)的速度。本文采用YOLOv3得到的檢測(cè)效果與其他檢測(cè)算法的對(duì)比見表1，可以看出Yolov3在實(shí)現(xiàn)相同準(zhǔn)確度下要顯著地比其他檢測(cè)方法速度更快。

表1 本文基于YOLOv3的檢測(cè)效果與其他算法的對(duì)比

原有的YOLOv3訓(xùn)練的是COCO數(shù)據(jù)集，訓(xùn)練種類有80個(gè)，因?yàn)楸疚闹会槍?duì)行人進(jìn)行檢測(cè)，所以本文使用VOC2007數(shù)據(jù)集中2000張行人圖片以及2 000張MOT16數(shù)據(jù)集中的行人圖片，將數(shù)據(jù)集中70%作為訓(xùn)練集，30%作為測(cè)試集。在訓(xùn)練中，設(shè)置每次迭代要訓(xùn)練的圖片數(shù)量為64,subdivision=2,最大迭代次數(shù)為50 200，學(xué)習(xí)率為0.001。訓(xùn)練迭代到760次時(shí)，最終的loss收斂到1.2，Avg IOU的值為0.89，平均精度(map)為0.55，準(zhǔn)確率(AP)為0.8左右。

2.2 人臉特征比對(duì)

多目標(biāo)跟蹤算法在復(fù)雜的場(chǎng)景中，會(huì)出現(xiàn)同一個(gè)目標(biāo)行人由于遮擋被識(shí)別成不同的ID，也會(huì)出現(xiàn)不同的目標(biāo)行人由于衣服顏色等外觀特征被識(shí)別成同一個(gè)ID的情況，為了提高多目標(biāo)跟蹤的準(zhǔn)確性，本文增加人臉特征比對(duì)，對(duì)目標(biāo)行人中的正向人臉通過(guò)基于臉部特征點(diǎn)的人臉比對(duì)算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)。

2.2.1 人臉姿態(tài)估計(jì)

為了得到正向人臉，需要對(duì)檢測(cè)到的目標(biāo)行人通過(guò)人臉姿態(tài)估計(jì)，獲得人臉朝向的角度信息。人臉朝向角度可以用三個(gè)歐拉角表示，即pitch、yaw、roll，分別代表上下翻轉(zhuǎn)、左右翻轉(zhuǎn)、平面內(nèi)旋轉(zhuǎn)的角度。人臉姿態(tài)估計(jì)的核心思想是旋轉(zhuǎn)三維標(biāo)準(zhǔn)模型一定角度，直到模型上“三維特征點(diǎn)”的“2維投影”，與待測(cè)試圖像上的特征點(diǎn)盡量重合。人臉姿勢(shì)估計(jì)的過(guò)程為：

(1)首先定義n個(gè)關(guān)鍵點(diǎn)的3D臉部模型，本文采用n=6，取鼻尖、下巴、左眼左角、右眼右角、嘴角左側(cè)、嘴角右側(cè)6個(gè)關(guān)鍵點(diǎn)。在實(shí)際應(yīng)用中，不需要獲取一個(gè)精確的人臉三維模型，直接采用世界中心坐標(biāo)：鼻尖：(0.0，0.0，0.0)，下巴：(0.0，-330.0，-65.0)，左眼左角：(-225.0f，170.0f，-135.0),右眼右角:(225.0，170.0，-135.0),嘴角左側(cè)：(-150.0，-150.0，-125.0),嘴角右側(cè)：(150.0，-150.0，-125.0)；

(2)采用人臉特征點(diǎn)檢測(cè)，得到6個(gè)關(guān)鍵點(diǎn)的3D人臉模型對(duì)應(yīng)的2D關(guān)鍵點(diǎn)；

(3)求解3D點(diǎn)和對(duì)應(yīng)2D點(diǎn)之間的轉(zhuǎn)換關(guān)系，得到旋轉(zhuǎn)矩陣。姿態(tài)估計(jì)過(guò)程中有3個(gè)坐標(biāo)系，分別為世界坐標(biāo)系、相機(jī)坐標(biāo)系和圖像坐標(biāo)系。世界坐標(biāo)系中的三維點(diǎn)(U,V,W)通過(guò)旋轉(zhuǎn)矩陣R和平移向量t映射到相機(jī)坐標(biāo)系(X,Y,Z)，然后通過(guò)相機(jī)的內(nèi)參數(shù)矩陣映射到圖像坐標(biāo)系(x,y)[7]；

(4)由旋轉(zhuǎn)矩陣求歐拉角。先將旋轉(zhuǎn)向量轉(zhuǎn)化為四元數(shù)，再將四元數(shù)轉(zhuǎn)化為歐拉角；

四元數(shù)的定義，式(1)

|q|2=w2+x2+y2+z2=1.

(1)

四元數(shù)到歐拉角的轉(zhuǎn)換公式(2)為：

(2)

最終得到的臉部旋轉(zhuǎn)角度誤差在±4度。

2.2.2 基于特征點(diǎn)的人臉比對(duì)

本文人臉比為M∶N模式，對(duì)每一幀圖像中的正向人臉與人像數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，采用基于特征點(diǎn)的人臉識(shí)別算法。首先，對(duì)人臉圖像提取特征點(diǎn)，通過(guò)差分高斯函數(shù)來(lái)計(jì)算圖像的極值點(diǎn)，這些極值點(diǎn)具有尺度不變性和方向不變性，通過(guò)極值點(diǎn)與其他26個(gè)鄰居像素點(diǎn)進(jìn)行比較，篩選出一些高對(duì)比度和高質(zhì)量的點(diǎn)作為特征點(diǎn)；其次，通過(guò)為每一個(gè)特征點(diǎn)計(jì)算梯度和朝向，為特征點(diǎn)指定方向，用一個(gè)128維的向量來(lái)表征圖像特征，最后通過(guò)計(jì)算待測(cè)圖像與數(shù)據(jù)庫(kù)圖像中的特征點(diǎn)向量的歐氏距離，得到互相匹配的特征點(diǎn)對(duì)，特征點(diǎn)匹配對(duì)最多的圖像即為正確匹配圖像。

將基于特征點(diǎn)的人臉比對(duì)算法在數(shù)據(jù)集yale face-database中實(shí)驗(yàn)，測(cè)試得到人臉比對(duì)結(jié)果平均準(zhǔn)確率為98%，比對(duì)效果良好，具有優(yōu)秀的識(shí)別率，并且在時(shí)間復(fù)雜度上也具有良好的表現(xiàn)。

2.3 多目標(biāo)跟蹤

本文采用基于Deep SORT的多目標(biāo)跟蹤算法對(duì)目標(biāo)行人進(jìn)行跟蹤，該算法是一種基于檢測(cè)跟蹤的在線實(shí)時(shí)跟蹤算法。在實(shí)時(shí)目標(biāo)跟蹤過(guò)程中，提取目標(biāo)的表觀特征進(jìn)行最近鄰匹配，改善有遮擋情況下的目標(biāo)追蹤效果，減少了目標(biāo)ID跳變的次數(shù)。同時(shí)采用遞歸的卡爾曼濾波和逐幀的數(shù)據(jù)關(guān)聯(lián)，并使用級(jí)聯(lián)匹配策略解決因遮擋導(dǎo)致的卡爾曼濾波梯度彌散問(wèn)題，很好的改善了遮擋后跟蹤序號(hào)跳變的問(wèn)題。

2.3.1 數(shù)據(jù)關(guān)聯(lián)

多目標(biāo)跟蹤的核心是解決目標(biāo)關(guān)聯(lián)問(wèn)題，本文使用Deep SORT算法在目標(biāo)關(guān)聯(lián)中采用運(yùn)動(dòng)信息和外觀特征相融合的度量方式[8]。運(yùn)動(dòng)信息的關(guān)聯(lián)使用檢測(cè)與軌跡在卡爾曼濾波器預(yù)測(cè)的位置之間的馬氏距離來(lái)描述運(yùn)動(dòng)匹配程度，馬氏距離是一種有效的計(jì)算兩個(gè)未知樣本集的相似度的方法[9]，公式(3)：

其中，d(1)(i,j)表示第j個(gè)檢測(cè)到的目標(biāo)和第i條軌跡之間的運(yùn)動(dòng)信息匹配度，dj表示第j個(gè)檢測(cè)框的位置，yi表示第i個(gè)追蹤器對(duì)目標(biāo)的預(yù)測(cè)位置，Si表示第i條軌跡由卡爾曼濾波器預(yù)測(cè)得到的在當(dāng)前時(shí)刻觀測(cè)空間的協(xié)方差矩陣。由于在遮擋情況下，單獨(dú)使用馬氏距離為匹配度度量不精確，會(huì)導(dǎo)致嚴(yán)重的ID跳變，所以引入一個(gè)新的判斷數(shù)據(jù)關(guān)聯(lián)的標(biāo)準(zhǔn)，即外觀信息匹配。使用外觀空間中第i個(gè)軌跡和第j個(gè)檢測(cè)之間的最小余弦距離為度量標(biāo)準(zhǔn)，具體公式(4)如下：

其中，rj表示每一個(gè)檢測(cè)塊dj對(duì)應(yīng)的一個(gè)特征向量，滿足‖rj‖=1；rk表示每一個(gè)追蹤目標(biāo)儲(chǔ)存的最近100幀成功關(guān)聯(lián)的特征向量。

最后使用運(yùn)動(dòng)匹配度和外觀信息匹配度的線性加權(quán)作為最終的聯(lián)合度量，式(5)：

c(i,j)=λd(1)(i,j)+(1-λ)d(2)(i,j)

馬氏距離對(duì)于短期的預(yù)測(cè)和匹配效果很好，最小余弦值對(duì)于長(zhǎng)時(shí)間丟失的軌跡而言比較有效。

2.3.2 級(jí)聯(lián)匹配

在復(fù)雜場(chǎng)景中，行人聚集比較多，跟蹤目標(biāo)容易被遮擋，如果目標(biāo)被長(zhǎng)時(shí)間遮擋，卡爾曼濾波預(yù)測(cè)的不確定性就會(huì)大幅度的增加，同時(shí)狀態(tài)空間內(nèi)的可觀察性也會(huì)很大程度地降低，進(jìn)而導(dǎo)致目標(biāo)軌跡碎片增加以及軌跡不穩(wěn)定。引入級(jí)聯(lián)匹配，其核心思想是由小到大地對(duì)消失相同的軌跡進(jìn)行匹配，即優(yōu)先考慮更常見的目標(biāo)，提高了多目標(biāo)跟蹤算法的準(zhǔn)確性。

通過(guò)Deep SORT跟蹤算法對(duì)YOLOv3檢測(cè)出的行人進(jìn)行跟蹤，取得較好的效果，而且能夠?qū)崿F(xiàn)實(shí)時(shí)的目標(biāo)跟蹤，有效的提高客流分析系統(tǒng)的多目標(biāo)跟蹤。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

為了驗(yàn)證增加人臉特征比對(duì)能否提高多目標(biāo)跟蹤的準(zhǔn)確性，本文采用數(shù)據(jù)集MOT16中的視頻集進(jìn)行測(cè)試。MOT16是2016年提出的衡量多目標(biāo)檢測(cè)跟蹤算法標(biāo)準(zhǔn)的數(shù)據(jù)集，視頻分辨率為1920×1080。本文的實(shí)驗(yàn)平臺(tái)采用Linux系統(tǒng)下的Ubuntu16.04，GTX1060，3.2GHz,內(nèi)存為16 GB。

3.2 結(jié)果分析

對(duì)MOT16中的一個(gè)數(shù)據(jù)集進(jìn)行測(cè)試，采用YOLOv3檢測(cè)算法實(shí)現(xiàn)的客流分析系統(tǒng)中的行人檢測(cè)結(jié)果見表2。對(duì)視頻流進(jìn)行行人檢測(cè)，統(tǒng)計(jì)了正確檢測(cè)到的行人個(gè)數(shù)、錯(cuò)誤檢測(cè)到的行人個(gè)數(shù)以及未檢測(cè)到的行人個(gè)數(shù)，通過(guò)和實(shí)際存在的行人個(gè)數(shù)的比值得到檢測(cè)算法的準(zhǔn)確率、誤報(bào)率和漏檢率。

表2 實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)表

由表2結(jié)果可以行人檢測(cè)的正確率為90.3%，誤檢率為3.8%，漏檢率9.6%，對(duì)客流分析系統(tǒng)的行人檢測(cè)效果良好，并且檢測(cè)速度為65 ms/幀，可以實(shí)現(xiàn)客流分析系統(tǒng)中的實(shí)時(shí)檢測(cè)。

采用傳統(tǒng)的基于Deep SORT多目標(biāo)跟蹤算法，采用運(yùn)動(dòng)信息和外觀信息相融合的方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)，將該算法在MOT16數(shù)據(jù)集測(cè)試，得到的實(shí)驗(yàn)實(shí)驗(yàn)結(jié)果如圖2所示。

(1)幀753 (2)幀766 (3)幀778

由圖2可以看出，幀753中的1號(hào)行人在經(jīng)過(guò)幀766中25號(hào)行人的遮擋之后，在幀778中重新出現(xiàn)時(shí)被錯(cuò)誤識(shí)別成了一個(gè)新的目標(biāo)行人。

針對(duì)客流分析系統(tǒng)中的多目標(biāo)跟蹤，本文實(shí)驗(yàn)采用YOLOv3進(jìn)行行人檢測(cè)，對(duì)有正向人臉的行人采用人臉特征比對(duì)進(jìn)行數(shù)據(jù)關(guān)聯(lián)，對(duì)非正向人臉的目標(biāo)行人采用基于Deep SORT的多目標(biāo)跟蹤算法進(jìn)行數(shù)據(jù)關(guān)聯(lián)，實(shí)驗(yàn)效果如圖3所示。從圖3中可以看出，該方法對(duì)目標(biāo)行人進(jìn)行了準(zhǔn)確的檢測(cè)和跟蹤，并且在1號(hào)目標(biāo)行人被25號(hào)目標(biāo)行人完全遮擋之后，在重新出現(xiàn)時(shí)也能正確的關(guān)聯(lián)。有效解決了基于多目標(biāo)跟蹤算法由于遮擋或者行人目標(biāo)特征相近等問(wèn)題導(dǎo)致結(jié)果失敗的問(wèn)題。

(a)#753幀 (b)#760幀

(c)#766幀 (d)#778幀

為了驗(yàn)證本文算法的有效性，本文采用MOT基準(zhǔn)挑戰(zhàn)中的評(píng)價(jià)標(biāo)準(zhǔn)：多目標(biāo)跟蹤準(zhǔn)確率(MOTA)，最多跟蹤目標(biāo)率(MT)，最多丟失目標(biāo)率(ML)，ID錯(cuò)誤變換次數(shù)(IDs)。本文的跟蹤算法與其他跟蹤算法在MOT基準(zhǔn)訓(xùn)練集的性能比較見表3。

表3 跟蹤器在MOT基準(zhǔn)訓(xùn)練集的跟蹤性能比較

實(shí)驗(yàn)結(jié)果表明，本文算法在客流分析系統(tǒng)中實(shí)現(xiàn)行人檢測(cè)以及多目標(biāo)跟蹤都具有良好的效果，并且在復(fù)雜的環(huán)境下也有良好的魯棒性。針對(duì)多個(gè)目標(biāo)時(shí)不僅能夠?qū)崿F(xiàn)準(zhǔn)確的行人檢測(cè)，而且能夠在有遮擋的復(fù)雜環(huán)境中建立正確的數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)良好的多目標(biāo)跟蹤效果，減少了多目標(biāo)跟蹤中的目標(biāo)丟失以及跟蹤誤報(bào)的問(wèn)題，降低了ID跳變的次數(shù)。

4 結(jié)束語(yǔ)

為了在復(fù)雜的環(huán)境下進(jìn)行準(zhǔn)確的客流分析，本文提出基于人臉識(shí)別的客流分析方法，將人臉識(shí)別和多目標(biāo)跟蹤具體應(yīng)用到智能化商場(chǎng)中，解決因遮擋造成的目標(biāo)丟失以及誤報(bào)的問(wèn)題。

首先采用基于深度學(xué)習(xí)的YOLOv3算法進(jìn)行行人檢測(cè)，該算法在精確度相同的情況下，目標(biāo)檢測(cè)速度明顯優(yōu)于其他檢測(cè)算法；其次，對(duì)檢測(cè)到的目標(biāo)行人通過(guò)臉部6個(gè)關(guān)鍵點(diǎn)的3D臉部模型對(duì)應(yīng)投影到2維圖像坐標(biāo)系中的點(diǎn)集之間的變換關(guān)系矩陣，來(lái)獲取人臉旋轉(zhuǎn)和平移信息，采用3個(gè)歐拉角(pitch,yaw,roll)來(lái)表示臉部朝向信息，對(duì)于正向人臉采用人臉特征比對(duì)實(shí)現(xiàn)數(shù)據(jù)關(guān)聯(lián)，非正向人臉采用運(yùn)動(dòng)信息和外觀特征相融合的度量方式進(jìn)行數(shù)據(jù)關(guān)聯(lián)，實(shí)現(xiàn)在遮擋情況下，對(duì)目標(biāo)行人的準(zhǔn)確跟蹤。

在數(shù)據(jù)集MOT16中的實(shí)驗(yàn)證明，本文的方法能滿足實(shí)時(shí)的多目標(biāo)跟蹤，并且具有良好的跟蹤性能，一定程度上解決了因長(zhǎng)時(shí)間遮擋出現(xiàn)的行人跟蹤誤報(bào)或漏報(bào)的問(wèn)題。