劉 豪，曹 凱，王光庭

(山東理工大學(xué) 交通與車輛工程學(xué)院，山東 淄博 255049)

目標(biāo)跟蹤一直是計算機視覺研究的熱點。雖然目標(biāo)跟蹤已經(jīng)有成功案例，但對特征點不明顯的目標(biāo)進行跟蹤仍然非常具有挑戰(zhàn)性[1]。

許多跟蹤方法采用靜態(tài)模型，即手動定義跟蹤目標(biāo)，對第1幀圖像進行訓(xùn)練[2]。但這些方法往往會因目標(biāo)表面出現(xiàn)重大變化而出現(xiàn)跟蹤困難的現(xiàn)象，如何降低干擾是目標(biāo)跟蹤成功的關(guān)鍵[3]。

隨著計算機技術(shù)的發(fā)展，目標(biāo)跟蹤技術(shù)也獲得了軟硬件上的支撐，并伴隨著獲得了巨大的發(fā)展。其中，TLD算法是由英國薩里大學(xué)的捷克籍博士生Zdenek Kalal，在其攻讀博士學(xué)位期間提出的一種新的單目標(biāo)、長時間跟蹤算法[4]，該算法雖然實現(xiàn)了對目標(biāo)的跟蹤，但運行速度較慢，甚至?xí)霈F(xiàn)卡頓現(xiàn)象，并且受光照變化影響比較大，抗干擾能力較差。國內(nèi)學(xué)者也對TLD算法做了一定研究。龔小彪[5]在TLD算法的基礎(chǔ)上提出了基于卡爾曼濾波等三種抗遮擋的算法；吳忠文等[6]提出了根據(jù)圖像的大小進行動態(tài)掃描的方法；谷文華等[7]將粒子濾波算法與TLD算法結(jié)合，實現(xiàn)目標(biāo)的跟蹤。雖然以上學(xué)者對TLD算法進行了一定改進，但算法的實時性與魯棒性整體不太理想，并且運算速度也比較慢。本文采用基于圖像視覺伺服的方法來控制在目標(biāo)跟蹤過程中出現(xiàn)的誤差累積，以試圖將誤差控制在理想范圍內(nèi)。

1 TLD算法

1.1 TLD架構(gòu)

TLD(Tracking Learning Detection)是一種新型且高效的跟蹤架構(gòu)，該架構(gòu)分為三個部分：跟蹤器，學(xué)習(xí)器和檢測器?？蚣苋鐖D1所示。此架構(gòu)的應(yīng)用前提是設(shè)定的目標(biāo)物必須是可見的。跟蹤器計算出連續(xù)的視頻幀之間目標(biāo)發(fā)生的運動，檢測器把視頻分解成一幀幀的圖像，掃描圖像全局得到圖像的特征，在掃描的過程中，無論是正樣本還是負(fù)樣本都會不可抗拒地出現(xiàn)錯誤信息，而學(xué)習(xí)器則根據(jù)跟蹤器和檢測器出現(xiàn)的錯誤信息進行不斷地自我修正，囊括更多的目標(biāo)特征，并產(chǎn)生更多的背景信息[8]。

圖1 TLD結(jié)構(gòu)框架Fig.1 the block diagram of the TLD framework

1.2 P-N學(xué)習(xí)機制

P-N學(xué)習(xí)(P-N learning)作為一種半監(jiān)督在線學(xué)習(xí)的機制，能夠有效提高外觀模型的的整體性能,評估當(dāng)前檢測器，指出其錯誤并進行及時修正，以保證實時跟蹤的有效性。這一過程的實現(xiàn)主要是把檢測器的錯誤用兩種類型的約束進行標(biāo)記，用正約束標(biāo)記錯誤的負(fù)樣本，用負(fù)約束標(biāo)記錯誤的正樣本[9]。

本節(jié)討論的P-N學(xué)習(xí)方法如圖2所示。P-N學(xué)習(xí)首先從標(biāo)記的數(shù)據(jù)中訓(xùn)練出一個分類器，這個分類器的作用是將數(shù)據(jù)進行迭代處理：(i)通過分類器標(biāo)記未標(biāo)記的數(shù)據(jù)，(ii)識別并重新標(biāo)記違反了結(jié)構(gòu)約束的樣本，(iii)拓展訓(xùn)練集合，(iv)分類器再訓(xùn)練。設(shè)x是特征空間X的一個實例，y是標(biāo)簽空間Y={-1,1}的一個標(biāo)簽，實例X和標(biāo)簽Y組成標(biāo)簽集合，用(X,Y)表示。P-N學(xué)習(xí)的任務(wù)是學(xué)習(xí)一個分類器f：x→y是來自先驗標(biāo)記集合(Xl,Yl)，并且，未標(biāo)記的數(shù)據(jù)Xu引導(dǎo)其表現(xiàn)。

圖2 P-N學(xué)習(xí)方法Fig.2 The illustration of the P-N learning approach

(2)

1.3 P-N學(xué)習(xí)模型

P-N學(xué)習(xí)模型由P結(jié)束和N約束構(gòu)成，評價約束質(zhì)量的4個指標(biāo)如下:

(1)P+,P約束的精度，其值為正確的正樣本數(shù)除以P約束的樣本總數(shù)，即

(3)

(2)R+,P約束的查全率，其值為正確的正樣本數(shù)除以錯誤的負(fù)樣本數(shù)，即

(4)

(3)P-，N約束的精度，其值為正確的負(fù)樣本數(shù)除以N約束的樣本總數(shù)，即

(5)

(4)R-,N約束的查全率，其值為正確的負(fù)樣本數(shù)除以錯誤正樣本數(shù)，即

(6)

在這里假設(shè)約束在整個訓(xùn)練過程中都是固定的，因此時間指數(shù)從標(biāo)記中被去掉了。在k次迭代中，正確和錯誤的樣本的數(shù)量被表達(dá)如下:

(7)

(8)

(9)

(10)

將式(1)、式(2)與式(7)-(10)合并，得到：

(11)

(12)

(13)

(14)

最終將方程轉(zhuǎn)化為

(15)

圖3 矩陣M的特征值λ影響分類器錯誤演變的示意圖Fig.3 The diagram of how eigenvalue λ of matrix M affects the error evolution of classifier

矩陣M表示分類器錯誤二維空間的一個線性變換，特征值可以理解為沿著特征向量收放的比例系數(shù)。如果比例小于1，那么每次迭代中都會減少錯誤。在實際過程中，也并不可能識別分類器的所有錯誤，因此，訓(xùn)練結(jié)果不收斂于無誤差分類器，但仍可以保持一個穩(wěn)定的水平，即將不完美的約束進行組合，仍然可以將錯誤取消。P-N學(xué)習(xí)不對任何約束有要求，即便約束條件的精度很低也能使用，只要矩陣M的特征值小于1。

2 圖像伺服控制

2.1 視覺系統(tǒng)

如表1所示，相機模型大體可分為針孔模型、球面模型和統(tǒng)一化模型[10]。

視覺伺服中的視覺反饋按照反饋方法總體上可分為三類：圖像特征的視覺反饋、基于位置的圖像反饋和多視圖幾何方法的視覺反饋。 其中, 基于圖像特征的視覺反饋方法提取圖像的特征點，這些特征點包括了點、線、面等多種視覺特征，并以這些特征為依據(jù)進行識別追蹤；基于位置的視覺反饋方法將視覺系統(tǒng)的動態(tài)模型轉(zhuǎn)化為目標(biāo)識別和定位, 即通過定位來尋求目標(biāo)位置，從而簡化了整個系統(tǒng)控制器的設(shè)計,對目標(biāo)追蹤的應(yīng)用相對簡便，但是一般需要已知目標(biāo)物的模型, 且對圖像噪聲和相機標(biāo)定誤差較為敏感；多視圖幾何的方法將多張二維的圖像還原出三維的實際物體，即一個三維重建的過程。整體來說，基于圖像特征的方法穩(wěn)定性更高，目標(biāo)識別和跟蹤主要采用此方法[11]。

表1 相機模型
Tab.1 Camera models

模型應(yīng)用范圍優(yōu)點缺點針孔模型透視相機簡便、畸變小范圍小球面模型全景相機視野廣、旋轉(zhuǎn)不變畸變大、模型復(fù)雜統(tǒng)一化模型各種相機旋轉(zhuǎn)不變、歸一化畸變大、模型復(fù)雜

2.2 控制系統(tǒng)

在圖像視覺伺服系統(tǒng)中，控制系統(tǒng)的最終目的就是控制誤差，求得最小誤差e(t)，e(t)=s[m(t),a]-s*?；趫D像的控制方案一般都采用圖像平面的一組點構(gòu)成視覺特征集合s。圖像測量m通常是圖像點集合的像素坐標(biāo)，而且相機固有參數(shù)a就是用于把像素的圖像測量變換到特征點。

在相機里一個三維的坐標(biāo)點表示為X=(X,Y,Z)，轉(zhuǎn)化為圖片一個二維的坐標(biāo)點表示為x=(x,y)，由此可以得到

(16)

m=(u,v)是用像素單位表示的圖像點的坐標(biāo)，a=(u0,v0,px,py)是相機固有參數(shù)的集合，u0和v0是主要特征點坐標(biāo)，px和py是焦距和像素大小的比值。攝像機的空間速度為vc=(vc,ωc)，vc是像機原點的瞬時線速度，ωc像機原點的瞬時角速度。由此，特征集合s以及空間速度的關(guān)系為

其中矩陣Lx為

(17)

當(dāng)目標(biāo)選定之后，基于伺服控制的TLD算法經(jīng)過以下步驟：

(1)設(shè)置當(dāng)前目標(biāo)，選定初始幀為i=0；

(2)TLD算法對該幀圖片提取特征點，進行計算；

(3)攝像頭通過TLD的計算對目標(biāo)進行跟蹤；

(4)IBVS對圖像進行誤差控制，并將誤差反饋給TLD；

(5)跟蹤是否成功，如果成功，當(dāng)前幀替換上一幀圖片作為新的跟蹤目標(biāo)，i=i+1；如果不成功則重新選定目標(biāo)。

該步驟如圖4所示。

圖4 目標(biāo)跟蹤示意圖Fig.4 Target tracking schematic diagram

3 實驗

3.1 實驗結(jié)果

在TLD算法的基礎(chǔ)上，加入圖像視覺伺服控制以減小誤差，用實驗來認(rèn)證跟蹤是否有效，并評估其跟蹤的魯棒性，在不同的環(huán)境下，設(shè)置不同的干擾因素來多次試驗，這包含了對不同目標(biāo)(人，物體等)的跟蹤，不同干擾因素(遮擋，光照等)條件下的試驗，試驗部分如圖5—圖8所示。

(a)追蹤前 (b)初始追蹤 (c)5 min后追蹤圖5 人臉跟蹤Fig.5 Face tracking

(a)追蹤前 (b)初始追蹤 (c)5 min后追蹤圖6 二維碼跟蹤Fig.6 QR code tracking

(a)追蹤前 (b)初始追蹤 (c)5 min后追蹤圖7 錢包跟蹤Fig.7 The wallet tracking

(a)追蹤前 (b)初始追蹤 (c)5 min后追蹤圖8 人臉跟蹤Fig.8 Face tracking

實驗由4組實驗樣本組成，分別展示了對人臉、二維碼、錢包的追蹤，每一組實驗截取了(a)，(b)，(c)三張圖，(a)表示了對目標(biāo)追蹤前實驗系統(tǒng)的成像狀態(tài)，(b)表示的是選取目標(biāo)后進行的初始追蹤狀態(tài)，(c)表示的是進行5 min之后的追蹤狀態(tài)。

從實驗結(jié)果來看，所采用的方法對人臉的追蹤效果最理想，幾乎可以完美地對目標(biāo)進行長時間跟蹤，即便在中間過程中使用遮擋物遮擋，或是目標(biāo)離開攝像頭一段時間，而當(dāng)目標(biāo)再次回歸到可視窗口時仍能進行繼續(xù)的跟蹤；對二維碼的追蹤效果同樣是有效的，并且追蹤的魯棒性較高；而當(dāng)對作者使用的錢包進行追蹤時，其追蹤的表現(xiàn)性較差，當(dāng)目標(biāo)物振動劇烈時，偶爾存在跟蹤丟失現(xiàn)象，并且重現(xiàn)追蹤會有較長的反應(yīng)時間。

對于前兩個目標(biāo)，從目標(biāo)本身來講具有較明顯的特征，所設(shè)計的系統(tǒng)對于特征點的提取較為容易。而對于錢包來講，由于整個二維表面特征點不夠突出，與背景區(qū)別相比較于前兩個較小，所以其追蹤效果不理想也在預(yù)料之中。其中，圖5與圖8的試驗對比中，圖5光照條件理想，背景與目標(biāo)區(qū)別顯著，圖8光照條件較為昏暗，但兩者依然追蹤效果理想，所以本系統(tǒng)在對特征點較為明顯的目標(biāo)進行追蹤時，幾乎可以不受光照限制。

3.2 實驗對比

本文從樣本數(shù)量、運算速度和正確率三個方面與原始算法對比，結(jié)果如下。

圖9 輸入樣本數(shù)量對比圖Fig.9 Comparison chart of input sample size

如圖9所示，虛線表示的是原始的TLD算法在目標(biāo)跟蹤中產(chǎn)生的樣本數(shù)量，實線是改進后產(chǎn)生的樣本數(shù)量。改進后的樣本數(shù)量由于伺服控制的反饋降低了TLD算法本身的計算量，從而加快了算法的運行速度，進而也保證跟蹤的實時性。

表2 原始算法與改進后算法運算速度對比
Tab.2 The speed comparison between original and improved algorithms

視頻庫總幀數(shù)原始算法運算速度/幀· s-1改進后算法運算速度/幀· s-1人臉二維碼錢包153315011486252421413935

表2中表示的是原始TLD算法與改進后的算法運算速度的比較，人臉與二維碼的特征點相對于錢包較為明顯，所以其運算速度較快。

表3 原始算法與改進后算法正確率對比
Tab.3 The accuracy comparison between original algorithm and improved algorithm

視頻庫總幀數(shù)原始算法正確幀數(shù)改進后算法正確幀數(shù)人臉二維碼錢包153315011486153313721208153314271374

表3表示了算法改進前后對目標(biāo)跟蹤準(zhǔn)確率的對比，改進后的算法在準(zhǔn)確率上也有提高。

4 結(jié)束語

本文將圖像視覺伺服控制應(yīng)用到TLD算法中,從整體實驗效果來看，基于圖像視覺伺服的TLD算法目標(biāo)追蹤應(yīng)用廣泛，對于特征點明顯的目標(biāo)追蹤效果顯著，對光照因素要求不高，但是在對特征點不明顯，與背景對比差異較小的目標(biāo)追蹤時，效果不夠理想，但也能基本完成對目標(biāo)的追蹤。同時，改進后的算法在運算速度以及正確率上都有所提高。但該方法仍具有不足之處，如何更好地提取特征點，如何將特征集合的誤差控制到更小，這都將是作者后續(xù)工作中要解決的問題。