齊玉娟, 牛瀟然, 王延江

(中國石油大學(xué)(華東) 信息與控制工程學(xué)院， 山東 青島 266580)

0 引 言

目標(biāo)跟蹤是計算機視覺研究中十分重要的領(lǐng)域，在智能監(jiān)控和安防系統(tǒng)中有著十分廣闊的應(yīng)用前景。在眾多的目標(biāo)跟蹤算法中，粒子濾波以其對非線性/非高斯系統(tǒng)狀態(tài)估計的良好適應(yīng)性而越來越受到關(guān)注。粒子濾波算法根據(jù)蒙特卡洛仿真原理遞推實現(xiàn)貝葉斯估計[1]，在目標(biāo)跟蹤過程，用足夠數(shù)量的、帶有相關(guān)權(quán)值的粒子對應(yīng)目標(biāo)各種可能的狀態(tài)，并通過粒子間的線性加權(quán)逼近目標(biāo)的真實狀態(tài)[2]。由粒子權(quán)值的遞推公式可知，觀測模板與目標(biāo)模板之間的相似程度直接影響粒子權(quán)值的變化。

通常，以顏色直方圖為代表的全局特征被用來構(gòu)建觀測模板和目標(biāo)模板。全局特征對目標(biāo)區(qū)域內(nèi)所有點的特征進(jìn)行統(tǒng)計，所以能夠一定程度上抑制隨機噪聲。然而，當(dāng)目標(biāo)的外觀與背景相似，或者由尺度變化、光照突變、旋轉(zhuǎn)等引起目標(biāo)外觀發(fā)生變化時，單一的全局特征將無法可靠地作為區(qū)分目標(biāo)與背景的依據(jù)，從而使粒子跟蹤器失效。與全局特征相對應(yīng)的局部特征則可以一定程度上適應(yīng)上述情況[3]；但是，由于局部特征僅統(tǒng)計目標(biāo)區(qū)域內(nèi)的一部分特性，也造成局部特征對噪聲比較敏感，特別是在復(fù)雜場景下，特征點發(fā)生誤匹配的概率較高。

為了應(yīng)對跟蹤過程中出現(xiàn)的目標(biāo)外觀變化和目標(biāo)外觀與背景近似等情況，本文受人類記憶機制的啟發(fā)，引入三階段記憶模型用于建立模板空間。模板空間綜合使用目標(biāo)的局部特征和全局特征，并能夠記憶目標(biāo)外觀的時序變化。在目標(biāo)跟蹤過程中，模板空間對粒子的傳播方向加以引導(dǎo)，降低粒子在傳播過程中偏移目標(biāo)的程度，以避免粒子的退化。同時，粒子集合對特征點的匹配范圍進(jìn)行約束，以減少偽匹配點的出現(xiàn)，從而增強目標(biāo)模板的可靠性。實驗結(jié)果表明，當(dāng)目標(biāo)外觀與背景相似時，或由尺度變化、光照突變、旋轉(zhuǎn)等引起目標(biāo)外觀發(fā)生變化時，本文提出的算法仍能魯棒地跟蹤目標(biāo)。

1 三階段記憶理論

研究表明，記憶系統(tǒng)在人類的認(rèn)知活動中發(fā)揮著至關(guān)重要的作用[4]。人類在視覺感知行為中，通過視覺系統(tǒng)、人腦記憶、學(xué)習(xí)、推理等功能的協(xié)同工作，能夠在復(fù)雜環(huán)境下魯棒地識別、跟蹤、理解、解釋感興趣目標(biāo)及其所處的場景。通過視覺輸入與人腦記憶系統(tǒng)輸出的記憶模式進(jìn)行匹配，完成感興趣目標(biāo)的推測、提取與注意焦點的轉(zhuǎn)移等[5]。作為人類認(rèn)知活動中的樞紐，記憶機制在自然科學(xué)、生物心理學(xué)、認(rèn)知科學(xué)等領(lǐng)域均得到了深入的研究，研究者提出了多種記憶模型[6]。其中，記憶信息三級貯存模型被認(rèn)為是認(rèn)知心理學(xué)領(lǐng)域中經(jīng)典的人類記憶機制模型。后經(jīng)研究人員不斷地發(fā)展完善，逐步形成了三階段記憶理論，其模型框圖如圖1所示。

圖1 三階段記憶模型

從圖1可以看出，記憶系統(tǒng)被劃分為瞬時記憶空間、短時記憶空間和長時記憶空間，分別對應(yīng)著信息處理流程的3個階段。瞬時記憶空間存儲著神經(jīng)系統(tǒng)傳來的視覺、聽覺等感知信息，這些具有底層特征的信息被送入短時記憶空間并整合為高層特征信息；短時記憶空間是進(jìn)行信息編碼、解碼、轉(zhuǎn)換等處理的主要工作場所，為認(rèn)知活動中進(jìn)行的模式匹配提供記憶模式；長時記憶空間容量最大，信息保存時間最長，存儲著經(jīng)驗知識等具有概念性質(zhì)的信息。“復(fù)述”行為將短時空間中重復(fù)出現(xiàn)的信息送入長時空間存儲，而“提取”將長時記憶中的激活信息傳送到短時空間。

近年來，人類記憶機制被成功應(yīng)用于短時交通流量預(yù)測[7]和計算機視覺[8-12]等領(lǐng)域。特別是在計算機視覺領(lǐng)域的研究中，王延江等將三階段記憶模型引入到視覺信息處理過程，提出了基于記憶機制的視覺信息處理的認(rèn)知計算模型[8-9]，通過模擬人腦的一些認(rèn)知過程，提高了背景建模和運動目標(biāo)跟蹤算法的魯棒性[10-14]，較好地解決了復(fù)雜場景下的背景突變、目標(biāo)姿態(tài)改變以及目標(biāo)被遮擋等問題。

2 基于記憶機制的模板空間

2.1 模板空間的結(jié)構(gòu)

根據(jù)三階段記憶模型的信息處理流程，本文將模板空間劃分為三部分，如圖2所示。分別對應(yīng)了瞬時、短時、長時記憶空間：瞬時空間中存儲了局部特征激活模板，該模板由目標(biāo)區(qū)域的局部特征綜合而成；短時空間存儲全局特征激活模板，該模板由目標(biāo)區(qū)域的全局特征構(gòu)成；長時空間存儲全局特征記憶模板，這些模板記錄了目標(biāo)曾經(jīng)出現(xiàn)過的外觀。在跟蹤過程中，激活模板用于與觀測模板進(jìn)行匹配，并根據(jù)匹配結(jié)果做出相應(yīng)的決策。記憶模板用于短時空間中激活模板的更新，使跟蹤器能夠快速適應(yīng)目標(biāo)的變化。

圖2 模板空間結(jié)構(gòu)圖

2.2 BRIEF描述符

BRIEF描述符[16]是一種用來對不同特征點進(jìn)行比較的二值描述算子。由于對內(nèi)存要求低且運行速度快，近年來受到廣泛的關(guān)注與研究。與SIFT、SURF等傳統(tǒng)的二值描述符相比，BRIEF在構(gòu)造與匹配計算上都更加的簡潔高效，并能取得較高的識別準(zhǔn)確率。

BRIEF描述符是一個n位的0/1碼串，對應(yīng)的十進(jìn)制數(shù)為：

其中：τ(s;u,v)是以點s為中心的圖像塊中兩點之間灰度值的比較函數(shù)，具體如下：

I(s,u)是點u=(xu,yu)Τ的灰度值。

2.3 模板相似性度量

在基于全局特征的粒子濾波算法中，觀測模板與目標(biāo)模板之間的巴氏距離被作為兩者之間的相似性度量。由于本文模板空間引入了局部特征，因此模板的匹配策略需作如下調(diào)整：

(1)

式中：ρ1為觀測模板區(qū)域內(nèi)局部特征點數(shù)量no與瞬時空間模板中局部特征點數(shù)量ns之比，代表了在局部特征層面上觀測模板與目標(biāo)模板之間的相似性；ρ2是觀測模板直方圖ho與短時空間模板hts之間的巴氏系數(shù)。ρ1與ρ2的線性組合作為觀測模板與目標(biāo)模板之間的相似性度量ρ，且權(quán)值α根據(jù)場景變化自適應(yīng)調(diào)整。

3 基于記憶機制的粒子濾波

3.1 目標(biāo)模板對粒子傳播的控制

粒子濾波利用蒙特卡洛仿真原理解決貝葉斯跟蹤框架下后驗概率密度函數(shù)難以求得解析解的問題，即以足夠多的、采樣于后驗概率分布的樣本來近似表示真實的數(shù)學(xué)期望。然而，由于目標(biāo)狀態(tài)的后驗概率分布p(x0:kz1:k)是多變量、非標(biāo)準(zhǔn)的，難以從中采樣獲得應(yīng)用樣本。根據(jù)貝葉斯重要性采樣定理，可以從一個已知的且容易采樣的參考分布中進(jìn)行采樣，并通過加權(quán)近似后驗概率分布。

理想狀態(tài)下，參考分布q(x0:kz1:k)應(yīng)盡可能地接近后驗概率分布p(x0:kz1:k)，從而使權(quán)值的方差最小。從實際情況出發(fā)，最常見的參考分布是目標(biāo)的先驗概率密度函數(shù)p(xkxk-1)，即第k幀的粒子(參考分布的采樣序列)狀態(tài)取決于其狀態(tài)轉(zhuǎn)移方程。一階狀態(tài)轉(zhuǎn)移方程如下：

(2)

式中：uk、rk、hk、gk是零均值的高斯隨機過程。此時，粒子傳播的速度和方向完全隨機。

為了使粒子更加接近后驗概率分布中的采樣樣本，本文對狀態(tài)轉(zhuǎn)移方程進(jìn)行如下調(diào)整：

(3)

式中：uk、rk是0,1之間的隨機數(shù)；(cx,k-1,cy,k-1)是瞬時空間中局部特征點的中心。粒子傳播的方向不再隨機，每1幀粒子都是向著上1幀中目標(biāo)的方向進(jìn)行傳播。

經(jīng)過改進(jìn)，粒子加權(quán)運算后更加近似于后驗概率分布，粒子權(quán)重的方差變小。直觀來看，遠(yuǎn)離目標(biāo)運行軌跡的粒子減少，避免了粒子權(quán)值的持續(xù)衰減，粒子間的權(quán)重分布更加均衡，粒子退化現(xiàn)象得到遏制。

3.2 粒子對局部特征匹配的約束

局部特征表征的是一部分獨立的圖像塊的特性。由于沒有與其他特征建立聯(lián)系，圖像的某個區(qū)域并不能由單獨的局部特征唯一標(biāo)記。當(dāng)場景較為復(fù)雜或場景與目標(biāo)近似時，背景和目標(biāo)可能會出現(xiàn)相同或相似的局部特征，從而造成特征點的偽匹配。

為解決特征點的偽匹配問題，本文定義粒子集合分布的空間區(qū)域為ROP(Region of Particles)。局部特征匹配時，僅取ROP內(nèi)提取的FAST角點作為待匹配的特征點。由于縮小了匹配范圍，避免了背景中遠(yuǎn)離目標(biāo)的、但與目標(biāo)局部特征相近的特征點被分類為目標(biāo)，減少了偽匹配的發(fā)生。

3.3 算法描述

對于模板記憶空間：清空長時空間；將所選目標(biāo)區(qū)域的顏色直方圖存入短時空間，作為全局特征激活模板；將目標(biāo)區(qū)域內(nèi)提取的FAST角點及相應(yīng)的BRIEF描述符存入瞬時空間，作為局部特征模板。同時，計算目標(biāo)特征點集的中心位置(cx,0,cy,0)。

Step2對于每1幀新進(jìn)入的圖像，執(zhí)行粒子的狀態(tài)轉(zhuǎn)移方程(3)，實現(xiàn)粒子的傳播。

Step3在ROP區(qū)域內(nèi)提取與瞬時空間模板相匹配的局部特征。根據(jù)式(1)計算各粒子觀測模板與目標(biāo)模板之間的相似度，并按照下式計算各粒子的權(quán)值，

(4)

Step4根據(jù)下式估計目標(biāo)的位置：

(5)

同時，計算估計目標(biāo)的顏色直方圖he。

4 實驗結(jié)果及分析

為驗證本文所提模型及算法的有效性和實用性，用兩段標(biāo)準(zhǔn)視頻在主頻為Core 2.3 GHz、內(nèi)存為2 GB的計算機上進(jìn)行測試。視頻Ι“david_indoor”中的跟蹤目標(biāo)為人臉；視頻Ⅱ“cliffbar”中的跟蹤目標(biāo)為手中的書簽。為了比對傳統(tǒng)算法與本文算法的效果，兩者的粒子數(shù)量均設(shè)為25。

4.1 傳統(tǒng)算法的跟蹤效果

圖3(a)展示了原始粒子濾波算法在“david_indoor”中的跟蹤結(jié)果，圖3(b)是原始粒子濾波在“cliffbar”中的跟蹤結(jié)果。由于目標(biāo)與背景的顏色特征近似，加之目標(biāo)出現(xiàn)了尺度變化與亮度變化，跟蹤器逐漸偏離目標(biāo)，并分別在第193幀和第90幀時完全跟丟。

(a) David-indoor

(b) cliffbar

圖4分別展示了對兩個標(biāo)準(zhǔn)視頻進(jìn)行目標(biāo)局部特征點匹配的結(jié)果，特征點由綠色十字標(biāo)注。由結(jié)果可看出，每一幀都有相當(dāng)數(shù)量屬于背景的局部特征點被誤匹配為目標(biāo)。

(a) david-indoor

(b) cliffbar

4.2 本文算法的跟蹤結(jié)果

圖5展示了本文算法在“david_indoor”測試視頻上的跟蹤結(jié)果。外層紅色矩形框為跟蹤結(jié)果，內(nèi)層綠色矩形框包圍了匹配為目標(biāo)的特征點(用綠色十字標(biāo)記)。圖5第1行截取于第10～315幀，期間場景的亮度與目標(biāo)的尺寸發(fā)生了變化；第2行截取于第444～491幀，期間目標(biāo)發(fā)生了旋轉(zhuǎn)，并且尺度變小；第3行截取于第602～708幀，期間出現(xiàn)了光照突變，同時，目標(biāo)的眼鏡也被反復(fù)地摘取。實驗結(jié)果表明，本文算法在目標(biāo)尺寸變化、目標(biāo)旋轉(zhuǎn)以及光照突變條件下都能較好的跟蹤目標(biāo)。

圖5 本文算法在視頻Ι中的跟蹤結(jié)果

圖6是本文算法在“cliffbar” 測試視頻上的跟蹤結(jié)果。圖6第1行截取于第30～100幀，期間目標(biāo)的尺度隨運動發(fā)生了變化；第2行截取于145～247幀期間，目標(biāo)被“手”部分遮擋，并發(fā)生了180°的平面內(nèi)旋轉(zhuǎn)；第3行截取于336～447幀期間，目標(biāo)被“手”牽引做無規(guī)則運動，并且尺度發(fā)生連續(xù)變化。實驗結(jié)果表明本文算法在目標(biāo)尺度變化、遮擋時都能較好地跟蹤目標(biāo)。

圖6 本文算法在視頻Ⅱ中的跟蹤結(jié)果

4.3 粒子退化抑制效果分析

粒子退化嚴(yán)重影響了粒子濾波算法的效率和準(zhǔn)確性。本文提出的算法通過對粒子傳播方程的改進(jìn)，最大程度上抑制了粒子的退化現(xiàn)象。

通常，粒子集合的退化程度可以用下式近似表示[1]：

(6)

式中：ω為粒子權(quán)值；N代表粒子的數(shù)量。粒子退化越嚴(yán)重，量測值越接近1。

圖7給出本文算法在“david_indoor” 測試視頻中粒子退化量測值的變化情況。由圖7可以看出，本文算法的量測值始終大于24.995，這一數(shù)值遠(yuǎn)遠(yuǎn)大于1，證明了對粒子退化的有效抑制。

圖7 本文算法的粒子退化量測值變化

為了更直觀地展示本文算法中粒子權(quán)值的分布，圖8描繪了整個跟蹤過程中最大和最小粒子權(quán)值的變化情況?？梢钥闯?，最大權(quán)值和最小權(quán)值之差不超過0.003，說明粒子是極為均勻地分布在目標(biāo)的周圍，參考分布十分接近后驗概率分布。

圖8 最大與最小粒子權(quán)值的變化

5 結(jié) 語

傳統(tǒng)粒子濾波器在跟蹤過程中難以應(yīng)對目標(biāo)外觀變化和目標(biāo)外觀與背景近似等情況。為解決上述問題，本文受人類記憶機制的啟發(fā)，引入三階段記憶模型用于建立模板空間。模板空間綜合使用了目標(biāo)的局部特征和全局特征，并能夠記憶目標(biāo)外觀的時序變化。在跟蹤過程中，模板空間對粒子的傳播方向加以引導(dǎo)，避免了粒子的退化。同時，粒子對局部特征的匹配范圍進(jìn)行約束，減少了偽匹配點的出現(xiàn)。實驗結(jié)果展示了本文算法在目標(biāo)外觀與背景相似時和目標(biāo)外觀發(fā)生變化時的魯棒性。