郝 溪 ，陳淑榮 ，尹道素 ，梁 晶

(1.上海海事大學(xué) 信息工程學(xué)院，上海 201306；2.中國(guó)石油工程建設(shè)公司華東設(shè)計(jì)分公司，山東 青島 266071)

行人跟蹤是運(yùn)動(dòng)目標(biāo)跟蹤的一部分。目前，運(yùn)動(dòng)目標(biāo)跟蹤方法主要包括基于主動(dòng)輪廓、基于特征、基于區(qū)域和基于模型的跟蹤[1]。參考文獻(xiàn)[2]利用壓縮感知技術(shù)對(duì)多尺度圖像特征進(jìn)行降維處理，并在線更新分類器；參考文獻(xiàn)[3]提取光流特征來(lái)檢測(cè)和跟蹤目標(biāo)，運(yùn)用機(jī)器學(xué)習(xí)的正負(fù)反饋，達(dá)到有效跟蹤目標(biāo)，但兩種方法對(duì)非剛性行人跟蹤的魯棒性較低。參考文獻(xiàn)[4]提出基于顏色直方圖的視覺(jué)跟蹤，適用于行人形變、部分遮擋、旋轉(zhuǎn)以及尺度變化，但僅利用顏色單一特征易造成背景顏色干擾。參考文獻(xiàn)[5]將粒子濾波算法與Mean Shift算法相結(jié)合,短時(shí)間內(nèi)能快速跟蹤目標(biāo)，但長(zhǎng)時(shí)間遮擋易造成行人目標(biāo)丟失。

本文融合梯度直方圖HOG(Histograms of Oriented Gradient)[6]特征與加權(quán)的顏色直方圖特征，利用粒子濾波實(shí)現(xiàn)了行人跟蹤。提取HOG特征，抑制行人的形變干擾；利用加權(quán)的顏色直方圖特征，降低背景干擾；引入顏色分塊擴(kuò)展相似度，解決了混合遮擋問(wèn)題。算法框圖如圖1所示。

圖1 行人跟蹤算法框圖

1 算法理論

1.1 HOG特征提取

HOG對(duì)圖像幾何形變、光學(xué)形變具有不變性，允許行人細(xì)微動(dòng)作變化。先將圖像分成小的單元，統(tǒng)計(jì)其中的梯度方向直方圖，然后按block大小掃描整幅圖像，最后獲得block統(tǒng)計(jì)直方圖并進(jìn)行歸一化，串聯(lián)形成HOG特征向量。

圖像中每一個(gè)像素點(diǎn)梯度為：

其 中 ，px(x,y)、py(x,y)、f(x,y)分 別 為 像 素(x,y)水 平 、垂 直方向梯度以及像素值。

每一個(gè)像素的梯度模的大小和方向?yàn)椋?/p>

實(shí)驗(yàn)選取4×4像素為一單元，將單元角度離散至[0,π]的9個(gè)區(qū)間，統(tǒng)計(jì)每個(gè)區(qū)間的梯度幅值，設(shè)置 2×2個(gè)單元為一個(gè)block，以單元為步長(zhǎng)掃描目標(biāo)區(qū)域，利用式(5)歸一化block，并串聯(lián)作為HOG特征。

其中，e為略大于0的常數(shù)。

引入積分直方圖[7]，簡(jiǎn)化HOG特征計(jì)算。從原點(diǎn)開(kāi)始掃描，按照從上到下、從左到右的順序，累計(jì)經(jīng)過(guò)像素點(diǎn)9個(gè)方向的bin值，獲得當(dāng)前點(diǎn)的積分直方圖。block區(qū)域的積分直方圖通過(guò)加減4個(gè)角的點(diǎn)積分值來(lái)獲得，計(jì)算過(guò)程如圖2所示。積分直方圖避免了掃描block重復(fù)區(qū)域像素點(diǎn)梯度的計(jì)算，加快了HOG特征提取。

圖2 block積分直方圖計(jì)算

1.2 顏色特征提取

顏色直方圖對(duì)目標(biāo)部分遮擋、旋轉(zhuǎn)及形變等具有較強(qiáng)的適應(yīng)性，且計(jì)算簡(jiǎn)易。

RGB空間受光照影響，易引起跟蹤目標(biāo)丟失，本文采用HSV空間模型。將圖像離散成n個(gè)子區(qū)域，對(duì)每個(gè)像素采用式(6)所示的加權(quán)處理，實(shí)現(xiàn)對(duì)目標(biāo)區(qū)域高加權(quán)，目標(biāo)邊緣區(qū)域低加權(quán)，獲得式(7)所示的像素分布，通過(guò)統(tǒng)計(jì)加權(quán)后像素顏色向量落在子區(qū)域的頻數(shù)得到顏色特征直方圖，如圖3所示。依據(jù)HSV對(duì)光照的敏感度不同，設(shè)置量化級(jí)數(shù)為 8×8×4。

圖3 HSV空間模型顏色直方圖特征提取

其中，r為像素點(diǎn)到目標(biāo)行人中心的距離。

其中，x為行人中心位置，c=(cx,cy)為區(qū)域半徑，δ為Kronecker delta函數(shù)，n為區(qū)域像素總個(gè)數(shù)，b為每個(gè)像素相應(yīng)的顏色直方圖條柱。

1.3 融合HOG與顏色特征的粒子濾波

粒子濾波適于非線性、非高斯的行人運(yùn)動(dòng)估計(jì)，分為預(yù)測(cè)和更新兩個(gè)階段。

預(yù)測(cè)階段,利用系統(tǒng)模型預(yù)測(cè)狀態(tài)的先驗(yàn)概率密度為：

更新階段，用最新觀察數(shù)據(jù)修正得到當(dāng)前狀態(tài)的后驗(yàn)概率密度為：

其中，N為粒子個(gè)數(shù)，為第i個(gè)粒子的權(quán)值。

權(quán)值更新為：

兩個(gè)直方圖模型相似度距離定義為：

其中，p為行人目標(biāo)模型，q為行人侯選區(qū)模型。

利用相似度距離，得到粒子觀測(cè)值為：

其中，σ2是縮放因子。

最后，得到顏色特征與HOG特征融合觀測(cè)值為：

1.4 遮擋檢測(cè)

為檢測(cè)行人遮擋，以目標(biāo)中心對(duì)稱劃分左右跟蹤窗口與擴(kuò)展窗口，如圖4(a)所示。k時(shí)刻發(fā)生遮擋時(shí)，k-1時(shí)刻擴(kuò)展窗口與k時(shí)刻跟蹤窗口的直方圖相似度較高，k-1時(shí)刻跟蹤窗口與k時(shí)刻跟蹤窗口相似度較低，利用式(14)和 式(15)判 斷 遮 擋[8]。

其中，ρ1、ρ2分別表示k幀與k-1 幀的相似度，trck(x,k)為跟蹤窗口，ext(x,k)為擴(kuò)展窗口，x=(1,2)分別代表左右窗口，k為第k幀。

若 ρ2＞ρ1，則k時(shí)刻發(fā)生遮擋，不更新特征模板，保證遮擋結(jié)束后正確跟蹤到行人，圖4(b)為遮擋后跟蹤效果圖。

圖4 遮擋檢測(cè)跟蹤結(jié)果

2 算法描述

算法實(shí)現(xiàn)的具體步驟如下。

(1)輸入視頻，讀取第一幀圖像，選擇感興趣行人區(qū)域，利用高斯噪聲方式產(chǎn)生N個(gè)粒子{,i=1,2,…,N}，初始權(quán)重為1/N，取N為100。

(2)轉(zhuǎn)換為灰度圖像并歸一化行人區(qū)域，計(jì)算圖像梯度，得到簡(jiǎn)化的HOG特征。

(3)將目標(biāo)圖像轉(zhuǎn)至HSV空間，加權(quán)顏色直方。根據(jù)式(14)和式(15)檢測(cè)遮擋并處理，獲得目標(biāo)模板特征。

(5)依據(jù)步驟(2)和步驟(3)，獲得預(yù)測(cè)粒子的顏色直方圖特征、HOG特征，計(jì)算預(yù)測(cè)粒子與目標(biāo)粒子相似度，得到融合觀測(cè)值，通過(guò)式(13)計(jì)算粒子權(quán)重，按照式(16)歸一化粒子權(quán)重。

(6)輸出最優(yōu)估計(jì)為：

依據(jù)狀態(tài)向量位置坐標(biāo)、長(zhǎng)寬信息，畫(huà)出行人預(yù)測(cè)矩形圖和軌跡圖。

(8)若視頻未結(jié)束，置k=k+1，轉(zhuǎn)到步驟(2)；否則，結(jié)束。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證算法有效性，采用PETS數(shù)據(jù)庫(kù)進(jìn)行行人跟蹤實(shí)驗(yàn),在VS 2010環(huán)境下開(kāi)發(fā)，計(jì)算機(jī)配置為3 GHz CPU和2 GB內(nèi)存，使用OpenCV 2.4.4開(kāi)源庫(kù)，并與經(jīng)典粒子跟蹤算法、Mean Shift結(jié)合粒子濾波算法進(jìn)行比較。

圖5為PETS數(shù)據(jù)庫(kù)中行人3種算法的結(jié)果比較，從初始化至400幀正確跟蹤。圖5(a)中第500幀由于新進(jìn)行人顏色直方圖與目標(biāo)行人顏色直方圖相似，跟蹤錯(cuò)誤，在第600幀處錯(cuò)誤跟蹤至新進(jìn)行人。圖5(b)中Mean Shift與粒子濾波結(jié)合算法第500幀處仍可跟蹤到部分行人，第600幀則急劇發(fā)散。圖5(c)是本文算法跟蹤結(jié)果，第500幀、第600幀處皆能正確跟蹤，圖示白線表明行人的運(yùn)動(dòng)軌跡。

圖6給出了跟蹤過(guò)程中，粒子最大權(quán)重值的變化。本文算法最大粒子權(quán)重值平均較高，表示跟蹤過(guò)程中模板與粒子相似度較高。在第400幀～第500幀之間，由于行人間出現(xiàn)遮擋，經(jīng)典粒子濾波平均權(quán)值較低，Mean Shift結(jié)合粒子濾波算法平均權(quán)值較大，而本文算法最大權(quán)重值較穩(wěn)定，提高了行人跟蹤的效果。

圖6 粒子濾波每幀中最大權(quán)重值

表1列出實(shí)驗(yàn)視頻中3種算法的平均處理時(shí)間，由于引入了HOG特征，本文算法所用時(shí)間相對(duì)經(jīng)典粒子濾波跟蹤時(shí)間較長(zhǎng)，但仍能滿足實(shí)時(shí)跟蹤要求。

表1 幾種算法跟蹤平均每幀時(shí)間比較

本文融合簡(jiǎn)化HOG特征和加核的顏色直方圖特征，實(shí)現(xiàn)了粒子濾波行人跟蹤。采用積分圖加速HOG特征提取，利用圖像分塊相似度檢測(cè)，提高了行人間遮擋、背景行人混合遮擋情況下跟蹤的準(zhǔn)確性與魯棒性。但由于HOG特征計(jì)算量較大，算法運(yùn)行時(shí)間相對(duì)傳統(tǒng)粒子跟蹤方法較長(zhǎng)，后續(xù)將進(jìn)一步改進(jìn)算法，提高算法運(yùn)行速度。

[1]楊戈,劉宏.視覺(jué)跟蹤算法綜述[J].智能系統(tǒng)學(xué)報(bào),2010(2)：1.

[2]ZHANG K,ZHANG L,YANG M H.Real-time compressive tracking[M].Computer Vision-ECCV 2012，Springer Berlin Heidelberg,2012：864-877.

[3]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking-learning detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(7)：1409-1422.

[4]NUMMIARO K,KOLLER-MEIER E,GOOL V L.An adaptive color-based particle filter[J].Image and Vision Computing,2003,21(1)：99-110.

[5]邢浪漫,范蟠果.基于 mean shift和粒子濾波的混合目標(biāo)跟蹤算法[J].微型機(jī)與應(yīng)用,2011,30(20)：47-49.

[6]DALAL N,TRIGGS B.Histograms of oriented gradient for human detection[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recongnition(CVPR)，2005,1：886-893.

[7]PORIKLI F.Integral histogram：a fast way to extract histograms in cartesian spaces[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition,CVPR 2005,2005(1)：829-836.

[8]劉濤,程小平,向本科.改進(jìn)的基于顏色的粒子濾波目標(biāo)跟蹤算法[J].計(jì)算機(jī)工程與設(shè)計(jì),2010(8)：1750-1752.