江 晟 王殿海，2 陳永恒 孫 迪

(1吉林大學(xué)交通學(xué)院，長(zhǎng)春 130022)

(2浙江大學(xué)建筑工程學(xué)院，杭州 310058)

基于視頻的行人運(yùn)動(dòng)軌跡再現(xiàn)與過(guò)街行為表達(dá)

江 晟1王殿海1，2陳永恒1孫 迪1

(1吉林大學(xué)交通學(xué)院，長(zhǎng)春 130022)

(2浙江大學(xué)建筑工程學(xué)院，杭州 310058)

針對(duì)行人運(yùn)動(dòng)軌跡再現(xiàn)及表達(dá)的問(wèn)題，結(jié)合視頻檢測(cè)技術(shù)，提出一種結(jié)合時(shí)空上下文信息的行人運(yùn)動(dòng)特征提取和軌跡跟蹤算法，并在視頻標(biāo)定計(jì)算中引入中心偏移量，改進(jìn)了共線模型中不考慮鏡頭畸變的缺點(diǎn)，提高了標(biāo)定精度.利用該算法對(duì)實(shí)際視頻進(jìn)行處理，獲取多組行人運(yùn)動(dòng)參數(shù)和軌跡曲線，再將該算法提取的數(shù)據(jù)與共線標(biāo)定方法的計(jì)算數(shù)據(jù)及人工調(diào)查得到的真實(shí)數(shù)據(jù)進(jìn)行對(duì)比，驗(yàn)證所提算法的準(zhǔn)確性.最后定量分析了幾種行人過(guò)街行為，對(duì)過(guò)街行為相應(yīng)的軌跡特征狀態(tài)進(jìn)行了表達(dá)，為行人交通組織和控制提供支持.

智能交通;視頻檢測(cè);行人行為;軌跡再現(xiàn);特征表達(dá)

行人交通作為短距離出行的主要交通方式，其運(yùn)動(dòng)行為的研究與表達(dá)對(duì)保障交通暢通和行人安全具有重要意義.目前，國(guó)內(nèi)外對(duì)行人行為的研究與表達(dá)取得了一定的進(jìn)展，但信息采集仍以人工調(diào)查或人工觀測(cè)為主［1］，如 Bernhoft等［2］對(duì)城市內(nèi)70歲及以上的老年行人通過(guò)問(wèn)卷方式調(diào)查研究行人行為和表現(xiàn)的差異;Zhou等［3］提出了一個(gè)受年齡、性別和一致性趨勢(shì)影響的中國(guó)行人行為分析調(diào)查方案，對(duì)中國(guó)行人行為進(jìn)行研究;裴玉龍等［4］對(duì)多地的行人進(jìn)行了人工調(diào)查和觀測(cè)，利用調(diào)查和觀測(cè)的結(jié)果對(duì)行人過(guò)街行為進(jìn)行了較好表達(dá).上述研究都基于人工調(diào)查的結(jié)果，雖然能夠反映一定的行人行為特性，但難以表征行人運(yùn)動(dòng)的實(shí)時(shí)特征，具有局限性.而針對(duì)視頻的行人行為和狀態(tài)識(shí)別研究，國(guó)內(nèi)外都做過(guò)有益的嘗試，如Daamen等［5-6］提出了基于Kalman濾波的行人運(yùn)動(dòng)預(yù)測(cè)跟蹤方法，獲取行人信息，并對(duì)微觀行為進(jìn)行了一定的表達(dá).國(guó)內(nèi)王阿琴等［7］利用子圖像方法結(jié)合Meanshift算子實(shí)現(xiàn)了行人的跟蹤;胡宏宇等［8］采用視頻檢測(cè)技術(shù)對(duì)行人行為進(jìn)行了初步表達(dá)，但其表達(dá)的特征仍局限在像素特征的定性分析上;邵春福等［9-10］在對(duì)人進(jìn)行跟蹤的基礎(chǔ)上，利用共線方程對(duì)軌跡進(jìn)行了標(biāo)定還原，但標(biāo)定算法由于不考慮鏡頭畸變等問(wèn)題，跟蹤效果存在一定誤差;此外，劉軒也對(duì)基于圖像處理的行人疏散等運(yùn)動(dòng)微觀行為特征進(jìn)行了實(shí)驗(yàn)研究［11］，取得了一定的成果.

本文利用時(shí)空上下文獲取行人邊緣信息并作為跟蹤特征，再結(jié)合Kalman濾波對(duì)行人進(jìn)行檢測(cè)和跟蹤，之后在獲取行人軌跡的基礎(chǔ)上，對(duì)現(xiàn)有的共線標(biāo)定模型進(jìn)行改進(jìn).再利用考慮圖像中心偏移的行人軌跡標(biāo)定算法對(duì)真實(shí)視頻進(jìn)行檢測(cè)并與共線標(biāo)定進(jìn)行對(duì)比，最后對(duì)行人過(guò)街行為進(jìn)行定量分析和表達(dá).

1 基于時(shí)空上下文信息的Kalman濾波跟蹤算法

為了準(zhǔn)確檢測(cè)和跟蹤行人軌跡，需要對(duì)行人特征進(jìn)行有效的提取.本文利用時(shí)空上下文信息PT，S，對(duì)行人輪廓進(jìn)行提取.首先通過(guò)歷史信息對(duì)圖像區(qū)域進(jìn)行定義，區(qū)分背景和前景文本，再對(duì)當(dāng)前圖像進(jìn)行邊緣檢測(cè)，并利用空間相關(guān)性進(jìn)行分割，得到多個(gè)時(shí)空分布的文本Pm，n，再判斷與歷史文本的相關(guān)性ω.若Pm，n僅與一個(gè)空間文本區(qū)域強(qiáng)相關(guān)，則可以判定它的性質(zhì)為該空間文本的性質(zhì);若Pm，n與多個(gè)空間文本區(qū)域相關(guān)，則判斷與各個(gè)文本之間的關(guān)聯(lián)度，再利用最小歐式距離和前景邊緣圖像點(diǎn)數(shù)目判斷關(guān)聯(lián)性;若Pm，n不屬于任何文本，則檢測(cè)該文本是否是新出現(xiàn)的物體或是誤差，并利用時(shí)間信息判斷其屬性，即

在獲取前景輪廓特征的基礎(chǔ)上，利用Kalman濾波器算法對(duì)該特征進(jìn)行跟蹤，建立的狀態(tài)和觀測(cè)方程為

式中，ak為系統(tǒng)狀態(tài)的n×1維狀態(tài)向量;bk為觀測(cè)到的系統(tǒng)狀態(tài)的m×1 維向量;φk，k－1為從tk－1時(shí)刻到tk時(shí)刻的n×n維狀態(tài)轉(zhuǎn)移矩陣;Ik為tk時(shí)刻m×n維觀測(cè)矩陣;Dk－1為tk－1時(shí)刻隨機(jī)干擾的n×1維隨機(jī)向量;Fk為tk時(shí)刻m×1維觀測(cè)噪聲向量.此時(shí)設(shè)動(dòng)態(tài)噪聲Dk－1和觀測(cè)噪聲Fk為兩兩互不相關(guān)的零均值的正態(tài)白噪聲序列.當(dāng)系統(tǒng)確定時(shí)，φk，k－1和 Ik已知，則 Dk－1和 Fk滿足一定假設(shè)也已知.設(shè)Gk為k的協(xié)方差陣，G'k為ak和k的誤差協(xié)方差陣，Qk為動(dòng)態(tài)噪聲Dk的協(xié)方差矩陣，Hk為觀測(cè)噪聲Fk的協(xié)方差矩陣.

之后根據(jù)狀態(tài)和觀測(cè)方程進(jìn)一步建立Kalman濾波器算法.在t0時(shí)刻，用ak均值向量初始化0，并求G0;在tk時(shí)刻，其系統(tǒng)狀態(tài)預(yù)測(cè)方程為

式中為增益系數(shù)矩陣，有ZkIk)G'k.再利用上下文時(shí)空信息，獲知圖像運(yùn)動(dòng)方向和速度，通過(guò)濾出不可能出現(xiàn)的位置，根據(jù)已經(jīng)出現(xiàn)的歷史位置預(yù)測(cè)出運(yùn)動(dòng)目標(biāo)在下一幅圖像中可能出現(xiàn)的位置.最后根據(jù)前期已經(jīng)提取出的前景輪廓進(jìn)行相似比對(duì)，通過(guò)二維搜索得到與預(yù)測(cè)位置點(diǎn)所屬輪廓相關(guān)性最大的前景輪廓，從而實(shí)現(xiàn)行人跟蹤，并提取特征軌跡.

2 考慮圖像中心偏移的行人軌跡標(biāo)定算法

完成軌跡提取和跟蹤后，需要將圖像上的軌跡特征轉(zhuǎn)化為真實(shí)運(yùn)動(dòng)軌跡特征.在常規(guī)的共線條件方程式中由于不考慮鏡頭失真的情況，真實(shí)世界坐標(biāo)(X，Y，Z)和圖像坐標(biāo)(x，y)位于一條直線上，其基本原理公式為

式中，l1～l11為相機(jī)所在位置、焦距、攝影角度等相關(guān)參數(shù).對(duì)于行人運(yùn)動(dòng)軌跡的標(biāo)定僅需要其特征點(diǎn)在路面上的坐標(biāo)，即只要把路面在三維空間的平面表達(dá)式給出，求出這條對(duì)應(yīng)直線與路面的交點(diǎn)，就可對(duì)軌跡進(jìn)行表達(dá).因此，式(4)中Z即確定的道路所在的平面，在此其為常數(shù)，則式(4)可轉(zhuǎn)化為

可將不考慮畸變的共線方程轉(zhuǎn)化為

式中，α0～α2，β0～ β2，r1～ γ2都可以通過(guò)之前的參數(shù)求取.但在實(shí)際中，圖像中心點(diǎn)o(xc，yc)與世界坐標(biāo)中心點(diǎn)在圖像上的投影o'(xrc，yrc)由于鏡頭畸變并不重合，如圖1所示.

圖1 成像系統(tǒng)圖

若直接采用共線方程進(jìn)行標(biāo)定則誤差較大，本文在共線方程基礎(chǔ)上引入偏移量，對(duì)該方程進(jìn)行了修正，畸變后的圖像坐標(biāo)為

式中，x，y為共線方程求得的圖像坐標(biāo);f(x)，ε(y)為偏移修正方程.考慮到中心偏移量是由多個(gè)像素的偏移元qx，qy疊加而形成的，因此有

再將式(7)和式(8)代入式(6)，有

考慮到圖像中心與真實(shí)中心在圖像上投影的偏移量為 Δx，Δy，可得

將式(11)代入式(9)得

這樣就將不考慮偏移的共線方程轉(zhuǎn)化為考慮中心偏移問(wèn)題的標(biāo)定方程，且標(biāo)定方法同共線方程類似，只需要在像平面上找到已知世界坐標(biāo)對(duì)應(yīng)的4個(gè)角點(diǎn)和1個(gè)中心點(diǎn)就能求解出相應(yīng)的參數(shù).

3 軌跡標(biāo)定還原及特征表達(dá)對(duì)比實(shí)驗(yàn)

為驗(yàn)證本文標(biāo)定算法的準(zhǔn)確性，對(duì)長(zhǎng)春市某人行道區(qū)域進(jìn)行了前期測(cè)量，再用本文算法及共線方程對(duì)區(qū)域進(jìn)行標(biāo)定并與真實(shí)特征點(diǎn)進(jìn)行對(duì)比，如圖2所示.將利用2種方法獲取的特征點(diǎn)與真實(shí)世界的特征點(diǎn)位置進(jìn)行對(duì)比，從圖2可以直觀看出，本文算法所得到的區(qū)域分割線與各條人行橫道線均較接近，而共線標(biāo)定算法則存在不規(guī)則的偏移，其誤差如表1所示.

圖2 標(biāo)定效果對(duì)比圖

表1 標(biāo)定誤差對(duì)比 m

由圖2和表1可看出，本文提出的標(biāo)定還原算法對(duì)于特征點(diǎn)位置的提取相對(duì)于真實(shí)位置誤差較小，精度高于共線方程，可以較好地對(duì)運(yùn)動(dòng)軌跡進(jìn)行標(biāo)定和還原.之后，本文對(duì)實(shí)際拍攝的交通視頻進(jìn)行了處理，利用前景行人的特征信息對(duì)125組行人軌跡進(jìn)行了提取和跟蹤，部分軌跡的跟蹤效果如圖3所示.

圖3 軌跡跟蹤圖

在軌跡跟蹤的基礎(chǔ)上，利用本文提出的考慮圖像中心偏移的行人軌跡標(biāo)定算法對(duì)行人運(yùn)動(dòng)軌跡進(jìn)行了標(biāo)定，標(biāo)定區(qū)域及效果如圖4所示.

圖4 軌跡標(biāo)定圖

通過(guò)標(biāo)定算法，可將行人運(yùn)動(dòng)軌跡在真實(shí)世界坐標(biāo)下進(jìn)行表達(dá)，并從其中選取8組行人過(guò)街軌跡進(jìn)行分析，對(duì)應(yīng)的軌跡曲線見(jiàn)圖5.再利用本文算法提取行人過(guò)街平均速度，并將獲取的速度分布曲線與人工調(diào)查的分布曲線進(jìn)行對(duì)比，結(jié)果如圖6所示.

由圖6可看出本文算法計(jì)算得到的速度與調(diào)查的速度相似，誤差很小，能夠表征行人過(guò)街的速度特性，可為行人過(guò)街速度的研究提供幫助.再將本文提取的行人運(yùn)動(dòng)軌跡進(jìn)行歸納和分類，并進(jìn)行對(duì)比和分析表達(dá)，如圖7所示.

圖5 真實(shí)軌跡還原圖

圖6 標(biāo)定速度與調(diào)查速度對(duì)比圖

圖7 軌跡特征分類表達(dá)圖

通過(guò)分析對(duì)比上述從視頻中提取的正常過(guò)街和過(guò)街中等待曲線，可看出正常過(guò)街軌跡點(diǎn)不重疊，在本文中，通過(guò)街道的軌跡點(diǎn)數(shù)在25～35之間，平均速度為1.38 m/s;而等待的軌跡其軌跡點(diǎn)會(huì)有重疊部分，軌跡點(diǎn)數(shù)多在45以上，且平均速度小于1 m/s.

4 結(jié)語(yǔ)

本文提出的軌跡提取跟蹤及標(biāo)定算法，為行人運(yùn)動(dòng)行為狀態(tài)表達(dá)與特性分析方法提供了有效的支持.在此基礎(chǔ)上，又對(duì)行人速度及行人運(yùn)動(dòng)軌跡曲線進(jìn)行了研究，驗(yàn)證了本文算法對(duì)速度提取的準(zhǔn)確性.并對(duì)真實(shí)場(chǎng)景中的行人過(guò)街狀態(tài)進(jìn)行了歸納和分類，對(duì)正常通過(guò)行為及通過(guò)中等待行為分別進(jìn)行了研究.但行人行為存在多樣性，因此對(duì)于行人運(yùn)動(dòng)行為的表達(dá)需要進(jìn)一步深入分析.

［1］孫智勇，葛書(shū)芳，榮建，等.行人交通的數(shù)據(jù)采集方法研究［J］.北京工業(yè)大學(xué)學(xué)報(bào)，2006，32(6):530-533.

Sun Zhiyong，Ge Shufang，Rong Jian，et al.Study on pedestrian traffic data collection［J］.Journal of Beijing University of Technology，2006，32(6):530-533.(in Chinese)

［2］ Bernhoft I M，Carstensen G.Preferences and behavior of pedestrians and cyclists by age and gender［J］.Transportation Research Part F，2008，11(2):83-95.

［3］ Zhou R G，Horrey W J，Yu R F.The effect of conformity on pedestrians'road-crossing intentions in China:an application of the theory of planned behaviour［J］.Accident Analysis and Prevention，2009，41(3):491-497.

［4］裴玉龍，馮樹(shù)民.城市行人過(guò)街速度研究［J］.公路交通科技，2006，23(9):104-107.

Pei Yulong，F(xiàn)eng Shumin.Research on design speed of urban pedestrian crossing［J］.Journal of Highway and Transportation Research and Development，2006，23(9):104-107.(in Chinese)

［5］ Hoogendoorn S P，Daamen W，Bovy P H L.Extracting microscopic pedestrian characteristics from video data［C/CD］//TransportationResearchBoardAnnual Meeting.Washington DC:National Academy Press，2003.

［6］Daamen W，Hoogendoorn S P，Bovy P H L.First-order pedestrian traffic flow theory［C/CD］//Transportation Research Board Annual Meeting.Washington DC:National Academy Press，2005.

［7］王阿琴，楊萬(wàn)扣，孫長(zhǎng)銀.基于子圖像的尺度自適應(yīng)mean shift目標(biāo)跟蹤［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2010，40(增刊1):131-135.

Wang Aqin， Yang Wankou， Sun Changyin. Scale adaptable mean shift object tracking based on image fragments［J］.Journal of Southeast University:Natural Science Edition，2010，40(Sup 1):131-135.(in Chinese)

［8］胡宏宇，王殿海，孫迪.基于視頻跟蹤方法的行人過(guò)街狀態(tài)表達(dá)與分析［J］.交通信息與安全，2009，27(3):43-47.

Hu Hongyu，Wang Dianhai，Sun Di.Representation and analysis of pedestrian crossing states based on video tracking［J］.Journal of Transport Information and Safety，2009，27(3):43-47.(in Chinese)

［9］邵春福，李娟，趙熠，等.行人交通的視頻檢測(cè)方法綜述［J］.交通運(yùn)輸系統(tǒng)工程與信息，2008，8(4):23-29.

Shao Chunfu，Li Juan，Zhao Yi，et al.Review of pedestrian traffic data collection method based on video image processing［J］.Journal of Transportation Systems Engineering and Information Technology，2008，8(4):23-29.(in Chinese)

［10］沈濤.基于視頻檢測(cè)的行人交通參數(shù)提取技術(shù)研究［D］.北京:北京交通大學(xué)交通運(yùn)輸學(xué)院，2011.

［11］劉軒.基于圖像處理的行人運(yùn)動(dòng)微觀行為特征實(shí)驗(yàn)研究［D］.合肥:中國(guó)科學(xué)技術(shù)大學(xué)安全技術(shù)及工程學(xué)院，2009.

Pedestrian movement trajectory reappearance and crossing feature expression based on video processing

Jiang Sheng1Wang Dianhai1，2Chen Yongheng1Sun Di1

(1College of Transportation，Jilin University，Changchun 130022，China)
(2College of Civil Engineering and Architecture，Zhejiang University，Hangzhou 310058，China)

According to the trajectory reappearance and feature expression of pedestrian movement，based on video processing，a pedestrian feature extraction and tracking algorithm combining with temporal and spatial context information is proposed.Then the center offset is introduced into the calibration to overcome the shortcomings of the collinear model which does not consider the lens distortion，thus the calibration precision is improved.This algorithm is used to obtain some groups of pedestrian movement parameters and trajectory curve on real video processing.Then the data extracted by this algorithm is compared with both the data calculated through the collinear calibration method and the real data from artificial investigation，in order to verify the accuracy of this algorithm.Finally，several pedestrian crossing behaviors are quantitatively analyzed and the corresponding feature statuses are expressed，which can support the organization and control of pedestrian traffic.

intelligent transportation;video detection;pedestrian behavior;trajectory reappearance;feature expression

TP391;U121

A

1001－0505(2012)06-1233-05

10.3969/j.issn.1001 －0505.2012.06.038

2012-03-16.

江晟(1985—)，男，博士生;陳永恒(聯(lián)系人)，男，博士，副教授，cyhjlu@yahoo.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(51108208)、中國(guó)博士后科學(xué)基金面上資助項(xiàng)目(20110491307)、吉林大學(xué)科學(xué)前沿與交叉學(xué)科創(chuàng)新資助項(xiàng)目(201103146).

江晟，王殿海，陳永恒，等.基于視頻的行人運(yùn)動(dòng)軌跡再現(xiàn)與過(guò)街行為表達(dá)［J］.東南大學(xué)學(xué)報(bào):自然科學(xué)版，2012，42(6):1233-1237.［doi:10.3969/j.issn.1001 －0505.2012.06.038］