于子凡*

（武漢大學(xué)遙感信息工程學(xué)，湖北武漢，430079）

一種基于監(jiān)控視頻的車(chē)速測(cè)量方法

于子凡*

（武漢大學(xué)遙感信息工程學(xué)，湖北武漢，430079）

本文提出了一種模版匹配用于道路實(shí)時(shí)平均車(chē)速測(cè)量的方法，其特點(diǎn)是：不再進(jìn)行復(fù)雜的運(yùn)動(dòng)目標(biāo)檢查與跟蹤，不受光照、氣候、車(chē)輛差異等外部條件變化影響。介紹了該方法的原理、計(jì)算方法和必要的外部條件，并用交通監(jiān)控視頻驗(yàn)證了該方法的有效性。

交通監(jiān)控視頻；車(chē)速測(cè)量；模版匹配

引言

及時(shí)提供城市各道路實(shí)時(shí)車(chē)速，可以方便司機(jī)做出道路選擇，總體上有利于整個(gè)城市交通均衡，提高城市信息化和服務(wù)水平。前提是實(shí)時(shí)測(cè)量車(chē)速。測(cè)量車(chē)速方法可以分為三類(lèi)[1-3]：基于地感線(xiàn)圈，基于聲、光、電、磁感應(yīng)器，基于監(jiān)控視頻。前兩類(lèi)方法需要加裝設(shè)備，實(shí)施起來(lái)投入巨大?；谝曨l的方法利用現(xiàn)有的城市交通視頻監(jiān)控系統(tǒng)，既節(jié)省了設(shè)備投資，又挖掘了現(xiàn)有設(shè)備的潛力，因此研究的焦點(diǎn)逐漸集中于基于監(jiān)控視頻的方法。

基于視頻測(cè)量車(chē)速常見(jiàn)方法是在視頻中取出一定時(shí)間間隔的圖像幀，在它們中提取出同一移動(dòng)目標(biāo)，測(cè)量它們的位移量。童劍軍[4]以車(chē)燈為目標(biāo)計(jì)算車(chē)速，但攝像場(chǎng)景限定為一個(gè)車(chē)道寬度。徐偉[5]以檢測(cè)與跟蹤圖像中汽車(chē)的Harris角點(diǎn)計(jì)算車(chē)速，但實(shí)驗(yàn)場(chǎng)景中只有一輛汽車(chē)，當(dāng)場(chǎng)景中汽車(chē)數(shù)量增加、光照條件變化，都可能影響特征點(diǎn)的匹配與跟蹤。高浩軍[6]以整輛車(chē)為目標(biāo)計(jì)算車(chē)速，但攝像機(jī)安放在與汽車(chē)行進(jìn)方向水平垂直位置，與道路交通監(jiān)控?cái)z像頭有較大差異。提取和分割運(yùn)動(dòng)目標(biāo)的這類(lèi)算法很容易受到光照、霧霾等時(shí)間、氣候因素的影響，為了消除這些影響，又要設(shè)計(jì)出大量的處理方法[7]，增加了計(jì)算復(fù)雜度。

如果以提供車(chē)輛實(shí)時(shí)流速為目的，不必采用復(fù)雜的目標(biāo)跟蹤，特定目標(biāo)的速度不代表群體的速度，而且各種車(chē)輛和環(huán)境因素的巨大差異給算法帶來(lái)的困難很難克服。倒是采用的方法必須適應(yīng)不同光照條件、不同氣候條件、不同車(chē)輛數(shù)量的差異帶來(lái)的變化。

本文基于這樣一個(gè)情況：成像時(shí)間間隔很短的兩幀影像，光照環(huán)境條件相同，背景部分幾乎沒(méi)有變化，有變化的部分只是由于目標(biāo)移動(dòng)造成的，并且移動(dòng)目標(biāo)位移量不大，大部分目標(biāo)都能在兩幀影像上出現(xiàn)。本文的思路是將一幅影像分成大小相同的模板，將所有的模板在另一幅影像上進(jìn)行模板匹配，找到匹配點(diǎn)。只要模板大小設(shè)計(jì)合適，不論場(chǎng)景中車(chē)輛的類(lèi)型、數(shù)量有多么不同，都不影響模板匹配的總體效果。每一對(duì)匹配點(diǎn)計(jì)算一個(gè)速度值，所有匹配對(duì)的速度平均值作為該道路的實(shí)時(shí)車(chē)速。

1 時(shí)序影像獲取方法

視頻是一系列等時(shí)間間隔獲取的圖像幀組合起來(lái)的。不同格式的視頻文件組織數(shù)據(jù)的方式不同，必須根據(jù)視頻文件的數(shù)據(jù)結(jié)構(gòu)，獲得需要的圖像幀。本文試驗(yàn)視頻從常用前景檢測(cè)數(shù)據(jù)庫(kù)[8]中選取的視頻 highwayII-raw.avi，利用OpenCV開(kāi)源軟件提供的函數(shù)cvQueryFrame從視頻中提取時(shí)間間隔為0.12秒的圖像幀。從highwayII-raw.avi視頻中提取出來(lái)的是24比特彩色BMP影像，為了減小計(jì)算量，將它們轉(zhuǎn)化為8比特灰度圖像，轉(zhuǎn)化的方法是將每個(gè)像素的紅綠藍(lán)三個(gè)分量取平均值作為該像素的灰度值。處理完畢的兩幅影像如圖1所示，它們的尺度為320x240。20x240

圖1 序列影像中時(shí)間間隔為0.12秒的兩幅影像

2 影像動(dòng)目標(biāo)位移信息獲取

即將左邊影像劃分成一系列 32x32大小的模板，每次用一個(gè)模板在右邊影像上邊移動(dòng)邊計(jì)算匹配相關(guān)系數(shù)，計(jì)算公式如下[8]：

其中，xi代表模板像素值，代表整個(gè)模板像素均值；yi代表模板覆蓋影像像素值，代表模板覆蓋區(qū)域影像像素均值。隨著模板移動(dòng)，每個(gè)模板對(duì)應(yīng)一系列相關(guān)系數(shù)。取相關(guān)系數(shù)最大位置為最佳模板匹配位置，每個(gè)模板都可以在右影像中找到一個(gè)最佳匹配位置。模板在左影像中的位置與右影像中的最佳匹配位置形成一對(duì)匹配點(diǎn)。為了直觀(guān)顯示，將每一對(duì)匹配點(diǎn)用直線(xiàn)連接，并剔除線(xiàn)段長(zhǎng)度小于3的匹配結(jié)果，得到的模板匹配結(jié)果如圖2所示：

圖2 模板匹配結(jié)果

對(duì)比圖1，可以看到有錯(cuò)誤匹配結(jié)果。產(chǎn)生原因：一是模板與自身的匹配。完全由背景組成模板，沒(méi)有運(yùn)動(dòng)目標(biāo)干擾，與自身的匹配系數(shù)很容易達(dá)到最高。不需要這種匹配結(jié)果，通過(guò)剔除匹配線(xiàn)段長(zhǎng)度小于3可以消除。圖2中已經(jīng)經(jīng)過(guò)這種處理。二是出現(xiàn)張冠李戴匹配結(jié)果，原因是背景和目標(biāo)的相似性。圖2中較長(zhǎng)的線(xiàn)和方向差異太大的線(xiàn)就是錯(cuò)誤的匹配結(jié)果?？梢栽谟?jì)算速度過(guò)程中通過(guò)設(shè)置差異閾值加以剔除。

3 速度計(jì)算方法

3.1 動(dòng)目標(biāo)實(shí)際位移計(jì)算方法

計(jì)算速度，要將影像上的位移換算成實(shí)際路面上的移動(dòng)距離，要完成像點(diǎn)到物點(diǎn)的坐標(biāo)轉(zhuǎn)換。本文關(guān)心的是目標(biāo)實(shí)際移動(dòng)距離，建立的坐標(biāo)系以方便計(jì)算為主要考量。以影像左下角作為像片坐標(biāo)原點(diǎn)、水平向右為X軸、垂直向上為Y軸建立像片坐標(biāo)系。假設(shè)公路路面為一個(gè)平面，在這個(gè)平面上建立路面坐標(biāo)系：坐標(biāo)系原點(diǎn)為攝像頭對(duì)該平面的垂直投影點(diǎn)，以公路向前方為Y軸，以公路橫截線(xiàn)向右為 X軸。需要根據(jù)一些已知條件，建立這兩個(gè)坐標(biāo)系的變換關(guān)系。

這是平面到平面的透視投影變換關(guān)系，可以用簡(jiǎn)化的三點(diǎn)共線(xiàn)方程表示，公式如下[9]：

其中，（x,y）為像點(diǎn)坐標(biāo)，（X,Y）為像點(diǎn)（x,y）對(duì)應(yīng)的路面點(diǎn)坐標(biāo)。在變換公式中存在a11,a12,a13,a21,a22,a23,a31,a32一共8個(gè)未知變量需要求解。由于除了監(jiān)控視頻文件外，缺乏內(nèi)外方位元素和監(jiān)控場(chǎng)景等一切相關(guān)信息，只能通過(guò)估計(jì)至少4個(gè)參考點(diǎn)一些點(diǎn)坐標(biāo)的方式獲得這8個(gè)參數(shù)。

觀(guān)察圖1影像，場(chǎng)景主要由4車(chē)道公路路面和右側(cè)硬路肩組成，路面坐標(biāo)Y軸基本處于右側(cè)硬路肩1/3分界線(xiàn)上。根據(jù)《公路工程技術(shù)標(biāo)準(zhǔn)(JTG B01-2014)》，可以獲得公路和車(chē)輛的基本參數(shù)。高速公里車(chē)道寬度為3.75米，右側(cè)硬路肩寬度為3米，高速公路監(jiān)控立桿高度為6.5米。場(chǎng)景中出現(xiàn)最多的轎車(chē)一般具有如下尺度：車(chē)寬約1.8米，車(chē)高1.4米，長(zhǎng)度范圍4.6～5.3米。選4個(gè)參考點(diǎn)如圖1左像片圓圈所示，它們的路面坐標(biāo)需要通過(guò)觀(guān)察估算出來(lái)。觀(guān)察圖1像片，像片底線(xiàn)對(duì)應(yīng)的路面直線(xiàn)與路面坐標(biāo)系X軸平行，監(jiān)測(cè)像片底線(xiàn)處監(jiān)測(cè)俯角約為30度，因此這條直線(xiàn)與X軸的距離估計(jì)為6.5/tg30°≈10.2米。在這些數(shù)據(jù)基礎(chǔ)上，考慮場(chǎng)景中汽車(chē)的長(zhǎng)度和間距，參考點(diǎn)的像點(diǎn)坐標(biāo)和對(duì)應(yīng)點(diǎn)在路面坐標(biāo)系中的估計(jì)坐標(biāo)如表1所示。

表1 設(shè)定的密應(yīng)點(diǎn)坐標(biāo)

將公式（2）變形，得到公式（3）

將表1中四個(gè)參考點(diǎn)的對(duì)應(yīng)坐標(biāo)代入公式3，得到8個(gè)方程。用矩陣表示：

其中，A是8x8常數(shù)矩陣，B為8個(gè)常數(shù)組成的列向量，X是8個(gè)未知系數(shù)組成的列向量，即X=[a11a12a13a21a22a23a31a32]T。由公式4可以計(jì)算出8個(gè)未知系數(shù)：

至此，可以使用公式3完成從像片坐標(biāo)系到路面坐標(biāo)系的坐標(biāo)轉(zhuǎn)換。

利用公式3，將圖2中線(xiàn)段端點(diǎn)坐標(biāo)變換到路面坐標(biāo)系中，并計(jì)算線(xiàn)段長(zhǎng)度，并轉(zhuǎn)化為時(shí)速。表2是圖2中有效匹配模塊的坐標(biāo)變換和速度計(jì)算結(jié)果。

表2 匹配模塊計(jì)算速度

3.2 錯(cuò)誤速度剔除

正常情況下，移動(dòng)目標(biāo)速度的大小和方向很接近。表2數(shù)據(jù)表明，錯(cuò)誤匹配計(jì)算的速度在大小和方向上與多數(shù)情況有較大差距，可以利用它，排除錯(cuò)誤匹配。錯(cuò)誤匹配結(jié)果的數(shù)量無(wú)法事先估計(jì)，采用一次剔除一個(gè)的方式。具體方法是先求所有值的平均值，再去掉與平均值差異最大的那一個(gè)，并循環(huán)這個(gè)過(guò)程，直到個(gè)體值與平均值小于閾值為止。順序是，先用方向值，再用速度大小值。閾值采用經(jīng)驗(yàn)值，方向值的閾值是正負(fù)30°，速度大小值的閾值是平均值的正負(fù)20%。圖3顯示了剔除處理后的匹配結(jié)果，計(jì)算的平均速度為81.3公里/小時(shí)。

圖3 匹配結(jié)果處理前后密比圖

3.3 汽車(chē)高度密汽車(chē)位置的影響

公式2反映的是平面對(duì)平面的透視變換關(guān)系。但汽車(chē)是有高度的，影像中的汽車(chē)并不是位于平面中，而是在平面之上，其關(guān)系如圖4所示。

圖中C是視點(diǎn)，它的高度是H，CA是視線(xiàn)。沿著該視線(xiàn)，認(rèn)為看到的是A點(diǎn)，據(jù)此測(cè)出的表明其位置的長(zhǎng)度是OA。實(shí)際上，由于高度h的影響，沿該視線(xiàn)看到的是B點(diǎn)，它的對(duì)應(yīng)位置B’，OB’才是汽車(chē)距離原點(diǎn)的精確位置。由圖可以很容易求出：

即根據(jù)公式2計(jì)算的理論長(zhǎng)度需要乘上一個(gè)系數(shù)1-h/H就能修正高度h造成的影響。考慮到路面坐標(biāo)系的原點(diǎn)就設(shè)置在該圖中的 O點(diǎn)之處，汽車(chē)實(shí)際坐標(biāo)值、乃至最終計(jì)算出的速度值只需要乘上系數(shù)1-h/H就得到修正。

前面已經(jīng)介紹，高速公路攝像頭高度H為6.5米，汽車(chē)的高度h則取決于汽車(chē)車(chē)型，它是根據(jù)通過(guò)的車(chē)型不斷變化的。考慮到公路上大多數(shù)車(chē)輛為轎車(chē)，就以轎車(chē)的高度1.4米確定h值。這樣，剛才計(jì)算的81.3公里/小時(shí)就修正為64.2公里/小時(shí)。

4 實(shí)驗(yàn)

理論上，將上述過(guò)程結(jié)合起來(lái)，采用如下循環(huán)：系統(tǒng)設(shè)置一個(gè)計(jì)時(shí)器以獲取當(dāng)前準(zhǔn)確時(shí)刻，取當(dāng)前時(shí)刻的兩幀圖像?模板匹配?匹配結(jié)果轉(zhuǎn)換到路面坐標(biāo)系?剔除不合理匹配結(jié)果?計(jì)算并顯示平均速度，就能實(shí)現(xiàn)道路實(shí)時(shí)車(chē)速監(jiān)控。但試驗(yàn)中發(fā)現(xiàn)模板匹配時(shí)間太長(zhǎng)，需要約90秒。如果以這么長(zhǎng)的時(shí)間間隔給出車(chē)速信息，實(shí)時(shí)車(chē)速名不副實(shí)。上述模板匹配實(shí)驗(yàn)中，在整個(gè)影像范圍內(nèi)尋找匹配點(diǎn)。大部分汽車(chē)都在某個(gè)速度上限以下，且只沿道路方向運(yùn)動(dòng)。根據(jù)影像中道路方向的變化范圍，將匹配搜索點(diǎn)限制在以模板為起點(diǎn)的一個(gè)扇形范圍內(nèi)，如圖5所示。根據(jù)圖1所示的匹配狀況，確定匹配范圍的虛框定為50x50。具體地，如果模板的左下角坐標(biāo)為（x,y），則匹配搜索范圍為左下角（x-20,y）、右上角為（x+30,y+50）的窗口范圍內(nèi)。經(jīng)過(guò)這樣的處理，匹配時(shí)間大幅縮短，能夠以5秒的間隔提供公路車(chē)速信息。

圖5 模板匹配搜索苝圍

5 結(jié)束語(yǔ)

此方案只適合于攝像頭靜止不動(dòng)的情況。如果攝像頭有任何方向的轉(zhuǎn)動(dòng)，表1所示的對(duì)應(yīng)點(diǎn)的像點(diǎn)坐標(biāo)必然發(fā)生變化，從而導(dǎo)致映射關(guān)系發(fā)生變化。表1中控制點(diǎn)的坐標(biāo)依靠觀(guān)察圖像進(jìn)行估計(jì)，既不準(zhǔn)確，也不便于實(shí)際操作。如果事先為每個(gè)攝像頭建立路面坐標(biāo)系，在攝像視場(chǎng)中布設(shè)若干個(gè)明顯的反光標(biāo)志點(diǎn)，并測(cè)量出它們?cè)诼访孀鴺?biāo)系中的坐標(biāo)值并存儲(chǔ)在控制攝像頭的計(jì)算機(jī)系統(tǒng)中，則計(jì)算機(jī)系統(tǒng)能夠根據(jù)地物標(biāo)志點(diǎn)在影像中的位置，自動(dòng)解算建立透視投影變換關(guān)系，以上兩個(gè)問(wèn)題就可以迎刃而解。但這需要事先做大量的基礎(chǔ)工作。

本文限于條件，實(shí)驗(yàn)基于視頻文件，而視頻文件是事先錄制的，已經(jīng)失去了實(shí)時(shí)性。要實(shí)現(xiàn)實(shí)時(shí)性，需要直接采用攝像頭提供的視頻流提取時(shí)序影像。這在技術(shù)上不存在問(wèn)題，但毫無(wú)疑問(wèn)，還需要在實(shí)驗(yàn)中解決新出現(xiàn)的問(wèn)題。

[1]王翔,肖建力. 基于視頻的交通參數(shù)檢測(cè)綜述[J]. 上海理工大學(xué)學(xué)報(bào),2016,(38)： 5,479-486.

[2]徐楊,吳成東,陳東岳. 基于視頻圖像的交通事件自動(dòng)檢測(cè)算法綜述[J]. 計(jì)算機(jī)應(yīng)用研究,2011,28(4)： 1206-1210.

[3]湯淑明,王坤峰,李元濤. 基于視頻的交通事件自動(dòng)檢測(cè)技術(shù)綜述[J]. 公路交通科技,2006,23(8)： 116-121.

[4]童劍軍,鄒明福. 基于監(jiān)控視頻圖像的車(chē)輛測(cè)速[J]. 中國(guó)圖象圖形學(xué)報(bào),2005,10(2),192-196.

[5]徐偉,王朔中. 基于視頻圖像Harris角點(diǎn)檢測(cè)的車(chē)輛測(cè)速[J]. 中國(guó)圖象圖形學(xué)報(bào),2006,11 (11)： 1650-1652.

[6]高浩軍,杜宇人. 基于視頻序列圖像的車(chē)輛測(cè)速研究[J]. 電子測(cè)量技術(shù),2007,30(2)： 42-49.

[7]王圣男,郁梅,蔣剛毅. 智能交通系統(tǒng)中基于視頻圖像處理的車(chē)輛檢測(cè)與跟蹤方法綜述[J]. 計(jì)算機(jī)應(yīng)用研究,2005,(9)： 9-14.

[8]賈永紅. 數(shù)字圖像處理(第三版)[M]. 武漢： 武漢大學(xué)出版社,2015.

[9]寧津生,陳俊勇,李德仁,等. 測(cè)繪學(xué)概論(第二版)[M]. 武漢： 武漢大學(xué)出版社,2008.

A Method of Video-Based Traffic Speed Detection

YU Zifan*
(Remote Sensing Information Engineering,Wuhan University,Hubei Wuhan,430079,China)

This paper proposes a template matching method for real-time road average speed measurement,its characteristics are： no moving target inspection and tracking complex,is not affected by the change of illumination,climate and other external conditions affect the difference of vehicle. The principle,calculation method and necessary external conditions of the method are introduced,and the effectiveness of the method is verified by traffic surveillance video.

traffic surveillance video; speed measurement; template matching

TP393

A

1672-9129(2017)06-0153-043

10.19551/j.cnki.issn1672-9129.2017.06.054

于子凡. 一種基于監(jiān)控視頻的車(chē)速測(cè)量方法[J]. 數(shù)碼設(shè)計(jì),2017,6(6)： 153-155.

Cite：YU Zifan. A Method of Video-Based Traffic Speed Detection[J]. Peak Data Science,2017,6(6)： 153-155.

2017-02-05；

2017-03-17。

于子凡（1963-），男，湖南瀏陽(yáng)，副教授，博士研究生，研究方向：地理信息工程。

Email：yuzifan2012@whu.edu.cn