楊晨暉,劉守達(dá),王子明,郭義凡,李 輝

(廈門大學(xué)信息科學(xué)與技術(shù)學(xué)院，福建 廈門 361005)

車輛匹配是智能交通系統(tǒng)的重要組成部分,其在停車場(chǎng)智能管理、道路監(jiān)控、高速路自動(dòng)收費(fèi)等方面有著廣泛的應(yīng)用前景．

基于特征的匹配算法按照描述方式的不同,目前主要分為兩大類,一類是用于處理邊緣、角點(diǎn)等局部特征的強(qiáng)特征描述,目前使用最廣泛的是尺度不變特征(SIFT)算法,其主要思想最初是由David Lowe提出[1]．目前已經(jīng)有很多研究人員在SIFT算法的基礎(chǔ)之上對(duì)算法進(jìn)行了改進(jìn)和完善．主要有2004年Ke等[2]提出的PCA-SIFT算法[2];2006年Bay等[3]提出快速SIFT(SURF)算法．2009年Yu提出仿射尺度不變特征變換(ASIFT)算法[4];另一類是以提取自然特征點(diǎn)的方式將特征的匹配轉(zhuǎn)化為多類別分類問題．其中最具代表的是Lepetit等[5]提出的隨機(jī)樹特征匹配算法,將寬基線特征匹配問題轉(zhuǎn)化為分類問題．隨機(jī)樹特征匹配算子不需要強(qiáng)特征描述．將計(jì)算量大的工作轉(zhuǎn)移到訓(xùn)練階段,利用基準(zhǔn)圖像上以穩(wěn)定特征點(diǎn)為中心的鄰域塊作為訓(xùn)練樣本,并用隨機(jī)樹分類器對(duì)其進(jìn)行分類．在線階段則用訓(xùn)練好的分類器對(duì)待匹配圖像上檢測(cè)到的特征點(diǎn)鄰域塊進(jìn)行分類,從而達(dá)到匹配的目的．該類算法需要離線訓(xùn)練,因此限制了其應(yīng)用場(chǎng)景,但是在條件允許其進(jìn)行離線訓(xùn)練的情形下,該類算法在在線運(yùn)行階段能夠快速準(zhǔn)確甚至實(shí)時(shí)地進(jìn)行匹配,因此其也得到了廣泛的應(yīng)用．

本文在前人研究的基礎(chǔ)上,將隨機(jī)蕨引入到車臉匹配領(lǐng)域中．隨機(jī)蕨算法由Lepetit等[6]最早提出,是對(duì)基于隨機(jī)樹算法的進(jìn)一步改進(jìn)．將隨機(jī)樹的層次結(jié)構(gòu)特征改為了非層次結(jié)構(gòu)特征．隨機(jī)蕨將寬基線圖像匹配轉(zhuǎn)化為機(jī)器學(xué)習(xí)技術(shù)問題,將運(yùn)算量較大的特征匹配部分轉(zhuǎn)移到分類器訓(xùn)練中．本文研究基于隨機(jī)蕨的車輛匹配方法,并克服傳統(tǒng)匹配速度慢的特點(diǎn),從而實(shí)現(xiàn)對(duì)車輛準(zhǔn)確、實(shí)時(shí)的匹配．

1 快速車臉定位

車輛大部分顯著特征的“車臉”的概念,即車輛在多尺度、多視角下具有特征不變性的區(qū)域．在交通場(chǎng)景中相對(duì)于復(fù)雜的背景,車輛上的特征點(diǎn)顯得較少,背景上的特征點(diǎn)將很大程度上的干擾到車輛匹配效果,并且使匹配過程更加費(fèi)時(shí)．本章首先對(duì)車輛可疑區(qū)域以及車牌區(qū)域的定位,并在此基礎(chǔ)上,結(jié)合先驗(yàn)知識(shí),很好地對(duì)“車臉”進(jìn)行定位;最后給出了“車臉”的實(shí)驗(yàn)結(jié)果,并對(duì)其進(jìn)行了分析．

1.1 車輛可疑區(qū)域確定

要進(jìn)行車輛區(qū)域確定,可以先通過背景差分將所有非背景的前景目標(biāo)分割出來(lái),然后進(jìn)行閾值化處理,獲得二值化的差分圖,并通過Canny算子獲得車輛的邊緣,最后通有效性分析確定車輛可疑區(qū)域(如圖1)．

圖1 車輛可疑區(qū)域定位流程圖Fig.1 Interest region of vehicle extraction

1.2 快速車牌定位

首先對(duì)圖像進(jìn)行預(yù)處理,主要包括彩色圖像灰度化和圖像局部增強(qiáng)以及豎直邊緣提取和背景曲線與噪聲濾除．本文采用Zheng等[7]提出的三次掃描法濾除背景曲線和噪聲．然后,利用滑動(dòng)窗口法對(duì)車牌進(jìn)行初定位．最后利用水平掃描法[8]對(duì)候選車牌圖像區(qū)域進(jìn)行逐行掃描進(jìn)行細(xì)定位．

圖中，車牌定位結(jié)果用紅色小矩形標(biāo)出，車輛可疑區(qū)域用綠色矩形標(biāo)出.結(jié)合車牌定位和車輛可疑區(qū)域定位結(jié)果，得到車輛位置，使用紅色矩形標(biāo)出.圖2 車臉定位結(jié)果Fig.2 Cars face location

1.3 車臉定位

設(shè)檢測(cè)到的車輛區(qū)域的左右邊界離車牌的左右邊界的距離分別為l1和l2,則取車臉的左右邊界分別為min(l1,l2)加上車牌的左右邊界．同時(shí)考慮到車輛可疑區(qū)域提取時(shí)在邊緣提取時(shí)可能會(huì)使車輛的真實(shí)區(qū)域內(nèi)縮,因此將獲取的車臉的左右邊界向兩邊擴(kuò)展1/4個(gè)車牌寬度(如圖2).

2 基于隨機(jī)蕨的實(shí)時(shí)車輛匹配

為了能對(duì)提取特征點(diǎn)進(jìn)行快速匹配,采用同隨機(jī)樹特征匹配算法[6]類似的基于隨機(jī)蕨的特征匹配算法,將寬基線圖像匹配轉(zhuǎn)化為機(jī)器學(xué)習(xí)技術(shù)問題將運(yùn)算量較大的特征匹配部分轉(zhuǎn)移到分類器訓(xùn)練中．離線階段,建立并訓(xùn)練隨機(jī)蕨分類器,在線階段,將檢測(cè)到的特征點(diǎn)進(jìn)行分類,獲取粗匹配結(jié)果,然后用改進(jìn)的順序抽樣一致性(PROSAC)算法去除誤匹配．并通過實(shí)驗(yàn)說(shuō)明,本文的算法能夠很好地進(jìn)行實(shí)時(shí)車輛匹配．

2.1 快速多尺度特征點(diǎn)提取

車輛圖片平坦部分較多,導(dǎo)致特征點(diǎn)數(shù)目較少,同時(shí)為了使檢測(cè)到的特征點(diǎn)具有尺度不變性,建立多尺度金字塔,分別對(duì)每個(gè)尺度尋找其顯著特征點(diǎn)．這樣即能使檢測(cè)到的特征點(diǎn)滿足尺度不變的特性,又能解決車輛區(qū)域較平坦、檢測(cè)到的特征點(diǎn)較少的缺點(diǎn)．同時(shí)其算法運(yùn)行時(shí)間也不會(huì)提升很大,還是能夠很好地滿足實(shí)時(shí)的要求．對(duì)不同尺寸的多幅圖片進(jìn)行實(shí)驗(yàn)，得到實(shí)驗(yàn)結(jié)果如表1.

表1 多尺度耗時(shí)分析Tab.1 Multi-scale time-consuming analysis

2.2 隨機(jī)蕨算法

隨機(jī)蕨算法由Lepetit等[6]最早提出,是對(duì)基于隨機(jī)樹算法的進(jìn)一步改進(jìn)．將隨機(jī)樹的層次結(jié)構(gòu)特征改為非層次結(jié)構(gòu)特征,如圖3所示,將隨機(jī)樹的每層結(jié)點(diǎn)選取相同的決策,則樹結(jié)構(gòu)可以轉(zhuǎn)化為結(jié)構(gòu)相對(duì)單一的蕨結(jié)構(gòu)．

圖3 隨機(jī)蕨結(jié)構(gòu)Fig.3 The structure of random ferns

基于隨機(jī)蕨的樸素貝葉斯分類器的基本思想和基于隨機(jī)樹的特征識(shí)別匹配類似,可以把基準(zhǔn)圖像描述為H個(gè)顯著特征點(diǎn),并為這H個(gè)顯著的特征點(diǎn)建立一個(gè)數(shù)據(jù)集K={k1,…,kH},同時(shí)將每個(gè)特征點(diǎn)k及以其為中心的鄰域塊p(k)可能出現(xiàn)的各種形式作為一類ci,i=1,…,H．在運(yùn)行階段,對(duì)輸入圖像每個(gè)特征點(diǎn)kinput及以其為中心的鄰域塊p(kinput),判斷它是否屬于H個(gè)特征點(diǎn)中的一個(gè)類ci．

設(shè)fj,j=1,…,N為特征點(diǎn)鄰域塊p(kinput)產(chǎn)生的二元特征集,令p(kinput)的尺寸為L(zhǎng)×L(一般取L=32),則fj取決于鄰域塊p(kinput)中在隨機(jī)生成的兩像素位置dj1和dj2的灰度值Idj1和Idj2的大小,這些隨機(jī)位置在分類器訓(xùn)練時(shí)生成,并用在離線訓(xùn)練與在線運(yùn)行階段,即

(1)

p(kinput)所屬的類別可以定義為

(2)

式中C表示類別,式(2)可由貝葉斯公式轉(zhuǎn)化為

P(C=ci|f1,f2,…，fN)=

(3)

因?yàn)橄闰?yàn)概率P(C)為均勻分布,且公式(3)分母部分與類別無(wú)關(guān),所以式(2)可以化為

(4)

由于fj之間的獨(dú)立性,

(5)

為了降低存儲(chǔ)量并保證fj之間的相關(guān)性,用半樸素貝葉斯分類器來(lái)代替樸素貝葉斯分類器．將fj分為M組,每組包含S=N/M個(gè)二元特征,在半樸素貝葉斯模型下,可以認(rèn)為不同組的二元特征之間相互獨(dú)立,而同組內(nèi)二元特征之間具有相關(guān)性，同時(shí)可以將這些組定義為蕨特征．則公式(3)中可以轉(zhuǎn)化為

(6)

式中Fm=[fσ(m,1),fσ(m,2),…，fσ(m,S)],m=1,…,M表示第m個(gè)蕨,fσ(m,j)表示范圍為1,…,N的隨機(jī)數(shù)．由此可知p(kinput)的所屬類別為

(7)

2.3 訓(xùn) 練

對(duì)基準(zhǔn)圖像進(jìn)行一系列的操作來(lái)合成虛擬的特征圖像樣本集合．可以在基準(zhǔn)圖像I0上提取特征點(diǎn)及其周圍(32×32)像素的鄰域塊,對(duì)其進(jìn)行仿射變換獲得訓(xùn)練集Btrain．

隨機(jī)產(chǎn)生Ntotal幅虛擬圖像,并將這些圖像Ii中檢測(cè)到的特征點(diǎn)對(duì)應(yīng)到基準(zhǔn)圖像I0中,并記錄特征點(diǎn)k在虛擬圖像中被檢測(cè)到的次數(shù),即可求得特征點(diǎn)k的被檢測(cè)概率為

(8)

式中Ndetected為特征點(diǎn)k在虛擬圖像中被檢測(cè)到的次數(shù)．因此,可以取概率P(k)最高的H個(gè)特征點(diǎn)作為基準(zhǔn)圖像的穩(wěn)定特征點(diǎn),并將其作為分類器的初始類進(jìn)行分類訓(xùn)練,即各特征點(diǎn)及其鄰域塊所屬的類為ci,i=1,…,H,實(shí)驗(yàn)中取H=400．

由以上兩步,可以求得訓(xùn)練圖像Btrain和分類器的初始類ci之后,對(duì)每個(gè)訓(xùn)練圖像在L×L(取L=32)范圍內(nèi),按照隨機(jī)選取M×S(M=30,S=12)對(duì)像素位置dj1和dj2．對(duì)每個(gè)初始類ci根據(jù)這M×S對(duì)隨機(jī)位置上像素點(diǎn)的灰度值由式(1)計(jì)算類ci的M個(gè)隨機(jī)蕨中S個(gè)二元特征fi的值,并根據(jù)這個(gè)值計(jì)算出式(7)中的每個(gè)隨機(jī)蕨Fm和類ci的類條件概率P(Fm|C=ci)．

2.4 在線特征點(diǎn)檢測(cè)與匹配

在線檢測(cè)階段我們首先用快速多尺度特征點(diǎn)提取的方法提取前景車輛的特征點(diǎn)．由于檢測(cè)到的特征點(diǎn)不再用在分類器的建立上,非車輛上的特征點(diǎn)也可以快速的用分類器進(jìn)行分類匹配．因此在線檢測(cè)階段不用進(jìn)行車臉定位,而只要對(duì)背景差分提取的前景車輛進(jìn)行檢測(cè)即可．

2.5 改進(jìn)的PROSAC誤匹配特征對(duì)的剔除

確定了要配準(zhǔn)的2幅圖像的對(duì)應(yīng)點(diǎn)后,利用這些對(duì)應(yīng)點(diǎn)對(duì),以1幅圖像為參考,求解出2幅圖像之間的幾何變換矩陣H的參數(shù),并由此來(lái)去除誤匹配．為此可以采用隨機(jī)抽樣一致性(RANSAC)算法來(lái)去除誤匹配．然而,當(dāng)誤匹配特征對(duì)的數(shù)目在總的匹配特征對(duì)中所占的比例過大時(shí),RANSAC算法不能很好地處理這種情況．由于隨機(jī)蕨的圖像匹配算法沒有直接對(duì)誤匹配對(duì)去除的策略,在2幅圖像間差距較大時(shí),誤匹配對(duì)占總匹配對(duì)的比例可能會(huì)較大,所以在此時(shí)會(huì)失效．

可以采用PROSAC算法來(lái)進(jìn)行模型擬合,剔除誤匹配特征對(duì),PROSAC算法由Chum等[9]于2005年提出,該方法優(yōu)先從高品質(zhì)方程的數(shù)據(jù)子集中抽取樣本,即選取那些屬于正確匹配概率高的樣本,有利于迭代過程的快速收斂,能夠很好地應(yīng)對(duì)誤匹配所占總匹配比例較大時(shí)的情形．

而在內(nèi)點(diǎn)集合的應(yīng)用上,由于PROSAC算法在初期就能迅速找到全部由內(nèi)點(diǎn)組成的樣本，所以我們可以對(duì)PROSAC算法進(jìn)行改進(jìn),交替從內(nèi)點(diǎn)集中和有序的樣本集中選擇樣本點(diǎn)．改進(jìn)的PROSAC算法如下:

t=0,n=m,n*=N重復(fù),直到找到解:

1) 選擇假定的集合

如果n

2) 大小為m的半隨機(jī)樣本Mt

交替進(jìn)行(i),(ii)：

(i)a從Bik(當(dāng)前內(nèi)點(diǎn)集合)中隨機(jī)選擇大小為m的隨機(jī)樣本，

(ii)b隨機(jī)從Un中選取m個(gè)點(diǎn)；

3) 模型參數(shù)估計(jì)

從樣本Mt中計(jì)算模型參數(shù)pt；

4) 模型驗(yàn)證

找到參數(shù)為pt的模型的支持(例如一致的數(shù)據(jù)點(diǎn)),如果支持?jǐn)?shù)目大于當(dāng)前最大支持?jǐn)?shù),則更新當(dāng)前所得內(nèi)點(diǎn)集合Bik.

對(duì)下面2幅圖進(jìn)行匹配并比較結(jié)果,其中實(shí)驗(yàn)時(shí)最大迭代次數(shù)為1 500次,并且當(dāng)內(nèi)點(diǎn)集中的個(gè)數(shù)大于50時(shí)則退出循環(huán)，實(shí)驗(yàn)結(jié)果如圖4所示.

圖4 粗匹配結(jié)果Fig.4 Initial match result

與RANSAC和PROSAC對(duì)比,結(jié)果如表2和表3所示.

表2 誤匹配較多時(shí)，各算法比較Tab.2 More mismatch situation,comparison of the algorithm

注：運(yùn)行程序100次取平均值.

由實(shí)驗(yàn)可知,改進(jìn)后的PROSAC能夠很好的處理誤匹配點(diǎn)較多,和較少時(shí)的情形,能夠減少迭代次數(shù),從而減少運(yùn)行時(shí)間．

表3 誤匹配較少時(shí)，各算法比較Tab.3 Less mismatch situation, comparison of the algorithms

注：運(yùn)行程序100次取平均值.

3 實(shí)驗(yàn)結(jié)果與分析

首先對(duì)一段含有339幀的視頻進(jìn)行測(cè)試,每幀圖片的大小為600×800像素，匹配結(jié)果為264幀匹配成功，75幀匹配失敗.在DEBUG模式下耗時(shí)26 487 ms,平均每次匹配耗時(shí)78.13 ms，其中每幀檢測(cè)特征點(diǎn)耗時(shí)平均為34.56 ms,匹配時(shí)間為43.57 ms；在RELEASE模式下耗時(shí)10 698 ms,平均每次匹配耗時(shí)31.56 ms，其中每幀檢測(cè)特征點(diǎn)耗時(shí)平均為18.23 ms,匹配時(shí)間為13.33 ms．分析可知,我們的匹配可以達(dá)到實(shí)時(shí)的要求．接著在尺寸、角度、光照、遮擋、噪聲等干擾情況下對(duì)本文的算法與SIFT進(jìn)行比較．為了公平,在SIFT算法進(jìn)行匹配時(shí)將“車臉”區(qū)域提前截取出來(lái),作為基準(zhǔn)圖像,同時(shí)將算法總耗時(shí)減去基準(zhǔn)圖像檢測(cè)特征點(diǎn)的時(shí)間作為SIFT的匹配時(shí)間，實(shí)驗(yàn)結(jié)果如圖5和表4所示.

左邊圖像是使用SIFT匹配的結(jié)果，右邊是使用本文算法匹配結(jié)果.從上到下，分別是在不同的尺度、角度、光照、遮擋、高斯噪聲、椒鹽噪聲條件下的比較.圖5 匹配結(jié)果對(duì)比Fig.5 Comparison of matches

通過以上實(shí)驗(yàn)說(shuō)明,本文算法在保證實(shí)時(shí)處理車輛匹配的同時(shí),能夠很好地處理尺寸、角度、亮度變化,以及遮擋、噪聲等影響．在檢測(cè)到的匹配對(duì)和SIFT差不多的同時(shí),誤匹配較少,匹配正確率接近100%．在時(shí)間上、性能上都比SIFT算法有大幅度提高．

4 結(jié) 論

本文結(jié)合車輛區(qū)域定位與車牌快速定位來(lái)對(duì)包含車輛大部分顯著特征的“車臉”區(qū)域進(jìn)行定位．用隨機(jī)蕨思想將車輛匹配問題轉(zhuǎn)化為分類問題,將運(yùn)算量大的部分轉(zhuǎn)移到分類器訓(xùn)練過程中．同時(shí)結(jié)合車輛圖片的特征,引入多尺度的概念,提出了一種快速多尺度特征點(diǎn)檢測(cè)算法．離線訓(xùn)練階段,產(chǎn)生大量的虛擬圖對(duì)分類器進(jìn)行訓(xùn)練,在線運(yùn)行階段檢測(cè)特征點(diǎn)并將這些特征點(diǎn)所在的區(qū)域塊放到分類器中進(jìn)行快速分類,產(chǎn)生初始匹配．對(duì)誤匹配的特征點(diǎn)進(jìn)行精確匹配時(shí),分析了RANSAC策略的不足,應(yīng)用改進(jìn)的PROSAC對(duì)隨機(jī)蕨匹配算法獲取的匹配對(duì)進(jìn)行精確匹配．

表4 本文算法與SIFT算法對(duì)比結(jié)果Tab.4 Comparison between SIFT and the algorithm of this paper

實(shí)驗(yàn)結(jié)果表明,基于隨機(jī)蕨的車輛匹配能夠快速實(shí)時(shí)地進(jìn)行匹配,同時(shí)能夠很好地應(yīng)對(duì)車輛尺度變化、角度變化、亮度變化、遮擋、鏡頭畸變以及復(fù)雜的交通環(huán)境等挑戰(zhàn)．

本文旨在實(shí)現(xiàn)車輛的實(shí)時(shí)匹配,結(jié)合車輛區(qū)域定位與車牌定位來(lái)實(shí)現(xiàn)“車臉”定位,同時(shí)引入隨機(jī)蕨的思想將車輛匹配問題轉(zhuǎn)化為特征點(diǎn)所在區(qū)域的分類問題,雖然能夠?qū)囕v進(jìn)行實(shí)時(shí)匹配,但仍然存在著一些不足和需要改進(jìn)的地方,需要進(jìn)一步的完善和提高:

1) 本文的隨機(jī)蕨分類器是建立在“車臉”特征點(diǎn)之上的,提取的“車臉”區(qū)域的準(zhǔn)確性,將直接影響著后面的匹配效果．因此如何快速準(zhǔn)確的提取“車臉”區(qū)域,還需要進(jìn)一步的研究．

2) 離線訓(xùn)練階段需要生產(chǎn)大量的虛擬圖像進(jìn)行穩(wěn)定特征點(diǎn)查找和分類器的建立,因此需要大量的計(jì)算．然而由于虛擬圖像之間、隨機(jī)蕨之間的相互獨(dú)立,可以利用多核編程來(lái)降低離線訓(xùn)練時(shí)間,提高運(yùn)算效率．

3) 本文的車輛匹配不能很好地處理同品牌同型號(hào)的車輛．當(dāng)兩輛車是同一品牌同一型號(hào)時(shí),單靠本文匹配方法不能很好地進(jìn)行區(qū)分,需要車牌識(shí)別進(jìn)行輔助．

4) 匹配依賴于分類器的分類結(jié)果,缺少誤匹配去除機(jī)制,在誤匹配很多時(shí),可能會(huì)產(chǎn)生匹配失敗的情形．因此如何快速有效地去除誤匹配將是今后研究工作的重點(diǎn)．

[1] Lowe D G.Object recognition from local scale-invariant features[C]∥Computer Vision,1999.The Proceedings of the Seventh IEEE International Conference on.Kerkyra：IEEE，1999：1150-1157.

[2] Ke Y，Sukthankar R.PCA-SIFT:a more distinctive representation for local image descriptors[C]∥Proceedings of IEEE International Conference on Computer Vision and Pattern Recognition.Washington：IEEE，2004：511-517.

[3] Bay H，Tuytelaars T，Gool L V.SURF:speeded up robust features[C]∥Computer Vision-ECCV 2006.Berlin：Springer-Verlag，2006：404-417.

[4] Morel J M，Yu G S.ASIFT:a new framework for fully affine invariant image comparison[J].Society for Industrial and Applied Mathematics Journal on Image Sciences，2009，2(2)：438-469.

[5] Lepetit V，F(xiàn)ua P.Keypoint recognition using randomized tree[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28(9)：1465-1479.

[6] Ozuysal M，Calonder M，Lepeti V.Fast keypoint recognition using random ferns [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(3)：448-461.

[7] Zheng D N，Zhao Y N，Wang J X.An efficient method of license plate location[J].Pattern Recognition Letters，2005，26(15)：2431-2438.

[8] Parisi R，Di Claudio E D，Lucarelli G，et al.Car plate recognition by neural networks and image processing[C]∥Proceedings of the 1998 IEEE International Symposium on Circuits and Systems.Monterey,CA：IEEE，1998：195-198.

[9] Chum O，Matas J.Matching with PROSAC-progressive sample consensus[C]∥Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,CA：IEEE,2005：220-226.