劉加運,李玉恵,李 勃,嚴 明

(1.昆明理工大學(xué) 信息工程與自動化學(xué)院,云南 昆明 650500;2.云南省智能交通系統(tǒng)工程技術(shù)研究中心 智能圖像處理研究室,云南 昆明 650224)

一種多維特征融合的車輛對象同一性匹配方法

劉加運1,2,李玉恵1,2,李 勃1,2,嚴 明1,2

(1.昆明理工大學(xué) 信息工程與自動化學(xué)院,云南 昆明 650500;2.云南省智能交通系統(tǒng)工程技術(shù)研究中心 智能圖像處理研究室,云南 昆明 650224)

基于圖像的車輛匹配是圖像匹配在智能交通領(lǐng)域內(nèi)的具體應(yīng)用。為了實現(xiàn)車輛對象的快速匹配，文中提出一種多維特征融合的車輛對象同一性匹配方法。該方法分為兩個階段進行。第一階段先對車輛對象進行初步篩選，提取車輛對象的顏色特征和車型進行快速匹配，計算特征向量的歐氏距離，排除最不可能相似的車輛對象；第二階段根據(jù)攝像頭物理條件及視頻編碼格式對車輛的局部特征、感知哈希特征進行加權(quán)多比較，進行車輛的同一性精細化匹配。這樣第一階段匹配完成后，第二階段簡化為只在車輛大類內(nèi)匹配，縮小了匹配范圍。實驗結(jié)果表明，該方法能夠有效縮小車輛匹配范圍，匹配到最有可能和目標車輛是同一車輛的準確率較高。

特征融合；同一性；圖像匹配；局部特征；感知哈希特征

1 概 述

隨著社會的不斷發(fā)展，交通環(huán)境變得日益復(fù)雜。目前，交通監(jiān)管部門對違法車輛的處罰主要是通過車牌識別系統(tǒng)對違法車輛在道路卡口進行拍照取證，進行事后法律責(zé)任追究工作。但是，部分路口沒有高清攝像頭，或者監(jiān)控視頻質(zhì)量較低難以達到車牌識別的要求，另外還有部分駕駛員不掛車牌或?qū)嚺七M行遮擋來逃避處罰，這些情況加大了交通監(jiān)管部門的執(zhí)法難度。因此，基于圖像的車輛匹配方法就成為智能交通系統(tǒng)中必不可少的組成部分。

基于圖像的車輛匹配是圖像匹配在智能交通領(lǐng)域內(nèi)的具體應(yīng)用，國內(nèi)外研究人員將圖像匹配的方法應(yīng)用到車輛匹配，已取得一定成果。例如，Hsu Chao-Yung等[1]提出改進的SIFT(Scale Invariant Feature Transform)算法，該算法利用尺度不變特征進行匹配，準確率較高。但是該方法計算量較大，匹配結(jié)果對圖像的質(zhì)量要求較高，實時性較差。Yan Bo等[2]提出了一種基于3D模型的車輛匹配方法。該方法提取車輛的形狀大小及角度，對車輛全身進行匹配。這種方法無法專注于車身的特定區(qū)域，難以區(qū)分過于相似的車輛對象。這些方法使用的是一維特征進行車輛匹配，難以全面描述車輛全身特征，對道路交通復(fù)雜環(huán)境下視頻中的車輛匹配效果不盡如人意。

顏色特征是圖像最直觀而明顯的特征，具有一定的穩(wěn)定性，對噪聲、圖像大小、方向和分辨率等的變化具有很好的魯棒性[3]。目前對車輛顏色識別主要有兩種方式：對車輛整體顏色進行識別及提取車輛感興趣區(qū)域(Region Of Interest，ROI)進行顏色識別。例如Wu Y T等[4]通過對圖像進行分割獲取目標車輛，再刪除干擾區(qū)域獲得目標車輛顏色最明顯區(qū)域，接著使用支持向量機(Support Vector Machine，SVM)對車輛進行分類，進而識別車輛顏色。但是該方法識別黑、銀、綠三種顏色正確率較低。

車型是刻畫車輛對象的基本特征之一，用車型特征進行車輛對象的同一性匹配可以提高匹配的效率和準確性。一般來說，考慮到人類的視覺感知，從圖像處理層面上，可以將車輛分為大型車、中型車、小型車三種類型。例如戴光明等[5]使用彈性松弛袋算法提取視頻關(guān)鍵幀，從而提取目標車輛的車長特征，獲得車型識別。但是該方法提取關(guān)鍵幀時建立的背景含有噪點，且無法避免反向車道車輛的影響。

車輛的局部特征是指圖像中不受視角變化、旋轉(zhuǎn)變換、尺度變換等影響的特征。由于文中的工作以視頻為基礎(chǔ)，且智能交通系統(tǒng)在不同監(jiān)控點安裝的攝像頭高度、角度也不盡相同，使用局部特征對車輛進行匹配可以避免這些客觀因素的影響。蔡佳等[6]對SURF(Speeded Up Robust Features)算法進行改進，能實時提取圖像中均勻分布且更具健壯性的特征點，算法復(fù)雜度低、實時性強。感知哈希算法對圖像的低頻特征(如顏色、紋理等)進行比較，可以避免圖像的壓縮、噪聲、旋轉(zhuǎn)等影響，提高車輛匹配的準確率和效率。孫銳等[7]提出一種基于SIFT和主成分分析(Principal Components Analysis，PCA)的感知哈希方法，使用哈希歸一化相關(guān)值來確定圖像間的相似度，對圖像旋轉(zhuǎn)、光照變化、圖像濾波具有較好的穩(wěn)健性。

由于車輛圖像本身包含豐富的信息，使用一維特征對兩個車輛對象進行匹配往往缺少足夠的區(qū)分信息，效果不理想?；谝陨涎芯?，文中提出一種融合車輛對象的顏色、車型、局部特征、感知哈希特征的匹配方法。由于文中的工作主要是在“大數(shù)據(jù)”視頻資源中對車輛對象進行匹配，對實時性有一定要求。因此，該方法分為兩個階段進行。第一階段對車輛對象進行初步篩選，提取車輛對象的顏色特征和車型特征，計算特征向量的歐氏距離，排除最不可能相似的車輛對象。文中在圖像的顏色特征提取方面，利用文獻[4]的方法提取車輛明顯區(qū)域，再遍歷每個像素在HSV顏色空間分量上的值，最終確定顏色特征。在車型特征提取方面，對文獻[5]提取關(guān)鍵幀的方法進行改進，從而提取目標車輛的車長特征，獲得車型識別。第二階段根據(jù)攝像頭物理條件及視頻編碼格式對局部特征和感知哈希特征進行加權(quán)多比較，輸出匹配結(jié)果。這樣第一階段匹配完成后，第二階段簡化為只在車輛大類內(nèi)匹配，縮小了匹配范圍，提高了匹配效率。通過兩階段的匹配，可以縮小目標車輛的匹配范圍，為交通監(jiān)管部門快速檢索目標車輛提供幫助。

2 特征提取

2.1 顏色特征

根據(jù)公安部的機動車輛顏色分類標準，車輛顏色根據(jù)基色可以分為十種。提取車輛明顯區(qū)域后，根據(jù)不同車輛的顏色分布，遍歷每個像素在顏色分量上的H,S,V值。

由式(1)計算所有像素所屬的最大值即為車輛的顏色特征。

Fcolor=f(H,S,V)=

(1)

2.2 車型特征

為了準確提取運動車輛對象的關(guān)鍵幀，對彈性松弛袋算法[5]進行如下改進：

(1)為避免監(jiān)控視頻中字幕等干擾因素的影響，對視頻進行感興趣區(qū)域劃分；

(2)為避免視頻中反向車道內(nèi)車輛的影響，在視頻感興趣區(qū)域、所研究車道中車輛特征最為明顯的范圍內(nèi)，建立一條與道路方向垂直的直線，即虛擬線，如圖1所示。

圖1 視頻中的虛擬線

文中采用最小二乘擬合算法擬合出車輛對象的最小外接矩形及車輛質(zhì)心坐標O(x,y)，并計算車輛的質(zhì)心坐標到虛擬線直線方程l:Mx+Ny+Q=0的距離。若質(zhì)心坐標在該直線方程上，則將此幀作為車輛對象的關(guān)鍵幀。再提取目標車輛的車長特征C，由文獻[5]的車輛輪廓周長提取方法及文獻[8]的車型統(tǒng)計方法，經(jīng)過統(tǒng)計得到如式(2)判斷車型的數(shù)學(xué)描述。

(2)

2.3 局部特征

車輛的局部特征是指圖像中不受視角變化、旋轉(zhuǎn)變換、尺度變換影響的特征。SIFT是一種魯棒性好且具有尺度不變性的特征點檢測方法，但算法復(fù)雜度高、實時性較差。SURF算法是對SIFT算法的改進[9]，以查找高斯差分金字塔圖像的極大值來尋找特征關(guān)鍵點位置，算法速度遠快于SIFT且更加穩(wěn)定。

SURF構(gòu)造的金字塔圖像采用的是DOG圖像，圖像中某個像素點的Hessian矩陣行列式為[10]：

(3)

由于尺度的不同，極值點與極值點之間的距離會很大。為了保持穩(wěn)定性、精確關(guān)鍵點的位置，需要進行插值運算，如式(4)所示。

(4)

接著確定每個關(guān)鍵點的主方向，以保證旋轉(zhuǎn)不變性。建立特征向量描述子后，即獲得了關(guān)鍵點的位置和尺寸，如圖2每個圓圈代表關(guān)鍵點，圓圈中心為關(guān)鍵點位置，圓圈大小為關(guān)鍵點尺寸。

2.4 感知哈希特征

感知哈希算法PHash(Perceptual Hash)是將圖像中的結(jié)構(gòu)、明暗等特征通過變換轉(zhuǎn)為64級灰度，通過每個像素的灰度與平均值比較構(gòu)成可比較的64位字符串指紋，然后用漢明距離度量法進行相似性比較[11]。感知哈希算法利用圖像的低頻特征(如顏色、紋理等)進行比較，可以避免圖像的壓縮、噪聲、旋轉(zhuǎn)等的影響。

圖2 車輛對象的SURF局部特征

提取感知哈希特征方法如下：

(1)縮小圖像尺寸。使用高斯核快速去除高頻特征及細節(jié)，得到8*8像素圖像，只保留結(jié)構(gòu)、明暗信息，摒棄不同尺度的影響。

(2)簡化色彩。將圖像轉(zhuǎn)換為64級灰度圖像，即只含64種顏色。

(3)計算灰度平均值。對圖像進行離散DCT變換，計算8*8像素的灰度平均值：

(5)

(4)比較像素的灰度。將每個像素的灰度與計算得到的灰度平均值進行比較，如果灰度值大于或等于平均值，則設(shè)置該維為1，反之為0。

(5)計算哈希值。將比較結(jié)果組合在一起(組合方式不限定)，構(gòu)成64位整數(shù)，則為該圖像的指紋。

(6)對比圖像指紋。使用漢明距離度量法比較兩圖的距離(經(jīng)過實驗統(tǒng)計，兩圖相似的距離為22)，得到歸一化的感知哈希特征相似度距離SimPHash'(p,i)。

感知哈希算法直接提取圖像的低頻信息，沒有環(huán)境及復(fù)雜背景的影響，匹配效率大大提高，且算法復(fù)雜度低[12]。

3 特征融合

顏色和車型特征側(cè)重于對車輛整體的描述，局部特征側(cè)重于車輛對象的關(guān)鍵點描述，感知哈希特征側(cè)重于車輛對象的低頻特征。如果僅僅使用一種特征進行車輛對象的同一性匹配，對圖像的描述維度低，準確度不高。車輛對象間的同一性匹配是復(fù)雜對象間的比較，文中將使用復(fù)雜對象分解的相似性度量思想進行特征融合。

由于上文提取的特征物理意義完全不同，且各特征對應(yīng)的相似度取值范圍也不同，若進行直接匹配則會出現(xiàn)偏差，因此需要對其進行歸一化操作。高斯歸一化方法[13]是一種實用的歸一化方法，其特點是少量超大或超小的元素值對整個歸一化后元素值的分布影響較小。以下需要對車輛對象的顏色特征、車型特征、局部特征進行歸一化，感知哈希特征已在上文進行歸一化。

3.1 特征歸一化

使用歐氏距離計算兩個車輛對象顏色特征的距離。令Hp(k)和Hi(k)分別為目標車輛和待測車輛的顏色特征。取H(黑色)=1，H(灰色)=2，H(白色)=3，H(紅色)=4，H(橙色)=5，H(黃色)=6，H(綠色)=7，H(青色)=8，H(藍色)=9，H(紫色)=10。取H(大型車)=1，H(中型車)=2，H(小型車)=3。則目標車輛p和待測車輛i的顏色特征、車型特征的歐氏距離為：

(6)

歸一化的顏色特征、車型特征相似度距離如式(7)，即完成顏色特征與車型特征在[0,1]區(qū)間內(nèi)的歸一化。

(7)

3.2 尺度歸一化

使用SURF算法提取車輛對象的局部特征后，即得到一些關(guān)鍵點。以兩個車輛對象關(guān)鍵點之間的歐氏距離作為局部特征匹配的相似度準則。令兩個車輛對象關(guān)鍵點分別為Keyp和Keyi，則目標車輛p和待測車輛i的局部特征歐氏距離為：

(8)

使用基于k-d樹的近似最近鄰搜索算法(BBF)在歐氏空間中尋找各特征向量的最近鄰和次近鄰[14]。如尋找距離目標車輛的一個關(guān)鍵點p最近和次近的待測車輛的關(guān)鍵點i'和i''，再計算p與i'和p與i''之間歐氏距離的比值。如果比值小于閾值(文中取0.45)，則匹配成功，記(p,i')為一對匹配點，否則記匹配失敗。

令Op與Oi分別為提取到目標車輛圖像及待測車輛圖像的局部特征點數(shù)，使用BBF算法匹配成功的個數(shù)為OMatched，則目標車輛圖像及待測車輛圖像的相似度如式(9)，歸一化后的局部特征相似度距離如式(10)。

(9)

(10)

3.3 特征融合

文中提出的方法分為兩個階段進行。第一階段對車輛對象進行初步篩選，提取車輛對象的顏色特征和車型特征，比較顏色相似度距離和車型相似度距離。只有當Simc'(p,i)<2&&Simt'(p,i)<1時，兩車輛對象才有可能相似。再對局部特征和感知哈希特征進行加權(quán)多比較，如式(11)所示。

SimAll(p,i)=λSimk'(p,i)+(1- λ)SimPHash'(p,i) λ∈[0,1]

(11)

其中：λ為局部特征的權(quán)重；(1-λ)為感知哈希特征的權(quán)重。

一般情況下，默認將兩種特征平均分配，各占0.5權(quán)重，然后根據(jù)視頻拍攝高度、角度及視頻編碼格式的變化調(diào)整權(quán)重的比例，如果視頻的拍攝角度不同，則加大局部特征的權(quán)重。這樣就可以對車輛匹配動態(tài)調(diào)整權(quán)重，以反映不同特征的不同重要性。最后根據(jù)待測車輛序列內(nèi)車輛對象的相似度大小找出最相似的車輛。

4 同一性匹配算法

綜上所述，提出多維特征融合的車輛對象同一性匹配算法的總過程：

(1)參照顏色特征和車型特征提取方法，分別提取目標車輛和待測車輛的顏色特征和車型特征，按式(7)計算出顏色相似度距離和車型相似度距離。只有當Simc'(p,i)<2&&Simt'(p,i)<1時，進行步驟2，否則認為匹配失敗。

(2)參照局部特征和感知哈希特征提取方法，分別提取目標車輛和待測車輛的局部特征和感知哈希特征，按式(10)計算出局部特征相似度距離Simk'(p,i)和感知哈希特征相似度距離SimPHash'(p,i)。

(3)對局部特征和感知哈希特征進行加權(quán)多比較，按照公式(11)求出兩幅圖像最終的相似度SimAll(p,i)。

(4)同一性判定。根據(jù)目標車輛和待測車輛的總相似度，SimAll(p,i)值越大，則認為此待測車輛越有可能和目標車輛是同一車輛。

5 實驗與分析

實驗數(shù)據(jù)來自交警總隊高速公路兩個監(jiān)控點12小時內(nèi)的監(jiān)控視頻，它們具有不同的拍攝視角及視頻壓縮格式。用文中提出的方法對該視頻進行關(guān)鍵幀提取，獲得兩組車輛圖像。

從第一組車輛圖像中隨機選取100個作為目標車輛，分別與第二組隨機選取的300張圖像進行匹配，找到最有可能相似的車輛對象，并與局部特征匹配法、感知哈希特征匹配法進行比較。實驗如圖3所示，匹配結(jié)果見表1。

圖3 實驗車輛對象

車輛對象顏色車型局部特征匹配感知哈希特征匹配文中方法1紅色-0.310.37-2灰色30.480.4420.4613白色10.2880.32-4灰色30.640.570.6095白色20.3620.518-

由表1可見，使用局部特征匹配法和感知哈希特征匹配法對此組實驗也能較好地匹配出正確車輛，但是每個車輛對象的最高相似度值所使用的匹配方法不同，車輛對象4的局部特征匹配結(jié)果比感知哈希特征匹配結(jié)果大，特征融合時如果平均分配權(quán)重，得到的最后相似度會比局部特征的匹配值小。通過對照片所對應(yīng)視頻的分析，發(fā)現(xiàn)車輛對象4對應(yīng)的視頻拍攝高度、角度比視頻編碼格式更具影響作用，因此特征融合時不是簡單1:1融合，需要加大局部特征的權(quán)重，且對同一視頻監(jiān)控點的所有視頻關(guān)鍵幀的車輛對象使用同一權(quán)重比例系數(shù)，以保證匹配結(jié)果的準確性。

通過實驗，一般情況下，局部特征加權(quán)取值0.5～0.55，哈希特征加權(quán)取值0.45～0.5。將匹配結(jié)果與實際結(jié)果相比，四種結(jié)果如表2所示。

表2 匹配結(jié)果表述

使用準確率來衡量匹配成功或失敗的準確性，用查準率來判斷所有匹配成功中實際正確的比例。由于查準率的大小與實驗樣本有關(guān)，且實驗的數(shù)據(jù)量較大，因此也可作為一個衡量指標。即準確率=(Q1+Q4)/(Q1+Q2+Q3+Q4)，查準率=Q1/(Q1+Q3)。

表3 匹配結(jié)果性能比較

由表3可見，使用文中方法進行車輛對象同一性匹配的準確率和查準率都較高。因為文中方法第一階段對車輛對象進行初步篩選，排除了顏色、車型差距很大的對象；在第二階段對車輛對象進行精細化匹配(不同情況下用不同權(quán)重)。雖然使用另外兩種方法對實驗數(shù)據(jù)進行匹配也取得了較好的效果，但是根據(jù)實驗數(shù)據(jù)的特點對兩種特征進行加權(quán)多比較會得到更高的準確率。綜合對比，文中提出的方法匹配效率更高、準確率更高。

6 結(jié)束語

針對車輛對象同一性匹配問題，文中提出一種多維特征融合的匹配方法。實驗結(jié)果表明，該方法相比于采用一維特征的匹配方法，能有效縮小目標車輛的匹配范圍，匹配到最有可能和目標車輛是同一車輛的準確率較高。但文中所討論的方法僅涉及對車輛匹配的研究，在實際應(yīng)用中還需要建立“高速公路道路卡口模型庫”。下一步研究工作主要是根據(jù)所建立的“高速公路道路卡口模型庫”中的道路及監(jiān)控設(shè)備特點，自適應(yīng)調(diào)節(jié)多維特征加權(quán)比較的權(quán)重比例。

[1]HsuCY，KangLiwei,LiaoHYM．Cross-cameravehicletrackingviaaffineinvariantobjectmatchingforvideoforensicsapplications[C]//ProcofIEEEinternationalconferenceonmultimediaandexpo．SanJose,CA:IEEE,2013:1-6.

[2]YanBo，WangShengjin，ChenYoubin，etal．Deformable3-DmodelbasedvehiclematchingwithweightedHausdorffandEDAintrafficsurveillance[C]//Procofinternationalconferenceonimageanalysisandsignalprocessing．[s.l.]:[s.n.],2010：22-27.

[3]HanJ,MaKK.Fuzzycolorhistogramanditsuseincolorimageretrieval[J].IEEETransactionsonImageProgressing,2002,11(8):944-952.

[4]WuYT,KaoJH,ShihMY.Avehiclecolorclassificationmethodforvideosurveillancesystemconcerningmodel-basedbackgroundsubtraction[C]//ProcofPCM2010.Berlin:Springer,2010:369-380.

[5] 戴光明,張全元,包建全.一種車型特征提取的新算法[J].武漢大學(xué)學(xué)報:信息科學(xué)版,2009,34(10):1155-1158.

[6] 蔡 佳,黃攀峰.基于改進SURF和P-KLT算法的特征點實時跟蹤方法研究[J].航空學(xué)報,2013,34(5):1204-1214.

[7] 孫 銳,閆曉星,高 雋.基于SIFT和PCA的圖像感知哈希方法[J].電路與系統(tǒng)學(xué)報,2013,18(1):274-278.

[8] 李世林.基于視頻的道路交通參數(shù)提取方法研究[D].重慶:重慶大學(xué),2014.

[9] 李宏榮,李曉明.基于SIFT,PCA-SIFT和SURF特征檢測方法的研究[J].太原師范學(xué)院學(xué)報:自然科學(xué)版,2012,11(3):74-76.

[10] 劉瑞禎,于仕琪.OpenCV教程—基礎(chǔ)篇[M].北京:北京航空航天大學(xué)出版社,2007.

[11] 牛夏牧,焦玉華.感知哈希綜述[J].電子學(xué)報,2008,36(7):1405-1411.

[12] 曾 勇.圖像感知哈希算法及應(yīng)用[D].杭州:浙江理工大學(xué),2012.

[13]NastarC，MitschkeM，MeihacC．Efficientqueryrefinementforimageretrieval[C]//ProceedingsofIEEEcomputersocietyconferenceoncomputervisionandpatternrecognition．SantaBarbara，California：IEEEComputerSociety，1998：547-552．

[14]ZhanHongliang，ZhongDi．Aschemeforvisualfeaturebasedimageretrieval[C]//ProcofSPIE.Shanghai：[s.n.]，2010：369-380．

A Vehicle Object Identity Matching Method of Multidimensional Feature Combination

LIU Jia-yun1,2,LI Yu-hui1,2,LI Bo1,2,YAN Ming1,2

(1.Faculty of Information Engineering and Automation,Kunming University of Science and Technology, Kunming 650500,China; 2.Intelligent Image Processing Lab,Yunnan Intelligent Transportation System Engineering Technology Research Center,Kunming 650224,China)

Vehicles based on image matching is image matching in the specific application in the field of intelligent transportation.In order to achieve quick matching for vehicle object,a method of vehicle object identity matching based on multidimensional feature combination is proposed.This method can be divided into two stages.First,the vehicle object is carried on the preliminary selection,extracting color features and models for fast matching,calculating the Euclidean distance of feature vector to exclude the impossible similar vehicles.Then,according to the physical condition of camera and video coding format,the local features of the vehicle and perceptual hash features are compared to complete the vehicle’s identity matching.After completion of the first phase matching,the second phase is simplified to only within the vehicle types match,narrowing the scope of the match.The experimental results show that this method can effectively reduce the vehicle matching range,and match to the most likely to be the same as target vehicle with high accuracy.

feature combination;identity;image matching;local feature;perceptual hash feature

2015-09-01

2015-12-07

時間：2016-03-22

國家自然科學(xué)基金資助項目(61363043)

劉加運(1990-)，男，碩士研究生，研究方向為智能計算與圖像處理；李玉惠，教授，研究方向為數(shù)字水印、圖像處理；李 勃，教授，研究方向為圖像處理與智能計算。

http://www.cnki.net/kcms/detail/61.1450.TP.20160322.1522.100.html

TP391

A

1673-629X(2016)04-0167-05

10.3969/j.issn.1673-629X.2016.04.037