孫 寧，秦洪懋，張 利，葛如海

基于多傳感器信息融合的車輛目標(biāo)識別方法?

孫 寧1，秦洪懋2，張 利3，葛如海1

(1.江蘇大學(xué)汽車與交通工程學(xué)院，鎮(zhèn)江 212013； 2.北京航空航天大學(xué)，車路協(xié)同與安全控制重點(diǎn)實(shí)驗(yàn)室，北京 100191；3.東風(fēng)商用車技術(shù)中心，武漢 430056)

鑒于傳統(tǒng)車輛避撞系統(tǒng)中，因采用單一傳感器進(jìn)行目標(biāo)識別，在感知范圍、識別準(zhǔn)確性等方面存在的固有缺陷，本文中提出了一種基于雷達(dá)與機(jī)器視覺信息融合的目標(biāo)識別方法。該方法獲取目標(biāo)序列后，在目標(biāo)級融合方法的基礎(chǔ)上，引入馬氏距離進(jìn)行觀測值匹配。再應(yīng)用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)(JPDA)算法進(jìn)行數(shù)據(jù)融合，建立系統(tǒng)觀測模型與狀態(tài)模型，從而實(shí)現(xiàn)了基于信息融合的目標(biāo)識別。試驗(yàn)驗(yàn)證結(jié)果表明，該方法基于雷達(dá)與攝像頭數(shù)據(jù)，可實(shí)現(xiàn)目標(biāo)的準(zhǔn)確識別與定位，其工程適應(yīng)面更廣。

車輛識別；信息融合；狀態(tài)估計(jì)；觀測模型

前言

據(jù)有關(guān)統(tǒng)計(jì)[1]，交通事故中57%與車輛追尾碰撞有關(guān)。因此，車輛碰撞預(yù)警方法的研究以及相應(yīng)系統(tǒng)的開發(fā)對減少交通事故、改善道路交通安全具有重大意義。

近年來，國內(nèi)外學(xué)者從不同角度提出了各種不同的車輛碰撞預(yù)警方法和系統(tǒng)[2-4]，目前已經(jīng)應(yīng)用于工程領(lǐng)域的車輛避撞方法和系統(tǒng)一般是通過機(jī)器視覺或雷達(dá)識別出前方障礙物，然后進(jìn)行避撞決策，最后將決策結(jié)果輸出到執(zhí)行器或預(yù)警人機(jī)接口(human machine interface，HMI)。但無論是雷達(dá)還是攝像頭都有自身缺陷，都會受到各種不利環(huán)境因素影響，導(dǎo)致在特定的場景中，目標(biāo)識別的能力大大減弱[5]。因此，上述車輛避撞方法和系統(tǒng)，因受單傳感器的感知能力制約，都存在一定的缺陷，不能在實(shí)際全工況場景中，有效避免車輛碰撞。據(jù)此，本文中將毫米波雷達(dá)與攝像頭信息進(jìn)行融合，提出一種車輛目標(biāo)識別方法。

1 總體設(shè)計(jì)

目前國內(nèi)學(xué)者從不同角度出發(fā)，對信息融合的方法進(jìn)行了劃分[6-7]。其中被廣泛應(yīng)用的是將信息融合分為“數(shù)據(jù)級融合方法”與“目標(biāo)級融合方法”。

數(shù)據(jù)級融合方法基本的思路是：利用攝像頭等傳感器探測到的目標(biāo)位置，迅速確定圖像上的“感興趣區(qū)域”(region of interest，ROI)，然后調(diào)用圖像算法對該區(qū)域進(jìn)行檢測，確定區(qū)域內(nèi)是否含有車輛。這類方法的主要目的是加速圖像的識別過程，提高系統(tǒng)的實(shí)時(shí)性[8]。

目標(biāo)級融合方法基本的思路是：單傳感器先獨(dú)立分別給出各自的判斷結(jié)果，即目標(biāo)序列。采用融合算法對這些結(jié)果進(jìn)行綜合判斷，將算法認(rèn)為有效的結(jié)果作為輸出結(jié)果。與數(shù)據(jù)級融合方法相比，目標(biāo)級融合方法能更有效地發(fā)揮出傳感器的識別技術(shù)優(yōu)勢，系統(tǒng)魯棒性更強(qiáng)[9]。

因此，本文中采用“目標(biāo)級”融合方法。具體的實(shí)現(xiàn)方法是：由攝像頭與雷達(dá)各自完成目標(biāo)的檢測，然后進(jìn)行數(shù)據(jù)融合，實(shí)現(xiàn)準(zhǔn)確的目標(biāo)識別。在車輛控制系統(tǒng)中的具體硬件框架如圖1所示。

圖1 信息融合系統(tǒng)硬件框架

首先雷達(dá)通過自身的信號處理解析出多個(gè)可能的目標(biāo)，獲得其位置和速度信息。在此基礎(chǔ)上，結(jié)合攝像頭模塊所提供的目標(biāo)位置和速度信息，對所有原始目標(biāo)進(jìn)行一一匹配和觀測值的融合，進(jìn)行目標(biāo)跟蹤與維護(hù)，同時(shí)處理邊界情況(目標(biāo)的出現(xiàn)和消失)。最終的融合結(jié)果被發(fā)送到CAN總線上，為車輛避撞功能模塊的決策提供信息依據(jù)。

2 信息融合方法

該融合方法的前提條件是，雷達(dá)和攝像頭能提供有效目標(biāo)序列。具體而言，雷達(dá)可提供目標(biāo)的位置與縱向速度信息(x，y，vy)，攝像頭的圖像處理算法可以提供目標(biāo)的位置、尺寸和類型信息(x，y，width，type)。兩個(gè)目標(biāo)序列經(jīng)過融合后，輸出完整的位置、寬度和類型信息(x，y，width，type，quality)。融合系統(tǒng)的輸入輸出關(guān)系如圖2所示。

圖2 融合系統(tǒng)I/O

需要說明的是，完整的車輛識別功能包括兩部分：即每一個(gè)周期內(nèi)對目標(biāo)的識別和對上一幀檢測到的目標(biāo)的跟蹤。跟蹤的目的就是維護(hù)有效的“目標(biāo)車輛庫”，為信息融合算法提供最終的目標(biāo)序列[10]。因此這是完整的車輛識別與跟蹤的基礎(chǔ)，也是該融合方法的前提條件[11]。

本文中融合方法在獲得了雷達(dá)與攝像頭兩方面的目標(biāo)序列后，解決以下3個(gè)問題。

(1)觀測值匹配問題 將本周期新識別到的目標(biāo)與跟蹤目標(biāo)相匹配。圖3中展示了雷達(dá)和攝像頭對目標(biāo)探測誤差的特點(diǎn)：雷達(dá)在目標(biāo)縱向距離上探測精度較高，但橫向探測誤差較大。攝像頭則恰好相反。因此每一周期獲得的雷達(dá)相對于攝像頭目標(biāo)是有偏離的，需要一種有效的手段來確認(rèn)雷達(dá)和攝像頭的哪些觀測值由同一輛車產(chǎn)生，然后進(jìn)行融合。

圖3 雷達(dá)與攝像頭測量誤差示意圖

(2)數(shù)據(jù)融合問題 確認(rèn)兩個(gè)分別來自雷達(dá)和攝像頭的觀測值對應(yīng)著同一個(gè)車輛目標(biāo)后，融合兩者給出最終結(jié)果。圖4示出雷達(dá)與攝像頭識別結(jié)果的融合概率。由圖4可知，以目標(biāo)橫向距離探測為例，兩個(gè)傳感器有各自的觀測值分布。理論上，這兩個(gè)分布有著相同的平均值，但是由于傳感器特性的不同，它們有不同的方差，分布曲線也不盡相同[12]。融合算法需要從兩種傳感器的特性出發(fā)，綜合兩條分布曲線得到融合結(jié)果的概率分布。通?？芍庇^地認(rèn)為融合結(jié)果應(yīng)該介于兩個(gè)觀測值之間，如圖3中外橢圓區(qū)域I所示。

圖4 雷達(dá)與視覺識別結(jié)果的融合概率

(3)維護(hù)有效目標(biāo)庫 每一周期可能會有新目標(biāo)出現(xiàn)和舊目標(biāo)的消失。對于沒有新觀測值的目標(biāo)，需要從跟蹤序列中刪除。對于新的觀測值，需要建立一個(gè)新目標(biāo)來初始化跟蹤。

3 信息融合算法設(shè)計(jì)與實(shí)現(xiàn)

3.1 基于馬氏距離的觀測值匹配

馬氏距離是印度統(tǒng)計(jì)學(xué)家提出的計(jì)算兩點(diǎn)間協(xié)方差距離的方法[13]。定義預(yù)測值與觀測值的馬氏距離為

式中：zi為本周期第 i個(gè)目標(biāo)觀測值；zk｜k-1為基于前k-1時(shí)刻的本周期的目標(biāo)預(yù)測值；Sk為兩個(gè)樣本間的協(xié)方差矩陣，它的第m行第n列元素定義為兩個(gè)樣本第m和第n個(gè)元素的協(xié)方差。

滿足條件的觀測值的集合為

式中：z為觀測值集合中的元素，若一觀測值在式(2)所定義的區(qū)域中，則認(rèn)為它是有效的；C為限定閾值，一般 C取3時(shí)，有效觀測值都會包含在區(qū)域中。

而如上節(jié)所述，本文中的信息融合方法首先需要解決的是觀測值匹配問題。

其數(shù)學(xué)描述為

式中：{xk，k＝ 0，1，2，…}是離散時(shí)間的狀態(tài)向量序列。uk-1為已知的控制輸入(對車輛目標(biāo)的追蹤中并沒有控制輸入)。 {vk，k＝0，1，2，…}是一個(gè)獨(dú)立于其他變量，且滿足正態(tài)分布的系統(tǒng)噪聲。

圖5示出了與式(1)數(shù)據(jù)關(guān)聯(lián)的場景。在某一時(shí)刻(第k步)得到了基于前k-1步信息的預(yù)測值z＾k｜k-1和一系列本周期的觀測值。本文中采用馬氏距離的方法來匹配雷達(dá)與攝像頭的觀測值，需確定觀測值的具體來源。

圖5 數(shù)據(jù)關(guān)聯(lián)問題示意圖

本文中的融合算法定義：當(dāng)C＝3時(shí)，有效觀測值都會包含在式(2)描述的區(qū)域中。

3.2 基于JPDA數(shù)據(jù)融合模型

如上節(jié)所述，觀測值匹配之后，下一步是對它們進(jìn)行有效融合。本文中采用JPDA(joint probability data association)方法進(jìn)行數(shù)據(jù)融合[14]。

圖6示出了JPDA狀態(tài)估計(jì)的原理[15]，包括目標(biāo)狀態(tài)更新與存在性概率更新。其中狀態(tài)更新的流程與標(biāo)準(zhǔn)卡爾曼濾波基本一致，存在性概率與其同時(shí)進(jìn)行跟蹤。

在車輛跟蹤問題中，系統(tǒng)的狀態(tài)方程為

式中：xi，k為 nx維的狀態(tài)向量，下標(biāo) i表示第 i個(gè)目標(biāo)；vk為平均值為0的白噪聲，只與狀態(tài)方程特性有關(guān)，同時(shí)觀測值與真實(shí)狀態(tài)的關(guān)系滿足：

圖6 JPDA算法流程

式中：zij，k為第j個(gè)傳感器對第i個(gè)目標(biāo)的觀測值；Hj為真實(shí)值與觀測值數(shù)學(xué)模型中相關(guān)函數(shù)h的線性近似表示，它與不同傳感器觀測模型相關(guān)；wj，k為均值為0的白噪聲，值得注意的是它與不同的傳感器模型有關(guān)。它的協(xié)方差矩陣滿足：

完成第k-1步的狀態(tài)更新后，須對上一步的狀態(tài)值和觀測值進(jìn)行預(yù)測：

然后是本周期的狀態(tài)更新過程：值得注意的是這為第i個(gè)目標(biāo)根據(jù)第j個(gè)傳感器的測量值進(jìn)行狀態(tài)更新的結(jié)果。Kij為卡爾曼增益矩陣，γij為觀測值與預(yù)測值的殘差向量，即

式中zij為上一節(jié)中驗(yàn)證過的第i個(gè)目標(biāo)的觀測值。此外，預(yù)測狀態(tài)的協(xié)方差定義為

式中Sij為殘差的協(xié)方差矩陣：

最后，計(jì)算卡爾曼增益矩陣：

接下來，最重要的是狀態(tài)值的更新，即將各觀測值預(yù)測狀態(tài)的加權(quán)平均，即

式中βij為目標(biāo)xi產(chǎn)生觀測值zij的概率[12]。狀態(tài)量協(xié)方差更新為

式中ηij為假設(shè)偏差，定義為

由于視覺算法不能直接獲取目標(biāo)車輛的速度信息，本文中采用“常速度模型”對車輛進(jìn)行追蹤。在離散狀態(tài)模型中，狀態(tài)向量選取為

4個(gè)元素分別表示車輛目標(biāo)的縱向位置、縱向速度、橫向位置和橫向速度。系統(tǒng)矩陣Fk滿足：

此外，觀測模型中觀測值向量為z＝[lylx]T。矩陣Hj滿足：

本文中的融合算法定義，當(dāng)C＝3時(shí)，有效觀測值都會包含在描述區(qū)域中。

3.3 融合算法的實(shí)現(xiàn)

算法流程如圖7所示。具體步驟如下。

圖7 融合算法流程

步驟1 獲取新一周期雷達(dá)與攝像頭的目標(biāo)序列后，利用馬氏距離將觀測值分配給現(xiàn)有的目標(biāo)。需要注意的是，由于JPDA算法不能動態(tài)處理目標(biāo)信息，此處須對車輛庫進(jìn)行人工維護(hù)，即對未被分配的觀測值做一個(gè)簡單的處理，從而初始化目標(biāo)。若有雷達(dá)和攝像頭目標(biāo)的歐式距離小于一定范圍，則將它們?nèi)诤蠟橐粋€(gè)新的目標(biāo)，狀態(tài)量取兩者平均值。

步驟2 對現(xiàn)有目標(biāo)進(jìn)行數(shù)據(jù)融合和狀態(tài)更新。

步驟3 對融合目標(biāo)的參數(shù)進(jìn)行整合，目標(biāo)將直接獲得雷達(dá)提供的縱向速度信息和攝像頭提供的目標(biāo)寬度信息。

4 試驗(yàn)驗(yàn)證

采用日本電產(chǎn)公司生產(chǎn)的6V60M1型毫米波雷達(dá)，松下GP-KD6Q01FC型攝像頭作為傳感器，表1和表2分別為雷達(dá)和攝像頭的主要性能參數(shù)。試驗(yàn)車輛與設(shè)備如圖8所示。

表1 雷達(dá)基本性能參數(shù)

表2 攝像頭主要性能參數(shù)

為避免高峰期，試驗(yàn)時(shí)間選擇上午 10：00～12：00。試驗(yàn)路線為鎮(zhèn)江市環(huán)城公路(國道)，隨機(jī)識別社會車輛。

應(yīng)用該融合算法，對試驗(yàn)中雷達(dá)與攝像頭分別識別到的目標(biāo)進(jìn)行融合。圖9和圖10為同一段13s樣本的目標(biāo)空間位置(橫/縱向位置)狀態(tài)估計(jì)結(jié)果。

圖8 試驗(yàn)車輛與設(shè)備

圖9 目標(biāo)橫向距離狀態(tài)估計(jì)結(jié)果

圖10 目標(biāo)縱向距離狀態(tài)估計(jì)結(jié)果

由圖9和圖10可知，該融合算法有較好的狀態(tài)估計(jì)性能。為進(jìn)一步統(tǒng)計(jì)本文中融合算法的識別性能，根據(jù)文獻(xiàn)[5]中的評價(jià)方案，針對超過7 000幀圖像，統(tǒng)計(jì)了5種不同的性能指標(biāo)，分別為：(1)成功融合的目標(biāo)；(2)只被雷達(dá)探測到的目標(biāo)；(3)只被攝像頭探測到的目標(biāo)；(4)未能成功融合的目標(biāo)；(5)非車輛障礙物，一般是雷達(dá)探測到的護(hù)欄。表3為基于事件的統(tǒng)計(jì)數(shù)據(jù)。

由表3可知，在7 000幀圖像樣本中，未成功融合數(shù)量僅為4個(gè)，占總事件的6%。因此本文中的融合方法準(zhǔn)確率較高，能彌補(bǔ)雷達(dá)與攝像頭各自的缺陷，有效地對目標(biāo)進(jìn)行識別。

表3 融合算法識別結(jié)果統(tǒng)計(jì)

5 結(jié)論

(1)針對目前車輛避撞系統(tǒng)工程領(lǐng)域中單一傳感器不能有效識別前方車輛目標(biāo)的問題，提出一種基于雷達(dá)與攝像頭信息融合的目標(biāo)識別方案。

(2)融合方案采用雷達(dá)為主、攝像頭為輔的硬件框架，引入馬氏距離進(jìn)行目標(biāo)序列的觀測值匹配，基于JPDA的數(shù)據(jù)融合算法構(gòu)建系統(tǒng)的觀測模型與狀態(tài)模型。

(3)試驗(yàn)結(jié)果表明，該融合算法在測試事件中有效率高達(dá)94%，遠(yuǎn)高于單一傳感器的識別效率(雷達(dá)11%，攝像頭17%)。

(4)該融合算法不足之處在于其高效檢測立足于雷達(dá)與攝像頭的有效目標(biāo)識別區(qū)域(視野范圍)，如何將其擴(kuò)展到只有單傳感器發(fā)揮作用的區(qū)域，還有待進(jìn)一步研究。

[1] 譚華春，周洋，李克強(qiáng)，等.基于車尾部特征的對車輛的視覺精確定位[J].汽車安全與節(jié)能學(xué)報(bào)，2016，7(3)：285-290.

[2] VAHIDI A，ESKANDARIAN A.Research advances in intelligent collision avoidance and adaptive cruise control[J].IEEE Transactions on Intelligent Transportation Systems，2003，4(3)：143-153.

[3] DAGAN E，MANO O，STEIN G P，et al.Forward collision warning with a single camera[C].Intelligent Vehicles Symposium，IEEE Xplore，2004：37-42.

[4] MILLER R，HUANGQ.An adaptive peer-to-peer collision warning system[C].Vehicular Technology Conference， Vtc Spring 2002，IEEE.IEEE，2002：317-321.

[5] ALESSANDRETTI G，BROGGI A，CERRI P.Vehicle and guard rail detection using radar and vision data fusion[J].Intelligent Transportation Systems IEEE Transactions，2007，8(1)：95-105.

[6] 何友.多傳感器信息融合及應(yīng)用[J].電子學(xué)報(bào)，2000，30(12)：60-61.

[7] 潘泉，王增福，梁彥，等.信息融合理論的基本方法與進(jìn)展(Ⅱ)[J].控制理論與應(yīng)用，2012，29(10)：599-615.

[8] 王海鵬，熊偉，何友，等.集中式多傳感器概率最近鄰域算法[J].儀器儀表學(xué)報(bào)，2010，31(11)：2500-2507.

[9] 宋強(qiáng)，熊偉，何友.多傳感器多目標(biāo)系統(tǒng)誤差融合估計(jì)算法[J].北京航空航天大學(xué)學(xué)報(bào)，2012，38(6)：835-841.

[10] 劉貴如，周鳴爭，王陸林，等.城市工況下最小安全車距控制模型和避撞算法[J].汽車工程，2016，38(10)：1200-1205.

[11] SUN Z，BEBISG，MILLER R.On-road vehicle detection：a review[J].IEEETransactions on Pattern Analysis＆Machine Intelligence，2006，28(5)：694-715.

[12] 王寶鋒，齊志權(quán)，馬國成，等.一種基于雷達(dá)和機(jī)器視覺信息融合的車輛識別方法[J].汽車工程，2015，37(6)：674-678.

[13] MANJUNATH B S，MA W Y.Texture features for browsing and retrieval of image data[J].IEEE Transactions on Pattern Analysis＆ Machine Intelligence，1996，18(8)：837-842.

[14] ROECKER JA.Class of near optimal JPDA algorithms[J].IEEE Transactions on Aerospace ＆ Electronic Systems，1994，30(2)：504-510.

[15] LEE M S，KIM Y H.New multi-target data association using OSJPDA algorithm for automotive radar[J].Ieice Transactions on E-lectronics，2001，E84C(8)：1077-1083.

Vehicle Target Recognition Based on Multi-sensor Information Fusion

Sun Ning1， Qin Hongmao2， Zhang Li3＆ Ge Ruhai1

1.School of Automotive and Traffic Engineering， Jiangsu University， Zhenjiang 212013；2.Key Laboratory for Cooperative Vehicle Infrastructure Systems and Safety Control， Beihang University， Beijing 100191；3.Dongfeng Commercial Vehicle Technical Center，Wuhan 430056

In view of the inherent defects of traditional collison avoidance systems in respects of perception range， and recognition accuracy etc.due to adopting single sensor for target recognition， a target recognition method based on the information fusion of radar and machine vision is proposed.With the method，after target sequence is obtained，Mahalanobis distance is introduced to conduct observed values matching on the basis of taget level fusion method.Then joint probability data association(JPDA)algorithm is applied to data fusion，and the observation model and state model of the system are set up to achieve target recognition based on information fusion.The results of verification test show that the method based on radar and camera data can fulfill accurate target recognition and positioning with wider adaptive engineering field.

vehicle recognition； information fusion； state estimation； observation model

10.19562/j.chinasae.qcgc.2017.11.014

?國家自然科學(xué)基金(51505247)、江蘇省道路載運(yùn)工具新技術(shù)應(yīng)用重點(diǎn)實(shí)驗(yàn)室開放基金(BM20082061501)和江蘇省研究生培養(yǎng)創(chuàng)新工程(KYLX16＿0882)資助。

原稿收到日期為2017年5月3日，修改稿收到日期為2017年6月6日。

秦洪懋，講師，E-mail：qinhongmao＠ buaa.edu.cn。