孫景榮,劉思奇,張 華,魏晨依,宋詩(shī)斌

(1.西安電子科技大學(xué) 空間科學(xué)與技術(shù)學(xué)院,西安 710071;2.山東科技大學(xué) 機(jī)器人與智能技術(shù)重點(diǎn)實(shí)驗(yàn)室,山東 青島 266590)

0 引 言

智能交通系統(tǒng)是收集復(fù)雜環(huán)境中道路交通信息,并結(jié)合多種信息來源,實(shí)現(xiàn)對(duì)交通環(huán)境全面感知以及決策的系統(tǒng)[1]。交通信息的搜聚是智能交通系統(tǒng)的重要一環(huán)[2],也是對(duì)數(shù)據(jù)進(jìn)行進(jìn)一步分析的基礎(chǔ)。復(fù)雜環(huán)境下的多目標(biāo)跟蹤問題是交通信息獲取過程中要重點(diǎn)研究的內(nèi)容,目標(biāo)跟蹤精度直接關(guān)系到智能交通系統(tǒng)后續(xù)對(duì)交通狀況的分析、決策和處理。

毫米波雷達(dá)和攝像頭都屬于道路交通監(jiān)測(cè)常用的傳感器,兩種傳感器的感知性能具有一定優(yōu)勢(shì)和局限性[3]。毫米波雷達(dá)主要優(yōu)點(diǎn)是能夠在復(fù)雜的天氣條件下工作,比如夜間或雨雪霧等天氣,但它收集的信息并不直觀,且可視性不強(qiáng),為得到被探測(cè)目標(biāo)的形狀和其他更細(xì)節(jié)化的信息,需要采用比較復(fù)雜的信號(hào)處理算法對(duì)雷達(dá)的原始信號(hào)進(jìn)行處理才能實(shí)現(xiàn),并且針對(duì)目標(biāo)較大或較近的情況可能會(huì)產(chǎn)生虛假目標(biāo)問題。攝像頭可以獲取豐富的圖像信息,可以根據(jù)應(yīng)用的要求進(jìn)行信息提取,但在數(shù)據(jù)采集過程中,天氣和光照對(duì)攝像機(jī)有影響,目標(biāo)速度等深度信息需要用復(fù)雜的算法進(jìn)行提取,會(huì)使得處理速度和效率相對(duì)較慢。同時(shí),受攝像機(jī)視角所限,如果車輛之間有重疊的陰影,在圖像處理過程中容易將多個(gè)目標(biāo)識(shí)別為單個(gè)目標(biāo),這會(huì)造成視頻分析時(shí)出現(xiàn)誤檢、漏跟的情況。

由于智能交通系統(tǒng)需要大量全面的目標(biāo)信息,單傳感器數(shù)據(jù)量小,無法滿足要求。多傳感器融合技術(shù)作為一種新興的獲取和處理信息的方式,模擬了人類大腦進(jìn)行分析和處理信息的過程。多傳感器融合技術(shù)將各傳感器信息排列整合、冗余互補(bǔ)以獲取被監(jiān)測(cè)目標(biāo)全方位高準(zhǔn)確率的信息[4]。因此,多傳感器融合技術(shù)是智能交通系統(tǒng)信息采集所運(yùn)用重要技術(shù)。交通領(lǐng)域中,雷達(dá)與視頻融合技術(shù)在道路車輛和行人檢測(cè)、盲區(qū)檢測(cè)與預(yù)警、交通測(cè)序等方面均有應(yīng)用。例如在行人檢測(cè)應(yīng)用方面,行人檢測(cè)主要指通過模式識(shí)別方法來檢測(cè)圖像中的行人,引入雷達(dá)測(cè)距后對(duì)目標(biāo)的跟蹤結(jié)果比圖像處理結(jié)果準(zhǔn)確性更高[5],但這種方法需要大量數(shù)據(jù)對(duì)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練并且僅適用于行人檢測(cè)場(chǎng)景。盲區(qū)檢測(cè)預(yù)警系統(tǒng)是以雷達(dá)測(cè)距技術(shù)為核心研制的一種實(shí)時(shí)定位和測(cè)向系統(tǒng),車輛信息經(jīng)雷達(dá)實(shí)時(shí)地反饋給電子顯示屏來進(jìn)行事故預(yù)警。交通測(cè)序是利用高精度雷達(dá)對(duì)機(jī)動(dòng)車行駛狀態(tài)進(jìn)行采集,融合視頻技術(shù)來識(shí)別超速、壓線等違章車輛,協(xié)助交管部門執(zhí)法處置[6]。國(guó)外對(duì)雷達(dá)和視頻技術(shù)的研究多集中于自動(dòng)駕駛方面,但當(dāng)前具有自動(dòng)駕駛功能汽車的安全性有待考慮,要實(shí)現(xiàn)完全無人駕駛還需要一個(gè)長(zhǎng)期的研究過程。目前主流的自動(dòng)駕駛輔助系統(tǒng)經(jīng)過優(yōu)化,大都能實(shí)現(xiàn)L2級(jí)(部分自動(dòng)駕駛)[7],但該系統(tǒng)功能并不完善,無法識(shí)別突然出現(xiàn)的行人,且該技術(shù)更依賴于攝像頭,在后續(xù)目標(biāo)跟蹤處理上步驟更加繁瑣。

綜上所述,基于雷視融合的目標(biāo)跟蹤應(yīng)用仍處于發(fā)展階段,大部分研究通常基于特定應(yīng)用場(chǎng)景進(jìn)行融合構(gòu)建[8-10],不具有通用性。但隨著目應(yīng)用需求的增加,其應(yīng)用前景也十分廣闊,具有一定的研究?jī)r(jià)值。在數(shù)據(jù)融合時(shí),對(duì)兩種傳感器在不同維度所采集的數(shù)據(jù)進(jìn)行時(shí)間空間準(zhǔn)確匹配存在一定難度,并且保證融合后對(duì)目標(biāo)進(jìn)行準(zhǔn)確判決存在難度。為了降低單傳感器跟蹤算法的復(fù)雜度,基于模糊集理論,本文給出了一種雷達(dá)和視頻融合跟蹤交通目標(biāo)的算法,以實(shí)現(xiàn)高精度目標(biāo)跟蹤。實(shí)測(cè)驗(yàn)證結(jié)果表明,多傳感器融合算法跟蹤效果優(yōu)于單傳感器的目標(biāo)跟蹤算法,具有更高的穩(wěn)定性。

1 本文算法流程

融合算法框圖如圖1所示,主要過程包括:①構(gòu)建模擬場(chǎng)景,采集數(shù)據(jù)并設(shè)計(jì)雷達(dá)和視頻數(shù)據(jù)進(jìn)的時(shí)空匹配方法;②決策級(jí)算法的構(gòu)建中,結(jié)合提出的目標(biāo)判斷準(zhǔn)則,采用模糊集理論的多傳感器融合算法,對(duì)獲得的雷達(dá)與視頻融合的目標(biāo)進(jìn)行追蹤,并模糊化地改進(jìn)統(tǒng)計(jì)距離判斷條件;③采集實(shí)測(cè)數(shù)據(jù),驗(yàn)證算法。

圖1 算法流程

2 時(shí)空匹配

時(shí)空匹配是多傳感器信息融合的重要步驟,在進(jìn)行數(shù)據(jù)處理時(shí),有必要考慮不同幀率和坐標(biāo)系間的聯(lián)系,將不同幀率和坐標(biāo)系的數(shù)據(jù)整合到同一維度,以便進(jìn)一步融合[11]。我們選擇了一個(gè)相對(duì)空曠、具有較高測(cè)試位置的區(qū)域,控制了目標(biāo)的數(shù)量,利用單目標(biāo)測(cè)試場(chǎng)景[12]數(shù)據(jù)對(duì)坐標(biāo)系進(jìn)行對(duì)準(zhǔn)調(diào)試,以得到兩傳感器間準(zhǔn)確轉(zhuǎn)換參數(shù)。

2.1 時(shí)間匹配

在測(cè)試中,雷達(dá)數(shù)據(jù)和視頻數(shù)據(jù)的采集率分別為60 frame/s和20 frame/s。

時(shí)間匹配時(shí)要求起點(diǎn)對(duì)齊,達(dá)到雷達(dá)與視頻同步開始,并以雷達(dá)數(shù)據(jù)幀為準(zhǔn)完成對(duì)視頻數(shù)據(jù)幀的采樣,而混合高斯建模的要求是前面30幀完成訓(xùn)練,因而雷達(dá)數(shù)據(jù)的起始時(shí)間要在視頻數(shù)據(jù)起始時(shí)間的0.5 s后。對(duì)齊起始點(diǎn)后,再對(duì)數(shù)據(jù)幀之間進(jìn)行匹配,如圖2所示。在時(shí)間軸上,中間的重合點(diǎn)是融合時(shí)間點(diǎn),下方是雷達(dá)時(shí)間戳,上方是視頻時(shí)間戳。

圖2 時(shí)空配準(zhǔn)

2.2 空間匹配

為了后續(xù)融合處理,需要對(duì)雷達(dá)和視頻兩個(gè)傳感器獲得的數(shù)據(jù)進(jìn)行空間匹配,對(duì)一定環(huán)境下的目標(biāo)信息進(jìn)行互補(bǔ)。本文將雷達(dá)目標(biāo)信息轉(zhuǎn)化至像素坐標(biāo)系中,包括5個(gè)坐標(biāo)系的轉(zhuǎn)換過程,如圖3所示。

圖3 坐標(biāo)系轉(zhuǎn)換關(guān)系

圖4是本文設(shè)置的兩個(gè)坐標(biāo)系的轉(zhuǎn)換示意圖。

圖4 雷達(dá)-世界坐標(biāo)系轉(zhuǎn)換示意

其中,雷達(dá)與目標(biāo)的徑向距離為s,角度為γ,雷達(dá)安裝高度為h,設(shè)備傾斜角度為α,則向二維雷達(dá)坐標(biāo)系轉(zhuǎn)換,即為

xr=s·sin(γ),

(1)

yr=s·cos(γ)。

(2)

θ滿足

(2)

構(gòu)建世界坐標(biāo)系時(shí),充分考慮現(xiàn)實(shí)條件和便于推算,認(rèn)為世界坐標(biāo)系和雷達(dá)坐標(biāo)系的原點(diǎn)位置是重合的,即Xw軸與Xr軸方向相同,Zw軸與Yr軸方向相同。根據(jù)右手定則,設(shè)世界坐標(biāo)系Yr軸垂直于Xw-Zw平面,方向指向地面。雷達(dá)坐標(biāo)系和世界坐標(biāo)系的轉(zhuǎn)換關(guān)系如公式(3):

(3)

在測(cè)試時(shí),為了使偏移量更小,雷達(dá)和攝像機(jī)并列放置,所以主要通過簡(jiǎn)單的調(diào)試來獲取攝像機(jī)外部參數(shù),實(shí)現(xiàn)世界坐標(biāo)系和攝像機(jī)坐標(biāo)系的轉(zhuǎn)換。然后根據(jù)標(biāo)定獲得的攝像機(jī)內(nèi)部參數(shù),進(jìn)行攝像頭坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換。

3 基于模糊集理論的雷達(dá)與視頻融合算法

3.1 模糊評(píng)判問題分類

通過空間和時(shí)間的匹配,獲得融合算法的輸入信息,即雷達(dá)目標(biāo)信息由幀序號(hào)、目標(biāo)ID、轉(zhuǎn)換像素坐標(biāo)(u,v)、目標(biāo)速度構(gòu)成。視頻目標(biāo)信息由幀序號(hào)、目標(biāo)ID、重心坐標(biāo)(x,y)、跟蹤框左上方坐標(biāo)以及長(zhǎng)寬組成。計(jì)算雷達(dá)目標(biāo)點(diǎn)跡與各質(zhì)心坐標(biāo)的統(tǒng)計(jì)距離,并與具有最短統(tǒng)計(jì)距離的視頻關(guān)聯(lián)ID。

存在三種情況:①雷達(dá)點(diǎn)與視頻目標(biāo)一一相對(duì)應(yīng),即同時(shí)被雷達(dá)和視頻探測(cè)到的情況;②多個(gè)雷達(dá)點(diǎn)與一個(gè)視頻目標(biāo)對(duì)應(yīng)情況,這一情況可能是因?yàn)槔走_(dá)航跡冗余問題或者目標(biāo)分割問題造成的;③未關(guān)聯(lián)的視頻目標(biāo),這種情況主要由視頻處理中的雜波問題引起的。圖5為上述三種情況的示意圖,其中,跟蹤框1、跟蹤框2和跟蹤框4為目標(biāo)同時(shí)被雷達(dá)和視頻探測(cè)到,跟蹤框3為雷達(dá)航跡冗余問題導(dǎo)致的,跟蹤框5為目標(biāo)分割問題,跟蹤框6為視頻雜波問題引起的。

圖5 目標(biāo)信息示意

將所處理的問題按上述①,②,③關(guān)聯(lián)結(jié)果進(jìn)行分類,并給出決策及判決。由于問題的分類存在模糊性,所以采用模糊綜合評(píng)價(jià)法進(jìn)行分類[13]。

假設(shè)雷達(dá)與視頻傳感器的檢測(cè)準(zhǔn)確性用因素集C={cradar,ccamera}表示,評(píng)語集設(shè)為V={多對(duì)一情況,雜波情況},表示雷達(dá)航跡冗余問題和視頻雜波問題。綜合評(píng)判由如下4個(gè)步驟完成:

Step1 根據(jù)各幀數(shù)據(jù)之間的相關(guān)性,統(tǒng)計(jì)一對(duì)一的關(guān)聯(lián)結(jié)果,當(dāng)雷達(dá)點(diǎn)與視頻點(diǎn)一一相對(duì)應(yīng)時(shí),若相互間距離較近,則結(jié)果正確,由此得到在雷達(dá)和視頻數(shù)據(jù)中占比,并作為雷達(dá)和視頻傳感器各自的權(quán)重。經(jīng)過歸一化處理后得出模糊子集A。

Step2 對(duì)剩余的數(shù)據(jù)點(diǎn),按多對(duì)一情況和雜波情況來分類,其中多對(duì)一情況主要有兩種:一種為出現(xiàn)雷達(dá)航跡冗余情況,另一種為目標(biāo)分割問題。將出現(xiàn)上述兩種問題的數(shù)據(jù)占總數(shù)據(jù)中的比例作為第i個(gè)傳感器ui的單因素模糊評(píng)價(jià)ri=(ri1,ri2,…,rin),得到綜合評(píng)價(jià)矩陣為R。

Step3 求出模糊綜合評(píng)價(jià)集B。

Step4 基于最大隸屬度原則[14],按照后續(xù)決策分類,對(duì)全部數(shù)據(jù)進(jìn)行判決得到最終結(jié)果。

對(duì)每一幀數(shù)據(jù)出現(xiàn)的問題,都可以按照上述綜合判斷方式加以區(qū)分,之后進(jìn)入不同判決分支做出目標(biāo)決策。

3.2 目標(biāo)判決準(zhǔn)則

結(jié)合模糊綜合評(píng)判結(jié)果,融合決策時(shí)需要考慮三種情況。

1)雷達(dá)點(diǎn)與跟蹤框一對(duì)一的情況

在目標(biāo)關(guān)聯(lián)時(shí),存在雷達(dá)雜波點(diǎn)與有效跟蹤框相關(guān)聯(lián)的情況。但這種設(shè)定結(jié)果具有絕對(duì)化,故而采用了一種常用的Z型隸屬函數(shù)[15],用于模糊化統(tǒng)計(jì)距離數(shù)值。圖6即為模糊隸屬函數(shù),其中,橫軸d表示統(tǒng)計(jì)距離,縱軸uij表示雷達(dá)數(shù)據(jù)的第i個(gè)目標(biāo)和視頻數(shù)據(jù)的第j個(gè)目標(biāo)統(tǒng)計(jì)距離的隸屬度函數(shù),uij滿足uij∈[0,1];a點(diǎn)表示雷達(dá)和視頻所測(cè)得目標(biāo)是同一個(gè)目標(biāo)時(shí)的統(tǒng)計(jì)距離上限,b點(diǎn)表示當(dāng)兩個(gè)車輛目標(biāo)統(tǒng)計(jì)距離大于b時(shí)雷達(dá)與視頻所測(cè)得目標(biāo)毫無關(guān)聯(lián)。

圖6 Z型隸屬函數(shù)

a和b滿足

(4)

式中:u′和v′為數(shù)據(jù)從攝像機(jī)坐標(biāo)系轉(zhuǎn)換至像素坐標(biāo)系的結(jié)果;u和v為數(shù)據(jù)從雷達(dá)坐標(biāo)系轉(zhuǎn)換至像素坐標(biāo)系的結(jié)果;w表示跟蹤框尺寸中寬度像素大小;h為跟蹤框尺寸中高度像素大小。由于不同物體的尺寸在圖像中的像素尺寸不同,所以其對(duì)應(yīng)生成的邊界框尺寸也不相同,通過實(shí)驗(yàn)得到系數(shù)取1/3為最佳匹配效果。

uij∈[0,1]可表示為

(5)

①當(dāng)d∈[0,a)時(shí),隸屬函數(shù)uij=1,第i個(gè)雷達(dá)目標(biāo)和第j個(gè)視頻目標(biāo)的統(tǒng)計(jì)距離滿足隸屬度函數(shù)公式(5),即uij=1,則可以確定目標(biāo)i,j屬于同一個(gè)目標(biāo)。

2)雷達(dá)點(diǎn)與跟蹤框多對(duì)一的情況

這類情況主要包括雷達(dá)航跡冗余問題以及目標(biāo)分割問題。當(dāng)目標(biāo)距離雷達(dá)比較近或者目標(biāo)比較大的情況下,雷達(dá)會(huì)將同一個(gè)目標(biāo)判斷為多個(gè)目標(biāo),即出現(xiàn)航跡冗余現(xiàn)象。在這種情況下,雷達(dá)點(diǎn)跡獲得的目標(biāo)距離和速度非常相近。而對(duì)于目標(biāo)分割問題,兩雷達(dá)點(diǎn)跡之間的相對(duì)距離一般較遠(yuǎn),也存在相差較大的速度值,因此,可依據(jù)兩級(jí)綜合閾值的設(shè)置,對(duì)上述兩種問題進(jìn)行判斷,再分別進(jìn)行處理。

①雷達(dá)航跡冗余

當(dāng)出現(xiàn)多個(gè)雷達(dá)點(diǎn)跡與一個(gè)跟蹤框相關(guān)聯(lián)的情況時(shí),首先計(jì)算每一個(gè)雷達(dá)點(diǎn)跡和跟蹤框的質(zhì)心之間的距離隸屬度,比較隸屬度的大小,距離最小的點(diǎn)為真雷達(dá)點(diǎn)跡。之后計(jì)算所有點(diǎn)跡的平均速度,目標(biāo)的跟蹤信息結(jié)果用真雷達(dá)點(diǎn)跡的ID序號(hào)和平均速度表示。并且在多雷達(dá)點(diǎn)跡情況消失后,目標(biāo)的ID和速度一直保持輸出,直到目標(biāo)在視頻范圍內(nèi)消失不見。

②目標(biāo)分割

當(dāng)兩個(gè)車輛目標(biāo)相距較近,出現(xiàn)一個(gè)視頻矩形框中有兩個(gè)車輛目標(biāo)的情況時(shí),計(jì)算兩雷達(dá)點(diǎn)跡到跟蹤框質(zhì)心的距離隸屬度uij,然后由隸屬度對(duì)視頻矩形框的大小重新進(jìn)行權(quán)重分配,用權(quán)重乘以原視頻矩形框的大小確定新的跟蹤框的長(zhǎng)度與寬度。

3)未關(guān)聯(lián)的目標(biāo)

未關(guān)聯(lián)目標(biāo)中含有雷達(dá)雜波和視頻雜波。因?yàn)楸疚睦走_(dá)數(shù)據(jù)的處理結(jié)果較為理想,所以雷達(dá)雜波較少,未關(guān)聯(lián)目標(biāo)主要是視頻雜波問題,是視頻畫面出現(xiàn)抖動(dòng)而產(chǎn)生的。針對(duì)視頻雜波問題,可以先行刪除沒有參考價(jià)值的視頻跟蹤框,目標(biāo)信息的輸出用雷達(dá)目標(biāo)跟蹤結(jié)果表示。跟蹤框是以雷達(dá)點(diǎn)跡作為幾何中心的矩形框,用畫面的遠(yuǎn)近程度和視角來調(diào)整矩形框的大小;目標(biāo)信息的輸出用雷達(dá)點(diǎn)跡的ID序號(hào)與速度表示。需要注意的是,在后續(xù)視頻無雜波時(shí),目標(biāo)ID序號(hào)可能會(huì)發(fā)生改變,為了避免這種情況的出現(xiàn),雷達(dá)點(diǎn)跡ID序號(hào)要一直保留到目標(biāo)徹底離開雷達(dá)檢測(cè)范圍。圖7為改進(jìn)的目標(biāo)決策流程圖。第一步就是對(duì)雷達(dá)和視頻的測(cè)量數(shù)據(jù)進(jìn)行關(guān)聯(lián)。對(duì)于一對(duì)一的關(guān)聯(lián)情況,由設(shè)定的統(tǒng)計(jì)距離隸屬函數(shù)及1/2閾值進(jìn)行判斷,若成功則輸出融合結(jié)果,若失效則進(jìn)入綜合模塊;在此模塊評(píng)判后,分類本幀所存在的問題,分別判決。對(duì)于多對(duì)一情況,則基于綜合閾值判決雷達(dá)航跡冗余問題及目標(biāo)分割問題,最后由目標(biāo)判決準(zhǔn)則輸出判決結(jié)果,針對(duì)視頻雜波問題則僅需要輸出雷達(dá)數(shù)據(jù)結(jié)果即可。

圖7 改進(jìn)的目標(biāo)決策流程

4 實(shí)驗(yàn)與結(jié)果分析

4.1 測(cè)試場(chǎng)景及數(shù)據(jù)

實(shí)際測(cè)試場(chǎng)景中,傳感器離地面高度h=6.6 m,傾斜角度α=30°。實(shí)驗(yàn)測(cè)試使用的毫米波雷達(dá)最大作用距離為210 m,攝像機(jī)的有效視覺范圍為100 m以內(nèi),故采用融合算法對(duì)目標(biāo)進(jìn)行有效跟蹤的最大距離為100 m。

本文采集了三種不同的測(cè)試場(chǎng)景數(shù)據(jù)(見表1),測(cè)試場(chǎng)景對(duì)應(yīng)的視頻畫面見圖8。

表1 測(cè)試場(chǎng)景

4.2 實(shí)驗(yàn)結(jié)果

4.2.1 慢目標(biāo)跟蹤結(jié)果

測(cè)試場(chǎng)景1中,因?yàn)樾腥艘苿?dòng)速度較慢,雷達(dá)無法監(jiān)測(cè)這類目標(biāo)。融合算法會(huì)把這種情況歸為雜波問題處理,所以只輸出視頻數(shù)據(jù)的跟蹤結(jié)果。對(duì)于非機(jī)動(dòng)車目標(biāo),若速度較快,則可以被雷達(dá)探測(cè)到,進(jìn)而判斷該雷達(dá)點(diǎn)屬于哪個(gè)非機(jī)動(dòng)車,并輸出其速度信息。圖9表示處理前后隨機(jī)兩幀對(duì)比結(jié)果。

圖9 視頻雜波問題處理前后對(duì)比

圖9(a)中,黃色表示雷達(dá)跟蹤結(jié)果,僅標(biāo)記兩個(gè)速度較大的非機(jī)動(dòng)車;藍(lán)色框表示視頻跟蹤結(jié)果。處理后結(jié)果如圖9(b)所示,所有目標(biāo)均被追蹤到,但缺少行人速度信息。另一幀處理結(jié)果如圖9(d)所示。

4.2.2 雷達(dá)航跡冗余

針對(duì)出現(xiàn)的航跡冗余現(xiàn)象,即雷達(dá)將一個(gè)目標(biāo)判斷為多個(gè)目標(biāo)的情況,根據(jù)目標(biāo)判決準(zhǔn)則對(duì)雷達(dá)航跡冗余問題進(jìn)行決策處理,對(duì)比結(jié)果如圖10所示,可見融合后有效解決了這種情況。

圖10 多雷達(dá)點(diǎn)問題處理前后對(duì)比

4.2.3 目標(biāo)分割

在測(cè)試時(shí),如果車輛的陰影相互遮擋,則會(huì)出現(xiàn)誤判,將兩個(gè)車輛目標(biāo)識(shí)別成一個(gè)。針對(duì)這類問題,對(duì)目標(biāo)分割問題進(jìn)行決策處理,圖11為算法處理前后對(duì)比圖。

在圖11中,(a)表示融合前數(shù)據(jù),視頻跟蹤框75框選了2個(gè)車輛目標(biāo),其中顯示了兩個(gè)雷達(dá)數(shù)據(jù);處理后目標(biāo)框75分割成(b)圖顯示的中目標(biāo)96和目標(biāo)97。另一幀數(shù)據(jù)對(duì)同樣情況下的目標(biāo)進(jìn)行了分割。

4.2.4 視頻多雜波問題

針對(duì)視頻雜波問題,可將沒有參考價(jià)值的視頻處理結(jié)果刪除,僅輸出雷達(dá)目標(biāo)跟蹤結(jié)果?？梢娞幚砬昂髮?duì)比結(jié)果如圖12所示,可見處理后視頻畫面中的大量雜波被刪除,有效目標(biāo)均被跟蹤。

針對(duì)三種場(chǎng)景,分別用雷達(dá)、視頻、傳統(tǒng)融合算法和改進(jìn)后的融合跟蹤算法進(jìn)行測(cè)試,統(tǒng)計(jì)各場(chǎng)景中的交通目標(biāo)數(shù)據(jù)。在測(cè)試數(shù)據(jù)段內(nèi),N為交通目標(biāo)總數(shù),n為成功跟蹤的目標(biāo)數(shù),η是跟蹤率,則

(5)

式中:N可以通過撞線檢測(cè)法獲得。算法跟蹤準(zhǔn)確率如表2所示。

表2 跟蹤結(jié)果統(tǒng)計(jì)

表2統(tǒng)計(jì)了采用單雷達(dá)傳感器、視頻傳感器、傳統(tǒng)模糊集數(shù)據(jù)融合算法[16]以及改進(jìn)后的融合算法對(duì)目標(biāo)的跟蹤率。由表2可以看出,在三種場(chǎng)景中,融合跟蹤率均明顯優(yōu)于單傳感器雷達(dá)跟蹤率和視頻跟蹤率。在測(cè)試場(chǎng)景1中,雷達(dá)跟蹤率較低,視頻跟蹤準(zhǔn)確率較高,融合跟蹤準(zhǔn)確率最好。測(cè)試場(chǎng)景2中,雷達(dá)對(duì)速度較快的稀疏車輛目標(biāo)監(jiān)測(cè)結(jié)果更準(zhǔn)確,視頻跟蹤率低于雷達(dá)跟蹤率,但融合跟蹤率高于單傳感器跟蹤率,且改進(jìn)后的融合算法跟蹤率相比于傳統(tǒng)融合跟蹤率有所提升。測(cè)試場(chǎng)景3中,由于目標(biāo)遮擋較為嚴(yán)重,視頻和雷達(dá)跟蹤率相比場(chǎng)景1和場(chǎng)景2下降,融合算法跟蹤率雖然也有所下降,但相比雷達(dá)和視頻單傳感器算法,其效果最好,而且改進(jìn)后的融合算法跟蹤率高于傳統(tǒng)模糊集數(shù)據(jù)融合算法。由以上實(shí)驗(yàn)結(jié)果可知,從跟蹤效果上看,相比于傳統(tǒng)融合算法,改進(jìn)后的融合算法在跟蹤率上提升了2.9%;與雷達(dá)和視頻單傳感器跟蹤算法相比,改進(jìn)后的融合算法具有更高的精確度和更強(qiáng)的可靠性。

5 結(jié) 論

本文針對(duì)毫米波雷達(dá)和視頻的數(shù)據(jù)融合問題,首先對(duì)雷達(dá)和視頻采集數(shù)據(jù)進(jìn)行時(shí)空匹配,基于決策層模糊集理論給出了一種雷達(dá)和視頻多傳感器融合算法。利用Z型隸屬函數(shù)優(yōu)化算法,優(yōu)化后的算法可以實(shí)現(xiàn)雷達(dá)數(shù)據(jù)的可視化,同時(shí)算法還考慮到了慢目標(biāo)跟蹤問題、視頻雜波和雷達(dá)航跡冗余等問題。通過設(shè)計(jì)系統(tǒng)框架和采集到的真實(shí)數(shù)據(jù),驗(yàn)證了跟蹤算法的有效性。測(cè)試結(jié)果表明,多傳感器融合算法比單傳感器具有更好的穩(wěn)定性和更好的跟蹤效果。