甘耀東，鄭 玲，張志達，李以農(nóng)

（重慶大學，機械傳動國家重點實驗室，重慶 400044）

前言

隨著汽車保有量的增加和交通環(huán)境的日益復雜，汽車帶來的交通安全事故日益增多，亟待通過駕駛輔助系統(tǒng)和高級自動駕駛技術(shù)等手段，降低交通事故的發(fā)生率，提高汽車行駛的安全性和效率。環(huán)境感知技術(shù)是自動駕駛汽車的關鍵技術(shù)，它通過車載傳感器獲取車輛周邊的環(huán)境信息，為自動駕駛汽車的決策和控制提供依據(jù)［1-2］。

視覺傳感器采集數(shù)據(jù)信息量豐富、易于目標識別分類且成本較低，廣泛應用于前方車輛檢測［3］。傳統(tǒng)的車輛檢測大多利用車輛特征進行識別，如文獻［4］中利用車輛底部陰影特征生成車輛假設，并使用Adaboost驗證車輛假設；文獻［5］中利用HOG方向梯度直方圖特征，結(jié)合LSVM訓練車輛識別分類器，對多視角的車輛有較高的識別率。傳統(tǒng)的視覺檢測本質(zhì)上利用人工選擇的特征進行識別分類，該方法適合于某一類特定場景下的目標識別，其數(shù)據(jù)規(guī)模不大，泛化能力較差，較難在復雜應用場景中達到快速準確檢測的效果。近年來，深度學習技術(shù)因其可以自動學習目標的有效特征，無須人工提取特征即能保證良好的檢測效果，受到研究人員的廣泛關注［6］?；谏疃葘W習的目標檢測算法主要分為兩類：（1）以R?CNN系列［7-9］為代表的基于分類的目標檢測框架；（2）以SSD［10-11］和YOLO系列［12-14］為代表的基于回歸的目標檢測框架。其中，基于分類的檢測算法須生成待檢測目標的候選區(qū)域，并對這些候選區(qū)域進行分類與位置校準。該類方法檢測精度較高，但實時性較差?；诨貧w的檢測算法則直接在特征圖中進行目標的識別與定位。該類方法在保證較高檢測精度的同時具有較快的檢測速度?；谝曈X的目標檢測算法易受光照和雨雪等天氣的影響，檢測精度大幅降低，且無法獲取目標的運動信息。

毫米波雷達具有抗環(huán)境干擾能力強、探測距離遠、能獲取目標運動信息和成本低等優(yōu)點，是目前汽車高級輔助駕駛系統(tǒng)的主流傳感器，得到國內(nèi)外學者廣泛關注［15］。文獻［16］中針對雷達彎道目標跟蹤準確性較低的問題，采用曼哈頓距離聚類和最鄰近數(shù)據(jù)關聯(lián)算法，減少了數(shù)據(jù)關聯(lián)計算并提高跟蹤準確性。文獻［17］中通過兩級級聯(lián)邏輯進行航跡的起始，解決了雷達存在的雜波和不確定量測情況下的目標濾波問題。雖然基于毫米波雷達的檢測跟蹤算法在智能駕駛領域取得了一定的成果，但毫米波雷達無法獲取目標的幾何信息與類別信息，另外，雷達檢測中還存在虛假目標。

針對單一傳感器自身功能的局限性，基于多傳感器信息融合的車輛檢測方法能充分融合不同傳感器的優(yōu)勢。文獻［18］和文獻［19］中采用毫米波雷達與視覺信息融合的方法檢測前方車輛，其中，文獻［18］中提出一種基于層次聚類的雷達雜波剔除方法，并采用KCF［20］-EKF［21］組合濾波算法對前方車輛進行檢測跟蹤，有效降低了車輛檢測的漏檢率。文獻［19］中基于視覺圖像提取Haar?like特征，利用Adaboost算法檢測車輛并生成感興趣區(qū)域（region of interest，ROI），通過與雷達投影到視覺圖像產(chǎn)生的ROI計算重合率，完成雷達與視覺信息的融合，降低檢測時間。但是，上述視覺算法中采用傳統(tǒng)的機器視覺檢測方法，檢測精度受人工提取特征的影響，進而影響后續(xù)融合算法的檢測效果。另外，上述雷達跟蹤算法中未考慮噪聲的先驗統(tǒng)計特性和外部環(huán)境的動態(tài)變化，易造成濾波精度下降進而導致跟蹤算法失效。

為解決上述問題，做出以下改進：針對雷達跟蹤穩(wěn)定性問題，利用毫米波雷達的觀測數(shù)據(jù)，實時估計和修正濾波器噪聲統(tǒng)計特性，提出一種自適應EKF（adaptive extended Kalman filtering，AEKF）算法，用于提高目標跟蹤的精度；針對傳統(tǒng)視覺檢測精度較低的問題，采用SSD+MobileNetV2相結(jié)合的深度學習網(wǎng)絡進行前方車輛目標檢測。最后，結(jié)合毫米波雷達與深度視覺檢測信息，提出了決策級融合算法，用于提升前方車輛檢測的準確性和實時性。

1 基于AEKF的毫米波雷達跟蹤

1.1 基于閾值篩選和前后幀關聯(lián)的雷達目標提取

選用Delphi公司的ESR毫米波雷達進行車輛目標檢測與跟蹤，該雷達的工作頻率為20 Hz。其中，每幀返回64個通道的數(shù)據(jù)，每個通道的數(shù)據(jù)信息包括前方目標的相對距離、相對速度、相對加速度、相對角度和反射率等。考慮到后續(xù)決策與路徑規(guī)劃中需要識別的道路車輛目標主要為同車道前方車輛和左右兩側(cè)鄰近車道的同向車輛，以及高速道路上車輛運動速度信息等，分別設置橫向距離閾值與速度閾值：

式中：y為本車與前方車輛的橫向距離；Y0為車道橫向有效車輛范圍閾值；v1為前方車輛與本車輛相對速度。根據(jù)我國道路技術(shù)規(guī)范，行車道的標準寬度為3.75 m。經(jīng)過大量實驗數(shù)據(jù)驗證，可以選取Y0=4.8 m。

為濾除毫米波雷達中的非連續(xù)數(shù)據(jù)，使用前后幀關聯(lián)方法，其判斷準則為

式中：Xt=[d tx，d ty，vt]T表示t時刻每個通道測量前方目標的橫向距離、縱向距離和相對速度；Xi=[dix，d iy，vi]T表示i時刻每個通道測量前方目標的橫向距離、縱向距離和相對速度。

選取道路實測數(shù)據(jù)、毫米波雷達原始數(shù)據(jù)和濾波后數(shù)據(jù)對比如圖1所示。其中，藍色像素點表示雜波干擾信息，紅色像素點表示經(jīng)過閾值篩選與前后幀關聯(lián)方法提取得到的目標點?？梢钥闯鲈摲椒軌蛴行V除前方雜波干擾信息。

圖1 雷達數(shù)據(jù)濾波效果對比圖

1.2 基于AEKF的毫米波雷達跟蹤

基于EKF算法的毫米波雷達跟蹤通過求解Jacobian矩陣對系統(tǒng)1階線性化，可用于非線性估計。然而，EKF在未知噪聲的先驗統(tǒng)計特性和外部環(huán)境的動態(tài)變化的情況下，易出現(xiàn)濾波精度下降甚至發(fā)散的問題，這些不確定性因素最終會導致EKF算法失效。針對此問題，本文中提出一種AEKF算法，在濾波的同時利用毫米波雷達觀測數(shù)據(jù)帶來的信息，不斷在線估計和修正濾波器噪聲統(tǒng)計特性，以提高濾波精度，得到估計狀態(tài)的最優(yōu)值。

同時，在目標追蹤運動模型中，恒定速度與恒定加速度模型假定目標為直線運動，并不適合復雜環(huán)境下的車輛追蹤?？紤]車輛在轉(zhuǎn)彎等復雜路況環(huán)境下的運動特征，采用恒定轉(zhuǎn)彎率和速度（constant turn rate and velocity，CTRV）模型進行追蹤。

所提出的AEKF算法主要包括狀態(tài)預測、狀態(tài)更新和協(xié)方差矯正，具體實現(xiàn)過程如下。

步驟1：狀態(tài)預測

步驟2：狀態(tài)更新

步驟3：協(xié)方差矯正

k時刻新息d k定義為濾波器實際觀測值Z k和預測觀測值之差。假設d k具有各態(tài)歷經(jīng)性，則根據(jù)開窗估計法可得到新息的實時估計方差為

式中W為滑動數(shù)據(jù)窗口長度。k時刻殘差r k定義為濾波器實際觀測值Z k和估計觀測值之差，即

殘差方差為

卡爾曼增益為

式（13）兩邊同時左乘H k，并代入式（10）可得

式（14）兩邊同時右乘R k可得

將其代入式（12）得R k的估計值為

同理，利用新息可以求得狀態(tài)噪聲方差Q的在線估計值：

為保持方差Q的半正定性，只提取Q k-1主對角線上的元素值。結(jié)合CTRV模型，設置跟蹤目標的狀態(tài)量為

式中：θ為偏航角，是跟蹤目標車輛在當前車輛坐標系下與x軸的夾角；w為偏航角速度?？紤]到實際運動中目標車輛存在直線加速度和偏航角加速度噪聲，最終CTRV的狀態(tài)轉(zhuǎn)移函數(shù)為

式中：μa為隨機縱向加速度；μω為隨機偏航角加速度。

由于狀態(tài)轉(zhuǎn)移函數(shù)與觀測函數(shù)都為非線性函數(shù)，故使用1階泰勒展開近似線性化得到狀態(tài)轉(zhuǎn)移函數(shù)與觀測函數(shù)的雅克比矩陣F和H。將毫米波雷達檢測結(jié)果進行AEKF跟蹤，并將跟蹤結(jié)果通過投影方程投影到視覺圖像中。

1.3 毫米波雷達在視覺圖像上投影

通過閾值篩選與前后幀數(shù)據(jù)關聯(lián)提取出前方目標車輛信息后，須將毫米波雷達識別結(jié)果通過空間與時間坐標系進行轉(zhuǎn)換進而映射到視覺圖像中，以便之后與機器視覺檢測信息進行融合［22］。具體步驟如下。

（1）空間坐標系轉(zhuǎn)換

根據(jù)相機坐標系與世界坐標系、毫米波雷達坐標系與世界坐標系、相機坐標系與圖像物理坐標系、圖像像素坐標系與圖像物理坐標系之間相互的轉(zhuǎn)換關系可得到世界坐標系到圖像像素坐標系之間的轉(zhuǎn)換關系為

式中：R為旋轉(zhuǎn)矩陣，由相機的俯仰角和偏航角決定；T為平移向量，是相機坐標系原點在世界坐標系［X YZ］方向上的坐標；f為相機焦距；d x、d y為像素坐標系下每個單位像素對應物理坐標系下距離的大??；［XW YW ZW］為雷達監(jiān)測點在世界坐標系中的坐標；［u，v］為雷達檢測點在圖像坐標系中的坐標；Zc為雷達監(jiān)測點在相機坐標系中的Z軸坐標。

（2）時間坐標系對準

毫米波雷達與攝像機數(shù)據(jù)完成空間坐標系的轉(zhuǎn)換之后，還須進行時間信息上的匹配。本實驗中采用的毫米波雷達采樣頻率為20幀/s，攝像機的采樣頻率為30幀/s，毫米波雷達每間隔2幀選取1次數(shù)據(jù)、攝像機每間隔3幀選取1次數(shù)據(jù)，完成雷達與相機時間上的對準。雷達與視覺坐標系對準規(guī)則如圖2所示。

圖2 雷達與視覺時間同步示意圖

通過空間坐標系與時間坐標系的轉(zhuǎn)換得到毫米波雷達跟蹤檢測結(jié)果在視覺圖像上的投影，如圖3所示。其中，紅色部分為雷達檢測跟蹤結(jié)果，range為前車與實驗車相對距離，speed為前車與實驗車的相對速度。

圖3 雷達目標投影ROI區(qū)域

2 基于深度視覺的車輛檢測

采用檢測精度與檢測速度都有較好表現(xiàn)的SSD（single shot multibox detector）神經(jīng)網(wǎng)絡算法作為視覺檢測算法。SSD算法直接在卷積網(wǎng)絡層進行檢測，其檢測速度比基于分類檢測的two?stage方法大大提高；同時SSD算法通過提取不同尺度的特征圖，更好地適應不同尺寸物體的檢測。SSD算法網(wǎng)絡結(jié)構(gòu)如圖4所示。

圖4 SSD檢測算法網(wǎng)絡結(jié)構(gòu)圖

為解決SSD算法中參數(shù)過多、訓練難度較大的問題，采用輕量級神經(jīng)網(wǎng)絡模型MobileNetV2替換原始SSD算法中的VGG模型［23］。MobileNetV2網(wǎng)絡結(jié)構(gòu)通過深度可分離卷積與逆殘差的方法，大大減少網(wǎng)絡參數(shù)的同時保證較好的檢測精度。

截取滴滴車載視頻幀，并手動標注車輛數(shù)據(jù)集訓練卷積神經(jīng)網(wǎng)絡［24］。其中手動標注車輛數(shù)據(jù)集過程如圖5所示。選取6 000張標注數(shù)據(jù)集進行神經(jīng)網(wǎng)絡訓練，另選取2 000張數(shù)據(jù)集進行檢測。設置訓練的最大迭代次數(shù)為120k次，訓練過程中實時記錄損失函數(shù)值的變化，直到損失函數(shù)值穩(wěn)定不變時結(jié)束訓練。損失函數(shù)值變化如圖6所示。

圖5 手動標注數(shù)據(jù)集示例圖

圖6 滴滴數(shù)據(jù)集訓練損失函數(shù)值變化圖

訓練結(jié)束后對2 000張待檢測圖片進行平均準確率（average precision，AP）的計算，所得AP值為0.792。為進一步測試神經(jīng)網(wǎng)絡檢測算法的準確率，在天氣晴朗、光線良好的條件下采集4段城市道路視頻，并以每隔10幀的方式隨機抽取視頻圖像數(shù)據(jù)輸入至神經(jīng)網(wǎng)絡進行檢測。其中，視頻幀大小為1920像素×1080像素。表1為神經(jīng)網(wǎng)絡算法基于采集視頻的檢測結(jié)果，圖7為神經(jīng)網(wǎng)絡算法檢測結(jié)果圖。其中，車輛總數(shù)為抽取到所有幀視頻圖像中車輛數(shù)目的總和，正確檢測數(shù)目為算法檢測出車輛的總和，漏檢數(shù)目為算法未檢測到車輛的總和?？梢钥闯?，基于所提出的SSD+MobileNetV2神經(jīng)網(wǎng)絡檢測方法進行車輛識別的平均準確率為84.3%，平均漏檢率為3.1%，實時檢測幀率為24幀/s。結(jié)果表明，基于手動標注滴滴數(shù)據(jù)集訓練的SSD+MobileNet V2神經(jīng)網(wǎng)絡算法能快速準確地識別前方車輛。

圖7 神經(jīng)網(wǎng)絡算法檢測結(jié)果

表1 神經(jīng)網(wǎng)絡算法檢測結(jié)果統(tǒng)計

3 毫米波雷達與深度視覺信息融合框架

在完成雷達AEKF跟蹤和深度學習算法的訓練后，須對毫米波雷達與深度視覺檢測跟蹤結(jié)果進行融合。提出決策級融合策略，具體流程如圖8所示。首先，將毫米波雷達原始數(shù)據(jù)進行閾值篩選與前后幀關聯(lián)，得到目標特征信息之后進行時間坐標系與空間坐標系的轉(zhuǎn)換和對準，基于AEKF算法將跟蹤檢測結(jié)果投影至視覺圖像；其次，標注車載數(shù)據(jù)集進行SSD+MobileNetV2神經(jīng)網(wǎng)絡訓練，完成深度視覺目標檢測；最后，將雷達與深度視覺檢測跟蹤結(jié)果進行融合。

圖8 融合框架邏輯圖

對兩種傳感器得到的檢測框計算交并比（IOU）以便進行決策級判斷。IOU計算公式為

式中：SV為深度視覺檢測矩形框面積；SR為毫米波雷達檢測跟蹤矩形框面積。當IOU∈[0.5，1]，輸出視覺檢測類別與位置信息；當IOU∈(0，0.5)，輸出視覺檢測類別與毫米波雷達檢測的目標位置和狀態(tài)信息；當IOU=0時，針對SV≠0，SR=0和SV≠0，SR≠0的情況均不輸出檢測結(jié)果，當SV=0，SR≠0時僅輸出雷達檢測目標位置與狀態(tài)信息，直至IOU≠0。

基于上述毫米波雷達與視覺信息融合規(guī)則，對于不同情況下的車輛狀態(tài)均能對其位置信息進行融合且獲得較為準確的前方車輛位置狀態(tài)輸出。

4 實驗結(jié)果分析

主要對日間結(jié)構(gòu)化高速和快速道路環(huán)境下的車輛檢測進行研究。用于驗證本文融合算法有效性的實驗數(shù)據(jù)包含復雜道路背景、路面陰影、密集車輛和不同車距車輛等多種道路環(huán)境。實驗采用的毫米波雷達型號為德國的Delphi ESR，工作頻率20 Hz。視覺傳感器型號為羅技C920 Pro攝像頭，采集分辨率為1920×1080，采集頻率為30幀/s。計算機平臺的配置為Intel Core i7?8700k處理器，NVIDIA RTX 2080 8G顯存，滿足神經(jīng)網(wǎng)絡訓練與檢測的要求。算法采用Python語言實現(xiàn)，其中神經(jīng)網(wǎng)絡算法采用pytorch神經(jīng)網(wǎng)絡框架進行搭建。實驗融合檢測結(jié)果如圖9所示。其中，綠色框為毫米波雷達跟蹤檢測框，紅色框為神經(jīng)網(wǎng)絡算法檢測框。本文算法檢測統(tǒng)計如表2所示，文獻［18］方法檢測結(jié)果如表3所示，不同檢測算法檢測速度對比結(jié)果如表4所示。

圖9 算法檢測結(jié)果

表2 本文方法檢測結(jié)果統(tǒng)計

表3 文獻［18］方法檢測結(jié)果統(tǒng)計

表4 不同檢測算法檢測速度對比

為驗證所提出的基于AEKF算法跟蹤與深度視覺信息融合算法的穩(wěn)定性與準確性，與文獻［18］中的算法進行對比分析。對比表2與表3可見，基于相同視頻序列的檢測結(jié)果，本文提出的毫米波雷達AEKF檢測跟蹤算法與深度視覺算法對前方車輛檢測精度與漏檢情況皆優(yōu)于文獻［18］中的傳統(tǒng)檢測方法，進而提升了兩種傳感器信息融合檢測的精度。文獻［18］中采用EKF算法對毫米波雷達目標進行跟蹤，并未考慮噪聲先驗統(tǒng)計特性和外部環(huán)境動態(tài)變化對濾波精度的影響。此外，其采用傳統(tǒng)的基于HOG特征的SVM分類器對車輛進行檢測，泛化能力較差，較難在復雜應用場景中達到快速準確檢測的效果。本文改進方法采用AEKF算法對毫米波雷達進行跟蹤，檢測準確率達93.2%，有效降低了雷達漏檢、誤檢對目標檢測的影響。采用SSD+MobileNetV2神經(jīng)網(wǎng)絡算法提升了檢測準確率，針對實車道路場景測試能達到22幀/s的檢測速度，實現(xiàn)了快速準確檢測目標。基于決策級融合策略，降低了光照、陰影等環(huán)境對算法的影響，進一步提升了檢測精度，減少了漏檢與誤檢情況的發(fā)生，提高對目標車輛位置、運動狀態(tài)和幾何參數(shù)估計的準確性。

5 結(jié)論

（1）針對融合毫米波雷達與機器視覺的信息檢測跟蹤算法準確率低和實時性較差的問題，提出一種基于自適應EKF濾波跟蹤算法。在未知噪聲先驗統(tǒng)計特性和外部環(huán)境動態(tài)變化的情況下，利用毫米波雷達觀測數(shù)據(jù)不斷在線估計和修正濾波器噪聲統(tǒng)計特性，以提高濾波精度與穩(wěn)定性。

（2）針對傳統(tǒng)機器視覺檢測算法精度較低、檢測速度較慢的問題，采用SSD+MobileNetV2的神經(jīng)網(wǎng)絡算法進行前方車輛檢測，進一步提升融合檢測算法的精度與速度。

（3）提出毫米波雷達與深度視覺信息融合框架，為驗證融合框架檢測跟蹤的有效性，進行了不同交通環(huán)境場景下的實車實驗。在存在光照變化、路面陰影和道路車輛密集的情況下，所提出的算法依然能快速準確地對前方車輛進行檢測跟蹤。結(jié)果表明所提出的檢測跟蹤算法有效降低了雷達檢測跟蹤的漏檢率，提高了車輛檢測精度與速度。

（4）所提出的融合毫米波雷達與深度視覺信息檢測跟蹤算法可實時檢測跟蹤前方車輛，具有比傳統(tǒng)方法更好的可靠性與穩(wěn)定性，對提高智能汽車環(huán)境感知性能具有重要的意義。