摘要:隨著汽車技術(shù)的快速發(fā)展,智能駕駛輔助系統(tǒng)(ADAS)在提高道路交通安全性方面的作用越來越重要,然而現(xiàn)有系統(tǒng)在復(fù)雜道路環(huán)境下的安全性能仍有待提高。通過分析車載傳感器數(shù)據(jù)對(duì)ADAS性能進(jìn)行優(yōu)化,采用機(jī)器學(xué)習(xí)算法對(duì)多源傳感器數(shù)據(jù)進(jìn)行融合與分析,并由此提出一種障礙物檢測與軌跡預(yù)測改進(jìn)方法。實(shí)車測試結(jié)果表明,該方法在檢測準(zhǔn)確率和計(jì)算效率方面均優(yōu)于現(xiàn)有算法,研究成果可為ADAS的進(jìn)一步優(yōu)化提供新的思路和方法。
關(guān)鍵詞:智能駕駛輔助系統(tǒng);車載傳感器;數(shù)據(jù)融合;機(jī)器學(xué)習(xí);障礙物檢測;軌跡預(yù)測
0 前言
近年來,作為智能汽車的重要組成部分,智能駕駛輔助系統(tǒng)(ADAS)發(fā)展迅速。目前,ADAS已實(shí)現(xiàn)自適應(yīng)巡航控制、車道偏離預(yù)警、自動(dòng)緊急制動(dòng)等功能,然而現(xiàn)有ADAS在復(fù)雜環(huán)境下的表現(xiàn)仍有待提高,主要問題包括多傳感器數(shù)據(jù)融合效率不高、環(huán)境感知精度不足、系統(tǒng)響應(yīng)延遲等。隨著5G通信、邊緣計(jì)算等新技術(shù)的發(fā)展,ADAS正朝著更智能、更可靠的方向發(fā)展[1]。未來,ADAS將進(jìn)一步融合人工智能(AI)技術(shù),實(shí)現(xiàn)更精準(zhǔn)的環(huán)境感知和決策控制,為實(shí)現(xiàn)高級(jí)別自動(dòng)駕駛奠定基礎(chǔ)。本研究聚焦利用車載傳感器數(shù)據(jù)優(yōu)化ADAS性能,通過分析多源傳感器數(shù)據(jù),探索高效的融合與處理方法。研究目標(biāo)包括提出改進(jìn)的多源數(shù)據(jù)融合算法,設(shè)計(jì)高效的障礙物檢測與軌跡預(yù)測方法,并通過實(shí)車測試驗(yàn)證其有效性,以提升系統(tǒng)在復(fù)雜場景下的感知能力和決策水平。
1 研究目的
1. 1 研究對(duì)象
車載傳感器是ADAS的“眼睛”和“耳朵”,對(duì)系統(tǒng)的性能起著決定性作用。常用的車載傳感器包括攝像頭、毫米波雷達(dá)、激光雷達(dá)、超聲波傳感器等,其中:攝像頭可識(shí)別車道線、交通標(biāo)志等視覺信息,毫米波雷達(dá)可在惡劣天氣下準(zhǔn)確測量目標(biāo)距離和速度,激光雷達(dá)能提供高精度三維點(diǎn)云數(shù)據(jù),超聲波傳感器可用于近距離障礙物的檢測。這些傳感器各有優(yōu)缺點(diǎn),需要通過數(shù)據(jù)融合來互補(bǔ)。近年來,新型傳感器(如事件相機(jī)、熱成像相機(jī)等)也開始應(yīng)用于ADAS,進(jìn)一步豐富了系統(tǒng)的感知能力。
1. 2 研究目標(biāo)與創(chuàng)新點(diǎn)
本研究旨在通過優(yōu)化車載傳感器數(shù)據(jù)的處理和利用,提升ADAS性能。主要研究目標(biāo)包括:① 提出一種改進(jìn)的多源傳感器數(shù)據(jù)融合算法,提高系統(tǒng)對(duì)環(huán)境的感知精度;② 設(shè)計(jì)基于深度學(xué)習(xí)的障礙物檢測與軌跡預(yù)測方法,增強(qiáng)系統(tǒng)對(duì)復(fù)雜場景的適應(yīng)能力;③ 優(yōu)化系統(tǒng)響應(yīng)機(jī)制,縮短決策時(shí)間。研究的創(chuàng)新點(diǎn)在于:① 采用注意力機(jī)制增強(qiáng)多源數(shù)據(jù)融合效果;② 引入時(shí)空?qǐng)D卷積網(wǎng)絡(luò)提高軌跡預(yù)測準(zhǔn)確性;③ 設(shè)計(jì)輕量化神經(jīng)網(wǎng)絡(luò)模型,實(shí)現(xiàn)邊緣設(shè)備上的實(shí)時(shí)處理。這些創(chuàng)新將有助于ADAS在實(shí)際道路環(huán)境中發(fā)揮更好的性能。
2 多源傳感器數(shù)據(jù)融合方法
2. 1 數(shù)據(jù)預(yù)處理技術(shù)
本研究采用多階段數(shù)據(jù)預(yù)處理技術(shù)提高融合效率。首先,對(duì)原始傳感器數(shù)據(jù)進(jìn)行時(shí)間同步,采用線性插值法將不同采樣率的數(shù)據(jù)對(duì)齊到統(tǒng)一時(shí)間戳。其次,進(jìn)行空間配準(zhǔn),利用已標(biāo)定的外參矩陣將不同傳感器數(shù)據(jù)轉(zhuǎn)換到車體坐標(biāo)系。再次,應(yīng)用自適應(yīng)中值濾波法去除異常值,濾波窗口大小根據(jù)數(shù)據(jù)方差動(dòng)態(tài)調(diào)整。最后,通過主成分分析(PCA)進(jìn)行降維,保留95%信息量的特征。試驗(yàn)表明,該預(yù)處理方法可將數(shù)據(jù)融合時(shí)間縮短30%,同時(shí)保持?jǐn)?shù)據(jù)的完整性。
2. 2 基于深度學(xué)習(xí)的特征提取
為提取多模態(tài)數(shù)據(jù)的高級(jí)特征,設(shè)計(jì)了一種多分支深度神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)包含3個(gè)并行分支,分別處理圖像、點(diǎn)云和雷達(dá)數(shù)據(jù)。圖像分支采用ResNet50網(wǎng)絡(luò)結(jié)構(gòu),點(diǎn)云分支使用PointNet++網(wǎng)絡(luò)結(jié)構(gòu),雷達(dá)分支則應(yīng)用一維卷積神經(jīng)網(wǎng)絡(luò)(1DCNN)結(jié)構(gòu)。每個(gè)分支輸出128維特征向量[2]。該網(wǎng)絡(luò)的創(chuàng)新點(diǎn)在于引入注意力機(jī)制融合多模態(tài)特征,自適應(yīng)調(diào)整不同模態(tài)的權(quán)重。試驗(yàn)結(jié)果顯示,與傳統(tǒng)方法相比,該網(wǎng)絡(luò)在KITTI數(shù)據(jù)集上的目標(biāo)檢測準(zhǔn)確率提升12.5%,處理速度提高20%。
2. 3 改進(jìn)的卡爾曼濾波融合算法
本研究提出了一種自適應(yīng)交互式多模型卡爾曼濾波(AMMIKF)算法。該算法同時(shí)維護(hù)多個(gè)動(dòng)態(tài)模型,包括恒速模型、恒加速模型和Singer模型,通過計(jì)算每個(gè)模型的似然概率動(dòng)態(tài)調(diào)整權(quán)重。同時(shí)引入馬爾可夫跳變過程描述模型切換,提高了對(duì)目標(biāo)運(yùn)動(dòng)狀態(tài)突變的適應(yīng)性。另外,設(shè)計(jì)了基于馬氏距離的信息一致性檢驗(yàn),實(shí)現(xiàn)了對(duì)傳感器故障的實(shí)時(shí)檢測。在100 h實(shí)車測試中,AMMIKF算法相比標(biāo)準(zhǔn)卡爾曼濾波,目標(biāo)狀態(tài)估計(jì)均方根誤差降低18.7%,在急轉(zhuǎn)彎等復(fù)雜場景下表現(xiàn)尤為突出。
3 障礙物檢測與軌跡預(yù)測算法設(shè)計(jì)
3. 1 目標(biāo)檢測網(wǎng)絡(luò)架構(gòu)
本研究設(shè)計(jì)了一種新型雙階段目標(biāo)檢測網(wǎng)絡(luò)(DDAN)。DDAN首先使用改進(jìn)的特征金字塔網(wǎng)絡(luò)(FPN)提取多尺度特征,然后通過區(qū)域生成網(wǎng)絡(luò)(RPN)生成候選框。DDAN的創(chuàng)新點(diǎn)在于引入了并行的分類和回歸分支,分類分支采用Focal Loss函數(shù)緩解類別不平衡問題,回歸分支使用GIoU Loss函數(shù)提高定位精度。此外,設(shè)計(jì)了特征重校準(zhǔn)模塊,通過通道注意力機(jī)制和空間注意力機(jī)制增強(qiáng)關(guān)鍵特征。在KITTI數(shù)據(jù)集上的試驗(yàn)表明,DDAN在車輛、行人和自行車3類目標(biāo)的平均精度均值(mAP)達(dá)到89.7%,比YOLOv4提高3.5百分點(diǎn),同時(shí)推理速度達(dá)到25幀/s[3]。表1展示了DDAN與其他目標(biāo)檢測算法在KITTI數(shù)據(jù)集上的性能對(duì)比。
3. 2 時(shí)空注意力機(jī)制的引入
為提高目標(biāo)檢測的時(shí)序一致性,本研究在DDAN的基礎(chǔ)上引入了時(shí)空注意力機(jī)制(TSAM)。TSAM包含2個(gè)關(guān)鍵組件:空間注意力模塊(SAM)和時(shí)間注意力模塊(TAM)。SAM利用自注意力機(jī)制捕捉單幀內(nèi)目標(biāo)間的空間關(guān)系,而TAM則通過跨幀注意力計(jì)算連續(xù)幀間的時(shí)間依賴。在具體實(shí)現(xiàn)中,SAM基于非局部網(wǎng)絡(luò)結(jié)構(gòu),TAM則基于變換器的編碼器-解碼器架構(gòu)。試驗(yàn)結(jié)果表明,引入TSAM后,目標(biāo)檢測的幀間一致性提高了15.3%,尤其在有部分遮擋場景下的效果顯著,誤檢率降低了22.7%。此外,引入TSAM后,系統(tǒng)的計(jì)算負(fù)荷僅增加11%,相較于顯著提升的檢測性能,這種額外開銷是可以接受的。TSAM在提高目標(biāo)檢測準(zhǔn)確度的同時(shí),仍然保證了ADAS系統(tǒng)的實(shí)時(shí)處理能力,使系統(tǒng)能夠在車載環(huán)境下進(jìn)行快速響應(yīng)。
3. 3 基于長短期記憶網(wǎng)絡(luò)的軌跡預(yù)測模型
本研究提出了一種改進(jìn)的長短期記憶網(wǎng)絡(luò)(LSTM)模型用于障礙物軌跡的預(yù)測。該模型采用編碼器-解碼器結(jié)構(gòu),編碼器LSTM提取歷史軌跡特征,解碼器LSTM生成未來軌跡。該模型的創(chuàng)新點(diǎn)包括引入社會(huì)池化層捕捉目標(biāo)間交互、設(shè)計(jì)動(dòng)態(tài)注意力機(jī)制自適應(yīng)調(diào)整不同歷史時(shí)刻的權(quán)重、集成環(huán)境語義信息(如道路結(jié)構(gòu)和交通規(guī)則)。模型在努斯景數(shù)據(jù)集上進(jìn)行了評(píng)估,預(yù)測時(shí)間范圍為3 s,采樣頻率為10 Hz[4]。結(jié)果表明,在平均位移誤差(ADE)和最終位移誤差(FDE)2項(xiàng)指標(biāo)上,改進(jìn)LSTM模型分別比基準(zhǔn)LSTM模型降低了18.5%和22.3%;在復(fù)雜路口場景,改進(jìn)LSTM模型的預(yù)測準(zhǔn)確率提升顯著,為ADAS決策提供了可靠依據(jù)。表2總結(jié)了改進(jìn)LSTM模型與其他軌跡預(yù)測模型在努斯景數(shù)據(jù)集上的性能比較。
4 試驗(yàn)設(shè)計(jì)與結(jié)果分析
4. 1 試驗(yàn)平臺(tái)與數(shù)據(jù)集
研究以改裝的長安CS75車型為試驗(yàn)平臺(tái),配備64線激光雷達(dá)、毫米波雷達(dá)和高清攝像頭。數(shù)據(jù)采集系統(tǒng)基于機(jī)器人操作系統(tǒng)(ROS)架構(gòu),采樣頻率10 Hz。試驗(yàn)數(shù)據(jù)包括自采集的150 h道路數(shù)據(jù)和公開數(shù)據(jù)集(KITTI、努斯景),數(shù)據(jù)類型涵蓋多種天氣和光照條件。預(yù)處理采用NVIDIA DGX Station,訓(xùn)練和測試在RTX 3090 GPU工作站上進(jìn)行。試驗(yàn)環(huán)境為Ubuntu 20.04,使用PyTorch 1.8.0深度學(xué)習(xí)框架。
4. 2 性能評(píng)估指標(biāo)
研究采用多項(xiàng)指標(biāo)評(píng)估算法性能。目標(biāo)檢測指標(biāo)包括mAP、召回率和推理速度,軌跡預(yù)測指標(biāo)包括ADE、FDE和預(yù)測時(shí)間,系統(tǒng)整體性能通過端到端延遲、資源占用率評(píng)估。設(shè)置不同交并比(IoU)閾值(0.5、0.7、0.9)分析檢測性能,評(píng)估1~3 s軌跡預(yù)測效果。通過100 km實(shí)車測試和特定場景(如急轉(zhuǎn)彎、突然制動(dòng))評(píng)估系統(tǒng)整體性能和極端情況表現(xiàn)。
4. 3 對(duì)比試驗(yàn)結(jié)果
DDAN-TSAM算法與其他方法在不同數(shù)據(jù)集上的性能對(duì)比見表3。由表3可知,DDAN-TSAM算法在多個(gè)方面優(yōu)于現(xiàn)有方法。在KITTI數(shù)據(jù)集上,該算法的mAP達(dá)到91.2%,超過YOLOv4和Faster R-CNN。自采集數(shù)據(jù)集的測試中,DDANTSAM在復(fù)雜城市環(huán)境的檢測召回率提升了8.7%,誤報(bào)率降低了15.3%。軌跡預(yù)測模型在努斯景數(shù)據(jù)集上的3 s預(yù)測ADE和FDE分別降低了22.1%和25.7%,優(yōu)于Social-LSTM和ConvLSTM。在自采集高速數(shù)據(jù)上,長時(shí)間預(yù)測(>5 s)的ADE降低了31.5%。系統(tǒng)整體性能測試顯示,端到端平均延遲為45 ms,峰值不超過80 ms,滿足實(shí)時(shí)性要求[5]。在急轉(zhuǎn)彎等極端場景測試中,系統(tǒng)的目標(biāo)檢測準(zhǔn)確率保持在85%以上,比基準(zhǔn)系統(tǒng)高12百分點(diǎn)。
4. 4 算法性能分析
DDAN-TSAM算法在小目標(biāo)檢測、遮擋處理和計(jì)算效率等方面表現(xiàn)優(yōu)異。結(jié)果表明,特征重校準(zhǔn)模塊使50 m外小目標(biāo)檢測率提升了23.8%; TSAM有效改善了部分遮擋目標(biāo)的檢測穩(wěn)定性,使漏檢率降低17.5%;盡管引入了復(fù)雜的注意力機(jī)制,通過模型壓縮和量化,算法推理速度僅降低5%,達(dá)到22幀/s;軌跡預(yù)測模型在多目標(biāo)交互場景中表現(xiàn)突出,如十字路口預(yù)測準(zhǔn)確率比傳統(tǒng)方法提高35%。然而,在極度擁堵的交通流中,DDANTSAM算法的預(yù)測性能略有下降,這可能是由于社會(huì)池化層信息過載導(dǎo)致。系統(tǒng)在雨天和夜間的檢測性能分別下降7%和12%,優(yōu)于基準(zhǔn)系統(tǒng)的15%和22%。但在大霧天氣中,系統(tǒng)性能出現(xiàn)了明顯下降。在能見度低于100 m的大霧條件下,DDANTSAM算法的目標(biāo)檢測準(zhǔn)確率從晴天時(shí)的91.2%降至73.5%,降幅達(dá)到19.4%。同時(shí),系統(tǒng)的平均檢測距離從150 m縮短至85 m,軌跡預(yù)測的ADE增加了28.7%。這些數(shù)據(jù)表明,大霧天氣對(duì)系統(tǒng)性能的影響顯著,亟需進(jìn)一步優(yōu)化。因此,提高系統(tǒng)在惡劣天氣條件下的感知能力將是未來研究的重點(diǎn)方向之一。
5 結(jié)語
本研究通過深入分析車載傳感器數(shù)據(jù)提出了一種改進(jìn)的ADAS優(yōu)化方法,研究成果不僅在理論上拓展了多源數(shù)據(jù)融合和目標(biāo)檢測的新思路,而且在實(shí)際應(yīng)用中展現(xiàn)了良好的性能。后續(xù)研究將進(jìn)一步探索算法在更多復(fù)雜場景下的適應(yīng)性,并考慮將其與車輛控制系統(tǒng)深度集成,為實(shí)現(xiàn)更安全、更智能的自動(dòng)駕駛技術(shù)奠定基礎(chǔ)。
參考文獻(xiàn)
[1] 趙建輝.智能駕駛多模態(tài)感知方法研究[D].北京:清華大學(xué),2019.
[2] 解來卿.基于結(jié)構(gòu)共用的智能電動(dòng)車輛傳感器優(yōu)選配置與節(jié)能控制[D].北京:清華大學(xué), 2019.
[3] 牛立鵬,張沙,張朝陽,等.礦用卡車智能駕駛系統(tǒng)多車協(xié)同仿真研究[J].控制與信息技術(shù), 2022(5):94-100.
[4] 張琳.車載傳感器在汽車自動(dòng)駕駛中的應(yīng)用[J].汽車畫刊,2024(5):43-45.
[5] 胡浩卿.面向調(diào)度優(yōu)化的車載多源傳感器數(shù)據(jù)融合算法分析[J].電子技術(shù),2023,52(12): 369-371.