吳學舟 李岳松

摘要：近年來人工智能技術快速發(fā)展，其中以深度學習為代表的技術極大提升了圖像識別精確度，降低了目標識別成本，同時帶動了智能車輛普及。使用傳統(tǒng)單一的激光雷達、車載攝像頭等傳感器采集車輛周圍環(huán)境數據時會出現因傳感器自身劣勢特性，導致車輛在復雜天氣、道路等環(huán)境中容易出現數據采集不全、不準，從而影響車輛最終的決策判斷和出現車輛行駛安全隱患。本文研究了使用單一激光雷達、車載攝像頭傳感器的識別系統(tǒng)工作原理與存在的識別問題，提出激光雷達與攝像頭數據融合的智能車輛環(huán)境感知模式，提升智能車輛環(huán)境識別的精確度。

關鍵詞：車輛環(huán)境感知；傳感器融合技術；人工智能；數據層；特征層；決策層

中圖分類號： TP274 文獻標識碼：A

0 引言

2020 年11 月，國務院辦公廳印發(fā)《新能源汽車產業(yè)發(fā)展規(guī)劃（2021―2035 年）》，提出了智能汽車的發(fā)展方針，對提升汽車智能化水平，推動汽車與交通、信息通信等融合發(fā)展作了相關部署[1]。因此，智能化汽車、智能交通是汽車行業(yè)未來發(fā)展的重要方向。智能汽車就是通過搭載各類傳感器等裝置，運用人工智能、通信網絡等技術，從而使汽車具有環(huán)境感知、決策判斷和車輛控制三項主要技術功能[2]。

車輛環(huán)境感知技術可以準確收集道路車輛、行人和交通標志等車輛周圍信息，充當著智能汽車的眼睛，能用數字化的方式觀察汽車周圍道路情況。目前主流的汽車環(huán)境感知方式采用各類傳感器提取道路信息，如車載攝像頭、激光雷達和毫米波雷達等。智能汽車還要對各類傳感器采集到的數據進行多次加工處理，如完成圖像處理、目標識別、距離判斷和路徑規(guī)劃等，讓智能汽車自動、實時地計算車輛路徑，降低駕駛員疲勞度，減少車輛安全隱患。車輛控制技術主要是按照決策判斷的指令操作車輛起停、轉向等，最終實現車輛自動駕駛、環(huán)境避障功能。

車輛環(huán)境感知技術作為智能汽車重要的組成部分，通過采集實時且精準的道路環(huán)境信息，為車輛決策判斷提供支撐。車輛周圍環(huán)境信息采集后，需要對傳感器原始數據去噪、校正和融合，最后運用基于GPU 架構的深度學習技術[3]，完成對周圍目標的檢測。本文通過對單一的車載傳感器識別方式進行研究，提出了基于激光雷達與攝像頭數據融合的技術模式，最后對基于車載激光雷達與攝像頭融合技術進行總結。

1 基于激光雷達三維環(huán)境感知技術

車載激光雷達是掃描車輛周圍環(huán)境主要傳感器設備之一，主要由發(fā)射器、接收器和信息處理器組成。激光雷達工作時，通過激光器發(fā)射出脈沖激光，接收器接收車輛周圍的地面、樹木和行人等散射信號，最后信息處理器處理接收到的數據，最終得到周圍環(huán)境三維立體圖像（圖1）。但是激光雷達受環(huán)境影響較大，如大雨、濃煙等環(huán)境都會影響獲取數據?；诩す饫走_環(huán)境感知技術是通過激光雷達傳感器獲取車輛周圍物體點云三維形狀，從而進行目標檢測。激光雷達主要目標檢測算法包括基于傳統(tǒng)的目標檢測和基于深度學習的目標檢測。

1.1 基于傳統(tǒng)激光雷達目標檢測

傳統(tǒng)激光雷達系統(tǒng)的目標檢測是由數據預處理、提取特征和目標分類三個部分組成。首先，激光雷達傳感器采集環(huán)境點云數據，但在采集中會存在如浮塵等噪聲，因此需要通過數據預處理技術降低噪聲干擾，減少干擾數據。其次，使用提取特征技術對點云特征進行提取。最后將具有相同特征點云聚類一起，完成目標檢測。

1.2 基于深度學習的激光雷達目標檢測

近年來，深度學習技術在目標檢測領域中大受青睞，尤其以卷積神經網絡為代表的技術，在交通檢測[4]、醫(yī)院檢測等領域具有重要應用價值。基于深度學習的激光雷達目標檢測主要包括二維投影點云檢測、點云體素化檢測和點的目標檢測。二維投影點云檢測主要把激光雷達采集到的三維數據信息投影為二維平面，然后再使用卷積神經網絡完成環(huán)境檢測。該方法需要把三維數據轉化為二維數據，因此缺少環(huán)境深度等數據。點云體素化是通過將點云網格進行素華，然后使用3D 卷積神經網絡進行目標檢測。點的目標檢測是直接對點云進行3D 卷積神經網絡目標檢測，提取出目標特征信息。

基于激光雷達的環(huán)境感知技術能掃描車輛周圍環(huán)境信息并轉化為三維空間點云數據，但激光雷達無法獲取環(huán)境紋理等特征信息，對交通信號燈也無法有效檢測。因此，該技術目前還無法單獨應用于車輛環(huán)境感知中。

2 基于攝像頭二維圖像環(huán)境感知技術

車載攝像頭由若干個凸透鏡組合而成，采用小孔成像原理把環(huán)境物體經透鏡投影到相機的感光平面上，得到車輛環(huán)境RGB 二維圖片。常見車載攝像頭包括針孔模型、透視模型和魚眼模型等。

2.1 基于攝像頭的傳統(tǒng)機器視覺的目標檢測

傳統(tǒng)的目標檢測由獲取目標、特征提取和目標分類三部分組成。獲取目標主要使用滑動窗口法和紋理特征法選取目標區(qū)域。特征提取是通過對獲取到的目標進行分割、灰度變化等操作，提取圖像特征信息，最終完成目標檢測。傳統(tǒng)機器視覺目標檢測方法要求特征提取員具有較高的專業(yè)領域知識，同時特征提取要進行大量的手工操作，否則缺乏泛化能力。

2.2 基于深度學習的攝像頭目標檢測

卷積神經網絡模型是深度學習技術重要的應用，能自動提取特征信息，提高目標檢測精度。Krizhevsky 等人提出的AlexNet網絡模型完全超越傳統(tǒng)機器視覺的目標檢測[5]，促使智能汽車從傳統(tǒng)的環(huán)境識別轉變?yōu)榛谏疃葘W習技術的識別方式?；谏疃葘W習的攝像頭目標檢測主要分為單階段檢測和兩階段檢測。

單階段檢測取消生成目標候選區(qū)過程，直接對圖像進行處理，從而提升檢測速度。兩階段檢測是先獲取目標候選區(qū)域，再對候選區(qū)域進行分類的圖像處理?；跀z像頭二維圖像環(huán)境檢測能使用較低硬件成本快速獲取車輛環(huán)境二維平面，但攝像頭采集到的數據無法反映環(huán)境空間位置信息，同時攝像頭采集數據時容易受到環(huán)境影響出現識別精度不高等情況。

3 多傳感器數據融合模式

智能汽車環(huán)境感知方式如果采用單一的傳感器采集數據，容易出現數據準確度不高、受環(huán)境干擾大等情況，導致智能汽車在行駛過程中出現決策誤判、環(huán)境目標信息檢測不全等問題，從而降低智能汽車自動駕駛安全性。多傳感器融合技術則是將多個不同種類傳感器進行協(xié)同工作，把多種類傳感器實時數據進行融合（圖2），提升智能汽車對環(huán)境的感知能力和智能化決策能力，有效彌補汽車單一傳感器的限制問題，從而增加智能汽車安全、可靠性，降低駕駛人員和道路行人的安全隱患。多傳感器融合模式包括數據層融合、特征層融合和決策層融合三個部分。

3.1 數據層融合

車載攝像頭能獲取到可見光環(huán)境數據信息，攝像頭相對于激光雷達相比成本較低，是目前應用最廣的傳感器設備之一。攝像頭能應用在智能汽車上實現采集環(huán)境信息，如障礙物、道路和交通標志等。攝像頭傳感器主要獲取到環(huán)境的二維圖像信息，但二維圖像無法體現環(huán)境的深度和尺寸等信息，因此在要求安全性較高的自動駕駛中還需配合其他傳感器共同實現環(huán)境監(jiān)測。車載激光雷達能掃描環(huán)境信息并轉化為三維點云數據，如障礙物三維信息、道路三維信息等。

數據層融合是把車載激光雷達和攝像頭所采集到的原始數據進行融合。數據融合也屬于底層融合，需要把不同傳感器輸出的數據封裝為統(tǒng)一數據源，并為后續(xù)特征提取作好鋪墊。激光雷達和攝像頭數據融合需要進行聯(lián)合標定，通常聯(lián)合標定包含激光雷達、攝像頭、像素和車輛周圍環(huán)境4 種坐標系。要實現激光雷達與攝像頭坐標系融合就需要添加轉化參數，從而找到不同種類傳感器源數據共有的點、線和面等特征信息。

標定攝像頭采用旋轉和平移變化方法。假設攝像頭圖像像素坐標為（x1，y1），激光雷達數據坐標為（x2，y2，z2），k 代表攝像機參數，（r，t）是旋轉和平移矩陣，由此可以根據下列公式標定攝像頭和激光雷達的數據。

把激光雷達采集到三維數據與攝像頭采集的二維數據融合，目前常用的技術有基于標靶、基于無靶、基于運動標定和基于深度學習標定?；谏疃葘W習標定能通過多次訓練實現特征提取與特征匹配，其自動化程度高、穩(wěn)定性好。通過提取攝像頭和激光雷達原始數據進行回歸計算，就能自動估計變換范圍，最終完成數據標定。

3.2 特征層融合

目標檢測是近年來人工智能技術領域熱門研究方向，對車輛環(huán)境目標檢測要做到實時、精準，也是智能化汽車環(huán)境感知的一個挑戰(zhàn)。通常對汽車車載攝像頭采集到的道路信息進行檢測為二維目標檢測，主要包括單階段檢測算法和兩階段檢測算法兩種。由于要滿足智能汽車檢測和部署速度，一般采用簡短檢測算法完成車輛環(huán)境目標檢測。

車載激光雷達采集的數據進行目標檢測屬于三維目標檢測，三維目標檢測能對目標空間、姿態(tài)和深度進行檢測，從而提升目標檢測精準度。激光雷達傳感器收集的三維數據主要用于圖像的檢測和點云與圖像融合的檢測。三維目標檢測技術運用在目標檢測、目標跟蹤和語義分割等智慧車輛環(huán)境感知中?；邳c云的目標檢測目前主流算法有K-Means 算法、DBSCAN 算法等，能對激光雷達采集到的點云數據進行處理。

特征層融合是對多傳感器數據融合后，進行數據特征法的提取，該操作也通常稱為中間層融合。特征層數據融合以一個單位特征量的形式輸出，相比數據層的數據，特征層把數據融合后還要進行關鍵特征提取工作。目前特征層融合只對多傳感器采集的重點感知數據進行特征提取。

特征層融合內容主要有目標狀態(tài)數據融合和目標特特征數據融合兩大類。其中，目標狀態(tài)數據融合是把多種類傳感器采集到的數據進行數據匹配，找出具有相同或不同特性的數據信息，最后再修改數據關聯(lián)參數以及數據狀態(tài)信息，從而實現目標跟蹤。目標特征融合是完成數據特征矢量分類的操作，最終實現目標檢測。因此特征層的主要功能是對數據層結合后的數據進行加工與提取，為車輛環(huán)境目標識別、軌跡計算等提供支撐數據。

3.3 決策層融合

決策層融合是對已完成特征提取的各類傳感器數據結果進行融合。通過前2 個步驟，已對各類傳感器數據的融合和特征提取，決策層融合與數據層和特征層融合相比，在抗干擾性方面有一定優(yōu)勢，在惡劣環(huán)境下的車輛檢測周圍信息有較強的魯棒性，提高車輛環(huán)境感知能力和精確度。決策層融合會把多個傳感器特征結果進行統(tǒng)一融合分析，從而彌補單一傳感器的劣勢問題（表1）。

決策層能融合多傳感器數據并完成目標識別，從而提升智能化汽車在動態(tài)環(huán)境中的安全能力。而基于深度學習的目標檢測可以高效檢測汽車環(huán)境信息、道路信息和交通標準信息，提升檢測的精準度。目標常用的深度學習技術有生成式模式、圖神經網絡模型等，能自動、快速地做出決策。因此決策層可以彌補部分傳感器采集數據時因環(huán)境、天氣等情況出現的數據不完整等情況，分析多個傳感器數據信息并自動找出最優(yōu)數據。

4 結束語

本文基于對單一激光雷達傳感器與單一攝像頭傳感器識別技術的研究，提出激光雷達與攝像頭多種類傳感器數據層融合、特征層融合和決策層融合模式，對激光雷達和攝像頭轉化參數標定，多傳感器數據融合層次進行分析。目前在智能汽車領域環(huán)境感知中，使用深度學習技術促進多傳感器融合的研究越來越多，能有效改進智能車輛因使用單一傳感器而受到天氣、環(huán)境等干擾所導致的識別精度不高問題，可以增強智慧汽車環(huán)境感知的魯棒性。基于激光雷達與攝像頭融合環(huán)境感知技術，能有效提升智能汽車環(huán)境感知能力。但決策層融合技術目前對多傳感檢測時還存在檢測結果匹配度不高、有效性不足等問題，需要多方協(xié)同完善數據整合、優(yōu)先級判斷和決策選擇等情況。

【參考文獻】

[1] 新華網. 國務院辦公廳印發(fā)《新能源汽車產業(yè)發(fā)展規(guī)劃（2021 － 2035年）》[EB/OL].（ 2020-11-02） [2023-10-12]. https：//baijiahao.baidu.com/s？id=1682239764162107391&wfr=spider&for=pc.

[2] 崔明陽， 黃荷葉， 許慶， 等. 智能網聯(lián)汽車架構、功能與應用關鍵技術[J]. 清華大學學報（ 自然科學版）， 2022， 62（3）： 493-508.

[3] 彭湃， 耿可可， 王子威等. 智能汽車環(huán)境感知方法綜述[J/OL]. 機械工程學報：1-23[2023-10-26].http：//kns.cnki.net/kcms/detail/11.2187.TH.20230927.1635.038.html.

[4] 張文熾， 陳黎輝， 吳煒等. 基于卷積神經網絡特征融合的交通標志識別[J].計算機應用，2019，39（S1）：21-25.

[5] Krizhevsky A，Sutskever I，Hinton E G. ImageNet classification withdeep convolutional neural networks[J]. Communications of theACM，2017，60（6） ： 84-90.

作者簡介：

吳學舟，本科，工程師，研究方向為智能網聯(lián)汽車、車載智能感知測試。李岳松，?？?，助理工程師，研究方向為新能源汽車電子測試。