曹禮軍 魏源伯 王祎男 關(guān)瀛洲

（1.中國第一汽車股份有限公司創(chuàng)新技術(shù)研究院，長春 130013;2.汽車振動噪聲與安全控制綜合技術(shù)國家重點實驗室，長春 130013）

主題詞：多源 傳感融合 感知數(shù)據(jù) 關(guān)聯(lián)濾波算法 智能駕駛

縮略語

LiDAR Light Detection And Ranging

NNDA Nearest Neighbor Data Association

GNN Global Nearest Neighbor

PDA Probabilistic Data Association

JPDA Joint Probabilistic Data Association

KF Kalman Filter

EKF Extended Kalman Filter

UKF Unscented Kalman Filter

CV Constant Velocity

CA Constant Acceleration

CTRV Constant Turn Rate and Velocity

PF Particle Filter

DS Dempster Shafer

FIS Fuzzy Inference System

1 前言

近年來，智能駕駛技術(shù)發(fā)展迅速，智能駕駛汽車應(yīng)用廣泛。對于消費者來說，智能駕駛的安全問題是其關(guān)注的首要問題，即需要保證智能駕駛感知系統(tǒng)對目標檢測的實時性和準確性。感知系統(tǒng)通過使用可覆蓋所關(guān)注重點區(qū)域的傳感器布局，獲取周圍環(huán)境的實時信息，進行目標定位和紋理信息提取，作為路徑規(guī)劃的重要輸入源。在此過程中，傳感器對感知周圍環(huán)境和定位車輛的路徑規(guī)劃和決策至關(guān)重要。目前使用的傳感器主要包括攝像頭、激光雷達、毫米波雷達。不同傳感器的性能各不相同，在不同的使用環(huán)境中可以發(fā)揮各自的優(yōu)勢。多源傳感融合技術(shù)就是從不同角度、全方位層次進行數(shù)據(jù)關(guān)聯(lián)匹配與系統(tǒng)融合，將多個傳感器獲取的數(shù)據(jù)、信息集中在一起綜合分析，執(zhí)行相應(yīng)的信息處理，以便更加準確可靠地描述外界環(huán)境，從而提高系統(tǒng)決策的正確性，使得整個感知系統(tǒng)更加智能[1]。目前，多源傳感融合技術(shù)已成為一個研究熱點。

多源傳感融合技術(shù)具有以下優(yōu)勢：

（1）有效擴大了感知覆蓋范圍，可實現(xiàn)360°零死角全覆蓋；

（2）提高了感知系統(tǒng)結(jié)果的置信度，增強系統(tǒng)容錯性、安全性及魯棒性；

（3）當某個傳感器發(fā)生故障時，感知系統(tǒng)仍可以向后端輸出高置信度信息，保證了整個智能駕駛系統(tǒng)的正常運行。

本文從3種常見傳感器的融合出發(fā)，重點總結(jié)智能駕駛多源傳感融合技術(shù)的研究進展，梳理車路協(xié)同融合技術(shù)發(fā)展趨勢。

2 智能駕駛常用傳感器

傳感器在整個智能駕駛系統(tǒng)中具有至關(guān)重要的作用，其主要目的是將感受到的被測量信息按一定規(guī)律轉(zhuǎn)換為其它所需形式的信息輸出[2]。智能駕駛常用傳感器有激光雷達、攝像頭和毫米波雷達。在多源傳感融合中，各傳感器以固定的周期頻率將雷達點云、高分辨率視覺圖像原始信息實時傳送給感知模塊處理。

2.1 激光雷達

激光雷達（Light Detection And Ranging,LiDAR）分為機械式和固態(tài)式，主要由發(fā)射系統(tǒng)、接收系統(tǒng)、信息處理3個模塊組成，能夠準確識別出障礙物具體的空間位置及輪廓信息。其工作原理是通過多線發(fā)射器不斷向四周發(fā)射光波探測信號，然后根據(jù)反射或散射光波的測量時間及反射率參數(shù)[3]進行計算。其優(yōu)勢是探測距離較遠，能達到厘米級別檢測精度，且漏識別率很低。隨著多線激光雷達的發(fā)展，其分辨率越來越高。但是，激光雷達的缺點如下：

（1）體積大，安裝位置比較受限；

（2）比其它2種傳感器成本高；

（3）對工作環(huán)境要求高，受天氣環(huán)境影響較大，在雨霧、風沙等天氣時會受到極大的干擾，甚至無法工作[3]。

2.2 攝像頭

攝像頭是目前智能駕駛汽車最常用的傳感器，具有成本低、可識別目標種類多的優(yōu)勢。根據(jù)探測精度和所負責功能范圍不同，攝像頭可分為廣角、窄角、魚眼和雙目攝像頭。在普通光照條件下，視覺感知系統(tǒng)實時獲取攝像頭拍攝的明顯幾何特征、邊界特征和灰度直方圖特征的圖像，可利用這些特征信息識別圖像中關(guān)注的車輛或行人目標，獲得目標在圖像上的位置、速度、尺寸和顏色狀態(tài)信息[4]。不過視覺感知技術(shù)十分依賴算法性能，而算法模型需要海量的數(shù)據(jù)進行訓練，對于訓練模型有極高的性能要求，并且無法獲得更多的深度信息。此外，攝像頭受逆光、能見度等環(huán)境因素影響頗大[5]，識別準確率在不同環(huán)境下會有較大波動。

2.3 毫米波雷達

毫米波雷達是利用1～10 mm波長[6]的電磁波通過振蕩器形成持續(xù)變化的信號，由發(fā)出信號和接收信號之間的頻率差來計算車輛與物體距離。毫米波雷達技術(shù)成熟、成本低、受天氣影響較小、探測距離遠，并可以直接探測目標速度，因此在智能駕駛中應(yīng)用廣泛。但毫米波雷達識別精度有限，受多普勒效應(yīng)影響，主流的毫米波雷達甚至無法判斷垂直障礙物信息，難以判斷障礙物的具體輪廓[7]，對小尺寸障礙物的判斷更加模糊，因此在更高級別的智能駕駛汽車上，通常只將其作為輔助傳感器。3種傳感器性能比較見表1。

表1 3種傳感器性能比較

目前，隨著智能駕駛商業(yè)化發(fā)展迅速，大多數(shù)車型均配有ADAS功能，其中感知模塊主要使用攝像頭、毫米波雷達、激光雷達這3種傳感器驅(qū)動。而實際應(yīng)用中，各種傳感器均存在優(yōu)勢與不足，單一傳感器的性能無法支撐日常復雜的道路環(huán)境[8]。只有將汽車搭配多種傳感器，形成優(yōu)勢互補，再加上針對實際傳感器性能所開發(fā)的融合技術(shù)進行優(yōu)化處理，才能更全面精細的獲取環(huán)境數(shù)據(jù)，并給出相對更準確的處理方案。

3 多源傳感融合技術(shù)

3.1 傳感器融合

傳感器融合是智能駕駛的一個重要研究方向，是將多個傳感器采集到的數(shù)據(jù)進行集成，減少了檢測數(shù)據(jù)的不確定性，彌補了單個傳感器獨立工作的缺點。此外，傳感器融合有助于建立一致的模型，在各種環(huán)境條件下準確感知周圍環(huán)境（如攝像頭和雷達融合可以提供高分辨率的圖像和感知場景中檢測到的障礙物的相對速度）[9]。

針對智能駕駛汽車環(huán)境感知和目標檢測的多傳感器融合系統(tǒng)，目前，主要有3種用于障礙物檢測的傳感器組合，包括攝像頭-激光雷達（Camera-LiDAR,CL）；攝像頭-毫米波雷達（Camera-Radar,CR）；攝像頭-激光雷達-雷達（Camera-LiDAR-Radar,CLR）傳感器組合。CR傳感器組合提供高分辨率圖像，同時獲取周圍障礙物的額外距離和速度信息。而CLR傳感器組合可以提供更大范圍的分辨率，并通過激光雷達點云和深度信息精確了解周圍環(huán)境，提高了整體自主駕駛的安全冗余度系統(tǒng)[2]。

3.2 數(shù)據(jù)關(guān)聯(lián)

數(shù)據(jù)關(guān)聯(lián)的目的是將多傳感器信息進行有效的處理，從而得到比單一傳感器更加精確可靠的結(jié)果。在多源傳感融合系統(tǒng)研究中，目標關(guān)聯(lián)問題是最為重要和最為困難的問題之一，其難點為：在密集復雜的環(huán)境中，很難區(qū)分相近目標的跟蹤軌跡，需要對多傳感器的檢測數(shù)據(jù)進行匹配關(guān)聯(lián)，進行穩(wěn)定跟蹤[10]。文獻[11]闡述了數(shù)據(jù)關(guān)聯(lián)的概念，即計算當前幀中，從檢測器檢測到的每一個觀測值與前一幀跟蹤器中可能的各種跟蹤目標之間的關(guān)聯(lián)概率，通過概率的匹配度去關(guān)聯(lián)前后幀之間的信息，從而形成一段連續(xù)的軌跡。文獻[12]闡明了數(shù)據(jù)關(guān)聯(lián)的意義，即確定傳感器接收到的量測和目標源之間的對應(yīng)關(guān)系，這種關(guān)系在傳感器觀測過程和目標跟蹤環(huán)境中存在著各種不確定性和隨機性。

數(shù)據(jù)關(guān)聯(lián)算法，主要包括最近鄰數(shù)據(jù)關(guān)聯(lián)算法（Nearest Neighbor Data Association,NNDA）、全局最近鄰算法（Global Nearest Neighbor,GNN）、概率數(shù)據(jù)關(guān)聯(lián)算法（Probabilistic Data Association,PDA）和聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)（Joint Probabilistic Data Association,JPDA）。

3.2.1 最近鄰數(shù)據(jù)關(guān)聯(lián)

NNDA最早是由SINGGER等[13-14]于1971年提出，該算法主要核心思想為：在某一時刻的所有量測中，距離與被跟蹤目標預(yù)測位置最近的量測應(yīng)該作為目標的真實量測，并預(yù)測目標在下一時刻的位置。該算法的基本思想是把關(guān)聯(lián)門看作搜索子空間，僅選取落入關(guān)聯(lián)門范圍內(nèi)且與門中心距離最近的檢測點，其余檢測點均被當作誤檢或認為是其它目標的檢測結(jié)果（圖1）。

圖1 NNDA算法示意[15]

該算法運算量小、易于實現(xiàn)，在低級別輔助駕駛中較為常用。但當目標的數(shù)量較多時，由于多個測量值彼此靠近，可能導致出現(xiàn)誤關(guān)聯(lián)、漏識別現(xiàn)象。

3.2.2 全局最近鄰算法

GNN計算距離的方法和NNDA算法思想相同，不同點是其通過將所有測量值與所有系統(tǒng)航跡相匹配，計算所有匹配的總風險函數(shù)，尋找使總風險函數(shù)最小的匹配值，作為與此目標關(guān)聯(lián)的正確結(jié)果，使總的關(guān)聯(lián)代價達到了最小[16]（圖2）。由于進行了目標總風險函數(shù)的計算，有效降低了誤關(guān)聯(lián)現(xiàn)象，因此GNN算法的總體性能優(yōu)于NNDA。但是，GNN使用了貪婪算法的思想，只保留一個最優(yōu)關(guān)聯(lián)，拋棄了除了最優(yōu)匹配以外的所有信息，當多個最優(yōu)的關(guān)聯(lián)方式的概率相差不大時，很容易出錯。

圖2 不確定數(shù)據(jù)庫中的GNN查詢[17]

3.2.3概率數(shù)據(jù)關(guān)聯(lián)算法

PDA是一種次優(yōu)濾波方法，通過對新的測量值進行分解，來解決復雜噪聲環(huán)境中的目標航跡的跟蹤問題。該算法把所有測量值假設(shè)并合成為一個高斯分布，并根據(jù)不同的實際情況計算出各測量值匹配目標的概率，然后利用這些概率值對相關(guān)門限內(nèi)的不同測量值進行加權(quán)，各個候選測量值的加權(quán)和作為等效測量值。這也意味著要把所有可能關(guān)聯(lián)的概率都算出來，因此，計算數(shù)據(jù)關(guān)聯(lián)的可能性是一個組合問題，數(shù)據(jù)關(guān)聯(lián)的次數(shù)就是所有可能組合的數(shù)量，即所有可能組合的都需要計算，因此數(shù)據(jù)運算量相對較大。

3.2.4 聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)

JPDA的基本思想是通過利用目標航跡周圍門限內(nèi)的測量值來聯(lián)合更新狀態(tài)。對于測量數(shù)據(jù)落入跟蹤門限相交區(qū)域的情況，這些數(shù)據(jù)無法確定來自于哪個觀測目標，而JPDA在此時認為測量值都以一定的概率值來源于門限內(nèi)每個系統(tǒng)航跡目標，并利用落在門限內(nèi)的當前周期測量航跡，計算測量航跡和相應(yīng)系統(tǒng)航跡的關(guān)聯(lián)概率，利用關(guān)聯(lián)概率對當前測量航跡求加權(quán)來修正航跡，將跟蹤過程系統(tǒng)航跡與測量值的匹配概率當作權(quán)值（圖3）。JPDA與PDA最大的區(qū)別是對于關(guān)聯(lián)概率計算方式不同。JPDA優(yōu)點是不需要目標與噪聲任何的先驗信息，是在密集環(huán)境中對多目標進行跟蹤較好的方法之一。但由于數(shù)據(jù)運算量更大，當目標數(shù)量和噪聲過多時，系統(tǒng)運算量可能出現(xiàn)組合爆炸現(xiàn)象。

圖3 JDPA算法場景示意[15]

4 多源傳感融合的核心算法

在多源數(shù)據(jù)融合中，首先根據(jù)上文所述的數(shù)據(jù)關(guān)聯(lián)技術(shù)進行測量值與系統(tǒng)航跡匹配，得到實時值后，結(jié)合多源傳感融合的核心濾波算法進行定周期更新。在實際應(yīng)用中，可根據(jù)情況判斷是否為線性或非線性條件、高斯或非高斯環(huán)境，結(jié)合使用前述的數(shù)據(jù)關(guān)聯(lián)技術(shù)，來選擇具體的濾波算法。

多源傳感融合的核心算法可分為概率統(tǒng)計算法和邏輯推理算法。其中，概率統(tǒng)計算法包括：多貝葉斯估計法、卡爾曼濾波算法（Kalman Filter,KF）、擴展卡爾曼濾波算法（Extended Kalman Filter，EKF）、無跡卡爾曼濾波算法（Unscented Kalman Filter，UKF）、粒子濾波算法；邏輯推理算法包括：證據(jù)理論推理（Dempster Shafer，DS）、模糊推理（Fuzzy Inference System，F(xiàn)IS）。不同的算法有不同的優(yōu)缺點及各自適用環(huán)境，常用多源傳感融合邏輯見圖4。

圖4 常用融合邏輯示意

4.1 概率統(tǒng)計算法

基于概率統(tǒng)計的數(shù)據(jù)融合算法技術(shù)成熟，使用概率組合估計來處理不確定性的隨機分布，已經(jīng)廣泛應(yīng)用在智能駕駛系統(tǒng)中。

4.1.1 多貝葉斯估計法

多貝葉斯估計法的主要思想是對測量數(shù)據(jù)的不確定性以條件概率表示，將傳感器實時測量信息以概率形式進行組合，該方法在簡單環(huán)境中較為常用。為了評估每組傳感器輸出數(shù)據(jù)的可靠性，一般認為每個傳感器輸出的目標數(shù)據(jù)是滿足正態(tài)分布的，這也是自然界常見的噪聲分布。通過定義每組傳感器數(shù)據(jù)間的數(shù)據(jù)距離置信度，得到一個置信距離矩陣，設(shè)定一個臨界值對每個置信距離進行可靠性判定，得到一個二值關(guān)系矩陣，由此關(guān)系矩陣對多傳感器數(shù)據(jù)進行選擇，產(chǎn)生一個數(shù)據(jù)作為最佳融合數(shù)。最后將待測數(shù)據(jù)的均值、方差和最佳融合數(shù)對應(yīng)的測量值和方差代入貝葉斯估計公式計算得到融合結(jié)果[18]，貝葉斯估計多用于多組同源傳感器的數(shù)據(jù)融合。

4.1.2 卡爾曼濾波算法

卡爾曼濾波算法（Kalman Filter,KF）是1960年由匈牙利著名數(shù)學家卡爾曼率先提出的一種經(jīng)典算法，適合應(yīng)用于線性高斯系統(tǒng)[19]。該方法的主要思想為，通過最優(yōu)化自回歸的方式來處理先驗預(yù)測結(jié)果和觀測的數(shù)據(jù)，并判斷觀測模型是否符合高斯的模型范圍。在估計線性高斯系統(tǒng)狀態(tài)中，以最小均方差或者貝葉斯公式為最佳估計準則，采用信號與噪聲的狀態(tài)空間模型，利用前一時刻的估計值和當前時刻的觀測值來更新對狀態(tài)變量的估計，求出當前時刻的估計值，算法根據(jù)建立的系統(tǒng)方程和觀測方程對需要處理的信號做出滿足最小均方差的估計。

4.1.3 擴展卡爾曼濾波算法

擴展卡爾曼濾波算法（Extended Kalman Filter，EKF）屬于卡爾曼濾波的一種變體，主要思想是使用了線性變換來近似非線性變換，利用一階泰勒級數(shù)對運動模型和觀測模型展開來進行近似線性化，通常情況下保留到一階項或二階項并舍棄其余項，再利用經(jīng)典卡爾曼濾波公式進行計算。在狀態(tài)估計中，擴展卡爾曼濾波是計算狀態(tài)向量的最大似然估計的標準方法，提供最優(yōu)項的“低階”近似解。然而，這種近似方式會在計算高斯噪聲的后驗均值和協(xié)方差時產(chǎn)生較大誤差，最終可能導致濾波算法發(fā)散[20]。

4.1.4 無跡卡爾曼濾波算法

無跡卡爾曼濾波（Unscented Kalman Filter，UKF）也是經(jīng)典卡爾曼濾波算法的另一種變體，與EKF的線性化近似不同，它將EKF中非線性函數(shù)線性化的方法替換成無跡變換。通過在原狀態(tài)分布中按制定規(guī)則選取采樣點，這些點的均值和協(xié)方差需要等于原狀態(tài)分布，即利用一個與非線性函數(shù)的分布期望、方差相近的正態(tài)分布去近似概率密度分布，從而通過這些非線性函數(shù)值點集，求得變換后的均值和協(xié)方差。在這個過程中保留了非線性系統(tǒng)的高階項，計算精度較高[21]，至少有二階精度，對于高斯分布可達三階。UKF最初用于狀態(tài)估計問題，并且已經(jīng)被廣泛應(yīng)用于需要全狀態(tài)反饋的非線性控制場景。

4.1.5 粒子濾波算法

KF、EKF和UKF都適用于高斯條件，核心思想都采用了高斯分布去逼近計算中的某些狀態(tài)。但某些實際情形如果是嚴重非高斯的，則將可能出現(xiàn)誤差，所以粒子濾波算法采用了另外的方式去逼近，可適用于非線性非高斯環(huán)境。該算法也稱作“序貫蒙特卡羅方法”，為了估計目標的狀態(tài)，設(shè)定了大量的具有獨立對目標狀態(tài)估計能力的加權(quán)粒子表征其估計值，經(jīng)每一周期會進行獨立更新。在實際應(yīng)用中，某些系統(tǒng)環(huán)境狀態(tài)發(fā)生頻率高，某些特殊狀態(tài)頻率極少，所以很多情況下，會出現(xiàn)幾個粒子最終共享相同的狀態(tài)估計的情形。因此，大多數(shù)粒子共享的狀態(tài)為目標最有可能的狀態(tài)。當檢測到目標時粒子濾波算法啟動，隨即創(chuàng)建若干粒子來表示。系統(tǒng)每周期接收到新的測量航跡時，粒子濾波算法將通過以下3個步驟對所有粒子執(zhí)行狀態(tài)估計進行更新：

（1）所有的粒子都使用一個事先設(shè)定好的運動模型，這個運動模型上文卡爾曼濾波介紹的模型相似，不一定是線性的；

（2）賦予新計算出的粒子以權(quán)值。通過粒子狀態(tài)估計的擬合由測量值構(gòu)建的概率密度函數(shù)的方式來確定該權(quán)值，這里的概率密度函數(shù)是通過以每個測量值為中心的正態(tài)分布而建立的，特征依賴于傳感器的預(yù)先定義的誤差模型；

（3）進行重采樣，這一步的目的是創(chuàng)建與第二步相同數(shù)量的新粒子，使用與第二步中計算的相同的概率密度函數(shù)，這時所有粒子共享相同的權(quán)重。這一點很重要，在下一次迭代的預(yù)測和加權(quán)步驟中，所有粒子都可以被同等對待。這里權(quán)值較高的粒子即為最有可能代表目標的粒子，會被多次選擇，而權(quán)重較低的粒子則不太可能代表目標，通常會將其舍棄。目前有多種重采樣技術(shù)，常用的有多項重采樣，分層重采樣，系統(tǒng)重采樣，殘差重采樣等。

對于上文中提及的概率統(tǒng)計算法中的狀態(tài)預(yù)測過程，在實際用于車輛狀態(tài)跟蹤時，可根據(jù)實際情況選擇不同的運動模型來對車輛目標的狀態(tài)進行預(yù)測，得到狀態(tài)更新的先驗信息。不同的運動模型是對實際車輛目標的運動過程進行一定的簡化來建構(gòu)的，其中包括一次運動模型和更高級的二次運動模型。常用的有恒定速度（Constant Velocity,CV）模型、恒定加速度（Constant Acceleration,CA）模型、恒定轉(zhuǎn)率和速度（Constant Turn Rate and Velocity,CTRV）模型。具體描述如下：

（1）恒定速度模型：模型的速度恒定不變；

（2）恒定加速度模型：模型的加速度恒定不變；

（3）恒定轉(zhuǎn)率和速度模型：CTRV實際上是CV的一般形式，當該模型角速度等于0時，就是CV的形式。CTRV模型假設(shè)對象沿直線前進，同時還能以固定的轉(zhuǎn)彎速率和恒定的速度移動，可以看作一段圓弧運動。

4.2 邏輯推理算法

基于邏輯推理的數(shù)據(jù)融合方法具有比較強的理論基礎(chǔ)，能處理隨機性或模糊性所導致的數(shù)據(jù)不確定性。但該類方法未大規(guī)模應(yīng)用，尚處在科研探索過程。

4.2.1 證據(jù)推理

證據(jù)推理（Dempster Shafer,DS）方法是多貝葉斯估計的一種擴展形式，可以在沒有先驗概率的情況下，靈活并有效地對不確定性建模，克服了多貝葉斯估計數(shù)據(jù)融合的缺陷。該方法的核心思想是，把包含不確定信息的數(shù)據(jù)和合成規(guī)則相結(jié)合，將多源數(shù)據(jù)所表征的信息綜合起來，得到更為可靠有效的結(jié)論[22]。但DS推論需要對假設(shè)空間中的每一種假設(shè)都分配概率，各組合規(guī)則的合理性、正確性、完整性都對處理結(jié)果有很大影響，需要建立多方面的專家經(jīng)驗知識[23]，因此該方法需要進一步探索。

4.2.2 模糊推理

模糊推理方法（Fuzzy Inference System,FIS）的核心思想是使用隸屬度函數(shù)來評估各組傳感器數(shù)據(jù)的置信度，將傳感器數(shù)據(jù)的不確定性直接表示在其推理過程中。與概率統(tǒng)計方法相比，它對信息和處理的方式更加接近于人類的思維方式。模糊推理數(shù)據(jù)融合簡潔實用，不需要傳感器歷史數(shù)據(jù)來提供先驗信息，因此只需要傳感器提供單次測量數(shù)據(jù)即可，多適用于多組同源傳感器的單次數(shù)據(jù)融合。

5 多源傳感融合體系

目前，多源傳感融合根據(jù)融合層級不同，主要分為：數(shù)據(jù)級融合、特征級融合和決策級融合。

5.1 數(shù)據(jù)級融合

數(shù)據(jù)級融合也可稱為像素級融合[24]，針對的是感知系統(tǒng)中的數(shù)據(jù)處理階段，對各種傳感器的原始數(shù)據(jù)未經(jīng)與處理之前就進行數(shù)據(jù)的融合與分析（圖5）。數(shù)據(jù)層融合一般是采用集中式融合體系進行融合處理，是最底層的融合，在3種融合方案中，是具有最小的數(shù)據(jù)丟失和最高的可靠性，可以獲取到檢測目標的較完整的信息，同時還可以準確的獲取到目標的位置信息，常用于攝像頭和激光雷達或毫米波雷達的融合，最普遍的方式是將點云投影到圖像，然后檢查點云是否屬于圖像中檢測的2D目標框。該方案在獲取原始數(shù)據(jù)，并進行底層融合時，對硬件平臺的算力要求很高，故目前應(yīng)用主要以科學研究為主。

圖5 數(shù)據(jù)級融合[1]

5.2 特征級融合

該方法通過提取所采集數(shù)據(jù)包含的特征向量，用來體現(xiàn)所監(jiān)測物理量的屬性，這是面向監(jiān)測對象特征的融合，一般在獲取原始數(shù)據(jù)并進行特征提取后進行（圖6）。對傳感器融合后的特征信息進行卷積與池化處理后將得到帶有傳感器特征信息的數(shù)據(jù)集，對數(shù)據(jù)集進行標注與訓練后得到最終的識別模型，最后調(diào)用訓練得到的模型對各傳感器數(shù)據(jù)進行識別[25]，判斷目標是否為待檢測的目標類型。

圖6 特征級融合[1]

5.3 決策級融合

該方法通過特征級融合所得到的數(shù)據(jù)特征，進行一定的判別、分類，以及簡單的邏輯運算，根據(jù)應(yīng)用需求進行較高級的決策，從而產(chǎn)生面向應(yīng)用的融合[26]（圖7）。對每個模態(tài)數(shù)據(jù)訓練單獨的模型，而后綜合每個模型的結(jié)果獲得輸出。由于后期融合需要為每個模態(tài)提供單獨的模型，因此能夠更好地針對不同模態(tài)數(shù)據(jù)特點進行建模[27]，并且能夠應(yīng)對某些模態(tài)的部分數(shù)據(jù)缺失和數(shù)據(jù)間的異步性，但同時丟失了特征層面的數(shù)據(jù)關(guān)聯(lián)性，通常具有更高的實現(xiàn)難度。

圖7 決策級融合[1]

6 結(jié)束語

本文總結(jié)了在智能駕駛汽車中常用的多源傳感融合技術(shù)研究現(xiàn)狀，并總結(jié)出以下發(fā)展趨勢：

（1）通過對多源數(shù)據(jù)融合算法的優(yōu)化有利于提高感知實時性；

（2）未來傳感器將具有預(yù)判能力，可提高在復雜環(huán)境下工作的準確性；

（3）盡量避免各種算法之間產(chǎn)生干擾，增強魯棒性。

當前商業(yè)化應(yīng)用的主流融合方式為決策級融合，通過分布式傳感器的硬件配置和集成了智能駕駛軟件的域控制器，運用高效的數(shù)據(jù)關(guān)聯(lián)技術(shù)實時更新感知結(jié)果，既最大程度保留每個傳感器的優(yōu)勢，又盡可能互相彌補其劣勢，極大提升了整體系統(tǒng)的魯棒性和整車安全性，確保滿足后端決策系統(tǒng)所需信息的實時性和高精度。隨著芯片算力的極大提升，正逐步探索精度更高的數(shù)據(jù)級和特征級融合方式，目的是使融合處理系統(tǒng)獲取到的特征信息失真盡可能降到最低，提高復雜環(huán)境下的準確性。

但是，僅憑傳統(tǒng)單車智能的有限傳感器手段，無法從更廣范圍、更多樣化的動態(tài)交通環(huán)境中滿足駕駛決策需求，隨著通信技術(shù)的升級和智慧城市道路的建設(shè)，未來智能汽車會將單車智能與車路協(xié)同相融合，更多維滿足智能汽車的安全性。