程 騰，侯登超，張 強，石 琴，郭利港

（1.合肥工業(yè)大學(xué)汽車與交通工程學(xué)院，合肥 230000；2.安徽省智慧交通車路協(xié)同工程研究中心，合肥 250000；3.自動駕駛汽車安全技術(shù)安徽省重點實驗室，合肥 230009；4.奇瑞汽車股份有限公司，蕪湖 241000）

前言

隨著交通環(huán)境日益復(fù)雜，在高級輔助駕駛系統(tǒng)和自動駕駛中，單一傳感器在復(fù)雜交通場景下對目標(biāo)車輛識別準(zhǔn)確率較低，不能滿足交通安全要求，所以目前大多數(shù)自動駕駛汽車都安裝了多種傳感器，它們可以提供車輛自身和周邊環(huán)境的多模態(tài)信息。這些信息通常具有一定的互補性和一致性，可以彌補彼此間的缺陷與不足，比如在黑夜、曝光等光照異常場景下，激光雷達(dá)檢測準(zhǔn)確率優(yōu)于對光照強度敏感的相機，而在雨雪惡劣天氣中，相機檢測準(zhǔn)確率優(yōu)于受反射影響的激光雷達(dá)。因此多模態(tài)融合逐漸成為自動駕駛汽車不斷提升環(huán)境感知能力的重要手段。

多模態(tài)融合方法按融合層次可劃分為數(shù)據(jù)融合、特征融合與結(jié)果融合［1］。其中，數(shù)據(jù)融合指輸出數(shù)據(jù)作為后續(xù)模型輸入的融合操作。Zhou 等［2］將激光點云投影至RGB 圖像上生成RGB-D 圖像，點云信息被擴展為圖像的第四通道。Vora 等［3］提出PointPainting 方法，為激光點云賦予了圖像生成的語義信息。相較于數(shù)據(jù)融合，特征融合所融合的信息為具備更深層次信息的特征數(shù)據(jù)。Chen 等［4］提出MV3D 融合算法，將激光點云投影為鳥瞰圖與前視圖，提取相應(yīng)特征并融合RGB 圖像特征用于回歸檢測任務(wù)。Qi 等［5］提出以2D 檢測驅(qū)動3D 檢測的融合方法F-PointNet，基于圖像檢測生成建議區(qū)域，算法對該區(qū)域內(nèi)的點云進(jìn)行實例分割與邊框精修。結(jié)果融合指輸入數(shù)據(jù)本身是目標(biāo)輸出且融合的結(jié)果用于結(jié)果修正的融合操作。雖然數(shù)據(jù)融合與特征融合在多模態(tài)信息融合中表現(xiàn)出巨大潛力，但它們對數(shù)據(jù)對齊較為敏感，且通常涉及復(fù)雜的架構(gòu)，進(jìn)一步引入了額外的計算開銷。而結(jié)果融合包含了預(yù)訓(xùn)練的、固定的單模態(tài)檢測器，僅需要在檢測級別進(jìn)行關(guān)聯(lián)［6］，并且結(jié)果融合模型相對簡單，具備更高的實時性潛力。

紀(jì)嘉樹［7］設(shè)計了基于相機和激光雷達(dá)的決策級融合系統(tǒng)，根據(jù)兩種傳感器輸出的檢測框重合度判斷是否融合成功，融合結(jié)果較單一感知網(wǎng)絡(luò)有較大提升，但是該系統(tǒng)沒有考慮多傳感器識別結(jié)果出現(xiàn)分類沖突時應(yīng)如何處理。甘耀東等［8］設(shè)計了一種融合策略，考慮到相機具備更好的分類特性，雷達(dá)具備更好的位置捕捉特性，在融合時取相機識別的類別、雷達(dá)識別的位置作為融合結(jié)果，但是該方法沒有考慮異常天氣或復(fù)雜交通場景下對傳感器的影響。李哲等［9］基于投票法融合了多特征下的多分類器，車標(biāo)識別準(zhǔn)確率得到進(jìn)一步提升，但是投票法依賴基礎(chǔ)模型間的檢測效果不能差別過大。

考慮分類沖突的多模態(tài)融合方法有投票法［10-11］、貝葉斯計算法［12-14］、D-S 理論［15-16］等等。D-S證據(jù)理論［17］具有表達(dá)不確定性和融合不完善信息的能力，且能夠適應(yīng)不同基礎(chǔ)模型的檢測效果。周文文［18］利用先驗知識設(shè)計概率密度函數(shù)，基于D-S 證據(jù)理論融合了多分類器的識別結(jié)果。類似基于專家經(jīng)驗構(gòu)建概率密度函數(shù)的思想在文獻(xiàn)［19］中亦有體現(xiàn)。然而，專家經(jīng)驗往往具有主觀性，在復(fù)雜多變場景下決策可信度較低。Chavez-Garcia 等［20-21］提出了一種基于證據(jù)框架的感知融合架構(gòu)，使用正弦變換將單分類器分類結(jié)果轉(zhuǎn)換為質(zhì)量函數(shù)形式，結(jié)合不確定性與復(fù)合表示，解決運動目標(biāo)的檢測與跟蹤問題。Zhu 等［22］將多分類問題基于成對學(xué)習(xí)方法表示為二值分類，并在此基礎(chǔ)上基于核密度估計構(gòu)造概率密度函數(shù)，用于D-S 證據(jù)理論合成。以上方法避免了先驗知識的局限性，卻由于復(fù)雜數(shù)據(jù)模型的引入而帶來了額外的計算開銷。

Driss等［23］基于D-S 證據(jù)理論融合了5 種相機卷積神經(jīng)網(wǎng)絡(luò)用于X-ray 圖像識別，將神經(jīng)網(wǎng)絡(luò)的置信度作為D-S 證據(jù)理論的概率密度值，該方法簡單有效且具備較強魯棒性，但沒有考慮單一模態(tài)識別的局限性。針對上述問題，本文中提出一種基于DS 證據(jù)理論的多模態(tài)結(jié)果級融合框架，考慮不同模態(tài)的互補性，融合多種模態(tài)信息用于目標(biāo)識別；考慮先驗知識的局限性，利用深度神經(jīng)網(wǎng)絡(luò)的泛化能力與自學(xué)習(xí)能力，將神經(jīng)網(wǎng)絡(luò)輸出的置信度作為概率密度函數(shù)，目標(biāo)融合時通過D-S 證據(jù)理論組合多傳感器多分類的置信度，根據(jù)組合后的結(jié)果確定最終分類信息。通過實驗驗證，本文所提出的框架具備普適性、精確性與解決分類沖突的能力。

1 基于D-S 證據(jù)理論的決策級融合框架

本文技術(shù)路線如圖1 所示，在多模態(tài)融合領(lǐng)域，考慮分類沖突問題，提出一種基于D-S 證據(jù)理論的決策級融合框架，下文簡稱決策級融合框架，并設(shè)計了3 組實驗，通過對比單一感知網(wǎng)絡(luò)、投票法融合與本文所提出的融合方法的識別精確性，驗證所提出方法的有效性。

圖1 技術(shù)路線

本文提出的多模態(tài)結(jié)果級融合框架由3 部分組成，分別是數(shù)據(jù)輸入、感知網(wǎng)絡(luò)和結(jié)果級融合，框架整體結(jié)構(gòu)如圖2 所示。首先，從多傳感器中接收多源模態(tài)數(shù)據(jù)，將多模態(tài)數(shù)據(jù)輸入至感知神經(jīng)網(wǎng)絡(luò)得到各自的檢測結(jié)果，將檢測結(jié)果的位置坐標(biāo)信息轉(zhuǎn)化，使多傳感器檢測到的目標(biāo)映射至同一坐標(biāo)系下，在該坐標(biāo)系下完成感知結(jié)果的關(guān)聯(lián)匹配，然后對關(guān)聯(lián)結(jié)果進(jìn)行融合，若融合過程中產(chǎn)生分類沖突，則判斷沖突分類間的沖突因子是否大于高沖突閾值，若大于閾值，認(rèn)為以上兩個證據(jù)屬于高沖突合成，則應(yīng)用改進(jìn)D-S 證據(jù)理論合成分類置信度，反之使用經(jīng)典D-S證據(jù)理論合成，其中高沖突閾值為超參數(shù)，將在實驗部分進(jìn)一步論證如何確定。對融合后的置信度分?jǐn)?shù)進(jìn)行排序，將最高分?jǐn)?shù)對應(yīng)的類別作為沖突分類的修正結(jié)果。最后基于均值法融合其他信息，包括邊界框、中心點位置等。

圖2 基于D-S證據(jù)理論的多模態(tài)結(jié)果級融合框架

1.1 感知網(wǎng)絡(luò)

深度神經(jīng)網(wǎng)絡(luò)具有強大的自學(xué)習(xí)和非線性映射能力，且經(jīng)過訓(xùn)練后具有良好的泛化能力。相比于傳統(tǒng)目標(biāo)識別的機器學(xué)習(xí)方法等，深度學(xué)習(xí)具備更高的識別準(zhǔn)確率與檢測魯棒性。因此本文將深度神經(jīng)網(wǎng)絡(luò)作為融合框架的基礎(chǔ)感知模塊。

目前主流深度神經(jīng)網(wǎng)絡(luò)主要分為兩大類，分別是一階段網(wǎng)絡(luò)與二階段網(wǎng)絡(luò)。二階段網(wǎng)絡(luò)的核心思想是在第一階段劃分出感興趣區(qū)域，得到建議框，即完成前景點和背景點的區(qū)分，第二階段對建議框進(jìn)行識別、精修等處理。常見的二階段網(wǎng)絡(luò)有RCNN系列的Faster-RCNN［24］、PV-RCNN［25］等；一階段網(wǎng)絡(luò)會把整個生成邊界框的過程一體化實現(xiàn)，比如YOLO 系列［26-28］的網(wǎng)絡(luò)通過將前景背景作為類別之一，取代了二階段網(wǎng)絡(luò)獲取建議框的步驟，而CenterNet［29］系列的網(wǎng)絡(luò)是基于anchor-free 的一階段網(wǎng)絡(luò)，通過預(yù)測中心點及回歸偏移量計算出邊界框，相較傳統(tǒng)方式省去了對邊界框的復(fù)雜操作。

1.2 結(jié)果級融合

結(jié)果級融合包含坐標(biāo)轉(zhuǎn)化、目標(biāo)匹配與D-S 融合，其中坐標(biāo)轉(zhuǎn)換旨在將多傳感器數(shù)據(jù)映射至同一坐標(biāo)系下，目標(biāo)匹配即在同一坐標(biāo)系下完成多傳感器識別結(jié)果集合間的關(guān)聯(lián)，D-S 融合即將感知網(wǎng)絡(luò)輸出的目標(biāo)置信度作為概率密度分配值，通過證據(jù)組合，將匹配的結(jié)果信息進(jìn)行融合。

Driss等［23］基于D-S 證據(jù)理論融合了5種相機卷積神經(jīng)網(wǎng)絡(luò)用于X-ray 圖像識別，將神經(jīng)網(wǎng)絡(luò)的置信度作為D-S 證據(jù)理論的概率密度值，識別準(zhǔn)確率得到較大提升。借鑒Driss 等提出的思想，本文利用多種模態(tài)的互補性與一致性，融合多模態(tài)信息用于目標(biāo)識別，同時將神經(jīng)網(wǎng)絡(luò)預(yù)測的類別置信度得分歸一化后作為D-S 理論的基本概率分配值，通過證據(jù)組合，得到融合多模態(tài)后的類別置信度得分，根據(jù)置信度得分最大值，確定融合后的最終分類結(jié)果。

1.2.1 坐標(biāo)轉(zhuǎn)換

將笛卡爾坐標(biāo)系下的三維檢測點坐標(biāo)經(jīng)過外參矩陣Kext投影至相機坐標(biāo)系下，再經(jīng)過相機內(nèi)參矩陣Kint投影至像素坐標(biāo)系下，得到圖像上的像素點位置（u，v），從而完成三維檢測結(jié)果與二維檢測結(jié)果的空間配準(zhǔn)對齊。

1.2.2 目標(biāo)匹配

感知神經(jīng)網(wǎng)絡(luò)模塊對于目標(biāo)檢測的結(jié)果中包含目標(biāo)的坐標(biāo)信息即邊界框和中心點，然而由于感知設(shè)備的不同和聯(lián)合標(biāo)定的精度限制，中心位置往往無法完全匹配，并且由于目標(biāo)可能在某一坐標(biāo)方向上位置相同。這都會產(chǎn)生模態(tài)數(shù)據(jù)中某一目標(biāo)可能對應(yīng)另一模態(tài)數(shù)據(jù)中多個目標(biāo)的問題。

每一時刻的兩種感知結(jié)果是天然的二分圖數(shù)據(jù)結(jié)構(gòu)，因此決策級融合可以應(yīng)用二分圖匹配算法將兩種模態(tài)識別目標(biāo)進(jìn)行關(guān)聯(lián)匹配。KM 算法是最優(yōu)匹配算法，即保證二分圖內(nèi)的匹配目標(biāo)的邊權(quán)值最大?；诙嗄B(tài)融合場景，本文以待匹配目標(biāo)間的邊界框交并比作為二分圖的邊權(quán)值，算法流程如表1所示。

表1 KM 算法流程

1.2.3 D-S融合

在復(fù)雜交通環(huán)境下由于天氣、光照等外部因素干擾，多種模態(tài)識別的分類結(jié)果可能出現(xiàn)不一致，融合時便會不可避免地出現(xiàn)分類沖突問題。

D-S 證據(jù)理論首先定義一個由所有假設(shè)結(jié)果組成的窮舉集合及假設(shè)空間，其中所有假設(shè)都是兩兩互斥的。即設(shè)集合Ω 包含n個元素，Ω 可以表示如下：

Ω 的子集A 稱為命題，Ω 的冪集2Ω是由Ω 的所有子集組成，包含2N個元素，冪集可以表示為

再定義函數(shù)m：2Ω→[0，1]即基本概率分配函數(shù)的映射，且他滿足下列兩個條件：

式中m(A)的數(shù)值表示結(jié)果A成立的確信程度。且如下是信任函數(shù)和似然函數(shù)：

根據(jù)上述公式就能得到融合多模態(tài)的多種分類置信度的公式：

式中k值為沖突因子，反映了證據(jù)沖突的程度，其計算方法如下：

當(dāng)出現(xiàn)分類沖突時，如圖3 所示，基于D-S 證據(jù)理論融合沖突分類對應(yīng)的置信度分布，得到修正后置信度分布，并對其排序，取置信度分?jǐn)?shù)最大值對應(yīng)的類別作為分類沖突修正結(jié)果。

圖3 分類沖突修正過程

然而，經(jīng)典D-S證據(jù)理論存在一定局限性，在高沖突證據(jù)源合成時，會產(chǎn)生Zadeh 悖論。因此，本文在修正分類沖突前，首先計算沖突因子，判斷其是否大于設(shè)定閾值，即是否出現(xiàn)高沖突證據(jù)合成現(xiàn)象，若證據(jù)間存在高沖突則使用Murphy［30］所提出的改進(jìn)的D-S 證據(jù)理論方法融合分類置信度，即對初始證據(jù)集進(jìn)行算數(shù)平均，再利用D-S 證據(jù)理論對n條證據(jù)迭代組合n-1次作為最終合成結(jié)果。

2 實驗與討論

為評估本文提出的融合框架的普適性、識別準(zhǔn)確性和解決分類沖突的能力，本文設(shè)計了3 組對比實驗：單一感知網(wǎng)絡(luò)實驗、基于投票法融合策略實驗和本文融合方法實驗。通過隨機選擇6 個經(jīng)典單一感知網(wǎng)絡(luò)，用于驗證框架的普適性，將框架融合結(jié)果同單一感知網(wǎng)絡(luò)與投票法融合結(jié)果進(jìn)行對比，驗證框架的識別準(zhǔn)確性與解決分類沖突的能力。

2.1 數(shù)據(jù)集與實驗設(shè)備

本文使用KITTI 數(shù)據(jù)集評估了所提出的融合框架。KITTI 數(shù)據(jù)集是目前國際上最大的自動駕駛場景下的計算機視覺算法評測數(shù)據(jù)集。數(shù)據(jù)采集車配備2個彩色相機和一個64線激光雷達(dá)。本文所采用測試服務(wù)器配置為NVIDIA GeForce GTX 3090 GPU。

2.2 單一感知網(wǎng)絡(luò)實驗

KITTI目標(biāo)檢測數(shù)據(jù)集包含7 481幀訓(xùn)練數(shù)據(jù)和7 518幀測試數(shù)據(jù)，每一幀包含一個同步的彩色圖像與激光點云數(shù)據(jù)。文中以行人、機動車、非機動車3種分類作為檢測目標(biāo)，其中訓(xùn)練數(shù)據(jù)集為7 481 幀，測試數(shù)據(jù)集為隨機選取的3 769幀。

為了驗證框架的通用性與普適性，本文隨機挑選了相機與激光雷達(dá)模態(tài)對應(yīng)的7 種常用神經(jīng)網(wǎng)絡(luò)，其中包括了一階段網(wǎng)絡(luò)與二階段網(wǎng)絡(luò)。并且本文使用AP（average precision）、mAP（mean average precision）和IOU 作為指標(biāo)評測目標(biāo)檢測性能，當(dāng)檢測目標(biāo)與真值目標(biāo)交并比超過0.5 時，認(rèn)為該目標(biāo)被正確識別。7 種深度神經(jīng)網(wǎng)絡(luò)的檢測結(jié)果如表2 所示。

表2 單一感知網(wǎng)絡(luò)檢測結(jié)果

2.3 多模態(tài)結(jié)果級融合實驗

通過調(diào)整感知神經(jīng)網(wǎng)絡(luò)輸出，使其在輸出結(jié)果時攜帶對目標(biāo)分類預(yù)測的置信度，在多種模態(tài)的檢測目標(biāo)融合時，若出現(xiàn)分類沖突則通過D-S 理論融合多傳感器預(yù)測的分類置信度，得到融合后的重新分配的類別置信度得分，選取得分最高的分類作為融合結(jié)果的類別。

當(dāng)交通參與者被遮擋或因距離過遠(yuǎn)而變成難以檢測的小目標(biāo)時，基于視覺的檢測結(jié)果會不可避免地出現(xiàn)誤分類、錯檢漏檢等情況。針對該問題，通過本文融合方法融合激光雷達(dá)檢測結(jié)果，得益于融合框架的融合不完善信息能力，如圖4 所示，融合結(jié)果在分類沖突場景下可以有效識別出正確分類。同時，表3 列舉了在分類沖突場景下本文融合方法重分配分類信息的計算結(jié)果，進(jìn)一步論證了本文融合方法融合多模態(tài)互補性解決分類沖突的能力。

表3 分類沖突場景下本文融合方法的置信度重分配

圖4 多模態(tài)融合前后的分類沖突表現(xiàn)

然而，當(dāng)沖突因子大于設(shè)定閾值，即證據(jù)源間存在高沖突時，經(jīng)典D-S 證據(jù)理論會產(chǎn)生有悖常理的合成結(jié)果。針對該問題，本文在證據(jù)源存在高沖突時使用Murphy 所提出的方法改進(jìn)D-S 證據(jù)理論。如圖5 所示，在高沖突場景，改進(jìn)的D-S 證據(jù)理論有效地解決了經(jīng)典D-S證據(jù)理論合成錯誤的問題。表4列舉了高沖突場景下經(jīng)典D-S證據(jù)理論與改進(jìn)DS 證據(jù)理論的計算結(jié)果，進(jìn)一步論證了改進(jìn)D-S 證據(jù)理論的有效性。

表4 證據(jù)源高沖突場景下本文融合方法的置信度重分配

圖5 證據(jù)高沖突場景下改進(jìn)D-S融合前后的分類沖突表現(xiàn)

同時，為衡量高沖突因子選取對融合結(jié)果的影響，本文以FasterRCNN 融合Second 網(wǎng)絡(luò)為例，分析了不同高沖突閾值對融合結(jié)果均值平均精度（mean average precision，mAP）的影響。如圖6 所示，閾值在0.95時融合結(jié)果mAP值達(dá)到最高，因此本文高沖突閾值設(shè)為0.95。

圖6 不同高沖突閾值與融合結(jié)果mAP表現(xiàn)

2.4 投票法融合實驗

為驗證本文融合方法的解決分類沖突能力，本節(jié)實驗了投票法融合策略用于對比本文融合方法效果。投票法融合策略即將神經(jīng)網(wǎng)絡(luò)的置信度輸出作為該網(wǎng)絡(luò)對每種檢測目標(biāo)類別的票數(shù)，取所有票數(shù)中數(shù)值最大的數(shù)據(jù)作為融合后的目標(biāo)分類結(jié)果。

2.5 實驗結(jié)果

通過實驗數(shù)據(jù)（表5）和實驗結(jié)果柱狀圖（圖7）驗證了本文所提出的融合框架以任意神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)感知網(wǎng)絡(luò)均能提高識別準(zhǔn)確性，本文融合方法識別結(jié)果相比于單一感知網(wǎng)絡(luò)mAP值普遍提升8%左右，其中YOLOv3 與PointPillar 的組合相較于PointPillar單網(wǎng)絡(luò)感知結(jié)果提升32%；相比于投票法融合，mAP值普遍提升1%左右。

表5 融合實驗結(jié)果數(shù)據(jù)對比

圖7 融合實驗結(jié)果對比

3 結(jié)論與展望

本文提出的基于D-S證據(jù)理論的多模態(tài)結(jié)果級融合框架能夠有效地利用多模態(tài)間的互補性與一致性，使得融合結(jié)果精確度相較單一感知網(wǎng)絡(luò)有較大提升，且通過實驗驗證了該框架具備普適性，不依賴基模型間的效果，即使模型間精度差距過大，融合結(jié)果也均能有進(jìn)一步提升。實驗測試的結(jié)果表明，框架輸出的融合結(jié)果較單一感知網(wǎng)絡(luò)mAP 值均能提高8%左右，其中Yolov3 與Pointpillar 的融合結(jié)果相較于Pointpillar 單一感知結(jié)果mAP值提高32%，同時，通過D-S 證據(jù)理論組合多模態(tài)神經(jīng)網(wǎng)絡(luò)分類置信度，有效減少了分類沖突情況，具有較好的應(yīng)用前景。

由于文中所使用的數(shù)據(jù)集惡劣天氣場景較少，因此實驗測試結(jié)果中基于D-S證據(jù)理論的分類沖突修正相較投票法提升不多，但均能有所提升，可以證明本文所提出的基于D-S證據(jù)理論的多模態(tài)結(jié)果級融合框架相較于投票法具有一定的優(yōu)勢。后續(xù)研究可以采集惡劣天氣下的交通場景數(shù)據(jù)，進(jìn)一步論證本文所提出的框架的修正分類沖突能力。

同時，在證據(jù)源高沖突場景下，基于Murphy 所提出的方法改進(jìn)D-S證據(jù)理論可以有效降低證據(jù)間的沖突現(xiàn)象，但是該方法僅通過取均值方法對證據(jù)源修正，沒有考慮到不同模態(tài)在不同場景下對融合結(jié)果的影響程度。因此如何在復(fù)雜交通場景下，在Murphy 方法基礎(chǔ)上為證據(jù)源賦予根據(jù)感知環(huán)境自適應(yīng)調(diào)整的權(quán)重信息是本文下一個研究方向。