張 浩，楊堅華，花海洋

（1. 中國科學(xué)院光電信息處理重點實驗室，遼寧 沈陽 110016；2. 中國科學(xué)院沈陽自動化研究所，遼寧 沈陽 110016；3. 中國科學(xué)院機器人與智能制造創(chuàng)新研究院，遼寧 沈陽 110169；4. 中國科學(xué)院大學(xué)，北京 100049）

1 引 言

目標(biāo)檢測是計算機視覺的基本課題之一，也是自主車輛感知系統(tǒng)的重要組成部分［1-7］。目前，目標(biāo)檢測方法中使用了攝像機和激光雷達傳感器。該相機可以在高幀速率下工作，在光線充足的天氣下提供遠距離密集信息。然而，作為一種被動傳感器，它受到光照水平的強烈影響，而可靠的目標(biāo)檢測系統(tǒng)不應(yīng)受到光照因素的影響。激光雷達通過自身的激光脈沖感知環(huán)境，因此它只受到外部照明條件的輕微影響。此外，激光雷達還提供精確的距離測量。不過它們的范圍有限，提供的數(shù)據(jù)也很少［8］。通過對兩個傳感器優(yōu)缺點的分析，不難看出同時使用兩個傳感器可以提高整體可靠性。

在過去的幾年中，已經(jīng)出現(xiàn)了大量通過融合多個傳感器信息來解決目標(biāo)檢測問題的方法［8-15］。其中對于點云的處理，目前大多數(shù)方法是將點云投影到可見光圖像生成深度圖、強度圖等圖像，再與可見光圖像融合。例如，Schlosser等人［16］根據(jù)基于激光雷達的深度圖計算了水平視差、高度和角度（Horizontal disparity，Height，Angle，HHA）數(shù)據(jù)通道，利用HHA 特征與可見光圖像進行后期融合取得了良好的效果。Gupta等人［17］也根據(jù)深度圖計算了HHA 通道信息，然后利用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）分別提取可見光圖像和HHA 的特征信息。最后，利用支持向量機分類器進行目標(biāo)檢測。Asvadi 等人［9］提出將三維激光雷達點云信息的投影轉(zhuǎn)換為二維深度圖像和強度圖像，并采用決策級融合方法實現(xiàn)各種模態(tài)檢測的高級集成。

但是這種處理方式，會損失點云重要的三維空間信息。很多三維目標(biāo)檢測提出了運用BEV（Bird Eye View）圖的想法。Chen 等人［10］和Liang 等人［11］使用基于體素的激光雷達表示，將點云體素化為3D 占用柵格，通過把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示。其保留了點云完整的空間信息不受損失，但是這樣數(shù)據(jù)量會變得龐大，且點云與可見光圖像之間的對應(yīng)變得復(fù)雜。針對這些問題，本文提出了FVOIRGAN-Detection 的多源信息融合檢測網(wǎng)絡(luò)，這種方法可以自適應(yīng)地保留點云的原始空間信息，并提高了可見光圖像紋理信息的利用程度。本文方法主要貢獻如下：

第一，本文提出了FVOI（Front View Based on Original Information）的點云處理新思路，將點云投影到前視視角，并把原始點云信息的各個維度切片為特征通道，不但保留了點云的原始信息，而且降低了數(shù)據(jù)量，減小了與可見光圖像的對應(yīng)復(fù)雜度。之后通過特征提取網(wǎng)絡(luò)提取原始點云中有利的信息，得到點云的前視二維特征圖，并將其與可見光圖像進行融合。

第二，在融合過程中，為了使得融合圖像更好地保留可見光圖像的紋理信息，本文引進了相對概率的思想［18］，用鑒別器鑒別圖像相對真實概率取代絕對真實概率，使得可見光中有利于目標(biāo)檢測的紋理信息可以更好、更真實地保留［19］。

2 FVOIRGAN-Detection

2.1 CrossGAN-Detection

CrossGAN-Detection 運用生成對抗網(wǎng)絡(luò)［20］處理多源信息融合檢測的問題，該方法由GAN和目標(biāo)檢測網(wǎng)絡(luò)組成。目標(biāo)檢測網(wǎng)絡(luò)在訓(xùn)練過程中充當(dāng)GAN 的第二個鑒別器。該方法利用內(nèi)容損失函數(shù)和雙鑒別器為發(fā)生器提供直接可控的引導(dǎo)，通過交叉融合自適應(yīng)學(xué)習(xí)不同模式之間的關(guān)系。

CrossGAN-Detection 網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，該網(wǎng)絡(luò)是一個具有雙鑒別器（檢測器和鑒別器）的生成性對抗網(wǎng)絡(luò)。輸入為可見光圖像、空間特征圖和強度特征圖。在訓(xùn)練過程中，檢測器的作用是促使發(fā)生器朝著有利于目標(biāo)檢測的方向訓(xùn)練，其與發(fā)生器的關(guān)系是正反饋的；鑒別器的作用是促使發(fā)生器在主觀設(shè)定方向上進行訓(xùn)練，這是一種對抗性鑒別器。在檢測過程中，去除鑒別器，生成器承擔(dān)信息融合任務(wù)，檢測器承擔(dān)目標(biāo)檢測任務(wù)。

圖1 CrossGAN-Detection 的網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network architecture of CrossGAN-Detection

為了同時保持可見光圖像豐富的紋理信息、空間特征圖的空間信息和強度特征圖的強度信息，推動融合朝著有利于目標(biāo)檢測的方向發(fā)展，引入了生成對抗網(wǎng)絡(luò)的融合思想并添加一個目標(biāo)探測器作為鑒別器。鑒別器用于區(qū)分融合圖像和可見光圖像，檢測器用于檢測融合圖像的目標(biāo)。因此，提出的框架建立了生成器和鑒別器之間的對抗。在對抗過程中，融合圖像逐漸獲得豐富的圖像紋理信息［21］，增加了融合圖像的信息多樣性，不僅增加了目標(biāo)檢測的可用信息，提高了目標(biāo)檢測的效果，同時也降低了目標(biāo)檢測網(wǎng)絡(luò)過擬合的風(fēng)險。同時，它在發(fā)生器和檢測器之間建立了正反饋對抗。在對抗過程中，由于兩個鑒別器的作用，融合圖像越來越有利于目標(biāo)檢測，檢測器的檢測能力也越來越強。此外，為了防止在鑒別器的作用下通道信息的丟失，為發(fā)生器設(shè)計了內(nèi)容損失函數(shù)：

其中，H，W分別表示輸入圖像的高度和寬度，F(xiàn)表示矩陣Frobenius 范數(shù)，?表示梯度算子，ξ是控制兩項之間權(quán)衡的正參數(shù)。第一項旨在保留強度特征圖IIntensity的反射率信息，第二項旨在保留可見光圖像IRGB中包含的梯度信息。

在現(xiàn)有方法中，融合僅由檢測結(jié)果控制。與該框架相比，它缺少一個鑒別器。這種缺乏將導(dǎo)致模型學(xué)習(xí)的不可控問題。由于融合與檢測之間的關(guān)系是正反饋的，因此融合過程只受目標(biāo)檢測結(jié)果的引導(dǎo)，容易產(chǎn)生偏差。在融合框架中融合了哪些信息以及這些信息是否真的有助于目標(biāo)檢測是值得考慮的兩個問題。在加入GAN后，利用鑒別器和內(nèi)容損失函數(shù)將真正有利于目標(biāo)檢測的信息融合到融合圖像中，從而為整個網(wǎng)絡(luò)設(shè)置正確的方向，指導(dǎo)學(xué)習(xí)過程，防止學(xué)習(xí)過程中的偏差，提高模型的穩(wěn)定性。

2.2 基于FVOI 的點云處理

針對將點云投影到可見光圖片方法的信息損失，Liang 等［11］使用基于體素的激光雷達表示，將點云體素化為3D 占用柵格，其中體素特征通過每個激光雷達點上的8 點線性插值計算。這種激光雷達表示能夠有效地捕捉細粒度點密度線索，通過把高度切片處理為特征通道，將得到的3D 體素作為BEV 表示，能夠在2D BEV 空間中進行推理，從而在不降低性能的情況下顯著提高效率。3D BEV 表示非常巧妙地滿足各方面需求，但是其大多數(shù)三維體素是空的，這就造成了其數(shù)據(jù)量巨大的問題，浪費了內(nèi)存且降低了處理效率，而且其與可見光圖像對應(yīng)起來復(fù)雜度也較高。最重要的是對于二維目標(biāo)檢測來說，3D BEV 的表示形式不合適。對此，本文提出了基于FVOI 的點云處理方法來配合二維目標(biāo)檢測。

如圖2 所示，為基于FVOI 的點云處理網(wǎng)絡(luò)框架。首先FVOI 的過程是將點云上的點投影到可見光圖像，將平面上的點像素化為柵格，然后通過把原始點云信息的各個維度切片為特征通道，將得到點云的二維表示（4×w×l），其也可以在不降低性能的情況下顯著提高效率，而且相比于3D 的BEV 表示（channels×h×w×l），大大減小了數(shù)據(jù)量。最重要的是，經(jīng)過點云投影到可見光圖像這一步驟，F(xiàn)VOI 已經(jīng)建立了點云與可見光圖像之間的對應(yīng)關(guān)系。

圖2 基于FVOI 的點云處理網(wǎng)絡(luò)框架Fig.2 Network architecture of point cloud processing based on FVOI

如圖2，在對點云的二維表示進行特征提取的過程中，由于空間信息和強度信息是不同類別的信息，所以分為兩個信息流分別進行提取點云的空間信息和強度信息。此外，由于點云數(shù)據(jù)本身比較稀疏，在卷積計算的過程中稀疏的點云數(shù)據(jù)極易損失，因此在特征提取的過程中加入了殘差的思想。最后，由于可見光圖像是三通道的，為了使得生成的特征圖更好地與可見光圖像進行融合，分別生成三通道的空間特征圖和三通道的強度特征圖，使得每一類信息有著相同的初始權(quán)重。

2.3 相對概率的鑒別器思想

經(jīng)過對CrossGAN-Detection 的分析，很容易得知其利用生成器與鑒別器的對抗對可見光圖像的紋理信息進行提取，鑒別器是為了區(qū)分可見光圖像和融合圖像，生成器是為了生成讓鑒別器區(qū)分不開的融合圖像。例如，當(dāng)鑒別器鑒別一個可見光圖像的輸出是p時，同時也鑒別融合圖像輸出概率是p，那么這時候就可以認為鑒別器已經(jīng)區(qū)分不開可見光圖像和融合圖像，生成器效果已經(jīng)達到最優(yōu)，融合圖像已經(jīng)獲得了可見光圖像真實的信息。但是根據(jù)CrossGAN-Detection 的損失函數(shù)來看，生成器在這時候還要繼續(xù)優(yōu)化其參數(shù)進而生成接近于D(Ifusion_image)=1 的融合圖像，這就出現(xiàn)了過度優(yōu)化的問題，D(Ifusion_image)=1的融合圖像在鑒別器鑒別下已經(jīng)非常接近可見光圖像，但是真正意義上其已經(jīng)脫離了D(IRGB)=p的真實可見光圖像。

圖3 為相對概率工作原理的示意圖，在欠優(yōu)化區(qū)域和過度優(yōu)化區(qū)域的融合圖像融合的紋理信息都是不夠真實的，因此為了基于鑒別器的能力水平來訓(xùn)練生成器，本文加入了相對真實概率的思想。

圖3 相對概率工作原理示意圖Fig.3 Schematic diagram of working principle of relative probability

加入相對概率后的鑒別器和生成器損失函數(shù)修改為：

其中：f是端到端的函數(shù)，在本文方法中f(x)=x，R是可見光圖像的分布函數(shù)，F(xiàn)是融合圖像的分布函數(shù)。在相對概率思想的影響下，可以保證生成器可以最大程度地提取到可見光圖像真實的紋理信息，而不是脫離鑒別器的鑒別能力提取到一些偽真實的紋理信息。從而提升整個網(wǎng)絡(luò)的目標(biāo)檢測能力。

3 實驗驗證

本文使用平均精度（AP）［22］在KITTI［23］數(shù)據(jù)集的驗證分割集［24］上評估提出的方法。

其中：rn為第n個recall 值，ρ(r?)為在recall 值為r?時的precision 值。

3.1 實驗設(shè)計

本實驗基于Python 3.6 和tensorflow-1.14，使用NVIDIA GTX-2080TI 進行訓(xùn)練。在實驗中，batchsize 大小設(shè)置為2，并使用Adam 優(yōu)化算法進行迭代。初始學(xué)習(xí)率為0.000 1，然后通過余弦退火衰減為0.000 001。在訓(xùn)練過程中，在192×576、224×672和256×768 中隨機選擇輸入圖像的大小，并且隨機剪切和翻轉(zhuǎn)輸入圖像以進行數(shù)據(jù)增強。

3.2 數(shù)據(jù)集

KITTI 數(shù)據(jù)集由德國卡爾斯魯厄理工學(xué)院和豐田美國理工學(xué)院共同創(chuàng)建。它是世界上最大的自動駕駛場景下的計算機視覺算法評估數(shù)據(jù)集。該數(shù)據(jù)集用于評估計算機視覺技術(shù)的性能，如車輛環(huán)境中的立體圖像、光流、視覺里程計、三維目標(biāo)檢測和三維跟蹤。KITTI 包含從城市、農(nóng)村和高速公路場景收集的真實圖像數(shù)據(jù)。每個圖像中最多有15 輛車和30 名行人以及不同程度的遮擋和截斷。整個數(shù)據(jù)集由389 對立體圖像和光流圖、39.2 km 視覺測距序列和200 K 多個3D 標(biāo)記對象的圖像組成，以10 Hz 的頻率采樣和同步。標(biāo)簽分為汽車、廂式貨車、卡車、行人、行人（坐著）、自行車、有軌電車和雜項。

3.3 消融分析

為了驗證本文所提出的兩個模塊的有效性，將CrossGAN-Detection 作為Baseline 進行了消融分析。

如表1 所示，Baseline 為CrossGAN-Detection，在此基礎(chǔ)上分別加入FVOI 的點云處理方法和相對概率的鑒別器思想，本文方法在簡單、中等、困難類別分別比Baseline 高1.01%、0.71%、0.57%，結(jié)果表明FVOI 的點云處理方法和相對概率的鑒別器思想都有利于提高目標(biāo)檢測的精度。

表1 KITTI 驗證集上Car 類2D 目標(biāo)檢測性能消融分析：平均精度Tab.1 Ablation analysis of 2D Car detection performance on KITTI verification set：average accuracy

由于以上AP指標(biāo)都是在IOU=0.7 的時候測得，為了更好、更全面地驗證本文方法的優(yōu)越性，分析了AP隨著IOU變化的曲線圖。如圖4所示，為AP與IOU關(guān)系圖，實線表示的是Cross-GAN-Detection 方法的AP指標(biāo)隨著IOU的變化情況，虛線表示本文方法的AP指標(biāo)隨著IOU的變化情況。從圖中可見，本文方法曲線一直在Baseline 的上方，可見本文方法相比于Cross-GAN-Detection 方法不僅在IOU=0.7 的情形下表現(xiàn)較好，而是在各種IOU情形下都有著顯著的優(yōu)越性，進一步全面證明了本文方法的有效性。

圖4 KITTI 驗證集上的AP 與IOU 關(guān)系Fig.4 Relationship between AP and IOU on KITTI validation set

3.4 光照條件受限的場景

KITTI 數(shù)據(jù)集主要包括在相當(dāng)理想的光照和天氣條件下捕獲的示例。在這種情況下，攝像機圖像本身提供了豐富的信息和豐富的識別線索，配合深度圖像可以進行準確的車輛檢測。因此，通過上述實驗，可能很難完全理解充分利用點云的空間信息的好處以及相對概率思想的作用?？紤]到這一點，從驗證集中提取了14 組具有挑戰(zhàn)性的場景，特別是顯示陰影和強光反射的圖像。

如表2 所示，數(shù)據(jù)在14 組光照條件不好的挑戰(zhàn)性場景下測得，在此場景下，可見FVOI 的點云處理方法起到了重要作用，相比原始方法提升了1.92%，說明充分利用點云的空間信息有利于彌補光照條件不好的劣勢，提高目標(biāo)檢測的效果。然而，在單獨加入相對概率的鑒別器思想時，網(wǎng)絡(luò)的性能下降2.57%，原因是相對概率的鑒別器思想原理是更真實地提取可見光圖像的紋理信息，而在光照條件不好的情形下，提取的信息是失真的，其對網(wǎng)絡(luò)性能進而造成了不好的影響。但是本文的方法結(jié)合了FVOI 的點云處理方法和相對概率的鑒別器思想，充分地利用了點云的空間信息和可見光圖像的紋理信息，平衡二者的關(guān)系，在光照條件不好的情形下相比單獨使用每種方法更能發(fā)揮出好的效果，相比原始方法提升了2.37%。

表2 KITTI 挑戰(zhàn)性場景Car 類2D 目標(biāo)檢測性能消融分析：平均精度Tab.2 Ablation analysis of 2D Car detection performance on KITTI challenging scenarios：average accuracy

如圖5 所示，第一列是真實標(biāo)簽，第二列是CrossGAN-Detection 方法的檢測結(jié)果，第三列是本文方法的檢測結(jié)果。紅色橢圓框表示Cross-GAN-Detection 方法的誤檢目標(biāo)，紅色方框表示CrossGAN-Detection 方法檢測精度較低的目標(biāo)。可以看出，在光照條件有限的情況下，Cross-GAN-Detection 方法進行目標(biāo)檢測會面臨誤檢和檢測精度低的問題，而本文方法充分利用了點云的空間信息和可見光圖像的紋理信息，平衡了二者的關(guān)系，解決了這些問題，提高了目標(biāo)檢測的準確性。

圖5 挑戰(zhàn)性場景下目標(biāo)檢測結(jié)果對比示例Fig.5 Comparison example of target detection results in challenging scenes

同時為了證明本文的相對概率的思想可以更好地提取紋理特征，我們利用灰度共生矩陣提取了融合圖像的相關(guān)性特征值（COR），相關(guān)性是紋理特征比較有代表性的一種表達，其度量空間灰度共生矩陣元素在行或列方向上的相似程度，相關(guān)值大小反映了圖像中局部灰度相關(guān)性。

其中：(a，b)為灰度共生矩陣元素坐標(biāo)，PΦ，d(a，b)為該坐標(biāo)的元素值，結(jié)果如表3 所示。

表3 紋理信息提取性能比較：相關(guān)性特征值Tab.3 Comparison of texture information extraction performance：correlation eigenvalue（COR）

如表3 所示，本文提出的方法提取紋理特征與真實可見光圖像更為接近，驗證了本文方法的有效性。

3.5 性能對比

為了證明本文的方法優(yōu)于現(xiàn)有方法，在KITTI 的驗證分割集上將其與其他先進的融合檢測方法進行了比較。

表4 給出了Car 類目標(biāo)三個檢測難度等級上的平均準確率，所提方法FVOIRGAN-Detection與近幾年多模態(tài)信息融合檢測方面的一些SOTA 算法進行比較。從表中可以看出，本文提出的方法在簡單類別中比其他高級方法具有顯著的優(yōu)勢，并且在中等和困難類別中與其他方法幾乎相同。

表4 KITTI 驗證集Car 類2D 目標(biāo)檢測性能比較：平均精度Tab.4 Comparison of 2D Car detection performance on KITTI verification set：average accuracy

4 結(jié) 論

本文提出了一種新的多源信息融合檢測算法FVOIRGAN-Detection，用于融合攝像機圖像和激光雷達點云進行車輛檢測。一方面，本文提出了FVOI（Front View Based on Original Information）的點云處理新思路，將點云投影到前視視角，然后通過把原始點云信息的各個維度切片為特征通道，不但保留了點云的原始信息，而且降低了數(shù)據(jù)量，減小了與可見光圖像的對應(yīng)復(fù)雜度。之后通過特征提取網(wǎng)絡(luò)提取原始點云中有利于目標(biāo)檢測的信息，得到點云的前視二維特征圖，并將其與可見光圖像進行融合。另一方面，在融合過程中，為了使得融合圖像更好地保留可見光圖像真實的紋理信息，本文引進了相對概率的思想，用鑒別器鑒別圖像相對真實概率取代絕對真實概率，提高融合圖像對可見光圖像中的紋理信息的復(fù)原程度，更好地提高目標(biāo)檢測的效果。

通過性能比較，F(xiàn)VOI 的點云處理方法和相對概率的鑒別器思想都對CrossGAN-Detection方法起到了很好的提升作用。在KITTI 的驗證分割集上，本文方法優(yōu)于現(xiàn)有方法。本文還考慮了光照條件受限下的場景，進一步證明了該方法的有效性。