鄭美琳，高建瓴

（貴州大學 大數(shù)據(jù)與信息工程學院，貴陽 550025）

0 引 言

當前，3D目標檢測在自動駕駛和機器人等領域獲得了廣泛應用，故而日益受到工業(yè)界和學術界的高度關注。激光雷達傳感器被廣泛地應用在自動駕駛車輛和機器人中，用于捕捉3D場景信息，為3D場景感知和理解提供了重要的線索。在本文中，提出把RoI感知點云模塊加入到PointRCNN中，從而實現(xiàn)高性能的三維點云目標檢測。現(xiàn)有的大多數(shù)三維檢測方法可以根據(jù)點云表示分為2類：基于網(wǎng)格的方法和基于點的方法。基于網(wǎng)格的方法通常將不規(guī)則的點云轉換成規(guī)則的點云來表示，例如3D體素或2D鳥瞰圖，可以被3D或2D卷積神經(jīng)網(wǎng)絡（CNN）進行有效處理，以學習用于3D檢測的點特征。基于點的方法由先鋒作品PointNet及其變體提供動力，直接從原始點云中提取有區(qū)別的特征用于3D檢測。一般來說，基于網(wǎng)格的方法計算效率更高，但不可避免的信息丟失會降低細粒度的定位精度，而基于點的方法計算成本更高，實行難度加大。

本文提出了一種新的三維物體檢測框架Point-ANN，研究中結合了基于點和基于體素的特征學習方法的優(yōu)點，提高了三維檢測性能。其原理在于首先提出了一種基于自底向上點云的3D包圍框建議生成算法，通過將點云分割成前景對象和背景，生成少量高質(zhì)量的3D建議。從分割中學習到的點表示不僅有利于建議生成，而且有助于后期的盒子細化；引入RoI點云感知模塊來消除匯集點的模糊性，對每個3D方案中的信息進行分組，然后利用部分聚合網(wǎng)絡根據(jù)部分特征和信息框進行評分，細化位置。本文提出了基于PointRCNN改進的框架Point-ANN，把其用于3D目標檢測中與其他框架在Car類和Pedestrian類目標中對比精度明顯提高。

本文的貢獻可以概括為4個方面：

（1）提出了Point-ANN框架，該框架有效地利用了基于體素和基于點的方法進行三維點云特征學習，從而在可管理的內(nèi)存消耗下提高了三維對象檢測的性能。

（2）提出了自上而下場景編碼方案，通這些關鍵點特征不僅保持了準確的位置，還編碼了豐富的場景上下文，顯著提高了三維檢測性能。

（3）提出了一個多尺度的RoI特征抽象層，可從場景中聚合更豐富的上下文信息，用于精確的盒子細化和置信度預測。

（4）提出的方法Point-ANN以顯著的裕度優(yōu)于所有以前的方法，在競爭激烈的KITTI 3D檢測基準上也優(yōu)于以前的方法。

1 PointRCNN網(wǎng)絡結構

PointRCNN為2階段檢測框架，可用來從不規(guī)則點云中檢測出3D物體，2階段網(wǎng)絡首先生成3D建議，再進一步細化位置和建議。具體來說，先要學習逐點特征來分割原始點云，并從分割的前景點同時生成3D建議?；谶@種自底向上的策略，避免了在3D空間中使用大量預定義的3D框，并有效限制了用于3D建議生成的搜索空間。通過學習分割前景點，點云網(wǎng)絡被迫捕獲上下文信息以進行精確的點方向預測，這也有利于3D框的生成。對于點分割，地面真值分割遮罩自然由3D地面真值框提供。對于大型室外場景，前景點的數(shù)量通常比背景點的數(shù)量少得多。因此，使用焦點損失來處理類不平衡問題，損失函數(shù)表達式如式（1），在訓練點云分割過程中，保留默認設置α＝025和2作為原始值。具體計算公式可寫為：

其中，PointRCNN以PointNet++為主干網(wǎng)絡，利用PointNet++網(wǎng)絡對每個前景與背景點實現(xiàn)分割，并且賦予一個類別信息，PointNet++框架如圖1所示。

圖1 PointNet++框架圖Fig.1 PointNet++framework

每一組提取層的輸入是（，（）），其中是輸入點的數(shù)量，是坐標維度，是特征維度。輸出是（N，（d+C）），其中N是輸出點的數(shù)量，是坐標維度不變，C是新的特征維度。

2 ROI點云感知模塊

Shi等人提出了點云區(qū)域合并操作，以合并3D方案中的點狀特征，從而在第二階段細化特征。但該操作容易丟失3D建議信息，因為點在建議中沒有規(guī)則地分布，并且存在從匯集點恢復3D框的模糊性。RoI感知點云特征池示意見圖2。由圖2可知，不同的提議將導致相同的匯集點，這給細化網(wǎng)絡帶來負面影響。因此，提出了RoI感知的點云匯集模塊，以將3D建議均勻地劃分為具有固定空間形狀（）的規(guī)則空間，其中、、是每個維度中匯集分辨率的高度、寬度和長度超參數(shù)（例如，在本文的框架中采用14×14×14），并且獨立于3D建議大小。通過聚集（例如，最大池化或平均池化）該空間內(nèi)的點特征來計算每個空間特征，這里空白空間的特征被設置為零并被標記為空。提議的RoI感知池模塊是可區(qū)分的，這使得整個框架是端到端可訓練的。本文提出的RoI感知點云匯集模塊將不同的3D方案標準化為相同的局部空間坐標，其中每個空間編碼3D方案中對應的是固定網(wǎng)格的特征。

圖2 RoI感知點云特征池示意圖Fig.2 Schematic diagram of RoI-aware point cloud feature pool

3 改進的Point-ANN網(wǎng)絡

3.1 通過點云分割自底向上生成3D建議

現(xiàn)有的2D物體檢測方法可分為一階段和兩階段方法。通常情況下，一階段方法更快，但是直接估計對象邊界框而不進行細化，而兩階段方法首先生成建議，并在第二階段進一步細化建議和置信度。然而，兩階段方法的直接擴展是基于三維空間和點云的不規(guī)則格式。AVOD在3D空間中放置80～100千個錨框，并在多個視圖中為每個錨集中要素，以生成建議。FPointNet從2D圖像生成2D建議，再基于從2D區(qū)域裁剪的3D點來估計3D框，如此就可能會錯過只能從3D空間清晰觀察到的困難對象。提出了一種精確、魯棒的三維方案生成算法，作為基于全場景點云分割的第一階段子網(wǎng)絡。觀察到三維場景中的物體是自然分離的，相互之間沒有重疊。所有三維對象的分割模板都可以通過其三維包圍盒標注直接獲得，即三維包圍盒內(nèi)的三維點被視為前景點。因此，建議以自下而上的方式生成3D提案。具體來說，學習逐點特征來分割原始點云，并從分割的前景點同時生成3D建議?；谶@種自底向上的策略方法避免了在3D空間中使用大量預定義的3D框，這樣一來就有效限制了用于3D建議生成的搜索空間。

3.2 用于3D盒細化的零件位置聚合

通過考慮建議中所有3D點的預測對象內(nèi)零件位置的空間分布，用聚集預測零件位置來評估該建議的質(zhì)量是合理的。實際上，可以將其公式轉化為一個優(yōu)化問題，同時通過擬合相應方案中所有點的預測零件位置來直接求解3D包圍盒的參數(shù)。然而，研究發(fā)現(xiàn)這種基于優(yōu)化的方法對異常值和預測零件位置的質(zhì)量很敏感。為了解決這一問題，提出了一種基于學習的方法來魯棒地聚合零件位置信息，用于盒評分和位置細化。對于每個3D建議，將建議的RoI感知點云匯集操作分別應用于來自第一階段的預測的點狀零件位置（平均匯集）和點狀特征（最大匯集），這導致大小為（14×14×14×4）和（14×14×14×）的2個特征圖，其中預測的零件位置圖是4維的：3個用于零件位置（，，維度），1個用于前景分割分數(shù)，而是由第一階段轉換的點狀特征的特征維度在匯集操作之后，以分層方式實現(xiàn)零件聚集網(wǎng)絡，以從預測的對象內(nèi)部零件位置的空間分布中學習。具體來說，首先使用核大小為3×3×3的稀疏卷積層將2個合并的特征映射轉換為相同的特征維數(shù)。在連接這2個特征映射后，堆疊了4個核大小為3×3×3的稀疏卷積層，以隨著接收域的增加逐漸聚集部分信息。這里，還在第二個卷積層之后利用一個具有2×2×2的內(nèi)核大小和2×2×2步長的稀疏最大池來將特征映射下采樣到7×7×7，以節(jié)省計算和參數(shù)。此后將其矢量化為一個特征向量，并添加2個分支，用于最終的盒子評分和位置細化。與將合并后的三維特征圖直接矢量化為特征向量的簡單方法相比，提出的零件聚集策略可以通過將特征從局部尺度聚集到全局尺度來有效地學習預測零件位置的空間分布。

3.3 改進的Point-ANN網(wǎng)絡框架

Point-ANN以自下而上的方式從原始點云生成3D建議，然后用第二個零件聚合階段執(zhí)行建議的RoI感知點云匯集操作，對每個3D方案中的零件信息進行分組，使用零件聚合網(wǎng)絡對盒子進行評分，再根據(jù)零件特征和信息進行位置優(yōu)化。引入RoI點云感知模塊可以通過編碼盒形，并用稀疏卷積加以有效處理。研究得到的改進的Point-ANN框架如圖3所示。

圖3 改進的Point-ANN框架Fig.3 Improved Point-ANN framework

3.4 損失函數(shù)

將2個分支附加到從預測零件信息聚合的矢量化特征向量。對于盒子評分分支，使用3D建議書與其對應的地面真值盒之間的3D IoU作為建議書質(zhì)量評估的軟標簽，這也是通過二元交叉熵損失作為來學習的。對于三維建議的生成和細化，采用平滑損失來回歸歸一化盒參數(shù)，如下所示：

在這里，為了細化建議，基于3D建議的參數(shù)把直接回歸相對偏移或大小比，因為建議的RoI感知點云池模塊已經(jīng)編碼了3D建議的完整幾何信息，并將不同的3D建議傳輸?shù)较嗤臍w一化空間坐標系。因此，具有相等權重的部分感知階段有3個損失，包括前景點分割的焦點損失、對象內(nèi)部分位置回歸的二元交叉熵損失和3D建議生成的平滑損失。對于部分聚集階段，有2個損失也具有相同的損失權重，包括IoU回歸的二元交叉熵損失和位置細化的平滑損失。

4 實驗及結果分析

4.1 實驗細節(jié)網(wǎng)絡架構

4.2 KITTI上的3D對象檢測

KITTI的3D對象檢測基準包含7 481個訓練樣本和7 518個測試樣本（測試分割）。遵循常用的train／val分割，將訓練樣本分為train分割（3 712個樣本）和val分割（3 769個樣本）。在KITTI數(shù)據(jù)集的值分割和測試分割上，將點神經(jīng)網(wǎng)絡與最先進的3D對象檢測方法進行了比較。所有模型都在列車分割上進行訓練，并在測試分割和價值分割上進行評估。對于3D對象檢測的評估，在KITTI數(shù)據(jù)集的具有挑戰(zhàn)性的3D對象檢測基準上對Point-ANN進行評估，與VoxelNet、SECOND、PointRCNN等方法在Car類和Pedestrian類目標中進行對比實驗，結果見表1，通過以下度量來評估預測的對象內(nèi)零件位置：

表1 在KITTI 3D物體檢測測試服務器上的性能評估（測試分割）Tab.1 Performance evaluation（test segmentation）on KITTI 3D object detection test server

在KITTI測試服務器的3D檢測基準上評估的方法結果顯示在表1中，表2、表3顯示了融入的RoI模塊與其他聚合部分相比的結果以及影響。對于汽車和行人的3D檢測，本文的方法優(yōu)于以前最先進的方法，在Easy、Moderate、Hard三個困難等級方面都有顯著的優(yōu)勢。雖然以前的大多數(shù)方法都使用RGB圖像和點云作為輸入，但是本文的方法通過僅使用點云作為輸入來獲得更好的性能。在行人檢測方面，與以往的僅使用激光雷達的方法相比，改進的方法取得了更好或相當?shù)慕Y果。然而，本文方法的性能比具有多個傳感器的方法稍差。認為這是由于本文的方法僅使用稀疏點云作為輸入，但是行人具有較小的尺寸，并且圖像可以捕捉比點云更多的行人細節(jié)，有助于3D檢測。對于最重要的汽車類別，改進的方法優(yōu)于以前的先進方法，在價值分割上有很大的利潤。特別是在難度較大的情況下，改進的方法比以前最好的方法有所提高，證明了所提出的點神經(jīng)網(wǎng)絡的有效性。

表2 RoI感知點云區(qū)域池的影響Tab.2 Effects of RoI-aware point cloud region pool

表3 不同部分聚合網(wǎng)絡結構的比較Tab.3 Comparison of different part-aggregation network structures

5 結束語

（1）本文考慮到PointRCNN在面對大量不規(guī)則點云時不能精確地提取出特征這一問題，利用改進的Point-ANN網(wǎng)絡框架從點云中檢測三維物體來彌補這一不足。

（2）融入RoI點云感知模塊，讓每個對象的預測內(nèi)部對象部分位置被池化。因此，隨后的部件聚集階段可以考慮預測的對象內(nèi)部件位置的空間關系，以及對盒子進行評分并細化相應的位置。

（3）實驗表明，本文的方法在具有挑戰(zhàn)性的KITTI 3D檢測基準上取得了最先進的性能，證明了改進方法有效性。