田 楓，姜文文，劉 芳，白欣宇

(東北石油大學(xué) 計(jì)算機(jī)與信息技術(shù)學(xué)院, 黑龍江 大慶 163318)

0 引言

近年來(lái)，目標(biāo)檢測(cè)由于深度學(xué)習(xí)的強(qiáng)大支撐已經(jīng)在二維計(jì)算機(jī)視覺(jué)方面取得了很大成就，但是在很多實(shí)際應(yīng)用中，僅靠二維視覺(jué)感知無(wú)法應(yīng)對(duì)真實(shí)場(chǎng)景中光照明暗、天氣影響、深度缺失等問(wèn)題[1]，因此由激光雷達(dá)設(shè)備獲取數(shù)據(jù)的三維目標(biāo)檢測(cè)成為安全自動(dòng)駕駛[2]、智能機(jī)器人[3]、視頻智能監(jiān)控等新興產(chǎn)業(yè)的突破口。

三維目標(biāo)檢測(cè)通過(guò)搭載激光雷達(dá)設(shè)備[4]獲取點(diǎn)云數(shù)據(jù)，不同于二維圖像，點(diǎn)云數(shù)據(jù)包含被檢測(cè)物體的三維坐標(biāo)、反射強(qiáng)度等更多環(huán)境感知信息，其對(duì)光照變化與惡劣天氣具有良好的抗干擾性。對(duì)于三維目標(biāo)檢測(cè)來(lái)說(shuō)，準(zhǔn)確、快速的目標(biāo)檢測(cè)算法是非常必要的，然而囿于獲取到的點(diǎn)云數(shù)據(jù)本身的特性[5]，包括無(wú)序性、稀疏性會(huì)為檢測(cè)帶來(lái)一定的難度；同時(shí)，在復(fù)雜的真實(shí)場(chǎng)景中無(wú)法避免出現(xiàn)互相遮擋、遠(yuǎn)距離小目標(biāo)、采集數(shù)據(jù)質(zhì)量低等共性問(wèn)題，這些都導(dǎo)致現(xiàn)有三維目標(biāo)檢測(cè)的精度與速度不足。

本文針對(duì)三維目標(biāo)檢測(cè)精度與速度不足的問(wèn)題，提出混合體素與原始點(diǎn)云的三維目標(biāo)檢測(cè)算法。在特征提取部分加入雙通道注意力機(jī)制，利用通道注意力與空間注意力共同增強(qiáng)數(shù)據(jù)表征能力，提取數(shù)據(jù)的重要特征，生成更高質(zhì)量的初始建議，然后修改耗費(fèi)計(jì)算資源的點(diǎn)云采樣方法，提高運(yùn)算速度，之后設(shè)計(jì)實(shí)現(xiàn)類(lèi)殘差點(diǎn)云融合模塊，精簡(jiǎn)集合抽象模塊，有效融合多種點(diǎn)云表現(xiàn)形式，匯集點(diǎn)云的精確位置信息，體素的高效特征編碼，鳥(niǎo)瞰圖的廣泛信息接受域的優(yōu)點(diǎn)，提升建議細(xì)化效果，進(jìn)而提高整體三維目標(biāo)檢測(cè)精度。

1 相關(guān)工作

1.1 基于注意力機(jī)制的三維目標(biāo)檢測(cè)

注意力機(jī)制通過(guò)計(jì)算輸入數(shù)據(jù)的權(quán)重，提高某個(gè)重要因素對(duì)結(jié)果的影響力，抑制不重要因素的影響力[6]。隨后注意力機(jī)制經(jīng)過(guò)快速發(fā)展，被廣泛應(yīng)用于圖像檢測(cè)、自然語(yǔ)言處理、統(tǒng)計(jì)學(xué)習(xí)等領(lǐng)域[7]。

Vaswani等[8]設(shè)計(jì)實(shí)現(xiàn)了自注意力機(jī)制學(xué)習(xí)特征，代替神經(jīng)網(wǎng)絡(luò)必須結(jié)合CNN或者RNN編解碼的傳統(tǒng)模式，在保證檢測(cè)精度的情況下，降低計(jì)算成本。Woo等[9]提出了CBAM，認(rèn)為卷積網(wǎng)絡(luò)中特征圖的通道和像素之間都包含豐富的注意力信息，因此構(gòu)建通道注意力模塊(channel attention module，CAM)和空間注意力模塊(spatial attention module，SAM)，借此捕獲更多的特征信息并更加合理地分配算力資源。

由于注意力機(jī)制有效性與即插即用的便利性[10]，注意力機(jī)制也引起了三維領(lǐng)域的關(guān)注。鐘誠(chéng)等[11]提出了AttentionPointNet，一種基于注意力機(jī)制的三維點(diǎn)云物體識(shí)別方法，其使用自注意力機(jī)制，使每個(gè)點(diǎn)與點(diǎn)云剩余部分進(jìn)行特征交互，實(shí)現(xiàn)局部與全局信息的匯總，提高了檢測(cè)準(zhǔn)確率。陳其博等[12]提出基于多重注意力機(jī)制的立體匹配算法，包括使用位置通道注意力和多頭十字交叉注意力(multi-heads criss-cross attention，MCA)，調(diào)整特征通道并有選擇性地綜合上下文信息，為后續(xù)計(jì)算提供更有效的特征，提高了整體檢測(cè)精度。這些工作都為本文算法設(shè)計(jì)引入雙通道注意力的三維目標(biāo)檢測(cè)研究提供了指導(dǎo)思路。

1.2 基于點(diǎn)云多種表現(xiàn)形式的三維目標(biāo)檢測(cè)

考慮真實(shí)場(chǎng)景復(fù)雜，可以長(zhǎng)距離探測(cè)的激光雷達(dá)獲取到的點(diǎn)云數(shù)據(jù)常數(shù)以萬(wàn)計(jì)，如何從繁雜龐大的點(diǎn)云數(shù)據(jù)中高效準(zhǔn)確地提取特征完成三維目標(biāo)檢測(cè)一直是研究熱點(diǎn)。研究者通過(guò)設(shè)計(jì)多種基于點(diǎn)云的表現(xiàn)形式提高檢測(cè)精度或速度。

得益于快速發(fā)展且深入人心的二維目標(biāo)檢測(cè)，基于多視角投影的三維目標(biāo)檢測(cè)方法走入人們的視野，其一般通過(guò)將點(diǎn)云數(shù)據(jù)投影為鳥(niǎo)瞰圖、前視圖、深度圖等偽二維圖像，再通過(guò)經(jīng)典的二維神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)，得到檢測(cè)結(jié)果。Ali等[13]提出YOLO3D，將 YOLOv2擴(kuò)展到三維目標(biāo)檢測(cè)，首先將點(diǎn)云投影到鳥(niǎo)瞰視點(diǎn)﹐建立鳥(niǎo)瞰網(wǎng)格映射圖。根據(jù)鳥(niǎo)瞰網(wǎng)格圖,建立2張?zhí)卣鲌D,一張為高度圖,另一張為密度圖。通過(guò)在YOLOv2[14]框架中添加邊界框中心坐標(biāo)和邊界框高度2個(gè)新的參數(shù)，以此來(lái)返回三維目標(biāo)邊界框。基于多視角投影的三維目標(biāo)檢測(cè)可以使用較簡(jiǎn)單且技術(shù)成熟的二維經(jīng)典神經(jīng)網(wǎng)絡(luò)，在復(fù)雜度和實(shí)時(shí)性上有較好的表現(xiàn)。但都是將點(diǎn)云轉(zhuǎn)換為偽二維圖像，損失了原始點(diǎn)云的大量信息，精度都存在不足[15]。

由于基于多視角投影的三維目標(biāo)檢測(cè)存在精度損失的問(wèn)題，所以考慮基于原始點(diǎn)云的三維目標(biāo)檢測(cè)。2017年，作為點(diǎn)云表征學(xué)習(xí)的早期成果，PointNet[16]與PointNet++誕生[17]，前者輸入場(chǎng)景中全部原始點(diǎn)云數(shù)據(jù)，考慮特定空間轉(zhuǎn)換的不變性，對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行特征提取，使用對(duì)稱函數(shù)進(jìn)行最大池化操作得到最終的全局特征。PointNet網(wǎng)絡(luò)后續(xù)被作為基礎(chǔ)網(wǎng)絡(luò)模塊，廣泛應(yīng)用于很多點(diǎn)云處理網(wǎng)絡(luò)。由于PointNet無(wú)法獲取局部特征，限制了該方法在復(fù)雜場(chǎng)景下的表征能力。因此，PointNet++提出了最遠(yuǎn)點(diǎn)采樣(furthest point sampling，F(xiàn)PS)和球狀查詢(ball query)分組操作對(duì)局部特征進(jìn)行提取。

雖然基于原始點(diǎn)云的三維目標(biāo)檢測(cè)可以獲取到真實(shí)場(chǎng)景中的特征，但是龐大數(shù)量級(jí)的點(diǎn)云數(shù)據(jù)使得整體檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜且實(shí)時(shí)性差。因此，提出基于體素的三維目標(biāo)檢測(cè)方法[18]，先將點(diǎn)云劃分在均勻的網(wǎng)格中，對(duì)落于同一網(wǎng)格中的點(diǎn)云進(jìn)行體素化，再用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，從而實(shí)現(xiàn)三維目標(biāo)檢測(cè)。詹為欽等[19]設(shè)計(jì)實(shí)現(xiàn)PointPillers,將點(diǎn)云轉(zhuǎn)換為體素時(shí)，不再在Z軸上進(jìn)行切割并用二維神經(jīng)網(wǎng)絡(luò)進(jìn)行檢測(cè)，一定程度上提高了檢測(cè)的實(shí)時(shí)性，但是精度有所損失。

考慮基于點(diǎn)云不同表達(dá)方式的三維目標(biāo)檢測(cè)都各有優(yōu)缺點(diǎn)，因此如何兼具不同點(diǎn)云表現(xiàn)形式的優(yōu)點(diǎn)而避免其缺點(diǎn)成為新的思路[20]。Shi等[21]設(shè)計(jì)實(shí)現(xiàn)PV-RCNN，將體素與點(diǎn)云結(jié)合，組成體素集合抽象模塊優(yōu)化體素經(jīng)過(guò)稀疏卷積網(wǎng)絡(luò)與RPN網(wǎng)絡(luò)得到的被檢測(cè)物體包圍框，兼顧了體素檢測(cè)效率較高與點(diǎn)云特征信息豐富的優(yōu)點(diǎn)。

2 三維目標(biāo)檢測(cè)算法

2.1 三維目標(biāo)檢測(cè)神經(jīng)網(wǎng)絡(luò)

本文算法主要由稀疏卷積網(wǎng)絡(luò)、雙通道注意力模塊、類(lèi)殘差點(diǎn)云融合模塊、集合抽象模塊以及RPN與ROI網(wǎng)絡(luò)層等組成，具體神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

本文算法以PV-RCNN為基礎(chǔ)網(wǎng)絡(luò)，開(kāi)創(chuàng)性地融合了點(diǎn)云與體素進(jìn)行三維目標(biāo)檢測(cè)，同時(shí)兼具體素高效編碼多尺度特征與點(diǎn)云保存豐富準(zhǔn)確信息的優(yōu)點(diǎn)。相較于使用單一點(diǎn)云表現(xiàn)形式的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)融合多種點(diǎn)云表現(xiàn)形式進(jìn)行后續(xù)建議細(xì)化，可以達(dá)到更好的檢測(cè)效果。但是該網(wǎng)絡(luò)直接使用稀疏卷積網(wǎng)絡(luò)對(duì)已出現(xiàn)量化損失的體素進(jìn)行特征提取，無(wú)疑會(huì)使特征產(chǎn)生進(jìn)一步的損失，因此本文引入計(jì)算負(fù)擔(dān)小但特征增強(qiáng)好的雙通道注意力機(jī)制保證特征提取的有效性。然后通過(guò)得到的特征獲取鳥(niǎo)瞰圖，再傳入RPN網(wǎng)絡(luò)進(jìn)行初始的三維目標(biāo)分類(lèi)與框回歸。

同時(shí)，雖然基礎(chǔ)網(wǎng)絡(luò)PV-RCNN融合點(diǎn)云與體素提升了目標(biāo)檢測(cè)效果，但是點(diǎn)云采樣過(guò)程耗費(fèi)了大量計(jì)算資源，而后續(xù)對(duì)點(diǎn)云的使用，只是作為體素集合抽象模塊中的一個(gè)子模塊(共6個(gè)子模塊)參與后續(xù)的建議細(xì)化，并未真正合理有效地利用點(diǎn)云的優(yōu)勢(shì)。因此本文修改了點(diǎn)云采樣方法，減少計(jì)算資源的使用，并設(shè)計(jì)實(shí)現(xiàn)類(lèi)殘差點(diǎn)云融合模塊，精簡(jiǎn)集合抽象模塊，增強(qiáng)點(diǎn)云在后續(xù)建議細(xì)化中的作用。

因此，本文算法整體網(wǎng)絡(luò)結(jié)構(gòu)首先對(duì)原始點(diǎn)云進(jìn)行體素化獲取體素，然后將其輸入稀疏卷積網(wǎng)絡(luò)，獲取多尺度語(yǔ)義體素特征，再輸入雙通道注意力模塊，提高體素特征提取質(zhì)量，之后獲取鳥(niǎo)瞰特征圖，以便輸入后續(xù)RPN網(wǎng)絡(luò)，獲取初始目標(biāo)分類(lèi)與框回歸；同時(shí)，原始點(diǎn)云使用更加快速的隨機(jī)平行采樣獲取點(diǎn)云關(guān)鍵點(diǎn)，再將其輸入類(lèi)殘差點(diǎn)云融合模塊，獲取混合點(diǎn)云與體素的特征，然后輸入精簡(jiǎn)后的集合抽象模塊與鳥(niǎo)瞰圖進(jìn)行融合，再與經(jīng)過(guò)RPN網(wǎng)絡(luò)得到的初始建議一起傳入ROI網(wǎng)格池化層，利用混合特征與ROI網(wǎng)格池化對(duì)初始建議進(jìn)行細(xì)化，最后傳入全連接層獲取最終的三維目標(biāo)檢測(cè)結(jié)果。

2.2 雙通道注意力模塊

注意力機(jī)制與人類(lèi)選擇性視覺(jué)注意力機(jī)制類(lèi)似，旨在從大量信息中選擇出對(duì)當(dāng)前任務(wù)目標(biāo)更重要的信息[22]。具體而言，深度學(xué)習(xí)中注意力機(jī)制的作用是通過(guò)神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)一組權(quán)重系數(shù)，并以動(dòng)態(tài)加權(quán)方式強(qiáng)化重要信息，抑制非重要信息，使神經(jīng)網(wǎng)絡(luò)聚焦于輸入信息的必要部分[23-24]。本文算法將原始點(diǎn)云體素化后，輸入三維稀疏卷積網(wǎng)絡(luò)編碼生成多尺度語(yǔ)義特征，每層網(wǎng)絡(luò)上的稀疏特征體可以看作是一組體素特征向量。將稀疏卷積網(wǎng)絡(luò)生成的最后一層體素特征向量輸入雙通道注意力模塊，增強(qiáng)數(shù)據(jù)表征能力，高效提取數(shù)據(jù)的重要特征及其依賴關(guān)系[19，25]。

本文算法借鑒CBAM的思想，在三維稀疏卷積網(wǎng)絡(luò)后引入雙通道注意力，即通道注意力與空間注意力協(xié)同作用。假設(shè)經(jīng)過(guò)三維稀疏卷積網(wǎng)絡(luò)得到體素特征向量f∈RC×L×W×H，雙通道注意力包括一維的通道注意力Mch∈Rc×1×1×1和三維的空間注意力Msp∈R1×L×W×H，整體雙通道注意力機(jī)制處理如式(1)(2)所示：

fch=Mch(f)?f

(1)

fsp=Msp(fch)?fch

(2)

其中：fch為經(jīng)過(guò)通道注意力計(jì)算后的特征向量；fsp為經(jīng)過(guò)空間注意力計(jì)算后的特征向量；?為逐元素相乘。

2.2.1通道注意力

該模塊是利用特征向量通道內(nèi)部間的特征來(lái)產(chǎn)生通道注意力，如圖2所示。通道注意力主要尋找輸入特征向量中“重要”的部分，為了提高計(jì)算通道注意力的效率，對(duì)輸入向量的空間維度進(jìn)行壓縮，再分別采用最大池化和平均池化聚合特征向量的空間信息，分別用fchmax和fchavg表示，然后將信息輸入由多層感知機(jī)組成的共享網(wǎng)絡(luò)層，之后使用逐元素相加的方法，輸出合并后的特征向量，即通道注意力，具體計(jì)算如式(3)所示：

圖2 通道注意力

Mch(f)=σ{MLP[AvgPool(f)+MaxPool(f)]}=

σ{W1[W0(fchavg)]+W1[W0(fchmax)]}

(3)

其中，MLP為多層感知機(jī)；AvgPool為平均池化；MaxPool為最大池化；σ為sigmoid激活函數(shù)；W0、W1為多層感知機(jī)的可學(xué)習(xí)參數(shù)。

2.2.2空間注意力

該模塊是利用通道注意力處理后的特征向量?jī)?nèi)部空間關(guān)系產(chǎn)生空間注意力，如圖3所示?？臻g注意力主要關(guān)注數(shù)據(jù)信息的具體位置，是對(duì)通道注意力的補(bǔ)充。經(jīng)過(guò)通道注意力處理后的特征向量依次進(jìn)行最大池化和平均池化，生成2個(gè)三維特征向量fspmax和fspavg，然后輸入卷積層，生成Msp∈R1×L×W×H?？臻g注意力具體計(jì)算如式(4)所示：

圖3 空間注意力

Msp(f)=σ{f3×3[AvgPool(f); MaxPool(f)]}=

σ{f3×3[fspavg;fspmax]}

(4)

其中，f3×3為3×3的卷積核卷積操作。

經(jīng)過(guò)稀疏卷積網(wǎng)絡(luò)與雙通道注意力模塊處理后的體素特征向量下采樣為二維鳥(niǎo)瞰圖，輸入RPN網(wǎng)絡(luò)，生成初始的目標(biāo)分類(lèi)與邊界框。

2.3 混合點(diǎn)云表現(xiàn)形式的集合抽象模塊

混合點(diǎn)云表現(xiàn)形式的集合抽象模塊首先修改點(diǎn)云采樣策略，提升點(diǎn)云采樣速度；然后設(shè)計(jì)實(shí)現(xiàn)類(lèi)殘差點(diǎn)云融合模塊，以類(lèi)似殘差網(wǎng)絡(luò)的結(jié)構(gòu)組織采樣后的點(diǎn)云與經(jīng)過(guò)稀疏卷積網(wǎng)絡(luò)的體素特征，有效利用點(diǎn)云信息豐富與體素編碼高效的優(yōu)勢(shì)，最后將類(lèi)殘差點(diǎn)云融合模塊與生成的特征鳥(niǎo)瞰圖進(jìn)行融合，構(gòu)成精簡(jiǎn)的集合抽象模塊，強(qiáng)化其后續(xù)建議細(xì)化效果，提高整體檢測(cè)精度。

2.3.1點(diǎn)云采樣策略

如何高效地從數(shù)量龐大的原始點(diǎn)云中提取出有效的關(guān)鍵點(diǎn)對(duì)整體檢測(cè)框架至關(guān)重要，基礎(chǔ)網(wǎng)絡(luò)PV-RCNN中使用的是最遠(yuǎn)點(diǎn)采樣算法。該算法主要存在的缺點(diǎn)是其復(fù)雜度較高，會(huì)耗費(fèi)大量的時(shí)間，拖慢整體訓(xùn)練和推理速度，尤其是對(duì)于大規(guī)模點(diǎn)云的關(guān)鍵點(diǎn)采樣。為了減少這樣的負(fù)面影響，本文算法使用一種更有效的關(guān)鍵點(diǎn)采樣算法，隨機(jī)并行最遠(yuǎn)點(diǎn)采樣。

隨機(jī)并行最遠(yuǎn)點(diǎn)采樣首先將原始點(diǎn)隨機(jī)分成若干組，然后再使用最遠(yuǎn)點(diǎn)采樣算法對(duì)這些組進(jìn)行并行處理，實(shí)現(xiàn)更快的關(guān)鍵點(diǎn)采樣。考慮關(guān)鍵點(diǎn)采樣效果及設(shè)備能力，將原始點(diǎn)云隨機(jī)分組數(shù)量設(shè)置為4組。具體采樣流程如下，假設(shè)第g組共有n個(gè)點(diǎn),該組點(diǎn)集為N={p1,p2,…,pn},選取nb個(gè)起始點(diǎn)做為下一步的中心點(diǎn):

步驟1隨機(jī)選擇一個(gè)點(diǎn)pi做為起始點(diǎn)，并寫(xiě)入起始點(diǎn)集B={pi};

步驟2選擇剩下n-1個(gè)點(diǎn)計(jì)算和pi點(diǎn)的距離，選擇最遠(yuǎn)點(diǎn)pj寫(xiě)入起始點(diǎn)集B={pi,pj};

步驟3再選擇剩下n-2個(gè)點(diǎn)計(jì)算和點(diǎn)集B中每個(gè)點(diǎn)的距離,將最短的那個(gè)距離作為該點(diǎn)到點(diǎn)集B的距離,在n-2點(diǎn)中選擇最遠(yuǎn)的那個(gè)點(diǎn)寫(xiě)入起始點(diǎn)集B={pi,pj,pk},此時(shí)剩下n-3個(gè)點(diǎn),如果nb=3 則選擇完畢;

步驟4如果nb> 3則重復(fù)步驟2和3直至選到nb個(gè)起始點(diǎn)。

2.3.2類(lèi)殘差點(diǎn)云融合模塊

本文設(shè)計(jì)的類(lèi)殘差點(diǎn)云融合模塊旨在使用點(diǎn)云的多種表達(dá)形式有效地進(jìn)行特征融合，提高后續(xù)建議細(xì)化質(zhì)量，進(jìn)而提高檢測(cè)精度。不同于原始網(wǎng)絡(luò)側(cè)重體素特征向量并使用其與點(diǎn)云特征向量簡(jiǎn)單加和的做法，本模塊更加側(cè)重具有豐富精準(zhǔn)位置信息的點(diǎn)云，使用類(lèi)似殘差網(wǎng)絡(luò)的結(jié)構(gòu)，構(gòu)建類(lèi)殘差點(diǎn)云融合模塊，提高點(diǎn)云特征的影響力，模塊主要包含原始點(diǎn)云生成的特征向量和經(jīng)過(guò)三維稀疏卷積網(wǎng)絡(luò)與關(guān)鍵點(diǎn)處理后的體素特征向量。

(5)

生成本模塊特有的體素特征向量，如式(6)所示：

(6)

對(duì)于已經(jīng)獲取到的點(diǎn)云特征向量Fp和體素特征向量F(vk)，借鑒殘差網(wǎng)絡(luò)[26]的思想構(gòu)建類(lèi)殘差點(diǎn)云融合模塊，結(jié)構(gòu)如圖1殘差點(diǎn)云融合模塊部分所示。第k層點(diǎn)云融合特征向量如式(7)所示：

(7)

其中，ωk是第k層的融合權(quán)重，由第k-1層稀疏網(wǎng)絡(luò)的下采樣程度決定。

2.3.3集合抽象模塊

集合抽象模塊是在已經(jīng)獲取到類(lèi)殘差點(diǎn)云融合模塊的基礎(chǔ)上，將經(jīng)過(guò)下采樣獲取到的二維鳥(niǎo)瞰特征圖與之融合。其中，點(diǎn)云部分彌補(bǔ)了原始點(diǎn)云體素化的量化損失，而二維鳥(niǎo)瞰圖沿Z軸則具有更大的信息接受域。

(8)

如圖1所示，將RPN網(wǎng)絡(luò)獲取到的目標(biāo)分類(lèi)和邊界框回歸結(jié)果與本節(jié)最終獲得的集合抽象模塊輸入原始網(wǎng)絡(luò)的ROI網(wǎng)格池化層，使用集合抽象模塊進(jìn)行邊界框細(xì)化，再傳入后續(xù)全連接等網(wǎng)絡(luò)層，獲取三維目標(biāo)檢測(cè)結(jié)果。

2.4 損失函數(shù)

本文提出的網(wǎng)絡(luò)結(jié)構(gòu)主要使用區(qū)域建議損失函數(shù)Lrpn、關(guān)鍵點(diǎn)損失函數(shù)Lkp和建議細(xì)化損失Lrcnn進(jìn)行端到端的訓(xùn)練。

區(qū)域建議損失函數(shù)Lrpn采用與[27]相同的損失函數(shù)，如式(9)所示；

(9)

關(guān)鍵點(diǎn)損失函數(shù)Lkp也使用焦點(diǎn)損失函數(shù)。

建議細(xì)化損失函數(shù)Lrcnn包括IoU引導(dǎo)的置信度預(yù)測(cè)損失Liou和邊界框細(xì)化損失，如式(10)所示：

(10)

整體訓(xùn)練損失函數(shù)是這3個(gè)損失函數(shù)的加和，各損失函數(shù)權(quán)重相同。因此，整體訓(xùn)練損失函數(shù)如式(11)所示。

Ltotal=wLrpn+wLkp+wLrcnn

(11)

其中，w為損失函數(shù)權(quán)重。

3 實(shí)驗(yàn)評(píng)估

3.1 實(shí)驗(yàn)參數(shù)

本文使用大型公開(kāi)數(shù)據(jù)集KITTI進(jìn)行實(shí)驗(yàn)評(píng)估。該數(shù)據(jù)集共有7 481個(gè)訓(xùn)練樣本和7 518個(gè)測(cè)試樣本，根據(jù)被檢測(cè)目標(biāo)被遮擋程度和成像大小分為簡(jiǎn)單、中等和困難3個(gè)級(jí)別。

本文使用Pytorch框架實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)，使用NVIDIA GTX 3080 GPU 和 Intel i7 CPU 進(jìn)行訓(xùn)練和測(cè)試，使用Adam優(yōu)化器實(shí)現(xiàn)端到端的訓(xùn)練，批大小為24，設(shè)置初始學(xué)習(xí)率為0.01，學(xué)習(xí)率衰減采用余弦退火策略,共迭代 80次。

3.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)對(duì)于提高檢測(cè)算法的通用性很重要。通過(guò)觀察KITTI數(shù)據(jù)集真實(shí)場(chǎng)景下的點(diǎn)云分布情況，發(fā)現(xiàn)點(diǎn)云數(shù)據(jù)受遮擋、距離、目標(biāo)形狀多樣性而顯著變化。所以針對(duì)這種情況，本文隨機(jī)刪除點(diǎn)，模仿遮擋的實(shí)際情況；隨機(jī)交換輸入點(diǎn)，增加樣本多樣性；隨機(jī)稀疏采樣，模仿遠(yuǎn)距離點(diǎn)云稀疏情況。除此之外，在進(jìn)行上述點(diǎn)云數(shù)據(jù)增強(qiáng)之前，對(duì)點(diǎn)云進(jìn)行全局變換，包括隨機(jī)翻轉(zhuǎn)、隨機(jī)比例縮放等。

3.3 實(shí)驗(yàn)結(jié)果及分析

本文算法實(shí)際檢測(cè)效果如圖4所示。各圖中上半部分為本文算法檢測(cè)的真實(shí)情況，下半部分為真實(shí)場(chǎng)景下的相機(jī)圖片。檢測(cè)時(shí)，綠色邊界框?yàn)闄z測(cè)到的汽車(chē)，黃色邊界框?yàn)闄z測(cè)到的自行車(chē)，藍(lán)色邊界框?yàn)闄z測(cè)到的行人。邊界框立方體有交叉線的一面表示該目標(biāo)前進(jìn)方向。從圖4(a)(b)可以看出，目標(biāo)種類(lèi)較多，且目標(biāo)之間較為密集，本文算法依舊可以進(jìn)行較為準(zhǔn)確的檢測(cè)，在圖4(c)中，目標(biāo)種類(lèi)較多，但目標(biāo)之間較為稀疏，對(duì)較遠(yuǎn)距離的目標(biāo)也具有較好的檢測(cè)結(jié)果，因此本文算法面向真實(shí)場(chǎng)景時(shí)，具有較好的檢測(cè)能力。

圖4 本文算法三維目標(biāo)檢測(cè)實(shí)例

為了評(píng)估本文算法性能，將本文算法與其他相關(guān)算法在KITTI數(shù)據(jù)集上進(jìn)行測(cè)試。其中包括主要使用體素進(jìn)行檢測(cè)的SECOND、PointPillars算法，直接使用原始點(diǎn)云進(jìn)行目標(biāo)檢測(cè)的PointRCNN、STD算法，修改了點(diǎn)云采樣方法的3DSSD算法，將點(diǎn)云場(chǎng)景編碼成圖結(jié)構(gòu)參與計(jì)算的Point-GNN算法以及本文基礎(chǔ)網(wǎng)絡(luò)PV-CNN，所有結(jié)果均通過(guò)平均精度進(jìn)行評(píng)估，具體評(píng)估方法參考KITTI官方測(cè)試服務(wù)器上的40個(gè)召回位置，汽車(chē)的IoU閾值為設(shè)0.7，自行車(chē)設(shè)為0.5，詳細(xì)情況如表1所示。

表1 算法結(jié)果

由表1可知，本文算法較其他相關(guān)算法在KITTI數(shù)據(jù)集汽車(chē)、自行車(chē)的檢測(cè)類(lèi)型上具有更好的檢測(cè)精度。即本文基于點(diǎn)云混合表現(xiàn)形式的三維目標(biāo)檢測(cè)算法相較于單獨(dú)使用體素、點(diǎn)云或其他結(jié)構(gòu)以及簡(jiǎn)單混合點(diǎn)云表現(xiàn)形式的三維目標(biāo)檢測(cè)算法都具有更好的檢測(cè)效果，即使是自行車(chē)這類(lèi)識(shí)別率較低的待檢測(cè)目標(biāo)，也得到了較好的檢測(cè)精度。分別對(duì)汽車(chē)和自行車(chē)3種難度的檢測(cè)結(jié)果求均值，汽車(chē)達(dá)到了84.94 mAP，自行車(chē)達(dá)到了64.41 mAP，相較其他網(wǎng)絡(luò)和原始基礎(chǔ)網(wǎng)絡(luò)都有較好的提升。

同時(shí)，為了驗(yàn)證本文算法各模塊的有效性，在KITTI數(shù)據(jù)集汽車(chē)類(lèi)型上進(jìn)行消融實(shí)驗(yàn)，即分別驗(yàn)證隨機(jī)并行FPS采樣的運(yùn)行速度、雙通道注意力體素特征提取效果以及類(lèi)殘差點(diǎn)云融合的建議優(yōu)化效果，詳細(xì)情況如表2所示。

由表2消融實(shí)驗(yàn)結(jié)果可知，將PV-RCNN網(wǎng)絡(luò)中的點(diǎn)云采樣方法由FPS替換為隨機(jī)并行FPS采樣，雖然檢測(cè)精度有少量的損失，但是整體檢測(cè)速度提升了56%。引入雙通道注意力模塊后，檢測(cè)精度在使用隨機(jī)并行FPS采樣的基礎(chǔ)上有了一定程度的提升，因此雙通道注意力對(duì)體素特征有更好的提取效果。加入類(lèi)殘差點(diǎn)云融合模塊后，隨之也精簡(jiǎn)了后續(xù)的集合抽象模塊，實(shí)驗(yàn)中將二者結(jié)合共同進(jìn)行驗(yàn)證，即構(gòu)成本文算法，從實(shí)驗(yàn)數(shù)據(jù)可知，類(lèi)殘差點(diǎn)云融合模塊提升點(diǎn)云特征的影響力后，其對(duì)建議優(yōu)化的效果也有了較為顯著的提升，因此整體檢測(cè)精度再次提升。

表2 消融實(shí)驗(yàn)結(jié)果

然而結(jié)合實(shí)驗(yàn)中各模塊的檢測(cè)時(shí)間可知，引入的雙通道注意力模塊與類(lèi)殘差點(diǎn)云融合模塊對(duì)速度都有所影響。較為輕量的雙通道注意力模塊依然給整體網(wǎng)絡(luò)帶來(lái)了少量參數(shù)，進(jìn)而拖慢整體檢測(cè)速度；而類(lèi)殘差融合模塊雖然后續(xù)傳入了精簡(jiǎn)的集合抽象模塊，一定程度上減少了參數(shù)，但是其進(jìn)行點(diǎn)云與體素特征融合過(guò)程中，依然引進(jìn)了部分參數(shù)，也一定程度上影響了整體檢測(cè)速度。最后，本文算法在整體檢測(cè)速度上僅提升37%。因此，本文算法在檢測(cè)速度上的提升并未達(dá)到實(shí)時(shí)，如何在保證檢測(cè)精度的情況下，滿足實(shí)時(shí)性需求是作者的進(jìn)一步研究方向。

4 結(jié)論

提出了一種混合體素與原始點(diǎn)云的三維目標(biāo)檢測(cè)網(wǎng)絡(luò)。通過(guò)在特征提取部分引入通道注意力和空間注意力，提高了特征提取的有效性，同時(shí)修改了計(jì)算資源耗費(fèi)較多的點(diǎn)云采樣方法，使用并行隨機(jī)最遠(yuǎn)點(diǎn)采樣，縮短檢測(cè)時(shí)間，最后提出類(lèi)殘差點(diǎn)云融合模塊，精簡(jiǎn)集合抽象模塊，融合點(diǎn)云、體素和鳥(niǎo)瞰圖特征，有效提升建議細(xì)化效果。通過(guò)在KITTI數(shù)據(jù)集上的實(shí)驗(yàn)表明，本文算法相較于其他算法具有更高的精度，在運(yùn)行速度上也具有更好的表現(xiàn)。