張坤，張麗婷，王曉紅，朱亞薇，周昆鵬

（河北科技大學(xué) 信息科學(xué)與工程學(xué)院，河北 石家莊 050000）

1 引言

點(diǎn)云語義分割在自動(dòng)駕駛、工業(yè)控制、遙感測繪等領(lǐng)域有著重要的應(yīng)用。語義分割［1］是計(jì)算機(jī)視覺中的主要任務(wù)之一，較分割目標(biāo)的大小可以將點(diǎn)云語義分割技術(shù)劃分為粗粒度分割和細(xì)粒度分割兩類［2］。近年來，大多數(shù)學(xué)者以點(diǎn)云的粗粒度分割為研究對象，著眼于物體識別、目標(biāo)跟蹤等方面的應(yīng)用，然而卻忽略了細(xì)粒度語義分割，即物體部件級的分割。物體部件的語義信息在工業(yè)檢測以及機(jī)器人的運(yùn)動(dòng)控制等應(yīng)用中起到了關(guān)鍵的作用。然而點(diǎn)云數(shù)據(jù)雜亂、無序且密度不均勻，對精準(zhǔn)的語義分割造成了一定的困難，尤其是對于細(xì)粒度分割。物體部件在空間上具有相鄰關(guān)系，部件間的邊界特征相似度極高，為細(xì)粒度語義分割提出了較大的挑戰(zhàn)。

為了解決上述問題，Qi［3］等人建立局部區(qū)域，利用局部特征增強(qiáng)邊界的識別能力，Ye X［4］等人通過不斷改變感受野尺度的方法捕獲多尺度特征，學(xué)習(xí)更加全面且豐富細(xì)節(jié)結(jié)構(gòu)。近年來，注意力機(jī)制在計(jì)算機(jī)視覺中得到了廣泛應(yīng)用。注意力機(jī)制源于對人類視覺的研究，面對周圍復(fù)雜的信息，人類視覺系統(tǒng)會迅速將注意力集中在場景中最重要的區(qū)域上，這一選擇性感知機(jī)制極大地減少了人類視覺系統(tǒng)處理數(shù)據(jù)的數(shù)量，同時(shí)提高了視覺敏感度。利用注意力機(jī)制可以有效地提高網(wǎng)絡(luò)中神經(jīng)元的計(jì)算效率，減少計(jì)算資源消耗，滿足復(fù)雜任務(wù)需求。結(jié)合局部多尺度特征的影響，受注意力在計(jì)算機(jī)視覺的應(yīng)用的啟發(fā)，本文提出了一個(gè)增強(qiáng)點(diǎn)云局部顯著性特征的細(xì)粒度語義分割網(wǎng)（Fine-grained Semantic Segmentation Network for Enhancing Local Salient of Laser Point Cloud，ELSFNet），通過注意力機(jī)制構(gòu)建數(shù)據(jù)上下文信息，提高三維點(diǎn)云數(shù)據(jù)特征計(jì)算能力，捕獲數(shù)據(jù)顯著特征，增強(qiáng)邊界點(diǎn)的特征差異度，滿足精準(zhǔn)的細(xì)粒度分割需求，具體貢獻(xiàn)有：

（1）本文建立了基于幾何曲率改進(jìn)的的最遠(yuǎn)點(diǎn)采樣算法，結(jié)合球查詢建立多個(gè)點(diǎn)云局部數(shù)據(jù)子集，將點(diǎn)云數(shù)據(jù)進(jìn)行區(qū)域劃分，針對局部數(shù)據(jù)子集建立多尺度高維特征提取器；

（2）設(shè)計(jì)面向點(diǎn)云多尺度特征的RNN 編碼器和解碼器，捕獲點(diǎn)云局部多尺度顯著性特征，引入注意力，獲得局部特征的顯著性，提高分割精確度；

（3）本文將ELSFNet 與PointNet，DGCNN，PointNet++，Point2Sequence 等多個(gè)網(wǎng)絡(luò)進(jìn)行了實(shí)驗(yàn)對比，實(shí)驗(yàn)結(jié)果證明ELSFNet 網(wǎng)絡(luò)平均mIOU 和準(zhǔn)確率均高于目前主流點(diǎn)云語義分割網(wǎng)，分別達(dá)到了85.2%和95.6%，尤其對于個(gè)別分割對象，ELSFNet 取得了該類對象的最高的mIOU。

2 相關(guān)工作

隨著激光雷達(dá)的發(fā)展，點(diǎn)云被應(yīng)用于在車輛檢測［5］、遙 感圖像［6］、人臉 識別［7］、全息成像［8］、點(diǎn)云配準(zhǔn)［9］及目標(biāo)檢測［10］等領(lǐng)域，獲取的點(diǎn)云數(shù)據(jù)也愈加豐富。基于大量數(shù)據(jù)的指導(dǎo)，使得深度學(xué)習(xí)技術(shù)得到了快速發(fā)展?；谏疃葘W(xué)習(xí)的點(diǎn)云語義分割的方法也越來越多，主要分為：基于體素化的語義分割方法、基于投影的語義分割方法和基于點(diǎn)表示的語義分割方法。

2.1 基于體素化的語義分割方法

由于點(diǎn)云數(shù)據(jù)的不規(guī)則結(jié)構(gòu)，早期的點(diǎn)云通常通過體素化方法進(jìn)行處理。例如：Huang 等人［11］將體素化的點(diǎn)云數(shù)據(jù)輸入3D 卷積神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)語義分割。體素化算法不可避免地會導(dǎo)致數(shù)據(jù)精度的損失，從而影響分割效果。為了提高體素化方法語義分割的精準(zhǔn)度，Tchapmi 等人［12］提出SEGCloud 語義分割網(wǎng)，用三維卷積對粗體素進(jìn)行預(yù)測，通過三線插值傳遞回原始點(diǎn)云。Jiageng Mao 等人［13］利用Transformer 實(shí)現(xiàn)體素之間的遠(yuǎn)程關(guān)系，提出了稀疏體素模塊和子流形體素模塊，有效地對空體素和非空體素位置進(jìn)行操作。然而，體素結(jié)構(gòu)是低分辨率形式，體素化所導(dǎo)致的數(shù)據(jù)損失使其語義分割精度很難提高，不適用于細(xì)粒度語義分割網(wǎng)絡(luò)。

2.2 基于投影的語義分割方法

Lawin 等人［14］采用多視圖投影的方法，將多視圖投影輸入到FCN 網(wǎng)絡(luò)，通過合成評估分?jǐn)?shù)和計(jì)算語義標(biāo)簽，從而實(shí)現(xiàn)語義分割。Tatarchenko等人［15］建立點(diǎn)云局部區(qū)域的切平面，并完成切平面投影，通過多投影面數(shù)據(jù)卷積實(shí)現(xiàn)語義分割。Wu 等人［16］提出了一種基于球面投影的分割方法。與單視圖投影相比，球面投影保留了更多的信息。徐等［17］提出了Squeeze-SegV3 網(wǎng)絡(luò)將點(diǎn)云投影二維空間中，設(shè)計(jì)空間自適應(yīng)卷積，它具有空間適應(yīng)性和內(nèi)容感知的能力。View-GCN［18］通過多個(gè)視圖的特征融成為一個(gè)全局的三維體征，用來描述點(diǎn)云的分割。基于投影的點(diǎn)云語義分割效果對所選擇投影面的依賴較大，在細(xì)粒度語義分割中，使用投影方法很難捕捉到部件間數(shù)據(jù)特征變化。

2.3 基于點(diǎn)表示的語義分割方法

Qi 等人［19］2016 年首次提出可以直接作用于無序點(diǎn)云數(shù)據(jù)的PointNet 模型，PointNet 通過多層感知機(jī)（Multi-Layer Perceptron，MLP）生成全局特征描述符，實(shí)現(xiàn)點(diǎn)云語義分割。次年，Qi 等人改進(jìn)PointNet 網(wǎng)絡(luò)，提出PointNet++［2］，增強(qiáng)了數(shù)據(jù)局部特征表示能力，語義分割效果得到了很大的改善。Engelmann 等人［20］構(gòu)造EdgeConv操作，在保證置換不變性的同時(shí)捕獲局部幾何信息，邊數(shù)據(jù)的引入提高了點(diǎn)間的關(guān)聯(lián)特征計(jì)算能力，然而網(wǎng)絡(luò)的計(jì)算復(fù)雜度明顯增加。Thomas等人［21］使用一系列局部三維卷積核構(gòu)造核點(diǎn)，學(xué)習(xí)局部點(diǎn)云的信息，并通過計(jì)算從點(diǎn)到核點(diǎn)的歐氏距離對特征進(jìn)行加權(quán)，學(xué)習(xí)局部幾何特征?；邳c(diǎn)云的語義分割網(wǎng)絡(luò)引入數(shù)據(jù)局部幾何特征有效地提高了語義分割效果。

此外，點(diǎn)云數(shù)據(jù)的多尺度、形狀等特征被引入語義分割網(wǎng)，提高網(wǎng)絡(luò)的空間信息表達(dá)能力。例如，Ye X 等人［3］利用逐點(diǎn)金字塔池化來捕獲點(diǎn)云局部多尺度上下文信息，從而提高語義分割效果。Keisuke等人［22］利用注意力機(jī)制提出了捕獲多尺度點(diǎn)云上下文的細(xì)粒度信息的語義分割網(wǎng)。Liu S 等人［23］利用點(diǎn)云形狀上下文信息，構(gòu)造端到端的點(diǎn)云模型，捕獲聚合點(diǎn)云特征，實(shí)現(xiàn)點(diǎn)云語義分割。

本文采用基于點(diǎn)表示的語義分割方法，提出了ELSFNet 網(wǎng)絡(luò)，該網(wǎng)絡(luò)提出幾何曲率改進(jìn)的最遠(yuǎn)點(diǎn)采樣，通過不同維度的高維特征來提取點(diǎn)云的多尺度特征，使用seq2seq 的方法利用注意力機(jī)制將多尺度特征進(jìn)行融合。捕獲點(diǎn)云數(shù)據(jù)局部顯著性特征，提高了部件邊界的識別能力，適用于部件級的分割，在語義分割方面取得了很好的效果。

3 點(diǎn)云細(xì)粒度分割網(wǎng)

3.1 問題描述

通過激光雷達(dá)采集的點(diǎn)云數(shù)據(jù)一般由空間坐標(biāo)、顏色以及反射強(qiáng)度等信息組成。不同采集設(shè)備導(dǎo)致點(diǎn)云數(shù)據(jù)的屬性略有不同，其中空間坐標(biāo)屬性是完整且不可或缺的。假設(shè)待分割的點(diǎn)云數(shù)據(jù)為P={pi|pi={z，y，z，α}}，其中空間坐標(biāo)屬性為x，y，z，非空間屬性α。經(jīng)過ELSNet 網(wǎng)絡(luò)，將輸入的點(diǎn)云P最終轉(zhuǎn)換成含有部件信息的點(diǎn)集C={Ci|Ci={x，y，z，a，c}}。

3.2 方法概覽

本文通過ELSFNet 網(wǎng)絡(luò)輸入只包含空間坐標(biāo)屬性的三維點(diǎn)云數(shù)據(jù)（如圖2（a）所示），實(shí)現(xiàn)了點(diǎn)云部件級的分割（如圖2（f）所示）。整體設(shè)計(jì)如圖3 所示，分為局部多尺度特征計(jì)算模塊（MF）、局部多尺度特征融合模塊（AF）和部件分割3 個(gè)模塊。網(wǎng)絡(luò)實(shí)現(xiàn)具體步驟如下：

Step1：對輸入的點(diǎn)云數(shù)據(jù)（如圖2（a）所示）進(jìn)行幾何曲率改進(jìn)的最遠(yuǎn)點(diǎn)采樣選取m個(gè)球心點(diǎn)形成點(diǎn)集S（如圖2（b）所示）；

Step2：利用球查詢建立局部數(shù)據(jù)子集G（如圖2（c）所示），獲取數(shù)據(jù)的細(xì)節(jié)信息；

圖1 問題描述Fig.1 Problem description

Step3：其次構(gòu)建局部數(shù)據(jù)子集的多尺度特征含上下文信息的c向量（如圖2（f）所示），融合局部多尺度特征從而實(shí)現(xiàn)語義分割；

Step4：通過seq2seq 的方法引入注意力機(jī)制融合多尺度特征（如圖2（e）所示），最終得到每個(gè)點(diǎn)的語義標(biāo)簽pi，class，如圖2（f）所示。

圖2 網(wǎng)絡(luò)流程Fig.2 Network process

3.3 局部多尺度特征計(jì)算模塊（MF）

為了更好地學(xué)習(xí)輸入點(diǎn)云局部特征，ELSFNet 設(shè)計(jì)了幾何曲率改進(jìn)的最遠(yuǎn)點(diǎn)采樣，原始的最遠(yuǎn)點(diǎn)采樣，雖然采樣均勻，但是不能有效的捕獲點(diǎn)云之間的幾何關(guān)系。在進(jìn)行最遠(yuǎn)點(diǎn)采樣的同時(shí)，通過法向量計(jì)算相鄰點(diǎn)的曲率，構(gòu)建曲率的正態(tài)分布，由正態(tài)分布可知，（μ-2σ，μ+2σ）包含的點(diǎn)的曲率相似性極大，為了保證分組結(jié)果的差異性以及分組的全面性，所以選擇曲率分布在（-∞，μ-2σ）∪（μ+2σ，+∞）這個(gè)區(qū)間的點(diǎn)進(jìn)行幾何信息添加，最終形成集合S（S=S1∩S2）。

其中：式（1）是對輸入點(diǎn)云進(jìn)行最遠(yuǎn)點(diǎn)采樣，其中max表示兩點(diǎn)間的歐式距離的最大值，式（2）計(jì)算輸入的點(diǎn)云的曲率k，n表示點(diǎn)云的法向量，式（3）是對點(diǎn)云的曲率建立正態(tài)分布，μ表示曲率的均值，σ表示曲率的標(biāo)準(zhǔn)差。式（4）是選取曲率在（-∞，μ-2σ）∪（μ+2σ，+∞）這個(gè)區(qū)間的點(diǎn)。

ELSFNet 利用球查詢對三維物體的點(diǎn)云數(shù)據(jù)進(jìn)行區(qū)域劃分。以采樣之后得到的點(diǎn)作為球的球心，為了全面覆蓋三維物體的所有點(diǎn)，本網(wǎng)絡(luò)給定了半徑R，R=｛r1，r2，…，rn｝，如圖4 所示。通過不斷地?cái)U(kuò)大半徑以及與周圍的附近區(qū)域的比較，每個(gè)區(qū)域選出k個(gè)點(diǎn)，進(jìn)行區(qū)域劃分，得到m個(gè)區(qū)域，形成了集合G，如式（5）所示：

在CNN 網(wǎng)絡(luò)中，權(quán)重的更新并不能實(shí)現(xiàn)參數(shù)共享，同時(shí)反向傳播中梯度的更新只能對孤立點(diǎn)進(jìn)行，失去了點(diǎn)之間的特征聯(lián)系，所以本文對gi∈G中每個(gè)點(diǎn)進(jìn)行參數(shù)共享的MLP 操作，使得權(quán)重的更新不再依靠單獨(dú)的點(diǎn)，學(xué)習(xí)周圍點(diǎn)的關(guān)系。如式（6）所示，提出了多尺度特征提取器，設(shè)置2 個(gè)不同尺度的卷積核，對輸入的點(diǎn)云進(jìn)行特征提取，獲取特征的顯著性。如圖5 所示，5（a）為原始飛機(jī)點(diǎn)云圖，5（b）為尺度1 所提取的特征權(quán)重的分布，5（c）為尺度2 所提取的特征權(quán)重的分布，根據(jù)圖中的特征顏色分布，可以很明顯地發(fā)現(xiàn)不同尺度下的特征顯著性不同。

圖3 整體網(wǎng)絡(luò)Fig.3 ELSFNet

圖4 球查詢Fig.4 Ball query

圖5 多尺度特征顯著性分布Fig.5 Multiscale feature significance distribution

其中：?i是不同尺度的MLP 操作，MAX 是最大池化操作，gi為本區(qū)域點(diǎn)集合。

3.4 局部多尺度特征融合模塊（AF）

為了更好地進(jìn)行部件分割區(qū)分邊界點(diǎn)，融合不同尺度的高維點(diǎn)云特征，ELSFNet 構(gòu)造了seq2seq 的自編碼器，通過構(gòu)建注意力機(jī)制學(xué)習(xí)并增強(qiáng)顯著性特征的影響。seq2seq 模型一般由編碼器、注意力機(jī)制和解碼器組成。本文將時(shí)間序列輸入編碼器中，得到t時(shí)刻的隱藏狀態(tài)ht。使用RNN 作為解碼器，將解釋目標(biāo)的時(shí)間序列輸入解碼器中，得到t時(shí)刻的隱藏狀態(tài)ht′。

ELSFNet 的編碼器中，將每個(gè)區(qū)域中多尺度的高維特征序列F，F(xiàn)=｛F1，F(xiàn)2｝輸入網(wǎng)絡(luò)中，得到這一時(shí)刻的隱藏狀態(tài)ht：

其中：f為非線性激活函數(shù)，這里使用的門控循環(huán)單元（Gated Recurrent Unit，GRU），ht是t時(shí)刻的隱藏狀態(tài)。

根據(jù)生成的特征表示向量c和給定生成目標(biāo)，調(diào)整不同特征的影響力。

其中：a（t）是注意力向量，t是步長。

將維度更高的特征向量F1作為解碼器的輸入，對于初始狀態(tài)，使用零向量h0′作為隱藏狀態(tài)的輸入，則h1′為：

其中：f是是非線性激活函數(shù)。

在網(wǎng)絡(luò)中增強(qiáng)顯著性特征的學(xué)習(xí)和識別能力。ELSFNet 在解碼器中使用F1作為查詢內(nèi)容Q，編碼器中的輸入作為查詢的鍵值K，輸出作為V，計(jì)算得到注意力a：

通過得到注意力向量對生成的特征表示向量進(jìn)行調(diào)整。

含有上下文信息的向量c和解碼器的隱藏層通過一系列的非線性的操作：

最終使用softmax函數(shù)，計(jì)算出概率：

其中，Wc，Ws是指解碼器中學(xué)到的權(quán)重。

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)數(shù)據(jù)：本實(shí)驗(yàn)采用ShapeNet Part 數(shù)據(jù)集，該數(shù)據(jù)集由斯坦福大學(xué)、普林斯頓大學(xué)和芝加哥豐田技術(shù)學(xué)院于2015 年聯(lián)合發(fā)布，包含16個(gè)類別的16 881 個(gè)三維點(diǎn)云模型，共涉及到50 個(gè)不同的部件類別，每個(gè)三維模型包含2～5 個(gè)不同的部件。該數(shù)據(jù)集含有豐富的形狀信息，每一個(gè)數(shù)據(jù)對象含有不同的部件，ELSFNet 使用該數(shù)據(jù)集可以學(xué)習(xí)到豐富的部件特征。

實(shí)驗(yàn)環(huán)境：實(shí)驗(yàn)硬件采用Intel E5-2683v3（28核2.0 GHz）+128 GB DDR4 ECC 寄存器和NVIDIA TITANX GPU。實(shí)驗(yàn)軟件環(huán)境采用python3.7，pytorch1.0 以上。本實(shí)驗(yàn)使用Adam作為模型的自適應(yīng)估計(jì)優(yōu)化器，初始學(xué)習(xí)率為0.001。

4.1 參數(shù)設(shè)置和性能評估

4.1.1 Epoch 設(shè)置

為了確定所提出網(wǎng)絡(luò)模型ELSFNet 訓(xùn)練周期的最佳值，將訓(xùn)練周期值分別設(shè)置為100，150，200，250，300，實(shí)驗(yàn)結(jié)果如圖6 所示。由圖6 可知，隨著訓(xùn)練周期的增加，網(wǎng)絡(luò)的準(zhǔn)確性不斷提高，在周期值設(shè)置為200 時(shí)，實(shí)驗(yàn)效果最好。當(dāng)實(shí)驗(yàn)訓(xùn)練周期為250，300 時(shí)網(wǎng)絡(luò)的準(zhǔn)確性出現(xiàn)下降的現(xiàn)象。

4.1.2 Batch size 設(shè)置

圖6 Epoch 設(shè)置Fig.6 Epoch set up

設(shè)置ELSFNet 訓(xùn)練周期200 時(shí)，實(shí)驗(yàn)設(shè)定Batchsize 分別為4，6，8，16 進(jìn)行測試，測試結(jié)果如圖7 所示，Batchsize 由4 增加到6 時(shí)，網(wǎng)絡(luò)準(zhǔn)確性有明顯提升；由于三維點(diǎn)云數(shù)據(jù)稀疏，當(dāng)Batchsize 值為4 時(shí)，不足以支撐數(shù)據(jù)特征的提取，導(dǎo)致分割效果差。增加Batchsize，可看到分割準(zhǔn)確率的明顯提升。當(dāng)Batchsize=16 時(shí)，實(shí)驗(yàn)取得最高的mIoU，所以本實(shí)驗(yàn)選定Batchsize 為16。

圖7 Batchsize 設(shè)置Fig.7 Batchsize set up

4.2 語義分割效果對比實(shí)驗(yàn)

平均交并比（Mean Intersection over Union，mIoU），為語義分割的標(biāo)準(zhǔn)度量，計(jì)算兩個(gè)或幾個(gè)的交集和并集之比，在語義分割問題中，這兩個(gè)集合為真實(shí)值（ground truth）和預(yù)測值（predicted segmntatio）。本實(shí)驗(yàn)計(jì)算每個(gè)形狀類別的mIoU，以及計(jì)算所有測試形狀的總的平均mIoU。

ELSFNet的結(jié)果 與PointNet（Qi et al.2017 b），PointNet++（Qi et al.2017c），Point2Sequence（Xinhai Liu，2019），DGCNN，SK-Net，SRINet，Pointseq2seq 進(jìn)行了比較。在表1 中，報(bào)告了每個(gè)類別中ELSFNet 的性能以及所有測試形狀的平均mIoU。由實(shí)驗(yàn)結(jié)果可知，飛機(jī)、茶杯、汽車、椅子、吉他和摩托車等類別取得了這幾種方法的最高的mIoU，分析可知，由于網(wǎng)絡(luò)多尺度以及注意力機(jī)制的加入，使得網(wǎng)絡(luò)對復(fù)雜的三維物體以及含有豐富類別的三維對象識別能力更強(qiáng)。與現(xiàn)有方法相比，ELSFNet 獲得了85.2%的最佳平均mIoU，表2 展示了ELSFNet預(yù)測結(jié)果的一些例子，標(biāo)出了部分邊界處的分割效果，注明了該部分分割成果的正確率，其中ELSFNet 的結(jié)果與基本事實(shí)高度一致。

表1 實(shí)驗(yàn)結(jié)果對比Tab.1 comparison of experimental results

表2 分辨率魯棒性可視化結(jié)果Tab.2 Comparison table of visual results of component segmentation

續(xù)表2 分辨率魯棒性可視化結(jié)果Tab.2 Comparison table of visual results of component segmentation

4.3 魯棒性實(shí)驗(yàn)法

為測試網(wǎng)絡(luò)模型對于不同輸入點(diǎn)云數(shù)量具有一定分辨率魯棒性，改變輸入點(diǎn)云采樣數(shù)量，分別采樣512，1 024，2 048，2 560 個(gè)點(diǎn)進(jìn)行測試，并與加入幾何信息的DGCNN［16］網(wǎng)絡(luò)進(jìn)行了對比，結(jié)果如表4 所示。本網(wǎng)絡(luò)明顯優(yōu)于DGCNN，當(dāng)輸入點(diǎn)云數(shù)量為2 048 時(shí)，網(wǎng)絡(luò)分割性能最優(yōu)，增加或減少輸入點(diǎn)數(shù)（相較于最優(yōu)輸入點(diǎn)數(shù)），分割精度均有小幅度下降。表3 為不同輸入點(diǎn)數(shù)的飛機(jī)分割可視化圖，即使最少的256 點(diǎn)也可以分割出機(jī)翼、機(jī)身和機(jī)尾等部位。以上實(shí)驗(yàn)表明本文網(wǎng)絡(luò)模型可以有效提取點(diǎn)云特征信息，對點(diǎn)云分辨率具有一定魯棒性。

表3 分辨率魯棒性可視化結(jié)果Tab.3 Resolution robustness visualization results

表4 分辨率魯棒性結(jié)果Tab.4 Resolution robustness results （%）

4.4 消融實(shí)驗(yàn)

為證明模型結(jié)構(gòu)的有效性，將網(wǎng)絡(luò)模型的兩個(gè)核心模塊即多尺度構(gòu)建模塊（MF）和多尺度融合模塊（AF），進(jìn)行消融實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如表5 所示，采用MF 的方式效果最差，因?yàn)閱渭儾捎脴?gòu)建多尺度特征并不能有力的去尋找高維特征的上下文聯(lián)系，以及顯著性高維特征。采用MF+AF 的組合方式效果最好，分割精度高，主要原因在于提取的多尺度局部特征通過注意力機(jī)制進(jìn)行了加強(qiáng)，找到了顯著性特征，提高了邊緣、拐角區(qū)域的識別力。實(shí)驗(yàn)結(jié)果證明了本文模型的有效性和可行性。

5 結(jié)論

本文提出了一種適用于三維點(diǎn)云細(xì)粒度分割任務(wù)的ELSFNet 網(wǎng)絡(luò)模型。首先采用幾何曲率改進(jìn)的的最遠(yuǎn)點(diǎn)采樣的方法，將點(diǎn)云數(shù)據(jù)進(jìn)行區(qū)域劃分，構(gòu)建局部多尺度特征。利用注意力機(jī)制對多尺度特征進(jìn)行融合，得到局部顯著特征，最終與全局特征結(jié)合，形成特征描述子，并實(shí)現(xiàn)語義分割。

表5 消融實(shí)驗(yàn)結(jié)果對比表Tab.5 comparison of ablation experimental results

為了驗(yàn)證本文模型，將該模型在ShapeNet Part 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)驗(yàn)證，并與PointNet，PointNet++和Pointseq2seq 等網(wǎng)絡(luò)進(jìn)行了對比，ELSFNet 分割效果得到了提升。實(shí)驗(yàn)結(jié)果表明，本文提出的ELSFNet 網(wǎng)絡(luò)模型在點(diǎn)云數(shù)據(jù)的細(xì)粒度分割方面效果較好。在分割準(zhǔn)確率方面，本文模型已經(jīng)達(dá)到與當(dāng)前眾多成熟模型分割性能一致的水平。

雖然本文提出的ELSFNet 能很好的提取點(diǎn)云數(shù)據(jù)細(xì)粒度的特征描述和數(shù)據(jù)局部特征之間的聯(lián)系。但是由于RNN 網(wǎng)絡(luò)本身是參數(shù)共享的神經(jīng)網(wǎng)絡(luò)，隨著網(wǎng)絡(luò)的深層增加，梯度不斷累加就會造成網(wǎng)絡(luò)的梯度消失。今后，將嘗試提取點(diǎn)云深層次的幾何特征，融合到點(diǎn)云的高維特征中，進(jìn)一步提高網(wǎng)絡(luò)的分割效率。