梁振明 翟正利 周 煒
(青島理工大學(xué)信息與控制工程學(xué)院 山東 青島 266520)
3D點(diǎn)云數(shù)據(jù)是一種非常重要的空間幾何型數(shù)據(jù),是一種無層次不規(guī)則的數(shù)據(jù)形式,一般用來構(gòu)建表示立體幾何物體的表面形狀,同時(shí)點(diǎn)云數(shù)據(jù)也是激光雷達(dá)、3D傳感器和立體掃描儀等設(shè)備生成數(shù)據(jù)的原始表現(xiàn)形式。近年來,隨著自動(dòng)駕駛、VR、AR等技術(shù)的發(fā)展,對(duì)點(diǎn)云數(shù)據(jù)的高效處理變得越來越重要。傳統(tǒng)的點(diǎn)云數(shù)據(jù)分類方法是通過人工特征工程提取數(shù)據(jù)點(diǎn)的屬性特征,建立數(shù)據(jù)點(diǎn)局部特征描述子,用來捕獲數(shù)據(jù)點(diǎn)的部分空間幾何信息。但是由于手工方法無法完全捕捉到三維點(diǎn)云數(shù)據(jù)的完整特征,因此分類效果一直不理想。近年來,深度學(xué)習(xí)技術(shù)在圖像識(shí)別、自然語言處理等領(lǐng)域取得了非常大的成功,使端到端的機(jī)器學(xué)習(xí)和模式識(shí)別技術(shù)邁向新的臺(tái)階。深度學(xué)習(xí)算法具有強(qiáng)大的特征提取與特征表達(dá)能力,能夠克服傳統(tǒng)機(jī)器學(xué)習(xí)中繁雜的人工特征工程預(yù)處理過程、自動(dòng)地識(shí)別和提取訓(xùn)練數(shù)據(jù)背后潛在的特征信息,并從中學(xué)習(xí)其特征規(guī)律用于建模。諸多研究人員利用深度學(xué)習(xí)技術(shù)對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行分類建模,例如:將3D點(diǎn)云數(shù)據(jù)投影成2D圖像,再利用常規(guī)卷積神經(jīng)網(wǎng)絡(luò)CNN模型對(duì)其進(jìn)行識(shí)別等。然而基于傳統(tǒng)深度學(xué)習(xí)方法的3D點(diǎn)云建模方式都無法有效地捕捉數(shù)據(jù)點(diǎn)之間的空間幾何信息,并且建模過程復(fù)雜,對(duì)內(nèi)存資源消耗很大,因此更有效且適用性更強(qiáng)的3D點(diǎn)云數(shù)據(jù)建模方法一直以來都是熱門研究課題之一。
傳統(tǒng)深度學(xué)習(xí)算法對(duì)圖像、語音等數(shù)據(jù)的處理方式是將其簡(jiǎn)化為多維數(shù)組或多維向量等網(wǎng)格型數(shù)據(jù)形式(即張量),然后利用卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)或循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks,RNN)對(duì)其進(jìn)行識(shí)別與建模。對(duì)于這種能夠簡(jiǎn)化為張量形式表示的數(shù)據(jù),稱其為“歐幾里得域”數(shù)據(jù)[1]。深度學(xué)習(xí)的強(qiáng)大之處在于能夠高效地處理歐幾里得域數(shù)據(jù)。然而現(xiàn)實(shí)生活中有很多數(shù)據(jù)是不符合歐幾里得域的,例如:電子商務(wù)數(shù)據(jù)、社交網(wǎng)絡(luò)數(shù)據(jù)和蛋白質(zhì)分子結(jié)構(gòu)等,這些數(shù)據(jù)都無法簡(jiǎn)單地簡(jiǎn)化為張量形式表示,因此類似這種具有空間結(jié)構(gòu)和空間連接關(guān)系的數(shù)據(jù)被稱為“非歐幾里得域”數(shù)據(jù)。3D點(diǎn)云數(shù)據(jù)就屬于非歐幾里得域數(shù)據(jù),無法將其簡(jiǎn)單地轉(zhuǎn)換為張量形式表示,因此傳統(tǒng)深度學(xué)習(xí)算法對(duì)3D點(diǎn)云數(shù)據(jù)的建模處理具有一定的局限性,處理效果不佳。
圖作為一種特殊形式的數(shù)據(jù)結(jié)構(gòu)類型,其結(jié)構(gòu)形式包含了豐富的應(yīng)用價(jià)值,圖結(jié)構(gòu)數(shù)據(jù)主要由節(jié)點(diǎn)和連接節(jié)點(diǎn)的邊組成,節(jié)點(diǎn)包含了數(shù)據(jù)的屬性特征,邊表示了節(jié)點(diǎn)間的依賴關(guān)系。對(duì)于非歐幾里得域數(shù)據(jù)的有效表示,圖結(jié)構(gòu)表現(xiàn)出巨大的適用性和應(yīng)用價(jià)值,因此利用圖結(jié)構(gòu)結(jié)合深度學(xué)習(xí)技術(shù)對(duì)點(diǎn)云數(shù)據(jù)建模的方法,近來得到越來越多的關(guān)注,但同時(shí)也面臨著諸多的挑戰(zhàn)。
對(duì)于3D點(diǎn)云數(shù)據(jù)的建模任務(wù),一般與傳統(tǒng)深度學(xué)習(xí)中對(duì)2D圖像數(shù)據(jù)的處理方式類似,可以分為點(diǎn)的分類、分割和匹配等任務(wù)。對(duì)點(diǎn)云數(shù)據(jù)的建模研究歷程可以以PointNet[2]模型為界線,分為前后兩個(gè)不同的時(shí)期:前PointNet時(shí)期和后PointNet時(shí)期。
前PointNet時(shí)期對(duì)點(diǎn)云數(shù)據(jù)的處理方式主要以人工特征工程和體素化預(yù)處理為主,如:通過人為手工標(biāo)注,建立數(shù)據(jù)點(diǎn)局部特征描述子,使模型可以獲得數(shù)據(jù)點(diǎn)的部分空間幾何屬性的處理方法[3];將3D點(diǎn)云數(shù)據(jù)投影成2D圖像,再利用常規(guī)CNN模型進(jìn)行處理的建模方法[4];利用體素化、網(wǎng)格化等技術(shù)將點(diǎn)云數(shù)據(jù)體素化為空間連續(xù)的3D型數(shù)據(jù),再通過3D卷積神經(jīng)網(wǎng)絡(luò)處理的分類方法[5]等。然而基于人工特征工程的處理方法受人為誤差因素限制,對(duì)3D點(diǎn)云數(shù)據(jù)的建模效果較差;基于投影的分類算法丟失了點(diǎn)云數(shù)據(jù)大量的空間幾何特性,無法充分體現(xiàn)3D點(diǎn)云的價(jià)值信息;基于體素化處理的建模算法雖然能盡量保留點(diǎn)云數(shù)據(jù)整體的空間幾何信息,但對(duì)內(nèi)存開銷很大,處理過程效率很低。因此上述方法都需要對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行一定的簡(jiǎn)化或抽象等預(yù)處理才能輸入到模型,勢(shì)必會(huì)造成一定的量化誤差,丟失點(diǎn)云數(shù)據(jù)部分內(nèi)部細(xì)節(jié)特征,從而影響模型的表達(dá)效果,無法高效且合理地對(duì)3D點(diǎn)云數(shù)據(jù)進(jìn)行處理和建模。
PointNet是一個(gè)具有開創(chuàng)性意義的3D點(diǎn)云建模模型,它無須對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理,可直接將原始無規(guī)則的點(diǎn)云數(shù)據(jù)作為模型輸入,通過對(duì)單個(gè)數(shù)據(jù)點(diǎn)的分析,最終實(shí)現(xiàn)對(duì)數(shù)據(jù)整體的分類目標(biāo)。PointNet將3D點(diǎn)云數(shù)據(jù)視為一組孤立的數(shù)據(jù)點(diǎn)的集合,首先利用兩個(gè)空間變換網(wǎng)絡(luò),將原始點(diǎn)云旋轉(zhuǎn)到一個(gè)易于分割的角度;然后再對(duì)數(shù)據(jù)點(diǎn)的坐標(biāo)進(jìn)行旋轉(zhuǎn)對(duì)齊,在屬性特征層面上對(duì)數(shù)據(jù)進(jìn)行空間變換,使相似特征位置相近;最后通過一個(gè)全局最大池化層提取全局特征信息用于分類。整個(gè)過程既保證提取了所有數(shù)據(jù)點(diǎn)的近似全局特征,又保證了數(shù)據(jù)點(diǎn)的交換不變性和旋轉(zhuǎn)不變性特點(diǎn),驗(yàn)證實(shí)驗(yàn)證明了PointNet具有良好的表現(xiàn)力和高效性,比之前模型的表現(xiàn)效果都要好。
由于PointNet模型已經(jīng)證明,直接對(duì)原始3D點(diǎn)云數(shù)據(jù)進(jìn)行處理效果會(huì)更好,因此一些類似模型相繼被提出,例如:加入局部鄰接節(jié)點(diǎn)集合概念,捕捉更多局部特征的PointNet++模型[6];利用多層堆棧前饋網(wǎng)絡(luò)生成連續(xù)性加權(quán)卷積核,提高圖結(jié)構(gòu)數(shù)據(jù)卷積效果的動(dòng)態(tài)卷積模型[7];應(yīng)用邊卷積操作捕獲鄰接節(jié)點(diǎn)與中心節(jié)點(diǎn)連接邊局部關(guān)系的動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型[8]等。
傳統(tǒng)機(jī)器學(xué)習(xí)方法對(duì)圖結(jié)構(gòu)數(shù)據(jù)的處理,一般將其映射為簡(jiǎn)單的實(shí)向量表示,即對(duì)圖結(jié)構(gòu)進(jìn)行壓縮,但是這種處理方式會(huì)破壞圖數(shù)據(jù)的內(nèi)部結(jié)構(gòu)聯(lián)系,丟失部分空間結(jié)構(gòu)信息,如丟失節(jié)點(diǎn)間的拓?fù)湟蕾囮P(guān)系等,而丟失的信息在某些特定的建模任務(wù)中可能十分重要,因此更合理的圖數(shù)據(jù)建模方法一直是數(shù)據(jù)處理領(lǐng)域的研究熱點(diǎn)。
2009年Scarselli等[9]提出了圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks,GNN)模型,GNN模型是基于信息傳遞機(jī)制的監(jiān)督型網(wǎng)絡(luò)模型,不同圖節(jié)點(diǎn)之間通過相互連接的邊進(jìn)行信息交互,更新各自的狀態(tài)直至全圖結(jié)構(gòu)達(dá)到一個(gè)穩(wěn)定的狀態(tài),然后綜合各個(gè)節(jié)點(diǎn)的狀態(tài)作為圖神經(jīng)網(wǎng)絡(luò)模型最終的輸出,同時(shí)引入相應(yīng)的學(xué)習(xí)算法對(duì)GNN模型的參數(shù)進(jìn)行估計(jì)。GNN模型將圖中的每個(gè)節(jié)點(diǎn)都視為一個(gè)概念目標(biāo),節(jié)點(diǎn)之間的連接邊表示兩個(gè)目標(biāo)之間的依賴關(guān)系,因此每一個(gè)概念目標(biāo)的表示都由其自身特征及與其相關(guān)聯(lián)的概念目標(biāo)的特征共同構(gòu)成,即每個(gè)節(jié)點(diǎn)的狀態(tài)向量都由其自身狀態(tài)信息及其鄰接點(diǎn)狀態(tài)信息共同構(gòu)成:
xv=fw(lv,lN[v],xN[v],lE[v])
(1)
式中:xv為節(jié)點(diǎn)v狀態(tài)向量;lv表示節(jié)點(diǎn)v的屬性標(biāo)簽;N[v]表示節(jié)點(diǎn)v鄰接節(jié)點(diǎn)的集合;E[v]表示與節(jié)點(diǎn)v連接的邊的集合;fw表示非線性變換函數(shù)。
圖卷積神經(jīng)網(wǎng)絡(luò)(Graph Convolutional Networks,GCN)是卷積神經(jīng)網(wǎng)絡(luò)CNN與圖神經(jīng)網(wǎng)絡(luò)GNN的結(jié)合,主要借助卷積神經(jīng)網(wǎng)絡(luò)中卷積操作的概念,對(duì)圖結(jié)構(gòu)數(shù)據(jù)的屬性特征進(jìn)行類卷積(Convolution-like)變換,從而增強(qiáng)GNN網(wǎng)絡(luò)模型的參數(shù)共享能力。目前,圖卷積神經(jīng)網(wǎng)絡(luò)模型主要分為兩類:基于譜方法(Spectral-based)的圖卷積網(wǎng)絡(luò)模型[10]和基于時(shí)空域(Spatial-based)的圖卷積網(wǎng)絡(luò)模型[11]。
由于圖神經(jīng)網(wǎng)絡(luò)模型是將圖結(jié)構(gòu)分解為若干圖節(jié)點(diǎn)信息的聚合,因此整體圖結(jié)構(gòu)數(shù)據(jù)的特征信息可以表示成所有圖節(jié)點(diǎn)特征信息的集合,即:X={xi}i∈N?RN×D。消息傳遞機(jī)制[12]概括了基于時(shí)空域卷積神經(jīng)網(wǎng)絡(luò)模型的主要核心思想,如圖1所示。
圖1 GCN消息傳遞機(jī)制示意圖
節(jié)點(diǎn)之間通過連接邊進(jìn)行信息交互與傳遞,并通過特定的信息傳遞函數(shù)將節(jié)點(diǎn)以及邊之間的特征信息在網(wǎng)絡(luò)不同層之間進(jìn)行傳遞,然后通過一個(gè)全局變換函數(shù)對(duì)全局信息進(jìn)行維度變換,得到模型的最終輸出。數(shù)學(xué)形式可以表示為:
(2)
GraphSAGE模型[13]通過引入聚合函數(shù)概念,對(duì)消息傳遞機(jī)制進(jìn)行了實(shí)質(zhì)性的總結(jié),提出了基于時(shí)空域圖卷積網(wǎng)絡(luò)模型統(tǒng)一的表示形式:
Gl+1=Conv(Gl,ωl)=
(3)
(4)
式中:ωl表示第l層網(wǎng)絡(luò)的學(xué)習(xí)參數(shù);aggregate()表示信息聚合函數(shù);update()表示全局變換函數(shù);即GCN網(wǎng)絡(luò)第l+1層的特征表示的輸入是第l層特征卷積變換過程的輸出。
最遠(yuǎn)點(diǎn)采樣(Farthest Point Sampling,FPS)方法是圖結(jié)構(gòu)數(shù)據(jù)中常見的節(jié)點(diǎn)采樣方法之一,也是點(diǎn)云建模任務(wù)中常用的下采樣方法之一。FPS算法的主要思想為:首先在整體點(diǎn)云數(shù)據(jù)集中隨機(jī)抽取一個(gè)數(shù)據(jù)點(diǎn)作為初始點(diǎn),然后在剩余的數(shù)據(jù)點(diǎn)集中選取距離初始點(diǎn)歐氏距離最遠(yuǎn)的點(diǎn),作為第二個(gè)選取點(diǎn)并放入采樣集中,依次迭代,直至達(dá)到采樣數(shù)據(jù)點(diǎn)的數(shù)量要求。最遠(yuǎn)點(diǎn)采樣方法能夠選取一系列物體表征的代表點(diǎn),以少代多地表示物體的整體信息,能夠有效地降低點(diǎn)云數(shù)據(jù)的整體數(shù)量,降低分類模型的計(jì)算量,且不改變物體的整體語義信息,即FPS采用方法只會(huì)降低3D點(diǎn)云物體的分辨率和解析度,不會(huì)改變物體的整體形狀信息,因此在點(diǎn)云分類等粗粒度建模任務(wù)中,最遠(yuǎn)點(diǎn)采樣是非常有效的降采樣方法,可以降低模型計(jì)算復(fù)雜度,加快模型訓(xùn)練,且不過多降低模型的分類準(zhǔn)確度。在現(xiàn)實(shí)的3D點(diǎn)云建模任務(wù)中,F(xiàn)PS降采樣方法表現(xiàn)出比圖數(shù)據(jù)建模中常用的隨機(jī)采樣方法更好的實(shí)驗(yàn)效果,本文3D點(diǎn)云分類模型中也將使用FPS降采樣方法對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行數(shù)據(jù)點(diǎn)降采樣。
k最鄰近聚簇(k-NN Graph)算法是描述點(diǎn)云數(shù)據(jù)中不同數(shù)據(jù)點(diǎn)之間空間位置關(guān)系的表示方法,k-NN Graph算法利用了k最鄰近(k nearest neighborhood,k-NN)算法的思想,將3D點(diǎn)云數(shù)據(jù)中的每一個(gè)數(shù)據(jù)點(diǎn)當(dāng)作一個(gè)中心節(jié)點(diǎn),然后根據(jù)其與剩余節(jié)點(diǎn)空間歐氏距離的遠(yuǎn)近程度,選取前k個(gè)與之位置關(guān)系最近的點(diǎn),作為其鄰接節(jié)點(diǎn),加入局部鄰接區(qū)域的概念,對(duì)同一局部區(qū)域的數(shù)據(jù)點(diǎn)聚集成簇,便于點(diǎn)云數(shù)據(jù)局部特征的提取。對(duì)不同k值的定義也實(shí)現(xiàn)了對(duì)3D點(diǎn)云數(shù)據(jù)的動(dòng)態(tài)采樣,有利于增強(qiáng)圖神經(jīng)網(wǎng)絡(luò)模型的適用性和泛化性。對(duì)于每一個(gè)中心節(jié)點(diǎn)來說,與之越相近的節(jié)點(diǎn),其屬性特征與之越相似,因此基于k-NN Graph算法的局部特征聚合方式,更有利于突出局部代表性特征信息,更有利于局部特征的信息表達(dá)。
如圖2所示,邊卷積(EdgeConv) 操作與常規(guī)圖卷積網(wǎng)絡(luò)模型中卷積操作的區(qū)別在于,它并不是直接將鄰接節(jié)點(diǎn)的特性信息進(jìn)行聚合,而是使用經(jīng)過非線性變換提取的兩個(gè)互連節(jié)點(diǎn)之間連接邊的特征代替兩個(gè)互連節(jié)點(diǎn)特征的綜合,然后再對(duì)多條與中心節(jié)點(diǎn)相連接邊的特征信息進(jìn)行聚合,以此來表示該中心節(jié)點(diǎn)的綜合特征信息。其數(shù)學(xué)表達(dá)式為:
(5)
式中:ei,j=MLP(xi,xj-xi)表示節(jié)點(diǎn)間連接邊的屬性特征;MLP表示含有非線性變換函數(shù)的多層前饋網(wǎng)絡(luò);xj-xi表示鄰接節(jié)點(diǎn)與中心節(jié)點(diǎn)的特征差異。
圖2 邊卷積操作示意圖
本文提出適用于3D點(diǎn)云分類任務(wù)的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型,首先利用最遠(yuǎn)點(diǎn)采樣算法FPS對(duì)點(diǎn)云數(shù)據(jù)整體進(jìn)行降采樣,減少模型輸入的數(shù)據(jù)量,降低模型的計(jì)算復(fù)雜度;然后分別利用三種不同尺度的k-NN Graph層對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行局部劃分,并利用不同尺度的邊卷積層對(duì)局部特征進(jìn)行提取和聚合,最后通過一個(gè)全局最大池化層提取全局語義信息用于分類。
具體而言,首先利用FPS算法對(duì)每一個(gè)點(diǎn)云物體采樣512個(gè)特征點(diǎn)作為模型的輸入,然后分別利用k取20、30、40三種不同的k-NN Graph算法和邊卷積操作提取不同尺度的鄰接域特征信息,三個(gè)分支并行且各個(gè)分支深度不同,對(duì)局部特征進(jìn)行不同維度、不同深度的非線性變換,使其具備更強(qiáng)大的適應(yīng)性和表達(dá)能力,然后在三個(gè)分支的末端將不同尺度的屬性特征進(jìn)行拼接,得到維度更高、局部細(xì)節(jié)特征更豐富的特征張量表示,最后經(jīng)過兩個(gè)多層MLP網(wǎng)絡(luò)和一個(gè)全局最大池化層進(jìn)行分類,模型整體架構(gòu)如圖3所示。
圖3 多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型架構(gòu)
本文3D點(diǎn)云分類實(shí)驗(yàn)所采用的數(shù)據(jù)集為ModelNet10和ModelNet40數(shù)據(jù)集[14]。ModelNet系列數(shù)據(jù)集是一系列網(wǎng)格化的3D CAD模型。ModelNet40數(shù)據(jù)集包含了40類物體共12 311個(gè)3D CAD模型,其中9 843個(gè)模型為訓(xùn)練集用于模型訓(xùn)練,2 468個(gè)模型為測(cè)試集用于模型性能測(cè)試;ModelNet10數(shù)據(jù)集是ModelNet40數(shù)據(jù)集的一個(gè)子集,共包含10類物體4 900個(gè)3D CAD模型,其中3 991個(gè)模型為訓(xùn)練集,909個(gè)模型為測(cè)試集。按照PointNet模型對(duì)ModelNet數(shù)據(jù)集預(yù)處理方式一樣的方法對(duì)ModelNet10和ModelNet40數(shù)據(jù)集進(jìn)行預(yù)處理:首先對(duì)每一個(gè)網(wǎng)格化3D CAD物體,在其表面均勻地采樣1 024個(gè)數(shù)據(jù)點(diǎn),對(duì)于每一個(gè)數(shù)據(jù)點(diǎn)僅保留其(X,Y,Z)空間坐標(biāo)信息,丟棄其表面網(wǎng)格化信息及其他附屬特征信息,然后對(duì)所有采樣數(shù)據(jù)點(diǎn)進(jìn)行一定的旋轉(zhuǎn)和變換,并進(jìn)行標(biāo)準(zhǔn)化處理。
本文采用的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)3D點(diǎn)云分類模型的參數(shù)設(shè)置與PointNet等成熟點(diǎn)云分類模型參數(shù)設(shè)置相一致,對(duì)于每一個(gè)邊卷積EdgeConv層和全連接MLP層都使用ReLU激活函數(shù)對(duì)特征參數(shù)進(jìn)行非線性激活,并在每一層都使用批標(biāo)準(zhǔn)化(Batch Normalization,BN)操作對(duì)輸入數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化預(yù)處理;參數(shù)優(yōu)化過程使用Adam優(yōu)化函數(shù),其調(diào)整動(dòng)量設(shè)置為0.9,初始學(xué)習(xí)率設(shè)置為0.001,并設(shè)置學(xué)習(xí)率動(dòng)態(tài)衰減,每經(jīng)過20個(gè)訓(xùn)練回合學(xué)習(xí)率衰減為原來的一半;批訓(xùn)練的批次大小為16,訓(xùn)練回合數(shù)為100。借助Pytorch Geometric深度學(xué)習(xí)框架[15]對(duì)本文模型進(jìn)行構(gòu)建,并配合NVIDIA GTX 1060 GPU對(duì)模型進(jìn)行了訓(xùn)練測(cè)試,實(shí)驗(yàn)結(jié)果如圖4所示。
圖4 模型分類準(zhǔn)確度
實(shí)驗(yàn)對(duì)本文所提出的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)點(diǎn)云分類模型,分別在ModelNet10和ModelNet40數(shù)據(jù)集進(jìn)行了驗(yàn)證測(cè)試。實(shí)驗(yàn)結(jié)果顯示,對(duì)于ModelNet10數(shù)據(jù)集的分類任務(wù),本文模型在經(jīng)過大約70個(gè)訓(xùn)練回合之后,分類準(zhǔn)確率幾乎都能保證在94%以上,并且當(dāng)100回合訓(xùn)練結(jié)束時(shí),模型的整體分類準(zhǔn)確率能達(dá)到95.15%;對(duì)于ModelNet40數(shù)據(jù)集的分類任務(wù),本文模型在經(jīng)過大約37個(gè)訓(xùn)練回合之后,分類準(zhǔn)確率幾乎都能保證在90%以上,并且當(dāng)100回合訓(xùn)練結(jié)束時(shí),模型的整體測(cè)試分類準(zhǔn)確率能達(dá)到91.79%,并且仍有上升的趨勢(shì)。
除此之外,將本文模型的分類準(zhǔn)確率和模型生成參數(shù)的大小與當(dāng)前眾多成熟的3D點(diǎn)云分類模型做了性能對(duì)比,結(jié)果如表1所示。在分類準(zhǔn)確率方面,本文提出的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型已經(jīng)達(dá)到與當(dāng)前眾多成熟模型較為一致的水平;在生成參數(shù)方面,本文模型較之前的眾多模型實(shí)現(xiàn)了質(zhì)的飛躍,模型生成的參數(shù)更少,計(jì)算復(fù)雜度更低。
表1 分類準(zhǔn)確度與模型參數(shù)量對(duì)比表
本文提出了一種適用于3D點(diǎn)云分類任務(wù)的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型。首先利用最遠(yuǎn)點(diǎn)采樣方法對(duì)點(diǎn)云數(shù)據(jù)整體進(jìn)行降采樣;然后分別利用三種不同尺度的k最鄰近聚簇層對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行局部劃分,確定不同范圍的局部特征區(qū)域,并利用不同尺度、不同深度的邊卷積操作對(duì)局部特征進(jìn)行提取和聚合;然后將不同尺度的局部特征進(jìn)行拼接,并通過多層全連接網(wǎng)絡(luò)層對(duì)拼接的不同尺度局部信息進(jìn)行整體維度變換;最后通過一個(gè)全局最大池化層總結(jié)和提取全局語義信息用于分類。
為了驗(yàn)證本文模型的分類有效性,將該模型在ModelNet10和ModelNet40數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)驗(yàn)證。實(shí)驗(yàn)結(jié)果表明,本文提出的多尺度動(dòng)態(tài)圖卷積網(wǎng)絡(luò)模型在3D點(diǎn)云數(shù)據(jù)的分類準(zhǔn)確度和模型復(fù)雜度上都實(shí)現(xiàn)了非常良好的效果在分類準(zhǔn)確率方面,本文模型已經(jīng)達(dá)到與當(dāng)前眾多成熟模型分類性能一致的水平;在生成參數(shù)方面,本文模型生成的參數(shù)更少,計(jì)算復(fù)雜度更低。