徐 華,陶長城,樂鑫淼

(湖北汽車工業(yè)學(xué)院材料科學(xué)與工程學(xué)院,十堰 442000)

0 引言

不同車型的車身焊裝夾具,具體尺寸均不相同,但是具有較高的相似性。在新車型焊裝夾具的設(shè)計(jì)過程中,在夾具零件庫中調(diào)用已有的設(shè)計(jì)數(shù)據(jù),是一種常用的提高設(shè)計(jì)效率的有效方法。夾具零件庫的搭建是實(shí)現(xiàn)焊裝夾具人工重用零件設(shè)計(jì)數(shù)據(jù)和自動化設(shè)計(jì)的基礎(chǔ)。隨著生產(chǎn)規(guī)模的不斷擴(kuò)大,傳統(tǒng)的零件庫管理方式已經(jīng)無法滿足工廠的生產(chǎn)需要以及自動化設(shè)計(jì)對數(shù)據(jù)的要求。傳統(tǒng)的零件庫搭建方式主要有以下研究:王方倫等[1]根據(jù)規(guī)則化、模塊化和參數(shù)化的方式搭建數(shù)據(jù)庫實(shí)現(xiàn)焊裝夾具的參數(shù)化建模;YANG、李堂明等[2-4]根據(jù)CATIA二次開發(fā)技術(shù)和參數(shù)化理論搭建零件庫,并搭建其零件的圖形庫;周志強(qiáng)等[5]通過人工的方式建立焊裝夾具零件分類準(zhǔn)則,并開發(fā)出焊裝夾具參數(shù)化零件庫。以上研究都是通過人工的方式來完成零件庫的搭建,需要不斷的通過人工的方式向零件庫添加零件,效率低下。

隨著人工智能技術(shù)的發(fā)展,計(jì)算機(jī)視覺技術(shù)在制造業(yè)中扮演著越來越重要的角色。點(diǎn)云作為一種重要的3D數(shù)據(jù)類型,隨著3D采集技術(shù)的發(fā)展已被廣泛用于多個(gè)應(yīng)用場景[6]。目前利用三維點(diǎn)云數(shù)據(jù)進(jìn)行分類的深度學(xué)習(xí)研究主要有:夏緒輝等[7]運(yùn)用K-Means算法對形貌特征相差較大的廢舊零件進(jìn)行分類再加工,并通過PointNet網(wǎng)絡(luò)對同簇形貌特征相差較小的零件進(jìn)行分類。該方法運(yùn)行效率較高,但在處理同簇形貌差距較小的零件時(shí),精度低于PointNet++網(wǎng)絡(luò);TANG等[8]將傳統(tǒng)的機(jī)器學(xué)習(xí)算法與多尺度模型相結(jié)合完成輸電線路走廊點(diǎn)云的分類,提高了輸電線路的分類精度,但該方法分類精度仍低于深度學(xué)習(xí)方法;ZHANG等[9]提出了一種通過顯著圖來指導(dǎo)替換點(diǎn)的選擇的數(shù)據(jù)增強(qiáng)方法,用于提高點(diǎn)云的分類精度,但該方法的時(shí)間復(fù)雜度較高;SHEIKH等[10]提出了一種可直接用于原始點(diǎn)云的深度特征變換網(wǎng)絡(luò)。該方法運(yùn)行效率較高,但其分類精度略低;XU等[11]根據(jù)單視角和局部實(shí)驗(yàn)來完成點(diǎn)云分類,驗(yàn)證PAPNet的優(yōu)越性。但該方法無法充分利用全局信息,限制了分類精度的提高。MATTEO、SHI等[12-13]提出了一種有監(jiān)督機(jī)器學(xué)習(xí)零件分類的方法和零件聚類方法,對典型的機(jī)械工業(yè)零件進(jìn)行分類,取得了良好的效果。但該方法缺乏對局部特征的獲取,對形貌差距較小的零件進(jìn)行分類時(shí),精度較低。YU等[14]將三維點(diǎn)云轉(zhuǎn)化為無向圖結(jié)構(gòu),用于自適應(yīng)獲取點(diǎn)云的鄰域信息,并引入殘差網(wǎng)絡(luò)提高分類精度,但該方法存在計(jì)算復(fù)雜度高和數(shù)據(jù)冗余的情況。

本文以歐標(biāo)焊裝夾具零件為研究對象,針對傳統(tǒng)焊裝夾具零件識別分類過程中存在的時(shí)間成本高、效率低下以及其他機(jī)器學(xué)習(xí)方法中存在的忽略局部特征和全局特征等問題,對比各個(gè)機(jī)器學(xué)習(xí)模型的優(yōu)劣,采用兼顧局部和全局特征的PointNet++深度學(xué)習(xí)網(wǎng)絡(luò)完成焊裝夾具零件的自動識別分類,為焊裝夾具零件庫的自動化搭建及零件設(shè)計(jì)數(shù)據(jù)的重復(fù)調(diào)用提供一種新的思路。

1 基于PointNet++網(wǎng)絡(luò)的零件分類設(shè)計(jì)方法

1.1 三維點(diǎn)云模型的獲取

點(diǎn)云是指目標(biāo)表面特性的海量點(diǎn)集合,用于描述物體的形狀和輪廓特征。三維點(diǎn)云數(shù)據(jù)包含的屬性信息主要為點(diǎn)云三維空間坐標(biāo)、點(diǎn)云法向量、色彩值和透明程度等。本文通過CATIA獲取三角網(wǎng)格數(shù)據(jù)(stl文件),以Pycharm為平臺,通過Python第三方包Open3D進(jìn)行數(shù)據(jù)類型的批量轉(zhuǎn)換和存儲,將pcd文件轉(zhuǎn)化為txt文件來存儲點(diǎn)云三維空間坐標(biāo),最終搭建各類數(shù)據(jù)集進(jìn)行網(wǎng)絡(luò)訓(xùn)練并通過Pytorch框架完成模型的訓(xùn)練。

本文用于訓(xùn)練的樣本數(shù)據(jù)共1000條,共5個(gè)類別,各類別樣本200條。取各類別樣本總數(shù)的80%和20%分別作為訓(xùn)練集數(shù)據(jù)和驗(yàn)證集數(shù)據(jù)。各類別點(diǎn)云數(shù)據(jù)如圖1所示。

(a) 型塊 (b) 連接塊 (c) 定位銷 (d) 銷座 (e) 歐標(biāo)支座

1.2 原始點(diǎn)云預(yù)處理方法

本文主要通過Open3D庫完成原始點(diǎn)云的采集和預(yù)處理操作,首先通過stl文件獲取各頂點(diǎn)及其三角面片,然后從三角網(wǎng)格的三維表面進(jìn)行均勻采樣n個(gè)點(diǎn),作為原始點(diǎn)云。通過最遠(yuǎn)點(diǎn)采樣(FPS)在每個(gè)點(diǎn)云樣本中截取m個(gè)點(diǎn)作為模型的輸入,可以有效的減少計(jì)算量并保留點(diǎn)云樣本的主要特征。最遠(yuǎn)點(diǎn)采樣步驟為:

步驟1:從原始點(diǎn)云中隨機(jī)選取一個(gè)點(diǎn),作為初始點(diǎn)記為p0;

步驟2:然后依次計(jì)算剩余點(diǎn)距離p0的歐氏距離,按照距離p0最遠(yuǎn)的點(diǎn)進(jìn)行選擇,表達(dá)式如式(1)所示。

p1=argmax(d(pi,p0)),i=1,2,…,n-1

(1)

式中:argmax表示取最大值的下標(biāo),pi與p0的距離記作d(pi,p0),i為點(diǎn)的下標(biāo)。

步驟3:對于剩下的每個(gè)點(diǎn),分別計(jì)算到p0和p1的距離,并選取最短的距離作為該點(diǎn)到p0和p1的整體距離,計(jì)算這些距離后,選取距離最大的那個(gè)點(diǎn)加入集合。重復(fù)步驟3操作直到選取到m個(gè)點(diǎn)為止。其表達(dá)式如式(2)所示。

pm=argmax(min(d(pi,pj))),i≠j,i,j=1,2,…,m-1

(2)

對采樣所得點(diǎn)云進(jìn)行歸一化處理,使其在XYZ三個(gè)方向上的尺度均值為0,方差為1。通過均值和方差對原始點(diǎn)的坐標(biāo)進(jìn)行處理后,獲取最終的點(diǎn)歸一化后的坐標(biāo),消除量綱。該算法本質(zhì)上是通過均值對點(diǎn)云進(jìn)行平移,并通過方差來實(shí)現(xiàn)點(diǎn)云的縮放,將點(diǎn)云數(shù)據(jù)的中心置于坐標(biāo)原點(diǎn),其均值計(jì)算公式如式(3)所示。

(3)

式中:μx、μy、μz為X、Y、Z三方向上的坐標(biāo)均值。

將式(3)計(jì)算所得均值帶入式(4)得X、Y、Z三方向的方差σx、σy、σz:

(4)

將期望與方差代入式(5)得點(diǎn)云歸一化后坐標(biāo):

(5)

(a) 點(diǎn)云均勻采樣圖 (b) 點(diǎn)云FPS采樣圖

1.3 PointNet++單尺度分組策略分類網(wǎng)絡(luò)結(jié)構(gòu)

PointNet++通過SA層(集合抽象層)對原始點(diǎn)云進(jìn)行采樣分組,采用單尺度分組(SSG)策略和多尺度分組策略(MSG),可以更好的提取點(diǎn)云數(shù)據(jù)的局部特征。PointNet++相對于PointNet,更加注重于物體點(diǎn)云的局部結(jié)構(gòu),通過一個(gè)多層級特征提取結(jié)構(gòu),可以有效的依據(jù)不同的感受野大小來提取不同區(qū)域的局部特征,最終總結(jié)出全局特征。PointNet++的SSG分類網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示,其中N是輸入點(diǎn)的數(shù)量,d是坐標(biāo)維度,C是特征維度,N1、N2是經(jīng)過最遠(yuǎn)點(diǎn)采樣后輸出的中心點(diǎn)的個(gè)數(shù),K為球形區(qū)域內(nèi)點(diǎn)的數(shù)量,C1、C2分別為經(jīng)過SA1層和SA2層后每個(gè)分組點(diǎn)云的特征維度,C3為經(jīng)過PointNet后每個(gè)分組點(diǎn)云的特征維度,k為所得的類別輸出。其主要由SA層和PointNet層交替堆疊構(gòu)成,最后用全連接層基于采集的點(diǎn)云特征進(jìn)行分類。其中SA層對于每一個(gè)采樣點(diǎn),找到其周圍一定范圍內(nèi)的點(diǎn),形成一個(gè)新的點(diǎn)云數(shù)據(jù),通過多層感知機(jī)(MLP)對該點(diǎn)云數(shù)據(jù)進(jìn)行特征提取,并通過最大池化操作聚合為一個(gè)特征向量。PointNet則通過多層感知機(jī)和池化操作將一個(gè)點(diǎn)云的點(diǎn)特征映射為一個(gè)全局點(diǎn)特征向量來表示整個(gè)點(diǎn)云的特征。

圖3 PointNet++單尺度分組分類模型網(wǎng)絡(luò)結(jié)構(gòu)

本文模型采用最遠(yuǎn)點(diǎn)采樣的方法從原始點(diǎn)云中采集1024個(gè)點(diǎn),采樣過程采用均勻采樣,并將這些點(diǎn)作為中心點(diǎn)。SA1層其輸入為X、Y、Z坐標(biāo)值,輸入維度為(B,1024,3),其中B表示批處理大小,1024為輸入的點(diǎn)云的點(diǎn)數(shù),3為點(diǎn)的特征維度即XYZ坐標(biāo)。交換輸入數(shù)據(jù)的第2個(gè)維度和第3個(gè)維度的位置,轉(zhuǎn)換得其特征維度為(B,3,1024)。進(jìn)行均勻下采樣,采樣中心點(diǎn)的個(gè)數(shù)為512,運(yùn)用球形鄰域查詢算法(ball query)得其特征維度為(B,512,3)。設(shè)置分組半徑為0.2,設(shè)置分組內(nèi)點(diǎn)的個(gè)數(shù)上限為32,進(jìn)行分組,并增加一個(gè)維度,得其特征維度為(B,3,512,32)。再將特征輸入到(64,64,128)的多層感知機(jī)當(dāng)中,對點(diǎn)進(jìn)行特征提取,得其特征維度為(B,128,512,32)。再將所得特征輸入到最大池化層當(dāng)中,最終得點(diǎn)云的特征維度為(B,128,512),其中128為每個(gè)中心點(diǎn)的特征維度,512為中心點(diǎn)的個(gè)數(shù)。SA1層流程圖如圖4所示。SA2層的分組半徑為0.4,分組內(nèi)點(diǎn)的個(gè)數(shù)上限為64,其流程與SA1層一致。相對于SSG網(wǎng)絡(luò),MSG網(wǎng)絡(luò)則采取梯度球形半徑的方式對點(diǎn)云進(jìn)行分組。

圖4 SSG網(wǎng)絡(luò)集合抽象層1流程圖

(6)

group(X,Y)i,j=maxk∈SiYk,j

(7)

式中:X是輸入點(diǎn)云的坐標(biāo)矩陣,Y是對應(yīng)的特征矩陣,group(X,Y)表示將點(diǎn)云X分成多個(gè)局部區(qū)域,i和j表示組合數(shù)組的索引,Si表示以點(diǎn)i為中心的球體內(nèi)所有點(diǎn)的索引集合。該方法會從每個(gè)組的所有點(diǎn)的特征向量中取出對應(yīng)的k值,然后從矩陣Y中取出對應(yīng)的特征向量,并取其中的最大值作為該組的輸出特征向量。該方法可以有效的提取每個(gè)組內(nèi)部的特征信息,避免了不同組之間地信息混淆,從而提高模型地精度和魯棒性。

1.4 模型超參設(shè)置

超參數(shù)的設(shè)定對網(wǎng)絡(luò)的預(yù)測精度有較大的影響,本文對超參數(shù)的調(diào)整共分為4個(gè)部分。首先根據(jù)模型預(yù)測任務(wù)及類別個(gè)數(shù)確定損失函數(shù)和輸出層編碼方式;其次根據(jù)神經(jīng)網(wǎng)絡(luò)的搭建規(guī)則確定卷積層和全連接層的隱藏層層數(shù),通常情況下三隱層的全連接層具有良好的效果,再通過實(shí)驗(yàn)比對確定各隱藏層神經(jīng)元的個(gè)數(shù);然后根據(jù)實(shí)驗(yàn)?zāi)Ｐ驮隍?yàn)證集上的效果選擇正則化隨機(jī)丟掉神經(jīng)元的比例,并根據(jù)實(shí)驗(yàn)過程中的預(yù)測精度隨時(shí)調(diào)整學(xué)習(xí)率、衰減率;最后根據(jù)網(wǎng)絡(luò)在驗(yàn)證集上的預(yù)測精度調(diào)整網(wǎng)絡(luò)訓(xùn)練迭代輪數(shù)。

本文搭建PointNet++模型來完成焊裝夾具零件的分類,觀察模型在訓(xùn)練集和驗(yàn)證集上的效果,選取該模型最合適的超參數(shù),最終確定各超參數(shù)分別為:訓(xùn)練初始學(xué)習(xí)率為0.001,衰減率為0.01,批量處理大小為16,訓(xùn)練迭代輪數(shù)為100輪,SA1層和SA2層隨機(jī)丟掉神經(jīng)元的比例為0.4,選取Relu為模型的激活函數(shù),損失函數(shù)選擇交叉熵函數(shù),采用Log_softmax函數(shù)作為輸出層的輸出函數(shù)。

2 案例分析

2.1 網(wǎng)絡(luò)訓(xùn)練實(shí)驗(yàn)

圖5和圖6為PointNet、PointNet++的SSG和MSG模型訓(xùn)練過程圖。由圖可知:隨著迭代輪數(shù)的增加,所有模型在訓(xùn)練集上的準(zhǔn)確率都有所提高,且變化趨勢相似。其中,SSG和MSG模型在訓(xùn)練集和驗(yàn)證集上準(zhǔn)確率均高于PointNet分類網(wǎng)絡(luò),SSG模型在訓(xùn)練集上的準(zhǔn)確率略低于MSG模型,但在驗(yàn)證集上二者的準(zhǔn)確率大致相同。

圖5 3模型訓(xùn)練集準(zhǔn)確率變化折線圖

2.2 模型對比實(shí)驗(yàn)

在本文所搭建的數(shù)據(jù)集上,對SSG、MSG和PointNet的分類網(wǎng)絡(luò)所得的最優(yōu)模型進(jìn)行對比實(shí)驗(yàn),各個(gè)模型在驗(yàn)證集上的實(shí)驗(yàn)結(jié)果如表1和表2所示。由表可知PointNet++的SSG和MSG準(zhǔn)確率明顯高于PointNet,且PointNet分類模型的連接塊分類準(zhǔn)確率只有67.5%,該分類模型準(zhǔn)確率較低的主要原因?yàn)榫植刻卣鞯膩G失。MSG和SSG模型各個(gè)類別準(zhǔn)確率差異不大,且它們的平均準(zhǔn)確率相同,分析其原因?yàn)?本文采用均勻采樣方式進(jìn)行數(shù)據(jù)預(yù)處理,使得點(diǎn)云密度均勻。因此,SSG網(wǎng)絡(luò)和MSG網(wǎng)絡(luò)所獲取的局部特征幾乎一致,導(dǎo)致多尺度分組策略和單尺度分組策略的平均準(zhǔn)確率大致相同,當(dāng)點(diǎn)云密度不均勻時(shí)MSG要優(yōu)于SSG。由模型訓(xùn)練時(shí)間可知,MSG模型的訓(xùn)練時(shí)間是SSG的3倍以上,模型運(yùn)行速度低下,因此本文采用SSG網(wǎng)絡(luò)獲得的最優(yōu)模型來完成焊裝夾具零件的分類。

表1 3種模型驗(yàn)證集各類別準(zhǔn)確率對比結(jié)果 (%)

表2 3種模型驗(yàn)證集平均準(zhǔn)確率和訓(xùn)練時(shí)間對比結(jié)果

2.3 單尺度分組模型測試實(shí)驗(yàn)

對SSG網(wǎng)絡(luò)訓(xùn)練所得最優(yōu)模型進(jìn)行測試實(shí)驗(yàn)。重新對焊裝夾具零件采集3組測試集數(shù)據(jù),每組150條數(shù)據(jù),每組測試集數(shù)據(jù)零件類別分布均勻,進(jìn)行分類實(shí)驗(yàn),測試結(jié)果如表3所示。由表3可知模型在測試集上的分類結(jié)果表現(xiàn)良好,其中型塊、連接塊和銷座存在誤判的情況。對分類錯(cuò)誤情況進(jìn)行分析,主要原因?yàn)槟Ｐ驮趯颖具M(jìn)行隨機(jī)丟點(diǎn)和正則化過程中造成的數(shù)據(jù)丟失,導(dǎo)致的零件類別分類錯(cuò)誤。

表3 單尺度分組(SSG)測試集實(shí)驗(yàn)結(jié)果 (%)

3 結(jié)束語

針對傳統(tǒng)的人工搭建焊裝夾具零件庫過程中存在的自動化程度低、效率低下以及零件數(shù)模識別困難等問題,本文提出了一種基于PointNet++的焊裝夾具零件識別方法。通過對自建數(shù)據(jù)集的訓(xùn)練和測試,證明了SSG網(wǎng)絡(luò)在該任務(wù)上的優(yōu)越性。同時(shí),本文方法也為后續(xù)零件庫的搭建、零件設(shè)計(jì)數(shù)據(jù)重用以及焊裝夾具全面智能化、自動化設(shè)計(jì)提供了良好的基礎(chǔ)。