吳 飛, 金圣潔, 林曉琛

(武漢理工大學(xué) 機(jī)電工程學(xué)院,湖北 武漢 430070)

在工件堆疊擺放的場(chǎng)景中,目標(biāo)工件在空間中存在不同位姿、相互遮擋,增加了機(jī)器人抓取工件的難度。傳統(tǒng)三維設(shè)備掃描目標(biāo)的整體環(huán)境,生成的點(diǎn)云數(shù)量龐大,直接作為源點(diǎn)云與參考點(diǎn)云配準(zhǔn),會(huì)導(dǎo)致運(yùn)算時(shí)間過(guò)長(zhǎng),難以滿足機(jī)器人抓取所需的快速性。隨著工業(yè)智能化的快速發(fā)展,快速、準(zhǔn)確地獲取目標(biāo)工件的抓取位姿,對(duì)工業(yè)機(jī)器人的進(jìn)一步發(fā)展有重要意義。

文獻(xiàn)[1]通過(guò)ORB(oriented fast and rotated brief)算法和模板匹配進(jìn)行目標(biāo)識(shí)別,利用改進(jìn)的迭代最近點(diǎn)(iterative closest point,ICP)算法進(jìn)行點(diǎn)云配準(zhǔn)與位姿估計(jì),實(shí)現(xiàn)了放射源物體相對(duì)相機(jī)的位姿估計(jì);文獻(xiàn)[2]從圖像中提取出僅有抓取目標(biāo)的局部圖像,運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)進(jìn)行目標(biāo)識(shí)別分類,該方法具有識(shí)別精度高、抗干擾能力強(qiáng)的特點(diǎn);文獻(xiàn)[3]提出一種基于深度學(xué)習(xí)的機(jī)械臂最優(yōu)抓取位置檢測(cè)方法,該方法具有較強(qiáng)的泛化性和穩(wěn)定性;文獻(xiàn)[4]將抓取位姿轉(zhuǎn)化為抓取位置回歸與抓取角度分類的組合,實(shí)現(xiàn)了抓取位姿的單次預(yù)測(cè),提升了檢測(cè)速度;文獻(xiàn)[5]提出一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的平面抓取位姿快速檢測(cè)方法,針對(duì)背景多樣、光照不均、存在噪點(diǎn)的場(chǎng)景,能夠快速準(zhǔn)確地計(jì)算得到末端執(zhí)行器位姿;文獻(xiàn)[6]對(duì)圖像的每個(gè)空間位置進(jìn)行抓取檢測(cè),能夠直接回歸獲得檢測(cè)結(jié)果,但并不適用于多對(duì)象的圖像數(shù)據(jù);文獻(xiàn)[7]將卷積神經(jīng)網(wǎng)絡(luò)與支持向量機(jī)(support vector machine,SVM)等傳統(tǒng)機(jī)器學(xué)習(xí)算法相結(jié)合,進(jìn)一步提高了位姿估計(jì)的準(zhǔn)確率;文獻(xiàn)[8]提出一種基于圖像掩膜估計(jì)抓取位姿的方法,訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)不需要進(jìn)行真實(shí)的位姿標(biāo)注,保證了識(shí)別的效率,同時(shí)降低了系統(tǒng)的復(fù)雜度。

通過(guò)將更快速的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(faster region-based convolutional neural network,Faster R-CNN)[9]等目標(biāo)檢測(cè)網(wǎng)絡(luò)引入到位姿估計(jì)問(wèn)題中,對(duì)于平面簡(jiǎn)單放置的物體,實(shí)現(xiàn)了準(zhǔn)確的位姿估計(jì)及抓取,但針對(duì)多個(gè)目標(biāo)物體散亂堆疊的情況,難以達(dá)到抓取要求?；谏鲜鰡?wèn)題以及工業(yè)現(xiàn)場(chǎng)中三通件和彎管件散亂堆疊、位姿任意的工況,本文提出一種基于掩膜區(qū)域卷積神經(jīng)網(wǎng)絡(luò)(mask region-based convolutional neural network,Mask R-CNN)[10]和關(guān)鍵點(diǎn)提取混合的位姿估計(jì)方法,并通過(guò)仿真實(shí)驗(yàn)分析了該方法的性能。位姿估計(jì)系統(tǒng)流程如圖1所示。

1 Mask R-CNN實(shí)例分割

1.1 制作數(shù)據(jù)集

利用Realsense d435i深度相機(jī)采集200張三通、彎管工件圖像,圖像像素大小為848×480。圖像采集環(huán)境如圖2所示。

圖2 圖像采集環(huán)境

深度相機(jī)通過(guò)固定三腳架安裝在固定高度,采用黑色吸光布作為拍攝背景,通過(guò)調(diào)節(jié)曝光參數(shù)和發(fā)光二極管的亮度,可采集到工件與背景對(duì)比明顯的數(shù)據(jù)集圖像。

圖像中包含不同傾斜角度的工件,同時(shí)采集部分含有不可抓取工件位姿的圖像,作為負(fù)樣本進(jìn)行訓(xùn)練,以模擬真實(shí)的散亂堆疊工件場(chǎng)景,提高模型的魯棒性,數(shù)據(jù)集如圖3所示。在機(jī)器人抓取過(guò)程中,將所有識(shí)別出的工件抓取后,通過(guò)振動(dòng)裝置再次改變被識(shí)別為不可抓取工件的位姿,進(jìn)行二次抓取。

圖3 數(shù)據(jù)集

由于采集的數(shù)據(jù)較少,直接進(jìn)行訓(xùn)練容易出現(xiàn)過(guò)擬合現(xiàn)象,需要通過(guò)數(shù)據(jù)增廣來(lái)提高實(shí)例分割模型的泛化能力。增廣方式包括翻轉(zhuǎn)、縮放、加噪、模糊、加減曝光等方式,但并非所有的增廣方式都適用于工件數(shù)據(jù)集,需要根據(jù)數(shù)據(jù)集的特征選擇合適的數(shù)據(jù)增廣方式。

本次數(shù)據(jù)增廣方式主要包括翻轉(zhuǎn)、加噪、模糊及加減曝光,數(shù)據(jù)增廣效果如圖4所示。通過(guò)數(shù)據(jù)增廣獲得圖像3 000張,其中2 400張作為訓(xùn)練集,600張用于驗(yàn)證集。

圖4 數(shù)據(jù)增廣效果

1.2 Mask R-CNN模型

Mask R-CNN是由Faster R-CNN逐漸改進(jìn)而來(lái)的多任務(wù)卷積網(wǎng)絡(luò)模型,可以完成目標(biāo)檢測(cè)、目標(biāo)分類、像素級(jí)別的目標(biāo)分割等多種任務(wù),Mask R-CNN網(wǎng)絡(luò)框架圖如圖5所示。

圖5 Mask R-CNN網(wǎng)絡(luò)框架圖

本文目標(biāo)是實(shí)現(xiàn)工件分割與位姿估計(jì),檢測(cè)分割場(chǎng)景中含有許多同類的不同工件個(gè)體,無(wú)法采用語(yǔ)義分割模型。同時(shí)工件擺放位姿任意,存在堆疊遮擋的情況,難以從單一或者幾個(gè)有限的角度分析出有意義的物體特征,也不可能窮舉描述每一個(gè)特征,因此傳統(tǒng)物體識(shí)別方法難以在該問(wèn)題中發(fā)揮作用,故采用Mask R-CNN實(shí)例分割模型對(duì)目標(biāo)工件的不同個(gè)體進(jìn)行分割。

1.3 Mask R-CNN訓(xùn)練與驗(yàn)證

基于遷移學(xué)習(xí)的方式,加快訓(xùn)練的過(guò)程,以COCO(common objects in context)數(shù)據(jù)集的訓(xùn)練權(quán)重作為初始化權(quán)重,在AMD 2600X @3.6 GHz,內(nèi)存32 GiB,GPU NVDIA GTX-2070的Windows10平臺(tái)TensorFlow1.8.0環(huán)境下進(jìn)行Mask R-CNN的訓(xùn)練。模型訓(xùn)練參數(shù)設(shè)置見表1所列。

表1 模型訓(xùn)練參數(shù)

輸出掩膜結(jié)果如圖6所示,Mask R-CNN實(shí)例分割網(wǎng)絡(luò)能夠準(zhǔn)確地識(shí)別出待抓取的目標(biāo)工件以及位姿偏差過(guò)大的工件,同時(shí)能夠識(shí)別出部分被遮擋的工件。

1.4 表面點(diǎn)云的構(gòu)建

通過(guò)Mask R-CNN對(duì)彩色圖進(jìn)行分割,獲得的掩膜mask可對(duì)深度圖進(jìn)行分割并提取深度信息,如圖7所示。

圖7 分割工件深度

利用深度相機(jī)的內(nèi)參可建立工件表面點(diǎn)云,點(diǎn)云中每個(gè)點(diǎn)的坐標(biāo)(X,Y,Z)的計(jì)算公式如下:

(1)

其中:u0、v0為相機(jī)光圈X、Y方向的中心點(diǎn)位置;fx、fy分別為x、y軸上的焦距;s為深度圖里的數(shù)據(jù)與實(shí)際距離的比例。

根據(jù)式(1)計(jì)算結(jié)果分割出待抓取工件表面點(diǎn)云,如圖8所示。

圖8 分割工件點(diǎn)云圖

2 點(diǎn)云配準(zhǔn)方法

2.1 特征關(guān)鍵點(diǎn)對(duì)比

由于點(diǎn)云數(shù)據(jù)是三維坐標(biāo)系中采樣點(diǎn)的數(shù)據(jù)集,且實(shí)際獲得的點(diǎn)云數(shù)據(jù)往往數(shù)量級(jí)較大,對(duì)不同坐標(biāo)系下的所有點(diǎn)迭代計(jì)算剛性變換矩陣,不僅需要較長(zhǎng)的運(yùn)算時(shí)間,也極易造成局部收斂。因此,可采用點(diǎn)云的關(guān)鍵點(diǎn)去描述一個(gè)點(diǎn)鄰域內(nèi)的點(diǎn)云,不但減少點(diǎn)云數(shù)量,還提高配準(zhǔn)效率和配準(zhǔn)精度。常用的點(diǎn)云關(guān)鍵點(diǎn)提取算子有三維尺度不變特征變換(3D scale invariant feature transform,3D SIFT)算子[11]、三維角點(diǎn)(3D Harris)檢測(cè)算子[12]等。

本文依次在體素下采樣后三通工件的計(jì)算機(jī)輔助設(shè)計(jì)(computer aided design,CAD)模板點(diǎn)云、無(wú)遮擋工件表面點(diǎn)云以及有遮擋工件表面點(diǎn)云測(cè)試3D Harris、3D SIFT 2種算子,CAD模板點(diǎn)云數(shù)量為6 621個(gè),無(wú)遮擋工件表面點(diǎn)云數(shù)量為3 033個(gè),遮擋工件表面點(diǎn)云數(shù)量為2 849個(gè),關(guān)鍵點(diǎn)提取結(jié)果對(duì)比如圖9所示。

圖9 關(guān)鍵點(diǎn)提取結(jié)果對(duì)比

根據(jù)上述關(guān)鍵點(diǎn)提取結(jié)果,針對(duì)CAD模板點(diǎn)云,3D Harris關(guān)鍵點(diǎn)分布較為均勻,能夠描述整體點(diǎn)云的特征,符合關(guān)鍵點(diǎn)提取要求,3D SIFT關(guān)鍵點(diǎn)主要分布在工件邊緣處,不利于后續(xù)與表面點(diǎn)云的配準(zhǔn)。針對(duì)工件的表面點(diǎn)云,存在無(wú)遮擋表面點(diǎn)云和有遮擋情況下表面點(diǎn)云2種情況,如圖9結(jié)果所示,3D Harris關(guān)鍵點(diǎn)相較于3D SIFT關(guān)鍵點(diǎn)主要集中在工件邊緣處,且關(guān)鍵點(diǎn)數(shù)量相對(duì)較少,難以體現(xiàn)表面點(diǎn)云的整體特征。關(guān)鍵點(diǎn)提取數(shù)量見表2所列,關(guān)鍵點(diǎn)提取時(shí)間見表3所列,配準(zhǔn)時(shí)間以關(guān)鍵點(diǎn)提取10次的平均時(shí)間為準(zhǔn)。

表2 關(guān)鍵點(diǎn)提取數(shù)量 單位:個(gè)

表3 關(guān)鍵點(diǎn)提取時(shí)間 單位:s

由統(tǒng)計(jì)結(jié)果可知,3D Harris算子相比3D SIFT算子在關(guān)鍵點(diǎn)提取上所需時(shí)間更短,結(jié)合圖9關(guān)鍵點(diǎn)提取結(jié)果可知,由于CAD模板點(diǎn)云數(shù)量較多,可選用3D Harris提取算法,減少計(jì)算時(shí)間。針對(duì)分割工件表面點(diǎn)云,3D SIFT關(guān)鍵點(diǎn)提取時(shí)間與3D Harris相差1 s左右,但關(guān)鍵點(diǎn)提取更均勻,故可選用3D SIFT提取算法。

2.2 初步位姿估計(jì)

本文采用采樣一致性初始配準(zhǔn)算法(sample consensus initial alignment,SAC-IA)[13]對(duì)模板點(diǎn)云和目標(biāo)工件表面點(diǎn)云進(jìn)行初始位姿配準(zhǔn),該算法以點(diǎn)云的快速點(diǎn)特征直方圖(fast point feature histogram,FPFH)作為輸入,通過(guò)計(jì)算特征之間的對(duì)應(yīng)關(guān)系,完成初始配準(zhǔn)。算法主要流程如下所述。

設(shè)定最小距離閾值ds,從模板點(diǎn)云P中選取n個(gè)采樣點(diǎn),每個(gè)采樣點(diǎn)之間的距離需大于閾值ds,確保采樣點(diǎn)具有不同的FPFH。同理,計(jì)算目標(biāo)點(diǎn)云Q的FPFH,查找與點(diǎn)云P中采樣點(diǎn)具有相似FPFH的1個(gè)或多個(gè)點(diǎn),將其作為模板點(diǎn)云P中采樣點(diǎn)在目標(biāo)點(diǎn)云Q中的對(duì)應(yīng)點(diǎn)。計(jì)算對(duì)應(yīng)點(diǎn)之間旋轉(zhuǎn)、平移變換矩陣,求解對(duì)應(yīng)點(diǎn)變換后的配準(zhǔn)誤差來(lái)判斷當(dāng)前配準(zhǔn)變換的性能。采用Huber公式計(jì)算配準(zhǔn)誤差Es,即

(2)

(3)

其中:lm為預(yù)先設(shè)定的距離閾值;li為第i組對(duì)應(yīng)點(diǎn)變換后的距離差。重復(fù)上述操作直至誤差函數(shù)的值最小,即可求得所需的最佳變換矩陣。

SAC-IA求得的變換矩陣并不準(zhǔn)確,因此只能用于粗配準(zhǔn),初始點(diǎn)云如圖10所示,無(wú)關(guān)鍵點(diǎn)提取粗配準(zhǔn)效果如圖11所示。

圖10 初始點(diǎn)云

圖11 無(wú)關(guān)鍵點(diǎn)提取的SAC-IA粗配準(zhǔn)效果

2.3 精配準(zhǔn)位姿估計(jì)

通過(guò)粗配準(zhǔn)兩點(diǎn)云大致重合到一起,為ICP算法[14]提供了良好的初始位姿。將粗配準(zhǔn)后的兩點(diǎn)云P′和Q作為ICP的初始點(diǎn)云集,算法實(shí)現(xiàn)的主要流程如下所述。

對(duì)于模板點(diǎn)云P′中的每個(gè)采樣點(diǎn)矢量pi,在目標(biāo)工件表面點(diǎn)云Q中尋找距離最近點(diǎn)矢量qi,確定初始最近對(duì)應(yīng)點(diǎn)對(duì)(pi,qi)。計(jì)算對(duì)應(yīng)點(diǎn)對(duì)之間旋轉(zhuǎn)、平移變換矩陣R、T,使得對(duì)應(yīng)點(diǎn)集之間的均方誤差最小,均方誤差計(jì)算公式如下:

(4)

將求解得到的R、T變換矩陣作用于模板點(diǎn)云P′,得到變換后的點(diǎn)云P″。設(shè)定閾值ε=dk-dk-1和最大迭代次數(shù)Nmax,計(jì)算變換后的模板點(diǎn)云P″和目標(biāo)工件點(diǎn)云Q的均方誤差,若誤差小于閾值ε或者當(dāng)前迭代次數(shù)超出最大迭代次數(shù)Nmax,則停止計(jì)算;否則將粗配準(zhǔn)獲得的模板點(diǎn)云更新為P″,繼續(xù)重復(fù)上述步驟,直至滿足收斂條件。

以SAC-IA的輸出結(jié)果作為ICP精配準(zhǔn)初始點(diǎn)云位姿,配準(zhǔn)結(jié)果如圖12所示。

圖12 無(wú)關(guān)鍵點(diǎn)提取的ICP精配準(zhǔn)效果

相較于圖11b中粗配準(zhǔn)效果,通過(guò)ICP精配準(zhǔn)可以獲得更為準(zhǔn)確的位姿估計(jì)。

3 配準(zhǔn)結(jié)果與分析

為了驗(yàn)證本文所提出方法的性能,對(duì)比分析了無(wú)關(guān)鍵點(diǎn)提取、3D Harris關(guān)鍵點(diǎn)提取、3D SIFT關(guān)鍵點(diǎn)提取、本文3D Harris-3D SIFT關(guān)鍵點(diǎn)提取混合的點(diǎn)云配準(zhǔn)效率以及配準(zhǔn)結(jié)果,點(diǎn)云實(shí)驗(yàn)的硬件環(huán)境為Intel(R)Core(TM)i5-9400 CPU@2.90 GHz處理器,16 GiB內(nèi)存。

以體素下采樣后的三通件和彎管件點(diǎn)云作為算法對(duì)比的輸入點(diǎn)云,無(wú)關(guān)鍵點(diǎn)提取精配準(zhǔn)結(jié)果如圖11、圖12所示,關(guān)鍵點(diǎn)提取算法的相關(guān)粗、精配準(zhǔn)結(jié)果如圖13～圖18所示。

圖13 三通件3D Harris關(guān)鍵點(diǎn)提取結(jié)果

圖14 三通件3D SIFT關(guān)鍵點(diǎn)提取結(jié)果

圖15 三通件3D Harris-3D SIFT關(guān)鍵點(diǎn)提取結(jié)果

圖16 三通件遮擋點(diǎn)云3D Harris-3D SIFT關(guān)鍵點(diǎn)提取結(jié)果

圖17 彎管件3D Harris-3D SIFT關(guān)鍵點(diǎn)提取結(jié)果

圖18 彎管件遮擋點(diǎn)云3D Harris-3D SIFT關(guān)鍵點(diǎn)提取結(jié)果

三通件配準(zhǔn)數(shù)據(jù)統(tǒng)計(jì)結(jié)果見表4所列,配準(zhǔn)對(duì)比分析結(jié)果見表5所列,配準(zhǔn)時(shí)間以10次運(yùn)行結(jié)果的平均值為準(zhǔn)。由對(duì)比分析結(jié)果可知,無(wú)關(guān)鍵點(diǎn)提取輸入的點(diǎn)云數(shù)量較大,配準(zhǔn)時(shí)間長(zhǎng),不符合機(jī)器人抓取動(dòng)作所要求的快速性;僅使用3D Harris關(guān)鍵點(diǎn)提取,針對(duì)模板點(diǎn)云,關(guān)鍵點(diǎn)提取較為均勻,而工件表面點(diǎn)云關(guān)鍵點(diǎn)提取數(shù)量少,粗配準(zhǔn)效果差,但3D Harris關(guān)鍵點(diǎn)提取時(shí)間短,相較于無(wú)關(guān)鍵點(diǎn)提取,計(jì)算時(shí)間有明顯的下降;僅使用3D SIFT關(guān)鍵點(diǎn)提取,針對(duì)模板點(diǎn)云,關(guān)鍵點(diǎn)主要集中在工件的邊緣處,而工件表面點(diǎn)云提取較為均勻,導(dǎo)致配準(zhǔn)結(jié)果出現(xiàn)在工件邊緣處,位姿估計(jì)錯(cuò)誤;而本文所提出的混合算法能夠同時(shí)兼顧2種關(guān)鍵點(diǎn)提取算法的優(yōu)點(diǎn),點(diǎn)云特征明顯,雖然比僅使用3D Harris關(guān)鍵點(diǎn)提取算法的配準(zhǔn)時(shí)間略有上升,但點(diǎn)云的配準(zhǔn)精度有顯著提升,相較于僅使用3D SIFT關(guān)鍵點(diǎn)提取算法,配準(zhǔn)時(shí)間更短,配準(zhǔn)效果更好。

表4 三通件配準(zhǔn)點(diǎn)云數(shù)量 單位:個(gè)

表5 三通件配準(zhǔn)時(shí)間 單位:s

4 結(jié) 論

針對(duì)工業(yè)現(xiàn)場(chǎng)中散亂工件的檢測(cè)和位姿估計(jì)問(wèn)題,本文提出了一種基于Mask R-CNN和關(guān)鍵點(diǎn)提取混合的位姿估計(jì)算法。通過(guò)Mask R-CNN能夠準(zhǔn)確地識(shí)別出待抓取的目標(biāo)工件以及位姿偏差過(guò)大的不可抓取工件。通過(guò)對(duì)模板點(diǎn)云進(jìn)行3D Harris關(guān)鍵點(diǎn)提取,目標(biāo)工件表面點(diǎn)云進(jìn)行3D SIFT關(guān)鍵點(diǎn)提取,將模板點(diǎn)云與目標(biāo)工件表面點(diǎn)云縮至特征點(diǎn)集,既保留了點(diǎn)云的主要特征,又能夠提高點(diǎn)云配準(zhǔn)效率。以三通和彎管工件為實(shí)驗(yàn)對(duì)象,實(shí)驗(yàn)對(duì)比分析了無(wú)關(guān)鍵點(diǎn)提取、3D Harris關(guān)鍵點(diǎn)提取、3D SIFT關(guān)鍵點(diǎn)提取以及本文關(guān)鍵點(diǎn)提取混合算法,結(jié)果表明,本文算法能夠顯著降低點(diǎn)云配準(zhǔn)時(shí)間,提高配準(zhǔn)精度,為后續(xù)的機(jī)器人抓取提供更加快速準(zhǔn)確的位姿估計(jì)。