麥海鋒,姚錫凡

(華南理工大學(xué)機械與汽車工程學(xué)院,廣州 510641)

0 引言

工業(yè)零件的智能抓取是機器人在工業(yè)領(lǐng)域應(yīng)用的一個重要內(nèi)容,涉及機器視覺、目標識別、目標分割、姿態(tài)估計[1]等技術(shù)。工業(yè)零件在抓取時的擺放通常處于散亂堆疊的狀態(tài)[2],如何在復(fù)雜場景下準確地估計零件的抓取姿態(tài)則是實現(xiàn)實際應(yīng)用的關(guān)鍵[3]。

利用CNN架構(gòu)網(wǎng)絡(luò)從RGB圖像中實現(xiàn)物體的抓取姿態(tài)求取的研究已有許多[4-5],但是這一類辦法弊端比較明顯,難以處理遮擋、背景雜亂、無紋理等復(fù)雜問題的6D姿態(tài)求取,而且需要依賴復(fù)雜的后處理算法。RGB-D圖像提供場景的深度信息,在位姿求取上有更好的表現(xiàn),更好地解決上訴復(fù)雜場景的6D姿態(tài)估計問題[6-8],但是也存在精度較差、魯棒性不高的問題。點云數(shù)據(jù)直接提供了三維空間的數(shù)據(jù),在求取位姿上有著圖像不可替代的優(yōu)勢,但是大多數(shù)研究都是利用特征匹配的方式,十分依賴人工經(jīng)驗,智能化程度不高,遷移應(yīng)用能力較差。近年來深度學(xué)習逐漸成熟,但是三維點云的深度學(xué)習仍然存在眾多的挑戰(zhàn)[9],其求取位姿的研究集中在對公開數(shù)據(jù)集[10-11]的對比分析或者利用合成數(shù)據(jù)集[12]進行訓(xùn)練,真實場景下的數(shù)據(jù)集制作難度大,實際工業(yè)環(huán)境中的應(yīng)用少。點云數(shù)據(jù)集的制作需要使用標注軟件手動選取點云數(shù)據(jù)并設(shè)置標簽信息,并對標注的點云數(shù)據(jù)重復(fù)進行增添與刪減的操作,對一些復(fù)雜場景的模型更是難以操作,耗費時間長,嚴重制約點云深度學(xué)習在工業(yè)的應(yīng)用。

對此,針對散亂堆疊軸承圈的抓取場景,提出一種基于點云深度學(xué)習軸承圈抓取位姿檢測方法。該方法實現(xiàn)點云模型的自動標注,通過神經(jīng)網(wǎng)絡(luò)識別并分割出可抓取軸承圈,并結(jié)合防干涉抓取點選取策略智能選擇抓取點生成抓取姿態(tài),魯棒性強,不受光照的影響,抓取成功率高,可以遷移到小軸承圈的抓取應(yīng)用上。

1 點云模型的標注與數(shù)據(jù)集制作

使用Kinect v2相機設(shè)計自動標注算法,極大縮短數(shù)據(jù)集制作的時間,設(shè)計分層遞進隨機下采樣算法提高上層點云數(shù)據(jù)在整體模型中的占比,更加符合抓取場景的應(yīng)用。

1.1 點云數(shù)據(jù)的自動標注

將Kinect v2相機中的深度相機與RGB相機進行標定,使RGB圖像向深度圖像對齊,建立兩者之間的像素關(guān)系如式(1)所示。

(1)

式中:Zrgb和Zir分別為兩個相機中相機坐標系向像素坐標系轉(zhuǎn)換的尺度因子,prgb和pir分別為RGB相機像素坐標系與深度相機像素坐標系下的坐標值,Krgb和Kir分別為兩個相機的內(nèi)參矩陣,Rir2rgb和Tir2rgb分別為深度相機坐標系向RGB相機坐標系轉(zhuǎn)換的旋轉(zhuǎn)矩陣與平移向量。

Kinect v2相機通過紅外傳感器得到深度圖像,利用標定得到的相機內(nèi)參可以根據(jù)像素點的二維像素坐標系計算出該像素點在相機坐標系下的三維坐標,并以此生成點云模型。初始點云模型的獲取與自動標注的流程主要包括閾值獲取與標簽配置、圖像數(shù)據(jù)獲取、點云數(shù)據(jù)轉(zhuǎn)換與處理3個階段:①閾值獲取與標簽配置需要在采集點云模型數(shù)據(jù)之前完成,具體步驟為:采集一張RGB圖像,對每一類需要進行標注的對象在圖像中手動選取對應(yīng)的部分像素區(qū)域,對每一個區(qū)域的像素獲取其R、G、B像素值的最大值與最小值,并設(shè)定一個波動閾值,最終確定該標注對象對應(yīng)的閾值范圍,并配置設(shè)定點的標簽。②圖像數(shù)據(jù)獲取階段采集深度圖像并處理得到對齊的RGB圖像。③點云數(shù)據(jù)轉(zhuǎn)換與處理階段對深度圖像每一個像素數(shù)據(jù)轉(zhuǎn)換成點云數(shù)據(jù),并根據(jù)對應(yīng)對齊RGB圖像像素點中的R、G、B值給每一個點云數(shù)據(jù)賦予標簽,實現(xiàn)點云模型的自動標注,得到初始點云模型。

1.2 分層遞進隨機下采樣算法

初始點云模型包含超過5萬個數(shù)據(jù),無法直接用于深度學(xué)習模型訓(xùn)練,而現(xiàn)存在的下采樣算法得到的模型具有稀疏性,無法在深度學(xué)習模型中有較好的表現(xiàn)。因此提出一種分層遞進隨機下采樣算法,將初始點云模型規(guī)模減小的同時保留更多上層點云數(shù)據(jù),提高可抓取軸承圈上表面類別的點云數(shù)據(jù)占比,貼合由上到下抓取的實際應(yīng)用,具體實現(xiàn)為:

(1)對初始點云進行分層處理。統(tǒng)計點云模型Z軸坐標數(shù)據(jù)的平均值Zmean,以z=Zmean的平面將點云分為上下兩個部分,則上部分點云幾乎包含點云模型的軸承圈部分,而下半部分的點云則大多數(shù)為背景平面。

選出點云模型中Z軸上的最大值Zmax與最小值Zmin,根據(jù)式(2)分別計算上部分點云與下部分點云的跨度Sup和Sdown,并以z=Zmean-Sup平面和z=Zmean-Sup*2平面將上部分的點云數(shù)據(jù)分為3層,以z=Zmean+Sdown平面將下部分的點云數(shù)據(jù)分兩層。

(2)

(2)分層遞進策略與下采樣比例設(shè)定。對每一層點云數(shù)據(jù)設(shè)定一個期望的目標點數(shù)Ti,然后根據(jù)設(shè)定的目標點數(shù)實施分層遞進策略計算每一層的下采樣比例,分層遞進的策略如式(3)和式(4)所示,ni為實際下采樣的目標點數(shù),Pi為下采樣之后得到的點云數(shù)據(jù)占原模型數(shù)據(jù)的比例。假設(shè)每一層的點云個數(shù)為Ni,采用分層遞進策略由上到下的順序?qū)γ恳粚舆M行下采樣操作:當該層的點云數(shù)據(jù)少于目標點數(shù)的時候,下采樣的比例為1:1,即保留該層的所有點數(shù)據(jù),然后將剩余的目標點數(shù)目遞進添加到下一層的目標點數(shù)中并記錄為實際下采樣的目標點數(shù);而當該層的點云數(shù)據(jù)比目標點數(shù)多的時候,按照目標點數(shù)的個數(shù)進行下采樣。

(3)

(4)

式中:i=1,2,3,4,5。

1.3 數(shù)據(jù)集制作

本文使用自動標注算法與分層遞進隨機下采樣算法制作散亂堆疊軸承圈的數(shù)據(jù)集。在自動標注時,閾值獲取與標簽配置如圖1所示,對于可抓取軸承圈的上表面選取多個像素區(qū)域,并統(tǒng)一配置為相同的標簽“0”,其余部分像素區(qū)域配置的標簽為“1”。在分層遞進下采樣算法中,數(shù)據(jù)集中每個點云模型的規(guī)模為2550個點云數(shù)據(jù),由上到下每層下采樣的目標點數(shù)分別為1000、700、500、200、150個。

圖1 標注像素區(qū)域選取

為更加符合實際抓取情況,制作數(shù)據(jù)集時遵循以下幾個設(shè)定:

(1)數(shù)據(jù)集中的類別標簽有兩類,一類是可抓取軸承圈上表面,標簽為“0”,另一類是背景類別,標簽為“1”;

(2)數(shù)據(jù)集中每個點云模型中軸承圈數(shù)量為1～4個,以此保證軸承圈在各種情況下均能被識別與分割,完成批量的抓取任務(wù);

(3)數(shù)據(jù)集中每個點云模型最多有3個可抓取軸承圈,可抓取軸承圈的劃分依據(jù)為:該軸承圈沒有其他的軸承圈覆蓋在其上方,并遵循設(shè)定4;

(4)位于模型上方的軸承圈具有優(yōu)先被抓取的權(quán)利,當上方有多個可抓取軸承圈時,下方即便有可抓取的軸承圈也不標注為“0”,此設(shè)定符合由上往下抓取的實際應(yīng)用。而下方可抓取軸承圈在上方可抓取軸承圈被機械臂取走后依然會被識別出來,從而完成全部軸承圈的抓取。

對采集的數(shù)據(jù)進行鏡像與旋轉(zhuǎn)的操作實現(xiàn)數(shù)據(jù)集的增強,最終得到數(shù)據(jù)集中點云模型一共有6741個,并按照8:1:1的比例將數(shù)據(jù)分為訓(xùn)練集、驗證集與測試集。制作的堆疊軸承圈數(shù)據(jù)集模型整體基本構(gòu)成如圖2所示。

圖2 數(shù)據(jù)集基本構(gòu)成

2 基于PointNet++的可抓取軸承圈分割

使用PointNet++網(wǎng)絡(luò)[13]對可抓取軸承圈的上表面進行分割,分別使用隨機下采樣(方法一)、體素下采樣(方法二)和分層遞進隨機下采樣(方法三)3種方法對原始數(shù)據(jù)集進行下采樣操作制作對應(yīng)的訓(xùn)練數(shù)據(jù)集,下采樣目標點數(shù)為2550個,結(jié)果如表1所示。

表1 3種下采樣算法得到的數(shù)據(jù)集比較

顯然,分層遞進隨機下采樣得到的模型中可抓取軸承圈的占比有明顯的提升,下采樣后模型所處的點數(shù)區(qū)間更加穩(wěn)定。

設(shè)計一個待抓取軸承圈分割的評價標準去衡量PointNet++網(wǎng)絡(luò)分割后的效果,如式(5)所示:

(5)

式中:norg為原標注模型分割出待抓取軸承圈上表面的法線向量,npre為經(jīng)過PointNet++網(wǎng)絡(luò)預(yù)測分割出來的待抓取軸承圈上表面的法線向量,θ為兩個向量之間的夾角。評價指標θ的值越小,說明該下采樣方法結(jié)合PointNet++網(wǎng)絡(luò)得到的預(yù)測分割結(jié)果越貼近原模型的標注結(jié)果,以該方法完成下采樣與預(yù)測分割后求取的位姿更加精確。

由于體素下采樣得到的數(shù)據(jù)集在訓(xùn)練中效果很差,因此選用隨機下采樣(訓(xùn)練1)、分層遞進隨機下采樣+隨機下采樣(訓(xùn)練2)和分層遞進隨機下采樣(訓(xùn)練3)三種方法得到的數(shù)據(jù)集進行訓(xùn)練,訓(xùn)練1、訓(xùn)練2和訓(xùn)練3中可抓取軸承圈占比分別為13%、23%和32%左右。對比分析它們在訓(xùn)練后的分割效果,θ在各區(qū)間的預(yù)測模型比例如表2所示。

表2 不同數(shù)據(jù)集訓(xùn)練后分割效果對比

顯然,可抓取軸承圈的比例越高,預(yù)測分割的結(jié)果越接近原標注模型的分割結(jié)果,其分割的精度越高。只有訓(xùn)練1出現(xiàn)預(yù)測后無法正確分割待抓取軸承圈的情況,說明采用分層遞進隨機下采樣后由深度學(xué)習分割的魯棒性更高。

3 待抓取軸承圈的位姿檢測

PointNet++分割出來的可抓取軸承圈的個數(shù)在1～3個,同時也會存在部分誤分割的點,因此需要對分割出來的點云數(shù)據(jù)進行待抓取軸承圈的分割與姿態(tài)檢測。本文使用兩次RANSAC算法對預(yù)測的模型完成待抓取軸承圈的精細分割,并利用一種防干涉抓取點選取策略選取合適的抓取點并計算其抓取位姿。

3.1 基于RANSAC算法的待抓取軸承圈精細分割

使用RANSAC算法分割待抓取軸承圈時,具體步驟為:

步驟1:在預(yù)測模型中隨機選取3個可抓取平面上不共線的點,假設(shè)選取的3個點分別為A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)。

步驟2:用隨機選取的3個點進行平面擬合。由于3個點不共線,而且向量AB和向量AC都與平面的法向量n垂直,則有式(6):

(6)

求得平面的法向量n(a,b,c)。再由點法式直線方程a(x-x1)+b(y-y1)+c(z-z1)=0可以得到常數(shù)量d,完成平面的擬合。

步驟3:得到擬合平面之后,設(shè)定一個距離閾值dis,分別計算模型中預(yù)測為待抓取軸承圈上表面的所有點與擬合平面的距離D,當距離D小于設(shè)定的值dis,則將該點作為平面的內(nèi)點;若距離D大于設(shè)定的值,則該點為平面的外點。

步驟4:重復(fù)步驟1～步驟3,記錄內(nèi)點最多的平面并分割出相應(yīng)的內(nèi)點集作為待抓取軸承圈的上表面,完成待抓取軸承圈的粗分割。

進行待抓取軸承圈的精細分割時,以粗分割的結(jié)果再次進行空間上圓的擬合,取3個點計算出圓的圓心O(x0,y0,z0)以及半徑r0,根據(jù)式(7)判定該點是否小于設(shè)定的圓環(huán)寬度閾值w,判定每個點屬于內(nèi)點還是外點,最終以內(nèi)點最多的內(nèi)點集作為待抓取軸承圈精細分割的結(jié)果。

(7)

3.2 軸承圈抓取點確認與抓取姿態(tài)計算

精確分割待抓取軸承圈的上表面圓環(huán)之后,選取圓環(huán)上最高點作為初始抓取點并建立工件坐標系,用鄰域搜索的方法檢測在初始抓取點處實施抓取動作時是否會發(fā)生干涉,若檢測到會發(fā)生干涉,則在圓環(huán)上向初始抓取點兩側(cè)尋找合適的抓取點并重新建立對應(yīng)抓取點上的工件坐標系,具體的防干涉策略如圖3所示。

圖3 抓取點選取的防干涉策略

以初始點抓取點P與圓心位置O的單位向量PO作為x軸,以圓環(huán)所在平面的法線n作為z軸,最后通過右手定則確定y軸,完成抓取點P上的抓取姿態(tài)求取。機械臂抓取時,夾具的張合方向沿著x軸的方向,因此以初始抓取點P為基點,向x軸正負方向區(qū)域進行鄰域搜索,當夾具張合所經(jīng)過的區(qū)域中有檢測到其他的點云模型,說明抓取時會發(fā)生干涉,則向初始抓取點P的兩側(cè)尋找新的抓取點P′和P″,并重新求取抓取的姿態(tài)并再次進行鄰域搜索,直到找到合適的抓取點并確定最終的抓取姿態(tài)。

抓取點選取的防干涉策略在實際中應(yīng)用的效果如圖4所示,該策略可有效改善抓取點的求取,提高抓取的成功率。

(a) 抓取位姿改善前 (b) 抓取位姿改善后

4 實驗與分析

根據(jù)實際場景搭建如圖5所示的驗證實驗平臺,其中,計算機的CPU為Intel(R) Core(TM) i3-10100cpu@ 3.60 GHz處理器,GPU為GIGABYTE GeForce RTX 2080Ti,相機采用眼在手外的形式安裝在實驗平臺的桁架上;機械臂為伯朗特的六軸機械臂,計算機與機械臂的交互通過Socket連接與數(shù)據(jù)傳輸;雜亂軸承圈擺放的范圍為70 cm*70 cm,并采用夾取軸承圈壁的形式實現(xiàn)軸承圈的抓取任務(wù)。

圖5 實驗平臺搭建

在實際場景中進行3組抓取實驗,具體場景如圖6所示。

(a) 實驗1(b) 實驗2(c) 實驗3

實驗1與實驗2使用數(shù)據(jù)集中的軸承圈進行雜亂堆疊的抓取實驗,實驗1在白天光照良好的時候進行,實驗2在晚上無光照的時候進行。實驗3的小軸承圈不在數(shù)據(jù)集內(nèi),用于測試本文方法的魯棒性與遷移應(yīng)用能力。實驗結(jié)果如表3所示。

表3 實際場景的抓取實驗結(jié)果

實驗1抓取失敗的一次是因為機械臂達到y(tǒng)軸的最大行程,無法到達待抓取軸承圈的位置完成抓取任務(wù)。實驗2有兩次實驗由于抓取時內(nèi)部發(fā)生干涉導(dǎo)致軸承圈移動,進而導(dǎo)致抓取失敗;一次試驗中機械臂的軌跡規(guī)劃失敗導(dǎo)致抓取失敗。若適當調(diào)整機械臂與相機的相對位置以及改進一下夾具,能使抓取成功率進一步提高。實驗3仍具有很高的成功率,表明本方法不受光照的影響,魯棒性高,具備遷移應(yīng)用的能力。

5 結(jié)論

本文提出一種基于點云深度學(xué)習的散亂堆疊軸承圈位姿檢測方法,利用基于RGB閾值的自動標注算法和分層遞進隨機下采樣算法完成軸承圈數(shù)據(jù)集的制作,訓(xùn)練得到PointNet++模型用于待抓取軸承圈的識別與分割,然后利用RANSAC算法精確分割出待抓取軸承圈的上表面,最后配合防干涉的抓取點選取策略不斷調(diào)整并得到合適的抓取位姿。實驗結(jié)果表明:

(1)基于RGB閾值的自動標注算法能夠?qū)崿F(xiàn)采集數(shù)據(jù)時自動完成點云模型的標注,避免傳統(tǒng)標注時手動選取點進行標注的麻煩,有效縮短點云深度學(xué)習在工業(yè)應(yīng)用中的研發(fā)周期。

(2)分層遞進隨機下采樣算法能有效提高上層點云模型的特征,解決傳統(tǒng)下采樣算法導(dǎo)致點云模型經(jīng)過下采樣后出現(xiàn)稀疏性的問題,匹配工業(yè)抓取中的應(yīng)用場景。

(3)設(shè)計與制作的散亂堆疊軸承圈的點云模型數(shù)據(jù)集在PointNet++網(wǎng)絡(luò)中有很好的表現(xiàn),能夠直接從復(fù)雜環(huán)境中穩(wěn)健分割出可抓取軸承圈的上表面, 實現(xiàn)工業(yè)實際場景中點云深度學(xué)習在散亂堆疊軸承圈上識別與分割的應(yīng)用。

(4)防干涉的抓取點選取策略通過不斷調(diào)整抓取位姿,實現(xiàn)抓取時智能化選擇合適的抓取點完成抓取任務(wù),有效避免干涉并提高抓取的成功率。

(5)本方法在實際場景中的抓取實驗成功率高,并且不受光照環(huán)境的影響,遷移到小軸承上應(yīng)用時仍具很高的魯棒性,可在實際工業(yè)生產(chǎn)中應(yīng)用。