摘要： 針對(duì)散堆工件場(chǎng)景中點(diǎn)云生成耗時(shí)久、位姿估計(jì)困難、多類工件混合情形難處理等問(wèn)題，提出圖像分割引導(dǎo)的散堆工件結(jié)構(gòu)光三維位姿估計(jì)方法，并基于JAkA Zu3 6-DoF機(jī)器人開(kāi)發(fā)散堆工件抓取實(shí)驗(yàn)系統(tǒng)。采用YOLACT模型獲取散堆工件圖像中的工件信息，通過(guò)自適應(yīng)閾值篩選待抓取工件，利用雙目結(jié)構(gòu)光生成目標(biāo)工件所在區(qū)域的局部點(diǎn)云，并基于投票匹配算法和迭代最近鄰算法估計(jì)工件位姿。通過(guò)搭建的實(shí)驗(yàn)系統(tǒng)對(duì)文中方法進(jìn)行測(cè)試。實(shí)驗(yàn)結(jié)果表明：系統(tǒng)完成目標(biāo)工件位姿估計(jì)時(shí)間約為3.641 s，其中，點(diǎn)云計(jì)算需0.536 s，點(diǎn)云配準(zhǔn)需0.446 s；與其他方法相比，文中方法平均可縮小點(diǎn)云規(guī)模44%，點(diǎn)云生成時(shí)間平均縮減24%，配準(zhǔn)成功率提升至100%。

關(guān)鍵詞： 雙目結(jié)構(gòu)光； 點(diǎn)云生成； 點(diǎn)云配準(zhǔn)； 位姿估計(jì)； 圖像分割

中圖分類號(hào)： TP 391文獻(xiàn)標(biāo)志碼： A"" 文章編號(hào)： 1000-5013（2024）06-0696-10

Structured Light-Based 3D Pose Estimation of Piled Workpieces Guided by Image Segmentation

DENG Jun1，2， LI Na2，3， WANG Yakai1，2， GAO Zhenguo1，2

（1. College of Computer Science and Technology， Huaqiao University， Xiamen 361021， China；

2. Key Laboratory of Computer Vision and Machine Learning， Huaqiao University， Xiamen 361021， China；

3. College of Mechanical and Electrical Engineering， Huaqiao University， Xiamen 361021， China）

Abstract： Aiming at the problems of point cloud generation time-consuming， pose estimation difficulty， and multi class workpiece mixing difficult handling in the scene of piled workpieces， a" structured light-based 3D pose estimation of piled workpieces guided by image segmentation is proposed， and an experimental system of piled workpiece picking is developed based on the JAkA Zu3 6-DoF robot. The YOLACT model is used to extract workpiece information from the piled workpieces images. The workpiece to be grabbed is filtered through adaptive threshold， the local point clouds in the area where the target workpiece is generated using binocular structured light. The workpiece pose based on the voting matching algorithm and the iterative nearest neighbor algorithm is estimated. The proposed method is tested by the constructed experimental system. The experimental results show that the system takes approximately 3.641 s to complete the target workpiece pose esti-mation. Among them， point cloud computing takes 0.536 s and point cloud registration takes 0.446 s. Compared with other methods， the proposed method can reduce the size of point clouds by an average of 44%， reduce the time of the point clouds generation by an average of 24%， and improve the registration success rate to 100%.

Keywords：binocular structured light； point cloud generation； point cloud registration； pose estimation； image segmentation

散堆工件分揀是工業(yè)生產(chǎn)中的常見(jiàn)任務(wù)，散堆工件分揀系統(tǒng)需要檢測(cè)工件，對(duì)工件進(jìn)行三維點(diǎn)云生成（三維重建）和位姿估計(jì)，再控制機(jī)械臂完成抓取。目標(biāo)工件三維點(diǎn)云生成和位姿估計(jì)是整個(gè)系統(tǒng)至關(guān)重要的部分。

三維點(diǎn)云生成方法可以分為主動(dòng)式與被動(dòng)式兩種。被動(dòng)式方法不與場(chǎng)景交互，通過(guò)相機(jī)采集場(chǎng)景圖片，根據(jù)圖像的紋理分布等信息恢復(fù)深度信息，進(jìn)而生成點(diǎn)云［1-2］。雙目視覺(jué)利用左、右相機(jī)對(duì)同一場(chǎng)景拍攝的圖像進(jìn)行特征點(diǎn)匹配，獲得視差，進(jìn)而獲得三維點(diǎn)云。該方法難點(diǎn)在于左、右圖片像素點(diǎn)的匹配，匹配精確度會(huì)直接影響生成點(diǎn)云的效果。主動(dòng)式方法通過(guò)傳感器主動(dòng)向場(chǎng)景照射信號(hào)，通過(guò)解析返回的信號(hào)計(jì)算場(chǎng)景的三維信息［3-4］。主動(dòng)式方法能夠提供高質(zhì)量的三維數(shù)據(jù)，但通常需要更多的傳感器［5］。結(jié)構(gòu)光三維點(diǎn)云生成技術(shù)通過(guò)主動(dòng)投射編碼圖案，更好地實(shí)現(xiàn)更多像素點(diǎn)的匹配，從而形成高密度三維點(diǎn)云。

對(duì)于機(jī)器人工件分揀系統(tǒng)，不僅需要檢測(cè)工件，還需要估計(jì)工件的位姿。傳統(tǒng)的位姿估計(jì)方法依賴于深度圖或與RGB圖像結(jié)合使用［6-13］。這類方法難于處理散堆工件之間遮擋問(wèn)題，因此大多數(shù)姿態(tài)估計(jì)方法是基于點(diǎn)云進(jìn)行的。目前，基于點(diǎn)云的目標(biāo)位姿估計(jì)方法主要分為基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法和基于特征的方法。CNN在點(diǎn)云領(lǐng)域中已被廣泛應(yīng)用［14-20］，基于特征的方法十分依賴于特征點(diǎn)，若物體缺乏明顯的特征點(diǎn)，使得特征提取不準(zhǔn)確，則位姿估計(jì)會(huì)受影響［21-33］。

上述方法在處理復(fù)雜場(chǎng)景時(shí)需要重建整個(gè)場(chǎng)景，這不僅會(huì)消耗大量時(shí)間和資源，還會(huì)生成大量冗余點(diǎn)，導(dǎo)致后續(xù)計(jì)算效率低、所需存儲(chǔ)空間大等問(wèn)題。針對(duì)這些問(wèn)題，本文對(duì)圖像分割引導(dǎo)的散堆工件結(jié)構(gòu)光三維位姿估計(jì)進(jìn)行研究［34-35］。

1 系統(tǒng)設(shè)計(jì)

雙目結(jié)構(gòu)光系統(tǒng)中的左、右相機(jī)和投影儀分別通過(guò)USB接口和HDMI接口與計(jì)算機(jī)連接，計(jì)算機(jī)通過(guò)路由器與機(jī)器人連接。系統(tǒng)硬件模塊，如圖1所示。

系統(tǒng)架構(gòu)主要由5個(gè)模塊組成：點(diǎn)對(duì)特征庫(kù)構(gòu)建模塊、YOLACT訓(xùn)練模塊、雙目結(jié)構(gòu)光局部點(diǎn)云生成模塊、位姿估計(jì)模塊、機(jī)械臂抓取模塊。其中，前兩個(gè)模塊構(gòu)成系統(tǒng)離線準(zhǔn)備部分，后3個(gè)模塊構(gòu)成系統(tǒng)在線運(yùn)行部分。系統(tǒng)架構(gòu)，如圖2所示。

散堆工件圖像庫(kù)存儲(chǔ)了1 000幅利用Labelme標(biāo)注的散堆工件圖片，圖片用于訓(xùn)練YOLACT網(wǎng)絡(luò)模型。系統(tǒng)需要操作的各類型工件由預(yù)先準(zhǔn)備的系統(tǒng)工件類型模型決定。工件類型模型為相應(yīng)類型標(biāo)準(zhǔn)工件的三維點(diǎn)云集合，存儲(chǔ)于工件類型模型庫(kù)中。為進(jìn)行點(diǎn)云匹配位姿估計(jì)，計(jì)算每個(gè)工件類型的模型點(diǎn)云的點(diǎn)對(duì)特征集合，并用該集合作為相應(yīng)類型工件模型的特征模型，存儲(chǔ)于模型點(diǎn)對(duì)特征庫(kù)中。

雙目結(jié)構(gòu)光局部點(diǎn)云生成模塊包含工件篩選、結(jié)構(gòu)光投影、點(diǎn)云計(jì)算3個(gè)環(huán)節(jié)。該模塊通過(guò)雙目系統(tǒng)中的左目相機(jī)拍攝散堆工件場(chǎng)景圖像，利用YOLACT模型對(duì)圖像進(jìn)行實(shí)例分割，通過(guò)自適應(yīng)閾值篩選出所有適合抓取的工件。在點(diǎn)云生成過(guò)程中，雙目結(jié)構(gòu)光系統(tǒng)通過(guò)投影儀將編碼圖案投影在散堆工件上，利用雙目相機(jī)捕獲帶有編碼圖案的場(chǎng)景圖像，生成所有適合抓取工件處的局部點(diǎn)云。在位姿估計(jì)模塊，根據(jù)YOLACT輸出的工件類別信息，在模型點(diǎn)對(duì)特征庫(kù)中找到對(duì)應(yīng)的模型，先后通過(guò)位姿粗配準(zhǔn)與精配準(zhǔn)獲取工件位姿，從而指導(dǎo)機(jī)械臂抓取工件。工件位姿估計(jì)過(guò)程，如圖3所示。圖3（d）中：藍(lán)色點(diǎn)云為模型點(diǎn)云。

2 雙目結(jié)構(gòu)光局部點(diǎn)云

雙目結(jié)構(gòu)光局部點(diǎn)云生成過(guò)程中，通過(guò)雙目相機(jī)同步采集投影儀投射編碼圖案后的散堆工件場(chǎng)景圖片。隨后，通過(guò)解碼計(jì)算每個(gè)像素點(diǎn)的絕對(duì)相位［36］，結(jié)合篩選出適合抓取工件的分割信息計(jì)算目標(biāo)工件區(qū)域視差。為提高重建速度，減小點(diǎn)云規(guī)模，在計(jì)算目標(biāo)工件區(qū)域內(nèi)每行像素點(diǎn)對(duì)應(yīng)的視差時(shí)，每隔n個(gè)像素點(diǎn)計(jì)算一次視差，生成視差圖，進(jìn)而轉(zhuǎn)換為點(diǎn)云。雙目結(jié)構(gòu)光局部點(diǎn)云生成過(guò)程，如圖4所示。

YOLACT模型對(duì)散堆工件場(chǎng)景圖像實(shí)例分割時(shí)，存在分割被遮擋工件的情況。為從實(shí)例分割結(jié)果中篩選出適合抓取工件的部分，引入了閾值策略。把標(biāo)準(zhǔn)工件水平放置，通過(guò)相機(jī)拍攝標(biāo)準(zhǔn)工件獲取其二維圖像，由YOLACT進(jìn)行實(shí)例分割。YOLACT把圖像像素分為工件內(nèi)部、工件邊緣和工件外部3類。需要把工件邊緣像素歸類入工件內(nèi)部和工件外部，為此計(jì)算工件內(nèi)部像素點(diǎn)的平均灰度值F，再計(jì)算對(duì)應(yīng)工件邊緣像素點(diǎn)的灰度值g。若glt;F/2，則將邊緣像素點(diǎn)歸入工件外部像素點(diǎn)，反之，歸入工件內(nèi)部像素點(diǎn)。計(jì)算工件內(nèi)部像素?cái)?shù)量，并以此值的70%作為閾值來(lái)篩選適合抓取的工件。當(dāng)同類型工件內(nèi)部像素?cái)?shù)量超過(guò)該閾值時(shí)，認(rèn)為該工件適合抓取，反之，則刪除該工件的信息。散堆工件場(chǎng)景圖像原始分割結(jié)果與篩選結(jié)果，如圖5所示。

2.1 混合結(jié)構(gòu)光編碼方案

為減少結(jié)構(gòu)光投影時(shí)間，采用格雷碼與相移碼相結(jié)合的結(jié)構(gòu)光編碼方式，共投射p幅格雷碼圖案，q幅相移碼圖案，以左相機(jī)為例，左相機(jī)采集的結(jié)構(gòu)光投影場(chǎng)景圖片，如圖6所示。

經(jīng)過(guò)格雷碼編解碼，p位格雷碼將整個(gè)圖像劃分為2p個(gè)區(qū)域，每個(gè)區(qū)域內(nèi)像素點(diǎn)的格雷碼值相同。相移圖案是周期性圖案，在一個(gè)周期內(nèi)，相位值是連續(xù)且唯一的。把相移碼周期長(zhǎng)度和每個(gè)區(qū)域長(zhǎng)度設(shè)為相同，通過(guò)格雷碼與相移碼混合編碼得到的每個(gè)像素點(diǎn)的絕對(duì)相位ψ為

ψ=2kπ+φ。（1）

式（1）中：k為像素位置的格雷碼值；φ為像素位置的相位值。

通過(guò)混合編碼，可進(jìn)一步區(qū)分每個(gè)區(qū)域內(nèi)的像素點(diǎn)。格雷碼解碼時(shí)，為避免環(huán)境中陰影區(qū)域解碼的錯(cuò)誤二值化，通過(guò)投影正、反格雷碼圖案，計(jì)算帶正、反格雷碼圖案灰度差值的方式，進(jìn)行圖像二值化。設(shè)I（x，y）為投影格雷碼時(shí)圖像中位置（x，y）處的像素灰度值（光強(qiáng)），Ir（x，y）為投影反格雷碼圖案時(shí)圖像中位置（x，y）處的光強(qiáng)，若I（x，y）≥Ir（x，y），則認(rèn)為該位置對(duì)應(yīng)格雷碼亮條紋，二值化為1；若I（x，y）lt;Ir（x，y），則認(rèn)為該位置對(duì)應(yīng)格雷碼暗條紋，二值化為0。對(duì)拍攝的所有帶格雷碼圖案的場(chǎng)景圖片進(jìn)行上述解碼過(guò)程，就可得到每個(gè)位置的格雷碼值。

相移碼解碼的目的是從捕獲的帶相移碼的場(chǎng)景圖像計(jì)算每個(gè)像素點(diǎn)的相位值。投射的相移圖案為灰度條紋，光強(qiáng)表達(dá)式為

I（x，y）=a（x，y）+b（x，y）cos（φ（x，y）+φi）。（2）

式（2）中：a（x，y）為背景光強(qiáng)；b（x，y）為調(diào)制強(qiáng)度；φ（x，y）表示相位值；φi表示相移值。

以4步相移法為例，在一個(gè)2π周期內(nèi)，相位每次移動(dòng)幅度為π/2。第i副圖像的光強(qiáng)為I1（x，y）=a（x，y）+b（x，y）cos（φ（x，y）），I2（x，y）=a（x，y）+b（x，y）cosφ（x，y）+π2，I3（x，y）=a（x，y）+b（x，y）cos（φ（x，y）+π），I4（x，y）=a（x，y）+b（x，y）cosφ（x，y）+3π2。

每個(gè)像素點(diǎn)的相位為

φ（x，y）=arctanI4（x，y）－I2（x，y）I1（x，y）－I3（x，y）。（3）

2.2 縮減像素點(diǎn)匹配搜索范圍

左、右場(chǎng)景圖案解碼后，為左圖像的像素點(diǎn)在右圖像中尋找匹配點(diǎn)時(shí)，可以搜索所有像素點(diǎn)，但這樣效率較低。為節(jié)省資源開(kāi)銷，基于YOLACT輸出的工件分割信息，只對(duì)工件內(nèi)部像素點(diǎn)進(jìn)行匹配，并利用極線約束，將搜索范圍縮小為右圖像對(duì)應(yīng)的極線，再通過(guò)延伸工件包絡(luò)框邊界，進(jìn)一步將匹配范圍縮小為對(duì)應(yīng)極線中的一段。

為簡(jiǎn)化極線的計(jì)算，先對(duì)左、右圖片進(jìn)行極線校正。極線校正把兩幅原始圖像轉(zhuǎn)化為兩幅新圖像。這兩幅新圖像中，對(duì)應(yīng)極線均在與橫軸平行的同一直線上，即兩幅圖像中互相匹配的像素點(diǎn)具有相同的縱坐標(biāo)。

雙目視覺(jué)中空間點(diǎn)在左、右圖像的成像位置，如圖7所示。圖7中：P在極線校正后的左、右圖像上的坐標(biāo)分別為（a，b），（m，n）；兩個(gè)紅色方框代表極線校正后的左、右圖像平面，以圖像的左邊界為x方向的零起始邊；左圖像中的像素位置（a，b）在x方向上相對(duì)于右圖像中的像素位置（m，n）更靠右，即agt;m，且圖像極線校正后使得b=n，因此，把右目圖像中搜索匹配點(diǎn)的范圍縮減為第b行中［0，a］區(qū)間。右圖工件包絡(luò)框獲取過(guò)程，如圖8所示。

由圖8可知：左圖分割得到的掩膜和包絡(luò)框可以覆蓋右圖對(duì)應(yīng)工件的大部分區(qū)域；通過(guò)計(jì)算雙目系統(tǒng)拍攝圖像的最大視差v，在右圖上將包絡(luò)框的左邊界向左延伸（v+c）個(gè)像素點(diǎn)，其中，c是為保證匹配的準(zhǔn)確性而額外延伸的像素?cái)?shù)量；延伸后的包絡(luò)框就可包含左圖工件區(qū)域內(nèi)像素點(diǎn)對(duì)應(yīng)的匹配點(diǎn)，左圖點(diǎn)（a，b）的匹配范圍縮減為右圖像對(duì)應(yīng)極線中［0，a］區(qū)間。通過(guò)延伸包絡(luò)框邊界，進(jìn)一步將匹配點(diǎn)搜索范圍縮減為［h，a］區(qū)間，其中，h為原包絡(luò)框左邊界所在像素點(diǎn)位置向左延伸（v+c）個(gè)像素點(diǎn)后的左邊界位置。

3 位姿估計(jì)

3.1 模型數(shù)據(jù)庫(kù)

獲取工件模型點(diǎn)云有兩種方式：一是通過(guò)工件的CAD模型轉(zhuǎn)換為點(diǎn)云，將降采樣后的點(diǎn)云作為工件模型點(diǎn)云；二是將雙目結(jié)構(gòu)光生成的工件稀疏點(diǎn)云通過(guò)Cloud Compare軟件進(jìn)行去噪和平滑等處理，將處理后的點(diǎn)云作為工件模型點(diǎn)云。

將工件模型點(diǎn)云轉(zhuǎn)換為PPF特征，并用該特征作為相應(yīng)類型工件模型的特征模型，以工件類型為索引構(gòu)建模型點(diǎn)對(duì)特征庫(kù)。每個(gè)模型都包含一個(gè)從PPF特征到具有相似特征的點(diǎn)對(duì)集合的映射，該映射關(guān)系采用哈希表存儲(chǔ)。

PPF特征是一個(gè)4維向量，用于表示兩個(gè)空間點(diǎn)p1和p2之間的相對(duì)位置和方向關(guān)系，即

PPF（p1，p2）=［d2，n1，n2，u］。（4）

式（4）中：d為p1到p2的方向向量；d2為p1和p2之間的歐氏距離；n1和n2分別為p1和p2處的法向量與向量d之間的夾角；u為p1和p2處的兩法向量之間的夾角。

3.2 基于投票匹配和迭代最近鄰位姿的估計(jì)

位姿估計(jì)過(guò)程，如圖9所示。

首先，使用直通濾波定義點(diǎn)云的有效范圍，去除離群點(diǎn)云。接著，通過(guò)移動(dòng)最小二乘法濾波平滑點(diǎn)云，以減少噪聲影響，提高匹配的穩(wěn)定性。隨后，計(jì)算工件點(diǎn)云的點(diǎn)對(duì)特征集合，并以工件類別信息為索引找到對(duì)應(yīng)模型進(jìn)行配準(zhǔn)。最后，通過(guò)投票匹配和ICP算法估計(jì)工件位姿。

設(shè)M為模型點(diǎn)云的點(diǎn)對(duì)特征，S為環(huán)境點(diǎn)云的點(diǎn)對(duì)特征，模型點(diǎn)云的點(diǎn)對(duì)特征（PPFΘ（pn，pm））和場(chǎng)景點(diǎn)云的點(diǎn)對(duì)特征（PPFΩ（qj，qk））為

M={PPFΘ（p1，p2），…，PPFΘ（pn，pm）}，S={PPFΩ（q1，q2），…，PPFΩ（qj，qk）}。（5）

根據(jù)YOLACT得到的工件種類信息，可以在模型點(diǎn)對(duì)特征庫(kù)中選擇對(duì)應(yīng)的模型，并為每個(gè)場(chǎng)景點(diǎn)建立投票箱。比較模型點(diǎn)對(duì)（pn，pm）和場(chǎng)景點(diǎn)對(duì)（qj，qk）的特征向量，若相似，則為該模型點(diǎn)投票。對(duì)場(chǎng)景點(diǎn)構(gòu)建的所有點(diǎn)對(duì)特征集合完成投票后，將投票數(shù)（f）的最大值作為匹配點(diǎn)的權(quán)值oi，即

oi=Max（f1，f2，…，fm）。（6）

為所有場(chǎng)景點(diǎn)獲取匹配結(jié)果后，可以得到多個(gè)位姿，將相似的位姿結(jié)果分配到相同的簇中。計(jì)算簇中所有位姿投票數(shù)的總和作為該簇的總得分（Wn），即

Wn=∑nuj=1∑nji=1oi。（7）

式（7）中：nu為簇中的位姿個(gè)數(shù)；nj為場(chǎng)景點(diǎn)個(gè)數(shù)。

選擇總得分最高的簇，并計(jì)算其聚類中心的對(duì)應(yīng)位姿，作為粗配準(zhǔn)位姿結(jié)果。首先，計(jì)算所有位姿的位置向量的平均值來(lái)求解位置均值，其次，計(jì)算該簇聚類中心對(duì)應(yīng)的旋轉(zhuǎn)矩陣（A），即

A=1nu∑nui=1wi（uTi×ui）。（8）

式（8）中：ui為位姿的旋轉(zhuǎn)矩陣；wi為位姿的權(quán)重。

通過(guò)投票匹配和位姿聚類，得到了模型點(diǎn)云到場(chǎng)景點(diǎn)云的初始變換矩陣。使用ICP算法［33］進(jìn)一步精細(xì)調(diào)整，減少點(diǎn)云對(duì)應(yīng)點(diǎn)匹配的距離誤差。

4 實(shí)驗(yàn)驗(yàn)證

4.1 散堆工件抓取實(shí)驗(yàn)系統(tǒng)

通過(guò)測(cè)試系統(tǒng)抓取工件的平均耗時(shí)、平均點(diǎn)云生成時(shí)間、配準(zhǔn)成功率和平均配準(zhǔn)時(shí)間驗(yàn)證方法的整體性能。

平均耗時(shí)為系統(tǒng)抓取目標(biāo)工件過(guò)程中各環(huán)節(jié)單次所耗平均時(shí)間；平均點(diǎn)云生成時(shí)間與平均配準(zhǔn)時(shí)間為獲取單個(gè)工件位姿所需點(diǎn)云生成時(shí)間和配準(zhǔn)時(shí)間；配準(zhǔn)成功率為實(shí)驗(yàn)中位姿估計(jì)成功次數(shù)所占比例。

搭建的散堆工件抓取實(shí)驗(yàn)系統(tǒng)（圖10）包含標(biāo)準(zhǔn)工業(yè)6-DoF機(jī)器人JAkA Zu3、末端執(zhí)行器、雙目結(jié)構(gòu)光系統(tǒng)、帶高性能圖形處理單元（GPU）的計(jì)算機(jī)。系統(tǒng)采用吸嘴作為末端執(zhí)行器，結(jié)合氣泵、電磁閥和繼電器完成抓取。吸嘴由于其工作原理，需要接觸面平滑，且吸嘴工作時(shí)吸力較小，因此，將抓取點(diǎn)選在工件重心附近。

4.2 散堆工件抓取流程實(shí)驗(yàn)

工件搬移過(guò)程，如圖11所示。

抓取全部工件僅需兩次結(jié)構(gòu)光點(diǎn)云生成（圖11（a））：

1） 系統(tǒng)利用YOLACT對(duì)圖片進(jìn)行實(shí)例分割，并篩選出3個(gè)適合抓取的表層工件；

2） 利用雙目結(jié)構(gòu)光系統(tǒng)生成3個(gè)目標(biāo)工件區(qū)域的局部點(diǎn)云，并計(jì)算工件的位姿，指導(dǎo)機(jī)械臂搬移工件。完成對(duì)表層3個(gè)工件的抓取后，系統(tǒng)捕獲當(dāng)前場(chǎng)景圖像進(jìn)行實(shí)例分割，篩選出下層的5個(gè)適合抓取的工件。

隨后，重復(fù)上述過(guò)程，完成對(duì)下層5個(gè)工件的搬移。搬移下層5個(gè)工件后，系統(tǒng)再次捕獲場(chǎng)景圖像進(jìn)行實(shí)例分割，發(fā)現(xiàn)無(wú)適合抓取的工件，系統(tǒng)結(jié)束抓取任務(wù)。

點(diǎn)云生成環(huán)節(jié)的工件搬移過(guò)程總耗時(shí)（t）為

t=ts+tj+tr+te+tc。（9）

式（9）中：ts為工件篩選環(huán)節(jié)耗時(shí)；tj為結(jié)構(gòu)光投影環(huán)節(jié)耗時(shí)；tr為計(jì)算工件點(diǎn)云環(huán)節(jié)耗時(shí)；te為工件位姿估計(jì)環(huán)節(jié)耗時(shí)；tc為機(jī)械臂搬移工件環(huán)節(jié)耗時(shí)。

沒(méi)有點(diǎn)云生成環(huán)節(jié)的工件搬移過(guò)程中，單次搬移過(guò)程總耗時(shí)t為機(jī)械臂搬移過(guò)程耗時(shí)。系統(tǒng)搬移工件各環(huán)節(jié)所耗時(shí)間，如表1所示。表1中：n為抓取次數(shù)；trc=ts+tj+tr；ta為平均時(shí)間。

機(jī)械臂搬移工件環(huán)節(jié)平均耗時(shí)為6.024 s，遠(yuǎn)高于估計(jì)單個(gè)工件位姿平均耗時(shí)。為提升散堆工件抓取系統(tǒng)工作效率，令機(jī)械臂搬移工件環(huán)節(jié)與下一個(gè)工件點(diǎn)云的配準(zhǔn)過(guò)程并行執(zhí)行。

4.3 相關(guān)方法對(duì)比測(cè)試

基于DFP［35］（DFPCP）方法、基于PointNet++［15］（PCP）方法及基于DGCNN［16］（DCP）方法均利用雙目結(jié)構(gòu)光生成點(diǎn)云，使用投票匹配和迭代最近鄰算法［33］估計(jì)工件位姿。所有方法均在相同場(chǎng)景下實(shí)驗(yàn)了50次，4種方法點(diǎn)云生成和位姿估計(jì)結(jié)果對(duì)比，如表2所示。表2中：nr為重建的次數(shù)；η為配準(zhǔn)成功率；tps為分割時(shí)間；S為點(diǎn)云規(guī)模。

由表2可知：DFPCP方法的配準(zhǔn)成功率遠(yuǎn)低于其他方法，這是由于DFPCP方法生成的整個(gè)散堆工件場(chǎng)景點(diǎn)云包含大量無(wú)關(guān)點(diǎn)，并且DFPCP不能選擇對(duì)應(yīng)模型進(jìn)行配準(zhǔn)，而是需要依次和L型、T型工件的點(diǎn)對(duì)特征集合進(jìn)行配準(zhǔn)，T型工件的點(diǎn)對(duì)特征與L型工件的點(diǎn)對(duì)特征相似，L型工件模型點(diǎn)云易配準(zhǔn)到場(chǎng)景點(diǎn)云中T型工件區(qū)域，導(dǎo)致配準(zhǔn)成功率低；另外3種方法均是針對(duì)目標(biāo)工件點(diǎn)云進(jìn)行配準(zhǔn)，大幅度提升了配準(zhǔn)成功率；PCP方法和DCP方法需要計(jì)算完整場(chǎng)景點(diǎn)云，然后，對(duì)場(chǎng)景點(diǎn)云進(jìn)行分割，以獲取目標(biāo)工件點(diǎn)云，這導(dǎo)致點(diǎn)云生成時(shí)間較長(zhǎng)，且在散堆工件之間存在遮擋情況，兩種方法都存在分割被遮擋工件的點(diǎn)云的情況，進(jìn)而導(dǎo)致配準(zhǔn)失?。晃闹蟹椒ńY(jié)合YOLACT輸出的目標(biāo)工件的分割信息，只生成待抓取工件的點(diǎn)云，與其他方法相比，文中方法平均可縮小點(diǎn)云規(guī)模約44%，點(diǎn)云生成時(shí)間平均縮短24%，配準(zhǔn)成功率平均提升25%。

5 結(jié)束語(yǔ)

提出了一種圖像分割引導(dǎo)的散堆工件結(jié)構(gòu)光三維位姿估計(jì)方法，并基于所搭建的散堆工件抓取實(shí)驗(yàn)系統(tǒng)進(jìn)行了散堆工件抓取實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，該方法能快速生成所有適合抓取工件的局部點(diǎn)云，顯著減少了點(diǎn)云規(guī)模和點(diǎn)云生成時(shí)間，雙目結(jié)構(gòu)光點(diǎn)云生成平均時(shí)間僅為3.195 s。通過(guò)以種類為索引找到對(duì)應(yīng)的模型進(jìn)行基于投票匹配和ICP算法的位姿配準(zhǔn)，提高了配準(zhǔn)成功率，配準(zhǔn)平均成功率達(dá)100%。相較其他方法，文中方法在減小點(diǎn)云規(guī)模、提高點(diǎn)云生成速度和提高配準(zhǔn)成功率方面表現(xiàn)出色，從而有效提高了抓取效率。文中方法在更復(fù)雜環(huán)境下的工件掩膜分割質(zhì)量方面仍有進(jìn)一步提高的空間。對(duì)于不適合抓取的工件，系統(tǒng)通過(guò)機(jī)械臂對(duì)工件進(jìn)行調(diào)整，確定抓取點(diǎn)，進(jìn)而完成抓取，將是未來(lái)研究的主題。

參考文獻(xiàn)：

［1］ SCHONBERGER J L，F(xiàn)RAHM J M.Structure-from-motion revisited［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Press，2016：4104-4113.DOI：10.1109/CVPR.2016.445.

［2］ 黃及遠(yuǎn)，李敏，謝兵兵，等.雙目視覺(jué)關(guān)鍵技術(shù)研究綜述［J］.制造業(yè)自動(dòng)化，2023，45（5）：166-171.DOI：1009-0134（2023）05-0166-06.

［3］ FOIX S，ALENYA G，TORRAS C.Lock-in time-of-flight （ToF） cameras： A survey［J］.IEEE Sensors Journal，2011，11（9）：1917-1926.DOI：10.1109/JSEN.2010.2101060.

［4］ 夏晨旭，郝群，張一鳴，等.基于結(jié)構(gòu)光投影三維重建的人臉特征檢測(cè)［J］.激光與光電子學(xué)進(jìn)展，2023，60（22）：186-192.DOI：10.3788/LOP230620.

［5］ AHARCHI M，AITKBIR M.A review on 3D reconstruction techniques from 2D images［C］∥International Conference on Smart Cities Applications.Berlin：Springer，2020：510-522.DOI：10.1007/978-3-030-37629-1_37.

［6］ MAYER N，ILG E，HAUSSER P，et al.A large dataset to train convolutional networks for disparity， optical flow， and scene flow estimation［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Press，2016：4040-4048.DOI：10.1109/CVPR.2016.438.

［7］ SUNDERMEYER M，MARTON Z C，DURNER M，et al.Implicit 3D orientation learning for 6D object detection from RGB images［C］∥European Conference on Computer Vision.Cham：Springer，2018：699-715.DOI：10.1007/978-3-030-01231-1_43.

［8］ 牟向偉，孫國(guó)奇，陳林濤，等.基于Kinect相機(jī)的多視角RGB-D信息融合的甜椒姿態(tài)估計(jì)研究［J］.中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2023，44（10）：159-167.DOI：10.13733/j.jcam.issn.2095-5553.2023.10.023.

［9］ BRACHMANN E，KRULL A，MICHEL F，et al.Learning 6D object pose estimation using 3D object coordinates［C］∥European Conference on Computer Vision.Cham：Springer，2014：536-551.DOI：10.1007/978-3-319-10605-2_35.

［10］ KRULL A，BRACHMANN E，MICHEL F，et al.Learning analysis-by-synthesis for 6D pose estimation in RGB-D images［C］∥IEEE International Conference on Computer Vision.Piscataway：IEEE Press，2015：954-962.DOI：10.1109/ICCV.2015.115.

［11］ CRIVELLARO A，RAD M，VERDIE Y，et al.A novel representation of parts for accurate 3D object detection and tracking in monocular images［C］∥IEEE International Conference on Computer Vision.Piscataway：IEEE Press，2015：4391-4399.DOI：10.1109/ICCV.2015.499.

［12］ HODAN T，HALUZA P，OBDRLEK ，et al.T-LESS： An RGB-D dataset for 6D pose estimation of texture-less objects［C］∥IEEE Winter Conference on Applications of Computer Vision.Piscataway：IEEE Press，2017：880-888.DOI：10.48550/arXiv.1701.05498.

［13］ JAFARI O H，MITZEL D，LEIBE B.Real-time RGB-D based people detection and tracking for mobile robots and head-worn cameras［C］∥IEEE International Conference on Robotics and Automation.Piscataway：IEEE Press，2014：5636-5643.DOI：10.1109/ICRA.2014.6907688.

［14］ QI C R，SU Hao，MO Kaichun，et al.PointNet： Deep learning on point sets for 3D classification and segmentation［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Press，2017：652-660.DOI：10.1109/CVPR.2017.16.

［15］ QI C R，YI Li， SU Hao，et al.Pointnet++： Deep hierarchical feature learning on point sets in a metric space［C］∥Annual Conference on Neural Information Processing Systems.New York：MIT Press，2017：5099-5108.DOI：10.48550/arXiv.1706.02413.

［16］ WANG Yue，SUN Yongbin，LIU Ziwei，et al.Dynamic graph CNN for learning on point clouds［J］.ACM Transactions on Graphics，2019，38（5）：1-12.DOI：10.48550/arXiv.1801.07829.

［17］ WANG Chen，XU Danfei，ZHU Yuke，et al.DenseFusion： 6D object pose estimation by iterative dense fusion［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Press，2019：3343-3352.DOI：10.48550/arXiv.1901.04780.

［18］ GAO Ge，LAURI M，WANG Yulong，et al.6D object pose regression via supervised learning on point clouds［C］∥IEEE International Conference on Robotics and Automation.Piscataway：IEEE Press，2020：3643-3649.DOI：10.1109/ICRA40945.2020.9197461.

［19］ ZHUANG Chuangang，LI Shaofei，DING Han.Instance segmentation based 6D pose estimation of industrial objects using point clouds for robotic bin-picking［J］.Robotics and Computer-Integrated Manufacturing，2023，82：102541.DOI：10.1016/j.RCIM.2023.102541.

［20］ ZHUANG Chuangang，WANG Haoyu，DING Han.Attention vote： A coarse-to-fine voting network of anchor-free 6D pose estimation on point cloud for robotic bin-picking application［J］.Robotics and Computer-Integrated Manufacturing，2024，86：102671.DOI：10.1016/J.RCIM.2023.102671.

［21］ PAVLAKOS G，ZHOU Xiaowei，CHAN A，et al.6-DoF object pose from semantickeypoints［C］∥IEEE International Conference on Robotics and Automation.Piscataway：IEEE Press，2017：2011-2018.DOI：10.1109/ICRA.2017.7989233.

［22］ ROTHGANGER F，LAZEBNIK S，SCHMID C，et al.3D object modeling and recognition using local affine-invariant image descriptors and multi-view spatial constraints［J］.International Journal of Computer Vision，2006，66（3）：231-259.DOI：10.1007/s11263-005-3674-1.

［23］ TULSIANI S，MALIK J.Viewpoints and keypoints［C］∥IEEE Conference on Computer Vision and Pattern Recognition.Piscataway：IEEE Press，2015：1510-1519.DOI：10.1109/CVPR.2015.7298758.

［24］ RUBLEE E，RABAUD V，KONOLIGE K，et al.ORB： An efficient alternative to SIFT or SURF［C］∥IEEE International Conference on Computer Vision.Piscataway：IEEE Press，2011：2564-2571.DOI：10.1109/ICCV.2011.6126544.

［25］ BAY H，TUYTELAARS T，VAN GOOL L.Surf： Speeded up robust features［C］∥European Conference on Computer Vision.Berlin：Springer，2006：404-417.DOI：10.1007/11744023_32.

［26］ RUSU R B，BLODOW N，BEETZ M.Fast point feature histograms （FPFH） for 3D registration［C］∥IEEE International Conference on Robotics and Automation.Piscataway：IEEE Press，2009：3212-3217.DOI：10.1109/ROBOT.2009.5152473.

［27］ TOMBARI F，SALT S，DI STEFANO L.Unique signatures of histograms for local surface description［C］∥European Conference on Computer Vision.Berlin：Springer，2010：356-369.DOI：10.1007/978-3-642-15558-1_26.

［28］ VIDAL J，LIN C Y，MART R.6D pose estimation using an improved method based on point pair features［C］∥International Conference on Control， Automation， and Robotics.Piscataway：IEEE Press，2018：405-409.DOI：10.1109/ICCAR.2018.8384709.

［29］ SHARP G C，LEE S W，WEHE D K.ICP registration using invariant features［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（1）：90-102.DOI：10.1109/34.982886.

［30］ YANG Jiaolong，LI Hongdong，CAMPBELL D，et al.Go-ICP： A globally optimal solution to 3D ICP point-set registration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2015，38（11）：2241-2254.DOI：10.1109/TPAMI.2015.2513405.

［31］ 汪霖，郭佳琛，張璞，等.基于改進(jìn)ICP算法的三維點(diǎn)云剛體配準(zhǔn)方法［J］.西北大學(xué)學(xué)報(bào)（自然科學(xué)版），2021，51（2）：183-190.DOI：10.16152/j.cnki.xdxbzr.2021-02-002.

［32］ 荊路，武斌，方錫祿.基于SIFT特征點(diǎn)結(jié)合ICP的點(diǎn)云配準(zhǔn)方法［J］.激光與紅外，2021，51（7）：944-950.DOI：10.3969/j.issn.1001-5078.2021.07.019.

［33］ ZHANG Jing，YIN Baoqun，XIAO Xianpeng，et al.3D detection and 6D pose estimation of texture-less objects for robot grasping［C］∥International Conference on Control and Robotics Engineering.Piscataway：IEEE Press，2021：33-38.DOI：10.1109/ICCRE51898.2021.9435702.

［34］ BOLYA D，ZHOU Chong，XIAO Fanyi，et al.YOLACT： Real-time instance segmentation［C］∥IEEE International Conference on Computer Vision.Piscataway：IEEE Press，2019：9157-9166.DOI：10.1109/ICCV.2019.00925.

［35］ LI Beiwen，AN Yatong，CAPPELLERI D，et al.High-accuracy， high-speed 3D structured light imaging techniques and potential applications to intelligent robotics［J］.International Journal of Intelligent Robotics and Applications，2017，1（1）：86-103.DOI：10.1007/s41315-016-0001-7.

［36］ 熊宗剛.結(jié)構(gòu)光雙目三維成像關(guān)鍵技術(shù)研究［D］.成都：電子科技大學(xué)，2021.

（責(zé)任編輯： 陳志賢" 英文審校： 陳婧）

通信作者： 高振國(guó)（1976-），男，教授，博士，主要從事智能制造、機(jī)器視覺(jué)及無(wú)線自組網(wǎng)絡(luò)等的研究。E-mail：gaohit@sina.com。

基金項(xiàng)目： 國(guó)家自然科學(xué)基金資助項(xiàng)目（62372190， 61972166）； 福建省高校產(chǎn)學(xué)合作資助項(xiàng)目（2021H6030）https：//hdxb.hqu.edu.cn/