趙鵬宇，王宗彥，何曉，丁培燎

中北大學(xué)機(jī)械工程學(xué)院；山西省起重機(jī)數(shù)字化設(shè)計(jì)工程技術(shù)研究中心

1 引言

為增強(qiáng)機(jī)器人的自動(dòng)化水平，將視覺技術(shù)與機(jī)器人技術(shù)進(jìn)行融合已成為工程技術(shù)領(lǐng)域的研究熱點(diǎn)。李志昂等[1]提出了基于SURF算法與RGB顏色空間結(jié)合的目標(biāo)識(shí)別算法，實(shí)現(xiàn)對(duì)顏色不同的字體塊抓取。宋薇等[2]提出了基于工業(yè)零件CAD模型，采用單攝像機(jī)完成立體匹配的抓取方法。梅江平等[3]提出了一種基于圓特征單目視覺的定位方法，并與傳送帶標(biāo)定結(jié)合，提高了并聯(lián)機(jī)器人對(duì)動(dòng)態(tài)目標(biāo)的定位精度和抓取效率。

Delta并聯(lián)機(jī)器人重復(fù)定位精度高，運(yùn)行穩(wěn)定，目前在食品藥品工業(yè)的分揀和包裝等領(lǐng)域廣泛應(yīng)用[4-6]。將其與機(jī)器視覺技術(shù)融合，可克服傳統(tǒng)機(jī)器人分揀靈活性低的缺點(diǎn)，加強(qiáng)Delta并聯(lián)機(jī)器人的自動(dòng)化水平[6]。工業(yè)生產(chǎn)環(huán)境噪聲大、干擾強(qiáng)，導(dǎo)致傳統(tǒng)機(jī)器視覺目標(biāo)識(shí)別算法的準(zhǔn)確性下降，分析SIFT(尺度不變特征變換)、SURF(加速版的魯棒性特征)、ORB等特征提取方法和Grabcut、Onecut等圖像分割方法[7-11]，提出了一種基于ORB特征匹配與Onecut圖像分割方法結(jié)合的目標(biāo)識(shí)別定位算法，消除Onecut算法需人機(jī)交互的缺點(diǎn)及圖像中的噪聲干擾，提高了目標(biāo)識(shí)別的準(zhǔn)確性。

本文通過標(biāo)定Delta機(jī)器人、傳送帶及相機(jī)，得到目標(biāo)的空間坐標(biāo)，進(jìn)行準(zhǔn)確的抓取操作，并將ORB算法和Onecut算法結(jié)合，實(shí)現(xiàn)了免交互的Onecut分割算法。

2 系統(tǒng)結(jié)構(gòu)

Delta并聯(lián)機(jī)器人識(shí)別抓取系統(tǒng)可分為兩部分：視覺系統(tǒng)識(shí)別定位待分揀物和機(jī)器人控制末端執(zhí)行器進(jìn)行抓取操作。為了使Delta機(jī)器人靈活運(yùn)動(dòng)，充分發(fā)揮工作空間大的優(yōu)勢(shì)和視覺系統(tǒng)的性能，采用末端開環(huán)的機(jī)器人系統(tǒng)搭建方法，在機(jī)器人工作空間外且垂直于傳送帶表面的位置安裝攝像機(jī)，防止攝像機(jī)干擾Delta機(jī)器人的工作[12](見圖1)。

圖1 系統(tǒng)結(jié)構(gòu)

3 系統(tǒng)標(biāo)定

為了準(zhǔn)確得到物體位姿信息，需標(biāo)定工業(yè)相機(jī)，消除畸變影響。手眼標(biāo)定攝像機(jī)和機(jī)器人后，建立攝像機(jī)坐標(biāo)與機(jī)器人坐標(biāo)之間的關(guān)系。

3.1 工業(yè)相機(jī)標(biāo)定

工業(yè)相機(jī)標(biāo)定是相機(jī)將物體的三維信息轉(zhuǎn)換成圖像中二維信息的過程，以此確定相機(jī)的內(nèi)外參數(shù)。此過程涉及4個(gè)坐標(biāo)系的轉(zhuǎn)換：世界坐標(biāo)系OW經(jīng)平移旋轉(zhuǎn)轉(zhuǎn)換到相機(jī)坐標(biāo)系OC；相機(jī)坐標(biāo)系OC投影變換后到圖像坐標(biāo)系；圖像坐標(biāo)系轉(zhuǎn)換到像素坐標(biāo)系。從相機(jī)坐標(biāo)系到圖像坐標(biāo)系構(gòu)成了相機(jī)的外參，從圖像坐標(biāo)系到像素坐標(biāo)系構(gòu)成了相機(jī)的內(nèi)參。本文基于OpenCV進(jìn)行相機(jī)標(biāo)定，選用6mm×9mm和15mm×15mm棋盤格，內(nèi)參標(biāo)定結(jié)果見表1。

表1 Opencv標(biāo)定結(jié)果

3.2 手眼標(biāo)定

圖2 傳送帶-機(jī)器人標(biāo)定

(1)

(2)

(3)

(4)

最終得到相機(jī)坐標(biāo)系的坐標(biāo)O1進(jìn)入機(jī)器人工作空間后的坐標(biāo)O2為

(5)

由式(5)可得到相機(jī)坐標(biāo)與機(jī)器人坐標(biāo)間的關(guān)系，完成手眼標(biāo)定。

4 目標(biāo)識(shí)別定位

通過ORB算法識(shí)別圖像中的目標(biāo)物體，基于免交互Onecut圖像分割算法分割物體，通過Canny邊緣檢測(cè)算法檢測(cè)物體外輪廓，最后定位物體質(zhì)心。

4.1 ORB特征匹配

ORB(Oriented FAST and Rotated BRIEF)算法基于FAST算法并結(jié)合改進(jìn)的BRIEF描述子，運(yùn)算速度是傳統(tǒng)sift算法的百倍。步驟如下：

(1)縮放圖像，得到不同尺度的圖像，之后進(jìn)行FAST特征點(diǎn)檢測(cè)，匹配不同尺度的圖像，解決ORB沒有尺度不變性的問題。

(2)利用圖像的矩改進(jìn)FAST算法，確定特征點(diǎn)方向，特征點(diǎn)領(lǐng)域范圍的p+q階幾何矩見式(6)，其中f(i，j)為鄰域內(nèi)(i，j)點(diǎn)的像素值，質(zhì)心坐標(biāo)見式(7)，通過幾何中心與質(zhì)心連線的向量得到的特征點(diǎn)鄰域方向見式(8)。

(6)

(7)

θ=arctan(m01/m10)

(8)

(3)對(duì)圖像進(jìn)行高斯濾波，利用BRIEF描述子計(jì)算特征點(diǎn)的描述子。在特征點(diǎn)鄰域附近取若干點(diǎn)，比較每個(gè)點(diǎn)的灰度值，轉(zhuǎn)換成二進(jìn)制數(shù)為

(9)

式中，p(x)，p(y)為隨機(jī)特征點(diǎn)的灰度值。

利用二進(jìn)制編碼可得特征描述子為

(10)

上述特征描述子未解決旋轉(zhuǎn)不變性的問題，需通過特征點(diǎn)旋轉(zhuǎn)描述子解決，設(shè)特征點(diǎn)鄰域若干點(diǎn)對(duì)應(yīng)矩陣為S，利用特征點(diǎn)領(lǐng)域方向的旋轉(zhuǎn)矩陣Rθ進(jìn)行計(jì)算，有

(11)

具有旋轉(zhuǎn)不變特性的描述子變換為

gn(p，θ)=fn(p)|(xi，yi)∈Sθ

(12)

根據(jù)特征點(diǎn)間的漢明距離比較兩個(gè)特征點(diǎn)間的相似度，漢明距離是將一個(gè)二進(jìn)制串變換為與另外一個(gè)等長(zhǎng)的二進(jìn)制串所需替換的次數(shù)，漢明距離越小，特征點(diǎn)越相似。利用ORB進(jìn)行特征匹配的效果分別見圖3和圖4。

4.2 免交互的Onecut圖像分割算法

圖像分割是將圖像中的目標(biāo)與背景分離，目前常見的圖像分割方法有基于閾值的分割方法、基于邊緣的分割方法及基于區(qū)域的分割方法等。前兩者分割精度易受圖像噪聲的影響，后者的計(jì)算速度過慢。基于圖論的圖像分割方法分割精度高，Boykov Y.等[13]提出了基于Graphcut算法分割灰度圖像，Rother C.等[11]在此基礎(chǔ)上提出了基于Grabcut算法的彩色分割，Onecut分割算法是GrabCut算法的改進(jìn)。Onecut摒棄Grabcut算法的迭代過程，通過一次圖割獲得最優(yōu)分割結(jié)果，大幅加快了算法速度。

圖3 ORB特征匹配效果1

圖4 ORB特征匹配效果2

Onecut算法通過顏色直方圖對(duì)前景和背景建立能量模型，可表示為

(13)

對(duì)前兩項(xiàng)熵函數(shù)的最小化，求解能量函數(shù)的前景與背景重疊像素的最小值。

Onecut算法表觀重疊懲罰的公式為

(14)

在Onecut算法中需矩形包圍前景，矩形外為背景，通過一次圖割實(shí)現(xiàn)目標(biāo)分割，可表示為

(15)

傳統(tǒng)Onecut算法需手動(dòng)選擇矩形包圍范圍，實(shí)際機(jī)器人抓取應(yīng)用中此過程需自動(dòng)進(jìn)行。ORB識(shí)別圖像后，檢索物體框的四個(gè)頂點(diǎn)，得出其在x，y方向的最大最小坐標(biāo)分別為max_cols，min_cols，max_rows，min_rows；Onecut算法矩形框的左上角頂點(diǎn)坐標(biāo)為(min_cols，min_rows)，矩形長(zhǎng)為max_cols-min_cols，矩形寬為max_rows-min_rows。矩形框包圍及分割效果見圖5和圖6。

圖5 物體1初始化矩形框及分割效果

圖6 物體2初始化矩形框及分割效果

圖像分割后，背景中的劃痕和反光等已被消除，很好地分割出目標(biāo)物體。為進(jìn)一步獲取物體的位置信息，對(duì)外輪廓進(jìn)行Canny邊緣檢測(cè)，輪廓信息清晰完整，無噪點(diǎn)干擾，計(jì)算其中心點(diǎn)，效果見圖7和圖8。

圖7 物體1外輪廓及其中心點(diǎn)

圖8 物體2外輪廓及其中心點(diǎn)

5 實(shí)驗(yàn)結(jié)果及分析

如圖9和圖10所示，采用Opencv3.4.11視覺庫和Visual studio2019進(jìn)行開發(fā)設(shè)計(jì)，采用?？迪鄼C(jī)采集圖像。實(shí)驗(yàn)時(shí)，Delta機(jī)器人的三條主動(dòng)臂回到初始位置，將物體放在傳送帶上，運(yùn)動(dòng)到相機(jī)視場(chǎng)中時(shí)相機(jī)對(duì)其拍照并處理。繼續(xù)運(yùn)行傳送帶，當(dāng)物體到達(dá)Delta機(jī)器人工作空間后，機(jī)器人進(jìn)行抓取操作。

圖9 實(shí)驗(yàn)環(huán)境

圖10 絕對(duì)值編碼器

實(shí)驗(yàn)中，傳送帶速度為20mm/s，將物體1放置在傳送帶上進(jìn)行六組實(shí)驗(yàn)，分別從傳送帶的中間及兩邊進(jìn)入，記錄Delta機(jī)器人的抓取位置，并與理論位置對(duì)比，計(jì)算誤差，實(shí)驗(yàn)結(jié)果見表2。

表2 多位置抓取結(jié)果

由表2可知，理論位置與實(shí)際抓取位置的最大誤差均在2mm內(nèi)，與進(jìn)入傳送帶的位置無關(guān)，滿足物體的抓取要求，證明本文的目標(biāo)識(shí)別算法與標(biāo)定方法的正確性。

6 結(jié)語

因Delta并聯(lián)機(jī)器人運(yùn)行速度快、重復(fù)定位精度高，目前已成為研究的熱點(diǎn)方向。為提升工業(yè)生產(chǎn)的工作效率，將Delta并聯(lián)機(jī)器人系統(tǒng)與機(jī)器視覺相結(jié)合。

本文對(duì)機(jī)器視覺系統(tǒng)標(biāo)定方法進(jìn)行了研究，通過研究圖像處理方法提出了基于ORB特征匹配與Onecut算法相結(jié)合的目標(biāo)識(shí)別定位方法，經(jīng)實(shí)驗(yàn)驗(yàn)證了該算法的有效性。但在實(shí)驗(yàn)中發(fā)現(xiàn)，該算法的處理速度較慢，當(dāng)傳送帶速度升高時(shí)，抓取準(zhǔn)確性會(huì)降低，后續(xù)還需對(duì)算法改進(jìn)，使其滿足高速的要求。