国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

一種基于隨動視覺的排爆機(jī)器人自主抓取系統(tǒng)

2021-01-15 07:18:30李一染畢書博劉迎圓
計算機(jī)工程 2021年1期
關(guān)鍵詞:底座坐標(biāo)系物體

于 涵,李一染,畢書博,劉迎圓,安 康,2

(1.上海師范大學(xué) 信息與機(jī)電工程學(xué)院,上海 201418;2.同濟(jì)大學(xué) 電子與信息工程學(xué)院,上海 201804)

0 概述

目前,基于深度視覺的機(jī)器人在人類生活與生產(chǎn)活動中逐漸占據(jù)重要地位,并廣泛應(yīng)用于工農(nóng)業(yè)生產(chǎn)、電子電器與公共安全等領(lǐng)域[1-2]。近年來,隨著恐怖爆炸活動的日趨頻繁,機(jī)器人在公共安全領(lǐng)域方面的作用逐漸受到重視,基于深度相機(jī)的排爆機(jī)器人系統(tǒng)[3]可代替人類在危險環(huán)境中作業(yè),保證工作人員的安全。因為這類機(jī)器人需要在危險環(huán)境中進(jìn)行高準(zhǔn)確率的排爆抓取工作,所以對機(jī)器人的可操作性及靈活性提出較高要求,同時這也是人工智能[4]的一個重要研究方向。文獻(xiàn)[5]提出基于激光測距[6]的環(huán)境建模與爆炸物定位方法,利用智能搜索A*算法實現(xiàn)半自主抓取爆炸物。文獻(xiàn)[7]通過分析排爆機(jī)器人的作業(yè)工況及測量要求,利用雙目立體相機(jī)進(jìn)行靜態(tài)及動態(tài)場景的定位實驗,實現(xiàn)排爆機(jī)器人的現(xiàn)場定位與測距要求。文獻(xiàn)[8]開發(fā)出用于工業(yè)應(yīng)用的基于視覺物體分選機(jī)器人機(jī)械手。文獻(xiàn)[9]使用立體視覺攝像機(jī)獲得機(jī)器人周圍工作空間的RGB 及深度數(shù)據(jù),并將這些數(shù)據(jù)輸入至一個深度學(xué)習(xí)的快速R-CNN 中,以實現(xiàn)對50 個不同種類中當(dāng)前對象的識別與定位,該項工作證實了將現(xiàn)有深度學(xué)習(xí)算法與工業(yè)機(jī)器人相結(jié)合構(gòu)建智能系統(tǒng)的可能性。

目前,排爆機(jī)器人抓取系統(tǒng)主要分為普通排爆機(jī)器人抓取系統(tǒng)與基于視覺的排爆機(jī)器人抓取系統(tǒng)。普通排爆機(jī)器人抓取系統(tǒng)通常利用單片機(jī)控制機(jī)身,通過人眼判斷、人工示教等方式對爆炸目標(biāo)進(jìn)行抓取,存在誤差大、效率低與不確定性高等缺點。然而,基于視覺的排爆機(jī)器人抓取系統(tǒng)通常將相機(jī)固定于某個位置,將固定相機(jī)視覺[10-11]獲得的三維位置信息轉(zhuǎn)換至機(jī)械臂底座,雖然該操作可根據(jù)視覺信息使得機(jī)械手作出判斷,但是目標(biāo)物體或機(jī)械手在移動過程中,固定相機(jī)的視覺容易被機(jī)械臂擋住,且對于焦距、像素一定的相機(jī),遠(yuǎn)距離拍攝時清晰度不能得到保證,存在一定的局限性。

為解決傳統(tǒng)排爆機(jī)器人自主抓取系統(tǒng)存在固定視覺被擋與難以保證相機(jī)拍攝清晰度的問題,本文提出一種基于深度相機(jī)的排爆機(jī)器人自主抓取系統(tǒng)。通過將相機(jī)放置在排爆機(jī)器人的第四關(guān)節(jié)處,利用深度相機(jī)計算目標(biāo)物體的三維坐標(biāo),當(dāng)相機(jī)隨關(guān)節(jié)運動而運動時,通過正逆運動學(xué)關(guān)系計算相機(jī)相對于機(jī)械臂底座的位置坐標(biāo)與姿態(tài)。采用本文提出的動態(tài)坐標(biāo)轉(zhuǎn)換方法將三維坐標(biāo)實時轉(zhuǎn)換至機(jī)械臂底座,并與傳統(tǒng)手眼標(biāo)定視覺系統(tǒng)[12]進(jìn)行對比。

1 排爆機(jī)器人抓取系統(tǒng)

本文所提排爆機(jī)器人自主抓取系統(tǒng)如圖1 所示,該系統(tǒng)主要由RGB-D 相機(jī)、五自由度[13]排爆機(jī)器人、目標(biāo)物體以及PC 機(jī)組成。PC 機(jī)上的系統(tǒng)主控軟件通過控制相機(jī)系統(tǒng)來采集目標(biāo)物體的顏色及深度信息,并計算目標(biāo)物體的x、y、z坐標(biāo)。機(jī)械臂系統(tǒng)通過正運動學(xué)將當(dāng)前各關(guān)節(jié)角度及放置相機(jī)處的姿態(tài)反饋給系統(tǒng)主控軟件,運用坐標(biāo)系之間的復(fù)合變換算法將三維位置信息實時轉(zhuǎn)換至機(jī)器人全局坐標(biāo)系,并采用逆運動學(xué)實現(xiàn)指定位置的抓?。?4-15]。

圖1 排爆機(jī)器人自主抓取系統(tǒng)結(jié)構(gòu)Fig.1 Autonomous grasping system structure of EOD robot

1.1 機(jī)械臂系統(tǒng)

如圖2 所示,本文機(jī)械臂系統(tǒng)由五自由度機(jī)械臂和車體構(gòu)成,機(jī)械臂的5 個關(guān)節(jié)由PC 機(jī)通過藍(lán)牙進(jìn)行控制,車體由遙控器控制,通過末端執(zhí)行器手爪來抓取目標(biāo)物體。在初始狀態(tài)下,機(jī)械臂的各關(guān)節(jié)角度均為0°。

圖2 排爆機(jī)器人示意圖Fig.2 Schematic diagram of EOD robot

1.2 RGB-D 深度相機(jī)

RGB-D深度相機(jī)選用Intel?RealSenseTMD435[16-17],該相機(jī)具有小巧的外形與較高的圖像分辨率和采樣幀率,適用于近距離深度圖像的采集,D435 相機(jī)通過USB 接口與系統(tǒng)主控軟件相連接,其內(nèi)部結(jié)構(gòu)如圖3 所示。

圖3 Intel? RealSenseTM D435 內(nèi)部結(jié)構(gòu)Fig.3 Internal structure of Intel? RealSenseTM D435

在圖3 中,Vision Processor D4 是D400 系列視覺處理模塊,用于控制紅外相機(jī)Left Imager、Right Imager 和RGB 顏色傳感器Color Sensor,得到RGB和立體紅外圖像。IR Projector 是紅外激光發(fā)射器,用于計算非結(jié)構(gòu)化表面的深度。

2 自主抓取系統(tǒng)運動算法

2.1 目標(biāo)物體的三維坐標(biāo)獲取

利用深度相機(jī)得到RGB-D 深度圖像,圖像中每一點的二維像素坐標(biāo)(pixel[0],pixel[1]) 可輸出為該點的深度,即z坐標(biāo),從而獲得該點到相機(jī)中心點的距離S。在深度相機(jī)拍攝圖像中,每一點處的深度與距離如圖4 所示。其中,z1=z2,z3>z4>z5。

圖4 目標(biāo)物深度與距離的平面及立體示意圖Fig.4 Plane and 3D schematic diagram of target depth and distance

本文以相機(jī)中心點為原點,深度為z坐標(biāo),以相機(jī)拍攝方向為視角,橫坐標(biāo)為y軸,向右為正方向,縱坐標(biāo)為x軸,向下為正方向。為準(zhǔn)確得到目標(biāo)物體上某點的三維坐標(biāo)(x,y,z)可采取如下算法:該點的投影點到相機(jī)中心點的距離即為該點到該點所在平面的距離,根據(jù)像素點與坐標(biāo)系比例關(guān)系可得x、y坐標(biāo),進(jìn)而得到目標(biāo)點的三維坐標(biāo)(x,y,z)。

2.2 機(jī)械臂的正逆運動學(xué)

機(jī)械臂的正運動學(xué)[18]通過在已知當(dāng)前各連桿長度和各關(guān)節(jié)類型及參數(shù)情況下,確定末端執(zhí)行器在固定坐標(biāo)系中的位置和姿態(tài)。反之,給定機(jī)械臂末端執(zhí)行器的位置和姿態(tài)求解各關(guān)節(jié)的變量,則為機(jī)械臂的逆運動學(xué)。對于一個n軸的機(jī)械臂,第n個關(guān)節(jié)的角度為qn,第n-1 軸所在坐標(biāo)系到第n軸所在坐標(biāo)系的齊次變換矩陣為n-1Tn,則有運動方程:

2.3 運動坐標(biāo)系與全局坐標(biāo)系的映射關(guān)系

當(dāng)?shù)玫侥繕?biāo)物體在運動坐標(biāo)系中的位置信息后,為實現(xiàn)準(zhǔn)確抓取,需將運動坐標(biāo)系轉(zhuǎn)換到基于機(jī)械臂底座的全局坐標(biāo)系。本文用x、y和z軸表示固定參考坐標(biāo)系(全局坐標(biāo)系)Fx,y,z,用n、o和a軸表示相對于參考坐標(biāo)系的另一個運動坐標(biāo)系Fn,o,a[19]。假設(shè)將運動坐標(biāo)系放置于參考坐標(biāo)系中,則運動坐標(biāo)系的姿態(tài)可用相對參考坐標(biāo)系的3 個方向余弦來表示,即為給定運動坐標(biāo)系原點在參考坐標(biāo)系中的具體位置則運動坐標(biāo)系在參考坐標(biāo)系中的位置可表示為

當(dāng)?shù)玫竭\動坐標(biāo)系在參考坐標(biāo)系中的位置和姿態(tài)后,再研究運動中的運動坐標(biāo)系和參考坐標(biāo)系之間的關(guān)系。

如圖5 所示,假設(shè)初始狀態(tài)下運動坐標(biāo)系與參考坐標(biāo)系完全重合,當(dāng)點m位于運動坐標(biāo)系中時,在運動坐標(biāo)系中的坐標(biāo)為(mn,mo,ma),參考坐標(biāo)系的坐標(biāo)為(mx,my,mz),則此時mx=mn、my=mo、mz=ma。運動坐標(biāo)系繞參考坐標(biāo)系的x軸旋轉(zhuǎn)θ角度,由旋轉(zhuǎn)示意圖可得:

圖5 坐標(biāo)系旋轉(zhuǎn)示意圖Fig.5 Schematic diagram of coordinate system rotation

同理,運動坐標(biāo)系繞參考坐標(biāo)系的y軸和z軸旋轉(zhuǎn)的矩陣形式為:

坐標(biāo)系間的復(fù)合變換是由當(dāng)前運動坐標(biāo)系或固定參考坐標(biāo)系的一系列繞軸旋轉(zhuǎn)變換和沿軸平移變換所組成的,任何變換都可以分解為按一定順序的一組旋轉(zhuǎn)變換和平移變換[20]。假設(shè)點mn,o.a固定在運動坐標(biāo)系上,開始時運動坐標(biāo)系的原點與參考坐標(biāo)系的原點重合,運動坐標(biāo)系中的點m會隨著運動坐標(biāo)系相對于參考坐標(biāo)系旋轉(zhuǎn)或者平移而相應(yīng)改變。其中,存在有轉(zhuǎn)換關(guān)系T,滿足假設(shè)旋轉(zhuǎn)坐標(biāo)系按一定順序先繞x軸旋轉(zhuǎn)α度,再接著分別沿x、y、z軸平移[s1,s2,s3],然后繞y軸旋轉(zhuǎn)β度,最后繞o軸旋轉(zhuǎn)θ度,則變換關(guān)系為:

坐標(biāo)系在空間中的兩種運動形式旋轉(zhuǎn)(Rev)和平移(Mov)運算方法由上述推導(dǎo)過程已知。

假設(shè)機(jī)械臂手爪要到達(dá)M點抓取物體,則必須向M處移動。機(jī)械臂底座相對于世界坐標(biāo)系U的位置用坐標(biāo)系R表示,機(jī)械臂某個關(guān)節(jié)A處用坐標(biāo)系A(chǔ)表示,機(jī)械臂相機(jī)所在處用坐標(biāo)系H表示,機(jī)械手用坐標(biāo)系E表示,則坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可用式(7)表示:

因為相機(jī)放置在機(jī)械臂的第四關(guān)節(jié)上,相對于手爪的位置也是確定的,所以變換HTE是已知的,則有變換式:

本文采用以下算法計算矩陣的逆:

2.4 運動坐標(biāo)系與全局坐標(biāo)系的變換

基于以上討論,本文所提排爆機(jī)器人自主抓取系統(tǒng)可實現(xiàn)相機(jī)坐標(biāo)系H、機(jī)器人全局坐標(biāo)系(機(jī)械臂底座坐標(biāo)系)R和末端執(zhí)行器手爪的工具坐標(biāo)系E三者的動態(tài)映射關(guān)系,即RTE=RTH HTE,具體如圖6 所示。

圖6 坐標(biāo)系轉(zhuǎn)換流程Fig.6 Procedure of coordinate system conversion

假設(shè)在初始狀態(tài)時,相機(jī)坐標(biāo)系與機(jī)械臂底座坐標(biāo)系的各軸方向一致。其中,運動坐標(biāo)系為相機(jī)坐標(biāo)系n、o、a,參考坐標(biāo)系為機(jī)械臂底座坐標(biāo)系x、y、z。根據(jù)機(jī)械臂當(dāng)前角度,通過正運動學(xué)可求得相機(jī)中心點相對于底座的坐標(biāo)px、py、pz和姿態(tài)qy、qz,由于第五關(guān)節(jié)角度的變動不影響qx,因此qx恒等于0。

假設(shè)目標(biāo)物體上的某一點在相機(jī)坐標(biāo)系n、o、a中的坐標(biāo)為Pn,o,a,在機(jī)械臂底座坐標(biāo)系x、y、z中的坐標(biāo)為Px,y,z,則從與機(jī)械臂底座坐標(biāo)系x、y、z重合的位置開始,相機(jī)坐標(biāo)系n、o、a經(jīng)過一系列繞軸旋轉(zhuǎn)和沿軸平移變換可得到當(dāng)前相機(jī)坐標(biāo)系n、o、a,且變換過程如下:

步驟1n、o、a先繞z軸旋轉(zhuǎn)qy,可得Rev(z,qy)。

步驟2n、o、a再繞o軸旋轉(zhuǎn)qz,可得Rev(o,qz)。

步驟3Rev(o,qz) 再平移到(px,py,pz)點,可得則得到轉(zhuǎn)換關(guān)系為T=Rev(z,qy)×Rev(o,qz)×Mov(qx,qy,qz),且該物體在機(jī)械臂底座坐標(biāo)系x、y、z的坐標(biāo)Px,y,z為Px,y,z=T×Pn,o,a。

在得到底座與相機(jī)的轉(zhuǎn)換關(guān)系后,分析機(jī)械臂抓取物體的運動過程。已知相機(jī)所在關(guān)節(jié)用坐標(biāo)系A(chǔ)描述,目標(biāo)物體用坐標(biāo)系o、b、j描述,則有:RTA×ATE×ETo,b,j=RTA×ATH×HTo,b,j,化簡得到ETo,b,j=由于MTE,MTH已知,HTo,b,j為目標(biāo)物體在相機(jī)中的坐標(biāo)且已求得,因此可得手爪坐標(biāo)系和物體坐標(biāo)系的關(guān)系ETo,b,j。設(shè)置運動軌跡從E到o,b,j沿直線運動,手爪中心點可到達(dá)目標(biāo)物體處,此時配合手爪由張開狀態(tài)到閉合狀態(tài)并抓取目標(biāo)物體。

3 實驗結(jié)果及分析

3.1 目標(biāo)物體定位實驗

本文目標(biāo)物體選擇不透明的柱狀水杯,將水杯放置在實驗場景中,用Realsense D435 相機(jī)獲取目標(biāo)物體的深度圖,分別選取分辨率1 080×720 和640×480 進(jìn)行實驗。通過圖7 對比看出,在機(jī)械臂可抓取范圍內(nèi)抓取時,選取分辨率640×480 的圖像不容易失真,且定位更準(zhǔn)確。

圖7 不同分辨率的配置效果對比Fig.7 Comparison of configuration effects of different resolutions

本文調(diào)用深度相機(jī)采集顏色圖,將深度圖與顏色圖對齊,選取圖中柱狀水杯上的某一點,得到該點在相機(jī)坐標(biāo)系中的三維坐標(biāo)(-18,37,58),與實際坐標(biāo)相比誤差小于1 cm,這說明目標(biāo)物體的定位更加準(zhǔn)確。

3.2 坐標(biāo)轉(zhuǎn)換實驗

在機(jī)械臂各關(guān)節(jié)固定角度下,相機(jī)在機(jī)械臂底座坐標(biāo)系中的坐標(biāo)和姿態(tài)如表1 所示。其中,(px,py,pz)為相機(jī)在機(jī)械臂底座坐標(biāo)系中的三維坐標(biāo),q0、q1、q2、q3、q4為機(jī)械臂各關(guān)節(jié)當(dāng)前角度,qx為第五關(guān)節(jié)旋轉(zhuǎn)角度,因為相機(jī)放置于第四關(guān)節(jié),所以第五關(guān)節(jié)的旋轉(zhuǎn)與相機(jī)姿態(tài)無關(guān),即qx恒為0。qy為第一關(guān)節(jié)旋轉(zhuǎn)角度,qz為第二至第四關(guān)節(jié)旋轉(zhuǎn)角度之和,即qy=q0,qz=q1+q2+q3。

表1 各關(guān)節(jié)固定角度下的相機(jī)坐標(biāo)與姿態(tài)Table 1 Coordinates and posture of camera with fixed angles of each joint

在得到水杯在相機(jī)坐標(biāo)系中的坐標(biāo)和相機(jī)在機(jī)械臂底座坐標(biāo)系中的坐標(biāo)與姿態(tài)后,利用本文提出的坐標(biāo)系轉(zhuǎn)換方法進(jìn)行實驗。實驗依次記錄10 個不同位置的數(shù)據(jù)并進(jìn)行誤差分析,結(jié)果如表2所示。物體坐標(biāo)、相機(jī)坐標(biāo)和轉(zhuǎn)換后坐標(biāo)的空間關(guān)系如圖8 所示。

表2 坐標(biāo)轉(zhuǎn)換實驗數(shù)據(jù)Table 2 Data of coordinate conversion experiment

圖8 物體坐標(biāo)、相機(jī)坐標(biāo)與轉(zhuǎn)換后坐標(biāo)示意圖Fig.8 Schematic diagram of object coordinates,camera coordinates and converted coordinates

實驗所得轉(zhuǎn)換到底座的坐標(biāo)與實際坐標(biāo)的關(guān)系如圖9 所示。在機(jī)械臂可抓取的范圍內(nèi),三維方向誤差絕對值的和與目標(biāo)物體相對底座的距離呈正相關(guān),距離越遠(yuǎn)說明誤差越大,但誤差能控制在2 cm以內(nèi)。誤差的主要來源有以下3 個方面:相機(jī)放置位置的誤差;機(jī)械臂自身運動學(xué)和機(jī)械尺寸的誤差;相機(jī)本身的測量誤差。

圖9 坐標(biāo)及誤差示意圖Fig.9 Schematic diagram of coordinates and errors

3.3 自主抓取實驗

在完成目標(biāo)物體的定位和坐標(biāo)系的轉(zhuǎn)換后,將手爪中心點設(shè)置為抓取點,并設(shè)定手爪和水杯間的運動軌跡,在不同距離下進(jìn)行多次抓取實驗,實驗結(jié)果如表3 所示。

表3 隨動視覺抓取實驗結(jié)果Table 3 Results of grasping experiment of follow-up vision

由表3 可知,在誤差2 cm 范圍內(nèi),手爪中心點到達(dá)抓取點的成功率幾乎為100%,而抓取成功率受機(jī)械尺寸和結(jié)構(gòu)的影響,當(dāng)水杯離底座較近或較遠(yuǎn)時抓取效果一般,距離在100 cm~150 cm 時可以達(dá)到最大抓取成功率85%,驗證了本文所提系統(tǒng)的可行性和可靠性。

為進(jìn)一步驗證本文系統(tǒng)的有效性,在相同的條件下,采用傳統(tǒng)固定視覺方法進(jìn)行抓取實驗,該方法將Realsense D435 相機(jī)固定,使得相機(jī)坐標(biāo)系與機(jī)械臂底座坐標(biāo)系的相對關(guān)系保持不變,結(jié)果如表4 所示。因為固定視覺的方法可能使相機(jī)被機(jī)械臂遮擋,即相機(jī)、機(jī)械臂某部位和水杯三點一線,所以對抓取結(jié)果的影響較大。

表4 固定視覺抓取實驗結(jié)果Table 4 Results of grasping experiment of fixed vision

實驗對隨動視覺方法與傳統(tǒng)的固定視覺方法進(jìn)行比較,結(jié)果如圖10 所示。從圖10 可以看出,隨動視覺方法的手爪到達(dá)抓取點成功率和抓取成功率都有所提高,且在距離130 cm 處達(dá)到最大抓取成功率85%。

圖10 隨動視覺方法與傳統(tǒng)固定視覺方法對比Fig.10 Comparison between the follow-up vision method and the traditional fixed vision method

4 結(jié)束語

本文提出一種基于隨動視覺的排爆機(jī)器人自主抓取系統(tǒng),采用正逆運動學(xué)關(guān)系計算深度相機(jī)相對于機(jī)械臂底座的位置坐標(biāo)和姿態(tài),運用動態(tài)坐標(biāo)轉(zhuǎn)換方法將深度相機(jī)獲取的三維坐標(biāo)實時轉(zhuǎn)換至機(jī)械臂底座坐標(biāo)系,并對目標(biāo)物體進(jìn)行抓取實驗。實驗結(jié)果表明,本文所提坐標(biāo)轉(zhuǎn)換方法的抓取成功率較高,且在誤差2 cm 內(nèi),手爪中心點到達(dá)抓取點的成功率接近100%,滿足排爆機(jī)器人抓取爆炸物的要求。為進(jìn)一步驗證本文系統(tǒng)的有效性,在相同條件下,采用傳統(tǒng)的固定視覺方法進(jìn)行抓取實驗,在誤差可接受范圍內(nèi),本文系統(tǒng)與固定視覺的機(jī)械臂抓取系統(tǒng)相比,不僅解決了固定相機(jī)視覺被機(jī)械臂遮擋以及拍攝清晰度不夠的問題,而且可有效提高抓取成功率。后續(xù)將采用輪廓提取方法對目標(biāo)物體抓取方式進(jìn)行改進(jìn),以進(jìn)一步提高抓取成功率。

猜你喜歡
底座坐標(biāo)系物體
大型集裝箱船艙底座結(jié)構(gòu)加強(qiáng)與改進(jìn)
深刻理解物體的平衡
兵馬俑底座學(xué)問大(第六站)
機(jī)械字碼打印底座結(jié)構(gòu)優(yōu)化設(shè)計及應(yīng)用
我們是怎樣看到物體的
解密坐標(biāo)系中的平移變換
坐標(biāo)系背后的故事
基于重心坐標(biāo)系的平面幾何證明的探討
為什么同一物體在世界各地重量不一樣?
電飯煲用智能底座
滦南县| 武功县| 抚宁县| 甘泉县| 岳阳市| 开鲁县| 丹凤县| 长兴县| 华池县| 和林格尔县| 甘谷县| 蓝山县| 安塞县| 阿图什市| 余干县| 渑池县| 湛江市| 百色市| 大英县| 华容县| 从化市| 清丰县| 佳木斯市| 莱西市| 扎赉特旗| 中超| 施秉县| 荥阳市| 敦化市| 华阴市| 平度市| 宜良县| 闽侯县| 息烽县| 天气| 绥中县| 安陆市| 六盘水市| 遵义市| 三门峡市| 湘潭市|