弓 靖，栗俊艷，劉鵬飛，王興華

（航天科技集團(tuán)九院16所機(jī)器人事業(yè)部，西安710100）

基于視覺六自由度分揀機(jī)器人視覺圖像坐標(biāo)變換的研究

弓 靖，栗俊艷，劉鵬飛，王興華

（航天科技集團(tuán)九院16所機(jī)器人事業(yè)部，西安710100）

針對機(jī)器人定位分揀問題，研發(fā)了一種基于視覺的六自由度分揀機(jī)器人系統(tǒng)，深入研究了視覺圖像坐標(biāo)引入到機(jī)器人控制系統(tǒng)后的坐標(biāo)變換，并對機(jī)器人的分揀動作進(jìn)行規(guī)劃，實際運行結(jié)果表明，該系統(tǒng)可以實現(xiàn)機(jī)器人的定位分揀問題，并且可靠性高，在分揀搬運領(lǐng)域具有較高的應(yīng)用價值。

視覺；機(jī)器人；分揀；坐標(biāo)變換

0　引言

工業(yè)機(jī)器人已廣泛應(yīng)用于汽車及汽車零部件制造業(yè)、機(jī)械加工行業(yè)、電子電氣行業(yè)等領(lǐng)域中［1］?，F(xiàn)在工業(yè)中應(yīng)用的機(jī)器人的工作方式大都為示教再現(xiàn)，即通過示教編程存儲起來的工作程序可重復(fù)進(jìn)行預(yù)期工作［2］，這樣機(jī)器人到達(dá)目標(biāo)點的位姿是固定的，每次的動作都是重復(fù)進(jìn)行。但是這種工作方式無法適應(yīng)物料擺放位置未知的情況，使得機(jī)器人的使用受到了限制。由于機(jī)器視覺系統(tǒng)可以快速獲取大量信息，而且易于自動處理，也易于同設(shè)計信息以及加工控制信息集成；因此，在現(xiàn)代自動化生產(chǎn)過程中，人們將機(jī)器視覺系統(tǒng)廣泛地用于工況監(jiān)視、成品檢驗和質(zhì)量控制等領(lǐng)域。國外在基于機(jī)器視覺的工業(yè)機(jī)器人的研究上已經(jīng)做了很多工作，并且已經(jīng)有很多突破性成果，并在實際生產(chǎn)中得到了很好的應(yīng)用［3］。因此，引入視覺系統(tǒng)對工件進(jìn)行位置和類型的判斷是很有必要的。

1　系統(tǒng)結(jié)構(gòu)設(shè)計

本文設(shè)計一種基于視覺的六自由度關(guān)節(jié)機(jī)器人黑白棋子分揀系統(tǒng)，利用2kg六自由度工業(yè)機(jī)器人定位分揀20個黑白棋子，并按照要求將黑白棋子分別分揀到不同的容器中。該系統(tǒng)利用智能相機(jī)采集圖像，并利用圖像處理技術(shù)和模式識別技術(shù)準(zhǔn)確快速地提取棋子的視覺坐標(biāo)，根據(jù)坐標(biāo)轉(zhuǎn)換技術(shù)將棋子的視覺坐標(biāo)轉(zhuǎn)換到機(jī)器人坐標(biāo)，靈活運用六軸的自由度吸取平面上隨機(jī)擺放的棋子并能夠按照顏色區(qū)分?jǐn)[放在指定位置。

圖1　基于視覺的六自由度關(guān)節(jié)機(jī)器人黑白棋子分揀系統(tǒng)組成圖Fig.1 System frame of design of 6-DOF joint robot sorting system of black and white chesses based on vision

其中，圖像采集設(shè)備采用維視公司生產(chǎn)的工業(yè)相機(jī)，型號為MV-VEM120SM；機(jī)器人主控系統(tǒng)以工控板為核心，以工控板和轉(zhuǎn)接板組成的CPU模塊將標(biāo)準(zhǔn)計算機(jī)擴(kuò)展總線擴(kuò)展于無源底板上，各模塊連于無源底板，從而通過標(biāo)準(zhǔn)計算機(jī)擴(kuò)展總線與工控主板進(jìn)行數(shù)據(jù)交換實現(xiàn)相應(yīng)模塊的功能；工業(yè)相機(jī)與工控機(jī)采用以太網(wǎng)通信，顯示器采用普通顯示器。

2　軟件系統(tǒng)構(gòu)成及主要功能模塊

軟件系統(tǒng)的功能模塊主要包括圖像處理模塊、坐標(biāo)轉(zhuǎn)換模塊和吸取位姿規(guī)劃模塊。

2.1圖像處理

圖像采集與處理是整個系統(tǒng)的重要模塊，圖像坐標(biāo)的準(zhǔn)確度直接影響著整個系統(tǒng)的精度。目前，國內(nèi)外對圖像識別中的圖像分割、特征信號提取、邊緣檢測、紋理識別等的算法提出了一些新方法，取得了一定研究成果［4-6］。

在該實驗中圖像處理主要包括圖像分割、圖像匹配及棋子顏色判斷和棋子圓心定位這三個方面。圖像分割是計算機(jī)視覺領(lǐng)域的一個老話題，近年來涌現(xiàn)了不少的分割算法，但該問題至今仍然是瓶頸問題，現(xiàn)有的算法都不能徹底地解決圖像和目標(biāo)的分割問題，需要根據(jù)實際具體圖像進(jìn)行區(qū)分對待。圖像分割的目的是分割出圖像中感興趣的部分，也就是黑白棋子。在眾多的圖像分割方法當(dāng)中，系統(tǒng)中采用的金字塔圖像分割方法是性能評價最好的方法之一，能夠很好地分割出棋子圖像部分。

圖像匹配功能是在分割的圖像的基礎(chǔ)上提取棋子的輪廓。由于攝像機(jī)與棋盤的距離固定，為了縮小搜索區(qū)域，提高運算效率，系統(tǒng)手動劃分搜索區(qū)域，使該區(qū)域能夠包含所有棋子。在該區(qū)域內(nèi)，利用最小外接圓法搜索出所有棋子的輪廓，然后在最小外接正方形區(qū)域逐點掃描，并求其平均灰度值，如果是255則判斷為白棋子，否則為黑棋子。提取最小外接正方形的最小內(nèi)接圓，其圓心即為棋子圓心的坐標(biāo)。

2.2坐標(biāo)轉(zhuǎn)換

該部分功能為將棋子的圖像坐標(biāo)轉(zhuǎn)換至機(jī)器人坐標(biāo)系下。本文設(shè)計一種先將圖像坐標(biāo)轉(zhuǎn)換至用戶坐標(biāo)，再將用戶坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)的方法來實現(xiàn)該目的。由于該實驗涉及平面視覺，視覺圖像平面與工作臺平面重合，視覺坐標(biāo)系和圖像坐標(biāo)系分別構(gòu)成了二維空間的一組基，因此視覺圖像坐標(biāo)和用戶坐標(biāo)的轉(zhuǎn)換滿足二維坐標(biāo)轉(zhuǎn)換的關(guān)系，即基變換與坐標(biāo)變換的關(guān)系。

NE向斷裂組：這組斷裂在區(qū)內(nèi)最為發(fā)育，帶內(nèi)主要發(fā)育角礫巖或糜棱巖，該組斷裂被后期斷裂帶切穿，構(gòu)成網(wǎng)格狀，帶內(nèi)具有硅化、碳酸鹽化及弱鉀化，平面上呈舒緩波狀，產(chǎn)狀傾向60°～90°，傾角30°～60°。

在工作臺平面確定用戶坐標(biāo)系的原點、X方向和Y方向上3個點，轉(zhuǎn)換模型原理如圖2所示。

圖2　二維坐標(biāo)轉(zhuǎn)換關(guān)系原理圖Fig.2 Planar coordinate transforming principle

其中，

（x0，y0）為用戶坐標(biāo)系原點，（x1，y1）為用戶坐標(biāo)系X軸上點，（x2，y2）為用戶坐標(biāo)系Y軸上點，令考慮到圖像坐標(biāo)和用戶坐標(biāo)的尺度不同，需要處理圖像坐標(biāo)為實際物理坐標(biāo)，即給圖像坐標(biāo)乘以一個系數(shù)k，表示單位像素的實際物理尺寸，由式（1）可得:

該坐標(biāo)即為機(jī)器人工具末端吸取棋子要達(dá)到的用戶坐標(biāo)。

2.3機(jī)器人吸取工件的位姿規(guī)劃

本文設(shè)計一種姿態(tài)和高度值固定的吸取動作。在規(guī)劃吸取工件位姿時，在機(jī)器人控制系統(tǒng)中記錄全局變量點P，吸取動作的姿態(tài)和高度值與全局變量點P保持一致，將X方向值和Y方向值修改為棋子圓心在機(jī)器人用戶坐標(biāo)系下的坐標(biāo)。機(jī)器人工具末端運動到該點時，在機(jī)器人主控程序中進(jìn)行坐標(biāo)轉(zhuǎn)換，獲取坐標(biāo)。

機(jī)器人的基坐標(biāo)系 ｛R｝、法蘭坐標(biāo)系 ｛H｝、工具坐標(biāo)系 ｛T｝和用戶坐標(biāo)系 ｛P｝之間的位姿變換關(guān)系類似于空間尺寸鏈，各坐標(biāo)系如圖3所示。

圖3　機(jī)器人坐標(biāo)轉(zhuǎn)換關(guān)系原理圖Fig.3 Robot coordinate transforming principle

其模型轉(zhuǎn)換關(guān)系如式（3）、式（4）所示:

3　數(shù)值驗證

如圖2所示，在工作臺上建立一個用戶坐標(biāo)系，在坐標(biāo)原點、X軸、Y軸上分別放1個棋子，啟動相機(jī)拍照，獲取3個棋子坐標(biāo)分別為（325，626），（678，620），（317，354）進(jìn)行轉(zhuǎn)換關(guān)系計算，轉(zhuǎn)換關(guān)系如下:

單位像素的實際物理尺寸為0.14124294，在視野范圍內(nèi)放入5個棋子，利用式（2）的結(jié)果編程計算，獲得用戶坐標(biāo)以及通過機(jī)器人示教到這些點的坐標(biāo)，如表1所示。

表1　實驗數(shù)據(jù)對比Table 1 Compare data of experiment

可以看出算法是正確的，而且誤差小于±1mm。

4　結(jié)論

本文在機(jī)器人控制程序基礎(chǔ)上結(jié)合智能相機(jī)的圖像處理技術(shù)進(jìn)行二次開發(fā)，成功地實現(xiàn)了黑白棋子的定位分揀任務(wù)，該試驗可使機(jī)器人很好地適應(yīng)環(huán)境，能夠自主識別工作目標(biāo)，進(jìn)行任務(wù)操作，從而擴(kuò)大了機(jī)器人在物流、裝備生產(chǎn)線等行業(yè)的應(yīng)用，實現(xiàn)各類物件的定位分揀、異物剔除、物品分級，在實現(xiàn)機(jī)器人的柔性化和智能化的前提下，提高機(jī)器人的生產(chǎn)效率和可靠性。

［1］ 宋登明.工業(yè)機(jī)器人在制造業(yè)中的運用［C］.中國汽車工業(yè)與裝備制造業(yè)發(fā)展論壇，2008. SONG Deng-ming.The use of industrial robots in manufacturing［C］.China Automobile Industry and Equipment Manufacturing Industry Development Forum，2008.

［2］ 熊友倫.工業(yè)機(jī)器人技術(shù)基礎(chǔ)［M］.武漢：華中科技大學(xué)出版社，2008. XIONG You-lun.Technology based on industrial robot ［M］.Wuhan： HuazhongUniversityofScience& Technology Press，2008.

［3］ 董文輝.基于機(jī)器視覺的工業(yè)機(jī)器人抓取技術(shù)的研究［D］.華中科技大學(xué)，2011. DONG Wen-hui.Research on industrial robots scraping technologies based on machine vision［D］.Huazhong University of Science&Technology，2011.

［4］ 李士林，尹成群，尚秋峰，等.基于圖像識別理論的混沌特性判別方法［J］.中國電機(jī)工程學(xué)報，2003，23 （10）：47-50. LI Shi-lin，YIN Cheng-qun，SHANG Qiu-feng，et al.

［5］ A method of identifying chaotic nature based on image recognition［J］.Proceedings of the CSEE，2003，23（10）：47-50.

［5］ Anneh H，Schistad Solberge.Contextual data fusion applied to forest map revision［J］.IEEE Transactions on Geosciences and Remote Sensing，1999，37（3）：1234-1343.

［6］ Kim J Y，Kim L S.An advanced contrast-enhancement using partially overlapped sub-block histogram equalization ［J］.IEEE Transactions on Circuits and Video Technology，2001，11（4）：475-484.

Research on Coordinate Transformation of Vision Image Based on 6-DOF Vision Sorting Robot

GONG Jing，LI Jun-yan，LIU Peng-fei，WANG Xing-hua
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

According to the robot localization sorting problem，this paper developed a 6-DOF robot sorting system based on vision，and further study the coordinate transformation when visual image coordinates is introduced in the robot control system，and plan the sorting action of the robot.The actual running result shows that the system with high reliability can realize the robot localization sorting problem，and has high application value in the field of sorting and handling.

vision；robot；sorting；coordinate transform

TP391.41

A

1674-5558（2016）01-01118

10.3969/j.issn.1674-5558.2016.03.002

2015-05-05

弓靖，女，碩士，工程師，研究方向為機(jī)器人運動學(xué)算法。