廖秉旺 林文煜

摘? 要：為了實(shí)現(xiàn)多種工件的準(zhǔn)確抓取和分類，設(shè)計(jì)了一款基于Halcon的工件視覺(jué)分揀系統(tǒng)。該系統(tǒng)利用標(biāo)定算法對(duì)標(biāo)定板進(jìn)行標(biāo)定，得到相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系間的仿射變換矩陣，利用基于形狀的模板匹配算法對(duì)工件進(jìn)行匹配，結(jié)合仿射變換矩陣得到工件的位置坐標(biāo)。最后將工件坐標(biāo)與種類信息發(fā)送到機(jī)械臂控制器，引導(dǎo)機(jī)械臂對(duì)工件進(jìn)行抓取與放置。經(jīng)過(guò)多次分揀實(shí)驗(yàn)，結(jié)果表明該分揀系統(tǒng)可實(shí)現(xiàn)對(duì)工件的準(zhǔn)確分揀。

關(guān)鍵詞：Halcon;視覺(jué)分揀;標(biāo)定;模板匹配

中圖分類號(hào)：TP242.62? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）01-0156-03

The Visual Sorting System of Workpiece Based on Halcon

LIAO Bingwang1，LIN Wenyu2

（1.School of Information Engineering，Guangdong University of Technology，Guangzhou? 510006，China;

2.Guangzhou Yourai Intelligent Technology Co.，Ltd.，Guangzhou? 510006，China）

Abstract：In order to grasp and classify many kinds of workpieces accurately，a visual sorting system based on Halcon is designed. The system uses calibration algorithm to calibrate the calibration target，which obtains the affine transformation matrix between the camera coordinate system and the manipulator coordinate system. Then，the template matching algorithm based on shape is adopted to match the workpiece，and the position coordinates of the workpiece are obtained by affine transformation matrix. Finally，the workpiece coordinate and type information are sent to the manipulator controller to guide the manipulator to grasp and place the workpiece. After many sorting experiments，the results show that the sorting system can realize the accurate sorting of the workpiece.

Keywords：Halcon;visual sorting;calibration;template matching

0? 引? 言

隨著智能制造工業(yè)4.0概念的提出，工件自動(dòng)化分揀作為智能制造中的重要一環(huán)，其相關(guān)技術(shù)也在快速發(fā)展。傳統(tǒng)工業(yè)分揀機(jī)器人的分揀作業(yè)一般都是通過(guò)示教或離線編程實(shí)現(xiàn)[1]，機(jī)器人的抓取方向和運(yùn)動(dòng)路徑都是預(yù)先設(shè)定好的，待分揀工件需擺放在指定位置，否則機(jī)器人無(wú)法準(zhǔn)確抓取工件。將機(jī)器視覺(jué)技術(shù)應(yīng)用于工件分揀系統(tǒng)，能夠提升工件分揀系統(tǒng)的柔性和效率[2]。Halcon是德國(guó)MVtec公司開(kāi)發(fā)的一款機(jī)器視覺(jué)軟件[3]，由一千多個(gè)獨(dú)立功能的函數(shù)和底層數(shù)據(jù)管理核心組成，內(nèi)置的函數(shù)算子和樣例涵蓋了濾波、形態(tài)學(xué)處理、分類等功能，可用于快速開(kāi)發(fā)工業(yè)視覺(jué)項(xiàng)目。本文基于Halcon和Visual Studio 2015進(jìn)行編程開(kāi)發(fā)，設(shè)計(jì)并實(shí)現(xiàn)了一套工件視覺(jué)分揀系統(tǒng)，可以對(duì)移動(dòng)傳送帶上的各種工件進(jìn)行有效的識(shí)別定位與分揀。

1? 工件分揀系統(tǒng)組成

本系統(tǒng)的硬件部分由計(jì)算機(jī)、圖像采集單元、物料傳送單元和機(jī)械臂分揀單元組成。計(jì)算機(jī)用來(lái)連接和管理其他單元;圖像采集單元用來(lái)采集標(biāo)定板圖片和工件圖片;物料傳送單元用來(lái)傳輸不同種類的工件，使得工件流經(jīng)相機(jī)的拍照區(qū)域和機(jī)械臂抓取區(qū)域;機(jī)械臂分揀單元接收工件的平面坐標(biāo)信息，抓取待分揀工件并將其放置到指定作業(yè)區(qū)域。

2? 分揀系統(tǒng)工作流程

整個(gè)工件視覺(jué)分揀系統(tǒng)的工作流程分為4個(gè)模塊，分別是標(biāo)定模塊、工件特征模板生成模塊、視覺(jué)定位模塊和機(jī)械臂分揀模塊。標(biāo)定模塊的作用是獲取圖像坐標(biāo)系與機(jī)械臂坐標(biāo)系間的仿射變換矩陣;工件特征模板生成模塊的作用是提取不同種類工件的形狀特征，建立一個(gè)工件特征庫(kù);視覺(jué)定位模塊的作用是建立計(jì)算機(jī)與機(jī)械臂控制器之間的通信連接，調(diào)用標(biāo)定模塊與工件特征模板生成模塊，把得到的工件坐標(biāo)信息發(fā)送給機(jī)械臂分揀模塊進(jìn)行分揀作業(yè)。

2.1? 標(biāo)定模塊

機(jī)器視覺(jué)系統(tǒng)的標(biāo)定流程能夠建立起圖像與對(duì)應(yīng)三維世界的轉(zhuǎn)換關(guān)系，標(biāo)定模塊包含相機(jī)標(biāo)定與手眼標(biāo)定兩部分[4]。本系統(tǒng)使用的工業(yè)相機(jī)固定在移動(dòng)傳送帶上方的工作架上，與機(jī)械臂是分開(kāi)的，構(gòu)成Eye-to-hand結(jié)構(gòu)，具有較好的運(yùn)行穩(wěn)定性和較大的工作視野范圍。

2.1.1? 相機(jī)標(biāo)定

相機(jī)鏡頭由于制造裝配工藝上的缺陷存在著畸變問(wèn)題，鏡頭畸變主要分為枕形畸變和桶形畸變。利用相機(jī)標(biāo)定算法能夠獲得所使用工業(yè)相機(jī)的參數(shù)[5]，相機(jī)的參數(shù)包括畸變系數(shù)k，通過(guò)畸變系數(shù)可以矯正一定程度的鏡頭畸變。

本系統(tǒng)的標(biāo)定模塊采用型號(hào)為HC150_7.5的7×7圓形陣列標(biāo)定板，標(biāo)定模塊實(shí)現(xiàn)的原理是根據(jù)相機(jī)初始參數(shù)、標(biāo)定板描述文件和標(biāo)定板的圖片來(lái)尋找標(biāo)定板圖片上的標(biāo)志點(diǎn)，進(jìn)而完成標(biāo)定，標(biāo)定結(jié)果如表1所示。相機(jī)標(biāo)定的具體步驟為：（1）調(diào)用Halcon的create_calib_data創(chuàng)建一個(gè)相機(jī)標(biāo)定模型，為該模型設(shè)置相機(jī)的初始參數(shù)和所使用標(biāo)定板的描述文件。（2）采集和加載15張具有不同位姿的標(biāo)定板圖片，標(biāo)定板圖片分別位于相機(jī)視野的不同位置，而且圖片中的標(biāo)定板都在相機(jī)視野之內(nèi)。調(diào)用find_calib_object算子尋找圖片中的標(biāo)定板區(qū)域，確定圓心，將結(jié)果加載到相機(jī)標(biāo)定模型。（3）調(diào)用calibrate_cameras算子求解相機(jī)的模型系數(shù)。

表1中，f為相機(jī)鏡頭焦距，k為所使用的工業(yè)相機(jī)畸變系數(shù)，（Sx，Sy）為相機(jī)的像元尺寸，（Cx，Cy）為光軸中心，Err為優(yōu)化的反投影均方根誤差。

2.1.2? 手眼標(biāo)定

手眼標(biāo)定的目的是對(duì)工業(yè)相機(jī)和機(jī)械臂的位置關(guān)系進(jìn)行標(biāo)定，求取相機(jī)坐標(biāo)到機(jī)械臂坐標(biāo)系的轉(zhuǎn)換關(guān)系[6]，后續(xù)可以根據(jù)識(shí)別工件圖像得到的像素坐標(biāo)去引導(dǎo)機(jī)械臂抓取工件。

本文所使用的工業(yè)相機(jī)安裝在機(jī)械臂本體外的固定支架上，構(gòu)成Eye-to-hand結(jié)構(gòu)。手眼標(biāo)定流程中，將標(biāo)定板固定在機(jī)械臂末端的夾具上，采集標(biāo)定板圖像與該圖像對(duì)應(yīng)的機(jī)械臂位姿信息，之后創(chuàng)建手眼標(biāo)定模型并將相機(jī)參數(shù)與標(biāo)定板對(duì)應(yīng)的機(jī)械臂位姿信息設(shè)置到標(biāo)定模型中，利用該手眼標(biāo)定模型讀取標(biāo)定板圖片，最后進(jìn)行手眼標(biāo)定，得到相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系的轉(zhuǎn)換關(guān)系。

2.2? 工件特征模板生成模塊

工件特征模板生成模塊用于生成不同種類工件的特征模板文件，建立一個(gè)工件特征模板庫(kù)。系統(tǒng)運(yùn)行時(shí)對(duì)采集到的工件圖像進(jìn)行特征提取，利用提取到的工件特征在模板庫(kù)里面進(jìn)行匹配，根據(jù)匹配結(jié)果確定工件的種類。

特征提取與模板匹配是機(jī)器視覺(jué)中的重要一環(huán)，目前常用的模板匹配方法有基于灰度值的模板匹配和基于形狀的模板匹配?；诨叶戎档哪０迤ヅ湟詧D像的灰度值信息作為特征值進(jìn)行匹配，但該方法易受周圍光照條件的影響，只有在光照條件穩(wěn)定的工作環(huán)境中才具有良好的匹配準(zhǔn)確率;基于形狀的模板匹配以圖像中的目標(biāo)物體形狀輪廓信息作為特征值進(jìn)行匹配[7]，不易被外界工作環(huán)境的光照影響，由于工件分揀系統(tǒng)對(duì)分揀工作的穩(wěn)定性要求較高，故選用基于形狀的模板匹配方法。生成工件特征模板文件的流程分為以下3步：（1）圖像采集與預(yù)處理。利用工業(yè)相機(jī)采集工件圖像，采集的圖像存在一定畸變[8]，需對(duì)有畸變的圖像進(jìn)行畸變矯正。調(diào)用gen_radial_distortion_map算子生成能夠矯正圖像畸變的映射矩陣，然后調(diào)用map_image算子來(lái)矯正有畸變的工件圖像，輸出經(jīng)過(guò)畸變矯正的圖像。（2）形狀特征提取。使用Halcon的二值化函數(shù)對(duì)預(yù)處理后的工件圖像進(jìn)行處理，使用區(qū)域生長(zhǎng)得到連通域，借助預(yù)設(shè)的面積參數(shù)對(duì)圖像的形狀特征進(jìn)行篩選，裁剪特征明顯的形狀區(qū)域，得到該種類工件對(duì)應(yīng)的形狀特征[9]。（3）工件特征模板生成。調(diào)用Halcon的create_shape_model算子，輸入工件的形狀特征，設(shè)置模板的縮放系數(shù)和旋轉(zhuǎn)角度等參數(shù)，生成該種類工件的模板文件，調(diào)用write_shape_model算子保存生成的工件模板文件。

2.3? 視覺(jué)定位模塊

視覺(jué)定位模塊是分揀系統(tǒng)的核心，用來(lái)獲取圖片中工件的平面坐標(biāo)信息，并把對(duì)應(yīng)的坐標(biāo)信息發(fā)送給機(jī)械臂進(jìn)行分揀[10]。該模塊首先發(fā)送拍照指令控制相機(jī)對(duì)傳送帶上的工件進(jìn)行拍照，調(diào)用Halcon的find_shape_model算子判斷拍攝的工件圖像中是否存在與工件特征模板庫(kù)中的工件相類似的形狀特征，得到工件的種類信息和工件質(zhì)心在圖像坐標(biāo)系下的坐標(biāo)，結(jié)合標(biāo)定模塊得到的相機(jī)坐標(biāo)系與機(jī)械臂坐標(biāo)系間的轉(zhuǎn)換仿射矩陣，將圖像坐標(biāo)系中的工件坐標(biāo)轉(zhuǎn)換為機(jī)械臂坐標(biāo)系中的坐標(biāo)信息，得到工件質(zhì)心在機(jī)器臂坐標(biāo)系下的坐標(biāo)信息，最后將該坐標(biāo)信息發(fā)送給機(jī)械臂進(jìn)行分揀。

2.4? 機(jī)械臂分揀模塊

機(jī)械臂分揀模塊負(fù)責(zé)接收視覺(jué)定位模塊發(fā)送來(lái)的工件平面坐標(biāo)和放置區(qū)坐標(biāo)，預(yù)先設(shè)置好機(jī)械臂運(yùn)動(dòng)的速度系數(shù)和加速度系數(shù)，機(jī)械臂控制器根據(jù)接收到的坐標(biāo)信息控制機(jī)械臂去對(duì)應(yīng)的傳送帶位置上抓取工件，并把工件放置到對(duì)應(yīng)的放置區(qū)域。

3? 系統(tǒng)測(cè)試

整個(gè)工件視覺(jué)分揀系統(tǒng)的實(shí)物圖如圖1所示，系統(tǒng)由計(jì)算機(jī)、機(jī)械臂、工業(yè)相機(jī)和傳送帶等組成。本系統(tǒng)采用的工業(yè)相機(jī)是?？低昅V-CE200-10GM，使用的機(jī)械臂型號(hào)是KNK4566，機(jī)械臂末端用來(lái)抓取工件的工具是真空氣動(dòng)吸嘴，通過(guò)外接的空氣壓縮機(jī)和電磁閥來(lái)產(chǎn)生負(fù)壓。

系統(tǒng)運(yùn)行時(shí)，傳送帶運(yùn)送待分揀工件，相機(jī)拍攝傳送帶上的工件照片，然后將所拍攝的圖片經(jīng)過(guò)視覺(jué)定位模塊處理，得到待分揀工件的種類信息和坐標(biāo)信息，將工件的坐標(biāo)信息連同傳送帶的速度計(jì)算出機(jī)械臂要抓取的坐標(biāo)信息，將以上信息發(fā)送到機(jī)械臂對(duì)工件進(jìn)行抓取和放置，不同種類的工件會(huì)被放置到對(duì)應(yīng)的放置區(qū)域。

為了驗(yàn)證本系統(tǒng)的分揀效果，我們采用了如圖2所示的5種工件，每種工件隨機(jī)選取40種角度放置在傳輸帶上供系統(tǒng)抓取，共進(jìn)行了200次分揀實(shí)驗(yàn)。在200次分揀實(shí)驗(yàn)中，系統(tǒng)均能準(zhǔn)確抓取并能正確歸類。圖3是傳送帶上的待分揀工件圖，圖4是該分揀系統(tǒng)的分揀效果圖，不同種類的工件被放置到指定的區(qū)域。實(shí)驗(yàn)結(jié)果表明該系統(tǒng)能很好地完成分揀任務(wù)。

4? 結(jié)? 論

本文基于Halcon，利用基于形狀的模板匹配和標(biāo)定技術(shù)，結(jié)合Visual Studio 2015開(kāi)發(fā)了多種類工件識(shí)別定位抓取系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)實(shí)時(shí)地對(duì)傳送帶上的工件進(jìn)行識(shí)別和抓取，識(shí)別精度和分揀速度均可以達(dá)到工業(yè)分揀生產(chǎn)要求。不過(guò)當(dāng)傳送帶的移動(dòng)速度較快時(shí)，會(huì)出現(xiàn)一定程度的漏檢現(xiàn)象，下一步將就如何提高分揀速度做進(jìn)一步的研究。

參考文獻(xiàn)：

[1] 衛(wèi)泓宇，劉冠靈，謝愛(ài)倍，等.基于單目視覺(jué)的智能物料分揀機(jī)器人的設(shè)計(jì) [J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（2）：98-103.

[2] 張國(guó)福，沈洪艷.機(jī)器視覺(jué)技術(shù)在工業(yè)檢測(cè)中的應(yīng)用綜述 [J].電子技術(shù)與軟件工程，2013（22）：111.

[3] 陳為，李澤辰，張婧，等.基于HALCON的工業(yè)機(jī)器人視覺(jué)系統(tǒng)標(biāo)定方法研究 [J].電子測(cè)量技術(shù)，2020，43（21）：137-141.

[4] 馮亮，謝勁松，李根，等.攝像機(jī)標(biāo)定的原理與方法綜述 [J].機(jī)械工程師，2016（1）：18-20.

[5] 景國(guó)峰.基于計(jì)算機(jī)視覺(jué)的相機(jī)標(biāo)定方法 [J].北京測(cè)繪，2021，35（1）：122-125.

[6] 黃玲濤，王彬，倪濤，等.基于Kinect的機(jī)器人抓取系統(tǒng)研究 [J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（1）：390-399.

[7] 孫煉杰，樊臻.基于模板匹配的光纖收發(fā)PCB板目標(biāo)檢測(cè) [J].計(jì)算機(jī)應(yīng)用與軟件，2018，35（1）：128-131+190.

[8] 李佳瑩，郭斌，江文松，等.基于共線性的機(jī)械臂視覺(jué)系統(tǒng)畸變矯正 [J].組合機(jī)床與自動(dòng)化加工技術(shù)，2020（12）：121-124.

[9] 王江輝，吳小俊.基于形狀輪廓特征的金字塔匹配算法 [J].計(jì)算機(jī)工程與應(yīng)用，2019，55（1）：191-195.

[10] 劉建春，黃勇杰，黃海濱，等.大尺寸工件細(xì)小孔視覺(jué)定位研究 [J].組合機(jī)床與自動(dòng)化加工技術(shù)，2018（1）：98-101.

作者簡(jiǎn)介：廖秉旺（1996—），男，漢族，廣東湛江人，碩士研究生在讀，研究方向：機(jī)器視覺(jué)、視覺(jué)定位;林文煜（1990—），男，漢族，廣東潮州人，工程師，碩士，研究方向：圖像檢索與大數(shù)據(jù)技術(shù)。