田 昊，黃海龍，趙寶水

一種基于HALCON的機器視覺系統(tǒng)的標定方法

田 昊，黃海龍，趙寶水

（遼寧工業(yè)大學 機械工程與自動化學院，遼寧 錦州 121001）

提出了一種基于HALCON的機器視覺系統(tǒng)的標定方法。首先利用相機采集圖像進行相機標定，從而獲得相機的參數(shù)；其次進行手眼標定，獲得在相機坐標系下機械手末端工具坐標系的姿態(tài)，完成圖像坐標到機械手坐標的轉(zhuǎn)換，實驗表明，該標定方法能夠提高機器視覺系統(tǒng)的精度，滿足工業(yè)機器人的要求，視覺系統(tǒng)的硬件主要有3D相機、工控機、控制器和機械手，利用HALCON機器視覺算法包來開發(fā)，具備周期短、程序穩(wěn)定性高的特點。

HALCON；機器視覺；相機標定；手眼標定

機器視覺系統(tǒng)的標定是機器視覺的關(guān)鍵技術(shù)之一，是準確測量目標物體的必要過程[1]。機器視覺標定的主要目的：一是為了確定圖像坐標系和世界坐標系的關(guān)系，進而將被檢測物體的像素坐標轉(zhuǎn)換成實際坐標，達到抓取的目的；二是為了減小鏡頭畸變所帶來的誤差對圖像處理精度的影響。本文采用HALCON作為標定算法，HALCON是德國MVtec公司開發(fā)的一套完善的標準的機器視覺算法包，節(jié)約了產(chǎn)品成本，縮短了開發(fā)周期，應(yīng)用方向主要包括探測、監(jiān)控以及工業(yè)上的各類產(chǎn)品的自動化檢測，擁有應(yīng)用廣泛的機器視覺集成開發(fā)環(huán)境[2]。

1 機器視覺系統(tǒng)介紹

對于目前國內(nèi)來說，隨著工業(yè)智能化的大力發(fā)展，機器視覺系統(tǒng)的發(fā)展具有廣闊的前景，尤其在人臉識別、物流分揀、醫(yī)學應(yīng)用和自動化生產(chǎn)線等方面具有廣泛的應(yīng)用。機器視覺系統(tǒng)按照相機與機械手相對位置分，可分為eye-in-hand和eye-to-hand兩類，eye-in-hand系統(tǒng)中，相機安裝在機械手末端處跟隨機械手運動；eye-to-hand系統(tǒng)中，相機安裝在機械手本體外，位置不隨機械手的運動而改變[3]。目前，工業(yè)上常用的標定方法為“九點標定法”，利用機械手姿態(tài)的變化，通過仿射變換進行系統(tǒng)標定，但傳統(tǒng)的標定方法過程繁雜且易受燈光等因素影響。為了提高標定效率，減小標定誤差，本文提出了一種基于HALCON的eye-in-hand系統(tǒng)的標定方法。

2 機器視覺系統(tǒng)標定

機器視覺系統(tǒng)的標定過程實際是建立圖像世界與三維世界的關(guān)系[4]，只有確立了該關(guān)系，才能通過圖像得知三維世界的真實狀態(tài)。整個視覺系統(tǒng)的標定流程如圖1所示。

圖1 視覺系統(tǒng)標定流程

假設(shè)(,)是圖像中任意一點，圖像坐標系(,)到像素坐標系(,)的關(guān)系為：

式中：像素坐標的中心(0,0)；d、d是像素坐標中一個像素對應(yīng)的的長度[5]。

世界坐標系(X,Y,Z)到相機坐標系的轉(zhuǎn)換關(guān)系，其實就是剛體變換，數(shù)學關(guān)系式為：

式中：是3×3的旋轉(zhuǎn)矩陣；是平移向量；1為4×4的矩陣。

根據(jù)公式(1)和公式(2)可以得到世界坐標系與像素坐標系的轉(zhuǎn)換矩陣：

式中：1是相機的內(nèi)參；2是相機的外參；f、f是、軸上的尺度因子，內(nèi)、外參通過試驗確定。

2.1 相機標定

相機標定是機器視覺標定的必要過程，相機標定的主要目的是為了獲取相機的內(nèi)、外參矩陣。鏡頭畸變一般包括桶形畸變和枕形畸變，如圖2所示。通過相機標定就可以矯正鏡頭畸變。

圖2 鏡頭畸變類型

相機的內(nèi)參主要包括鏡頭的焦距、鏡頭的畸變參數(shù)、光軸中心坐標和像元尺寸(、、x、y、x、y)，相機的外參表示空間上的位置關(guān)系，是世界坐標系在相機坐標系下的姿態(tài)，坐標系轉(zhuǎn)換主要包括平移、旋轉(zhuǎn)、縮放[6]，以矩陣表達式來計算這些變換時，綜合表示如方程式(4)：

通過相機的標定由公式(5)和公式(6)可以得到世界坐標系到像素坐標系的映射關(guān)系是一個3×4的矩陣[8-9]。

在標定過程中用HALCON軟件自動生成的.descr文件來制作標定板，如圖3所示，打開HALCON軟件，輸入算子gen_caltab，打開圖4所示的算子窗口，生成一個.descr的文件，通過文件內(nèi)容確定標定板的全部參數(shù)，包括標定點的位置坐標、標定點半徑等，然后就可以繼續(xù)通過CAD等畫圖軟件將標定板畫出，最后打印。

圖3 標定板示意圖

圖4 生成.descr文件示意圖

2.2 手眼標定

機器視覺的最終目的是實現(xiàn)圖像坐標和世界坐標的轉(zhuǎn)換[10]，相機的標定實現(xiàn)了像素坐標到標定板坐標的轉(zhuǎn)換，手眼標定就是為了完成相機坐標到機械手末端工具坐標的轉(zhuǎn)換，從而計算出圖像坐標對應(yīng)的機械手坐標，完成機器視覺系統(tǒng)的標定[11]。算法程序如圖5所示，①使用grab_image算子通過相機采集圖像，設(shè)置圖像屬性；②使用gen_caltab算子生成標定板的描述文件；③使用read_cam_par算子讀取相機的初始內(nèi)參；④使用create_calib_data算子創(chuàng)建標定模型；⑤使用set_calib_data_cam_ param算子將相機的掃描方式設(shè)置為面掃描；⑥使用set_calib_data_calib_object算子將標定板的掃描文件設(shè)置在標定模型中；⑦通過機械手末端帶著相機移動，從各個角度對標定板采集圖像，使用grab_image算子采集圖像，采集圖像25張且保證標定板的四角全部在視野范圍內(nèi)；⑧使用find_ calib_object算子找到標定板；⑨使用get_calib_ data_observ_contours獲得標定板的圖像坐標，get_ calib_data_observ_points獲得標定板上圓的坐標，disp_3d_coord_system顯示標定板坐標系；⑩使用read_pose算子讀取工具坐標系相對于基坐標系的姿態(tài)，也就是相對的平移和旋轉(zhuǎn)；?使用set_calib_data算子將求出的相對姿態(tài)設(shè)定到標定模型里；?使用calibrate_hand_eye算子進行手眼標定；?使用get_calib_data獲取平均誤差、相機內(nèi)參、相機坐標系下工具坐標的姿態(tài)、基坐標系下標定板姿態(tài)等參數(shù)；?最后使用write_cam_par算子保存文件。標定流程圖如圖6所示。

圖5 算法程序框圖

圖6 標定流程圖

相機標定后將這些參數(shù)儲存在文件中，將來需要的時候可以使用read_cam_par算子讀取出來。

3 實驗結(jié)果

本文實驗通過在自己搭建的機器視覺系統(tǒng)上進行，相機選用AT-C5-2040-GigE，工控機選用研華IPC-610-L，控制器選用IRC5，機械手選用ABB-IRB-1200-5/.09，如圖7所示。

圖7 機器視覺系統(tǒng)的標定實驗設(shè)備

根據(jù)圖示標定流程完成的25張采集圖片的標定，相機標定的平均誤差為0.16~0.17像素，手眼標定平動部分的誤差均方值(RMS)為0.522 mm，轉(zhuǎn)動部分的誤差均方值為0.415°，獲得3組相機的內(nèi)部參數(shù)如表1所示，手眼標定的結(jié)果如表2所示。

表1 相機的內(nèi)部參數(shù)

表2 手眼標定結(jié)果

本文算法和傳統(tǒng)算法的平均誤差與運算時間的比較如表3所示，由表可知，利用本文的算法進行視覺系統(tǒng)的標定，可以在大約45.5 ms內(nèi)快速地得到相應(yīng)的轉(zhuǎn)換矩陣，相對于傳統(tǒng)的標定方法更加穩(wěn)定、高效。應(yīng)用上述標定流程進行實際標定，如圖8和圖9所示，機械手可以準確地找到相機識別的工件的坐標并夾取工件，完成工作流程，通過兩組實驗證明該標定方法具有很強的魯棒性。

表3 本文算法和傳統(tǒng)算法的平均誤差與運算時間的比較

圖8 第一組目標工件的識別、夾取實驗

圖9 第二組目標工件的識別、夾取實驗

4 結(jié)論

提出了一種基于HALCON的機器視覺系統(tǒng)的標定方法，運用HALCON強大的算法包進行相機標定和手眼標定，標定的核心是求出在相機坐標系下機械手末端坐標系的姿態(tài)，完成圖像坐標到機器人坐標的轉(zhuǎn)換，相對于傳統(tǒng)的標定方法，該標定方法可以準確地找到像素坐標對應(yīng)的機器人坐標，效率高，誤差小，有效地解決了由于鏡頭畸變引起的圖像中的精度問題，滿足工業(yè)機器人的工作要求。

[1] 付貴. 基于機器視覺的工業(yè)機器人標定方法研究[J]. 南方農(nóng)機, 2018, 49(9):147-148.

[2] 覃小麗, 李明楓. 基于HALCON的SCARA機械手視覺分揀軟件設(shè)計[J]. 自動化應(yīng)用, 2019(2): 89-90.

[3] 劉馨, 周彬. 基于Halcon的金屬零件矩形度檢測算法研究[J]. 自動化與儀器儀表, 2017(7): 31-32.

[4] Wan W, Lu F, Wu Z. Teaching robots to do object assembly using multi-modal 3D vision[J]. Neurocomputing, 2017, 259(11): 85-93.

[5] Kaltsa V, Avgerinakis K, Briassouli A. Dynamic texture recognition and localization in machine vision for outdoor environments[J]. Computers in Industry, 2018, 98: 1-13.

[6] 陳立挺, 聶曉根. 基于雙目視覺的機械手識別、定位、抓取系統(tǒng)研究[J]. 機電工程, 2019, 36(8): 862-866, 872.

[7] Md Hazrat Ali, Aizat K. Vision-based Robot Manipulator for Industrial Applications[J]. Procedia Computer Science, 2018: 205-212.

[8] Huang W, Xu H. Development of six-DOF welding robot with machine vision[J]. Modern Physics Letters B, 2019.

[9] Lyndon Neal Smith, Wenhao Zhang, Mark F. Hansen et al. Innovative 3D and 2D machine vision methods for analysis of plants and crops in the field[J]. Computers in Industry, 2018, 97: 122-131.

[10] Ahmedt Aristizabal D, Fookes C, Denman S. Aberrant epileptic seizure identification: A computer vision perspective[J]. Seizure, 2018: 65-71.

[11] Jahedsaravani A, Massinaei M, Marhaban M H. Development of a machine vision system for real-time monitoring and control of batch flotation process[J]. International Journal of Mineral Processing, 2017: S0301751617301564.

Calibration Method of Machine Vision System Based on ALCON

TIAN Hao, HUANG Hai-long, ZHAO Bao-shui

（College of Mechanical Engineering and Automation, Liaoning University of Technology, Jinzhou 121001, China）

This paper proposes a calibration method for machine vision systems based on HALCON. Firstly, the camera is used to collect images to perform camera calibration to obtain camera parameters. Secondly, hand-eye calibration is performed to obtain the pose of the robot end tool coordinate system in the camera coordinate system, and to complete the conversion of image coordinates to robot coordinates. The experiment shows that the calibration method can improve the accuracy of the machine vision system, meet the requirements of industrial robots. The hardware of the vision system mainly includes 3D cameras, industrial computers, controllers, and manipulators. It is developed by using the HALCON machine vision algorithm package, which has the characteristics of short cycles and high program stability.

HALCON; machine vision; camera calibration; hand-eye calibration

TP242

A

1674-3261(2020)04-0211-05

10.15916/j.issn1674-3261.2020.04.001

2019-12-24

遼寧省教育廳重大科技平臺科技項目(JP2016019)；遼寧省教育廳青年科技人才“育苗”項目(JQL201915404)

田 昊(1995-)，男，黑龍江集賢人，碩士生。

黃海龍(1982-)，男，遼寧錦州人，副教授，博士。

責任編校：孫 林