翟永杰 劉金龍 程海燕

摘 要： 基于機器視覺的定位方法具有非接觸、柔性好、自動化和智能化水平高等特點，能夠較好地滿足工業(yè)自動化生產(chǎn)的需求。針對某汽車焊裝生產(chǎn)線的“五門一蓋”上、下工件系統(tǒng)進行研究，充分考慮某汽車生產(chǎn)線的現(xiàn)場條件及工件特性，設(shè)計一套基于機器視覺的工件抓取定位系統(tǒng)。系統(tǒng)以FANUC機器人為基礎(chǔ)平臺，采用Basler工業(yè)相機、光學(xué)鏡頭等共同搭建視覺定位單元。系統(tǒng)標(biāo)定采用單應(yīng)性矩陣的原理，定位采用最小外接矩形方法。結(jié)果表明，該系統(tǒng)實現(xiàn)了車門的準(zhǔn)確定位及抓取，定位精度達到了生產(chǎn)線的技術(shù)要求。

關(guān)鍵詞： 機器視覺； 工件定位； 圖像處理； 標(biāo)定； 特征檢測； 汽車生產(chǎn)線

中圖分類號： TN948.2?34 文獻標(biāo)識碼： A 文章編號： 1004?373X（2018）20?0006?04

Abstract： The positioning method based on machine vision has the characteristics of non?contact， flexibility， higher level of automation and intelligence， which can meet the requirements of industrial automation production. Therefore， a workpiece grasping and positioning system based on machine vision is designed， taking the upper and lower workpiece system （a cover and five doors） of a certain automobile welding production line for research， and fully considering the site conditions and workpiece characteristics of the automobile production line. In the system， the Basler industrial camera and optical lens are used to cooperatively establish the vision positioning unit， taking the FANUC robot as the basic platform. The principle of homograph matrix is adopted for system calibration. The minimum external rectangle method is adopted for positioning. The results show that the system can realize accurate positioning and grasping of automobile doors， and the positioning precision can meet the technical requirements of the production line.

Keywords： machine vision； workpiece positioning； image processing； calibration； feature detection； automobile production line

在汽車生產(chǎn)中，焊裝車間主要完成對白車身的五大主體（側(cè)圍、“五門一蓋”、后地板、前地板、機艙）的涂膠、焊接、裝配等加工作業(yè)。經(jīng)調(diào)研，某汽車焊裝生產(chǎn)線除上、下工件外，均可由工業(yè)機器人自主完成，不需人工參與。該汽車焊裝生產(chǎn)線目前工件的定位方式為傳統(tǒng)的定位方式：重力定位、機械定位。需要人工將來自沖壓車間的工件從料筐中取出，然后精確放置到固定夾具或?qū)χ信_上，然后機器人以固定的姿態(tài)將工件抓起。重力定位及機械定位，雖然在一定程度上能滿足作業(yè)要求，但需要人工介入，不能實現(xiàn)可持續(xù)的自動化生產(chǎn)，在靈活性、效率及精度方面存在一定的缺陷。

本文針對該汽車焊裝生產(chǎn)線未實現(xiàn)自動化生產(chǎn)的人工作業(yè)環(huán)節(jié)進行研究，在不更換原有粗定位料筐的基礎(chǔ)上，采用機器視覺定位技術(shù)實現(xiàn)工件定位。機器視覺定位技術(shù)可以很好地滿足柔性化生產(chǎn)的需求，實現(xiàn)焊裝車間全流程自動化作業(yè)，降低生產(chǎn)線改造成本，提高焊裝車間的自動化水平。

1 系統(tǒng)總體設(shè)計

本文所設(shè)計的視覺抓取定位系統(tǒng)包含工件抓取單元、工件定位單元兩部分。系統(tǒng)的研究工作是基于機器人學(xué)與計算機視覺技術(shù)來完成的。

1.1 系統(tǒng)方案

本文所設(shè)計的機器視覺抓取定位系統(tǒng)包括工件抓取單元、工件定位單元兩部分。工件抓取單元主要用于協(xié)助機器人機械手將目標(biāo)工件從料筐中順利取出。工件定位單元包括硬件部分和軟件部分，硬件部分主要用于采集清晰的目標(biāo)工件圖像。軟件部分旨在通過視覺算法獲得目標(biāo)工件的圖像坐標(biāo)，進而通過標(biāo)定參數(shù)將像素坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)[1]。系統(tǒng)整體流程圖如圖1所示。

1.2 工件定位單元硬件部分

硬件部分由工業(yè)相機、工業(yè)鏡頭、光源等組成，相機固定于機器人的抓手之外（機器人右前方），相機不隨機器人抓手的移動而移動。 系統(tǒng)的具體選型見表1，系統(tǒng)的結(jié)構(gòu)圖見圖2。

1.3 視覺定位軟件系統(tǒng)設(shè)計

系統(tǒng)軟件的視覺算法部分主要是基于Windows使用EmguCV圖像庫與C#混合編程開發(fā)的，機器人側(cè)的編程通過KAREL語言實現(xiàn)，由于試驗的原因借用PC機作為處理器。視覺定位依賴于相機采集到的二維圖像，因此只進行二維定位。

視覺定位軟件的工作流程如圖3所示。

2 系統(tǒng)標(biāo)定

2.1 單應(yīng)性矩陣原理

平面的單應(yīng)性定義：一個平面到另外一個平面的投影映射。在圖形學(xué)中，物體在物理坐標(biāo)系中的坐標(biāo)與像素坐標(biāo)系中的坐標(biāo)之間是一一對應(yīng)的，其關(guān)系為一投影變換矩陣（單應(yīng)性矩陣）。一個單應(yīng)性矩陣H的大小為3×3，設(shè)某點p在一坐標(biāo)平面上的齊次坐標(biāo)為p1=（x1，y1，w1）T，將其映射到另一坐標(biāo)平面上，對應(yīng)點的齊次坐標(biāo)為p2=（X1，Y1，w2）T。則滿足：

由式（5）可通過最小二乘法或SVD分解來求解矩陣H。求得矩陣H，可以根據(jù)式（1）在已知面內(nèi)的一點坐標(biāo)求解其投影平面內(nèi)的坐標(biāo)。

2.2 單應(yīng)性矩陣在系統(tǒng)標(biāo)定中的應(yīng)用

本文研究的內(nèi)容是基于相機的針孔模型[2?5]進行的，相機的幾何成像圖如圖4所示。圖中OC?XCYCZC為相機坐標(biāo)系，其中ZC軸為光軸且垂直于相機的成像平面。OW?XWYWZW為世界坐標(biāo)系，為根據(jù)需要而建立的外部坐標(biāo)系，通常是通過機器人的標(biāo)定建立的，用來描述對應(yīng)空間中物體的位置與姿態(tài)。

2.3 本文視覺系統(tǒng)標(biāo)定模型的構(gòu)建

本文使用EYE_TO_HAND工作模式，EYE_TO_HAND的系統(tǒng)結(jié)構(gòu)如圖5所示。在此系統(tǒng)中主要存在以下幾個坐標(biāo)系：機器人末端工具坐標(biāo)系（Tool_0）、機器人夾具工具坐標(biāo)系 （Cal）、相機坐標(biāo)系（Camera）、世界坐標(biāo)系（World 或Base），用戶坐標(biāo)系（UF）。

圖中：機器人基坐標(biāo)系Base到Tool_0及Tool_0到夾具坐標(biāo)系Cal的轉(zhuǎn)換關(guān)系可以通過機器人控制器直接讀取獲得，即轉(zhuǎn)換矩陣B與X已知[7]；用戶坐標(biāo)系UF到機器人基坐標(biāo)系Base的轉(zhuǎn)換關(guān)系Y，同樣可以借助“三點法”建立UF的過程由機器人示教器獲得。圖中用矩陣H表示圖像坐標(biāo)系中的一點q到用戶坐標(biāo)系的轉(zhuǎn)換關(guān)系。依據(jù)第2.2節(jié)的原理，可以通過查找圖像坐標(biāo)系與用戶坐標(biāo)系中不共線的4組對應(yīng)點來求取矩陣H。從而通過式（1）得到圖像中的一點在用戶坐標(biāo)系UF中的坐標(biāo)，然后通過矩陣Y轉(zhuǎn)換：

將Q點的坐標(biāo)轉(zhuǎn)換為世界坐標(biāo)系中的坐標(biāo)[QW]。從此機器人控制器通過逆向運動學(xué)原理及矩陣B與X求解各軸的轉(zhuǎn)動角度，最終控制機器人末端將工件調(diào)整至目標(biāo)姿態(tài)。

2.4 系統(tǒng)標(biāo)定的實現(xiàn)

系統(tǒng)標(biāo)定的過程如下：

1） 將工件置于標(biāo)準(zhǔn)的參考位置，并將標(biāo)定板固定于工件特征區(qū)域，示教機器人通過“三點法”建立用戶坐標(biāo)系；

2） 采集標(biāo)定板圖像，并取6個角點信息，如表2所示；

3） 通過上述原理計算單應(yīng)性矩陣H；

3 工件定位

3.1 目標(biāo)圖像預(yù)處理及特征提取

在本文中以汽車左前門為例進行測試，特征選擇為門把手的安裝孔。直接采集的圖像由于周圍環(huán)境的影響（如焊裝車間點焊的火花、弧焊的弧光等）使得圖像質(zhì)量下降，因此，先對特征信息進行增強、提取。對目標(biāo)特征進行分析：特征為不規(guī)則的多邊形，并且多邊形的相鄰邊均為平滑連接，角點特征不穩(wěn)定[8?9]。因此選擇對特征的輪廓信息進行研究，為了準(zhǔn)確地提取輪廓信息，增強感興趣區(qū)域，預(yù)處理過程如圖6所示。預(yù)處理結(jié)果及特征輪廓見圖7。

3.2 工件定位

鑒于目標(biāo)工件的特征特點，選用最小外接矩形定位方法[10]。定位過程如圖8所示。定位原理如下：首先建立一個標(biāo)準(zhǔn)參考模板，記錄模板特征的最小外接矩形的中心及長軸的斜率；然后在每次采集圖像后同樣計算工件特征的最小外接矩形的中心及長軸斜率；最后與標(biāo)準(zhǔn)參考模板比較算出工件的偏移量及旋轉(zhuǎn)角度。

4 試驗結(jié)果

為了便于測量計算系統(tǒng)的定位誤差，在參考模板的基礎(chǔ)上示教機器人分別在X，Y方向上移動固定的距離D。然后利用視覺系統(tǒng)對工件定位，定位結(jié)果為d，機器人本身的誤差為e，則定義視覺定位誤差：

通過試驗可知，視覺系統(tǒng)可以準(zhǔn)確地將工件定位，且定位精度滿足生產(chǎn)工藝的要求。由此通過料筐取料、視覺系統(tǒng)定位、坐標(biāo)轉(zhuǎn)化等機器人可以自主地將工件從料筐中取出直接進行下一步的涂膠、裝配等作業(yè)，替代了人工上料及機械定位的過程，提高了生產(chǎn)節(jié)拍。

5 結(jié) 論

在工業(yè)應(yīng)用中，大多數(shù)基于視覺的抓取定位作業(yè)都是將相機安裝于機械臂上，隨機器人一起運動。本文考慮到工件大及料筐的特性，將相機與機械臂分離，借用相機獨立采集工件的特征區(qū)域進行定位，在保證作業(yè)精度的同時充分利用了現(xiàn)有的粗定位料筐，大大降低了生產(chǎn)線改造成本。本文通過單應(yīng)性矩陣將相機坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系來實現(xiàn)位置的統(tǒng)一，方法簡單易行。本方案充分考慮汽車生產(chǎn)的現(xiàn)場條件及工件的特性，將機器視覺定位應(yīng)用于汽車生產(chǎn)過程中，通過反復(fù)測試，此系統(tǒng)重復(fù)定位精度較高，符合汽車生產(chǎn)的基本要求。

參考文獻

[1] 陳陽光，王磊.基于HALCON的機器人視覺標(biāo)定[J].光學(xué)儀器，2016，38（4）：320?324.

CHEN Yangguang， WANG Lei. Robot visual calibration based on HALCON [J]. Optical instruments， 2016， 38（4）： 320?324.

[2] BENHIMANE S， MALIS E. Homography?based 2D visual servoing [C]// Proceedings of IEEE International Conference on Robotics and Automation. Orlando： IEEE， 2006： 2397?2402.

[3] YANG Xingfang， HUANG Yumei， GAO Feng. A simple camera calibration method based on sub?pixel comer extraction of the chessboard image [C]// Proceedings of IEEE International Conference on Intelligent Computing and Intelligent Systems. Xiamen： IEEE， 2010： 688?692.

[4] CHAUMETTE F， MALIS E. 2 1/2 D visual servoing： a possible solution to improve image?based and position?based visual servoings [C]// Proceeding of IEEE International Conference on Robotics and Automation. San Francisco： IEEE， 2000： 630?635.

[5] 劉嵩，葉玉堂，孫強，等.基于單應(yīng)性矩陣的棋盤格角點檢測研究[J].電子設(shè)計工程，2012，20（6）：114?117.

LIU Song， YE Yutang， SUN Qiang， et al. Research of chessboard′s corner detection based on homography [J]. Electronic design engineering， 2012， 20（6）： 114?117.

[6] 丁建華，姚明海，趙瑜.基于單應(yīng)性矩陣的機器人視覺伺服系統(tǒng)研究[J].機電工程，2012，29（12）：1485?1489.

DING Jianhua， YAO Minghai， ZHAO Yu. Study of visual servoing system of robot based on homography matrix [J]. Journal of mechanical & electrical engineering， 2012， 29（12）： 1485?1489.

[7] ZHUANG H， ROTH Z S， SUDHAKAR R. Simultaneous robot/world and tool/flange calibration by solving homogeneous transformation equations of the form AX=YB [J]. IEEE transactions on robotics and automation， 1994， 10（4）： 549?554.

[8] 趙鵬.機器視覺理論及應(yīng)用[M].北京：電子工業(yè)出版社，2011.

ZHAO Peng. The theory and application of machine vision [M]. Beijing： Publishing House of Electronics Industry， 2011.

[9] 張錚，王艷平，薛桂香.數(shù)字圖像處理與機器視覺[M].北京：人民郵電出版社，2010.

ZHANG Zheng， WANG Yanping， XUE Guixiang. Digital image processing and machine vision [M]. Beijing： Posts & Telecom Press， 2010.

[10] 陳棟梁，李蓓智，周虎.基于零件輪廓形心與最小外接矩形的圖像配準(zhǔn)方法[J].制造業(yè)自動化，2012，34（8）：48?51.

CHEN Dongliang， LI Beizhi， ZHOU Hu. An image registration method for mechanical parts based on centroids and minimum enclosing rectangles of contours [J]. Manufacturing automation， 2012， 34（8）： 48?51.