郭 靜，羅 華，張棟棟

（航天科技集團(tuán)九院第16研究所機(jī)器人事業(yè)部，西安710100）

基于機(jī)器視覺的高精度螺孔定位方法研究

郭 靜，羅 華，張棟棟

（航天科技集團(tuán)九院第16研究所機(jī)器人事業(yè)部，西安710100）

針對手工安裝工件、勞動強(qiáng)度大以及效率低等問題，提出了一種基于機(jī)器視覺的螺孔定位檢測方法。利用CCD攝像機(jī)實時采集局部待定位物圖像，并對圖像進(jìn)行處理，提取螺孔坐標(biāo)，然后通過物理坐標(biāo)關(guān)系得到拍攝范圍外的螺孔的坐標(biāo)，最后經(jīng)過eye-hand手眼標(biāo)定轉(zhuǎn)換到機(jī)器人坐標(biāo)系下的坐標(biāo)。該方法解決了受外界條件限制，對目標(biāo)測量的過程不能一步完成的問題，實現(xiàn)了較大物件的自動、快速、準(zhǔn)確定位功能。

機(jī)器視覺；螺孔；定位；高精度

0　引言

在現(xiàn)代工業(yè)中，自動化裝配系統(tǒng)能夠部分取代人工技能和判斷力進(jìn)行反復(fù)的裝配操作，提高生產(chǎn)效率。目前國際和國內(nèi)已經(jīng)開展了相關(guān)的研究和應(yīng)用試驗，將機(jī)器視覺系統(tǒng)引入到自動化裝配過程中，利用機(jī)器視覺代替人眼完成測試和判斷，大大提高了生產(chǎn)線的自動化和智能化程度。基于機(jī)器視覺的裝配系統(tǒng)以其柔性化裝配系統(tǒng)，在提高裝配精度、保證產(chǎn)品質(zhì)量的穩(wěn)定性以及提高生產(chǎn)率等方面顯示出了極大的優(yōu)越性。

一般情況下，待定位物的目標(biāo)特征可以完全進(jìn)入攝像機(jī)視野當(dāng)中，測量和定位過程相對較為容易，然而，對于尺寸跨度較大的物體或受相機(jī)架設(shè)高度和視野范圍的限制，對目標(biāo)測量的過程不能一步完成。如何實現(xiàn)工件大范圍自動測量和精密裝配，解決高精度、高分辨率、快速定位的矛盾是自動裝配系統(tǒng)研制需要解決的問題。

本文根據(jù)裝配線的需求，研制了一種基于機(jī)器視覺的定位方法，通過對工件螺孔的高精度檢測，完成了螺孔的快速準(zhǔn)確定位檢測的算法研究，以及 “由點到面”的孔位計算方法，實現(xiàn)了較大物件的自動測量和精密裝配，產(chǎn)品的一致性和裝配作業(yè)效率得到提高，同時為工件的自動化裝配提供了可靠方法。

1　視覺定位工作原理

通過機(jī)器視覺對工件螺孔位置進(jìn)行自動檢測，主要分為圖像采集、圖像處理和系統(tǒng)標(biāo)定三部分，如圖1所示。圖像采集模塊負(fù)責(zé)獲取圖像，并通過合理的光源布置，使目標(biāo)區(qū)域具有良好的對比度，并將采集到的圖像存儲于工控機(jī)（IPC）內(nèi)存中。圖像處理模塊負(fù)責(zé)對采集的圖像進(jìn)行處理，提取螺孔輪廓的幾何特征擬合后定位螺孔的中心點坐標(biāo)，該坐標(biāo)是相對于相機(jī)的圖像坐標(biāo)系而言，單位為Pixel，機(jī)器人不能直接使用。系統(tǒng)標(biāo)定完成三個功能:1）確定相機(jī)的分辨率，即一個像素代表的實際物理距離；2）由相機(jī)拍攝的兩個螺孔坐標(biāo)推算其余所有孔位；3）確定相機(jī)圖像坐標(biāo)系和機(jī)器人坐標(biāo)系之間的關(guān)系，經(jīng)過手眼標(biāo)定將螺孔在圖像坐標(biāo)系下的坐標(biāo)轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的坐標(biāo)。

圖 1 機(jī)器視覺定位流程Fig.1 Flowchart of machine vision positioning

2　圖像處理算法

在采集到的螺孔圖像中快速準(zhǔn)確地檢測出螺孔的中心位置，機(jī)器人才能準(zhǔn)確調(diào)整位置進(jìn)行快速定位，一次性地完成打螺絲過程。因此，對螺孔圖像的快速、準(zhǔn)確定位在機(jī)器視覺自動裝配中有著重要的意義。圖像處理的主要任務(wù)是準(zhǔn)確、快速地檢測物件中所有螺孔的中心點坐標(biāo)。但是受物件尺寸和攝像機(jī)視野的限制，對所有螺孔的定位不能通過拍攝到的圖像一步檢測完成。為了克服此困難，提出了由點到面的定位方法，首先通過拍攝其中兩個螺絲孔位，然后根據(jù)其余孔位與拍攝到的螺絲孔位的物理坐標(biāo)關(guān)系，計算出物件所有孔位的坐標(biāo)。同時在相機(jī)分辨率一定的情況下，縮小拍攝范圍也提高了定位精度。圖2所示為攝像機(jī)所能拍到的兩個螺孔圖像。

圖2　CCD攝像機(jī)拍攝的螺孔圖像Fig.2 The screw image by CCD camera

由于螺孔近似為圓形，而傳統(tǒng)的圓檢測方法是Hough變換法。Hough變換法具有較強(qiáng)的抗噪聲、抗形狀不連續(xù)等優(yōu)點。但它的計算量和所需的存儲量與參數(shù)個數(shù)成指數(shù)關(guān)系，難以進(jìn)行實時處理，在裝配線上無法滿足在線檢測的要求。鑒于Hough算法的不足，目前還有學(xué)者基于Hough提出了很多圓定位檢測方法，但都存在一定的缺陷，無法應(yīng)用到高精度自動裝配過程中。為此，本文提出了一種適合自動裝配的螺孔定位方法，提高了系統(tǒng)的柔性和精度。算法流程如圖3所示。

首先對采集的圖像進(jìn)行預(yù)處理，對圖像中的信息有選擇地加強(qiáng)和抑制，以改善圖像的視覺效果，將圖像轉(zhuǎn)換為更適合于機(jī)器處理的形式，便于數(shù)據(jù)抽取或是識別，圖4為對采集的螺孔圖像在感興趣區(qū)域內(nèi)預(yù)處理后的結(jié)果。然后對圖像進(jìn)行閾值分割，獲得反應(yīng)圖像整體和局部特征的二值化圖像，這既有利于提高目標(biāo)輪廓的對比度，又便于圖像的簡化處理，減少數(shù)據(jù)量、提高處理速度，分割結(jié)果如圖5所示。根據(jù)特征提取螺孔邊緣，如圖6所示。圖7為提取到螺孔細(xì)節(jié)放大圖，可以明顯看出提取到的螺孔包含了一些冗余信息，精度較差。

圖3　圖像處理算法流程Fig.3 Flowchart of image processing algorithm

圖4　預(yù)處理結(jié)果Fig.4 The result of pretreatment

圖5　螺孔圖像分割圖Fig.5 The segment result of screw image

圖6　檢測結(jié)果Fig.6 The detection result

圖7　螺孔邊緣細(xì)節(jié)放大圖Fig.7 The edges of screw

為了提高檢測精度，對提取的螺孔輪廓經(jīng)過亞像素處理后得到的螺孔細(xì)節(jié)放大圖如圖8所示，最后經(jīng)過擬合獲得螺孔的中心坐標(biāo)，細(xì)節(jié)放大圖如圖9所示。

圖8　經(jīng)亞像素處理后螺孔邊緣放大圖Fig.8 The screw image after sub pixel image processing

圖9　螺孔檢測結(jié)果Fig.9 The test results of screw

3　攝像機(jī)標(biāo)定

3.1攝像機(jī)CCD成像模型

如圖10所示，在圖像上定義直角坐標(biāo)系uoov，像素坐標(biāo)（u，v）代表該像素在圖像中的行數(shù)和列數(shù)建立一個以物理單位（如mm）表示的圖像坐標(biāo)系xOy，將原點O定義在攝像機(jī)光軸與圖像平面的交點，一般位于圖像中心處x軸和y軸分別與u軸和v軸平行，若O在uoov坐標(biāo)系中的坐標(biāo)為（uo，vo），每個像素在x軸和y軸方向的物理尺寸為dx和dy，則圖像中任意像素在2個坐標(biāo)系下的坐標(biāo)有如下關(guān)系:

用齊次矩陣可將式（1）表示為:

圖10　攝像機(jī)坐標(biāo)系與圖像坐標(biāo)系Fig.10 Camera coordinate system and image coordinate system

以攝像機(jī)為中心制定的坐標(biāo)系XcYcZc如圖10所示，一般小孔攝像機(jī)模型的聚焦中心為原點oc，Xc軸Yc軸分別與圖像的X軸和Y軸平行，Zc軸為攝像機(jī)的光軸，與圖像平面垂直。

根據(jù)針孔成像模型，采用2個焦距（fx，fy）來表示空間中的一點經(jīng)攝像機(jī)成像后在圖像平面坐標(biāo)X、Y方向上的比例縮放系數(shù)。如圖11所示，變換公式為:

圖11　圖像坐標(biāo)系Fig.11 Image coordinate system

用齊次坐標(biāo)可表示為:

由式（3）和式（4）可得:

3.2攝像機(jī)CCD標(biāo)定

如圖12所示，建立圖像坐標(biāo)系的方法為:1）微調(diào)工件位置，使B1、B2連線與圖像坐標(biāo)系的Y軸平行；2）將標(biāo)定板貼到工件表面，并微調(diào)標(biāo)定板使其水平方向與圖像坐標(biāo)系的X軸平行，垂直方向與圖像坐標(biāo)系的Y軸平行，并將O點（xpO，ypO）設(shè)定為攝像機(jī)坐標(biāo)系的原點。同時還可以根據(jù)標(biāo)定板刻度與圖像像素之間的關(guān)系求得每個像素的實際物理尺寸kx、ky（物理距離/像素距離），根據(jù)攝像機(jī)成像原理，B1點在攝像機(jī)坐標(biāo)系下的坐標(biāo)為:

由于攝像機(jī)CCD只能拍攝到物件的兩個孔位，其余孔位的坐標(biāo)通過孔位間的物理坐標(biāo)關(guān)系求得。也就是其余任意一孔位C與該螺孔的相對位置（dx，dy），以及與B1、B2點連線夾角θ求得任意點在圖像物理坐標(biāo)下的坐標(biāo)，如圖13所示。任意孔位相對于孔位B1的物理坐標(biāo)如下:

用齊次坐標(biāo)表示為:

圖12　待定位物件圖像和標(biāo)定板Fig.12 Image to be positioned and the calibration board

圖13　其余螺孔與參照螺孔關(guān)系圖Fig.13 The relationship between other screws and compared one

4　手眼標(biāo)定

手眼標(biāo)定是指求取攝像機(jī)坐標(biāo)系與機(jī)器人坐標(biāo)系之間的矩陣變換關(guān)系。手眼標(biāo)定一般有2種形式:Eye-in-Hand系統(tǒng)（攝像機(jī)直接安裝在機(jī)械手上，隨機(jī)器人一起運動）；另一種為 Eye-to-Hand系統(tǒng)（攝像機(jī)固定安裝，位置不隨機(jī)器人運動而改變），由于裝配系統(tǒng)結(jié)構(gòu)的特殊性，裝配機(jī)器人一般采用攝像機(jī)固定安裝手眼系統(tǒng)，對于固定安裝手眼系統(tǒng)的標(biāo)定，兩坐標(biāo)系之間的齊次坐標(biāo)變換關(guān)系可寫為:

手眼標(biāo)定過程為:首先操作機(jī)器人移動得到機(jī)器人坐標(biāo)系下視覺標(biāo)定板原點O的機(jī)器人坐標(biāo)得到機(jī)器人坐標(biāo)系的原點在攝像機(jī)坐標(biāo)系下的坐標(biāo)。

操作機(jī)器人移動得到視覺標(biāo)定板A、B、C點坐標(biāo)，計算OA和BC兩條直線在機(jī)器人坐標(biāo)系下與y軸的偏轉(zhuǎn)角，OB和AC兩條直線在機(jī)器人坐標(biāo)系下與x軸的偏轉(zhuǎn)角，這四個角度值基本一樣，為減小誤差，求得四個角的平均值為θrv，坐標(biāo)系關(guān)系如圖14所示。

圖14　視覺坐標(biāo)系與機(jī)器人坐標(biāo)系關(guān)系圖Fig.14 The relationship of angle between machine vision coordinate system and robot coordinate system

經(jīng)過推算得到視覺坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換公式如下:

用齊次坐標(biāo)表示為:

其中，xv、yv為螺孔在攝像機(jī)坐標(biāo)系下的坐標(biāo)。

5　實驗結(jié)果

5.1螺孔檢測

通過重復(fù)拍攝10組圖像提取出各個螺孔的中心坐標(biāo)，如表1所示。First_hole表示第一個螺孔的中心點像素坐標(biāo)，Second_hole表示第二個螺孔的中心點像素坐標(biāo)。通過重復(fù)定位精度實驗，提取的中心點坐標(biāo)最大相差0.13個像素。

表1　中心點坐標(biāo)值Table 1 The value of enter point

5.2標(biāo)定結(jié)果

標(biāo)定過程在自行開發(fā)的程序控制下進(jìn)行，攝像機(jī)標(biāo)定結(jié)果如下:

其中，kx=0.782，ky=0.787，攝像機(jī)坐標(biāo)系的原點坐標(biāo)為（438.664，869.288）。

手眼標(biāo)定得到機(jī)器人坐標(biāo)系與攝像機(jī)坐標(biāo)系的位置和姿態(tài)關(guān)系為:

為了驗證標(biāo)定結(jié)果的有效性和精度，分別比較了通過本文闡述的定位方法提取的6個不同位置的孔位坐標(biāo)與實際的坐標(biāo)，如表2所示，發(fā)現(xiàn)圖像提取點與實際數(shù)據(jù)之間的位置偏差不超過0.01mm，具有較好的定位精度。

表2　實驗結(jié)果比較Table 2 Experimental result

6　結(jié)論

研究了一套基于機(jī)器視覺的定位方法，通過對采集到的局部工件圖像進(jìn)行圖像處理提取螺孔中心坐標(biāo)，并通過手眼標(biāo)定轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的坐標(biāo)，解決了較大工件的定位不能一步完成的問題，實現(xiàn)了自動裝配生產(chǎn)線上工件的自動檢測和高精度定位，提高了裝配線的自動化和智能化程度。

［1］ Boissenin M，Wedekind J，Selvan A N.Computer vision methods for optical microscopes［J］.Image and Vision Computing，2007，25（7）：1107-1116.

［2］ Schottler K，Raatz A，Hessellbach J.Precision assembly of active Microsystems with a size-adapted assembly system［C］.Micro-Assembly Technologies and Applications.IFIP International Federation for Information Processing，2008：199-206.

［3］ 徐征，王曉東，程新宇，等.基于機(jī)器視覺的微裝配控制策略及軟件架構(gòu)［J］.光學(xué)精密工程，2009，17（4）：819-824. XU Zheng，WANGXiao-dong，CHENGXin-yu，et al.Microassemblycontrolstrategyandsoftware architecture based on machine vision［J］.Optics and Precision Engineering，2009，17（4）：819-824.

［4］ 胡小平，左富勇，謝珂.微裝配機(jī)器人手眼標(biāo)定方法研究［J］.儀器儀表學(xué)報，2012，33（7）：1521-1526. HU Xiao-ping，ZUO Fu-yong，XIE Ke.Microassembly robot hand eye calibration method research［J］.Chinese JournalofScientificInstrument， 2012， 33（7）：1521-1526.

［5］ Han Jian-hai，Zhao Shu-shang，Sun Wei.Research on subpixel detecting on-line system based on machine vision for inner diameter of bearings［C］.Proceedings of the 2007 IEEEInternationalConferenceonRoboticsand Biomimetics，2007.

［6］ 王曉東，宋洪俠，劉超.基于機(jī)器視覺的微小零件測量與裝配控制［J］.哈爾濱工程大學(xué)學(xué)報，2011，32（9）：1117-1120. WANG Xiao-dong，SONG Hong-xia，LIU Chao.Measurement and assembly control of micro parts based on machine vision ［J］.Journal of Harbin Engineering University，2011，32（9）：1117-1120.

［7］ 宿靖波.機(jī)器視覺在機(jī)器零部件裝配自動定位中的應(yīng)用［J］.機(jī)床與液壓，2013（24）：82-86. SU Jing-bo.Application of machine vision in automatic positioning of machine parts and components［J］.Machine Tool&Hydraulics，2013（24）：82-86.

［8］ YANG Dong-tao，GONG Chang-lai.Dimensional inspection for part using image processing techniques［J］.Coal Mine Machinery，2012，33（5）：141-143.

Research on a High Precision Screw Positioning Detection Method Based on Machine Vision

GUO Jing，LUO Hua，ZHANG Dong-dong
（The 16thInstitute，China Aerospace Science and Technology Corporation，Xi'an 710100）

For manual installation artifacts，labor-intensive and low efficiency，the paper proposes a kind of screw position detection method based on machine vision.First，use CCD camera in real time to image artifacts acquisition，and deal with the image，extracts the coordinates of screw holes.Then determine all of the rest of the screw hold coordinates by physical coordinate relationship.Finally，through the eye-hand calibration switch to the coordinates of the robot coordinate system.This method realizes the work automatically，quickly and accurately locate detection.

machine vision；screw holes；position；high precision

TN1

A

1674-5558（2016）05-01144

10.3969/j.issn.1674-5558.2016.03.020

2015-06-16

郭靜，女，碩士，控制理論與控制工程專業(yè)，助理工程師，研究方向為機(jī)器視覺。