于芝枝 范毅偉

1、國家知識(shí)產(chǎn)權(quán)局專利局專利審查協(xié)作廣東中心，廣東廣州 510530；2、深圳市九洲光電科技有限公司，廣東深圳 518106

一、引言

裝配是制造業(yè)中重要的一環(huán)，是產(chǎn)品生產(chǎn)的后置工序。傳統(tǒng)的裝配生產(chǎn)線上，主要有兩種裝配方式：一種是人工操作方式，即通過人眼及人手配合進(jìn)行裝配，但人的易疲勞、主觀性等特點(diǎn)，容易造成準(zhǔn)確度差和效率低等問題，產(chǎn)品質(zhì)量難以保證。另一種是利用機(jī)器人裝配，機(jī)器人的操作都是預(yù)先嚴(yán)格設(shè)定好的，只能做一些固定的動(dòng)作，這些機(jī)器人利用各種傳感器來進(jìn)行控制，在進(jìn)行裝配操作時(shí)，要求零件和產(chǎn)品等嚴(yán)格按照設(shè)定的位置和方向放置, 需要高精度和高質(zhì)量的夾具或固定機(jī)構(gòu)，以及精心設(shè)計(jì)的其他傳輸機(jī)構(gòu)。在實(shí)際應(yīng)用中，因多方面的原因，零件的位置往往不能嚴(yán)格固定，從而造成裝配機(jī)器人拾取零件時(shí)出現(xiàn)偏差，因此需要機(jī)器人能根據(jù)零件方向和位置的改變動(dòng)態(tài)調(diào)整固有操作程式，提高裝配的柔性。

將視覺系統(tǒng)[1-6]引入工業(yè)機(jī)器人，極大地?cái)U(kuò)展了機(jī)器人的使用性能和應(yīng)用范圍。文獻(xiàn)[1]中，利用機(jī)器視覺和圖像處理技術(shù)對(duì)大批量的油封尺寸進(jìn)行在線實(shí)時(shí)檢測(cè)；文獻(xiàn)[2]將機(jī)器視覺系統(tǒng)應(yīng)用在銅棒的缺陷檢測(cè)與控制上；文獻(xiàn)[3]用視覺方法檢測(cè)分類有缺陷的和完好的棉籽。實(shí)例證明，機(jī)器視覺在現(xiàn)代工業(yè)生產(chǎn)中的應(yīng)用越來越廣泛，而機(jī)器人柔性化裝配的特點(diǎn)在提高裝配質(zhì)量、保證產(chǎn)品質(zhì)量穩(wěn)定性以及提高生產(chǎn)率等方面，都顯示出極大的優(yōu)越性。

本文將機(jī)器視覺系統(tǒng)應(yīng)用在筆記本腳墊裝配生產(chǎn)線上，通過視覺傳感器獲取腳墊的位置信息，并通過圖像處理和識(shí)別算法，計(jì)算腳墊的位置偏移及角度旋轉(zhuǎn)量，并實(shí)時(shí)反饋給控制器，從而動(dòng)態(tài)改變機(jī)械手的抓取操作，提高了裝配操作的柔性和效率。

二、系統(tǒng)組成及設(shè)計(jì)

1、總體概述

腳墊裝配視覺系統(tǒng)的系統(tǒng)結(jié)構(gòu)示意圖見圖1。系統(tǒng)主要由圖像采集、圖像處理、運(yùn)動(dòng)控制、上位機(jī)等部分組成。圖像采集設(shè)備由工業(yè)數(shù)字?jǐn)z相機(jī)、光學(xué)鏡頭和光源構(gòu)成。工業(yè)數(shù)字?jǐn)z相機(jī)及鏡頭用于被測(cè)對(duì)象的圖像采集，通過1394接口與上位機(jī)相連，將采集的圖像數(shù)據(jù)傳輸給上位機(jī)供其處理，光源用于照明并突出對(duì)象的特征。上位機(jī)是核心控制部分，負(fù)責(zé)攝像機(jī)圖像的采集控制，上位機(jī)圖像處理軟件用于對(duì)采集到的圖像進(jìn)行處理，并輸出信號(hào)給控制工作臺(tái)，進(jìn)行后續(xù)的操作。

系統(tǒng)的工作過程見圖2。整個(gè)過程主要分為4個(gè)步驟進(jìn)行：

1、求底板凹槽pin孔角度；

2、抓取腳墊；

3、求腳墊反面pin孔角度；

4、求取底板凹槽中心并對(duì)位裝配。

首先初始化運(yùn)動(dòng)控制、機(jī)械手、圖像采集設(shè)備、圖像處理軟件，點(diǎn)擊運(yùn)行后，二軸平臺(tái)控制圖1中的相機(jī)2分別求取面板四個(gè)角的底板凹槽pin孔的角度；因裝配一片面板的時(shí)間要求控制在10s內(nèi)，為了節(jié)省時(shí)間，同時(shí)，相機(jī)1運(yùn)動(dòng)到料盤處，拍照獲取腳墊中心坐標(biāo)，并用吸嘴中心對(duì)準(zhǔn)腳墊中心吸起腳墊，吸取成功后相機(jī)1運(yùn)動(dòng)至圖1中的孔1處，獲取腳墊反面pin孔的角度，然后與第一步求得的底板凹槽pin孔角度作差得到六軸機(jī)械手需要旋轉(zhuǎn)的角度，最后相機(jī)1運(yùn)動(dòng)至底板凹槽處獲取底板凹槽的中心；所有的像素坐標(biāo)通過機(jī)械手的標(biāo)定都統(tǒng)一到機(jī)械手的世界坐標(biāo)，然后便可由機(jī)械手下壓進(jìn)行對(duì)位裝配。與以上步驟相同，安裝完其它3個(gè)腳墊后即完成一塊面板的裝配。

2、光學(xué)硬件選型

視覺系統(tǒng)必不可少的硬件設(shè)備包括相機(jī)、鏡頭和光源。

相機(jī)的選型要根據(jù)精度要求和工件大小來決定，有下式：

其中，R—表示至少需要的相機(jī)分辨率；

F—表示視場(chǎng)大?。?/p>

A—表示所要求的精度。

本系統(tǒng)中工件大小約為17mm，而視場(chǎng)通常要比工件尺寸大一些，置為20mm，而要求的精度為0.01mm，綜上可得相機(jī)分辨率需要大于2000像素，本系統(tǒng)選擇了德國AVT公司型號(hào)為GuppyPro503B的相機(jī)， 該相機(jī)像素為500萬，像元尺寸2.2μm分辨率為2588×1940（靶面尺寸寬為2588×0.0022mm≈5.7mm），接口類型為C型，傳感器為CMOS型，滿足項(xiàng)目要求。

鏡頭的選型由工作距離、視場(chǎng)大小以及相機(jī)的芯片尺寸決定，有下式：

其中，M—表示放大倍率；

S—表示芯片尺寸；V—表示視場(chǎng)大??；

f—表示要選擇的鏡頭的焦距；

L—表示工作距離。

由（2）式可得放大倍率為5.7/20=0.285。

本系統(tǒng)的工作距離即鏡頭前端到工件的距離為120mm，由（3）式可得所需鏡頭的焦距大小為120/(1+1/0.285)≈ 26。

因此，本系統(tǒng)選擇的鏡頭為日本Computar公司的M2514-MP2普通定焦鏡頭，其焦距為25mm，光圈范圍F1.4～F16，接口類型C型，靶面尺寸2/3"。

光源在視覺系統(tǒng)中有著舉足輕重的地位，它影響著處理的精度和速度，有時(shí)甚至決定了系統(tǒng)的成敗。在機(jī)器視覺項(xiàng)目中，并不是一開始就能決定光源的選型，而要遵循一定流程：首先明確檢測(cè)或測(cè)量的目標(biāo)，然后分析目標(biāo)和背景的區(qū)別并找出二者間差異大的光學(xué)現(xiàn)象，從而初步確定光源的大致類型，最后拿多種符合要求的光源進(jìn)行打光測(cè)試，直到可以獲得較為理想的圖像效果。

本系統(tǒng)選用了科視公司型號(hào)為RL-90-80-W的白色環(huán)形LED光源，LED光源具有壽命長(zhǎng)、發(fā)熱少、顏色多種等特點(diǎn)，因此視覺項(xiàng)目常常采用LED光源。因?yàn)楣P記本后蓋面板有一個(gè)凹槽，為了得到凹槽的圓，本系統(tǒng)選擇的環(huán)光LED燈照射角度與水平呈80°角，直徑為90mm，該光源還帶有一塊漫射板，它可以將表面不平整的物體照射出比較均勻的效果。

三、圖像處理及算法實(shí)現(xiàn)

1、圖像預(yù)處理及閾值分割

腳墊裝配視覺系統(tǒng)工作流程的四個(gè)步驟所拍的圖像如圖3所示。

由于受到種種限制及干擾，圖像獲取和傳輸?shù)倪^程中，難免會(huì)存在噪聲點(diǎn)，需要對(duì)其平滑處理，本文借助卷積核與圖像進(jìn)行卷積來實(shí)現(xiàn)。

設(shè)原始圖像為f(x,y)，卷積核為G(i,j)，核大小為m×n，則處理后的圖像g(x,y)為：

其中，x、y分別為像素點(diǎn)的橫縱坐標(biāo)，a=(m-1)/2，b=(n-1)/2，m和n為奇數(shù)。

對(duì)平滑后的圖像g(x,y)進(jìn)行二值化處理，本系統(tǒng)二值化分割使用OTSU法[7-8]分割出圖像的目標(biāo)部分，算法的原理是使得類間方差最大化的閾值T便是分割圖像前景目標(biāo)的最好閾值，即：

其中，α2—類間方差；

q1—灰度值小于或等于T的類的概率，

q2—是灰度值大于T的類的概率，

μ1—灰度值小于或等于T的類的均值，

μ2—灰度值大于T的類的均值，

μ—兩類的類間均值。

用閾值T，分割出pin孔區(qū)域。對(duì)圖3(b)進(jìn)行預(yù)處理及分割后的結(jié)果如圖4所示。

2、邊緣檢測(cè)及輪廓提取

邊緣提取是圖像分割、目標(biāo)區(qū)域識(shí)別、區(qū)域形狀提取等圖像分析領(lǐng)域一個(gè)十分重要的關(guān)鍵問題，常用的邊緣檢測(cè)算子有Sobel，Prewitt、Canny、Laplacian等，不同算子具有不同的應(yīng)用特性。

本文采用Prewitt算子[9]。Prewitt邊緣檢測(cè)算法是一種類似Sobel的邊緣模板算法，通過對(duì)圖像像素進(jìn)行八個(gè)方向的邊緣檢測(cè)，將其中方向響應(yīng)最大的作為邊緣幅度圖像的邊緣。求取腳墊反面pin角度時(shí)，定位小pin本文用了下文要介紹的基于形狀的模板匹配，求其中心坐標(biāo)，而大pin圓里因產(chǎn)品型號(hào)不同，不同型號(hào)的差別使得無法用匹配來求其中心坐標(biāo)，所以需要通過求腳墊大圓的圓心來實(shí)現(xiàn)。對(duì)圖3(c)中的圖像進(jìn)行邊緣提取的結(jié)果如圖5所示。

3、模板匹配

模板匹配是數(shù)字圖像處理中最常用的算法之一。根據(jù)已知模式到另一幅圖中尋找相應(yīng)模式的處理方法就叫做模板匹配。通過比較模板和目標(biāo)的相似性，在目標(biāo)圖像中找到模板圖像，確定其坐標(biāo)位置。常見的目標(biāo)匹配算法包括基于形狀的模板匹配、基于灰度相關(guān)性的模板匹配、基于輪廓特征的模板匹配、基于紋理的模板匹配等。

本文采用基于形狀的模板匹配[10-11]。首先繪制感興趣區(qū)域ROI，因?yàn)閳D像中腳墊幅面較大，如果對(duì)整個(gè)腳墊創(chuàng)建模板，會(huì)產(chǎn)生過多冗余信息，且花費(fèi)過多時(shí)間，本文繪制了一種環(huán)形的ROI，針對(duì)該ROI創(chuàng)建一個(gè)模板。當(dāng)然，創(chuàng)建之前要對(duì)圖像進(jìn)行一些閾值分割，數(shù)學(xué)形態(tài)學(xué)等處理，創(chuàng)建之后再檢驗(yàn)?zāi)０?，以便校?yàn)更適合的創(chuàng)建參數(shù)。然后在獲取的圖像上尋找模板，最后找出目標(biāo)所在位置的中心坐標(biāo)，本文使用模板匹配是為了進(jìn)行粗定位，對(duì)圖3(a)中的圖像進(jìn)行粗定位的結(jié)果如圖6所示。

4、擬合圓

擬合是指用連續(xù)曲線近似地刻畫或比擬平面上離散點(diǎn)組所表示的坐標(biāo)之間的函數(shù)關(guān)系的一種數(shù)據(jù)處理方法。擬合圓即用標(biāo)準(zhǔn)圓來近似表示樣本點(diǎn)集所表示的坐標(biāo)之間的函數(shù)關(guān)系。本文采用最小二乘法來擬合圓[12]，最小二乘法是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和找到一組數(shù)據(jù)的最佳函數(shù)匹配。

已知樣本點(diǎn)集(Xi,Yi)i∈(1,2,3,...,N)中的點(diǎn)到圓心的距離為d，(A,B)為圓心坐標(biāo)，則有下式：

對(duì)于（7）式中：δi=di2-R2，表示樣本點(diǎn)到圓心距離的平方與圓半徑平方的差，Q(a,b,c)表示δi的平方和，求出參數(shù)a,b,c的值使得Q的值最小即可得到所求的圓半徑及圓心坐標(biāo)。本系統(tǒng)對(duì)圖3(a)經(jīng)過模板匹配粗定位后，再進(jìn)行圓擬合的結(jié)果見圖7。

四、實(shí)驗(yàn)結(jié)果分析

本系統(tǒng)裝配所用的腳墊直徑為16.8mm，而底板孔大小為17.0mm，裝配好后的腳墊示意圖如圖8，腳墊邊緣與底板孔邊緣的距離命名為gap，實(shí)驗(yàn)要測(cè)試圖8中的 1與 5，2與 6，3與7，4與8四對(duì)點(diǎn)對(duì)的gap值的差。

本文實(shí)驗(yàn)中對(duì)用本系統(tǒng)裝配好的10塊筆記本后蓋面板樣品做測(cè)驗(yàn)，并取其均值，測(cè)得的gap數(shù)據(jù)統(tǒng)計(jì)見表1。

表1 實(shí)驗(yàn)結(jié)果統(tǒng)計(jì)（單位：μm）

表中g(shù)ap1表示圖8中點(diǎn)對(duì)1和5的gap差值，gap2-4同理。由實(shí)驗(yàn)結(jié)果可知，各gap差值較均勻，表明本系統(tǒng)裝配的腳墊基本都達(dá)到了0.05mm的精度要求，但FOOT3的值超出了要求，通過打水平表發(fā)現(xiàn)是由于夾具在FOOT3處稍稍高出導(dǎo)致基座不平，從而導(dǎo)致吸嘴下壓時(shí)腳墊出現(xiàn)少許滑動(dòng)造成的，最后通過機(jī)械手的固定補(bǔ)償解決。

通過在工廠車間現(xiàn)場(chǎng)實(shí)驗(yàn)，驗(yàn)證了本系統(tǒng)能夠快速、準(zhǔn)確地完成筆記本腳墊裝配，準(zhǔn)確度達(dá)到98.5%，裝配速度也得到提高，具體數(shù)據(jù)見表2。

表2 對(duì)比統(tǒng)計(jì)表

五、結(jié)束語

本文利用機(jī)器視覺檢測(cè)技術(shù)和圖像處理技術(shù)實(shí)現(xiàn)了腳墊的在線自動(dòng)裝配，在基于形狀的模板匹配中采用了獨(dú)特的環(huán)形感興趣區(qū)域來創(chuàng)建模板，避免了冗余信息，提高了檢測(cè)速度，使用最小二乘法來擬合圓，達(dá)到了很好的效果。通過實(shí)驗(yàn)證明該系統(tǒng)裝配腳墊的精度達(dá)到了0.05mm，滿足了客戶的需求，提高了筆記本腳墊裝配的精確度及裝配效率，具有實(shí)用價(jià)值和一定的通用性。