張 寬，王 晗，陳新度，蔡 念，曾耀斌, 何國銳

(1. 廣東工業(yè)大學(xué) 機(jī)電工程學(xué)院，廣州 510006；2. 佛山市質(zhì)量計(jì)量監(jiān)督檢測中心，廣東 佛山 528225)

0 引言

點(diǎn)膠系統(tǒng)應(yīng)用廣泛，從半導(dǎo)體封裝工業(yè)、集成電路產(chǎn)業(yè)、汽車裝配業(yè)到一般工業(yè)的焊接、注涂和密封，都起著重要作用[1-4]。傳統(tǒng)點(diǎn)膠系統(tǒng)依賴于技術(shù)人員根據(jù)點(diǎn)膠位置進(jìn)行示教編程，不同的工件類型需示教不同的點(diǎn)膠程序，因此，生產(chǎn)效率低下，無法適應(yīng)工件尺寸誤差，不符合復(fù)雜軌跡點(diǎn)膠要求，影響系統(tǒng)點(diǎn)膠精度[5-6]。

基于機(jī)器視覺的點(diǎn)膠設(shè)備研發(fā)是該行業(yè)研究熱點(diǎn)，常見視覺點(diǎn)膠系統(tǒng)大致分兩種，一種是通過導(dǎo)入工件模型或示教等方法獲得基準(zhǔn)工件點(diǎn)膠坐標(biāo)，接著利用視覺系統(tǒng)定位實(shí)時(shí)工件位置，通過上述坐標(biāo)與位置信息的變換確定點(diǎn)膠路徑，執(zhí)行點(diǎn)膠任務(wù)。文獻(xiàn)[7]把機(jī)器視覺應(yīng)用到工業(yè)點(diǎn)膠中，該系統(tǒng)首先在工件上示教點(diǎn)膠軌跡，然后通過模版匹配找出實(shí)時(shí)工件位置相對于基準(zhǔn)工件位置的偏移量，再計(jì)算工件偏移后的軌跡坐標(biāo)，最后由執(zhí)行機(jī)構(gòu)完成點(diǎn)膠動(dòng)作。該方法不需要制作相應(yīng)的定位夾具，大大縮減了生產(chǎn)成本，同時(shí)，在上料過程中，工件可以在相機(jī)視野內(nèi)隨意擺放，也提高了工作效率，但無法適應(yīng)工件尺寸誤差，影響點(diǎn)膠精度。另一種是直接使用工業(yè)相機(jī)采集工件圖像，利用圖像處理算法獲取當(dāng)前工件點(diǎn)膠路徑，執(zhí)行點(diǎn)膠任務(wù)。文獻(xiàn)[8]設(shè)計(jì)了一種可完成圖像識別與處理的新型點(diǎn)膠系統(tǒng)，該系統(tǒng)通過圖像二值化、邊緣檢測和去雜點(diǎn)等一系列圖像處理步驟，最終生成任意復(fù)雜軌跡點(diǎn)膠路徑。該系統(tǒng)解決了傳統(tǒng)點(diǎn)膠機(jī)生成復(fù)雜點(diǎn)膠軌跡困難和點(diǎn)膠單一的問題，但是不能很好適應(yīng)工件類型變化。文獻(xiàn)[9]對點(diǎn)膠機(jī)器人智能系統(tǒng)的視覺部分進(jìn)行了研究，并在系統(tǒng)中引入了模式識別、基于圖像的NC代碼生成、膠線表面質(zhì)量檢測等關(guān)鍵技術(shù)。該系統(tǒng)提高了點(diǎn)膠系統(tǒng)的智能化和自動(dòng)化程度，但是利用圖像R、G、B顏色直方圖0階矩匹配標(biāo)準(zhǔn)圖像的方法不夠魯棒，并且在工件庫較大時(shí)匹配速度受到限制。

本文點(diǎn)膠系統(tǒng)是針對陶瓷行業(yè)點(diǎn)膠需求而設(shè)計(jì)，在部分陶瓷器皿生產(chǎn)過程中，需要在陶瓷器皿底部涂覆一層膠，起到防滑、防刮傷餐桌及地板等作用。由于陶瓷器皿色彩豐富、紋理結(jié)構(gòu)復(fù)雜、種類繁多，所以后續(xù)圖像處理過程中分割閾值等參數(shù)選擇差異較大，影響系統(tǒng)通用性。為解決上述問題，本文提出一種基于工件自動(dòng)識別的視覺點(diǎn)膠系統(tǒng)。該系統(tǒng)提取輸入圖像的HOG特征并通過已訓(xùn)練好的OVO SVMs分類器進(jìn)行工件分類與識別，同時(shí)，選擇自適應(yīng)分割閾值，指導(dǎo)圖像分割、邊緣檢測，獲取初步點(diǎn)膠路徑。然后，通過局部加權(quán)線性回歸和關(guān)鍵控制點(diǎn)提取方法平滑點(diǎn)膠路徑，生成最終任意復(fù)雜點(diǎn)膠路徑，執(zhí)行點(diǎn)膠任務(wù)。

1 點(diǎn)膠系統(tǒng)方案設(shè)計(jì)

本文以工業(yè)計(jì)算機(jī)為核心，設(shè)計(jì)一種基于工件自動(dòng)識別的視覺點(diǎn)膠系統(tǒng)，該系統(tǒng)由機(jī)械部分、控制部分和視覺部分組成，具體結(jié)構(gòu)如圖1所示。

圖1 系統(tǒng)結(jié)構(gòu)圖

系統(tǒng)機(jī)械部分包括點(diǎn)膠機(jī)構(gòu)、機(jī)架、機(jī)殼及XYZ直線運(yùn)動(dòng)軸等，其中XYZ軸組合運(yùn)動(dòng)可實(shí)現(xiàn)復(fù)雜路徑點(diǎn)膠；系統(tǒng)控制部分則由四軸運(yùn)動(dòng)控制卡、多通路I/O控制卡等組成，系統(tǒng)通過調(diào)用運(yùn)動(dòng)控制卡函數(shù)發(fā)送控制指令，再由電機(jī)驅(qū)動(dòng)器控制伺服電機(jī)實(shí)現(xiàn)軸運(yùn)動(dòng)，系統(tǒng)通過I/O控制卡控制真空閥配合軸運(yùn)動(dòng)實(shí)現(xiàn)點(diǎn)膠，并采集傳感器信號實(shí)現(xiàn)系統(tǒng)監(jiān)控；系統(tǒng)視覺部分主要包括圖像采集卡、工業(yè)相機(jī)和LED光源，系統(tǒng)通過控制LED光源、圖像采集卡及工業(yè)相機(jī)完成采集圖像工作，并通過圖像處理實(shí)現(xiàn)工件分類及初步點(diǎn)膠路徑提取。

在上述系統(tǒng)結(jié)構(gòu)設(shè)計(jì)上，系統(tǒng)算法流程可大致歸納為圖像采集、圖像識別、圖像處理、路徑優(yōu)化及點(diǎn)膠，具體如圖2所示。監(jiān)視系統(tǒng)檢測工件運(yùn)動(dòng)到位情況并發(fā)送工件到位信號給控制系統(tǒng)，系統(tǒng)接收信號并完成圖像采集。該圖像經(jīng)已訓(xùn)練的分類模型完成工件分類與識別，選擇自適應(yīng)分割閾值，指導(dǎo)圖像分割。圖像處理過程則是通過上述選擇出的相應(yīng)預(yù)設(shè)參數(shù)進(jìn)行圖像分割、邊緣檢測以及形態(tài)學(xué)處理等圖像后處理完成圖像邊緣輪廓提取。

圖2 算法流程圖

圖像處理過程返回工件邊緣輪廓，即初步點(diǎn)膠路徑，通過路徑平滑及關(guān)鍵控制點(diǎn)提取生成最終點(diǎn)膠路徑，系統(tǒng)將該點(diǎn)膠路徑送入運(yùn)動(dòng)控制器執(zhí)行點(diǎn)膠任務(wù)。

2 工件分類

2.1 陶瓷器皿特征提取

一副圖像可以通過提取的圖像特征來表示，目前常用的特征描述子有Haar特征、SIFT特征、LBP特征、HOG特征等[10]。HOG特征是通過將圖像劃分區(qū)域，統(tǒng)計(jì)各區(qū)域梯度方向直方圖，并將這些直方圖組合而得到的，如圖3所示，HOG特征可以有效地保持圖像的幾何和光學(xué)特性，可以有效地應(yīng)用于工件分類中陶瓷器皿特征提取。HOG特征本質(zhì)則是梯度的統(tǒng)計(jì)，而梯度主要存在于圖像邊緣處，對圖像顏色特征不敏感。此特性符合本系統(tǒng)依賴于黑白工業(yè)相機(jī)的圖像采集過程。避免了RGB圖像到灰度圖像的轉(zhuǎn)化，節(jié)省時(shí)間開銷，與工業(yè)點(diǎn)膠系統(tǒng)實(shí)時(shí)性需求相吻合。HOG特征提取算法的基本步驟如下[11]：

(a)樣本圖 (b)樣本HOG特征

S1：圖像歸一化：通過gamma校正法對輸入的圖像進(jìn)行歸一化處理，以調(diào)節(jié)圖像對比度，降低圖像局部陰影和光照變化造成的影響，提高對光照變化的魯棒性。

S2：梯度計(jì)算：首先輸入當(dāng)前像素點(diǎn)的像素值到式(1)、式(2)計(jì)算當(dāng)前像素點(diǎn)的水平和垂直方向梯度，然后根據(jù)式(3)、式(4)得到當(dāng)前像素點(diǎn)的梯度幅值和梯度方向。

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gx(x,y)=H(x,y+1)-H(x,y-1)

(2)

(3)

(4)

式中，H(x,y)，Gx(x,y)，Gy(x,y)，G(x,y)，α(x,y)為當(dāng)前像素點(diǎn)的像素值、水平方向梯度、垂直方向梯度、梯度幅值和梯度方向。

S3:構(gòu)建梯度方向直方圖：如圖4所示，將480×360大小的圖像劃分為6×6個(gè)cell，其中每個(gè)cell內(nèi)包含80×60個(gè)像素，并且每個(gè)cell采用9個(gè)直方圖通道來統(tǒng)計(jì)梯度信息，接著將每4×4個(gè)cell組成一個(gè)block，則可組成3×3個(gè)block，據(jù)此，HOG特征維數(shù)為4×4×9×3×3=1296。

圖4 目標(biāo)區(qū)域分塊示意圖

S4：區(qū)間歸一化：為了進(jìn)一步減小光照和對比度變化對圖像梯度的影響，需要對block內(nèi)的特征向量進(jìn)行歸一化處理，本系統(tǒng)采用L2-norm的歸一化方法：

(5)

2.2 基于one-versus-one支持向量機(jī)的工件分類

支持向量機(jī)是一種經(jīng)典的機(jī)器學(xué)習(xí)模型，常用于解決分類和回歸問題。支持向量機(jī)的主要思想是將低維向量映射到高維空間，并通過尋找高維特征空間上的最優(yōu)超平面來將數(shù)據(jù)分類。見圖5，x是位于超平面的點(diǎn)，w是垂直于超平面的向量，b是位移間隔，通過求取最大間隔來尋找最佳超平面。當(dāng)訓(xùn)練數(shù)據(jù)線性可分時(shí)，可通過此方法求取最優(yōu)超平面，同時(shí)所有的樣本數(shù)據(jù)點(diǎn)xi應(yīng)滿足yi[wxi+b]≥1,i=1,2,…,n，公式描述如下：

(6)

圖5 SVM最佳超平面

當(dāng)訓(xùn)練數(shù)據(jù)不完全可分時(shí)，使用核函數(shù)將數(shù)據(jù)映射到高維空間，數(shù)據(jù)也在高維空間變成線性可分，最終通過求解對偶問題來得到最優(yōu)解：

(7)

而本點(diǎn)膠系統(tǒng)中工件分類環(huán)節(jié)并不只是簡單的二分類問題，為應(yīng)對多類型陶瓷器皿的分類問題，本系統(tǒng)采用了基于one-versus-one的支持向量機(jī)[12](OVO SVMs)。one-versus-one 支持向量機(jī)分類思想是通過在任意兩類樣本之間設(shè)計(jì)一個(gè)二分類支持向量機(jī)，當(dāng)輸入未知類別的樣本時(shí)，每一個(gè)二分類器都需要對其進(jìn)行分類，并統(tǒng)計(jì)各類別的得分?jǐn)?shù)，分?jǐn)?shù)最高的類別則為該樣本類別。最后由識別出的圖像歸屬類實(shí)現(xiàn)工件自適應(yīng)分割閾值的選擇，工件分類流程如圖6所示。

圖6 工件分類流程圖

3 點(diǎn)膠路徑規(guī)劃

3.1 點(diǎn)膠路徑提取

點(diǎn)膠路徑提取，即圖像邊緣輪廓提取。在圖像采集完成后，通過工件分類獲取工件所屬類別，進(jìn)而自適應(yīng)選擇預(yù)設(shè)分割閾值等參數(shù)并指導(dǎo)圖像自適應(yīng)分割及邊緣檢測。受圖像采集過程、自身環(huán)境電子干擾及工件本身污漬等噪聲影響，圖像分割及邊緣檢測過程中存在噪點(diǎn)，因此，通過形態(tài)學(xué)處理以及一定先驗(yàn)閾值去噪完成整個(gè)圖像后處理過程，并獲取最終前景目標(biāo)邊緣輪廓，即初步點(diǎn)膠路徑。點(diǎn)膠路徑提取大致流程圖如圖7所示。

圖7 點(diǎn)膠路徑提取流程圖

3.2 點(diǎn)膠路徑優(yōu)化

3.2.1 路徑點(diǎn)平滑

初步提取的路徑點(diǎn)連線是連續(xù)微小折線，若直接輸入到運(yùn)動(dòng)控制器中會造成機(jī)械系統(tǒng)抖動(dòng)，影響機(jī)械系統(tǒng)加工效率、精度及使用壽命。在輸入到運(yùn)動(dòng)控制器之前需要對初步提取的路徑點(diǎn)進(jìn)行平滑，在此使用局部加權(quán)線性回歸方法[13]對其進(jìn)行平滑。局部加權(quán)線性回歸是一種非參數(shù)回歸建模方法[14]，包括核回歸、局部多項(xiàng)式回歸、近鄰回歸及穩(wěn)健回歸等方法，本文選用核回歸方法進(jìn)行平滑[15]，其基本思想是: 先選取與當(dāng)前預(yù)測點(diǎn)xpredict相鄰的k個(gè)數(shù)據(jù)點(diǎn)作為局部數(shù)據(jù)集，再選取合適的核函數(shù)計(jì)算局部數(shù)據(jù)集中各數(shù)據(jù)點(diǎn)對應(yīng)的權(quán)值，最后采用加權(quán)最小二乘估計(jì)當(dāng)前預(yù)測點(diǎn)對應(yīng)的局部加權(quán)線性回歸模型參數(shù)，進(jìn)而得到預(yù)測點(diǎn)估計(jì)值。建?；静襟E如下[16]：

S1：以預(yù)測點(diǎn)xpredict為中心，選擇與之相鄰的k個(gè)數(shù)據(jù)點(diǎn)作為局部數(shù)據(jù)集P。

S2：選取核函數(shù)，通過計(jì)算預(yù)測點(diǎn)與P中各數(shù)據(jù)點(diǎn)的距離大小求得對應(yīng)的權(quán)值大小。在此選用Tricube核函數(shù)，定義局部數(shù)據(jù)集中各個(gè)數(shù)據(jù)點(diǎn)的權(quán)值為：

(8)

式中，K(·)為核函數(shù)，h=2max|xi-xpredict|,(xi∈Q,i=1,2,…,k)表示帶寬。

S3：根據(jù)最小二乘原理，選擇加權(quán)誤差平方和作為目標(biāo)函數(shù)并進(jìn)行優(yōu)化，得到預(yù)測點(diǎn)的值。

(9)

式中，ωi表示第i個(gè)樣本點(diǎn)的權(quán)值，a，b表示模型的待定回歸系數(shù)。

局部加權(quán)線性回歸模型是選取與預(yù)測點(diǎn)近似的局部數(shù)據(jù)集，局部數(shù)據(jù)集中的樣本點(diǎn)代表性強(qiáng)，減少了差異較大的樣本對預(yù)測點(diǎn)的干擾，較好提高了預(yù)測效果。近鄰個(gè)數(shù)k是模型的主要參數(shù)，當(dāng)k值較大時(shí)，曲線比較光滑，但是預(yù)測效果較差，當(dāng)k值較小時(shí)則容易出現(xiàn)過擬合現(xiàn)象。系統(tǒng)根據(jù)大量實(shí)驗(yàn)確定k值為9時(shí)，路徑點(diǎn)平滑效果較好。

3.2.2 關(guān)鍵控制點(diǎn)提取

若將所有平滑后的路徑點(diǎn)作為點(diǎn)膠路徑，會產(chǎn)生非常龐大的插補(bǔ)計(jì)算量，考慮到相鄰路徑點(diǎn)之間的相似性，擬先對所有路徑點(diǎn)進(jìn)行分區(qū)，再利用各區(qū)域路徑點(diǎn)間相關(guān)性提取控制點(diǎn)代表各區(qū)域，以降低路徑點(diǎn)密度，并且最大程度上保留原輪廓信息。本文將r個(gè)控制點(diǎn)作為一個(gè)區(qū)域，以此將路徑點(diǎn)劃分為n個(gè)區(qū)域R={r1,r2,…,rn}，接著計(jì)算各區(qū)域坐標(biāo)均值作為關(guān)鍵控制點(diǎn)集合S={s1,s2,…,sn}，得到最終點(diǎn)膠路徑點(diǎn)。

4 實(shí)驗(yàn)結(jié)果與分析

基于工件自動(dòng)識別的視覺點(diǎn)膠系統(tǒng)如圖8所示。本文點(diǎn)膠實(shí)驗(yàn)在隨機(jī)挑選的6種工件上進(jìn)行，具體工件樣本如圖9所示，分別對6種工件進(jìn)行20次點(diǎn)膠實(shí)驗(yàn)，工件1到工件6的點(diǎn)膠平均耗時(shí)分別為8.241s、8.332s、10.327s、7.314s、5.534s、9.148s，因工件型號不同，其路徑長度及復(fù)雜程度存在差異，因此點(diǎn)膠過程存在一定耗時(shí)差距，但整體符合點(diǎn)膠需求。

圖8 點(diǎn)膠系統(tǒng)

圖9 工件樣本

4.1 分類準(zhǔn)確度實(shí)驗(yàn)

采用基于HOG特征的SVM實(shí)現(xiàn)工件分類，獲取該工件相應(yīng)分割閾值實(shí)現(xiàn)后續(xù)圖像自適應(yīng)閾值分割。在上述工件類型中隨機(jī)挑選3600張樣本作為測試數(shù)據(jù)集，并在此數(shù)據(jù)集進(jìn)行工件分類實(shí)驗(yàn)。具體工件分類結(jié)果如表1所示。

表1 分類器測試結(jié)果

從表1看出，工件2、工件3、工件5及工件6出現(xiàn)不同程度的誤檢情況，受HOG特征尺度不變性影響，工件2和工件5、工件3和工件6在紋理結(jié)構(gòu)相似的情況下，樣本尺寸差異導(dǎo)致了工件的錯(cuò)誤識別。工件1和工件4因紋理結(jié)構(gòu)差異明顯，故在HOG特征和SVM的分類識別下，其識別結(jié)果為100%。上述實(shí)驗(yàn)結(jié)果表明，系統(tǒng)平均識別準(zhǔn)確率在98%以上，雖存在誤檢，但同種紋理結(jié)構(gòu)、不同尺寸大小的工件在近似相同的環(huán)境下生產(chǎn)，后續(xù)圖像處理中自適應(yīng)分割閾值接近，對整體點(diǎn)膠精度影響可近似忽略。無漏檢情況發(fā)生則避免了因無法自適應(yīng)挑選后續(xù)圖像處理分割閾值而導(dǎo)致的系統(tǒng)點(diǎn)膠過程中斷，保證了基于工件自動(dòng)識別的視覺點(diǎn)膠系統(tǒng)的穩(wěn)定性、通用性。

4.2 分割精度實(shí)驗(yàn)

在上述工件分類獲取圖像自適應(yīng)分割閾值后，對圖像進(jìn)行二值化操作獲取圖像邊緣。針對圖像邊緣信息，本文點(diǎn)膠路徑優(yōu)化方案—關(guān)鍵控制點(diǎn)提取與閾值分割、軌跡點(diǎn)平滑方案進(jìn)行對比，便于平滑效果可視化，此處對圖像輪廓內(nèi)部進(jìn)行了填充。其直觀平滑效果如圖10所示。

關(guān)鍵控制點(diǎn)提取對平滑效果造成一定影響，從圖10可看出，其平滑效果較路徑平滑的平滑效果稍差，但其分割精度變化不大。為度量軌跡優(yōu)化情況下分割精度的變化情況，提出一種基于面積比的度量指標(biāo)，即二值圖像與人為標(biāo)注的ground truth的面積比。具體結(jié)果如表2所示。

圖10 平滑效果

表2 軌跡優(yōu)化結(jié)果

從上述圖表看出，本文對點(diǎn)膠路徑優(yōu)化后，分割精度變化1.012%左右，可近似忽略，在保證系統(tǒng)精度的前提下延長了系統(tǒng)使用周期。

5 結(jié)論

本文提出一種基于工件自動(dòng)識別的視覺點(diǎn)膠系統(tǒng)，系統(tǒng)通過工業(yè)相機(jī)采集圖像，提取工件樣本HOG特征，輸入到已訓(xùn)練好的OVO SVMs進(jìn)行工件分類與識別，同時(shí)，選擇自適應(yīng)分割閾值，即根據(jù)類別信息調(diào)用預(yù)設(shè)參數(shù)，再利用此參數(shù)指導(dǎo)圖像分割、邊緣檢測等圖像處理算法，獲取初步點(diǎn)膠路徑，然后，通過局部加權(quán)線性回歸方法平滑初步點(diǎn)膠路徑，最后，提取關(guān)鍵控制點(diǎn)，進(jìn)一步優(yōu)化點(diǎn)膠路徑。實(shí)驗(yàn)結(jié)果表明，該方法對工件識別分類準(zhǔn)確率較高，通過平滑和提取關(guān)鍵點(diǎn)方法可在保留原有輪廓信息的基礎(chǔ)上，起到優(yōu)化點(diǎn)膠路徑的作用。