陳坤煌，樊留群，楊永

基于圖像識別的端拾器吸盤安裝的研究及應(yīng)用

陳坤煌，樊留群*，楊永

（同濟大學(xué)中德學(xué)院，上海 201804）

針對傳統(tǒng)的汽車沖壓件端拾器的線上裝配問題，提出了一種基于圖像識別的線下安裝方法。采用兩個攝像機對裝配中的端拾器進行視覺檢測，通過圖像預(yù)處理提取圖中吸盤的輪廓，利用最小二乘法擬合其輪廓曲線，提取吸盤特征，并與模板庫中的吸盤樣本圖像進行相似度匹配，根據(jù)吸盤的圓面特征和空間坐標(biāo)變換原理，獲取吸盤的位姿，通過計算其與理論位姿的偏差，給出調(diào)整的方法，為吸盤的正確裝配提供指導(dǎo)。實驗結(jié)果表明，該方法可以有效地提取吸盤的位姿，提高了安裝吸盤的效率和精度。

端拾器；真空吸盤；圖像識別；位姿驗證

隨著國內(nèi)汽車銷量的逐步增長，沖壓自動化生產(chǎn)線發(fā)展迅速，設(shè)備及工藝更新?lián)Q代加快，在生產(chǎn)效率進一步提高的要求下對相應(yīng)的輔助配套裝置也有了更高的要求。端拾器就是一種安裝在機器人/機械手端頭部位，利用真空吸盤或夾鉗輔助取放料的裝置[1]。近年來，端拾器已經(jīng)在沖壓自動化生產(chǎn)線上得到了廣泛的應(yīng)用，現(xiàn)已成為其中不可缺少的重要組成部分。

傳統(tǒng)的端拾器吸盤的安裝方法主要是依靠現(xiàn)場技術(shù)人員的經(jīng)驗選取吸盤安裝點的線上安裝方法。由于缺乏精確的理論技術(shù)指導(dǎo)，吸盤的安裝往往需要經(jīng)過多人多次的反復(fù)調(diào)試，因而增加了安裝時間以及自動化生產(chǎn)線上的停機等待時間。若端拾器吸盤的位置安裝不當(dāng)，在后期沖壓過程中，還可能產(chǎn)生重大的安全隱患。因此，快速、準(zhǔn)確地完成端拾器吸盤的安裝工作，具有非常重要的現(xiàn)實意義。關(guān)于端拾器吸盤的精確定位問題，文獻[2]提出了通過組裝機構(gòu)模擬機器人實現(xiàn)線下組裝的方法，文獻[3]提出了proximity snapping和collision snapping方法來實現(xiàn)在虛擬環(huán)境中的精確定位，文獻[4]提出了引入機器人運動學(xué)Denavit-Hartenberg模型的方法。但是，對于吸盤現(xiàn)場安裝時位置調(diào)整的指導(dǎo)方法，目前還沒有很完善的研究。

本文采用離線方式進行端拾器裝配，研制了基于視覺定位的安裝平臺?；贠penCV開發(fā)環(huán)境，采用機器視覺的方法，研究端拾器吸盤安裝位置的驗證及修正問題，提出了一種基于圖像識別的吸盤底部圓心及位姿的計算方法，利用雙目視覺原理和吸盤的圓面特征，結(jié)合二維平面與三維空間的坐標(biāo)系變換，實現(xiàn)端拾器吸盤的定位，檢驗其安裝位置，將吸盤的調(diào)整工作拆分為旋轉(zhuǎn)和平移操作，從而降低實際操作時調(diào)整吸盤位姿的難度，為高效的吸盤安裝提供指導(dǎo)。

1 系統(tǒng)設(shè)計

根據(jù)不同的適應(yīng)場合，吸盤的種類與尺寸有多種選擇[5]。常見的結(jié)構(gòu)類型有折疊型、平底型和橢圓型等。一般，折疊型吸盤用在弧度較大、定位粗糙的部位，適應(yīng)性強；橢圓型吸盤用在細(xì)長緊湊的部位；平底型吸盤直徑較大，用在大平面位置，吸力強。本文主要對折疊型和平底型吸盤進行研究，其外形如圖1所示。

圖1 吸盤示意圖

由于拍攝角度的原因，在圖像中真空吸盤底部呈現(xiàn)出橢圓的形狀，針對吸盤底部的橢圓形輪廓，本文提出了一種輪廓特征與橢圓特性相結(jié)合的算法，識別吸盤底部的橢圓輪廓并求出其圓心及位姿，從而檢驗吸盤是否安裝在理論位置。檢驗流程如圖2所示。

2 圖像處理

通常圖像會由于背景噪聲、光照不均勻、幾何畸變等原因出現(xiàn)失真，需要利用灰度化處理、圖像增強和圖像平滑等技術(shù)改善圖像的視覺效果[6]，從而提取出圖像的有效輪廓。為減少計算量，一般先將彩色圖像轉(zhuǎn)變成灰度圖像，再進行后續(xù)的圖像處理?；叶然Ч鐖D3（a）。

圖2 系統(tǒng)流程圖

高斯濾波器是一類根據(jù)高斯函數(shù)的形狀來選擇權(quán)值的線性平滑濾波器。對圖像進行高斯濾波使圖像更加平滑，且邊緣保留的效果也更好。為將吸盤的輪廓與背景圖像區(qū)分開來，需對圖像進行二值化處理[7]。當(dāng)像素點的灰度值小于設(shè)定閾值時，灰度值置為0，顯示為黑色，大于閾值時，灰度值置為255，顯示為白色。

由于攝像頭安裝在端拾器裝配平臺的固定位置，所以可建立起相機坐標(biāo)和端拾器工作坐標(biāo)之間的變換關(guān)系。因此，所采集到的吸盤圖像的大小和位置限定于一定的范圍內(nèi)。利用二值化圖像提取到輪廓點之后，即可將吸盤的輪廓繪制出來，處理后圖像如圖3（b）所示。

圖3 吸盤圖像處理

3 吸盤特征的提取與圖像匹配

3.1 最小二乘法擬合吸盤輪廓曲線

為了減小后期圖像匹配的計算量，首先進行輪廓曲線的重新采樣。吸盤的輪廓曲線中，選取底部橢圓長軸以下的部分等間距地進行曲線采樣，取20個采樣點，記錄其坐標(biāo)位置，作為輪廓曲線擬合的基礎(chǔ)。

最小二乘法[8]可用于曲線擬合，它要求樣點中y與(x)之差的平方和最小，其公式為：

式中：為曲線的擬合函數(shù)；為待定系數(shù)；φ為一組線性無關(guān)的函數(shù)族，通過人為給定。

圓弧形狀可以通過二階多項式模型很好地擬合出來，故?。?/p>

以20個采樣點作為待擬合點，根據(jù)式（1）編寫最小二乘法程序，求解其中的3個未知系數(shù)1、2和3，即可得到橢圓曲線的方程為：

3.2 吸盤特征的定義

本文基于吸盤底部橢圓輪廓的特點，定義了吸盤的三個特征：輪廓曲線彎折次數(shù)、橢圓弧長與長軸的比值和曲率半徑與長軸的比值。

（1）輪廓曲線彎折次數(shù)。整個吸盤的輪廓曲線包含一定程度的彎曲變化，輪廓的彎曲可以體現(xiàn)其曲線的特點。實驗中采用吸盤輪廓的右半部分進行彎折次數(shù)的計算，如圖4所示。

圖4 彎折次數(shù)示意圖

（2）橢圓弧長與長軸的比值。橢圓弧長[9]是指吸盤底面上的橢圓輪廓長軸以下部分的弧長，弧長長度取相鄰像素點的坐標(biāo)距離的總和。

（3）各采樣點曲率半徑與長軸的比值[10]?？审w現(xiàn)現(xiàn)場采集的吸盤圖像與樣本圖像采樣點的曲率特征的相似程度，在3.1節(jié)中采集的20個采樣點處，利用橢圓曲線方程進行計算。

以上三個特征均具有平移、旋轉(zhuǎn)和尺度不變性，因而可以作為吸盤特征匹配的依據(jù)。

3.3 圖像匹配

首先分別計算工廠里現(xiàn)場采集的吸盤圖像和模板庫中各個吸盤的樣本圖像的輪廓曲線的彎折次數(shù)，然后將其進行對比。圖3中的吸盤的彎折次數(shù)為3次，與模板庫的樣本圖像進行比對，排除掉彎折次數(shù)不為3的樣本圖像。

接下來對吸盤的樣本圖像和現(xiàn)場圖像進行第2個特征的匹配。當(dāng)兩者的相對誤差小于10%時，認(rèn)為兩者的弧長與長軸比值這一特征值匹配成功。

去除掉差異較大的樣本圖像后，對現(xiàn)場圖像和余下的樣本圖像進行20個采樣點的曲率半徑與長軸比值的比對。當(dāng)至少80%的采樣點即16個點都滿足相對誤差小于10%時，認(rèn)為該特征匹配成功。計算滿足該條件的采樣點的個數(shù)，作為判斷依據(jù)。

當(dāng)三個特征的匹配都成功時，實現(xiàn)對圖3中吸盤的識別。詳細(xì)匹配結(jié)果如表1所示。

表1 吸盤特征的匹配結(jié)果

4 吸盤位姿的計算及調(diào)整方案

4.1 吸盤位姿估計方法

端拾器初次安裝后，為了驗證吸盤是否安裝于理論位置，需要通過求取吸盤底部圓心及位姿，定位吸盤在實際空間中的位置和方向。根據(jù)小孔成像原理，相機光心，即凸透鏡的中心，到成像平面的垂直距離為焦距。吸盤底面在相機成像平面中呈現(xiàn)出橢圓形狀，如圖5所示。若已知橢圓的長短軸端點坐標(biāo)和吸盤底面圓的半徑，結(jié)合空間坐標(biāo)變換，即可實現(xiàn)吸盤位置和姿態(tài)估計[11]。

圖5中，將光心與成像平面上橢圓的長軸端點、和短軸端點、連接，并作延長線得到在實際吸盤圓面上的四個端點、、、。此時，相機坐標(biāo)系的和軸分別對應(yīng)長軸和短軸方向。令軸的單位向量為，軸的單位向量為，連接、得到交點，得到在方向上且與成像平面垂直的單位向量，則與相機坐標(biāo)系的軸重合。在相機坐標(biāo)系中，原點為光心，則橢圓的端點坐標(biāo)為（0,v,）、（0, -v,）、（-u, 0,）和（u, 0,）。其中：

（3）

本研究采用了兩臺MV-GE1400C-T型CMOS工業(yè)相機，其圖像尺寸為4384×3288，兩臺相機平行等高、一左一右架設(shè)。根據(jù)橢圓的性質(zhì)，橢圓的長軸端點的曲率半徑最小，短軸端點的曲率半徑最大。計算橢圓輪廓的曲率半徑，可得橢圓長短軸的4個端點。這4個點在左相機的像素坐標(biāo)系下的坐標(biāo)如表2所示。

為了描述點在空間中的位置，需要將像素坐標(biāo)轉(zhuǎn)化為相機坐標(biāo)系下的坐標(biāo)。由相機說明書可得相機的焦距＝6.03 mm，結(jié)合相機參數(shù)和空間坐標(biāo)系的變換[12]將橢圓4個端點坐標(biāo)轉(zhuǎn)化為左相機坐標(biāo)系的坐標(biāo)，如表2所示。

表2 橢圓長短軸端點坐標(biāo)

吸盤底面圓的端點分別在、的延長線上。根據(jù)相似性原理可得、的坐標(biāo)分別為＝、＝。其中，、為比例系數(shù)。利用、的坐標(biāo)得到吸盤底面圓心坐標(biāo)＝(＋)/2。根據(jù)幾何關(guān)系[12]可求得底面圓的圓心坐標(biāo)和圓面法向量的兩組解：

已知和的坐標(biāo)可根據(jù)幾何原理[11]求出單位向量＝（-0.993, -0.052, -0.103）、＝（-0.049, 0.996, -0.034）和＝（-0.105, 0.029, 0.994）。根據(jù)式（4）、式（5）可得吸盤底面圓在相機坐標(biāo)系下的兩組位姿解。實際中相機坐標(biāo)系的、軸與長軸和短軸方向不重合，需將兩組位姿解左乘以旋轉(zhuǎn)矩陣1＝[T,T,T]得到實際相機坐標(biāo)系下的位姿解為：

計算右相機坐標(biāo)系下兩組圓心坐標(biāo)，將右相機坐標(biāo)系下位置轉(zhuǎn)化到左相機坐標(biāo)系下[12]，得到此時左相機坐標(biāo)系下的吸盤圓心坐標(biāo)為：

通過比較可得2和2的偏差更小，因此2、2為真實解，且法向量2與實際法向量的方向相同。通過測量發(fā)現(xiàn)，相機光心與吸盤圓心間的實際距離為50 cm左右，與計算得到的結(jié)果相符。

4.2 吸盤安裝位置調(diào)整方案

在端拾器離線安裝平臺上，工人將吸盤初步安裝就位后，通過上述視覺識別算法，得到與理論位姿的安裝誤差，借助三維軟件Unity3D，以圖像的形式實時顯示偏差及調(diào)整的方位，給出具體的操作提示，指導(dǎo)工人調(diào)整吸盤位姿。如圖6所示，實驗中，坐標(biāo)系原點為左相機光心，安裝副桿為軸參考方向，端拾器主桿為軸參考方向，并通過右手定則確定軸方向。其中，吸盤通過轉(zhuǎn)接桿與副桿連接，轉(zhuǎn)接桿與主桿平行。

為了將吸盤調(diào)整到理論位置，將調(diào)整工作分為平移和旋轉(zhuǎn)操作。假設(shè)吸盤的理論安裝位姿為1＝（1,1,1,1,1,1）、實際安裝位姿為2＝（2,2,2,2,2,2）。其中，、、為位置坐標(biāo)，、、代表空間姿態(tài)信息。

圖6 吸盤安裝坐標(biāo)系

首先對吸盤進行平移操作，為了便于實際指導(dǎo)工人進行調(diào)整操作，分別計算吸盤中心點坐標(biāo)在、和軸上的誤差，將吸盤沿著桿件進行3次平移操作。當(dāng)差值為正時，沿相應(yīng)軸的正方向平移；反之則沿相應(yīng)軸的負(fù)方向平移。吸盤沿坐標(biāo)軸的平移量分別為：

完成對吸盤的平移操作后，還需旋轉(zhuǎn)吸盤至指定姿態(tài)。為了方便工人進行實際旋轉(zhuǎn)操作，將旋轉(zhuǎn)過程拆分為沿著坐標(biāo)軸分別旋轉(zhuǎn)。由于吸盤為旋轉(zhuǎn)體，因此只需對其繞著坐標(biāo)軸進行兩次旋轉(zhuǎn)變換。實際上吸盤在安裝時，吸盤只能繞副桿即x軸和轉(zhuǎn)接桿即y軸旋轉(zhuǎn)。記On2為吸盤實際姿態(tài)，ONt為理論姿態(tài)。首先將吸盤繞y軸從On2旋轉(zhuǎn)θy角度至On2'，此時向量On2'與x軸的夾角等于ONt與x軸的夾角，計算角n2'ONt的大小θx，將吸盤繞x軸繼續(xù)旋轉(zhuǎn)θx角度至理論姿態(tài)ONt。如圖7所示。

記ON與軸的夾角為1，2的空間位姿為3＝（3,3,3,3,3,3），繞軸旋轉(zhuǎn)后2與2在平面的投影和的模大小不變，則有：

據(jù)此得出3、3、3的值。記ON與2在平面的投影分別為和，則旋轉(zhuǎn)角θ和θ的求解方法為：

現(xiàn)給出吸盤理論安裝位姿為1＝（-50.35, 16.03, 498.94, 0.10, 0.30, 0.95）。結(jié)合式（7）～式（9），計算得到θ＝40.22°、θ＝21.37°。在實際操作中，旋轉(zhuǎn)吸盤會引起底部圓心坐標(biāo)的變化。因此計算平移量Δ、Δ、Δ時，需減去吸盤繞和軸旋轉(zhuǎn)時在各個軸產(chǎn)生的偏差，從而得到實際需要平移的距離。記2與軸的夾角為∠2，吸盤繞軸的旋轉(zhuǎn)半徑為r＝5 cm，吸盤繞軸旋轉(zhuǎn)時不改變坐標(biāo)，旋轉(zhuǎn)引起的和軸方向的誤差分別為：

吸盤繞軸的旋轉(zhuǎn)半徑r＝40 cm，旋轉(zhuǎn)時不影響坐標(biāo)，在和軸產(chǎn)生的誤差分別為：

最終得到實際的軸平移量為：

Δ－Δ＝-11.82 mm

同理可得實際和軸的平移量分別為-218.42 mm和-166.91 mm。根據(jù)平移量的大小排序，調(diào)整吸盤位置時優(yōu)先消除較大的偏差。

本文在虛擬現(xiàn)實引擎Unity3D，進行吸盤位置調(diào)整的動畫展示。根據(jù)計算得到的吸盤平移量和旋轉(zhuǎn)角度，首先基于坐標(biāo)軸對吸盤進行3次平移，然后將其依次繞和軸進行旋轉(zhuǎn)。調(diào)整過程如圖8所示。

在實際調(diào)整過程中平移距離和旋轉(zhuǎn)角度難以精準(zhǔn)把控，所以一次調(diào)整往往不能直接調(diào)整到位。因此，通過相機實時拍攝現(xiàn)場吸盤照片并在計算機中求取所需的平移距離和旋轉(zhuǎn)角度，在顯示器中給出實時的用戶操作提示，即平移距離和旋轉(zhuǎn)角度及其方向，從而提升安裝過程的可操作性，實現(xiàn)高效的端拾器吸盤的線下輔助安裝指導(dǎo)。

5 結(jié)論

（1）基于機器視覺的圖像處理技術(shù)，針對端拾器的吸盤，提出了一種基于圖像識別的吸盤底部圓心及位姿的計算方法，實現(xiàn)吸盤的定位，提供吸盤安裝位置驗證和調(diào)整的依據(jù)。

（2）運用圖像處理技術(shù)獲取吸盤輪廓，使用最小二乘法擬合輪廓曲線，在保證準(zhǔn)確度的同時減小計算量，根據(jù)輪廓的特征對現(xiàn)場圖像

和樣本圖像進行相似度比較，實現(xiàn)了現(xiàn)場圖像中吸盤的識別。

（3）利用吸盤底部圓心及位姿信息作為吸盤安裝位置調(diào)整的依據(jù)。以端拾器為參照物分別對吸盤進行旋轉(zhuǎn)和平移調(diào)整，從而降低工人實際操作時的難度。與傳統(tǒng)的線上安裝相比，本文提供的線下輔助安裝指導(dǎo)提高了吸盤裝配的效率和精準(zhǔn)度。

圖8 吸盤位置調(diào)整過程

[1]曹署. 實現(xiàn)機械手自動化沖壓線端拾器共用的方法[J]. 裝備制造技術(shù)，2017（9）：75-77.

[2]趙建會，徐志剛. 沖壓端拾器的組裝和調(diào)試[J]. 精密成形工程，2012，4（2）：67-71.

[3]DEWAR R G，CARPENTER I D，RITCHIE JM，et al. Assembly Planning in a Virtual Environment[C]. Proceeding of Portland International Conference on Management and Technology. Los Alamitos，Cal.，USA：IEEE Computer Society， 1997：664-667.

[4]李翠玲，張浩，趙榮泳，等. 轎車車身沖壓線Tooling的自動化虛擬裝配模型[J]. 計算機集成制造系統(tǒng)，2007（11）：2110-2114.

[5]方芳，謝玉穎. 端拾器在沖壓自動化生產(chǎn)線上的應(yīng)用[J]. 金屬加工（熱加工），2013（17）：83-85.

[6]田欣利，王健全，唐修檢，等. 基于圖像處理的單顆粒金剛石曲率半徑測定方法研究[J]. 中國機械工程，2013，24（3）：308-312.

[7]楊飛平，徐雷，賀云翔，等. 基于直方圖數(shù)據(jù)擬合的PCB板嵌孔識別研究[J]. 機械，2018，45（7）：1-6，58.

[8]陳良澤. 用矩陣運算實現(xiàn)曲線擬合中的最小二乘法[J]. 傳感器技術(shù)，2001（2）：30-31+34.

[9]高瑞璞. 一種輪廓曲線的匹配方法[D]. 大連：大連海事大學(xué)，2014.

[10]王曉龍. 現(xiàn)場鞋印輪廓提取與估計算法研究[D]. 大連：遼寧師范大學(xué)，2015.

[11]韓慶瑤，萬書亭. 機器視覺中空間圓透視投影特性研究[J]. 華北電力大學(xué)學(xué)報，1998（1）：79-84.

[12]趙程. 具有圓面特征的非合作目標(biāo)雙目視覺位姿測量[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2015.

Installation of Tooling Suction Cup Based on Image Processing Methods

CHEN Kunhuang，F(xiàn)AN Liuqun，YANG Yong

( Sino-German School for Postgraduate Studies, Tongji University, Shanghai201804, China )

To solve the problem of traditional on-line assembly of tooling of automobile stamping parts, this paper proposed an off-line installation method based on image recognition. Two cameras were used to detect the tooling in assembly process. The contour of suction cups was extracted by image preprocessing. The least square method was applied to contour curve fitting. Features of suction cups were then extracted and matched with the sample images in template library. The suction cup’s posture was obtained according to the characteristics of the circular surface and the spatial coordinate transformation. By calculating the deviation from its theoretical posture, an adjustment method was developed, which provides guidance for correct assembly of the suction cup. The results show that this method can effectively extract the suction cup’s posture and improve its installation efficiency and accuracy.

tooling；vacuum suction cup；image recognition；posture verification

TP391.7

A

10.3969/j.issn.1006-0316.2020.05.010

1006－0316 (2020) 05－0060－07

2020－01－02

陳坤煌（1994－），男，福建漳州人，碩士，主要研究方向為圖像處理和識別；楊永（1993－），男，安徽宿州人，碩士，主要研究方向為圖像處理和識別。*通訊作者：樊留群（1964－），男，河南長垣人，博士，教授，主要研究方向為機床數(shù)控與機器人和智能制造系統(tǒng)，E-mail：lqfan@#edu.cn。