潘海鴻,陳家春,章 旭,李權(quán)文,陸生齊,陳 琳

(1.廣西大學(xué)機(jī)械工程學(xué)院,南寧 530004;2.廣西安博特智能科技有限公司,南寧 530007)

0 引言

位姿識(shí)別技術(shù)是機(jī)器視覺(jué)技術(shù)應(yīng)用在自動(dòng)化工業(yè)生產(chǎn)中的重要一環(huán),在生產(chǎn)的復(fù)雜場(chǎng)景中利用技術(shù)手段將目標(biāo)的形狀、輪廓或表面特征從背景在提取出來(lái),通過(guò)算法去分析識(shí)別目標(biāo)物體并獲取目標(biāo)物體的大致位姿信息,依此完成定位從而實(shí)現(xiàn)后續(xù)抓取分揀和裝配等操作。目前針對(duì)于目標(biāo)位姿檢測(cè)識(shí)別方面已有不少學(xué)者和研究人員做了大量的研究工作。葉伯生、朱穎等[1-2]通過(guò)圖像處理獲得工件輪廓,依據(jù)最小矩形估計(jì)確定工件的空間形位。該方法簡(jiǎn)單快速,但要求前景與背景分明,便于提取前景輪廓。楊小岡等[3]通過(guò)計(jì)算帶匹配圖像與模板的灰度分布相似度在圖像中尋找目標(biāo),若需要實(shí)現(xiàn)對(duì)包含旋轉(zhuǎn)角目標(biāo)的識(shí)別,則需建立多角度的模板進(jìn)行迭代匹配,角度精度越高,需要模板數(shù)量也越多。該灰度匹配方法依賴迭代匹配的方式獲得精確角度,存在耗時(shí)長(zhǎng)的問(wèn)題;孫興龍等[4]提取待檢測(cè)物體的模板及目標(biāo)圖像特征、模板與目標(biāo)圖像特征匹配、求解匹配參數(shù)獲取旋轉(zhuǎn)角度等;該匹配方法所提取的特征可以為尺度不變點(diǎn)[5]、顏色特征[6]或部分圖像[7]等。但同樣存在計(jì)算量大、耗時(shí)長(zhǎng)等問(wèn)題,且要求被匹配二者間具有相同足夠的清晰特征。李紅衛(wèi)等[8]基于深度學(xué)習(xí)技術(shù)在圖像特征的提取和分割識(shí)別準(zhǔn)確率上都具有良好的表現(xiàn),可應(yīng)用于圖像的角度和位置識(shí)別,但其需要大量樣本制作數(shù)據(jù)集,存在準(zhǔn)備時(shí)間較長(zhǎng)、準(zhǔn)備工序繁瑣等不足。

以上方法可適用于大多數(shù)分揀物品相對(duì)簡(jiǎn)單、背景單一的分揀線,但面對(duì)工業(yè)中應(yīng)用滾筒線分揀鑄造工件時(shí)則稍顯不足。該工況會(huì)存在著:圖像背景復(fù)雜,前景背景分離困難;工件表面不規(guī)則噴油,成像與模板圖像相差較大,且清晰度質(zhì)量不一;工件種類多樣且擺放方向不定等難題。為此,提出一種基于Opencv視覺(jué)的新型去背景提取工件最小包圍輪廓的方法(RBEC),實(shí)現(xiàn)在工業(yè)滾筒線上對(duì)工件角度的準(zhǔn)確識(shí)別。該方法首先對(duì)工件圖像進(jìn)行最大最小濾波適當(dāng)模糊圖像,再與原圖像進(jìn)行像素相與操作去除工件與相鄰滾筒間形成的陰影,其次通過(guò)自定義像素去除算法對(duì)滾筒線殘留進(jìn)行去除,最后提取剩余工件特征的最小包圍輪廓信息獲取工件在滾筒線上的偏角。本文最后在實(shí)際的工件缸蓋分揀流水線上驗(yàn)證該方法,并與傳統(tǒng)的尺度不變特征變換(scale-invariant feature transform,SIFT)、加速穩(wěn)定特征法(speeded up robust features,SURF)和傅里葉-梅林法進(jìn)行效率以及準(zhǔn)確性的對(duì)比,以驗(yàn)證本文所提方法的有效性。

1 去背景提取輪廓(RBEC)算法

1.1 算法結(jié)構(gòu)

RBEC算法主要分為3個(gè)模塊:①去工件陰影及背景,工件具有一定高度時(shí)光源照射在其上會(huì)在前景與背景之間產(chǎn)生陰影,步驟1解決工件與背景間形成的陰影區(qū)域的影響;②去輥道邊緣殘留,滾筒長(zhǎng)時(shí)間受污與磨損造成的滾筒面每次成像不盡相同,步驟2解決提取工件輪廓受滾筒殘留的影響;③提取工件最小包圍輪廓信息,步驟3通過(guò)工件輪廓信息得出此時(shí)工件在滾筒上的偏角。

圖1 RBEC方法框架

1.2 去工件陰影及背景

對(duì)輸入帶工件的輥道圖像(m1×n1)(圖2)進(jìn)行最大和最小濾波處理,為去除工件陰影同時(shí)保留工件特征,對(duì)圖像做如下處理:

(a) 帶工件輥道圖像 (b) 空輥道背景圖像圖2 輸入圖像

g2(i,j)=g1(i,j)-g(i,j)
s.t. 0

(1)

式中:g(i,j)為處理前原圖像對(duì)應(yīng)i行j列位置像素灰度值,g1(i,j)為濾波處理后圖像對(duì)應(yīng)i行j列位置像素灰度值,g2(i,j)為處理前后圖像對(duì)應(yīng)i行j列位置像素灰度值相減所得灰度值。

為突出圖像特征信息,據(jù)式(1)對(duì)遍歷像素點(diǎn)計(jì)算所得圖像進(jìn)行對(duì)比度強(qiáng)化處理。遍歷像素點(diǎn)計(jì)算圖像像素灰度值總和:

(2)

式中:SG為圖像像素灰度值總和。

將圖像像素值進(jìn)行灰度值分類,灰度值相同的像素點(diǎn)放入同一類中:

(3)

式中:Sk為滿足灰度值為k的像素灰度值總和。

對(duì)圖像進(jìn)行對(duì)比度強(qiáng)化處理,將圖像像素灰度值重新映射至0～255范圍內(nèi):

(4)

通過(guò)對(duì)比度強(qiáng)化處理后,使得圖像主要輪廓特征得以突出保留,獲得特征強(qiáng)化圖如圖3所示,同理對(duì)空輥道圖像進(jìn)行上述步驟處理獲得空輥道特征強(qiáng)化圖如圖4所示。

為保留前景(工件),去除背景(輥道),空輥道特征強(qiáng)化圖與帶工件輥道特征強(qiáng)化圖遍歷像素點(diǎn)做像素相減操作:

g4(i,j)=g3(i,j)-g2(i,j)
s.t. 0

(5)

式中:g3(i,j)為空輥道圖像對(duì)應(yīng)i行j列位置像素灰度值,g2(i,j)為帶工件輥道圖像對(duì)應(yīng)i行j列位置像素灰度值,g4(i,j)為空輥道圖像對(duì)應(yīng)i行j列位置像素灰度值與帶工件輥道圖像對(duì)應(yīng)i行j列位置像素灰度值相減所得灰度值。

經(jīng)步驟5處理后對(duì)圖像進(jìn)行二值化,得到二值強(qiáng)化后的特征圖像(圖5)。

圖5 二值化后特征圖像 圖6 去輥道間隙噪點(diǎn)后特征圖像

由于二值化后的圖像中輥道間隙保留下了過(guò)多細(xì)微的噪點(diǎn),為去除噪點(diǎn)同時(shí)保留下工件特征,對(duì)其進(jìn)行均值濾波后再次進(jìn)行預(yù)設(shè)固定閾值圖像二值化,去除輥道邊緣中間細(xì)微噪點(diǎn)同時(shí)保留工件特征信息。同時(shí)對(duì)圖像進(jìn)行適當(dāng)開(kāi)運(yùn)算(腐蝕-膨脹),以增強(qiáng)工件特征間的緊密性(圖6)。

1.3 去輥道邊緣殘留

為方便后續(xù)處理,將圖6均分為上下兩部分依次進(jìn)行處理。

設(shè)在圖像上半部分的任一點(diǎn)像素可表示為P(i,j,g),其中i,j為該像素點(diǎn)對(duì)應(yīng)的位置,即該點(diǎn)所在的行數(shù)和列數(shù),g為該點(diǎn)所對(duì)應(yīng)的像素值。遍歷圖像像素點(diǎn),若該點(diǎn)像素值為255,即圖中白點(diǎn),則視其為“鍵點(diǎn)”,并對(duì)其進(jìn)行處理:

(1)求取該鍵點(diǎn)與圖像水平中心線“鄰近”程度,其求取公式為:

(6)

式中:DW為評(píng)估該點(diǎn)與中心線的鄰近程度值,i為該點(diǎn)對(duì)應(yīng)所在的行數(shù),img.rows為該圖像的總行數(shù)。

(2)統(tǒng)計(jì)該鍵點(diǎn)左右水平直線一定像素點(diǎn)距離范圍內(nèi)的像素值為255的像素點(diǎn)數(shù)量并進(jìn)行歸一化處理:

(7)

式中:Pp為該鍵點(diǎn)左右一定像素點(diǎn)距離范圍內(nèi)像素點(diǎn)值為255的數(shù)量占比大小,Wpn為該鍵點(diǎn)的左右直線距離范圍內(nèi)像素點(diǎn)值為255的白點(diǎn)數(shù)量,Pd為選取的向左或向右的像素點(diǎn)距離。

(3)對(duì)式(1)與式(2)求取的DW與Pp各賦予一定比例權(quán)重再求和值,得出評(píng)估該鍵點(diǎn)取舍評(píng)估值,與預(yù)先設(shè)定閾值對(duì)比,判斷該點(diǎn)的保留(該鍵點(diǎn)像素值保持不變)或者舍棄(鍵點(diǎn)像素值置為0)。

PJ=(A*DW+B*Pd)

(8)

式中:PJ為評(píng)估該鍵點(diǎn)保留或舍棄的評(píng)估值,A為DW的權(quán)重(本文此處取0.5),B為Pp的權(quán)重(本文此處取0.5)。PJ若大于設(shè)定的閾值(本文此處取0.6),則初步判斷該點(diǎn)為工件上的關(guān)鍵點(diǎn),應(yīng)給予保留,若小于設(shè)定的閾值,則判斷為輥道上殘留的邊緣點(diǎn),應(yīng)去除。對(duì)于圖像下半部分的處理,DW的求取公式更變?yōu)?

(9)

其余處理操作與上半部分相同。圖6經(jīng)上述的處理后,其結(jié)果如圖7所示。

圖7 鍵點(diǎn)評(píng)估后圖像 圖8 開(kāi)運(yùn)算處理后圖像

為去除和弱化輥道上孤立的小點(diǎn),對(duì)圖7進(jìn)行開(kāi)運(yùn)算(腐蝕-膨脹)處理后如圖8所示,圖像中的滾筒邊緣殘留已得到大面積的去除,工件的表面特征可基本保留下來(lái)。

為去除圖像上最后殘余的滾筒邊緣點(diǎn),根據(jù)輥道邊緣殘留的間隔特征以及工件上點(diǎn)的緊密性特點(diǎn),對(duì)圖像上存在的任一鍵點(diǎn)P(i,j,g),g=255,有:

(10)

式中:d為距離鍵點(diǎn)P點(diǎn)的左右像素距離,n為先驗(yàn)經(jīng)驗(yàn)選定需連續(xù)判斷的像素點(diǎn)個(gè)數(shù),N為需判斷的像素點(diǎn)個(gè)數(shù)中像素點(diǎn)值為255的個(gè)數(shù)總和。依據(jù)輥道實(shí)際情況,在此處選定d為80個(gè)像素點(diǎn)距離,n為20個(gè)連續(xù)像素點(diǎn)。若N=0,表明該鍵點(diǎn)兩側(cè)一定像素距離內(nèi)均是像素值為0黑點(diǎn),則判斷該點(diǎn)為輥道上的殘留點(diǎn),應(yīng)去除該鍵點(diǎn);反之N≠0,則表面是工件上的特征點(diǎn),給予保留。圖8經(jīng)上述步驟處理之后,輥道殘留剩余邊緣得以去除并較好的保留下了工件的表面特征(圖9)。

圖9 輥道邊緣去除后圖像

1.4 提取工件輪廓及角度信息

為識(shí)別工件的角度,對(duì)圖像9進(jìn)行“膨脹-腐蝕”運(yùn)算,并通過(guò)OpenCV庫(kù)函數(shù)中的findContours函數(shù)提取圖像中的最小包圍輪廓信息,將輪廓信息反饋在原灰度圖像上(見(jiàn)圖10中黑線方框)。

圖10 工件的最小包圍輪廓 圖11 工件偏轉(zhuǎn)角的提取

提取包圍輪廓的4個(gè)角點(diǎn)0,1,2,3,求得相鄰角點(diǎn)間的中點(diǎn)A,B,C,D。連接AC、BD,AC與BD之間的交點(diǎn)為工件的中心點(diǎn)、同時(shí)比較AC與BD直線之間的歐氏距離,距離最長(zhǎng)的直線斜率(圖11中BD)則為工件的偏轉(zhuǎn)角度,至此根據(jù)BD偏轉(zhuǎn)角及包圍輪廓角點(diǎn)位置信息可獲得工件在圖像中的旋轉(zhuǎn)角度及位置信息。

2 實(shí)驗(yàn)驗(yàn)證分析

使用玉柴發(fā)動(dòng)機(jī)缸蓋智能識(shí)別分揀-拾放流水線(圖12)作為實(shí)驗(yàn)驗(yàn)證平臺(tái)。該分揀-拾放平臺(tái)技術(shù)指標(biāo)為:①能適應(yīng)工件不規(guī)則噴油;②滿足工件方向不定工況;③處理時(shí)間小于200 ms;④多種類工件識(shí)別角度誤差均小于±1.5°。使用RBEC法對(duì)流水線上無(wú)序擺放缸蓋工件的角度驗(yàn)證。實(shí)驗(yàn)硬件環(huán)境為CPU i7 8700,內(nèi)存16 G,?？低昅V-CE050-31GM相機(jī);實(shí)驗(yàn)軟件環(huán)境為Win10,Visual studio 2015,Opencv3.4.1。

圖12 發(fā)動(dòng)機(jī)缸蓋識(shí)別分揀-拾放流水線

RBEC方法輸入為m1行n1列的帶工件輥道圖像以及同樣為m1行n1列的空輥道圖像。在啟動(dòng)分揀流水線時(shí),觸發(fā)空拍信號(hào),由相機(jī)對(duì)空輥道進(jìn)行拍照獲取空輥道圖像;在工件到達(dá)分揀工位后,觸發(fā)拍照信號(hào),相機(jī)對(duì)帶有工件的輥道進(jìn)行拍照獲取帶工件輥道圖像;待工件被抓取離開(kāi)相機(jī)范圍后再次觸發(fā)空拍信號(hào);下一個(gè)工件到達(dá)分揀工位時(shí),觸發(fā)拍照信號(hào),以此往復(fù)。

實(shí)驗(yàn)為避免RBEC方法的偶然性和驗(yàn)證該方法的魯棒性,對(duì)進(jìn)入該分揀工位5種表面特征、長(zhǎng)寬各不相同的工件在輥道寬度允許的范圍內(nèi)進(jìn)行任意角度擺放拍攝,其中每種工件各隨機(jī)擺放20個(gè)不同的角度,共計(jì)100個(gè)角度進(jìn)行RBEC法的角度識(shí)別驗(yàn)證(圖13)。經(jīng)上述RBEC法中3個(gè)步驟進(jìn)行處理,得到每個(gè)型號(hào)的角度誤差數(shù)據(jù)與平均耗時(shí),如表1所示。

(a) A30 (b) DK3 (c) JAN (d) F30 (e) KJ1圖13 部分不同類型工件測(cè)試圖像

表1 RBEC法工件角度驗(yàn)證結(jié)果

由表1可知,RBEC方法在處理這類方向不定且受不規(guī)則噴油影響的工件時(shí),均能夠出色的滿足分揀平臺(tái)的技術(shù)指標(biāo),處理時(shí)間遠(yuǎn)小于200 ms,最大識(shí)別角度誤差也均小于1.5°。

為了驗(yàn)證RBEC方法在面對(duì)輥道上的復(fù)雜工件表面的角度識(shí)別具有一定優(yōu)越性,本文分別使用SIFT法[9]、SURF法[10]以及傅里葉-梅林法(FMT法)[11]對(duì)上述100個(gè)不同的角度的工件進(jìn)行配準(zhǔn)求其角度,其配準(zhǔn)結(jié)果如表2所示。

表2 100次實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果

由表2可知,相較于SIFT法、SURF法以及FMT法,RBEC法在保證角度識(shí)別效率的同時(shí)可有效保證角度識(shí)別精度及穩(wěn)定性。而由于光源的非均勻性,工件表面成像質(zhì)量會(huì)隨工件姿態(tài)變化發(fā)生改變,出現(xiàn)工件表面特征丟失及模糊等情況(圖13),致使SIFT、SURF及FMT法均出現(xiàn)誤差增大導(dǎo)致識(shí)別失敗的情況。SIFT方法配準(zhǔn)的角度及位置結(jié)果依賴模板圖像特征點(diǎn)與目標(biāo)圖像特征點(diǎn)間的投影變換計(jì)算,但由于其匹配點(diǎn)眾多且特征點(diǎn)受外界因素影響較大,配準(zhǔn)結(jié)果不穩(wěn)定且計(jì)算耗時(shí)較長(zhǎng);SURF方法基于SIFT上效率有了較大的提升,但仍存在計(jì)算時(shí)間較長(zhǎng)、受外界干擾影響較大等不足;FMT方法匹配效果較差,對(duì)于這類帶較強(qiáng)干擾類型的工件圖像更易出現(xiàn)匹配失敗情況,同時(shí)其角度的計(jì)算誤差也較大。RBEC方法不依賴工件表面特征,在較強(qiáng)的干擾下可實(shí)現(xiàn)對(duì)輥道無(wú)序擺放工件角度的高效正確識(shí)別。

3 結(jié)論

本文提出一種基于輥道去背景化提取工件最小包圍輪廓的方法,克服了工業(yè)輥道現(xiàn)場(chǎng)高干擾、多種類和無(wú)序擺放工況下工件的位姿識(shí)別效果差和識(shí)別時(shí)間長(zhǎng)的問(wèn)題。具體包括:

(1)采用濾波后的背景圖像與工件圖像進(jìn)行像素相減,有效去除陰影與大部分背景干擾;

(2)對(duì)去背景后剩余的滾筒邊緣殘留采用自定義判斷像素權(quán)重占比算法進(jìn)行去除,保留工件特征區(qū)域像素點(diǎn),計(jì)算步驟簡(jiǎn)單,工件背景完全去除;

(3)對(duì)工件區(qū)域進(jìn)行形態(tài)學(xué)連通并基于最小包圍輪廓進(jìn)行工件輪廓提取獲得工件在輥道上的旋轉(zhuǎn)角度和位置信息。相較于傳統(tǒng)的SIFT法、SURF法和FMT法,RBEC法在復(fù)雜工件表面識(shí)別的效率和魯棒性上均得以有效保證。