周小萌,吳靜靜*,安 偉

(1.江南大學(xué)機(jī)械工程學(xué)院,江蘇 無(wú)錫 214122;2.江蘇省食品先進(jìn)制造裝備技術(shù)重點(diǎn)實(shí)驗(yàn)室,江蘇 無(wú)錫 214122)

SD卡的生產(chǎn)過(guò)程中,彩噴質(zhì)量保證了SD卡的封裝質(zhì)量。目前在彩噴過(guò)程中,打印料盤內(nèi)SD卡的形態(tài)由人工來(lái)完成識(shí)別,存在人體視覺(jué)容易疲勞以及檢驗(yàn)速度無(wú)法提升等缺點(diǎn)。因此,利用計(jì)算機(jī)視覺(jué)、圖像處理來(lái)代替人工進(jìn)行SD卡的形態(tài)識(shí)別勢(shì)在必行。在料盤中SD卡陣列排列且總面積較大,在光場(chǎng)中無(wú)法達(dá)到均勻光照的效果。SD卡在料盤內(nèi)具有多自由度,存在姿態(tài)隨機(jī)變化的現(xiàn)象,均對(duì)圖像處理辦法提出了新的要求。

對(duì)于不均勻光場(chǎng)中的圖像分割,主要有全局閾值法(如迭代法[1]和OSTU法[2])和局部閾值法(如Bernsen法、Niblack法)兩大類。全局閾值法適合對(duì)目標(biāo)與背景對(duì)比明顯的圖像進(jìn)行分割,無(wú)法適應(yīng)多變的光照情況。因此,文獻(xiàn)[3]中通過(guò)背景分析對(duì)圖像進(jìn)行背景均勻化處理,進(jìn)行全局閾值分割得到二值圖像。局部算法則通過(guò)圖像的局部信息來(lái)確定像素的歸屬,可以較好的分離目標(biāo)與其周圍的背景,但是對(duì)背景區(qū)域和陰影比較敏感,易產(chǎn)生虛假目標(biāo)或?qū)ο髷嗔褑?wèn)題。文獻(xiàn)[4]中為了柔性地適應(yīng)不同的分割環(huán)境,設(shè)置水平與豎直方向的波動(dòng)幅度閾值來(lái)控制對(duì)分割的敏感程度。以上方法在圖像整體明暗分布均勻的情況下能夠完成有效分割。

對(duì)于姿態(tài)多變的目標(biāo),形態(tài)識(shí)別方法主要有:模板匹配算法、統(tǒng)計(jì)特征算法、神經(jīng)網(wǎng)絡(luò)算法等。文獻(xiàn)[5]在模板匹配算法的基礎(chǔ)上,將圖片平均分成12塊區(qū)域,再加上5條交線,一共17個(gè)特征值,通過(guò)特征值完成模板匹配。文獻(xiàn)[6]針對(duì)目標(biāo)偏移的問(wèn)題提出了多模板匹配的方法,把標(biāo)準(zhǔn)模板分為三類,將模板和待測(cè)區(qū)域均從中心分成相等四塊區(qū)域分別進(jìn)行匹配。文獻(xiàn)[7]用六條線從數(shù)字的水平和豎直方向穿越數(shù)字,計(jì)算得出像素改變的次數(shù),得到特征向量,最終逐一計(jì)算規(guī)范模板庫(kù)與目標(biāo)數(shù)字特征向量之間的距離得到目標(biāo)的識(shí)別結(jié)果。文獻(xiàn)[8]通過(guò)引入數(shù)字字符結(jié)構(gòu)特征中的圖段特征,并結(jié)合數(shù)字字符的行列統(tǒng)計(jì)特征組合成為新的特征向量;然后根據(jù)新的組合特征向量設(shè)計(jì)BP神經(jīng)網(wǎng)絡(luò)分類器完成對(duì)數(shù)字字符的識(shí)別。以上方法在圖像模板庫(kù)與圖像目標(biāo)清晰的情況下能夠有效完成識(shí)別。

對(duì)于模板匹配算法,文獻(xiàn)[9]通過(guò)對(duì)投影特征進(jìn)行模板匹配實(shí)現(xiàn)目標(biāo)姿態(tài)的測(cè)量。文獻(xiàn)[10]通過(guò)對(duì)模板圖像進(jìn)行子空間分解,利用盒形正交基對(duì)圖像進(jìn)行逼近,達(dá)到提高效率的效果。文獻(xiàn)[11]通過(guò)多分辨率先粗后精的金字塔搜索策略,能夠同時(shí)滿足實(shí)時(shí)性以及精度的要求。文獻(xiàn)[12]利用采集到的圖像產(chǎn)生實(shí)時(shí)模板進(jìn)行匹配,提高了移動(dòng)目標(biāo)識(shí)別的準(zhǔn)確率。以上算法均針對(duì)各自圖像進(jìn)行特征分析,實(shí)現(xiàn)了高效率與高精度的模板匹配。

圖1 SD卡在料盤中的陣列圖像

1 總體方案

彩噴時(shí),根據(jù)不同類型,SD卡表面存在不同形狀的字符,但是表面的金手指形狀具備唯一不變性。如圖1的陣列圖像中,SD卡表面除金手指以外其他部分的灰度值均與料盤灰度值接近。因此,本文將SD卡表面的金手指作為閾值分割的前景目標(biāo)。由于料盤邊沿形狀與金手指形狀相似度高,需要對(duì)灰度圖像進(jìn)行自適應(yīng)閾值分割以完成金手指目標(biāo)定位,得到金手指清晰的二值圖像。通過(guò)對(duì)金手指進(jìn)行分析,得到一系列描述特征。對(duì)金手指特征向量進(jìn)行分類,完成各種隨機(jī)姿態(tài)下SD卡的形態(tài)識(shí)別。

本文陣列圖像中的光照不均勻現(xiàn)象存在以下特點(diǎn):①光照不均勻現(xiàn)象存在于陣列區(qū)域內(nèi)以及陣列區(qū)域間,且明暗對(duì)比具有漸進(jìn)現(xiàn)象;②不同類型的SD卡與料盤,明暗對(duì)比關(guān)系會(huì)隨之變化。因此本文在第2部分提出了一種自適應(yīng)閾值分割算法:在初步粗定位后對(duì)陣列區(qū)域完成明暗系數(shù)的自適應(yīng)學(xué)習(xí),通過(guò)改進(jìn)的大津法進(jìn)行初次分割,經(jīng)過(guò)模板匹配定位后得到精確定位圖像,完成第2次閾值分割,得到具備魯棒性的圖像分割算法。

本文陣列圖像中SD卡姿態(tài)存在以下特點(diǎn):①自由姿態(tài)下無(wú)法保證在料盤內(nèi)存在SD卡;②姿態(tài)多種多樣,無(wú)法對(duì)形態(tài)變化進(jìn)行量化制作樣本庫(kù)。因此本文在綜合準(zhǔn)確率與實(shí)時(shí)性要求的基礎(chǔ)上,于第3部分提出了一種基于多特征融合的形態(tài)識(shí)別算法。

本文算法系統(tǒng)流程圖如圖2所示。

圖2 本文算法系統(tǒng)流程圖

圖3 自適應(yīng)閾值分割算法流程圖

2 自適應(yīng)閾值分割算法

為求得料盤中每個(gè)SD卡表面的金手指清晰的二值圖像,自適應(yīng)閾值分割算法流程圖如圖3所示。

2.1 改進(jìn)大津法進(jìn)行初次閾值分割

如圖4(a)、4(b)所示為明場(chǎng)與暗場(chǎng)灰度圖像及其灰度直方圖,在明場(chǎng)中SD卡表面的金手指作為前景相對(duì)于背景具有較高對(duì)比度。但是在暗場(chǎng)中灰度直方圖對(duì)比度較差,并且由于光照不均勻的情況,導(dǎo)致期望作為前景的金手指在灰度直方圖中的灰度級(jí)較低。因此,本文將對(duì)經(jīng)典OSTU進(jìn)行改進(jìn):根據(jù)灰度圖像的整體平均灰度進(jìn)行明場(chǎng)暗場(chǎng)的自適應(yīng)判斷,于式(1)中加入自適應(yīng)變量系數(shù)k,以提高期望作為前景的金手指灰度均值在整幅圖像灰度均值中的比例,其中k取決于灰度圖像的整體平均灰度,整幅圖像的灰度均值改為u′:

(1)

式中:w0、u0為背景的概率與均值,w1、u1為前景的概率與均值。

對(duì)于圖4(b)暗場(chǎng)灰度圖像,分別使用經(jīng)典大津法與改進(jìn)大津法對(duì)其進(jìn)行閾值分割,得到二值圖像如圖4(c)所示。

圖4 明場(chǎng)暗場(chǎng)圖像及閾值分割結(jié)果

運(yùn)用改進(jìn)大津法閾值分割得到較為清晰的二值圖像,但是對(duì)于金手指的邊緣處理仍舊較為粗糙,不能滿足對(duì)SD卡形態(tài)判斷的要求。因此,需要在完成金手指精確定位后,再次對(duì)金手指灰度圖像進(jìn)行閾值分割,得到金手指清晰的二值圖像。

2.2 改進(jìn)的模板匹配定位算法

如圖5所示為經(jīng)過(guò)改進(jìn)大津法初次閾值分割后得到的二值圖像,其中部分料盤的邊沿經(jīng)閾值分割后產(chǎn)生了白色矩形區(qū)域,與金手指形狀類似,會(huì)對(duì)金手指的模板匹配造成較大干擾,因此傳統(tǒng)的模板匹配算法有以下不足之處:

①計(jì)算量大,匹配過(guò)程計(jì)算較復(fù)雜,計(jì)算量隨圖像所包含的像素增加而迅速增大,而且執(zhí)行匹配運(yùn)算的次數(shù)隨著像場(chǎng)的大小而增多,匹配效率不高。②對(duì)于像場(chǎng)中金手指方位旋轉(zhuǎn)和尺度縮放的適應(yīng)性較差。③對(duì)于像場(chǎng)中出現(xiàn)的料盤干擾信息過(guò)于敏感,易產(chǎn)生過(guò)匹配。

圖5 SD卡陣列二值圖像

如圖5所示,金手指輪廓特征與料盤邊沿產(chǎn)生的干擾塊輪廓特征相似度較高。因此,需要取金手指模板的區(qū)域特征來(lái)進(jìn)行模板匹配定位,以排除料盤邊沿輪廓特征對(duì)金手指造成的干擾。行列統(tǒng)計(jì)特征主要反映了金手指的區(qū)域統(tǒng)計(jì)特性,既克服了逐像素特征提取運(yùn)算量大的問(wèn)題,又完好的保存了金手指的形狀特征,突出了金手指與料盤干擾塊的區(qū)別。在本文中,金手指模板二值圖像及其行列投影特征曲線如圖6所示。

圖6 金手指模板及行列投影特征曲線

為排除料盤邊沿產(chǎn)生的干擾以及縮短運(yùn)行時(shí)間,本文依據(jù)金手指圖像的行列投影特征進(jìn)行多次模板匹配得到金手指精確坐標(biāo)。主要特點(diǎn)如下。

①通過(guò)分別選用行或列投影特征進(jìn)行歸一化模板匹配,得到行列匹配定位結(jié)果,求得歸一化系數(shù)最大的位置即為圖像中與模板最相似的金手指的位置。行或列匹配過(guò)程的數(shù)學(xué)描述為:

(2)

式中:T為金手指模板投影向量,大小為M;S為SD卡的二值圖像投影向量,大小為L(zhǎng)。

②為解決像場(chǎng)中出現(xiàn)的冗余信息干擾問(wèn)題,進(jìn)行多次匹配定位得到金手指精確位置。以圖像左上角為原點(diǎn)(0,0),橫向?yàn)閄軸,縱向?yàn)閅軸。定位算法流程圖如圖7所示。

圖7 改進(jìn)的模板匹配定位算法流程圖

圖8 自適應(yīng)閾值分割得到的圖像

通過(guò)得到的金手指精確坐標(biāo)對(duì)SD卡灰度圖像分割得到圖8(c)所示的金手指灰度圖像。

2.3 改進(jìn)大津法進(jìn)行再次閾值分割

運(yùn)用改進(jìn)大津法對(duì)金手指灰度圖像閾值分割得到圖8(d)所示的金手指二值圖像。

3 基于多特征融合的形態(tài)識(shí)別算法

通過(guò)分析得到的金手指二值圖像,以金手指的位置特征(XY坐標(biāo))、形狀特征(長(zhǎng)度寬度)、面積特征、傾斜度與模板匹配度特征(歸一化相關(guān)系數(shù)的大小)等多個(gè)特征提取特征向量,得到SD卡在料盤中的形態(tài)。

3.1 SD卡姿態(tài)分析

圖9為SD卡在料盤中的9類姿態(tài)描述。

圖9 SD卡在料盤中的姿態(tài)與描述

3.2 SD卡形態(tài)識(shí)別

在SD卡的生產(chǎn)工藝中,將形態(tài)分為3類:①“0”類:正常形態(tài)包括在料盤中姿態(tài)。②“1”類:翹料形態(tài)包括壓到料盤邊沿、在料盤中翹曲、在料盤中旋轉(zhuǎn)等姿態(tài)。③“2”類:少料形態(tài)包括不在料盤中姿態(tài)。

形態(tài)識(shí)別特征如下:

①位置特征:金手指坐標(biāo)范圍為(x0±Δx,y0±Δy),其中(x0,y0)為SD卡在料盤正中時(shí)金手指坐標(biāo)。Δx為料盤左右邊沿與邊沿內(nèi)壁的距離。Δy為料盤上下邊沿與邊沿內(nèi)壁的距離。金手指位置特征坐標(biāo)為(0,0)說(shuō)明未匹配到金手指,為少料形態(tài);超出范圍為翹料形態(tài);

②形狀特征:金手指的長(zhǎng)度與寬度范圍為(H0±ΔH,W0±ΔW),其中(H0,W0)為SD卡在料盤正中時(shí)金手指的長(zhǎng)度與寬度。ΔH為料盤上下邊沿高度與料盤中心高度差引起的金手指長(zhǎng)度變化。數(shù)學(xué)模型如圖10所示。

圖10 縱向截面數(shù)學(xué)模型

(3)

可得:

ΔH=H0*(1-cos(arcsin(H/H0)))

(4)

同理可得ΔW為料盤左右邊沿高度與料盤中心高度差引起的金手指寬度變化量。金手指形狀特征為0,為少料形態(tài);超出范圍為翹料形態(tài);

③面積特征:SD卡在料盤中金手指的面積范圍為(S0-ΔS,S0),其中S0為SD卡在料盤正中時(shí)金手指面積。ΔS為壓到料盤邊沿后金手指面積變化量。金手指面積特征為0,為少料形態(tài);超出范圍為翹料形態(tài);

④補(bǔ)充特征:以上特征可以完成對(duì)大部分SD卡姿態(tài)的形態(tài)識(shí)別,但是對(duì)旋轉(zhuǎn)姿態(tài)的形態(tài)識(shí)別不盡人意。因此加入傾斜度k與匹配度p作為補(bǔ)充特征。

(5)

式中:k0為金手指模板的傾斜度,L0為金手指模板中最先出現(xiàn)白色像素點(diǎn)的行坐標(biāo),L1為金手指模板中出現(xiàn)大量白色像素點(diǎn)的行坐標(biāo),colshadow為金手指模板列特征向量。當(dāng)匹配到的金手指傾斜度k>k0時(shí),說(shuō)明金手指發(fā)生旋轉(zhuǎn)即SD卡為翹料形態(tài);

p=p0+p1

(6)

式中:p0為行投影特征匹配時(shí)得到的歸一化系數(shù),p1為列投影特征匹配時(shí)得到的歸一化系數(shù),p<1.5說(shuō)明求得的金手指與金手指模板相似度差,即為翹料形態(tài);

對(duì)金手指進(jìn)行特征向量提取:金手指特征判斷結(jié)果為正常放置形態(tài)時(shí),該項(xiàng)元素為“0”;翹料形態(tài)時(shí),該項(xiàng)元素為“1”;少料形態(tài)時(shí),該項(xiàng)元素為“2”。全部特征向量元素提取完畢后,對(duì)特征向量進(jìn)行分類:特征向量中存在元素“2”,即輸出結(jié)果為:“少料”;特征向量中元素全部為“0”,即輸出結(jié)果為:“正常”;其他情況時(shí):輸出結(jié)果為:“翹料”。

4 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證所提出算法的有效性,采用設(shè)備實(shí)際運(yùn)行過(guò)程中采集到的100幅8×8陣列黑白圖像進(jìn)行實(shí)驗(yàn)。圖像大小為3 840×2 748。工控機(jī)采用IPC-610主板i7-3770,8G運(yùn)行內(nèi)存加裝250G固態(tài)硬盤。開發(fā)環(huán)境為Visual Studio 2010。相機(jī)為1000萬(wàn)黑白相機(jī),型號(hào)為:大恒MER-1070-14U3M-L。

4.1 模板匹配定位算法對(duì)比實(shí)驗(yàn)

為了驗(yàn)證本文所設(shè)計(jì)的改進(jìn)模板匹配定位算法的實(shí)時(shí)性以及精度,本文設(shè)計(jì)了如下實(shí)驗(yàn)。分別使用基于逐像素點(diǎn)的模板匹配算法、本文中的模板匹配算法、基于投影特征的模板匹配算法,對(duì)采集到的100幅圖像進(jìn)行對(duì)比試驗(yàn)。得到各匹配算法運(yùn)行時(shí)間以及定位誤差。其中,定位誤差描述為匹配定位結(jié)果與實(shí)際位置的歐式距離:

(7)

式中:(x,y)為定位結(jié)果,(x0,y0)為實(shí)際位置。得到各定位算法在處理100幅圖像時(shí)的平均運(yùn)行時(shí)間以及誤差對(duì)比。

表1 模板匹配定位算法運(yùn)行時(shí)間

圖11 定位算法誤差對(duì)比圖

雖然基于逐像素點(diǎn)的匹配定位算法定位誤差最小,但運(yùn)行時(shí)間超過(guò)1 500 ms,不能滿足工作節(jié)拍的要求。基于投影特征的匹配定位算法運(yùn)行時(shí)間最短,但是定位誤差太大,無(wú)法滿足SD卡形態(tài)識(shí)別準(zhǔn)確率的要求。本文匹配定位算法誤差小,運(yùn)行時(shí)間在300 ms以內(nèi),能夠滿足實(shí)際需求。

4.2 多特征融合形態(tài)識(shí)別實(shí)驗(yàn)

為了驗(yàn)證本文SD卡形態(tài)識(shí)別算法的準(zhǔn)確率與魯棒性,對(duì)實(shí)際采集的100幅圖像中SD卡形態(tài)進(jìn)行了識(shí)別,識(shí)別結(jié)果如表2所示,對(duì)于64×100=6 400 項(xiàng),正確識(shí)別數(shù)為:6 394,準(zhǔn)確率為99.906%,滿足實(shí)際要求。由此可知,本文所設(shè)計(jì)的SD卡形態(tài)識(shí)別算法具有良好的準(zhǔn)確率以及魯棒性。

表2 形態(tài)識(shí)別算法測(cè)試結(jié)果

5 結(jié)論

通過(guò)前面的討論和實(shí)驗(yàn)數(shù)據(jù)可以看出,本文SD卡形態(tài)識(shí)別算法具有以下特點(diǎn):①在分割存在不均勻明場(chǎng)暗場(chǎng)區(qū)域的圖像時(shí),改進(jìn)的大津法與傳統(tǒng)的大津法相比具有很大的優(yōu)勢(shì)。②在匹配性能上,傳統(tǒng)的模板匹配定位算法在運(yùn)行時(shí)間與抗干擾的能力方面無(wú)法達(dá)到實(shí)際需求。而文中提出的定位算法不僅運(yùn)行時(shí)間短,并且抗干擾能力強(qiáng),準(zhǔn)確度高。③在形態(tài)識(shí)別時(shí),基于多特征融合的形態(tài)識(shí)別算法由于選取了位置特征、形狀特征、補(bǔ)充特征等多個(gè)特征,較好的克服了SD卡姿態(tài)多變的干擾,使系統(tǒng)的識(shí)別率大大提高,穩(wěn)定性加強(qiáng)。對(duì)大量現(xiàn)場(chǎng)圖片的識(shí)別測(cè)試顯示其識(shí)別效果理想。