李 強(qiáng),耿云逸,吳福培,2,李昇平,2,陽(yáng) 春,陳 練

(1.汕頭大學(xué)工學(xué)院機(jī)電系,廣東 汕頭 515063;2.汕頭輕工裝備研究院,廣東 汕頭 515063)

0 引言

隨著機(jī)器視覺技術(shù)在印刷品檢測(cè)中的推廣應(yīng)用,印刷的速度和要求越來(lái)越高,需要對(duì)常見的印刷品表面缺陷,如飛墨、劃痕、刀絲、漏印等進(jìn)行精確快速檢測(cè).檢測(cè)過(guò)程包括圖像獲取、圖像處理、目標(biāo)定位、檢測(cè)與識(shí)別,而作為中間環(huán)節(jié)的目標(biāo)定位在很大程度上制約著缺陷檢測(cè)的速度,定位質(zhì)量的高低也直接影響后續(xù)誤判的概率.另一方面,印刷圖像向?qū)挿?、多色彩的方向發(fā)展,圖像本身數(shù)據(jù)量的增加也對(duì)檢測(cè)的速度提出了挑戰(zhàn).為了適應(yīng)生產(chǎn)的需要,提高產(chǎn)品質(zhì)量,目標(biāo)定位作為檢測(cè)的一個(gè)前提顯得越來(lái)越重要.

受復(fù)雜生產(chǎn)環(huán)境、振動(dòng)、噪聲、張力變化、傳輸信號(hào)中斷等因素的影響,給圖像精確定位帶來(lái)了難點(diǎn),算法本身的不理想也增加了搜索的負(fù)擔(dān).為了提高定位的時(shí)間,實(shí)現(xiàn)模板的快速匹配,文獻(xiàn)[5]對(duì)模板圖像進(jìn)行抽樣提取匹配點(diǎn),采用遺傳算法的非遍歷機(jī)制,迅速收斂到全局最優(yōu)解,減少匹配過(guò)程的計(jì)算量.文獻(xiàn)[7]借助模擬退火算法的思想,提出了一種尺度參數(shù)可變的散亂點(diǎn)匹配,通過(guò)曲線約束進(jìn)行控制點(diǎn)篩選達(dá)到更廣泛的收斂區(qū)間和更高的定位精度.這些方法在提高搜索效率上有一定積極作用,但是面對(duì)印刷品高速、高精檢測(cè)的要求時(shí),多數(shù)算法的速度會(huì)遇到瓶頸,匹配速度和精度不可均衡,很難滿足生產(chǎn)的要求.針對(duì)這一問(wèn)題,本文首先采用圖像金字塔(圖1),對(duì)圖像進(jìn)行分層預(yù)處理,從計(jì)算效率和存儲(chǔ)來(lái)看,可以快速生成.其次,由于分層后可以確定每層圖像的像素點(diǎn)的個(gè)數(shù),因此建立了各層基于特征點(diǎn)的目標(biāo)函數(shù).最后采用粒子群搜索算法進(jìn)行分層迭代搜尋,由粗到細(xì)求解各層最優(yōu)匹配參數(shù),相比直接對(duì)整幅圖像進(jìn)行搜索,該方法計(jì)算簡(jiǎn)單、收斂快,精度高.

圖1 圖像金字塔

1 圖像分層預(yù)處理

1.1 圖像分層預(yù)處理

圖像金字塔化一般包括兩個(gè)步驟:首先,對(duì)圖像用低通濾波器進(jìn)行平滑;其次,對(duì)平滑后的圖像在橫縱兩個(gè)方向按固定比例(常為0.5)進(jìn)行抽樣.對(duì)任意一幅圖像,通過(guò)一個(gè)kXk的卷積模板加權(quán)平均為新的像素構(gòu)成的第二級(jí)圖像,再在第二級(jí)圖像的基礎(chǔ)上構(gòu)成第三級(jí)圖像,持續(xù)下去構(gòu)成一系列的序列.像素大小為mXn的參考模板序列和像素大小為MXN的待測(cè)圖像序列分別表示為:

其中,w=1,2,…,p,p是圖像金字塔的層數(shù),具體的分層層數(shù)的選擇,根據(jù)模板圖像和待匹配的圖像的大小以及k的大小而定.圖2表示的是圖像經(jīng)過(guò)提取邊緣輪后,由高斯低通濾波器進(jìn)行平滑,生成四層金字塔:

圖2"鐵觀音"分層

圖2 所示為目標(biāo)圖像"鐵觀音"的邊緣在不同層數(shù)下的邊緣檢測(cè).由于金字塔的層數(shù)實(shí)際對(duì)應(yīng)頻率域的尺度選擇,而多尺度表達(dá)隨著尺度參數(shù)的增加冗余信息也變得更多.在第二層,邊緣陰影比較清晰的突顯出來(lái);而第三層,由于經(jīng)過(guò)兩次平滑而導(dǎo)致邊緣形狀扭曲變形;而第四層是由第三層平滑得到,如果采用第四層圖像對(duì)該圖像結(jié)構(gòu)進(jìn)行定位和檢測(cè),將會(huì)導(dǎo)致更嚴(yán)重的偏差,由此可認(rèn)為該層不適合定位和檢測(cè),是多余的信息.因此,選擇合適的層數(shù)或尺度因子對(duì)目標(biāo)圖像的定位與檢測(cè)至關(guān)重要.

1.2 搜索空間

圖3中,T是參考模板,點(diǎn)個(gè)數(shù)為mXn,si,j是待測(cè)圖像,大小為MXN;坐標(biāo)(i,j)表示模板覆蓋被搜索圖的左上角坐標(biāo);p表示圖像分層層數(shù).則由分層預(yù)處理可知:第w層的搜索范圍:

圖3 分層圖

2 印刷品圖像的匹配模型

2.1 點(diǎn)匹配模型

目標(biāo)定位過(guò)程中需要考慮的參數(shù)有:平移

參數(shù),旋轉(zhuǎn)參數(shù),尺度因子等;用圖像的仿射變換來(lái)解決圖像間的幾何位置差別.若原圖像素中某一點(diǎn)坐標(biāo)為(x1,y1),經(jīng)過(guò)仿射變換后的坐標(biāo)為(x2,y2),則:

可用向量和矩陣表示為P2=T+sRP1.上式中P2,P1為坐標(biāo),T是平移向量,tx、ty為歐式空間x方向平移分量、y方向平移分量,s是尺度或比例因子,θ是旋轉(zhuǎn)因子,R為旋轉(zhuǎn)矩陣.為了確定變化后的圖像與標(biāo)準(zhǔn)圖像間差異的最小位置,相似性度量采用距離函數(shù)的形式:

式中,f(x1,y1)是參考圖像在(x1,y1)的像素點(diǎn),f(x2,y2)是待匹配圖像在(x2,y2)的像素點(diǎn).本文將模板和待測(cè)圖像進(jìn)行分層后,可知在第w層上像素點(diǎn)個(gè)數(shù)分別為:.從而建立像素點(diǎn)的分層匹配模型為:

2.2 粒子群算法(PSO)

粒子群算法是介于遺傳算法和進(jìn)化規(guī)劃之間的一種群體智能算法,由于其隨機(jī)搜索的本質(zhì),不容易陷入局部最優(yōu)解,基于適合度概念的進(jìn)化特征又保證了算法的快速性.在粒子群算法中,每個(gè)個(gè)體稱為一個(gè)"粒子",每個(gè)粒子都具有位置矢量和速度矢量,而位置矢量代表問(wèn)題的一個(gè)可能的解.PSO中涉及的主要概念如下.

zi=(zi1,zi2,…,ziD),即群體由m個(gè)粒子構(gòu)成,zi為第i個(gè)粒子(i=1,2,…,m)的D維位置矢量,根據(jù)事先設(shè)定的適應(yīng)值函數(shù)計(jì)算zi當(dāng)前的適應(yīng)值.vi=(vi1,vi2,…,viD)為粒子的飛行速度,即粒子移動(dòng)的距離.pi=(pi1,pi2,…,pid,…,piD)為單個(gè)粒子搜索到的最優(yōu)位置.pg=(pg1,pg2,…,pgd,…,pgD)為整個(gè)粒子群迄今為止搜索到的最優(yōu)位置.如圖4為粒子調(diào)整位置的示意圖.

圖4中隨機(jī)分配3個(gè)粒子,求解三個(gè)匹配參數(shù),粒子維數(shù)為3.以粒子1為例,首先隨機(jī)分配起始搜尋位置和粒子速度v1,計(jì)算適應(yīng)值:z11.粒子2、粒子3進(jìn)行相同的操作,將三個(gè)個(gè)體極值中的適應(yīng)度最優(yōu)個(gè)體的位置和適應(yīng)值記錄到全局極值中.然后,更新速度和位置,v2是按公式(6)更新后的速度,是按公式(7)調(diào)整后的下一個(gè)搜索點(diǎn).其中,vpi記錄搜索到最佳位置處單個(gè)粒子的速度,vpg記錄搜索到最佳位置處整個(gè)粒子的速度.在迭代過(guò)程中,粒子反復(fù)跟蹤個(gè)體和群體的最佳適應(yīng)值不斷調(diào)整自己的位置,從而得到最優(yōu)解.粒子根據(jù)以下式子更新速度和位置:

圖4 粒子群迭代過(guò)

其中,i=1,2,…,m;d=1,2,…,D;k是迭代次數(shù),γ是慣性權(quán)重因子;r1,r2是[0,1]

之間的隨機(jī)數(shù),用來(lái)保持群體的多樣性;c1,c2是學(xué)習(xí)因子.

2.3 基于粒子群的分層搜索

在高速印刷中,在印刷張力的作用下紙張保持相對(duì)穩(wěn)定連續(xù)的運(yùn)動(dòng),此時(shí)尺度或比例的變化極小,可假設(shè)為常量,因此s取1.公式(5)簡(jiǎn)化為:該問(wèn)題可以描述為:以適應(yīng)度評(píng)價(jià)函數(shù)D=D(T,R,w)為判決基準(zhǔn)下,在搜索空間為公式(2)各層上(第w層)找到最佳匹配點(diǎn)的位置時(shí)求解匹配參數(shù)的值.因此,算法描述如下:

其中,w=1,2,…,p表示金字塔的第w層,ε為設(shè)置的門限值.當(dāng)?shù)趙層搜索結(jié)束,以取得全局最優(yōu)解的粒子位置作為下一層的初始搜索位置,縮小了隨機(jī)分配搜尋的范圍.其次,由于每個(gè)粒子具有向全局最優(yōu)解接近的趨向,可以很好的避免搜索中的局部最優(yōu)解,尤其是受到噪聲、振動(dòng)干擾的突變像素所在位置粒子.

圖5 算法流程圖

3 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)平臺(tái)為Pentium(R)D CPU 2.20GH和2GB內(nèi)存,在機(jī)器視覺處理軟件Halcon下完成.課題在卷筒紙印刷中要求表面缺陷的最小檢測(cè)精度為0.2 mm,檢測(cè)速度不低于200 m/min,印刷紙的最大幅寬為1020 mm,相當(dāng)于每秒檢測(cè)5張1020X720 mm的單張紙.首先,確定初始化粒子個(gè)數(shù)m=30,隨機(jī)分布到待測(cè)圖像上,圖像長(zhǎng)寬為361X 160 mm,像素個(gè)數(shù)為1024X454,匹配模板像素大小為74X84,采用3X3卷積模板對(duì)圖像分層.其次,結(jié)合最小精度和像素分辨率選定恰當(dāng)?shù)拈撝底鳛樗惴ǖ慕K止條件.最后,由定位參數(shù)對(duì)待測(cè)圖像進(jìn)行仿射變換實(shí)現(xiàn)位置校正.實(shí)驗(yàn)流程如圖6所示.

為了獲取標(biāo)準(zhǔn)圖像,程序連續(xù)采集25張印刷品樣品圖像,通過(guò)在線學(xué)習(xí)訓(xùn)練得到如圖7(a)所示的效果圖.如圖7(b)所示待測(cè)圖像總共有300張,分別被處理成不同的旋轉(zhuǎn)角度:1°,2°,4°,6°.

圖6 實(shí)驗(yàn)流程圖

圖7 實(shí)驗(yàn)圖像

在圖7(b)中,待測(cè)圖像存在旋轉(zhuǎn)偏移,偏移角度為2°,并且有飛墨.在選擇ROI區(qū)域后,首先提取區(qū)域邊緣特征建立形狀模板,然后模板進(jìn)行分層,本實(shí)驗(yàn)層數(shù)為3層,見圖7(c).采用圖6中的粒子初始參數(shù),對(duì)待測(cè)圖像分層搜索,如圖7(d)右側(cè)與下側(cè)邊緣,實(shí)驗(yàn)結(jié)果顯示圖像像素的位置整體被校正.

3.1 校正偏差和分層后時(shí)間的對(duì)比

實(shí)驗(yàn)統(tǒng)計(jì)了如表1所示的不同偏移角度下的平均時(shí)間和角度對(duì)比.同時(shí),測(cè)試了如表2所示的不同分層層數(shù)下的時(shí)間.

表1 不同角度下的偏差和平均時(shí)間

表1表示分層數(shù)為3層時(shí)的角度偏差對(duì)比,角度偏移相當(dāng)于同時(shí)存在水平偏移和垂直偏移.算法搜索的角度與實(shí)際值存在一定誤差,主要原因有二:一是由于粒子群算法本身在迭代過(guò)程的計(jì)算誤差不斷累積產(chǎn)生的;其次是對(duì)模板進(jìn)行邊緣匹配時(shí),邊界點(diǎn)或噪聲點(diǎn)對(duì)待測(cè)圖像的干擾產(chǎn)生的偽邊緣造成邊緣檢測(cè)誤差.試驗(yàn)中對(duì)連續(xù)圖像進(jìn)行了多次測(cè)試,統(tǒng)計(jì)結(jié)果顯示平均校正偏差不超過(guò)0.1°,即水平誤差達(dá)到0.999個(gè)像素,垂直誤差達(dá)到0.017個(gè)像素,校正精度很高.

表2 不同分層下的平均時(shí)間

表2表示單層數(shù)搜索與多層搜索的時(shí)間對(duì)比,對(duì)單層圖像采用粒子群平均時(shí)間超過(guò)1s,在相同的參數(shù)下對(duì)分層后的圖像采用粒子群搜索時(shí)間大幅降低.當(dāng)分層層數(shù)為3層,最大角度偏移為6°時(shí),印刷品的校正時(shí)間僅僅占檢測(cè)時(shí)間的27.66%.這是因?yàn)?分層前單層圖像和模板匹配時(shí)的計(jì)算量為(1024-74)X(454-83)=352450,圖像分3層后,最大分辨率圖層下的搜索量降為352450÷9=39161,全部圖層的數(shù)據(jù)量與分層前數(shù)據(jù)量相比降低了3倍.對(duì)于高精度凹印機(jī),印刷品在印刷位置上是相對(duì)平穩(wěn)的,在印刷張力的作用下圖像偏移的角度要低于2°,實(shí)際中匹配的時(shí)間要低于測(cè)試的時(shí)間.

3.2 與其他算法時(shí)間對(duì)比

按本文算法在搜索時(shí)間上,對(duì)文獻(xiàn)所提出的幾種算法進(jìn)行了對(duì)比,在相同的硬件條件下,采用相同尺寸的圖片和模板,分層層數(shù)為3層,對(duì)300張待測(cè)印刷品的平均匹配時(shí)間進(jìn)行了統(tǒng)計(jì),如表3:

表3 幾種算法的性能比較

從表3可知,在搜索時(shí)間上,文獻(xiàn)[13]和文獻(xiàn)[14]分別采用禁忌搜索和粒子群算法,相對(duì)來(lái)說(shuō)提高了速度,文獻(xiàn)[5]對(duì)單層模板進(jìn)行抽樣,采用遺傳算法進(jìn)行非遍歷機(jī)制,相比來(lái)說(shuō)收斂時(shí)間更快.本文算法平均時(shí)間最低,達(dá)到11.7 ms,可知對(duì)圖像和模板進(jìn)行多層抽樣,結(jié)合粒子群搜索的特性更能提高算法的實(shí)時(shí)性.

在粒子群搜索中,粒子在圖像中搜索最佳位置的過(guò)程是跟隨當(dāng)前單個(gè)粒子找到的最好位置和群體中的最好位置,是一種單項(xiàng)的信息共享機(jī)制.相比遺傳算法的種群向比較均勻的最優(yōu)區(qū)域移動(dòng),粒子群的所有粒子加速向自身最好位置靠近的特性使得收斂速度較快;由于金字塔多分辨率表達(dá)的每一層分辨率都要減少固定比率,低分辨率下維數(shù)小、數(shù)據(jù)量小.所以在最高層搜索目標(biāo)時(shí),可快速定位目標(biāo)圖像的位置,下一層圖像以上一層圖像的最佳點(diǎn)開始搜索定位目標(biāo)圖像,可避免對(duì)整層進(jìn)行匹配計(jì)算量大的問(wèn)題.因此,該方法可以明顯的降低匹配時(shí)間,應(yīng)用于印刷品全畫面在線檢測(cè)系統(tǒng),實(shí)時(shí)性和精度都較高.

4 結(jié)論

本文建立了印刷品圖像的分層匹配模型,描述了基于粒子群的搜索策略.在此基礎(chǔ)上,提出了一種基于粒子群算法的分層搜索定位方法,解決了工程實(shí)踐中因圖像寬幅面、數(shù)據(jù)量大而帶來(lái)的定位時(shí)間消耗過(guò)大的問(wèn)題.實(shí)驗(yàn)結(jié)果表明,該方法可以很好的對(duì)印刷品進(jìn)行位置校正,校正偏差平均不超過(guò)0.1°,對(duì)最大偏移角度為6°的圖像搜索時(shí)間高達(dá)12.6 ms,僅占檢測(cè)時(shí)間的27.66%,可以實(shí)現(xiàn)對(duì)印刷品的準(zhǔn)確、快速定位.

[1]Glukman J.Scale Variant Image Pyramids[J]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2006,1(10):1069-1075.

[2]Klein S,Staring M,Pluim J P W.Evaluation of optimization methods for nonrigid medical image registration using mutual information and B-splines[J]. IEEE Transactions on Image Processing,2007,16(12):2879-2890.

[3]Wei X L,Zhang H,Ma Y J,et al.An optimization algorithm of image mosaic based on maximum mutual information[J].Journal of Optoelectronics Laser,2009,20(10):1399-1402.

[4]劉建偉,梁晉,梁新合,等.大尺寸工業(yè)視覺測(cè)量系統(tǒng)[J].光學(xué)精密工程,2010,18(1):127-133.

[5]姜?jiǎng)P,陳海霞,劉立峰,等.基于模板抽樣的快速圖像匹配算法[J].光學(xué)精密工程,2004,12(3):312-315.

[6]梁鵬,何俊詩(shī),黎紹發(fā).基于多尺度LBP金字塔特征的分類算法[J].計(jì)算機(jī)工程,2011,37(8):167-168.

[7]魏陽(yáng)杰,吳成東,董再勵(lì).基于亞像素圖像塊匹配方法的壓電陶瓷驅(qū)動(dòng)特性測(cè)量[J].機(jī)械工程學(xué)報(bào),2010,46(17):152-158.

[8]林洪彬,劉彬,張玉存.逆向工程中點(diǎn)散亂云變尺度配準(zhǔn)算法研究[J].機(jī)械工程學(xué)報(bào),2011,47(14):2-6.

[9]葛寶臻,馬云峰,魏耀林.求解粒子群粒度分布的改進(jìn)Projection算法[J].光學(xué)精密工程,2012,20(1):198-203.

[10]吳福培,張憲民.印刷電路板無(wú)鉛焊點(diǎn)假焊的檢測(cè)[J].光學(xué)精密工程,2011,19(3):698-702.

[11]李博,楊丹,鄧林.移動(dòng)機(jī)器人閉環(huán)檢測(cè)的視覺字典樹金字塔TF-IDF得分匹配方法[J].自動(dòng)化學(xué)報(bào),2011,37(6):666-673.

[12]王君本,盧選民,賀兆.一種基于魯棒特征的匹配算法[J].計(jì)算機(jī)工程與科學(xué),2011,33(2):112-117.

[13]程紅,陳文劍.禁忌搜索算法在圖像匹配中的應(yīng)用研究[J].地理與地理信息科學(xué),2011,27(6):33~35.

[14]王維真,熊義軍,魏開平,等.基于粒子群算法的灰度相關(guān)圖像匹配技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用,2010,46(12):169-171.