蘇 森 李郁峰 范 勇 陳念年 劉冬冬
(西南科技大學計算機科學與技術(shù)學院, 四川 綿陽621010)
?
一種快速高精度的零件圖像配準算法*
四川省教育廳重大培育項目(14CZ0012)
蘇森李郁峰范勇陳念年劉冬冬
(西南科技大學計算機科學與技術(shù)學院, 四川 綿陽621010)
針對大批量機械加工零件測量時圖像配準精度低、速度慢的問題,提出了一種快速高精度零件圖像配準算法,分初始配準和精確配準兩個過程。初始配準采用零件最小外接矩形和圖像形心,以縮減配準參數(shù)范圍提高配準速度。精確配準將互信息作為相似度準則,利用空間位置一致時互信息值最大實現(xiàn)參數(shù)最佳定位提高配準精度。實驗結(jié)果表明,對于2048×2048像素的機械加工零件圖片,算法配準平移量精度達到像素級,配準角度誤差不超過0.1°,配準時間小于2.1 s,滿足實際連續(xù)測量中大批量零件配準要求。
圖像配準;最小外接矩形;形心;互信息
在線、連續(xù)、自動化測量已成為機械加工零件測量的發(fā)展趨勢,其中大批量零件測量中,圖像配準的精度及速度會嚴重影響零件測量的準確度和效率,故圖像配準是機械加工零件連續(xù)測量關(guān)鍵技術(shù)之一。圖像配準是對不同時間、不同視場、不同成像模式的兩幅或多幅圖像進行空間幾何變換,使得圖像在幾何上能夠匹配對應起來。
目前,國內(nèi)外研究學者將圖像配準大致分為兩類,基于灰度信息法和特征法?;叶刃畔⒎ㄖ饕谢バ畔⒎╗1-4]、相位相關(guān)法等[5],該類方法不需要對圖像灰度間的關(guān)系作任何假設(shè),也不需要對圖像進行預處理,具有較高的準確性和魯棒性,但需考慮匹配點鄰域灰度,配準時計算量大,耗時長。特征配準法主要有SUSAN角點[6]檢測、Harris角點[7]檢測、SIFT特征點[8-10]檢測,通過提取圖像特征點,大大壓縮圖像信息,故配準時計算簡單,速度快,但需較多的人工介入,且機械零件特征匹配時很容易誤匹配,致使配準精度較低。
為了滿足大批量機械加工零件圖像配準精度高、速度快的要求,本文將互信息作為相似度準則,利用零件最小外接矩形和形心,提出了一種快速、高精度的配準算法。該算法結(jié)合灰度信息法的高精度特性,忽略局部細節(jié)信息,從整體形態(tài)分析,通過4次整體位置變換即能確定最佳配準參數(shù)信息,在保證精度的同時也大大縮減了計算時間。
若點(x1,y1)、(x2,y2),分別為參考圖像和待配準圖像中對應兩點,則它們之間應滿足如下關(guān)系:
(1)
其中:θ為配準角度;tx、ty為配準平移量。在大批量零件圖像配準中,其難點是在保證精度的前提下,如何快速獲取配準參數(shù),從而提高配準速度。為此,本文結(jié)合機械零件圖像特征,將整個配準過程分為初始配準與精確配準兩個過程,算法流程如圖1所示。
(1)初始配準:縮減配準參數(shù)范圍以提高配準速度。
首先對零件圖像進行自適應閾值分割提取零件目標;其次,對零件目標進行邊緣輪廓追蹤,獲取其對應的最小外接矩形,根據(jù)矩形與水平軸夾角關(guān)系,獲得四種配準角度;最后,將處于不同角度的零件圖像按照形心為參照,得到圖像配準過程的平移參數(shù)。
(2)精確配準:獲取最佳配準參數(shù)以提高配準精度。
初始配準雖然能夠快速確定配準角度和配準平移量參數(shù)范圍,但無法得出最優(yōu)解,因此,本文將互信息作為相似度準則,以初始配準結(jié)果作為精確配準的輸入,根據(jù)參考圖像和待配準圖像空間位置一致時互信息值最大,確定最佳的配準角度和配準平移量。
2.1自適應閾值分割
機械零件圖像背景和前景區(qū)別比較大,且圖像中目標比較單一,如圖2a所示。為此,直接采用最大類間方差(Otsu)算法求取最佳閾值T,其計算式為:
σ(t)2=ω1(t)×ω2(t)[μ1(t)-μ2(t)]2
(2)
式中:ω1(t)、ω2(t)分別為灰度值小于T的C1類和大于T的C2類占整幅圖像的比例,μ1(t)、μ2(t)分別為C1,C2和的平均灰度;σ(t)2為C1和C2之間的方差。讓T在[0,L]內(nèi)依次取值,使σ(t)2最大即為最佳閾值,并利用式(3)實現(xiàn)二值化分割。其中g(shù)(x,y)為二值化圖像,f(x,y)為原始圖像,L為灰度級。分割結(jié)果如圖2b所示。
(3)
2.2最小外接矩形確定配準角度范圍
針對零件圖像最小外接矩形可以近似描述零件旋轉(zhuǎn)角度的特點,本文采取Canny邊緣檢查算法提取零件圖像輪廓,得到輪廓數(shù)據(jù)s(q1,q2…,qn),然后通過Graham算法構(gòu)造零件凸包,根據(jù)凸包求取最小外接矩形,利用最小外接矩形最短邊與水平軸夾角關(guān)系確定配準角度范圍。
2.2.1最小外接矩形
2.2.2配準角度范圍獲取
構(gòu)成零件圖像最小外接矩形四點坐標,計算其最短邊與水平軸夾角θ(逆時針為正方向),如圖4所示。根據(jù)式(3)得出待配準圖像4b和參考圖像4a之間配準角度關(guān)系。
Δθ=θ2-θ1
(3)
在用最短邊與水平軸夾角確定配準角度時,待配準圖像可能會出現(xiàn)圖5所示的3種情況。為此,真實配準角度可能為Δθ、Δθ+90°、Δθ+180°、Δθ+270°的其中一個。因此,將上述四種角度作為配準角度的范圍。
2.3形心重合定位配準平移量
二維零件圖像,形心有且僅有一個。因此,通過零件形心差值,可以快速得出配準平移關(guān)系。形心是通過對二維圖像處理和計算確定目標中心位置,對于二值化圖像g(x,y),其行、列坐標計算目標形心坐標公式如(4)、(5)。式(6)中(Δx,Δy)為配準平移量,即待配準圖像形心(xc2,yc2)和參考圖像形心(xc1,yc1)的差值。
(4)
(5)
Δx=xc2-xc1Δy=yc2-yc1
(6)
3.1互信息理論
互信息是信息論中的一個測度,用來衡量兩個隨機變量之間的依賴程度。對于參考圖像A和待配準圖像B,其互信息定義為:
(7)
式中:I(A,B)表示兩幅圖像間的互信息值;PA和PB(b)是灰度a和灰度b在圖像A和圖像B出現(xiàn)的概率;PAB(a,b)是灰度a和灰度b在兩幅圖像同一位置出現(xiàn)的概率。其PA(a)、PB(b)、PAB(a,b)可由歸一化聯(lián)合直方圖表示:
(8)
PB(b)=∑aPAB(a,b)
(9)
PA(a)=∑bPAB(a,b)
(10)
式中:h(a,b)表示兩幅圖像的聯(lián)合直方圖。
3.2最大互信息確定最優(yōu)配準參數(shù)
兩幅圖像精確配準時,互信息值達到最大,即可通過求取最大互信息值確定最優(yōu)配準參數(shù)。算法描述如下:
(1)將待配準圖像B旋轉(zhuǎn)φk度,其中φkφ[Δθ,Δθ+90°、Δθ+180°、Δθ+270°],k[1,2,3,4]。根據(jù)式(5)~(7)求取旋轉(zhuǎn)后待配準圖像Bφk和參考圖像A的形心差值(Δxφk,Δyφk)。
(2)利用式(11)平移待配準圖像形心Bφk(x2,y2)與參考圖像形心A(x1,y1)重合,此時待配準圖像為B'φk
(11)
(4)當K>4時,跳轉(zhuǎn)到步驟5,否則重復以上步驟。
為評價本文配準算法在大批量零件配準時的有效性,選取大小為2048×2048像素的圖像2a作為參考圖像,對參考圖像在[-10,10]像素、[-10°,10°]范圍內(nèi)隨機平移旋轉(zhuǎn)得到浮動圖像并與參考圖像進行21次配準,整個實驗過程將從配準精度和配準時間兩方面與目前主流配準算法進行對比,即基于特征法中的Sift特征點配準算法和基于互信息的Powell算法。實驗在Inter(R)Core(TM)i3-3240CPU@3.40GHz內(nèi)存4GB的計算機上測試。
4.1配準算法精度和時間效率比較
Sift算法是一種提取局部特征的算法,在尺度空間尋找特征點,利用匹配特征點作為配準依據(jù),計算出反向映射得到配準參數(shù);基于互信息的Powell算法是一種局部優(yōu)化算法,該算法輪流對配準參數(shù)進行優(yōu)化,使互信息達到最大從而完成配準過程。
從表1實驗結(jié)果可知,Sift算法配準精度最差,水平方向和垂直方向誤差達到180個像素。因為在提取機械零件特征點時,局部特殊點的缺失和特征點的誤匹配降低了配準精度?;诨バ畔⒌腜owell算法采用整幅圖像灰度信息進行迭代搜索,相比Sift算法配準精度有了較大提高,但需在水平、垂直和旋轉(zhuǎn)角度3個方向上進行大量迭代,增加了計算復雜度,降低了配準效率,無法滿足實時在線配準要求。
本文將互信息作為相識度準則,從整體形態(tài)分析,利用最小外接矩形最短邊與坐標軸夾角關(guān)系和圖像形心位置信息,得到圖像配準參數(shù)。與前兩種算法相比,本文算法無需提取特征點,從而避免了由于特征點誤匹配對配準精度的影響,提高了配準精度,再則,本文從整體入手,4次位置變化即能完成配準過程,配準效率大大提高。
表1配準算法結(jié)果比較
配準算法配準次數(shù)/次水平方向平均誤差Δx/像素垂直方向平均誤差Δy/像素配準角度平均誤差Δθ/(°)配準平均時間/s互信息Powell210.6191.1440.71474.396Sift21180.038182.6596.07422.702本文算法210.6510.6260.0602.008
4.2連續(xù)測量中配準引入的測量誤差
為了驗證在連續(xù)測量中采用本文算法對待配準圖像配準后引入的測量誤差較小,將圖6a所示零件作為參考圖像進行幾何測量,并選取3種不同方位的待配準圖像通過配準后再次測量,測量結(jié)果與參考圖像測量結(jié)果進行比較,測量誤差如表2所示。
表2待圖像配準后幾何測量誤差
幾何測量名稱最大誤差/mm平均誤差/mm最大誤差率/(%)A邊和B邊的距離0.0170.0120.079E圓直徑0.0180.0150.181C邊和D邊的距離0.0190.0180.157E圓心和F圓心的距離0.0030.0020.012A邊和B邊的平行度0.0530.03413.022
從表2可知,配準前后測量最大誤差在53 μm以內(nèi),表明待配準圖像通過配準后相對參考圖像測量變化極小。這是由于該算法不依賴局部信息,從整體形態(tài)出發(fā),利用最小外接矩形和形心反映兩幅圖像位置關(guān)系,從而避免局部無效特征信息對配準結(jié)果的影響,提高了配準精度,減小了測量誤差。
本文結(jié)合大批量零件圖像配準的實際要求,提出了一種快速高精度的零件圖像配準算法,分為初始配準和精確配準兩步。在初始配準中采用包含零件最小外接矩形和圖像形心,快速獲取配準參數(shù)范圍以提高配準速度。在精確配準中將互信息作為相似度準則,利用最大互信息原理得到最優(yōu)配準參數(shù),提高配準精度。實驗結(jié)果表明,與目前主流的配準算法相比,該算法配準速度快,配準精度高,是一種有效的自動配準方法。
[1]Klein S, Staring M, Pluim J P W. Evaluation of optimization methods for nonrigid medical image registration using mutual information and B-splines[J]. Image Processing, IEEE Transactions on, 2007, 16(12): 2879-2890.
[2]Loeckx D, Slagmolen P, Maes F, et al. Nonrigid image registration using conditional mutual information[J]. Medical Imaging, IEEE Transactions on, 2010, 29(1): 19-29.
[3]魏玉蘭,顏云輝,李兵,等. 鄰域灰度與空間特征相結(jié)合的互信息配準方法研究[J]. 中國機械工程,2011,22(4):439-443.
[4]馮雪芳,吳錫生. 基于歸一化邊緣互信息與自適應加速粒子群的圖像配準方法[J]. 計算機工程與科學,2013(1):119-123.
[5]施云飛,朱國富,羅鵬飛. 基于相位相關(guān)法的SAR圖像配準[J]. 計算機仿真,2007(9):210-213.
[6]文楊天,李征,吳仲光. 基于SUSAN算法的圖像配準[J]. 計算機應用,2006(10):2380-2382.
[7]常麗萍,冀小平,趙梁. 分塊的基于Harris角點檢測的圖像配準方法[J]. 電視技術(shù),2013(1):45-47.
[8]趙萌萌,曹建秋. 基于邊緣角點的SIFT圖像配準算法[J]. 重慶交通大學學報:自然科學版,2013(4):721-724.
[9]劉輝,申海龍. 一種基于改進SIFT算法的圖像配準方法[J]. 微電子學與計算機,2014(1):38-42.
[10]范宗杰,徐向輝,周曉麗. 一種基于SIFT算法的SAR圖像配準方法[J]. 電子測量技術(shù),2014(8):70-74.
(編輯譚弘穎)
如果您想發(fā)表對本文的看法,請將文章編號填入讀者意見調(diào)查表中的相應位置。
A fast and accurate image registration method for parts
SU Sen, LI Yufen, FAN Yong,CHEN Niannian,LIU Dongdong
(School of Computer Science and Technology, Southwest University of Science and Technology, Mianyang 621010, CHN)
In view of the precision of image registration and the slow speed of registration in the measurement of large quantities of machining parts, this paper presents a fast and accurate image registration algorithm for parts, which is divided into two processes: the initial registration and the accurate registration. First step is to use parts of the minimum bounding rectangle and the image centroid, reducing the scale of the registration parameters in order to improve the speed of registration. Second step is to use Mutual information as the similarity criterion by taking advantage of the rule that mutual information is largest at spatial position consistent to achieve the best parameters to improve the accuracy. Experiment results showed that with regard to the 2048 pixel *2048 pixel image, the registration method in this paper can achieve pixel level accuracy in registration translation amount, not more than 0.1 degrees in registration angle, less than 2.1 seconds in registration time, which meeting the actual large quantities of parts registration requirement.
image registration;smallest minimum bounding rectangle;centroid; mutual information
TH164
A
10.19287/j.cnki.1005-2402.2016.07.026
蘇森,男,1989年生,碩士,工程師,研究方向為機器視覺、圖形圖像。
2016-02-02)
160735