，吳明，， ，

(廣東工業(yè)大學 機電工程學院，廣州 510006)

基于單應(yīng)性矩陣的大尺寸零件視覺測量圖像拼接方法

黎欣，吳黎明，王桂棠，熊峰，陳宇俊

(廣東工業(yè)大學機電工程學院，廣州510006)

針對視覺檢測技術(shù)對大尺寸復雜零件測量精度低的問題，提出一種基于單應(yīng)性矩陣的大尺寸零件視覺測量圖像拼接方法;首先建立世界坐標系→相機坐標系→投影坐標系→圖像坐標系之間的歸一化模型，提煉出簡單易懂的坐標變換表達式H；然后對攝像機進行多次標定，確定像素當量、拍攝視場及焦距；再獲取零件圖像，利用前面得到的最簡坐標表達式H得到拼接圖像之間的配準，最后完成若干副圖像的拼接，把拼接結(jié)果和SURF特征點方法及向后映射模型歸一化的拼接結(jié)果進行比較;結(jié)果表明，該方法可以大大減少大尺寸零件拼接的時間，較SURF特征點方法和向后映射拼接用時分別降低86.55%和67.30%，拼接精度遠高于SURF特征點方法和向后映射方法，分別提高了50.95%和25.08%，測量精度滿足大尺寸零件檢測精度要求。

視覺測量；圖像歸一化模型；單應(yīng)性矩陣；攝像機標定；圖像拼接

0 引言

隨著視覺檢測技術(shù)在工業(yè)中的不斷發(fā)展，各種測量零件的手段相繼出現(xiàn)[1-2]。但由于當前主流的攝像機為精度低、視場小的CCD及大部分拼接技術(shù)為基于圖像特征點，檢測的對象主要集中在小尺寸零件，而對于大尺寸零件的檢測基本是采用激光掃描測量系統(tǒng)、關(guān)節(jié)式坐標測量系統(tǒng)等，很少采用機器視覺[2-5]，或者測量手段很有局限性，精度不高。逯圣周等人提出了基于輪廓拼接的大尺寸直線度拼接方法，僅僅能測量具有方形特征的零件[6]；何博俠等人提出的圖像拼接技術(shù)，僅適用于大尺寸表面條紋的檢測[7]；劉凌云等人提出向后映射方法實現(xiàn)歸一化焦平面的重采樣和位姿變換的圖像拼接方法，但數(shù)學模型很復雜，映射變換過程需要花很多時間，效率低，而且系統(tǒng)機械軸的滑動還需要手柄，不靈活[8]；陳海林等人主要分析了局部測量誤差、重疊區(qū)域公共點個數(shù)對坐標變換的影響的拼接方法，僅是對相機模型到圖像模型做了簡單的坐標變換，具有很大的局限性，并不能反應(yīng)實際零件圖像坐標情況[9]；程爭剛等人提出了一種基于無人機位姿信息的快速拼接方法，利用無人機獲得的坐標和姿態(tài)角計算圖像之間的單應(yīng)變換矩陣，從而獲得航拍拼接圖像[10]；劉婷婷根據(jù)圖像幾何變換的單應(yīng)性矩陣將匹配點一一對應(yīng)的特點，提出了一種基于單應(yīng)性矩陣剔除SIFT錯誤匹配的方法，但該方法僅僅是對一般的圖像進行拼接，并沒有應(yīng)用到大尺寸零件上[11]；Chunyang Zhao等人提出一種單應(yīng)性矩陣細化方法來提高圖片的精度和魯棒性，實現(xiàn)從不同角度拍攝同一場景的圖片拼接[12]；OREL J M等人提出了ASIFT 算法，通過模擬不同經(jīng)緯度的圖像，客服SIFT算法的不完全仿射性，但缺點是拼接圖像耗時比較長[13]；Haishun Wang提出了一種基于相鄰圖像相關(guān)性的圖像拼接校正算法，闡述了圖像拼接誤差修正的原理和方程，實現(xiàn)了圖像的自動智能計算[14]；Kyungkoo Jun提出一種雙單應(yīng)估計矩陣來尋找不同平面下圖像之間匹配點，完成圖像之間的拼接，但該過程比較復雜[15]；曹雨等人提出了一種基于單應(yīng)性矩陣的視覺伺服控制算法，給定機器人目標位姿下拍攝得到的圖像，通過視覺伺服使機器人從初始位姿準確到達目標位姿[16]；董強等人提出了一種新的基于有向線段的BRISK特征的圖像拼接模型，用于解決航拍圖像之間拼接中尺度變化、角度旋轉(zhuǎn)和光照差異等影響因素的問題[17]；史露等人根據(jù)結(jié)合SIFT和SURT特征點的拼接方法提出了一種加快圖像拼接速度和質(zhì)量的算法[18]。針對以上方法的不足或應(yīng)用場景的不同，本文在分析大尺寸零件加工精度影響因素的基礎(chǔ)上，引入單應(yīng)性矩陣坐標變換的分析方法，結(jié)合單應(yīng)性矩陣模型，提出一種基于單應(yīng)性矩陣的大尺寸零件視覺測量圖像拼接方法，應(yīng)用于汽車發(fā)動機活塞環(huán)零件的精密檢測。

1 大尺寸零件視覺測量系統(tǒng)組成

系統(tǒng)的檢測對象為汽車發(fā)動機的核心部位——活塞環(huán)，如圖1所示?；钊h(huán)的開口部位檢測精度會直接影響到發(fā)動機的工作效率、節(jié)能減排以及使用壽命[19]。

圖1 汽車發(fā)動機活塞環(huán)

汽車復雜零件測量系統(tǒng)由3大模塊組成，即視覺模塊、運動控制模塊、激光模塊等等，如圖2所示。汽車發(fā)動機零件固定在實驗平臺正中間，相機在精密軌道上平移運動。首先，相機在水平軸上按順序?qū)α慵杉植繄D像，獲得若干副圖像，用于圖像拼接。

圖2 測量系統(tǒng)

2 算法模型

從3D物體投射到2D屏幕上，本文采用的模型為：物體坐標→世界坐標→相機坐標→投影坐標→圖像坐標(像素坐標)，如圖3所示。為了保證測量精度，攝像機平面必須與測量平面保持垂直，攝像機的光軸Z必須保證垂直于測量平面。

圖3 算法模型

若干圖像單應(yīng)性變換矩陣：

平面的單應(yīng)性被定為從一個平面到另一個平面的投影映射，本文表示為試驗臺零件平面到圖像平面。如果矩陣H滿足式(1)，則H稱為單應(yīng)性變換矩陣，且為3×3矩陣。

q=sHQ

(1)

式中,參數(shù)s是一個非零任意尺度比例常數(shù)項。

(2)

這個K稱作攝像機標定矩陣，也即攝像機的內(nèi)參數(shù)矩陣。

其中：

1)f為焦距；

2)△x、△y為圖像在x、y坐標軸上的像素當量；

3)m為偏度參數(shù)；

4)(u0,v0)為主點，即攝像機光軸與圖像平面的交點。

由相機成像原理得，世界坐標和圖像的坐標關(guān)系如式(3)：

(3)

其中:W表示圖像平面旋轉(zhuǎn)R和平移T,且R為3*3的旋轉(zhuǎn)矩陣，T為三維平移向量。

W=[RT]

(4)

旋轉(zhuǎn)R分別繞x,y,z坐標軸旋轉(zhuǎn)角度為θ,φ,φ，則旋轉(zhuǎn)R表示為：

R=[RθRφRφ]

(5)

(6)

我們定義平面Z=0,則可以忽略Rφ，綜合式(1)、(2)、(3)、(4)、(5)、(6)得單應(yīng)性矩陣H為：

(7)

為了求出單應(yīng)性矩陣H，只需求出坐標軸上的像素當量△x，△y，主點位置(u0,v0)及旋轉(zhuǎn)角度θ、φ，平移向量T即可。從而實現(xiàn)全局坐標歸一化，給實現(xiàn)復雜零件的全局圖像拼接及精確測量出零件參數(shù)提供可能。

3 圖像拼接

本平臺采用的是CMOS面陣相機，圖像大小為2592*1944Pixel，存儲格式為BMP，采用正面打光。在保證攝像機光軸與測量平面垂直的情況，本試驗平臺機械軸路徑具有任意性，本文采取的路徑是遵循先從X軸正方向，到Y(jié)軸正方向，再到Y(jié)軸反方向運動，任意采取汽車復雜大尺寸零件相鄰序列圖進行拼接。

按照上面的圖像采集路徑，假設(shè)采集到了n副(g1～gn)圖像，圖像按順序兩兩進行拼接，關(guān)鍵是求出相鄰圖像之間的單應(yīng)性矩陣H，根據(jù)前面的公式可知，由于本試驗采集得到的圖像是攝像機垂直于實驗平臺，所以旋轉(zhuǎn)角度θ=φ=0，由于獲得圖像的坐標是固定的，所以不會存在錯切變換，即偏度參數(shù)m=0同時，焦距f固定。在圖像坐標系中，假設(shè)主點的位置是(u0,v0)，主點位置固定，并且在圖像屏幕的中心，假設(shè)屏幕是2592*1944Pixel，則主點的位置就是在(1296,972)，單位為Pixel，兩幅g1,g2的單應(yīng)性矩陣H12易得，但g12和g3的單應(yīng)性矩陣需要通過計算得到，關(guān)鍵是求相鄰圖像(比如g12和g3)坐標之間的平移量T(x,y)。

攝像機內(nèi)參標定及圖像平移量：

本文采用張正友標定方法對攝像機內(nèi)參進行標定[20-21]，為保證攝像機光軸垂直于測量平面，并獲得攝像機參數(shù)及圖像的平移量，采用如下方法：

單應(yīng)性矩陣具有傳遞性，即：

H12=H13H32

(8)

所以g1,g2拼接圖像g12與g3的單應(yīng)性矩陣H12,3表示為：

H12,3=H23H12,2

(9)

按照拼接的順序，可知g12完全包含圖像g2，則g2到g12單應(yīng)性矩陣為一個三維平移矩陣，可設(shè)：

(10)

其中：x,y為g2到g12的平移量。

因為g2坐標由相機得到和g12的坐標由計算得到，所以單應(yīng)性矩陣H12,2的平移量為：

x=x12-x2;y=y12-y2

(11)

以此類推后面待拼接圖像的平移量為：

x=xmm+1-xm+1;y=ymm+1-ym+1

(12)

從而計算出變換矩陣Hmm+1,m+1，進一步得到Hmm+1,m+2，最后實現(xiàn)圖像的拼接。

4 數(shù)據(jù)獲取及分析

4.1 攝像機像素當量的標定

機器視覺測量中，圖像處理得到的測量數(shù)據(jù)是像素量，每個像素所代表的實際物理尺寸稱作像素當量,像素當量的準確標定對測量的精度至關(guān)重要。本文采用精度達到1 μm的是石英玻璃標定板，如圖4所示。在視場中，測量每個圓的直徑D就該直徑上的像素個數(shù)N，則像素當量p由以下公式獲得：

(13)

焦距f固定，為了提高測量精度，拍攝視野中不同位置下標定板上三組圓(D=16.0 mm，D=10.16 mm，D=5.0 mm)，每組圓分別拍攝15次，每組圓的像素當量求平均值mi(i=1,2,3)，再求三組圓平均值的平均值m。我們采用的是張正友標定法，3個直徑不同圓的標定情況如圖5所示。

圖4 石英玻璃像素當量標定板

圖5 3個不同圓的標定結(jié)果

從圖5可以知道，標定結(jié)果最大相差為0.003 um，標定基本在9.005 0，本文采取3個不同圓的多次標定結(jié)果，再求平均值，可以減少因像素當量引起的誤差，提高拼接精度，3個圓的標定結(jié)果可算出標定板的平均標定結(jié)果為：

(14)

并且攝像機的標定矩陣為K：

4.2 拼接圖像、數(shù)據(jù)分析

如圖6為采集到4副發(fā)動機活塞環(huán)序列圖，每個圖之間都有部分重疊。

圖6 待拼接的相鄰圖像序列

采集到圖像的中心投影坐標，本系統(tǒng)采集得到是光柵坐標(脈沖個數(shù))，驅(qū)動為4分頻電路，1個脈沖等于0.0005 mm，把坐標轉(zhuǎn)變成mm，見表1。

表1 圖像序列坐標 單位：(mm)

編號光柵坐標(a)(93．575，77．530)(b)(228．015，77．530)(c)(186．105，135．545)(d)(93．575，135．545)

表2 單應(yīng)性變換矩陣

圖7 拼接結(jié)果圖

圖8和圖9分別是本文方法、向后映射方法和SURF方法3種方法的拼接平均匹配誤差和拼接平均用時的比較。從圖7拼接平均誤差可以看出，SURF特征點方法從總體上看很不穩(wěn)定，而且隨著圖像越來越多，拼接誤差成上升的趨勢，誤差越來越大，向后映射方法雖然隨著拼接圖像的增多拼接誤差基本趨于穩(wěn)定狀態(tài)，但平均誤差較大。而本文方法，總體上看，誤差較SURF方法和向后映射方法小很多，分別提高了50.95%和25.08%，且拼接誤差基本成穩(wěn)定狀態(tài)，這為進一步降低拼接誤差提供了依據(jù)。從圖8可以看出，SURF特征點方法和向后映射方法拼接用時隨著拼接圖像的增多，時間也越來越多，而本文的方法，拼接時間基本不隨著拼接圖像的增加而增加，基本穩(wěn)定，較向SURF特征點方法和后映射拼接用時分別降低86.55%和67.30%。

圖8 拼接平均匹配誤差比較

圖9 拼接平均用時比較

5 結(jié)束語

本文針對采用機器視覺方法對汽車大尺寸零件在線檢測精度低的問題，提出基于單應(yīng)性矩陣坐標變換的大尺寸零件視覺測量高精度圖像拼接方法，主要研究了多幅序列圖的坐標歸一化簡化模型問題，求出相鄰圖像之間的單應(yīng)性矩陣H,實現(xiàn)圖像的拼接，然后分析了攝像機標定精度對測量精度的影響，最后把本文的方法與SURF特征點方法、向后映射方法的檢測結(jié)果比較。結(jié)果表明，本文方法可以大大減少大尺寸零件拼接的時間，較SURF特征點方法和向后映射拼接用時分別降低86.55%和67.30%，拼接精度遠高于SURF特征點方法和向后映射方法，分別提高了50.95%和25.08%，測量精度滿足大尺寸零件檢測精度要求。

[1] 焦 亮,胡國請,呂志成,等.基于機器視覺的高精度測量與裝配系統(tǒng)設(shè)計[J]. 計算機測量與控制,2016，24(7):72-75.

[2] 段雨晗,付躍剛.基于機器視覺的微小零件形貌檢測方法[J].長春理工大學學報(自然科學版),2015，38(4):22-27.

[3] 萬年紅,王雪蓉.基于邊緣特征點的全景圖像拼接算法[J].溫州大學學報·自然科學版,2016,37(1):42-51.

[4] 翟 中,喬高元,林嗣鵬.一種消除圖像拼接縫和鬼影的快速拼接算法[J].計算機科學,2015，42(3):280-283.

[5] 張 敏,金龍旭.基于多視域廣角相機視頻拼接技術(shù)研究[D].長春:中國科學院長春光學精密機械與物理研究所,2016.

[6] 逯圣周,富宏亞.重大機床大尺寸部件幾何精度測量技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學,2015.

[7] 何博俠,張志勝,徐孫浩.大尺寸機械零件的機器視覺高精度測量方法[J].中國機械學報,2009,20(1):5-10.

[8] 劉凌云,羅 敏,陳志楚,等.基于坐標變換的快速高精度圖像拼接算法[J].自動化與儀表，2016(4):68-71.

[9] 陳海林,熊 芝,宋小春,等.大尺寸工件視覺測量中的圖像拼接[J].計算機測量與控制,2015，23(2):523-525.

[10] 程爭剛,張 利.一種基于無人機位姿信息的航拍圖像拼接方法[J].測繪學報,2016,45(6):698-705.

[11] 劉婷婷.基于單應(yīng)性矩陣剔除SIFT錯誤匹配點的方法[J].哈爾濱商業(yè)大學學報(自然科學版),2016,32(1):95-98.

[12] Zhao Chunyang, Zhao Huaici.Accurate and robust feature-based homography estimation using HALF-SIFT and feature location erro weighting[J].Journal of Visual Communication and Image Representation,2016,7,7(PA)288-299.

[13] More J M,Yu Guoshen.ASIFT:A New Framework for Fully Affine Invariant Image Comparison[J].SIAM Journal on Imaging Sciences,2009,2(2):438:469.

[14] Wang Haishun,Wang Rong,Chen Limin.Implementing of microscopic images mosaic revising algorithm[J].International Journal of Image, Graphics and Signal Processing,2011,56-63.

[15] Jun Kyungkoo,Kim Sijung,Wu Wei. Feature Coverage Indexes for Dual Homography Estimation in Constructing Panorama Image[J].Journal of Sensors,2015.

[16] 曹 雨.基于單應(yīng)性矩陣的移動機器人視覺伺服切換控制[J].控制理論與應(yīng)用,2017,34(1):109-119.

[17] 董 強,劉晶紅,王 超,等.基于改進BRISK的圖像拼接算法[J].電子與信息學報,2017，39(2):444-450.

[18] 史 露,蘇 剛,韓 飛.基于SIFT和SURT圖像拼接算法的改進算法[J].計算機應(yīng)用與軟件,2013，30(6).

[19] 李 崢.發(fā)動機活塞環(huán)光密封度機器視覺檢測技術(shù)研究[D].廣州：廣東工業(yè)大學,2015.

[20] 游 迪,楊世洪,趙汝進,等.高階徑向畸變對張正友平面標定算法精度的影響[J].計算機與現(xiàn)代化,2016，252(8)：118-122.

[21] 林冬梅,張愛華,王 平,等.張氏標定方法在雙目視覺脈搏測量系統(tǒng)中的應(yīng)用[J].蘭州理工大學學報,2016，42(2):78-85.

ImageMosaicMethodforLargeSizeComponentVisionMeasurementBasedonHomographyMatrix

Li Xin，Wu Liming，Wang Guitang，Xiong Feng，Chen Yujun

(School of mechanical and electrical engineering, Guangdong University of Technology, Guangzhou 510006, China)

Based on the problem that the visual detection technology is low accuracy of detecting large-size and complex parts.A method that high precision and fast image mosaic method for large size component vision measurement based on homography transformation is proposed.Firstly the normalization model from the world coordinate system to the camera coordinate system, projection coordinates and image coordinates is established to extract the expression of simple coordinate transformation; Then the camera is calibrated to determine the pixel equivalent, the field of view and obtain the focal length;Images of component are obtained,and use the simplest coordinate expression according to the obtained image splicing between registration,and finally complete stitching of a number of images,compare this stitching results with the results of SURF and backward mapping model normalization.The result shows that this method can greatly reduce the mosaic time of the component , 86.55% and 67.30% lower than the SURF and the backward mapping used for jointing,The precision is much higher than that of the backward mapping method and SURF, 50.95% and 25.08% .The measurement precision can meet the requirements of large size component.

vision measurement; image normalization model; homography matrix; camera calibration; image mosaic

2017-04-28；

2017-05-23。

廣東省省級科技計劃項目(2015A030401088)。

黎 欣(1991-)，女，廣西玉林人，碩士研究生，主要從事機器視覺方向的研究。

吳黎明(1962-)，男，廣東梅州人，教授，碩士研究生導師，主要從事機器視覺、嵌入式、精密儀器及機械、光機電一體化、測試計量技術(shù)及儀器等方向的研究。

1671-4598(2017)11-0026-04

10.16526/j.cnki.11-4762/tp.2017.11.007

TP391

A