熊 鑫，孫冬梅，范 文，徐海鵬

(南京工業(yè)大學(xué) 自動化與電氣工程學(xué)院，江蘇 南京 211816)

?

光筆式雙目視覺測量系統(tǒng)標(biāo)定技術(shù)研究

熊 鑫，孫冬梅，范 文，徐海鵬

(南京工業(yè)大學(xué) 自動化與電氣工程學(xué)院，江蘇 南京 211816)

針對光筆式雙目視覺測量系統(tǒng)的標(biāo)定問題，討論了關(guān)于相機內(nèi)參、雙相機外參以及測量筆的相關(guān)標(biāo)定理論,開發(fā)了一整套基于LabVIEW的標(biāo)定系統(tǒng)。運用張氏平面標(biāo)定法實現(xiàn)了相機內(nèi)參標(biāo)定。結(jié)合基于標(biāo)準(zhǔn)長度的外部參數(shù)標(biāo)定方法，實現(xiàn)了雙相機外參數(shù)標(biāo)定。運用粒子群算法和LM算法相結(jié)合，加快了目標(biāo)函數(shù)高維尋優(yōu)速度。在測量筆標(biāo)定環(huán)節(jié)，提出了一種基于最小二乘法的現(xiàn)場校準(zhǔn)方法。標(biāo)定系統(tǒng)完成了后期開展相關(guān)測量前的所有準(zhǔn)備工作，具有較高的精度和實用性。在測量系統(tǒng)標(biāo)定結(jié)果基礎(chǔ)上對直徑25 mm標(biāo)準(zhǔn)陶瓷球進行測量，測量結(jié)果標(biāo)準(zhǔn)差達到0.019 mm。

雙目視覺；標(biāo)定；外部參數(shù)；內(nèi)部參數(shù)；粒子群算法；LM算法

引言

隨著工業(yè)測量技術(shù)的發(fā)展，三坐標(biāo)測量的要求也越來越高[1]。光筆式雙目視覺測量系統(tǒng)采用2臺位置相對固定的CCD攝像機同時拍攝測量筆面板圖像，通過提取測量筆面板的特征點的圖像坐標(biāo)，從而實現(xiàn)三維空間坐標(biāo)的測量。它是一種非接觸傳感的測量方法。

為了獲得高精度的三維空間坐標(biāo)，必須對影響系統(tǒng)精度的關(guān)鍵技術(shù)進行研究[2]。其中系統(tǒng)的標(biāo)定技術(shù)最為關(guān)鍵，直接決定著三維重建以及測量的精度。標(biāo)定技術(shù)包含相機內(nèi)部參數(shù)標(biāo)定，雙相機外部參數(shù)標(biāo)定以及測量筆標(biāo)定[3-4]。

近年來，基于雙目視覺的三坐標(biāo)測量系統(tǒng)得到了迅速的發(fā)展，如挪威Metronor公司的DCS系統(tǒng)和瑞士Lecia公司的V-STARS/M系統(tǒng)以及哈爾濱工業(yè)大學(xué)的實驗樣機等。已知特征點的圖像坐標(biāo)求取攝像機內(nèi)部參數(shù)，國內(nèi)外學(xué)者已經(jīng)提出了許多標(biāo)定方法，如透視變換法、雙平面法、Tsai兩步法等[5-7]。但目前國內(nèi)對于整個光筆式雙目視覺測量系統(tǒng)的標(biāo)定文獻比較少，開發(fā)出一整套能運用于現(xiàn)場靈活校準(zhǔn)的標(biāo)定系統(tǒng)顯得尤為重要。

本文針對2臺CCD相機的內(nèi)部參數(shù)標(biāo)定問題，采用了張正友法實現(xiàn)了校準(zhǔn)。在2個相機內(nèi)參分別標(biāo)定完成的基礎(chǔ)上，搭建了雙目視覺測量模型，構(gòu)建了2個相機圖像坐標(biāo)與世界坐標(biāo)間的關(guān)系。以二維十字標(biāo)定靶特征點的標(biāo)準(zhǔn)長度為基準(zhǔn)，結(jié)合粒子群算法和LM迭代算法，最小化標(biāo)靶特征點間長度實際值與計算值之間的誤差平方和，實現(xiàn)對2個相機外部參數(shù)的標(biāo)定和優(yōu)化?；谧钚《朔椒?，實現(xiàn)了測量筆測尖的現(xiàn)場校準(zhǔn)。本文開發(fā)的一整套標(biāo)定系統(tǒng)，為后期進行高精度坐標(biāo)測量奠定了基礎(chǔ)，實用價值高。

1 相機內(nèi)參數(shù)標(biāo)定

精確校準(zhǔn)2個相機的內(nèi)部參數(shù)，可以減小其對系統(tǒng)測量精度的影響。由相機小孔透視模型可得到：

zm=P[R,T]M

(1)

式中：m=[u,v,1]T，為計算機圖像坐標(biāo)系下的坐標(biāo)齊次形式；M=[X,Y,Z,I]T，為世界坐標(biāo)系下的坐標(biāo)齊次形式；T為世界坐標(biāo)系原點到相機光心矢量；P為內(nèi)參數(shù)矩陣，即

(2)

式中：(u0,v0)為像主點坐標(biāo)；fx和fy分別為u、v軸的尺度因子；μ為畸變因子。確定矩陣P的過程即相機內(nèi)參數(shù)標(biāo)定。

張正友提出了采用平面模板標(biāo)定的方法[5]，利用相機對標(biāo)定模板不同方位拍攝，從而實現(xiàn)相機標(biāo)定。避免了傳統(tǒng)標(biāo)定方法繁瑣的缺點，又比自標(biāo)定方法精度好。令標(biāo)定靶平面Z坐標(biāo)為0，R=(r1,r2,r3)，則(1)式可改寫為

(3)

圖像點m與標(biāo)定靶上點M存在一個變換H:

zm=HM

(4)

記H=(h1,h2,h3)，有

(h1,h2,h3)=λP(r1,r2,T)

(5)

由于P的行列式不為0，所以det[H]≠0。由旋轉(zhuǎn)矩陣的正交性，可得

(6)

(6)式為攝像機內(nèi)參數(shù)矩陣2個基本約束。

(7)

因為B對稱，可表示為

b=[B11,B12,B22,B13,B23,B33]

(8)

H中第i列向量為

hi=[hi1,hi2,hi3]T

(9)

vij= [hi1hj1,hi1hj2+hi2hj1,hi2hj2，hi3hj1+

hi1hj3,hi3hj2+hi2hj3,hi3hj3]

(10)

可以得到b為未知數(shù)的齊次方程：

(11)

對不同位置的標(biāo)定靶平面拍攝n張照片，標(biāo)定靶位置盡量布滿整個視場空間。將n個(11)式這樣方程疊加起來，可得:

Vb=0

(12)

V是2n×6的矩陣。若n>2，可求得b的唯一解。根據(jù)求得B可求解內(nèi)參數(shù)矩陣P。其中

(13)

2 雙相機外參數(shù)標(biāo)定

2.1 雙目視覺測量模型

一般情況，雙目立體視覺測量對于2個相機擺放沒有特別要求，如圖1所示。

圖1 雙目立體視覺測量中空間點三維重建Fig.1 Space point 3D reconstruction in binocular stereo vision measurement

令左相機光學(xué)中心位于世界坐標(biāo)系O-XYZ原點，且無旋轉(zhuǎn)。左相機圖像坐標(biāo)系O1-u1vl，有效焦距為fl。右相機的坐標(biāo)系為Or-XrYrZr，圖像坐標(biāo)系為Or-urvr，有效焦距fr。

左相機坐標(biāo)系O-XYZ與右相機坐標(biāo)系Or-XrYrZr之間的相互位置關(guān)系可以用矩陣M表示成：

M=[R,T]

(14)

式中：R為左右2個相機坐標(biāo)系之間的旋轉(zhuǎn)矩陣；T為右相機坐標(biāo)系相對于左坐標(biāo)系原點之間的平移矢量。

2個相機視場中的三維坐標(biāo)可以表示成：

(15)

由(15)式可以看出，已知左右相機的焦距和空間點在2個相機中圖像坐標(biāo)，只要求出旋轉(zhuǎn)矩陣R和平移矩陣T，就可以求出空間點的三維空間坐標(biāo)值[8]。

2.2 外參數(shù)標(biāo)定理論與方法

外部參數(shù)標(biāo)定是指在攝像機內(nèi)部參數(shù)確定后，確定視覺系統(tǒng)的結(jié)構(gòu)參數(shù)R和T。本文采用基于標(biāo)準(zhǔn)長度的標(biāo)定方法。所用標(biāo)靶如圖2所示。為了提高標(biāo)定精度，采用的十字標(biāo)定靶已經(jīng)精密校準(zhǔn)，特征點1到5之間距離為定值。D3j(j=1,2,4,5)為十字標(biāo)靶上j點到3號點的實際精確距離。其中D31=200.234 157 1，D32=199.787 142 4，D34=199.682 366 4，D35=200.283 831 8。

圖2 十字形標(biāo)靶Fig.2 Calibration cross

引入加強目標(biāo)約束函數(shù)：

(16)

式中：D(pi3,pi j)是攝像機第i次同步拍照，計算出的3號點到j(luò)號點的距離。通過最小化距離的計算值與實際值的誤差平方和，可以校準(zhǔn)外部參數(shù)R和T[9]。從而可以構(gòu)建無約束優(yōu)化目標(biāo)函數(shù)為

(17)

外部參數(shù)標(biāo)定步驟如下：

步驟1) 2個相機同步拍攝6次十字標(biāo)定靶圖像(左右相機分別為6幅)，讀入圖像，利用數(shù)字圖像處理的相關(guān)方法，實現(xiàn)5個特征圓點的中心圖像坐標(biāo)提取，作為標(biāo)定的特征點。

步驟2) 利用粒子群算法將相機的12個外部參數(shù)作為算法中的12個粒子。(17)式中目標(biāo)函數(shù)作為適應(yīng)度函數(shù)。利用粒子群算法最小化式中的目標(biāo)函數(shù)，從而得到全局最優(yōu)解：

gBest=[r1,r2,r3,r4,r5,r6,r7,r8,r9tx,ty,tz]T

(18)

算法實現(xiàn)步驟如圖3所示。

圖3 粒子群算法實現(xiàn)流程Fig.3 Flow chart of particle swarm optimization

步驟3) 將求得的外參初值作為(17)式無約束優(yōu)化迭代初值，利用LabVIEW自帶的非線性優(yōu)化工具，實現(xiàn)外部參數(shù)的LM迭代優(yōu)化。

3 測量筆標(biāo)定

因測量筆的測尖預(yù)校準(zhǔn)以及測頭更換過程很難避免一些不確定性因素[10]。每次測量前必須對測尖坐標(biāo)進行精確標(biāo)定，減小其對整個系統(tǒng)精度影響。

將測尖處小球固定在相同半徑的球形座內(nèi)，如圖4所示，測量筆在一定錐角內(nèi)任意擺動并采集圖像。筆尖位置固定，筆身位置改變。假設(shè)測量筆坐標(biāo)系OXpYpZp的原點在測筆坐標(biāo)系下坐標(biāo)Op，在世界坐標(biāo)系下坐標(biāo)Ow。測量筆測尖在測筆坐標(biāo)系下坐標(biāo)為Tp，在世界坐標(biāo)系下坐標(biāo)為Tw。因為標(biāo)定座固定不動，所以每次成像時Tw為常量。

圖4 測筆標(biāo)定示意圖Fig.4 Schematic diagram of measurement pen calibration

假設(shè)測量筆在位置1，世界坐標(biāo)系與測筆坐標(biāo)系之間的轉(zhuǎn)換關(guān)系有

Op=R1Ow1+T1

Tp=R1Tw+T1

(19)

Tp-Op表示測尖到測量筆原點間距離，因為距離為常量，記為C。因此

(R1Tw+T1)-(R1Ow1+T1)=C

(20)

整理(20)式，可得

R1Tw-R1Ow1=C

(21)

晃動測量筆，在位置2采集圖像時

R2Tw-R2Ow2=C

(22)

同理，在位置n時有

RnTw-RnOwn=C

(23)

根據(jù) (21)式和(22)式，可推得

(R2-R1)Tw=R2Ow2-R1Ow1

(24)

以此類推，可以得到第n次和第n-1次的關(guān)系為

(Rn-Rn-1)Tw=RnOwn-RnOw(n-1)

(25)

任意擺動測量筆采集n次圖像，由(25)式構(gòu)成一個Tw的方程組:

(26)

該方程組可以通過最小二乘方法求解，確定測尖在世界坐標(biāo)系下坐標(biāo)Tw為

Tw=(QTQ)-1QTb

(27)

根據(jù)(28)式，可計算出第i次擺動測量筆時，測尖在測量筆坐標(biāo)系下的坐標(biāo)Tp i。進而求平均值作為測尖在測筆坐標(biāo)系下的坐標(biāo)Tp。

Tpi=RiTw+Ti

(28)

4 實驗與標(biāo)定結(jié)果

實驗采用2臺型號相同的CCD相機進行標(biāo)定實驗。相機型號為：BaslerPIA2400-17GM，分辨率為2 448pixel×2 050pixel。

4.1 內(nèi)參數(shù)標(biāo)定實驗與結(jié)果

實驗采用7×7圓陣列標(biāo)定靶，以圓的中心作為標(biāo)定特征點。采集圖像時讓標(biāo)定靶盡量充滿整個空間，左右相機共采集16幅圖像，其中4幅如圖5所示。2臺Basler相機內(nèi)參數(shù)標(biāo)定結(jié)果如表1所示。

圖5 不同位置平面標(biāo)定靶圖Fig.5 Plane calibration target figures of different locations

表1 攝像機內(nèi)部參數(shù)

4.2 外參數(shù)標(biāo)定實驗和結(jié)果

由粒子群算法得到外參初始值,如表2所示。采用LabVIEW自帶的非線性優(yōu)化函數(shù)工具，對外參數(shù)進行進一步LM迭代優(yōu)化。優(yōu)化函數(shù)如圖6所示。其中

圖6 約束優(yōu)化工具Fig.6 Constrained optimization tool

1) function data為目標(biāo)函數(shù)的靜態(tài)參數(shù)。包含左右相機的焦距以及拍攝的目標(biāo)物體的左右相機的圖像坐標(biāo)。

2) objective and constraint function為優(yōu)化求解的目標(biāo)函數(shù)。本文目標(biāo)函數(shù)即(17)式：

3) start為n維初始點。將12個需要標(biāo)定的外參數(shù)作為粒子群算法的12個粒子，用粒子群算法最小化式中目標(biāo)函數(shù)，即初始值R0和T0。

4) stopping criteria為約束優(yōu)化終止條件的集合。集合包含函數(shù)容差：1e-8;參數(shù)容差：0.000 1；最大循環(huán)次數(shù)：5 000；梯度容差：1e-8；最多調(diào)用函數(shù)次數(shù)：30 000。

5) number of function calls是優(yōu)化過程迭代的次數(shù)。最終迭代次數(shù)為354次。

6) f(minimum)為目標(biāo)函數(shù)達到的最小值。標(biāo)定結(jié)束后得到的值為79.425 4。

7) minumum為迭代結(jié)束最小值處對應(yīng)的取值點。即所求的12個外參數(shù)優(yōu)化值。

表2 外參數(shù)標(biāo)定結(jié)果

4.3 測量筆標(biāo)定實驗和結(jié)果

如圖4所示，測量筆在制作過程中，9個光學(xué)特征點的中心坐標(biāo)已精確校準(zhǔn)。9個圓特征點中心在測量筆坐標(biāo)系下坐標(biāo)如表3所示。

表3 測量筆9個特征點的坐標(biāo) mm

測量筆放置在標(biāo)定座上，運行標(biāo)定程序，拍攝至少6幅以上圖像，其中4幅圖如圖7所示。實驗得到測尖標(biāo)定值為(184.790，-20.459 8，3.248 27)。

圖7 測量筆標(biāo)定部分圖Fig.7 Part of measuring pen calibration images

4.4 標(biāo)準(zhǔn)陶瓷球測量實驗

將標(biāo)定后的系統(tǒng)對標(biāo)準(zhǔn)25 mm直徑的陶瓷球測量進行驗證。固定相機坐標(biāo)系，將陶瓷球固定在相機視場范圍內(nèi)。用測筆去測球上任意的點的坐標(biāo)。每次測量球上任意20點，共測10組。通過擬合每組測量點，得出擬合直徑如表4所示。

表4 直徑25 mm標(biāo)準(zhǔn)陶瓷球測量值 mm

Table 4 Measured values for standard ceramic ball with 25 mm diameter

序號測量值絕對誤差125．020．02225．010．01324．990．01425．020．02524．980．02625．030．03725．020．02825．030．03924．990．011024．980．02平均值/標(biāo)準(zhǔn)差25．0110．019

測量結(jié)果的平均值為25.011 mm，具有0.011 mm的偏差。測量實驗的精度不僅與標(biāo)定精度相關(guān)，還與圖像噪聲、測量過程中手的抖動等因素有關(guān)。會出現(xiàn)絕對誤差略微偏大情況，如第6次和第8次測量。測量結(jié)果標(biāo)準(zhǔn)差為0.019 mm，結(jié)果表明系統(tǒng)總體具有良好的穩(wěn)定性和可靠性。

5 總結(jié)

根據(jù)所研究的相關(guān)理論，本文采用LabVIEW編寫了一整套標(biāo)定軟件。內(nèi)參標(biāo)定運用張正友法得到了實現(xiàn)。采用粒子群與LM迭代算法相結(jié)合的方法進行外參標(biāo)定，較傳統(tǒng)標(biāo)定模型精度和速度均有所提高，并且無需預(yù)標(biāo)定，方法簡便。采用基于標(biāo)準(zhǔn)長度構(gòu)造優(yōu)化的目標(biāo)函數(shù)，加強了模型內(nèi)部強度，算法精度得到進一步提高。最后將測量筆的測尖固定在空間一點，結(jié)合最小二乘方法，實現(xiàn)了測量筆的標(biāo)定，該方法簡便易操作，在每次測量前可以精確校準(zhǔn)測頭。整套標(biāo)定系統(tǒng)為后期數(shù)據(jù)測量提供了良好的基礎(chǔ)，具有較高的應(yīng)用價值。

[1] Zhang Guoxiong. The development trend of three coordinate measuring machine[J].China Mechanical Engineering, 2000，11(1):222-226. 張國雄.三坐標(biāo)測量機的發(fā)展趨勢[J].中國機械工程，2000，11(1):222-226.

[2] Jiang Guangwen, Chao Zhichao, Fu Sihua,et al. High accurate camera calibration technique based on controllable rotation[J]. Acta Optica Sinica，2010,30(4)：1309-1314. 姜廣文，晁志超，伏思華，等. 基于可控旋轉(zhuǎn)的相機高精度標(biāo)定技術(shù)[J]. 光學(xué)學(xué)報，2010,30(4)：1309-1314.

[3] Liu Yiyu. Light pen binocular vision measurement system research[D]. Changsha:Central South University,2010. 劉一宇.光筆雙目視覺測量系統(tǒng)的研究[D].長沙：中南大學(xué), 2010.

[4] Xu Qiaoyu.Study of the key technologies of online 3D vision measurement system for large-scale equipments[D]. Harbin:Harbin Institute of Technology,2007. 徐巧玉.大型裝備在線三維視覺測量系統(tǒng)關(guān)鍵技術(shù)研究[D].哈爾濱:哈爾濱工業(yè)大學(xué),2007.

[5] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Trans. on Patern Analysis and Machine Intelligence, 2000,22(11):1330-1334.

[6] Tasi R Y. An efficient and accurate camera calibration technique for 3D machine vision[J]. Proc. of IEEE Conference of Computer Vision and Pattern Recognition, 1986, 10(3): 364-374.

[7] Wei G Q, Ma S D. Implicit and explicit camera calibration:Theory and experiment[J]. IEEE Trans. on Pattern Recognition and Machine Intelligence, 1994, 16(5): 469-480.

[8] Zhang Guangjun. Visual measurement[M].Beijing:Science Press,2008. 張廣軍. 視覺測量[M]. 北京：科學(xué)出版社，2008.

[9] Xie Kexin. Optimization method[M]. Rev. ed. Tianjin：Tianjin University Press，1997:144-165. 解可新. 最優(yōu)化方法[M]. 修訂版.天津：天津大學(xué)出版社，1997:144-165.

[10]Xu Tingfa. Precise perimeter measurement for 3D object with a light-pen vision measurement system [J]. Optics&Laser Technology,2009,41:815-819.

Calibration technique of binocular vision measurementsystem using light pen

Xiong Xin，Sun Dongmei，F(xiàn)an Wen，Xu Haipeng

(School of Automation & Electrical Engineering, Nanjing University of Technology, Nanjing 211816, China)

Aiming at the calibration problem of the binocular vision measurement system using a light pen, the theory about the calibration of camera intrinsic parameters, double-camera extrinsic parameters and measuring pen was discussed. At the same time, the whole calibration system based on LabVIEW was developed. The camera intrinsic parameters calibration wasachieved by using Zhang plane calibration method,while the double-camera extrinsic parameters calibration was achieved by the method based on standard length. Using the method combining the particle swarm optimization with the Levenberg-Marquard(LM) algorithm, the high-dimensional optimization target function was speeded up effectively. In the process of measuring pen calibration, a very convenient field calibration method based on least square was proposed. The calibration system could complete all the preparation work before the relevant measurement. It has high precision and practicability. Based on the calibration results of measurement system, the standard deviation of test result for the 25 mm diameter standard ceramic ball is 0.019 mm.

binocular vision;calibration; extrinsic parameters; intrinsic parameters；particle swarm optimization; LM algorithm

1002-2082(2015)05-0784-07

2015-04-13；

2015-05-11

江蘇省人事廳江蘇省博士后資助計劃(1201012C)

熊鑫(1991-)，男，江蘇常州人，碩士研究生，主要從事視覺測量研究。E-mail：649271900@qq.com

TN911.73;TP27

A

10.5768/JAO201536.0503004