潘 燕，張 偉，趙 雨，樓向明

(1.中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場(chǎng)標(biāo)定方法

潘 燕1，張 偉1，趙 雨2，樓向明2

(1.中國(guó)計(jì)量大學(xué)機(jī)電工程學(xué)院，浙江 杭州 310018；2.杭州娃哈哈研究院，浙江 杭州 310009)

為了精確、快速、高效地標(biāo)定線結(jié)構(gòu)光傳感器參數(shù)，提出了一種線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場(chǎng)標(biāo)定方法。根據(jù)攝像機(jī)標(biāo)定方法，并結(jié)合L-M非線性優(yōu)化算法對(duì)攝像機(jī)內(nèi)外參數(shù)及鏡頭畸變系數(shù)進(jìn)行標(biāo)定。拍攝不同姿態(tài)下的平面靶標(biāo)圖像，利用靶標(biāo)圖像計(jì)算攝像機(jī)外參計(jì)算靶標(biāo)上的圓點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，并構(gòu)建靶標(biāo)平面方程。將激光線投射到不同姿態(tài)的靶標(biāo)平面上，通過靶標(biāo)平面方程計(jì)算出激光線上點(diǎn)在攝像機(jī)坐標(biāo)系下的3D坐標(biāo)，由不同位置重構(gòu)出激光點(diǎn)在攝像機(jī)坐標(biāo)系下的3D坐標(biāo)來完成光平面參數(shù)標(biāo)定。通過對(duì)攝像機(jī)參數(shù)、畸變系數(shù)和光平面參數(shù)的標(biāo)定，重構(gòu)目標(biāo)物體進(jìn)行測(cè)試。測(cè)量結(jié)果表明：該算法能夠快速、準(zhǔn)確地獲取小車車體的三維坐標(biāo)，并構(gòu)造出車體的三維模型。該方法適用于大視場(chǎng)的工業(yè)現(xiàn)場(chǎng)標(biāo)定。

傳感器； 標(biāo)定； 非線性優(yōu)化； 畸變； 光平面

0 引言

結(jié)構(gòu)光視覺檢測(cè)系統(tǒng)具有結(jié)構(gòu)簡(jiǎn)單、檢測(cè)效率高、速度快且檢測(cè)信息量大等優(yōu)點(diǎn)，被充分應(yīng)用于逆向工程、工業(yè)在線檢測(cè)及三維型面數(shù)字化[1-2]等領(lǐng)域。線結(jié)構(gòu)光傳感器主要由攝像機(jī)、激光器等組成，其數(shù)學(xué)模型包括攝像機(jī)透視投影模型和光平面方程。線結(jié)構(gòu)光傳感器的現(xiàn)場(chǎng)標(biāo)定主要是對(duì)其模型參數(shù)進(jìn)行標(biāo)定，其參數(shù)包括攝像機(jī)的內(nèi)外參數(shù)、畸變系數(shù)及光平面方程參數(shù)，根據(jù)激光三角原理來獲得空間中被測(cè)物體的三維信息。攝像機(jī)標(biāo)定法是較為傳統(tǒng)的攝像機(jī)參數(shù)標(biāo)定方法之一[3]，其使用3D立體靶標(biāo)上特征點(diǎn)直接求解攝像機(jī)模型參數(shù)，但需要3D立體靶標(biāo)作為標(biāo)定工具，增加了標(biāo)定成本且應(yīng)用場(chǎng)合受到限制。Tsai在1986年提出了一種基于徑向約束的兩步法標(biāo)定方法，只考慮了徑向畸變而未考慮到切向畸變。張正友等人于2000年提出的2D平面靶標(biāo)攝像機(jī)標(biāo)定方法，其標(biāo)定的精度較高、靈活性較強(qiáng)[4]，而且成本低，適用于攝像機(jī)參數(shù)的現(xiàn)場(chǎng)標(biāo)定。

線結(jié)構(gòu)光平面標(biāo)定方法主要有拉絲法、鋸齒靶法和交比不變法。文獻(xiàn)[5]、文獻(xiàn)[6]提出了利用交比不變?cè)韥慝@取線結(jié)構(gòu)光標(biāo)定特征點(diǎn)，由于特征點(diǎn)不是直接從圖像中提取出的，所以其標(biāo)定點(diǎn)精度易受到相機(jī)畸變系數(shù)等的影響，且只能獲取很少的標(biāo)定特征點(diǎn)。文獻(xiàn)[7]、文獻(xiàn)[8]提出了基于靶標(biāo)平面的線結(jié)構(gòu)光模型參數(shù)標(biāo)定法，其操作較為簡(jiǎn)單、精度較高、不需要其他設(shè)備作輔助進(jìn)行標(biāo)定，是比較常用的結(jié)構(gòu)光標(biāo)定方法。文獻(xiàn)[9]提出了一種基于一維靶標(biāo)的結(jié)構(gòu)光傳感器標(biāo)定方法，可用于尺寸較大的結(jié)構(gòu)光測(cè)量系統(tǒng)標(biāo)定，但其需要包含3個(gè)共線特征點(diǎn)提取。本文提出了一種線結(jié)構(gòu)光傳感器參數(shù)現(xiàn)場(chǎng)標(biāo)定方法，通過帶參數(shù)法對(duì)光條進(jìn)行標(biāo)定，可以獲得更多精確的標(biāo)定點(diǎn)3D坐標(biāo)，從而確定光平面參數(shù)，本文方法可用于工業(yè)現(xiàn)場(chǎng)的大場(chǎng)景標(biāo)定。

1 線結(jié)構(gòu)光傳感器三維視覺模型

圖1為線結(jié)構(gòu)光傳感器透視投影模型。

圖1 線結(jié)構(gòu)光傳感器透視投影模型

oc-xcyczc、o0-uv、o1-XY、ow-XWYWZW分別為攝像機(jī)坐標(biāo)系、像平面坐標(biāo)系、歸一化平面坐標(biāo)系、世界坐標(biāo)系,oc、oco1分別為攝像機(jī)光心和焦距。由圖1可知，結(jié)構(gòu)光平面π在被測(cè)物體表面形成曲線AB,AB上任意一點(diǎn)P在世界坐標(biāo)系和攝像機(jī)坐標(biāo)系下的齊次坐標(biāo)為pW=(XW,YW,ZW，1)T、pc=(xc,yc,zc,1)T，對(duì)應(yīng)的像平面上點(diǎn)P′和歸一化平面上點(diǎn)P″的齊次坐標(biāo)分別為p′=(u,v)T、p″=(X,Y,1)T。

根據(jù)針孔成像模型，空間點(diǎn)P與各坐標(biāo)系的關(guān)系為：

(1)

(2)

(3)

式中：R為3×3正交矩陣；T為平移向量；f為攝像機(jī)焦距；(u0,v0)為O1在像平面的中心點(diǎn)坐標(biāo)；dX、dY為每個(gè)像素在X、Y軸上的物理尺寸。

將式(2)代入式(3)，得到攝像機(jī)坐標(biāo)系下任意一點(diǎn)P與像平面點(diǎn)的坐標(biāo)(u,v)的關(guān)系為：

(4)

式中：fx、fy、u0、v0、γ為攝像機(jī)內(nèi)部參數(shù)。

由式(4)可得兩個(gè)關(guān)于針孔成模型的約束條件：

(5)

設(shè)在攝像機(jī)坐標(biāo)系下線結(jié)構(gòu)光平面方程為：

zc=Axc+Byc+C

(6)

(7)

式中：A0、B0、C0為化簡(jiǎn)后光平面方程系數(shù)。

通過對(duì)攝像機(jī)和光平面方程參數(shù)的標(biāo)定，由式(7)可求出光平面上任一點(diǎn)P在攝像機(jī)坐標(biāo)系下的唯一確定的3D坐標(biāo)。通過對(duì)外部參數(shù)R、T的標(biāo)定，由式(1)即可確定該點(diǎn)在世界坐標(biāo)系下的三維坐標(biāo)。但在實(shí)際成像過程中，攝像機(jī)鏡頭會(huì)有一些畸變，主要為徑向畸變，也存在一些切向畸變?？紤]到鏡頭畸變情況，由式(7)變化得到的線結(jié)構(gòu)光傳感器模型為：

(8)

畸變校正后的(以像素為單位)圖像平面坐標(biāo)為：

(9)

2 參數(shù)標(biāo)定

2.1 攝像機(jī)參數(shù)標(biāo)定

(10)

假設(shè)靶標(biāo)平面位于世界坐標(biāo)平面XwYw上，則有：

(11)

H=[h1h2h3]=λA[r1r2t]

(12)

式中：λ為常數(shù)因子；r1，r2為方向矢量；t為平移向量。

(13)

式中：h1、h2已求出，只有A-TA-1是未知的，A中包含了5個(gè)參數(shù)，至少需要k≥3個(gè)單映性矩陣，即2k個(gè)方程求解出攝像機(jī)內(nèi)部參數(shù)。

由內(nèi)參通過式(12)即可求出每幅圖像的外參。用以上參數(shù)作為初值采用L-M非線性優(yōu)化算法進(jìn)行優(yōu)化，得到最終所有參數(shù)的優(yōu)化解。算法中的目標(biāo)函數(shù)為：

(14)

式中：mi,j=(u,v);M=(Xw,Yw)。

2.2 線結(jié)構(gòu)光平面標(biāo)定

線結(jié)構(gòu)光平面的標(biāo)定主要包括兩個(gè)方面:一是激光線上標(biāo)定點(diǎn)三維坐標(biāo)的獲取[10]，二是光平面方程的求解。

①靶標(biāo)姿態(tài)獲取。將設(shè)計(jì)好的靶標(biāo)置于攝像機(jī)視野[11]中，拍攝靶標(biāo)圖像；靶標(biāo)的世界坐標(biāo)已設(shè)定，通過對(duì)其進(jìn)行相應(yīng)的圖像處理可獲得靶標(biāo)的圖像坐標(biāo)；根據(jù)空間點(diǎn)與圖像點(diǎn)之間的映射關(guān)系，求出每幅圖像的外參。

②激光點(diǎn)圖像坐標(biāo)獲取。在相同位置保持靶標(biāo)姿態(tài)不變[12]，打開激光發(fā)射器，拍攝激光條圖像。靶標(biāo)上的激光線圖像通過相應(yīng)的檢測(cè)算法，可獲得其圖像坐標(biāo)。為提高激光線上點(diǎn)圖像坐標(biāo)的獲取精度，對(duì)光條圖像進(jìn)行圖像處理操作，包括二值化、細(xì)化、去毛刺等操作，結(jié)合結(jié)構(gòu)元素細(xì)化方法，對(duì)光條中心線提取產(chǎn)生的毛刺進(jìn)行剔除[13]。這種提取光條中心線的方法，可以減少其他噪聲干擾。再選定激光點(diǎn)初始和結(jié)束位置擬合成一條直線，用擬合直線上的點(diǎn)作為標(biāo)定點(diǎn)，通過擬合直線法可以消除噪聲，提高激光線上標(biāo)定點(diǎn)圖像坐標(biāo)的提取精度。

③激光點(diǎn)三維坐標(biāo)獲取[14]。通過對(duì)靶標(biāo)姿態(tài)的標(biāo)定，由式(1)可求得靶標(biāo)平面上圓點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，設(shè)靶標(biāo)平面方程為：

(15)

由平面上圓點(diǎn)三維坐標(biāo)可求出靶標(biāo)平面在攝像機(jī)坐標(biāo)系下的平面方程。激光線既在靶標(biāo)平面，又在激光平面，聯(lián)立式(9)、式(15)，通過式(8)可求出激光點(diǎn)畸變校正后在攝像機(jī)坐標(biāo)系下三維坐標(biāo)。重復(fù)以上操作，拍攝不同位置的靶標(biāo)圖像求取靶標(biāo)姿態(tài)再拍攝相應(yīng)位置的激光線的圖像，并求出不同激光線上點(diǎn)的三維坐標(biāo)。

④計(jì)算光平面方程。從不同位置求取出的n個(gè)激光點(diǎn)的三維坐標(biāo)，它們均滿足光平面方程，通過式(8)可求出平面方程系數(shù)，完成結(jié)構(gòu)光平面標(biāo)定。

3 試驗(yàn)與測(cè)量分析

3.1 攝像機(jī)標(biāo)定結(jié)果

試驗(yàn)采用德國(guó)Allied Vision公司生產(chǎn)的Mako G-131B高幀率的工業(yè)級(jí)千兆網(wǎng)CCD攝像機(jī)，攝像機(jī)配置8 mm定焦鏡頭。靶標(biāo)由70個(gè)大小相同的圓點(diǎn)組成。本文從不同位置拍攝了15幅靶標(biāo)圖像，用于攝像機(jī)內(nèi)外參數(shù)的標(biāo)定。試驗(yàn)采用張正友的基于2D平面靶標(biāo)的攝像機(jī)標(biāo)定方法，利用L-M非線性優(yōu)化算法進(jìn)行優(yōu)化，求得所有內(nèi)參數(shù)優(yōu)化解。

攝像機(jī)內(nèi)參標(biāo)定結(jié)果、畸變系數(shù)分別如表1、表2所示。

表1 攝像機(jī)內(nèi)參標(biāo)定結(jié)果

表2 畸變系數(shù)

3.2 光平面標(biāo)定結(jié)果

采用前面所述的結(jié)構(gòu)光平面標(biāo)定的方法，拍攝了5組不同姿態(tài)下的靶標(biāo)和激光圖像，標(biāo)定靶標(biāo)平面方程。在光平面上，先對(duì)光條圖像進(jìn)行相應(yīng)的圖像處理操作，包括二值化、細(xì)化、去毛刺等操作；然后擬合直線，并提取光條中心線；最后在所提取的光條中心線上均勻取點(diǎn)，作為標(biāo)定所需的激光點(diǎn)的圖像坐標(biāo)。

采用上述圖像處理及直線擬合的方法可以有效地去除噪聲的干擾，提高光條上激光點(diǎn)圖像坐標(biāo)的提取精度。利用靶標(biāo)平面方程，計(jì)算光條上激光點(diǎn)的三維坐標(biāo)。利用上述方法重構(gòu)出的光條三維坐標(biāo)如圖2所示。

圖2 光條三維坐標(biāo)

表3為不同位置重構(gòu)的部分激光線上點(diǎn)的三維坐標(biāo)。通過對(duì)不同姿態(tài)下激光線上點(diǎn)三維坐標(biāo)的計(jì)算進(jìn)行平面擬合，得到光平面的系數(shù)，從而完成了整個(gè)線結(jié)構(gòu)光的標(biāo)定，其光平面標(biāo)定結(jié)果如表4所示。

表3 激光線上點(diǎn)的三維坐標(biāo)

表4 光平面標(biāo)定結(jié)果

3.3 光條重構(gòu)被測(cè)三維物體

完成對(duì)線結(jié)構(gòu)光傳感器的標(biāo)定，并將標(biāo)定結(jié)果運(yùn)用到模擬小車車體的測(cè)量上。將小車車體置于攝像機(jī)視野中，緩慢向前移動(dòng)直到車尾處，并拍攝不同位置下車體的激光圖像。試驗(yàn)中拍攝了226幅小車位置變化時(shí)的激光圖像，用來重構(gòu)小車車體測(cè)量的三維模型。

對(duì)試驗(yàn)中獲得的激光圖像進(jìn)行相應(yīng)的圖像處理操作，獲取激光圖像在像坐標(biāo)系下的坐標(biāo)并進(jìn)行畸變校正。通過攝像機(jī)和光平面參數(shù)的標(biāo)定結(jié)果計(jì)算被測(cè)小車在攝像機(jī)坐標(biāo)系下的3D坐標(biāo)，并重構(gòu)出任意光條圖像。重構(gòu)的小車車體測(cè)量的三維效果圖如圖3所示。試驗(yàn)表明，本文所用的線結(jié)構(gòu)光標(biāo)定方法能夠有效地應(yīng)用到大場(chǎng)景視覺檢測(cè)系統(tǒng)中。

圖3 車體測(cè)量三維效果圖

4 結(jié)束語(yǔ)

本文提出了一種線結(jié)構(gòu)光傳感器的現(xiàn)場(chǎng)標(biāo)定方法。根據(jù)張正友的攝像機(jī)標(biāo)定方法求出攝像機(jī)參數(shù)的初始值，再結(jié)合L-M非線性優(yōu)化算法對(duì)參數(shù)進(jìn)行優(yōu)化，從而精確地完成攝像機(jī)內(nèi)外參數(shù)及畸變系數(shù)的標(biāo)定。通過靶標(biāo)平面方程得到激光線上標(biāo)定點(diǎn)在攝像機(jī)坐標(biāo)系下的三維坐標(biāo)，由不同位置標(biāo)定點(diǎn)坐標(biāo)完成光平面方程的標(biāo)定。本文還通過對(duì)線結(jié)構(gòu)光傳感器參數(shù)的標(biāo)定，完成了基于線結(jié)構(gòu)光的模擬小車的測(cè)量試驗(yàn)。試驗(yàn)結(jié)果表明，本文的標(biāo)定方法能夠有效地實(shí)現(xiàn)小車車體的測(cè)量。本文的標(biāo)定方法具有成本低、計(jì)算簡(jiǎn)單、操作靈活、測(cè)量精度高等優(yōu)點(diǎn)，適用于大場(chǎng)景的工業(yè)現(xiàn)場(chǎng)標(biāo)定。

[1] TAMAS V,RALPH M,JORDAN C.Reverse engineering of geometic models-an introduction[J].Computer Aided Design,1997,29(4):255-268.

[2] SEOKBAE S,HYUNPUNG P,KUANH H L.Automated laser scanning system for reverse engineering and inspection[J].International Journal of Machine Tools & Manufacture,2002,42(8):889-897.

[3] ZHANG Z.A flexible new technique for camera calibration[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

[4] 欒祿祥.室內(nèi)移動(dòng)機(jī)器人機(jī)器視覺定位系統(tǒng)的設(shè)計(jì)[J].自動(dòng)化儀表,2017,38(2):49-52.

[5] 陳新禹,馬孜,汪洋,等 .線結(jié)構(gòu)光參數(shù)的簡(jiǎn)易標(biāo)定方法[J].光電子.激光,2013(3):563-568.

[6] 周富強(qiáng),張廣軍.表面視覺傳感器模型參數(shù)的簡(jiǎn)易標(biāo)定方法[J].機(jī)械工程學(xué)報(bào),2005(3):175-179.

[7] 劉震,張廣軍,魏振忠,等.一種高精度線結(jié)構(gòu)光視覺傳感器現(xiàn)場(chǎng)標(biāo)定方法[J].光學(xué)學(xué)報(bào),2009(11):3124-3128.

[8] 韓建棟,呂乃光,董明利,等.線結(jié)構(gòu)光傳感系統(tǒng)的快速標(biāo)定方法[J].光學(xué)精密工程,2009(5):958-963.

[9] 周富強(qiáng),蔡斐華.基于一維靶標(biāo)的結(jié)構(gòu)光視覺傳感器標(biāo)定[J].機(jī)械工程學(xué)報(bào),2010(18):7-12.

[10]田忠運(yùn).基于雙線結(jié)構(gòu)光三維檢測(cè)技術(shù)研究[D].南京：南京航空航天大學(xué),2012.

[11]李鵬.加工中心在機(jī)復(fù)合式檢測(cè)系統(tǒng)的關(guān)鍵技術(shù)研究[D].大連：大連海事大學(xué),2012.

[12]程傳景.線結(jié)構(gòu)光視覺傳感器的現(xiàn)場(chǎng)標(biāo)定技術(shù)研究[D].大連:中國(guó)海洋大學(xué),2006.

[13]王婉心,賈立鋒.骨架提取中的毛刺去除方法[J].廣東工業(yè)大學(xué)學(xué)報(bào),2014(4):90-94.

[14]陳培芬.圓鋼視覺測(cè)量系統(tǒng)的關(guān)鍵技術(shù)研究[D].天津：天津大學(xué),2014.

On-SiteCalibrationMethodfortheParametersofLightSensorwithLineStructure

PAN Yan1,ZHANG Wei1,ZHAO Yu2,LOU Xiangming2

(1.College of Quality and Safety Engineering,China Jiliang University,Hangzhou 310018,China;2.Research Institute of Wahaha，Hangzhou 310019,China)

To calibrate the parameter of light sensor with line structure accurately and promptly and efficiently,an on-site calibration method is proposed.Based on the camera calibration method,and combining with L-M nonlinear optimization algorithm,the internal and external parameters and the distortion coefficient of the camera are calibrated.Shooting the images of the plane target under different attitude,and using the target image to calculate the external parameters of the camera,then through the external parameter,the 3D coordinates of the point on the target in the coordinate system of camera are calculated,to construct the plane equation.The laser line is projected onto the target plane of different attitude,then through target plane equation,the 3D coordinates of the point on laser line in the coordinate system of camera calculated,from different positions to reconstruct the 3D coordinates of the laser points in camera coordinate system,to complete the light plane calibration.Through the calibration of the camera parameters and distortion coefficient and light plane parameters of the tested object will be used for the reconstruction and simulation of car body measurement.The test results show that the 3D coordinates of the car can be precisely obtained by the algorithm and construct the 3D model of the car.The algorithm can be applied to the on-site calibration in large field of view.

Sensor； Calibration; Nonlinear optimization； Distortion； Light plane

TH721;TP212

： A

10.16086/j.cnki.issn1000-0380.201709012

修改稿收到日期:2017-04-06

潘燕(1992—)，女，在讀碩士研究生，主要從事機(jī)器視覺、視覺測(cè)量等方向的研究。E-mail:1479532677@qq.com。 張偉(通信作者)，男，博士，副教授，主要從事數(shù)字化制造技術(shù)與裝備自動(dòng)化、機(jī)器人技術(shù)、CAD/CAM等方向的研究。 E-mail:zhangwei@cjlu.edu.cn。