張林龍，張偉，胡昌華，周志杰

(1.火箭軍工程大學(xué)302室，陜西西安710025; 2.火箭軍工程大學(xué)403室，陜西西安710025)

三維結(jié)構(gòu)形變的單目像機測量方法

張林龍1，張偉2，胡昌華1，周志杰1

(1.火箭軍工程大學(xué)302室，陜西西安710025; 2.火箭軍工程大學(xué)403室，陜西西安710025)

針對大型結(jié)構(gòu)形變的攝像測量中，雙目系統(tǒng)結(jié)構(gòu)復(fù)雜、成本高、特征點匹配度低，而傳統(tǒng)單目測量系統(tǒng)不能有效獲取目標深度信息等問題，借助平面反射鏡提出一種新的單目像機三維形變測量方法。首先，基于平面反射鏡的光學(xué)反射原理構(gòu)建單目三維測量模型;其次，利用像機與平面鏡的內(nèi)在參數(shù)推導(dǎo)出單目像機視圖下的極線約束關(guān)系;然后，在測量系統(tǒng)完成參數(shù)標定的情況下，將極線約束關(guān)系作為約束條件引入利用基于LM算法的改進光束法平差進行結(jié)果優(yōu)化，完成三維目標點的位置精確測量，進而實現(xiàn)大型結(jié)構(gòu)的形變測量。仿真實驗與實際測量實驗結(jié)果表明單目像機測量方法的有效性與優(yōu)越性，具有實際工程應(yīng)用價值。

單目測量;極線約束;光束法平差;形變測量

0 引言

大型結(jié)構(gòu)件如運載火箭、飛機、艦船、風電葉片、儲油罐、橋梁等由于幾何形狀、載荷條件和工作環(huán)境的復(fù)雜性，必須進行結(jié)構(gòu)靜力實驗來研究其在靜載荷作用下的強度剛度和穩(wěn)定性等問題，因此測量大型結(jié)構(gòu)的形變成為監(jiān)測設(shè)備性能的重要因素［1］。攝像測量方法由于其高精度、非接觸等特點廣泛應(yīng)用于形變監(jiān)測［2］。

目前攝像測量方法可分為雙(多)目像機測量與單目像機測量。對于目標點的三維位置測量主要運用三維交會測量原理，至少需要兩臺攝像機［1］。利用雙目像機進行交會測量需要對相同特征點進行匹配，在匹配過程中易出現(xiàn)誤匹配、漏匹配等嚴重影響測量精度的問題。而單目像機只能確定目標點所在直線，不能得到目標點的深度信息，常用于平面測量，但是也存在利用單目像機借助其他設(shè)備進行三維測量的方法，黃小云等［3］利用一種放置于攝像機前方的立式靶標建立圖像縱坐標與實際成像角度之間的映射關(guān)系，結(jié)合幾何投影關(guān)系實現(xiàn)深度信息的實時提取;晁志超等［4］在攝像機光軸方向上安裝高精度激光測距傳感器實現(xiàn)單目像機測量目標姿態(tài)的目的;K.Kawasue等［5－6］根據(jù)像機距離被測目標遠近測得光線數(shù)量不同或者利用拍攝高速旋轉(zhuǎn)電子束分裂器所得圖像內(nèi)的光圈半徑大小來獲取深度信息;馮曉鋒等［7］在測量點附近合適位置放置平面反射鏡，通過單目像機拍攝實際物體及鏡面成像來提取目標點三維位置信息。對于大型結(jié)構(gòu)件而言其結(jié)構(gòu)復(fù)雜，在對目標區(qū)域進行監(jiān)測時雙目像機布置復(fù)雜，測量系統(tǒng)價格較高;單目像機可以解決測量系統(tǒng)的復(fù)雜性問題但是大型結(jié)構(gòu)的變形量微小，要求測量精度較高，因此在上述研究的基礎(chǔ)上進一步研究結(jié)構(gòu)形變的高精度單目測量具有重要意義。

1 問題描述

目標點的攝像測量原理如圖1所示，O為攝像機的光心，空間目標點P為在世界坐標系Qw－XwYwZw下的坐標為(xw，yw，zw)，其在攝像機中的成像點為P1(x1，y1)。根據(jù)理想針孔成像模型，像點P1、光心O、物點P三點共線，即滿足式(1)共線方程:

圖1 攝像測量原理

式中:(Cx，Cy)—圖像主點;

(Fx，F(xiàn)y)—等效焦距;

r0，r1，…，r8和t1，t2，t3—世界坐標系變換到像機坐標系下的旋轉(zhuǎn)矩陣R和平移向量T的元素。

在像點坐標(x1，y1)和像機內(nèi)外參數(shù)已知的情況下，式(1)是關(guān)于xw、yw、zw的非線性方程組。由于單個像機只能獲取兩個方程而方程組中存在3個未知數(shù)，所以得不到目標點的位置，只能確定其在通過像機光心和像點的空間直線上。

基于以上問題的考慮，利用單目像機測量三維目標位置需要解決以下問題:1)建立單目像機測量模型，增加方程數(shù)目，提供有效的深度信息;2)構(gòu)建合理的約束關(guān)系進行結(jié)果優(yōu)化，滿足高精度測量要求。

2 單目像機三維測量理論

平面反射鏡價格低廉，同時可以近似完全呈現(xiàn)被測點的全貌，因此考慮利用平面反射鏡代替部分像機，建立近似于雙目測量系統(tǒng)的單目測量系統(tǒng)。

如圖2所示，假設(shè)存在平面反射鏡S，在平面鏡內(nèi)建立虛擬世界坐標系O'w－x'wy'wz'w，l為兩世界坐標系原點之間的距離，則虛擬世界坐標系與世界坐標系滿足關(guān)系式:

假設(shè)世界坐標系中齊次坐標為P的空間點在光心為Ocr的像機投影像點齊次坐標分別為P1、P2;在虛擬坐標系中的對應(yīng)鏡面成像點的齊次坐標為P';在虛擬光心Ocv的像機投影像點齊次坐標為P'2。令K為像機內(nèi)參數(shù)矩陣;RT1、RT2分別為由相應(yīng)的旋轉(zhuǎn)矩陣R1、R2以及平移向量T1、T2構(gòu)成的4×4參數(shù)矩陣;Zc、Z'c為相應(yīng)物點到光心的距離在光軸方向的投影。

圖2 單目像機三維測量模型

由攝像測量原理可知，世界坐標系中被測點P(xw，yw，zw)與像點P1(x1，y1，z1)滿足關(guān)系:

點P對應(yīng)的鏡面成像點P'(x'w，y'w，z'w)與實際像機成像點P2(x1，y2)滿足關(guān)系:

由式(2)、(4)可得到被測點與圖像點滿足關(guān)系式:

至此得到單目像機的測量模型，由式(3)、(5)可組成含有4個方程的新共線方程組，在已知像機內(nèi)外參數(shù)的情況下，通過最小二乘法求解方程組中3個未知數(shù)即可求出被測量目標點的三維位置。

3 單視圖極線約束下的改進光束法平差

在實際測量過程中由于光線、溫度以及測量設(shè)備等因素的影響，理想條件下的測量結(jié)果不能滿足大型結(jié)構(gòu)形變的高精度要求。光束法平差作為攝像測量領(lǐng)域保證高精確測量結(jié)果的最重要理論和方法，被公認為是各種算法中精度最高的方法［2］。本節(jié)根據(jù)實際像機與虛擬像機的位置關(guān)系建立同一視圖下的單目極線約束關(guān)系，然后結(jié)合LM算法對光束法平差進行改進達到優(yōu)化測量結(jié)果的目的。

3.1 單視圖下的極線約束關(guān)系

假設(shè)像機圖像分辨率為mpixel×npixel，由圖2可知，虛擬像點P'2(x'2，y'2)與實際像點P2(x2，y2)屬于對稱關(guān)系，即滿足關(guān)系式:

式(6)在齊次坐標下的關(guān)系式可以表示為:

因此根據(jù)式(5)、(7)可得點P(xw，yw，zw)到虛擬像機的成像點P'2(x'2，y'2)在齊次坐標下投影成像關(guān)系為:

即相應(yīng)的投影矩陣M'2為:

設(shè)光心Ocr齊次坐標為［xCyCzC1］T，則兩光心之間距離OcrOcv為|l－2xC|，至此可得光心Ocr在虛擬圖像中的對應(yīng)像點即虛擬極點e'=(1/ |l－2xC|)M'2［xCyCzC1］T;根據(jù)文獻［2］可得到基礎(chǔ)矩陣:

式中:M+——點P到點P1的投影矩陣M的偽逆;

［e'］×——由極點e'=［e0e1e2］T構(gòu)成的秩為2的反對稱矩陣:

于是可以得到利用基礎(chǔ)矩陣F描述的同一幅視圖下的極線約束關(guān)系:

3.2 基于LM法的光束法平差測量

光束法平差實質(zhì)上是通過高斯牛頓法進行最優(yōu)估計的方法，在大量有效初始值的情況下高斯牛頓算法可以保證快速收斂，是一種有效的主流算法。本文單目像機測量系統(tǒng)求解的初始值是在理想條件下所得，控制點精度過低，利用高斯算法實現(xiàn)光束法平差容易出現(xiàn)不穩(wěn)定、精度較低的解，甚至無法收斂。本文將LM算法［8］、阻尼策略和驗后權(quán)估計［9］運用于三維形變測量的光束法平差中，并將單目視圖下的極線約束關(guān)系作為約束條件，克服高斯牛頓算法的收斂性缺陷，提高目標點的定位精度［10］。

在考慮像差情況下的共線方程可表述為

式中像差按照式(13)計算模型，k0、k1、k2、k3、k4為鏡頭畸變系數(shù)。

因測量結(jié)構(gòu)形變時測量設(shè)備固定，而像機內(nèi)參數(shù)將成為影響測量結(jié)果的重要因素，所以本文選取像機內(nèi)參數(shù)(Fx，F(xiàn)y，Cx，Cy)及目標點三維坐標(xw，yw，zw)作為平差參數(shù)。根據(jù)光束法平差將式(12)對平差參數(shù)進行一階線性化后，可用矩陣符號表示誤差方程式為

同理將單視圖下的極線約束關(guān)系式(11)化為:

式中:t——像機內(nèi)參數(shù)向量;

X——待定點的空間三維坐標;

A、B、C、D——分別為其相應(yīng)的系數(shù)矩陣;

L1、L2——像點坐標觀測值向量;

P1、P2——像點觀測值矩陣;

V1、V2——像點坐標觀測值改正數(shù)。

根據(jù)LM算法標準方程式建立式(14)、(15)對應(yīng)的法方程:

式中:E——為單位矩陣;

P1——權(quán)矩陣，代表像點坐標觀測值的權(quán);

μ——阻尼策略中的阻尼系數(shù)。

迭代求解式(16)的過程中可以通過驗后估計權(quán)值的方法進一步確定，在平差過程中，采用平差權(quán)函數(shù):

式中:i——迭代次數(shù);

vi——像點坐標的改正數(shù);

在對u設(shè)定合適初值的情況下，在迭代過程中根據(jù)LM法更新u值，對式(16)進行迭代求解，求得平差優(yōu)化的最終結(jié)果X。

4 單目像機三維測量實驗

為了驗證本文提出測量方法的正確性和有效性，進行了仿真實驗與室內(nèi)測量實驗，并將測量結(jié)果與傳統(tǒng)雙目攝像測量方法進行了精度比較。

4.1 仿真實驗

首先建立大型三維曲面模型，對其進行網(wǎng)格化，其中網(wǎng)格大小為1.88 cm×0.25 cm，以網(wǎng)格角點作為標志點，在模型標志點以及像點分別引入均值為0、均方差為0.2 mm與0.02pixel的噪聲，獲得仿真圖3，其中右半部分為平面反射鏡內(nèi)圖像。在視覺庫opencv基礎(chǔ)上利用Visual C++6.0進行測量程序編譯。

圖3 三維曲面模擬圖

實驗過程中利用本文提出的單目像機測量方法與傳統(tǒng)雙目像機測量進行三維測量，在模擬測量系統(tǒng)內(nèi)外參數(shù)不變的情況下獲取60組畫面，圖4分別為沿x、y、z軸實際測量位置與模擬位置之間的平均誤差。

圖4 測量誤差

由測量結(jié)果可知，本文單目像機測量方法基本可以滿足大型結(jié)構(gòu)目標點的測量要求。圖4(a)顯示兩種測量結(jié)果沿x軸精度均在0～1 mm之間。從圖4(b)、4(c)來看，本文單目像機測量方法相比較傳統(tǒng)雙目測量方法而言在沿y軸方向深度信息獲取方面誤差較大，但也基本低于2.5 mm;z軸方向測量精度相對較高，不僅如此在3個坐標軸方向測量結(jié)果上z軸誤差也相對較低。

4.2 室內(nèi)測量實驗

在室內(nèi)墻角粘貼間隔1.12 cm×1.12 cm的棋盤格作為標識物，通過監(jiān)測棋盤格角點位置即可實時測量出結(jié)構(gòu)形變。由于實驗受限，本實驗通過比較測量目標點位置與實際位置確定測量效果。

首先對mvc1500NIR像機內(nèi)參數(shù)進行標定，將平面棋盤格靶標作為標定板，通過變化像機位置與角度進行圖像拍攝，采用文獻［11］標定法進行標定，標定結(jié)果如表1所示。

表1 像機內(nèi)參數(shù)標定結(jié)果

重新固定像機位置，調(diào)整平面反射鏡位置，使像機可以通視被測量目標及反射鏡。采集圖像，對測量系統(tǒng)外參數(shù)進行標定，虛擬像機相對真實像機外參數(shù)即旋轉(zhuǎn)矩陣R、平移向量T標定結(jié)果如下:

圖5 實驗采集圖像

利用像機與平面反射鏡對表面粘貼有棋盤格標志的結(jié)構(gòu)件表面進行圖像獲取，通過合理設(shè)置反射鏡與像機的位置使像機能夠通視實際表面與反射鏡內(nèi)的虛擬表面，采集的圖像如圖5所示。

基于上述標定結(jié)果在Matlab中進行三維目標點測量，利用亞像素定位方法進行角點精度定位，對檢測到的16對特征點進行精確匹配后，采用改進的光束法平差后的部分目標點位置與實際位置如表2所示。其中RMS為目標點實際位置與測量位置之間的距離誤差。

4.3 結(jié)果討論與分析

仿真和室內(nèi)測量實驗驗證了單目像機三維測量理論的正確性與可行性。實際測量結(jié)果趨勢與仿真實驗趨勢基本相同，都反映了單目像機測量系統(tǒng)在獲取三維深度信息方面誤差相對較大，但測量誤差基本低于0.8 mm。由于本文室內(nèi)場景實驗過程中采用的是普通平面反射鏡，將其視為理想狀態(tài)必然會影響最終測量精度，這也是深度信息提取方面精度低于傳統(tǒng)雙目測量系統(tǒng)的主要原因。

5 結(jié)束語

本文針對大型結(jié)構(gòu)形變的單目攝像測量方法展開深入研究，借助平面反面鏡的作用實現(xiàn)了單目像機的有效測量?；谄矫骁R成像的單目像機測量理論解決了測量過程中深度信息丟失的問題，在雙目像機測量理論的基礎(chǔ)上提出的同一視圖下的單目像機極線約束關(guān)系為利用LM算法的改進光束法平差的求解提供約束。仿真實驗表明本文提出的單目像機三維測量精度與傳統(tǒng)雙目像機精度相當。室內(nèi)場景實驗表明本方法具有可行性，可以應(yīng)用于大型結(jié)構(gòu)的三維形變測量等實際工程方面，能夠提高測量系統(tǒng)的經(jīng)濟性與實用性。但是在測量前要合理布置像機與平面鏡相對被測目標點的位置，確保像機能夠同時獲取實際目標和反射鏡內(nèi)的目標點，這也是本文單目像機測量系統(tǒng)在儀器設(shè)置靈活性方面有待改進之處。

［1］周翔，胡建，孫林濤，等.大型結(jié)構(gòu)變形實時攝像測量方法［J］.實驗力學(xué)，2012，27(4):503－510.

［2］于起峰，尚洋，伏思華，等.大型結(jié)構(gòu)變形及形貌攝像測量技術(shù)研究進展［J］.實驗力學(xué)，2011，26(5):479－490.

［3］黃小云，高峰，徐國艷，等.基于單幅立式標靶圖像的單目深度信息提?。跩］.北京航空航天大學(xué)學(xué)報，2015，41 (4):649－655.

［4］晁志超，伏思華，姜廣文，等.單目攝像機－激光測距傳感器位姿測量系統(tǒng)［J］.光學(xué)學(xué)報，2011，31(3):85－91.

［5］OYA Y，KAWASUE K.Three－dimensional quantitative visualizationfromasingleimage［J］.Sensors＆Transducers，2009(7):142－154.

［6］KAWASUE K，NAGATOMO S，OYA Y.Three dimensional measurement of aquatic organisms using a single video camera［J］.Sensors＆Transducers，2010(6):118－126.

［7］FENG X，PAN D.Research on the application of single camera stereo vision sensor in three－dimensional point measurement［J］.Journal of Modern Optics，2015(62):1－7.

［8］祝強，李少康，徐臻.LM算法求解大殘差非線性最小二乘問題研究［J］.中國測試，2016，42(3):13－15.

［9］李德仁，袁修孝.誤差處理與可靠性分析［M］.武漢:武漢大學(xué)出版社，2002:240－255.

［10］馬友青，賈永紅，劉少創(chuàng)，等.基于LM法的光束法平差巡視器導(dǎo)航定位［J］.東北大學(xué)學(xué)報(自然科學(xué)版)，2014，35(4):489－493.

［11］朱焱丹，廖俊必，何子牛.基于LabVIEW的機器視覺系統(tǒng)的標定［J］.中國測試，2009，35(6):54－56.

(編輯:李剛)

The 3D structure deformation measurement method based on monocular camera

ZHANG Linlong1，ZHANG Wei2，HU Changhua1，ZHOU Zhijie1
(1.302 Unit，Rocket Force University of Engineering，Xi’an 710025，China; 2.403 Unit，Rocket Force University of Engineering，Xi’an 710025，China)

Binocular measurement system has the problem of complexity，high price，low matching precision in the deformation measurement of large－scale structure.Meanwhile，traditional monocular system cannot obtain depth information of 3D(three dimensional)object.A new method for measuring the 3D deformation that uses a single video camera utilizing a planar reflector was proposed in this paper.Firstly a monocular measuring model of 3D object was founded utilizing the reflective principle of planar reflector.Then an epipolar geometry inhibition equation in the same video camera view was settled by inherent parameters of camera and reflector.The measured point was located accurately by the improved bundle adjustment based on LM algorithm after the intrinsic and extrinsic camera parameters of the measurement system were calibrated.So the deformation measurement of large－scale structure was achieved.Both simulation and indoor experiments results validate that the proposed measuring technique is effective and has the realism value in engineering applications.

monocular;epipolar geometry inhibition;bundle adjustment;deformation measurement

A

1674－5124(2016)11－0017－06

10.11857/j.issn.1674－5124.2016.11.004

2016－03－02;

2016－04－07

國家杰出青年基金(61025014);國家自然科學(xué)基金(61174030，61104223，61374120)

張林龍(1991－)，男，河南駐馬店市人，碩士研究生，專業(yè)方向為診斷技術(shù)及自動化裝置。