褚鑫磊，隋國(guó)榮

（上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093）

引言

雙目立體視覺測(cè)量是一種非接觸、實(shí)時(shí)、高精度的三維測(cè)量技術(shù)，在非接觸測(cè)量、機(jī)器人導(dǎo)航、在線監(jiān)測(cè)等領(lǐng)域得到了廣泛的應(yīng)用[1-4]。利用視覺方案對(duì)不同尺寸的目標(biāo)進(jìn)行非接觸的高精度測(cè)量是光學(xué)工程領(lǐng)域的研究方向之一。攝像機(jī)的光學(xué)參數(shù)標(biāo)定在光學(xué)測(cè)量和計(jì)算機(jī)視覺等許多應(yīng)用中都起著重要的作用。

光學(xué)標(biāo)定的任務(wù)是確定圖像點(diǎn)的二維坐標(biāo)與物體的三維世界坐標(biāo)之間的關(guān)系。攝像機(jī)標(biāo)定方法主要有：傳統(tǒng)標(biāo)定方法[5]、自標(biāo)定方法[6]和主動(dòng)視覺標(biāo)定方法[7]。雙目圖像采集類型分為3 類：雙攝像機(jī)模型[8]、單攝像機(jī)動(dòng)態(tài)模型[9]、單攝像機(jī)鏡像模型[10]。

通常，雙目立體視覺系統(tǒng)需要通過采集不同角度的圖像才能進(jìn)行標(biāo)定，然而，在現(xiàn)實(shí)中很難找到內(nèi)參完全一樣的兩個(gè)攝像機(jī)，攝像機(jī)的內(nèi)參數(shù)不同將影響系統(tǒng)的測(cè)量精度。2019 年，Chai 等[11]提出了一種單攝像機(jī)鏡像雙目視覺系統(tǒng)的標(biāo)定方法，但該方法標(biāo)定精度會(huì)受到景深變化的影響。2019 年，殷晨暉等[9]使用單攝像機(jī)和高精度的電動(dòng)平移臺(tái)構(gòu)建了三維視覺系統(tǒng)，減少了相機(jī)內(nèi)參不同對(duì)標(biāo)定精度的影響。

雙目立體視覺測(cè)量系統(tǒng)的關(guān)鍵指標(biāo)是精度，而光學(xué)標(biāo)定的精度對(duì)測(cè)量系統(tǒng)的精度影響最大。2001 年，張正友提出了一種靈活的標(biāo)定方法[5]，所有參數(shù)的最終值是經(jīng)過非線性優(yōu)化后得到的，其目的是最小化平均重投影誤差。這些標(biāo)定算法是通過一個(gè)超定線性方程組來(lái)估計(jì)一個(gè)初始的封閉解，主要區(qū)別在于對(duì)初始解的估計(jì)和非線性優(yōu)化過程。通常，目標(biāo)是最小化像素坐標(biāo)的誤差。例如，經(jīng)典方法中廣泛使用均值重投影誤差[12]，它表示的是真實(shí)圖像坐標(biāo)與根據(jù)標(biāo)定結(jié)果計(jì)算得到的重投影圖像坐標(biāo)之間的誤差。目前雙目標(biāo)定的優(yōu)化方法幾乎都是基于二維圖像平面進(jìn)行的，而實(shí)際的視覺測(cè)量是在三維世界坐標(biāo)系中進(jìn)行，優(yōu)化和測(cè)量之間不同的參考坐標(biāo)可能會(huì)導(dǎo)致標(biāo)定精度下降。

2014 年，Cui 等[13]提出了雙目視覺系統(tǒng)的精確標(biāo)定方法，該方法在三維世界坐標(biāo)系下，通過最小化重建點(diǎn)與真值之間的誤差，并結(jié)合極線約束對(duì)參數(shù)進(jìn)行優(yōu)化。2015 年，Jia 等[14]提出了一種基于主動(dòng)視覺和垂直度補(bǔ)償?shù)膬?nèi)參校正方法。該方法消除了攝像機(jī)運(yùn)動(dòng)不垂直對(duì)標(biāo)定精度的影響。2016 年，Poulin-Girard 等[15]研究了不同標(biāo)定條件對(duì)重構(gòu)質(zhì)量的影響，結(jié)果表明，平均重投影誤差不應(yīng)該總是被用來(lái)評(píng)估標(biāo)定過程的性能，低質(zhì)量的特征檢測(cè)并不一定導(dǎo)致高平均重建誤差。2018 年，Gai 等[16]提出一種基于重構(gòu)誤差的標(biāo)定方法，在耦合程度較小的情況下，計(jì)算了攝像機(jī)之間的相對(duì)位置關(guān)系，計(jì)算出精確的三維坐標(biāo)，利用重建結(jié)果的平均誤差對(duì)參數(shù)進(jìn)行評(píng)估和優(yōu)化。Liu 等[17]致力于減小三維重建特征點(diǎn)與真值之間的誤差，基于重投影誤差、共線約束等多種約束提出了一種高精度、魯棒性強(qiáng)的雙目攝像機(jī)標(biāo)定方法。

本文構(gòu)建了一種基于單攝像機(jī)的平行雙目視覺系統(tǒng)。通過控制高精度位移平臺(tái)移動(dòng)單攝像機(jī)，從而實(shí)現(xiàn)立體視覺；計(jì)算左、右攝像機(jī)位的初始參數(shù)，引入質(zhì)心坐標(biāo)法計(jì)算兩攝像機(jī)間的旋轉(zhuǎn)平移矩陣；利用三角剖分重構(gòu)標(biāo)定點(diǎn)的三維坐標(biāo)，計(jì)算重構(gòu)坐標(biāo)與真值間的重構(gòu)誤差；通過最小化重構(gòu)誤差來(lái)優(yōu)化標(biāo)定參數(shù)。與傳統(tǒng)方法相比，本方法在精度和魯棒性上得到了明顯提高。

1 系統(tǒng)原理與結(jié)構(gòu)

1.1 攝像機(jī)成像模型

攝像機(jī)的成像透鏡將三維點(diǎn)投影到二維像平面上，這種投影可以用攝像機(jī)模型的圖像變換來(lái)描述。采用常用的針孔模型對(duì)攝像機(jī)進(jìn)行建模[5]，世界坐標(biāo)系上的物點(diǎn)Pw=(Xw,Yw,Zw)T到左、右攝像機(jī)的圖像投影點(diǎn)pl=(ul,vl)T和pr=(ur,vr)T（l、r 分別代表左、右）之間的坐標(biāo)變換關(guān)系如下：

式中：sl、sr分別為左、右相機(jī)的尺度因子；Al、Ar分別是左、右相機(jī)的內(nèi)參矩陣；Rl、Rr和Tl、Tr分別表示左、右相機(jī)的旋轉(zhuǎn)矩陣和平移矩陣。式（1）中Al、Ar又可表示如下：

式中：fxl、fyl和fxr、fyr分別為左、右相機(jī)在x、y方向上的焦距；(u0l,v0l)、(u0r,v0r)分別為左、右相機(jī)的主點(diǎn)坐標(biāo)。

由于相機(jī)透鏡自身特殊的球形形狀以及相機(jī)裝配誤差、制造上的缺陷，導(dǎo)致相機(jī)產(chǎn)生畸變誤差。使用畸變模型來(lái)處理透鏡的畸變效應(yīng)，只考慮徑向畸變的前兩項(xiàng)，則關(guān)系如下：

式中：pld和prd分 別為pl和pr畸 變后對(duì)應(yīng)的像點(diǎn)；rl和rr是無(wú)畸變像點(diǎn)pl和pr到各自主點(diǎn)坐標(biāo)的距離；k1l、k2l和k1r、k2r分別是左右相機(jī)徑向畸變系數(shù)的前兩項(xiàng)。

1.2 雙攝像頭系統(tǒng)模型

兩個(gè)攝像機(jī)可以用常用的針孔模型進(jìn)行建模，對(duì)于三維世界坐標(biāo)系中的物點(diǎn)Pw，存在左相機(jī)系統(tǒng)坐標(biāo)Pcl=(Xcl,Ycl,Zcl)T和右相機(jī)系統(tǒng)坐標(biāo)Pcr=(Xcr,Ycr,Zcr)T，世界坐標(biāo)與相機(jī)坐標(biāo)之間的關(guān)系如下：

式中，旋轉(zhuǎn)矩陣Rl和平移矩陣Tl將世界坐標(biāo)系與左相機(jī)坐標(biāo)系聯(lián)系起來(lái)，根據(jù)式（4），可以得到關(guān)系如下：

式中：R=RrRl?1為旋轉(zhuǎn)矩陣；T=Tr?RrRl?1Tl為平移矩陣，表示左右相機(jī)坐標(biāo)系之間的關(guān)系。在不失一般性的前提下，可以將物體三維坐標(biāo)統(tǒng)一到左相機(jī)坐標(biāo)系中，可以得到關(guān)系如下：

式中：I為一個(gè)3×3 的單位矩陣，0 為一個(gè)3×1的全0 矩陣。

通過張氏標(biāo)定法[5]計(jì)算出兩個(gè)相機(jī)的初始參數(shù)，建立兩攝像機(jī)重投影誤差之和的目標(biāo)函數(shù)，該目標(biāo)函數(shù)表達(dá)式如下：

式中：m為標(biāo)定板上有m個(gè)特征點(diǎn)；n為左、右攝像機(jī)在n個(gè)不同的位置獲得的n對(duì)標(biāo)定板圖像；為利用標(biāo)定參數(shù)計(jì)算的重投影圖像坐標(biāo)。該參數(shù)優(yōu)化方法是基于二維圖像平面和通過合并兩個(gè)單目系統(tǒng)的平均重投影誤差目標(biāo)函數(shù)來(lái)進(jìn)行優(yōu)化。

表示的是第j個(gè)標(biāo)定板上第i個(gè)特征點(diǎn)的世界坐標(biāo)，分別表示第j對(duì)圖像所對(duì)應(yīng)的左、右相機(jī)的外部參數(shù)，在左、右相機(jī)坐標(biāo)系下對(duì)應(yīng)的坐標(biāo)分別為。因此，將這些參數(shù)代入式（4）和式（5）可以得到如下關(guān)系式：

根據(jù)式（8），建立兩攝像機(jī)之間位置關(guān)系的目標(biāo)函數(shù)，其表達(dá)式如下：

通過最小化式（9）所示的目標(biāo)函數(shù)可以估計(jì)R和T。

由于目標(biāo)函數(shù)有6 個(gè)變量，并且在優(yōu)化過程中很容易得到局部極小值，因此，涉及的計(jì)算過程很復(fù)雜。為了簡(jiǎn)化計(jì)算過程，本文提出了一種基于質(zhì)心的計(jì)算方法。

1.3 基于質(zhì)心的雙目標(biāo)定模型

首先分別計(jì)算左、右相機(jī)所有特征點(diǎn)對(duì)應(yīng)的質(zhì)心，然后將坐標(biāo)系的原點(diǎn)平移到質(zhì)心。和的質(zhì)心坐標(biāo)分別用和表示，關(guān)系如下：

將每個(gè)坐標(biāo)系的原點(diǎn)轉(zhuǎn)換成相應(yīng)的質(zhì)心，此時(shí)新的坐標(biāo)可以轉(zhuǎn)換為，關(guān)系如下：

此時(shí)，各像點(diǎn)之間的關(guān)系如下：

目標(biāo)函數(shù)可以簡(jiǎn)化為如下:

旋轉(zhuǎn)矩陣R可以通過最小化目標(biāo)函數(shù)f(R)得到，然后由下式：

得到平移矩陣T。

1.4 基于三維空間坐標(biāo)的雙目標(biāo)定模型

得到左、右兩個(gè)圖像坐標(biāo)系統(tǒng)中的圖像坐標(biāo)后，需要得到三維重建的特征點(diǎn)。為此，利用最優(yōu)三角剖分法[18]，對(duì)圖像坐標(biāo)pl和pr重建三維標(biāo)定點(diǎn)，并計(jì)算特征點(diǎn)的空間坐標(biāo)。利用式（6），將圖像坐標(biāo)pl和pr在左相機(jī)坐標(biāo)系中重構(gòu)，重構(gòu)后的坐標(biāo)用表示，然后將左相機(jī)坐標(biāo)系的重構(gòu)點(diǎn)轉(zhuǎn)換為世界坐標(biāo)。根據(jù)式（8），可得到Pw與Pclr之間的關(guān)系，其表達(dá)式如下：

將重構(gòu)誤差最小化，得到所有參數(shù)的最終值。為了更直觀地表示標(biāo)定方法的有效性，對(duì)三維重構(gòu)誤差進(jìn)行了研究。利用平均重構(gòu)誤差Ew來(lái)描述標(biāo)定結(jié)果的準(zhǔn)確性，其表達(dá)式如下：

式中，Ew表示真實(shí)三維坐標(biāo)與重建得到的三維坐標(biāo)之間的平均誤差大小。

1.5 雙目立體視覺的實(shí)現(xiàn)

對(duì)圖像坐標(biāo)pl和pr重建三維標(biāo)定點(diǎn)，將圖像坐標(biāo)pl和pr在左相機(jī)坐標(biāo)系中重構(gòu)并用Pclr表示。在重構(gòu)過程中，如果兩個(gè)攝像機(jī)間的內(nèi)差數(shù)差別較大，會(huì)導(dǎo)致重建誤差的增大。因此，利用單攝像機(jī)配合高精度機(jī)械結(jié)構(gòu)，并通過平移或旋轉(zhuǎn)實(shí)現(xiàn)立體視覺，使得左右攝像機(jī)參數(shù)一致，以提高標(biāo)定精度。本文使用單目攝像機(jī)和電控位移平臺(tái)實(shí)現(xiàn)雙攝像機(jī)系統(tǒng)，這種模型是雙目模型中的一種特殊情況，如圖1 所示。這是一種左、右攝像機(jī)兩光軸平行的平行雙目系統(tǒng)，保證了左、右攝像機(jī)參數(shù)一致性并降低了實(shí)驗(yàn)的復(fù)雜度。

圖1 單目攝像機(jī)實(shí)現(xiàn)雙目立體視覺Fig.1 Monocular camera to achieve binocular stereo vision

2 實(shí)驗(yàn)設(shè)計(jì)與驗(yàn)證

2.1 實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)

為了驗(yàn)證本文方法的有效性，建立了一個(gè)由單目攝像機(jī)和一維電控位移臺(tái)組成的雙攝像機(jī)系統(tǒng)。本文使用的攝像機(jī)分辨率為1 600×1 200，變焦范圍為12～36 mm，像元尺寸為4.4 μm×4.4 μm，使用的標(biāo)定板外形尺寸為400 mm×300 mm×5 mm，棋盤格尺寸為30 mm×30 mm，高精密一維電控位移臺(tái)的分辨率為3.125 μm（8 細(xì)分下），實(shí)驗(yàn)裝置如圖2 所示。在圖2 中，位置1 為左機(jī)位，位置2 為右機(jī)位，分別表示同一水平線上單目攝像機(jī)的不同位置。利用一維電控位移臺(tái)，使單目攝像機(jī)在左機(jī)位與右機(jī)位間移動(dòng)，從而實(shí)現(xiàn)雙目系統(tǒng)。

圖2 實(shí)驗(yàn)裝置Fig.2 Experimental equipment

實(shí)驗(yàn)步驟如下：

（1）將單目攝像機(jī)固定于一維電控位移臺(tái)上，在12～36 mm 焦距范圍內(nèi)隨機(jī)選取一組焦距值，保持標(biāo)定板位置不動(dòng)。一維電控位移臺(tái)的往返步數(shù)設(shè)置為20 000 步，平移的理論距離為62.500 mm。

（2）在左、右機(jī)位分別采集左、右位置的標(biāo)定板圖像。改變標(biāo)定板位姿，再采集左、右位置的標(biāo)定板圖像，得到左、右位置下各20 對(duì)標(biāo)定板圖像，其中14 對(duì)作為訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)定，另外6 對(duì)用于測(cè)試。

（3）利用張氏標(biāo)定法分別計(jì)算左、右相機(jī)的初始參數(shù)，并用質(zhì)心距離增量矩陣計(jì)算出旋轉(zhuǎn)矩陣R和平移矩陣T。

（4）重構(gòu)標(biāo)定點(diǎn)的三維坐標(biāo)，利用平均重構(gòu)誤差建立優(yōu)化目標(biāo)函數(shù)，得到最終的校準(zhǔn)結(jié)果。

2.2 實(shí)驗(yàn)結(jié)果

相機(jī)的內(nèi)參數(shù)和外參數(shù)的計(jì)算結(jié)果如表1、表2 和表3 所示，表中方法1 是指文獻(xiàn)[8]的方法，2D 是指二維 優(yōu)化方法，3D 是指三維優(yōu)化方法。表1 和表2 表示了用不同方法得到的內(nèi)參和畸變系數(shù)，可以看出，不同的標(biāo)定技術(shù)對(duì)這些參數(shù)的影響不大，因?yàn)檫@些參數(shù)取決于單臺(tái)相機(jī)的成像傳感器或光學(xué)透鏡的特性。表3 表示了用不同方法得到的外參，表中rx、ry、rz是旋轉(zhuǎn)矩陣R的3 個(gè)分量，tx、ty、tz是平移矩陣T的3個(gè)分量。從表3 可以看出，不同技術(shù)得到的結(jié)構(gòu)參數(shù)之間的差異更明顯。結(jié)構(gòu)參數(shù)在非線性優(yōu)化過程中起著更為重要的作用，是影響標(biāo)定結(jié)果的主要因素。

表1 左相機(jī)內(nèi)參數(shù)和畸變系數(shù)的比較Tab.1 Comparison of left camera internal parameters and distortion coefficients

表2 右相機(jī)內(nèi)參數(shù)和畸變系數(shù)的比較Tab.2 Comparison of right camera internal parameters and distortion coefficients

表3 相機(jī)外參數(shù)的比較Tab.3 Comparison of external camera parameters

對(duì)不同方法計(jì)算得到的參數(shù)進(jìn)行三維物點(diǎn)重構(gòu)，并用散點(diǎn)圖直觀地畫出每個(gè)重構(gòu)后的物點(diǎn)與其真值的誤差分布圖。圖3 是不同方法重構(gòu)誤差散點(diǎn)圖，可以看出，經(jīng)過優(yōu)化和重構(gòu)后，物點(diǎn)與其真值的誤差明顯減小。對(duì)不同方法獲得的標(biāo)定結(jié)果進(jìn)行平均重構(gòu)誤差的計(jì)算，計(jì)算結(jié)果如表4所示。以 δxoy、δxoz、δyoz表示3 個(gè)平面上的平均重構(gòu)誤差，δxyz表示三維空間的平均重構(gòu)誤差，基于2D 和基于3D 的優(yōu)化方法相較于方法1 都有較大提升，平均重構(gòu)誤差從0.490 9 分別減小到0.388 9 和0.284 7。

表4 平均重構(gòu)誤差統(tǒng)計(jì)Tab.4 Average reconstruction error statistics

圖3 不同方法重構(gòu)誤差散點(diǎn)圖Fig.3 Reconstruction of error scatter graph by different methods

為了進(jìn)一步驗(yàn)證標(biāo)定算法的魯棒性，在圖像的角點(diǎn)坐標(biāo)上加入均值為0、標(biāo)準(zhǔn)差為0～1 像素的高斯噪聲，每個(gè)噪聲級(jí)為0.2。通過對(duì)每個(gè)噪聲級(jí)進(jìn)行25 次的獨(dú)立試驗(yàn)，得到平均結(jié)果，如圖4所示。與傳統(tǒng)的二維優(yōu)化方法相比，在標(biāo)定精度方面，本文提出的三維優(yōu)化方法顯然占優(yōu)勢(shì)。

圖4 平移矩陣和重構(gòu)誤差結(jié)果對(duì)比Fig.4 Comparison of translation matrix and reconstruction error results

對(duì)用于測(cè)試的特征點(diǎn)進(jìn)行三維重構(gòu)，得到三維重建結(jié)果，如圖5 所示，圖中Position1～6 表示6 個(gè)不同位姿的標(biāo)定板測(cè)試圖上的所有特征點(diǎn)進(jìn)行重構(gòu)后的分布圖。為進(jìn)一步說明優(yōu)化后的標(biāo)定方法的有效性，利用得到的標(biāo)定結(jié)果，對(duì)得到的圖像進(jìn)行立體畸變校正、極線對(duì)齊、立體匹配，最后得到視差圖對(duì)應(yīng)的三維空間位置。根據(jù)三維空間位置與二維像素點(diǎn)及視差的對(duì)應(yīng)關(guān)系，對(duì)目標(biāo)物體進(jìn)行測(cè)量。圖6 是用3 種方法得到的最終視差圖，可以看出，3D 優(yōu)化后的視差圖的特征輪廓最清晰。

圖5 測(cè)試數(shù)據(jù)的所有特征點(diǎn)重構(gòu)圖Fig.5 Reconstruction of all feature points of the test data

圖6 不同方法對(duì)應(yīng)的立體匹配結(jié)果圖Fig.6 Stereo matching results of different methods

對(duì)3 種方法得到的視差圖提取特征點(diǎn)，對(duì)實(shí)際尺寸為30 mm×30 mm 的方格進(jìn)行測(cè)量，每種方法各進(jìn)行10 次測(cè)試，得到的測(cè)試結(jié)果如表5所示。從測(cè)量結(jié)果的平均值和標(biāo)準(zhǔn)差統(tǒng)計(jì)中可以看出，3D 方法使測(cè)量誤差從0.112 3 mm 減小到0.019 1 mm，標(biāo)準(zhǔn)差從0.183 8 減小到0.127 5，說明測(cè)量結(jié)果更加精確，波動(dòng)更小。

表5 實(shí)物重構(gòu)測(cè)量結(jié)果統(tǒng)計(jì)Tab.5 Statistics of physical reconstruction measurement results

3 結(jié)論

本文采用單攝像機(jī)和一維電控位移臺(tái)實(shí)現(xiàn)了雙攝像機(jī)系統(tǒng)。通過計(jì)算左、右攝像機(jī)位的初始參數(shù)，并引入質(zhì)心坐標(biāo)法計(jì)算兩攝像機(jī)間的旋轉(zhuǎn)平移矩陣。利用三角剖分重構(gòu)標(biāo)定點(diǎn)的三維坐標(biāo)，計(jì)算重構(gòu)坐標(biāo)與真值間的重構(gòu)誤差。通過最小化重構(gòu)誤差來(lái)優(yōu)化標(biāo)定參數(shù)的方法。與傳統(tǒng)方法相比，該誤差直接反映了三維重構(gòu)的效率，在精度和魯棒性上得到了明顯提高。研究結(jié)果表明，基于三維重構(gòu)的標(biāo)定誤差能更加直觀地提升后續(xù)三維重構(gòu)的準(zhǔn)確度，而基于單攝像機(jī)的立體視覺系統(tǒng)可以保證左右攝像機(jī)參數(shù)一致性。由于機(jī)械結(jié)構(gòu)的限制，本方法目前還不適用于機(jī)器人導(dǎo)航、自動(dòng)駕駛等一些實(shí)時(shí)性要求較高的任務(wù)。但是，在變焦標(biāo)定領(lǐng)域有較廣泛的應(yīng)用，可為光學(xué)非接觸式三維測(cè)量提供參考。