田 昊, 劉春萌

(東北石油大學(xué) 電氣信息工程學(xué)院, 黑龍江 大慶 163318)

0 引 言

目前, 三維視覺正在呈井噴式發(fā)展, 并在計算機視覺會議CVPR(International Conference on Computer Vision and Pattern Recognition)、 ICCV(International Conference on Computer Vision)、 ECCV(European Conference on Computer Vision)中, 三維視覺相關(guān)論文比例逐年上升, 達到了30%以上； 同時三維視覺技術(shù)被廣泛應(yīng)用于智能無人系統(tǒng), 如無人車、 無人機和機器人[1-3]、 增強現(xiàn)實[4]、 城市建設(shè)、 遙感制圖[5]和娛樂等方面, 并且進一步推動了該技術(shù)的發(fā)展。在三維視覺領(lǐng)域中, 雙目視覺是不可或缺的重要部分。在工業(yè)領(lǐng)域中, 自動化檢測代替人工檢測是必然趨勢, 雙目視覺也在逐步發(fā)展, 并且其需求也越來越廣泛。開始雙目視覺只用于生產(chǎn)線上, 而目前, 其在制造、 醫(yī)療和倉儲等各個領(lǐng)域都有廣泛應(yīng)用。由于工業(yè)上基本以三維部件為主, 且二維成像畢竟是來自三維空間實際情況的一種不完全數(shù)據(jù)采集, 所以目前圍繞3D的各種檢測、 測量和機器人引導(dǎo)等[6]研究層出不窮。

在用攝像頭感知世界時, 標(biāo)定準(zhǔn)確的單目、 雙目、 甚至多目系統(tǒng)是得到準(zhǔn)確信息必要條件。按照標(biāo)定方式, 單目相機的標(biāo)定主要有兩大類： 主動視覺標(biāo)定和相機自標(biāo)定。前者利用已知參數(shù)標(biāo)定板, 在相機成像視野里做X、Y、Z旋轉(zhuǎn), 從不同角度對標(biāo)定板進行拍攝。關(guān)于相機自標(biāo)定, 存在許多經(jīng)典研究。Hartley[7]提出一種針對空間任意一點, 在相機自身旋轉(zhuǎn)拍攝圖片后實現(xiàn)相機自標(biāo)定的方法； Ma[8]提出的方法不需要已知特殊標(biāo)識點, 而且能線性求解標(biāo)定參數(shù)； Moons等[9]提出以相機的平移量為變量進行拍攝, 從兩幅圖像上的6個標(biāo)識點就可得出相機參數(shù)的方法。Faugera等[10]提出的自標(biāo)定思想可在不需要標(biāo)定板和相機固定位置運動的情況下對相機參數(shù)進行標(biāo)定, 同時給出任意兩幅圖之間的約束關(guān)系, 并且利用Kruppa求解, 但計算量很大； Triggs[11]提出絕對二次曲線的方法, 利用數(shù)學(xué)函數(shù)及相關(guān)幾何關(guān)系定理求解。雙目標(biāo)定的研究方向主要有兩個[12]： 一個是對標(biāo)定板的創(chuàng)新, 如利用棋盤格的、 圓形列陣和三維立體標(biāo)靶等； 另一個是對數(shù)據(jù)處理方法的研究, 如用自適應(yīng)閾值分割并采取最小二乘法擬合橢圓, 利用圖像整體信息構(gòu)建目標(biāo)函數(shù)優(yōu)化標(biāo)定參數(shù), 以及用三點成圓并逐點計算徑向誤差值, 而利用徑向誤差約束、 粒子群優(yōu)化算法和最小二乘法的非線性隱式標(biāo)定法有收斂速度快泛化能力強的優(yōu)點。隨著研究的不斷深入, 改進的粒子群算法, 遺傳算法也不斷得到應(yīng)用[13]。

筆者在結(jié)合雙目立體視覺的基礎(chǔ)上, 對立體視覺進行標(biāo)定。首先依靠基于小孔成像的雙目成像模型作為標(biāo)定過程中數(shù)據(jù)點轉(zhuǎn)換模型, 同時也有標(biāo)定板對應(yīng)的模型； 然后為了能有效提取感興趣區(qū)域, 在模型正確建立前提下, 對獲取圖像做二值化、 灰度化、 邊緣提取、 形狀選擇等基本操作； 最后對標(biāo)定板做精確選中, 為標(biāo)定數(shù)據(jù)提取奠定基礎(chǔ)。

1 相機標(biāo)定基本原理

1.1 標(biāo)定目的

圖1 鏡頭畸變示意圖Fig.1 Lens distortion diagram

相機鏡頭透鏡的彎曲必然導(dǎo)致折射現(xiàn)象, 從而產(chǎn)生畸變。然而, 在實際應(yīng)用中, 彎曲鏡頭是首選。因為在針孔模型中, 針孔很小, 進而透過的光線很少, 造成在現(xiàn)實使用時曝光不足, 使圖像生成速度緩慢。為快速生成清晰圖像, 必須使用面積大而彎曲的透鏡, 使足夠多的光收斂匯聚到投影點上。這樣做的代價是引入了鏡頭畸變。如圖1所示, 透鏡畸變導(dǎo)致理想成像點和實際成像點不在同一位置, 其中dr為徑向畸變, dt為切向畸變。越靠近透鏡中心的位置, 畸變越小； 越靠近邊緣處, 畸變越大。因此, 使用相機之前對其標(biāo)定是十分必要的。

1.2 坐標(biāo)轉(zhuǎn)換

在圖像測量、 定位過程以及其他機器視覺應(yīng)用中, 為確定空間物體表面某點的三維幾何位置與其在圖像中對應(yīng)點之間的相互關(guān)系, 必須建立相機成像的幾何模型。這些幾何模型參數(shù)就是相機參數(shù), 而求解參數(shù)的過程即為相機標(biāo)定。因此求解出鏡頭的畸變參數(shù), 就可以把有畸變的圖像變換到?jīng)]有畸變狀態(tài)的圖像。

1.2.1 從世界坐標(biāo)系到相機坐標(biāo)系

空間點PW(XW,YW,ZW)與轉(zhuǎn)換點P(XC,YC,ZC)之間的關(guān)系式為

P=RPW+T

(1)

其中R是旋轉(zhuǎn)矩陣,T是平移矩陣。

每個世界坐標(biāo)系的對象都可通過旋轉(zhuǎn)和平移變換到相機坐標(biāo)系上。由X-Y坐標(biāo)系統(tǒng)向X′-Y′坐標(biāo)系統(tǒng)的轉(zhuǎn)換如圖2所示, 將目標(biāo)點旋轉(zhuǎn)θ, 等價于將坐標(biāo)系按相反方向旋轉(zhuǎn)θ。圖2是二維坐標(biāo)的旋轉(zhuǎn)變換, 而對于三維坐標(biāo), 繞某個軸旋轉(zhuǎn)的原理與二維坐標(biāo)旋轉(zhuǎn)相同, 整體的旋轉(zhuǎn)矩陣由3個軸的旋轉(zhuǎn)矩陣相乘構(gòu)成。

圖2 坐標(biāo)旋轉(zhuǎn)原理Fig.2 Principle of coordinate rotation

利用極坐標(biāo)變換得到圖2所示兩個坐標(biāo)系統(tǒng)的旋轉(zhuǎn)變換為

(2)

如果世界坐標(biāo)分別繞X、Y和Z軸旋轉(zhuǎn)α、β、γ, 則旋轉(zhuǎn)矩陣R(α)、R(β)、R(γ)分別為

(3)

(4)

(5)

總的旋轉(zhuǎn)矩陣

R(α,β,γ)=R(α)R(β)R(γ)

(6)

1.2.2 從相機坐標(biāo)系到圖像坐標(biāo)系

圖3是從相機坐標(biāo)系到圖像成像坐標(biāo)系的一種投影變換關(guān)系, 結(jié)果將3D圖像信息轉(zhuǎn)換成2D圖像信息。其中點P(XC,YC,ZC)是相機坐標(biāo)系中的一個點, 點p(x,y)是點P(XC,YC,ZC)在圖像坐標(biāo)系上的投影。其中OC-XCYCZC為相機坐標(biāo)系, 光心為原點, 單位： m；O-xy為圖像坐標(biāo)系, 光心為圖像中點, 單位： mm；u-v為像素坐標(biāo)系, 原點為圖像左上角, 單位： pixel。P為世界坐標(biāo)系中的一個點, 即生活中真實存在的一個點；p是P在圖像中的成像點, 在圖像坐標(biāo)系中的坐標(biāo)為(x,y), 在像素坐標(biāo)系中的坐標(biāo)為(u,v),f=‖O-OC‖為相機焦距。

圖3 相機成像坐標(biāo)系變換原理圖Fig.3 Schematic diagram of camera imagingcoordinate system transformation

從圖3可知： ΔABOC～ΔOCOC, ΔPBOC～ΔpCOC。

利用相似三角形比例關(guān)系, 有

(7)

從而, 可得

(8)

進而, 可得坐標(biāo)轉(zhuǎn)換矩陣

(9)

1.2.3 從圖像成像坐標(biāo)系到圖像像素坐標(biāo)系

圖像像素坐標(biāo)系u-v是以圖像左上角為原點, 以圖像互為直角的兩個邊緣為坐標(biāo)軸, 滿足右手準(zhǔn)則。圖像由許多小像素點組成, 并且像素坐標(biāo)系的橫縱坐標(biāo)以像素點為單位, 描述每個像素點在圖像中的位置, 而成像坐標(biāo)系是以光軸與像平面交點為原點建立的。如圖4所示的圖像成像坐標(biāo)系是以mm為單位的直角坐標(biāo)系x-y。

圖4 像素坐標(biāo)系和圖像成像坐標(biāo)系Fig.4 Pixel coordinate system and imaging coordinate system

用(u,v)描述圖像像素坐標(biāo)系中的點, 用(x,y)描述圖像成像坐標(biāo)系中的點。成像坐標(biāo)系的原點O在像素坐標(biāo)系中的坐標(biāo)為(Cx,Cy), 用dx,dy表示相鄰像素點中心在x軸方向和y軸方向的實際物理距離, 則其與像素坐標(biāo)系的轉(zhuǎn)化關(guān)系為

(10)

轉(zhuǎn)換為矩陣

(11)

2 雙目標(biāo)定

2.1 標(biāo)識點坐標(biāo)獲取

對邊緣進行特征處理后, 得到標(biāo)志點在相機坐標(biāo)系下的坐標(biāo)。再主要依據(jù)聚類的思想, 對邊緣點做處理。擬合邊緣點, 得出每個圓形邊緣的方程, 進而確定其圓心, 最終求得坐標(biāo)。

根據(jù)圓上3個點可確定一個圓, 引入徑向誤差作為約束條件, 通過設(shè)置閾值, 排除或留下邊緣上的點。初選3個點, 求出半徑和圓心并計算徑向誤差, 若滿足, 則留下； 若不滿足, 則去除； 循環(huán)取點, 以此類推, 直到全部處理完畢為止。將選出的點進行最小二乘擬合, 帶入擬合方程后就可得到圓心。

從邊界上順序取出不在一條線的3個點A(uA,vA)、B(uB,vB)、C(uC,vC), 由幾何原理知能確定一個外接圓, 以(u0,v0)為圓心

(uA-u0)2+(vA-v0)2=(uB-u0)2+(vB-v0)2

(12)

(uA-u0)2+(vA-v0)2=(uC-u0)2+(vC-v0)2

(13)

根據(jù)克拉默法則求解, 得

在實際相機使用過程中, 當(dāng)光透過透鏡時, 特別是在遠(yuǎn)離光心的位置會有較大畸變。因此, 需進行相機的畸變矯正。工業(yè)相機鏡頭自身對相機畸變有一些物理上的處理, 因此主要考慮徑向畸變(見圖1), 模型如下。

定義徑向誤差

(16)

保留滿足該條件的點, 每次取3個點求解圓和徑向誤差； 若不滿足, 則以前兩個點為基礎(chǔ)另取一點計算。以此類推, 完成全部遍歷。

將經(jīng)上述處理的點以最小二乘法擬合圓心。設(shè)邊界點數(shù)據(jù)為(xi,yi)(i=1,2,3,…,n), 則對應(yīng)圓的方程為

(x-x0)2+(y-y0)2=R2

(17)

(18)

求解出的x0,y0是各個標(biāo)志點在像素坐標(biāo)系中的位置, 根據(jù)上述坐標(biāo)系之間的轉(zhuǎn)換關(guān)系可將該像素坐標(biāo)直接與世界坐標(biāo)建立聯(lián)系。由式(6)、 式(9)和式(11)聯(lián)立, 可得

(19)

其中M1為內(nèi)參矩陣, 由相機的焦距、 像元大小等構(gòu)成；M2為外參矩陣, 由左右相機之間的旋轉(zhuǎn)和平移矩陣構(gòu)成。平移矩陣t=(tx,ty,tz)T,tx、ty、tz是世界坐標(biāo)系原點與相機坐標(biāo)系目標(biāo)點之間的差值。

式(19)進一步簡化為

sI=M34P

(20)

其中s是可求解的不確定因子；M34是內(nèi)參矩陣和外參矩陣的乘積, 也即投影矩陣；P=(Xw,Yw,Zw,1)T為增廣矩陣。

2.2 單應(yīng)性矩陣求取

單應(yīng)性變換的實質(zhì)是描述物體在世界坐標(biāo)系和像素坐標(biāo)系之間的位置映射關(guān)系, 將該映射之間的變換矩陣稱為單應(yīng)性矩陣。單應(yīng)性矩陣定義為

(21)

由式(20)可知

(22)

(23)

將標(biāo)定板上標(biāo)識點的世界坐標(biāo)值以及圖像坐標(biāo)值帶入式(23), 利用最小二乘法求出h′, 進一步求出單應(yīng)性矩陣H。

2.3 內(nèi)參求解

由圖2可知, 坐標(biāo)軸之間保持正交性, 因此, 各軸平面內(nèi)的旋轉(zhuǎn)角度α和β也是正交向量, 所以有約束方程

(24)

(25)

(26)

將約束方程寫成關(guān)于b的形式

(27)

在相機得到n幅不同位姿圖像的情況下, 將有n個式(24)方程, 聯(lián)立得

Vb=0

(28)

其中V是2n×6矩陣。

在理論上, 利用最多5幅圖像的數(shù)據(jù)就可求解出向量b。因此, 分別求取相機的內(nèi)參

(29)

2.4 外參求解

將相機的內(nèi)參和單應(yīng)性矩陣帶入式(21), 可得對應(yīng)的外部參數(shù)[14]

r1=λA-1h1,r2=λA-1h2,r3=λr1r2,t=λA-1h3

(30)

3 雙目標(biāo)定實現(xiàn)

在雙目標(biāo)定的過程中采用以下幾個步驟。首先, 讀取標(biāo)定板左右雙目的多組圖片, 如圖5所示； 然后, 在左右圖像中基于標(biāo)定板描述文件以及邊緣等處理, 選出感興趣區(qū)域, 并獲取標(biāo)定板上標(biāo)識點的坐標(biāo), 如圖6所示； 最后, 利用式(29)、 式(30)求解出相機的內(nèi)外部參數(shù)。

圖5 選中標(biāo)定板區(qū)域 圖6 選中標(biāo)識點中心 Fig.5 Check the calibration board area Fig.6 Select the center of the identity point

表1和表2為一組標(biāo)定板在左右相機成像平面上的圖像坐標(biāo), 準(zhǔn)確獲取該數(shù)據(jù)為進一步標(biāo)定打下基礎(chǔ)。

表1 左相機標(biāo)識點坐標(biāo)

表2 右相機標(biāo)識點坐標(biāo)

如表3所示, 左右相機的參數(shù)并不完全相同, 根據(jù)雙目立體成像系統(tǒng)的定義, 這并不是理想的雙目系統(tǒng)。這也是要進行雙目標(biāo)定的原因, 通過標(biāo)定可使其成為接近理想的狀態(tài), 矯正后相機內(nèi)參如表4所示。

表3 相機內(nèi)參

表4 矯正后相機內(nèi)參

表5是矯正后的相機內(nèi)參。由于筆者主要做標(biāo)定工作, 對矯正不做過多解釋, 在此僅陳列標(biāo)定結(jié)果。由表5可見左右相機在世界坐標(biāo)系的位置, 其相互之間的位置也是已知的, 這就是雙目立體成像系統(tǒng)中所要求解的相機外部參數(shù)。

表5 左右相機初始位姿

表6為左右相機矯正位姿參數(shù)。由表6可見, 對相機位姿的調(diào)整, 主要是旋轉(zhuǎn)角度的調(diào)整。表6所示為左右相機所需要調(diào)整的參考調(diào)整數(shù)據(jù), 這有利于構(gòu)建理想的相互平行的雙目系統(tǒng)。

表6 左右相機矯正位姿

表7為左相機相對右相機位姿參數(shù)。由表7可見, 即使專業(yè)的雙目立體成像系統(tǒng), 其左右相機位置也不是十分理想, 在Y軸和Z軸上分別有7.4 mm和5.8 mm的偏差, 同時也存在一定旋轉(zhuǎn)。

表7 左相機相對右相機位姿

表8為矯正后左相機對右相機的點變換。由表8標(biāo)定結(jié)果可知, 左右相機的光軸相距1.629 15 m, 在XYZ軸上均無旋轉(zhuǎn),YZ軸上也無平移。

表8 矯正后左相機對右相機的點變換

4 結(jié) 語

在雙目相機姿位、 焦距固定的條件下, 筆者通過選擇標(biāo)定板, 標(biāo)定板圖像預(yù)處理, 提取標(biāo)識點坐標(biāo), 根據(jù)計算公式進行雙目標(biāo)定, 求解出雙目兩個相機的內(nèi)參和外參。結(jié)合應(yīng)用過程, 與實際雙目視覺裝置比較, 確定該方法具有良好的精度, 為該雙目立體視覺系統(tǒng)對數(shù)據(jù)的獲取提供了精確的數(shù)據(jù)基礎(chǔ)和可靠的矯正條件。