,

(1.中國科學(xué)院光電技術(shù)研究所,成都 610209； 2.中國科學(xué)院大學(xué),北京 100049)

0 引言

近年來，基于機(jī)器視覺的三維測(cè)量技術(shù)不斷發(fā)展，尤其是基于雙目視覺的三維測(cè)量技術(shù)由于其非接觸測(cè)量、自動(dòng)化程度高等優(yōu)點(diǎn)在機(jī)器人，無人機(jī)，工業(yè)檢測(cè)等領(lǐng)域有著廣泛的應(yīng)用前景。全燕鳴等將基于雙目視覺的三維測(cè)量技術(shù)應(yīng)用于工件的在機(jī)測(cè)量中，實(shí)現(xiàn)了工業(yè)環(huán)境中雙目視覺三維測(cè)量技術(shù)的應(yīng)用[1]。朱先鋒等在基于.net與halcon的軟件平臺(tái)上通過計(jì)算目標(biāo)的外包矩陣從而實(shí)現(xiàn)目標(biāo)的三維測(cè)量[2]。田小超等結(jié)合神經(jīng)網(wǎng)絡(luò)算法提出了一種基于BP神經(jīng)網(wǎng)絡(luò)的雙平面標(biāo)定法[3]，利用神經(jīng)網(wǎng)絡(luò)的非線性映射能力對(duì)攝像機(jī)模型進(jìn)行優(yōu)化，從而提高三維測(cè)量精度。

基于雙目視覺的三維測(cè)量技術(shù)就是利用雙目相機(jī)拍攝的圖像，將目標(biāo)在圖像上的二維像素坐標(biāo)轉(zhuǎn)化為三維世界坐標(biāo)。當(dāng)恢復(fù)了目標(biāo)上的必要關(guān)鍵點(diǎn)之后，物體的整個(gè)外形和位置就可以被唯一確定。本文在對(duì)基于雙目視覺的三維測(cè)量技術(shù)進(jìn)行深入研究之后，針對(duì)三維測(cè)量中傳統(tǒng)角點(diǎn)提取算法需要手動(dòng)調(diào)整參數(shù)、角點(diǎn)集群、精度較低等弱點(diǎn)提出了一種基于隨機(jī)森林的亞像素級(jí)角點(diǎn)提取算法，該算法不但克服了傳統(tǒng)算法的缺點(diǎn)，同時(shí)具有很高的精度。

1 雙目視覺系統(tǒng)

雙目立體視覺是基于視差原理的視覺成像模型[4]，利用視差重建目標(biāo)的三維信息。如圖1為基本的雙目立體視覺原理圖，左右攝像機(jī)同時(shí)對(duì)目標(biāo)點(diǎn)P(x,y,z)成像，并分別在各自的成像平面上留下Pl(xl,yl)，Pr(xr,yr)點(diǎn)，同時(shí)OlCl，OrCr相互平行，PlPr滿足極線約束, 視差D=xl-xr，P點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)為(xc,yc,zc)。根據(jù)相似三角形原理，P點(diǎn)在攝像機(jī)坐標(biāo)系下的坐標(biāo)可以表示為：

(1)

即我們只要能知道目標(biāo)點(diǎn)在左右成像平面上的成像平面坐標(biāo)，就可以求出目標(biāo)點(diǎn)的三維坐標(biāo)，從而獲得目標(biāo)點(diǎn)的三維信息。

圖1 雙目視覺原理圖

1.1 雙目視覺成像模型

設(shè)相機(jī)模型中的四個(gè)平面坐標(biāo)系分別為：像素坐標(biāo)系(u,v)、成像平面坐標(biāo)系(x,y)、相機(jī)坐標(biāo)系(xc,yc)、世界坐標(biāo)系(xw,yw,zw)[5]。雙目視覺成像模型為式(2)，建立了世界坐標(biāo)系到像素坐標(biāo)之間的轉(zhuǎn)換關(guān)系。

(2)

1.2 雙目視覺相機(jī)標(biāo)定

根據(jù)式(2)可以看出，雙目立體視覺需要先確定相機(jī)的內(nèi)外參數(shù)，建立空間點(diǎn)到像素點(diǎn)的映射關(guān)系，這個(gè)過程就是攝像機(jī)標(biāo)定。張正友標(biāo)定算法[7]以其標(biāo)定精度高、操作簡(jiǎn)單、魯棒性好等特點(diǎn)成為相機(jī)標(biāo)定領(lǐng)域最經(jīng)典、最常用的標(biāo)定算法之一，其核心部分主要為：

1)在不考慮攝像機(jī)畸變的條件下，求取攝像機(jī)的內(nèi)外參數(shù)；

2)利用最小二乘法計(jì)算畸變系數(shù)；

3)利用第1,2步的結(jié)果再次優(yōu)化內(nèi)外參數(shù)，使誤差最小。

2 雙目視覺立體匹配

立體匹配是雙目立體視覺三維測(cè)量最核心，也是最困難的部分。立體匹配算法主要分為基于區(qū)域的立體匹配算法、基于特征的立體匹配算法[11]。其中基于特征點(diǎn)的立體匹配算法以其匹配效率高、精度高、抗噪聲能力強(qiáng)等特點(diǎn)成為最有效的匹配算法之一?；谔卣鼽c(diǎn)匹配的立體匹配主要包括圖像預(yù)處理、特征點(diǎn)提取、特征點(diǎn)匹配。其中預(yù)處理通常包括目標(biāo)提取、極線校正兩個(gè)部分。

待測(cè)目標(biāo)提取:

待測(cè)目標(biāo)的提取對(duì)于雙目視覺的三維測(cè)量不是一個(gè)必需的步驟，尤其是在待測(cè)目標(biāo)工作環(huán)境較為簡(jiǎn)單的條件下。但如果目標(biāo)所處環(huán)境較為復(fù)雜，則先對(duì)目標(biāo)進(jìn)行預(yù)提取，能極大的提高立體匹配算法的精度、優(yōu)化立體匹配算法的時(shí)間復(fù)雜度和空間復(fù)雜度。目標(biāo)提取最常用的算法包括形態(tài)學(xué)背景去除算法、幀差背景去除算法、圖像分割算法等[9]。

2.2 圖像校正

在上文中雙目視覺基本原理公式(1)時(shí)，曾提到點(diǎn)Pl,Pr處于平行于基線的同一水平面上，有yl=yr，這是理想的平行光軸雙目立體視覺模型。而現(xiàn)實(shí)中搭建雙目立體視覺模型時(shí)，或多或少都存在偏差。圖像校正就是通過對(duì)左右圖像進(jìn)行幾何變換使得兩幅圖像對(duì)應(yīng)匹配點(diǎn)處于同一條直線上，這稱之為極線約束[8]，如圖2所示為極線校正前后的示意圖。

圖2 極線校正

極線約束使得雙目立體視覺在進(jìn)行立體匹配時(shí)，大幅度減少匹配點(diǎn)搜索空間，從而能夠有效提高匹配的準(zhǔn)確度，減少匹配算法的時(shí)間復(fù)雜度和空間復(fù)雜度。

2.3 特征點(diǎn)提取

圖像特征點(diǎn)能夠反映圖像本質(zhì)特征，能夠標(biāo)識(shí)圖像中目標(biāo)物體。最常用的特征點(diǎn)提取算法包括基于輪廓線的邊緣檢測(cè)和基于灰度值變化的角點(diǎn)檢測(cè)[1]。特征點(diǎn)提取是整個(gè)雙目視覺三維測(cè)量中對(duì)測(cè)量精度影響非常高的一個(gè)環(huán)節(jié)。傳統(tǒng)的如Harris角點(diǎn)提取算法主要有以下缺點(diǎn)：

1)只能進(jìn)行像素級(jí)角點(diǎn)提取；

2)難以克服角點(diǎn)集群?jiǎn)栴}；

3)智能化程度不夠，常常需要進(jìn)行比較繁瑣的閾值等參數(shù)的調(diào)節(jié)；

4)引入了很多不夠合理的先驗(yàn)，如高斯分布、線性化等過程。

對(duì)此，本文將特征點(diǎn)提取轉(zhuǎn)化為機(jī)器學(xué)習(xí)的二分類問題，即預(yù)測(cè)圖像中的像素點(diǎn)是角點(diǎn)的概率，提出了一種基于隨機(jī)森林的亞像素角點(diǎn)提取算法。

2.3.1 隨機(jī)森林

隨機(jī)森林[10]是機(jī)器學(xué)習(xí)中最知名，最有效的算法之一，它基于決策樹和bagging的思想構(gòu)建出強(qiáng)大的分類回歸森林。隨機(jī)森林具有結(jié)構(gòu)簡(jiǎn)單，計(jì)算復(fù)雜度小，容易并行化且具有極強(qiáng)的泛化性能等優(yōu)點(diǎn)。如圖3為隨機(jī)森林原理圖，其基模型為CART樹，通過對(duì)樣本集的樣本和特征的有放回采樣來構(gòu)建多顆CART樹，最后將每棵樹的預(yù)測(cè)結(jié)果平均，得到像素點(diǎn)為角點(diǎn)的概率。

圖3 隨機(jī)森林

結(jié)合隨機(jī)森林的預(yù)測(cè)結(jié)果，進(jìn)行亞像素角點(diǎn)提?。?/p>

(3)

其中:P(x+s,y+t)為(x+s,y+t)處為角點(diǎn)的概率，Cx+s,y+t為(x+s,y+t)處的坐標(biāo)，corner為最終預(yù)測(cè)的亞像素角點(diǎn)坐標(biāo)，P(x,y)為(x,y)所在3*3鄰域內(nèi)概率最大的像素點(diǎn)，N為整數(shù)且。

2.3.2 特征向量提取

結(jié)合特征點(diǎn)自身的性質(zhì)—與其鄰近像素點(diǎn)灰度值高度相關(guān)，同時(shí)出于數(shù)據(jù)集大小、算法效率的考慮選用了Haar中的部分核來生成特征向量，如表1所示。

表1 生成特征向量的核

2.3.3 基于隨機(jī)森林的角點(diǎn)提取算法

基于隨機(jī)森林角點(diǎn)提取算法模型訓(xùn)練過程如下。

1)雙目相機(jī)采集含有目標(biāo)的圖像K幅；

2)對(duì)圖像進(jìn)行角點(diǎn)標(biāo)注，需要確保角點(diǎn)標(biāo)注的準(zhǔn)確性；

3)在每幅圖像中除角點(diǎn)以外的位置進(jìn)行采樣，包括背景、物體邊緣處等等，盡可能保證采樣點(diǎn)含有不同的模式，不含有信息重復(fù)較多的點(diǎn)；最好保證正負(fù)樣本的比例均衡；

4)計(jì)算角點(diǎn)和采樣的非角點(diǎn)的特征向量，窗口大小為N*N；

5)角點(diǎn)記為1，非角點(diǎn)記為0，生成訓(xùn)練數(shù)據(jù)；

6)使用隨機(jī)森林算法對(duì)模型進(jìn)行充分訓(xùn)練；

7)將訓(xùn)練好的模型保存下來；

8)當(dāng)雙目相機(jī)采集到圖像后，如果圖像分辨率太高，且目標(biāo)所占圖像比例較小，需要對(duì)圖像進(jìn)行預(yù)處理，以降低整個(gè)角點(diǎn)提取的復(fù)雜度；

10)對(duì)預(yù)處理后的點(diǎn)進(jìn)行二分類預(yù)測(cè)，精確地找出所有角點(diǎn)。

2.4 特征點(diǎn)匹配

特征點(diǎn)匹配就是通過一定的匹配算法，將圖像上已經(jīng)檢測(cè)到的特征點(diǎn)同另一幅圖像上的特征點(diǎn)進(jìn)行匹配，在理想情況下這兩點(diǎn)將對(duì)應(yīng)現(xiàn)實(shí)中的同一點(diǎn)。因此，特征點(diǎn)匹配本質(zhì)上是一種相似度度量。

根據(jù)不同的相似度度量標(biāo)準(zhǔn)，有不同的特征點(diǎn)匹配算法。通常使用MAD，SAD算法，SSD算法，NCC算法四種相似度度量準(zhǔn)則進(jìn)行特征點(diǎn)匹配。這四種算法前三種本質(zhì)上是一個(gè)原理，就是在計(jì)算兩個(gè)窗口中對(duì)應(yīng)像素點(diǎn)的灰度值差，從而衡量兩個(gè)窗口的相似度。這三種算法對(duì)光照較為敏感，而基于雙目視覺的立體匹配由于左右相機(jī)視角問題會(huì)導(dǎo)致左右相機(jī)采集的圖像亮暗程度不一，因此這三種算法不適用于雙目視覺的立體匹配中。而NCC算法則對(duì)灰度值進(jìn)行了歸一化處理，降低了光照對(duì)立體配的影響，對(duì)雙目視覺來說較為適用。

3 實(shí)驗(yàn)

3.1 實(shí)驗(yàn)設(shè)備

本次實(shí)驗(yàn)所使用的實(shí)驗(yàn)設(shè)備如圖4所示，主要包括FUJIFILM工業(yè)攝相機(jī)，高精度標(biāo)定板，高精度量塊以及便攜式工控機(jī)。相關(guān)參數(shù)見表2。

圖4 實(shí)驗(yàn)設(shè)備

實(shí)驗(yàn)設(shè)備參數(shù)參數(shù)值攝像機(jī)分辨率(pix)2448?2048焦距(mm)25光圈F1.4～F22最小物距(m)0.1重量(g)315標(biāo)定板尺寸(mm)100?100圓點(diǎn)陣列7?7圓點(diǎn)直徑(mm)6.25圓點(diǎn)中心距(mm)12.5精度(mm)0.001量塊長(mm)60寬(mm)35高(mm)9

3.2 相機(jī)標(biāo)定

根據(jù)2.2節(jié)所介紹的雙目立體視覺標(biāo)定流程，對(duì)相機(jī)進(jìn)行標(biāo)定，其中拍攝的標(biāo)定板照片組數(shù)K=15。如圖5為拍攝的15組標(biāo)定板圖像。同時(shí)標(biāo)定過程中，需要注意兩點(diǎn)：一是保持標(biāo)定板背景的單一，最好是黑色或者白色；其次要防止光照對(duì)相機(jī)標(biāo)定的影響。最終我們求得相機(jī)的內(nèi)外參數(shù)見表3，標(biāo)定平均誤差為0.034 2個(gè)像素。

圖5 15組標(biāo)定板圖像

參數(shù)類型標(biāo)定參數(shù)標(biāo)定結(jié)果左相機(jī)標(biāo)定結(jié)果右相機(jī)標(biāo)定結(jié)果內(nèi)參數(shù)焦距(mm)0.02400.0240畸變系數(shù)(1/m2)-180.5661-139.5703單個(gè)像元寬(μm)3.453.45單個(gè)像元高(μm)3.453.45主點(diǎn)x坐標(biāo)(pix)1202.75641192.6069主點(diǎn)y坐標(biāo)(pix)999.73251002.0926圖像寬(pix)24482448圖像高(pix)20482048外參數(shù)旋轉(zhuǎn)矩陣R(°)[0.1836, 0.0014, 0.0026]平移矩陣T(m)[0.1133, 357.7735, 0.2940]

3.3 三維測(cè)量實(shí)驗(yàn)

我們?cè)诮屈c(diǎn)提取算法中選用的隨機(jī)森林算法是基于Python的著名機(jī)器學(xué)習(xí)庫scikit-learn的RandomForestClassifier接口，這是一個(gè)由前谷歌工程師David Cournapeau發(fā)起的開源機(jī)器學(xué)習(xí)項(xiàng)目，包含了當(dāng)今機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)絕大多數(shù)分類、回歸、 聚類、降維等算法。同時(shí)scikit-learn提供交叉驗(yàn)證，這對(duì)于構(gòu)建一個(gè)穩(wěn)定的機(jī)器學(xué)習(xí)模型有極大的好處。三維測(cè)量主要試驗(yàn)步驟如下：

1)雙目相機(jī)采集含有量塊的圖像90幅(左右圖像各45幅)，每幅圖像6個(gè)角點(diǎn)；

2)對(duì)圖像進(jìn)行角點(diǎn)標(biāo)注，在每幅圖像中除角點(diǎn)以外的位置進(jìn)行采樣，包括背景、物體邊緣非角點(diǎn)處，角點(diǎn)總共為540，非角點(diǎn)540；

3)以被選擇的點(diǎn)為窗口中心，在5*5的窗口內(nèi)計(jì)算點(diǎn)的特征向量；

4)角點(diǎn)記為1，非角點(diǎn)記為0，生成訓(xùn)練數(shù)據(jù)；

5)使用隨機(jī)森林算法對(duì)模型進(jìn)行充分訓(xùn)練，同時(shí)進(jìn)行 5折交叉驗(yàn)證；

6)將訓(xùn)練好的模型保存下來，以便重復(fù)使用；

7)對(duì)待預(yù)測(cè)的圖像進(jìn)行預(yù)處理，剔除掉絕大多數(shù)平滑的點(diǎn)，減少計(jì)算量；

8)對(duì)預(yù)處理后的點(diǎn)進(jìn)行二分類預(yù)測(cè)，每個(gè)位置選取概率值最高的點(diǎn)作為角點(diǎn)。

9)在第8步預(yù)測(cè)的點(diǎn)周圍3*3的窗口內(nèi)，利用式3計(jì)算亞像素角點(diǎn)坐標(biāo)(N=3)。

其中隨機(jī)森林模型訓(xùn)練的主要參數(shù)設(shè)置如表4，僅供參考，在訓(xùn)練模型時(shí)根據(jù)實(shí)際情況進(jìn)行調(diào)節(jié)。

表4 隨機(jī)森林關(guān)鍵參數(shù)設(shè)置

3.4 誤差分析

當(dāng)像素點(diǎn)的三維世界坐標(biāo)被還原之后，一個(gè)孤立的點(diǎn)，我們難以度量其準(zhǔn)確性。因此，我們計(jì)算出量塊多個(gè)角點(diǎn)的世界坐標(biāo)，通過兩點(diǎn)坐標(biāo)計(jì)算長度來衡量三維世界坐標(biāo)重建的準(zhǔn)確性。我們使用不同的5組圖像，使用3.2中訓(xùn)練好的模型進(jìn)行檢測(cè)，將5次的測(cè)量結(jié)果平均，如表5所示。

表5 測(cè)量結(jié)果

通過表5可以看出，使用隨機(jī)森林來提取特征點(diǎn)，進(jìn)而三維測(cè)量，是具有較高精確度的，隨機(jī)森林的亞像素級(jí)能進(jìn)一步減小測(cè)量誤差。

4 結(jié)語

本文深入研究了利用雙目立體視覺進(jìn)行三維測(cè)量的技術(shù)與方法，同時(shí)針對(duì)其中的難點(diǎn)問題，引入了基于隨機(jī)森林的機(jī)器學(xué)習(xí)算法來進(jìn)行特征點(diǎn)提取。基于機(jī)器學(xué)習(xí)強(qiáng)大的自學(xué)習(xí)能力，該算法具有以下優(yōu)點(diǎn)：

1)傳統(tǒng)算法如harris等特征點(diǎn)提取算法，每次測(cè)量都需要手動(dòng)設(shè)置參數(shù)和閾值；而基于隨機(jī)森林等機(jī)器學(xué)習(xí)的算法一旦模型訓(xùn)練好之后，后續(xù)測(cè)量將是比較自動(dòng)化的過程。

2)傳統(tǒng)的特征點(diǎn)提取算法幾乎都存在角點(diǎn)集群?jiǎn)栴}，需要反復(fù)進(jìn)行閾值調(diào)整，而本文的方法可以依據(jù)隨機(jī)森林預(yù)測(cè)每個(gè)點(diǎn)是角點(diǎn)的概率，選取概率最大的點(diǎn)作為角點(diǎn)，不會(huì)存在角點(diǎn)集群?jiǎn)栴}。

3)傳統(tǒng)的特征點(diǎn)檢測(cè)算法只能進(jìn)行像素級(jí)角點(diǎn)提取，欲進(jìn)行亞像素級(jí)角點(diǎn)提取，則會(huì)根據(jù)梯度等信息來對(duì)角點(diǎn)及鄰近角點(diǎn)進(jìn)行插值或者最小二乘擬合，本文則直接充分利用機(jī)器學(xué)習(xí)的預(yù)測(cè)的概率來進(jìn)行加權(quán)求取，更加簡(jiǎn)單和直觀，具備良好的可解釋性。

通過一系列的研究和改進(jìn)，精確的將像素坐標(biāo)轉(zhuǎn)化為三維世界坐標(biāo)，從而利用點(diǎn)的三維世界坐標(biāo)來實(shí)現(xiàn)三維測(cè)量。