，

(南京理工大學 自動化學院，南京 210094)

0 引言

眼睛在人類的所有感覺器官中最為重要，人們從外界接受的信息絕大部分都來自于我們的眼睛，我們常常通過雙眼感受這世界的種種美好[1]。計算機視覺就是模仿人類視覺系統(tǒng)，以各類成像系模仿眼睛，計算機模仿人的大腦進行處理接受到圖像信息，其目的之一就是根據(jù)獲相機取到的圖像二維信息轉(zhuǎn)變?yōu)槟繕宋锏娜S坐標[2]。因此，隨著科學技術(shù)的發(fā)展三維測量技術(shù)在工業(yè)產(chǎn)品模型設(shè)計、精密部件測量、醫(yī)學領(lǐng)域等方面有著重要的研究意義。

本文在基于格雷碼和多步相移法的基礎(chǔ)上結(jié)合雙目立體視覺進行三維測量技術(shù)研究，第1節(jié)介紹了雙目立體視覺成像原理和立體校正方法，第2節(jié)介紹了格雷碼與多步相移法的編解碼原理，第3節(jié)通過實驗論證了基于格雷碼和多步相移法的雙目立體視覺三維測量技術(shù)的可行性。紙盒三維測量實驗在完成雙目校正的基礎(chǔ)上，向物體表面投射7幅格雷碼圖案和15幅相移編碼圖案，最后根據(jù)相機獲取的物體編碼圖像解碼得到物體的三維信息[3]。

1 雙目立體視覺

如圖1所示，根據(jù)是否要接觸待測物體，三維測量可以分為非接觸式和接觸式[4]。非接觸式測量中根據(jù)是否主動向待測物體投射光源，非接觸式三維測量又可以分為被動式和主動式，其中主動式三維測量通過向待測物體投射特殊的光源，形成相應(yīng)的圖像，最后由相機采集圖像經(jīng)過計算機處理，得到物體的三維信息[5]。

圖1 三維測量分類

雙目立體視覺屬于被動式三維測量方法，由環(huán)境中的自然光，如太陽的直射光和天空光對待測物體進行照明，而不需要向待測物體投射人造光源進行照明[6]。雙目立體視覺通過模擬人的雙眼，將兩臺相機安裝在待測物體的兩個不同視角位置，使得兩個相機與待測物體構(gòu)成一個三角形，最后根據(jù)對待測物體拍攝得到的兩幅圖片和三角法原理獲取待測物體的三維信息[7]。雙目立體視覺雖然不需要向待測物體提供人造光源，成本低廉，但是對沒有較多特征的物體圖像匹配困難，精度低。

編碼結(jié)構(gòu)光法屬于主動式三維測量方法，需要向待測物體投射特定的編碼圖案，然后由相機獲取一系列的編碼圖像解碼，進而得到物體表面每條條紋的特定編號以及對應(yīng)光線投射角，再由結(jié)構(gòu)光基本公式獲得待測物體的三維坐標[8]。

1.1 雙目相機校正

圖2 雙目視覺系統(tǒng)

首先根據(jù)張氏標定法求得左右相機各自的旋轉(zhuǎn)矩陣和平移矩陣。點P和P1，P2點可表示為：

(1)

由式(1)可以得到兩個相機之間的相對關(guān)系：

P1=R2R1- 1P2+T2-R2R1- 1T1

(2)

由式(2)可以得到兩個相機之間的相對旋轉(zhuǎn)矩陣R和平移矩T陣為：

(3)

首先將左右相機成像平面各旋轉(zhuǎn)R的一半，使左右相機的成像平面重投影畸變最小，左右視圖共同面積最大[10]。

(4)

此時左右相機的成像平面平行，但是與基線不平行，對此我們需要構(gòu)造變換矩陣Rrect：

Rrect=[(e1)T(e2)T(e3)T]T

(5)

構(gòu)造e1使得左視圖極點為無窮遠處，構(gòu)造e2與主光軸方向正交，與e1垂直，構(gòu)造e3與e2和e1正交：

(6)

(7)

1.2 雙目相機成像原理

在完成雙目校正后，極點e1，e2位于無窮遠處，兩相機的光軸平行，同一物點的像點在左右相機中高度相同。極線約束使得對應(yīng)像點的尋找由面搜索變?yōu)榫€搜索，二維搜索變?yōu)橐痪S搜索，而經(jīng)過相機校正后對應(yīng)點搜索變?yōu)橥恍兴阉?，大大減少了計算量[4]。

圖2中，根據(jù)三角相似關(guān)系可以得到：

(8)

(9)

由此我們可以得到相機圖像中點P1與世界坐標系中點P的關(guān)系為：

(10)

其中：點cx,cy為左相機主點坐標。根據(jù)式(10)可以得到左相機圖像坐標系中點在世界坐標系中對應(yīng)點坐標為(X/W,Y/W,Z/W)[11]。

2 結(jié)構(gòu)光

編碼結(jié)構(gòu)光法是一種主動式三維測量方法，由投影儀向待測物體投射一系列編碼圖案，使得物體具有容易識別的特征點[12]。再由相機獲取圖像解碼獲得特征點的投射角度，最后根據(jù)三角法求得物體的三維坐標[13]。編碼結(jié)構(gòu)光法與點結(jié)構(gòu)光和線結(jié)構(gòu)光結(jié)構(gòu)光相比，測量速度快，時間短，與傳統(tǒng)的雙目視覺相比具有更高的匹配精度，對于特征不多的圖像也能有著很好的測量效果。

2.1 格雷碼

在結(jié)構(gòu)光編碼中，二進制編碼使用最為普遍，其原理也最為簡單[14]。投影圖像只需要用兩種顏色來區(qū)分不同的條紋，分別記為0、1，其中0對應(yīng)黑色，1對應(yīng)白色。通過向待測物體投射m幅二進制編碼圖案，將待測物體表面劃為個區(qū)域。格雷碼由二值碼發(fā)展而來，它與普通二值碼相比更加可靠。如表1所示，十進制的1變成2的時候，二進制碼的每一位數(shù)值都要進行跳變，而格雷碼只有一位進行跳變。

表1 二進制與格雷碼比較

格雷碼屬于可靠性編碼，當狀態(tài)發(fā)生變化時只存在一位跳變，而不會出現(xiàn)多位跳變的情況，提高了解碼的正確率，可以更加方便檢測條紋編碼是否出錯[15]。格雷碼編碼原理簡單，準確度高，但是在三維測量需要投射大量圖案，而且隨著圖案的增加，黑白條紋邊界分辨率降低，降低測量的準確度。因此，我們先向待測物體表面投射如圖3所示的7幅格雷碼圖案，將待測物體表面分為128個區(qū)域。格雷碼解碼后可以獲得0～127周期次數(shù)k，再向待測物體表面投射多步相移圖案來進行三維測量。

圖3 格雷碼圖案

圖像閾值分割中無論是采用自適應(yīng)閾值還是固定閾值都存在不可避免的錯誤，對此我們采用簡化的Daniel Scharsterin[16]方法，在向物體表面投射如圖3所示的格雷碼圖案后，再向物體表面投射如圖4所示的格雷碼取反圖案。(x,y)處投射格雷碼圖案時灰度值為I(x,y)，投射格雷碼取反圖案時灰度值為I′(x,y)，若I(x,y)-I′(x,y)>20則取值為1，反之為0。

圖4 格雷碼取反圖案

2.2 多步相移法

相移法是按順序向待測物體表面投射多幅正弦周期相移圖案，然后由相機獲取經(jīng)相移圖案調(diào)制的待測物體圖像，解碼得到待測物體表面每點的主相位值[17]。向物體表面投射如圖5所示相移圖案，點(x,y)處光照強度為：

In(x,y)=I′(x,y)+I″(x,y)[cosθ(x,y)+2nπ/N]

(11)

其中：In(x,y)為點(x,y)在第n幅相移圖中的灰度值，I′ (x,y)為條紋光的背景光強，I″(x,y)/I′(x,y)為條紋反差，θ(x,y)(θ∈(-π,π))為待求主相位值：

(12)

圖5 相移圖案

相移法的優(yōu)點在于每點的相位值不受鄰點光照強度的影響，分辨率高，同一周期內(nèi)每點相位值絕對唯一。缺點在于圖像中周期的確定存在二義性，因此我們需要先用格雷碼對物體表面進行周期劃分，再用相移法對物體表面進一步細分。格雷碼圖案的最小周期必須為相移圖案周期的N倍，以保證在主相位值發(fā)生突變時周期值k同步突變[18]。

將點(x,y)出由相移法得到的主相位值θ與格雷碼解碼周期k向疊加，求得點(x,y)的絕對唯一主相位值ψ(x,y)：

ψ(x,y)=2kπ+θ(x,y)

(13)

2.3 周期校正和匹配點搜索

在理想情況下主相位值θ和格雷碼解碼周期k同步發(fā)生突變，求得的每點主相位值ψ(x,y)單調(diào)遞增，即ψ(x,y+1)>ψ(x,y)。但是考慮到環(huán)境光照強度、相移圖案穩(wěn)定性等一系列因素，可能會導致格雷碼解碼周期k與主相位值θ之間存在著周期錯位。若相鄰兩點之間發(fā)生周期錯位，則ψ(x,y)-ψ(x,y+1)≈2π。因此我們選取閾值π來判斷是否發(fā)生周期錯位，若ψ(x,y)-ψ(x,y+1)≥π，則令ψ(x,y+1)=ψ(x,y+1)+2π。

由圖2可知，在完成雙目校正后，點P在左相機中成像位置的橫坐標x1必定大于在右相機中成像位置的橫坐標x2。而且考慮到在周期校正后主相位值絕對遞增，因此點P在右相機中成像平面的對應(yīng)點可以在(0,x2)采用二分法進行查找。

3 實驗結(jié)果與分析

為驗證基于格雷碼和多步相移法的雙目立體視覺三維測量方法的可行性，搭建三維測量系統(tǒng)結(jié)構(gòu)。實驗器材包括：相機兩個(分辨率為1 920×1 080)，投影儀一臺(分辨率為1 280×800)，計算機一臺，一張打印棋盤格的A4紙一張和待測物體白色盒子一個。

首先對雙目相機進行立體校正，使得左右相機嚴格遵循行對齊，校正效果如圖6所示。

圖6 棋盤圖像

完成雙目相機矯正后向白色盒子表面投射7幅格雷碼圖案和7幅格雷碼取反圖案，最后再投射15幅相移編碼圖案，如圖7所示。

圖7 格雷碼與相移法圖像

對獲取到的圖像進行解碼，得到視差圖，結(jié)合雙目視覺成像原理，求出白色盒子的世界坐標系中的三維信息，將點云導入到meshlab中結(jié)果如圖8所示。

圖8 白色盒子點云圖像

由圖8所示7步格雷碼和15步相移法很好的反映了白色盒子的三維形貌，為了進一步確定三維測量的精度，以盒子高度為基礎(chǔ)值，求解最大測量誤差，并與4步相移法的測量結(jié)果作比較，如表二所示。

表2 三維測量比較

測量方法指標項 7步格雷碼與15步相移法7步格雷碼與4步相移法點云數(shù)目/萬2118點云距離/mm021024最大誤差/mm054082編碼圖案/幅2918點云計算時間/ms67655413

理想情況下相移和測量不存在誤差，則根據(jù)4步相移法可以精確計算出物體每點的相位值。但是，在實際應(yīng)用中測量值受到相移誤差、傳感器誤差和周圍環(huán)境的影響，導致測量值不精確。采用15步相移法對測量值進行優(yōu)化統(tǒng)計，雖然無法完全消除誤差，卻大大降低了誤差帶來的影響。由表二我們可以看出采用15步相移法與4步相移法相比，雖然需要投射更多的編碼圖片，解碼并計算三維點云的時間更長，但是在測量精度上有著極大的提高，能夠更好的體現(xiàn)三維物體的形貌。

4 結(jié)束語

三維測量技術(shù)在文物保護、自動化生產(chǎn)、精密工業(yè)部件測量和逆向工程等方面有著重要的應(yīng)用，并且隨著成像設(shè)備、投影儀和其他光電元件的進步，測量的精度也在不斷的提高。

本文基于格雷碼和多步相移法的雙目立體視覺三維測量技術(shù)研究，在完成雙目相機校正的基礎(chǔ)上向待測物體投射格雷碼圖案和多步相移圖案，對得到的編碼圖像進行解碼很好的重構(gòu)物體的三維形貌。并與4步相移法進行比較，證明投射多步相移圖案雖然會犧牲一些測量時間，但是能夠獲得更加細致物體三維信息，測量精度更高。

參考文獻：

[1]陸 樂. 平面設(shè)計中的視覺流程概述[J]. 科技創(chuàng)新導報, 2008(33):67-67.

[2]戴 磊. 基于視覺反饋的移動機器人控制[D]. 上海：上海交通大學, 2011.

[3]苑惠娟, 于 佳, 尚愛軍. 基于顏色編碼的大型物體表面三維測量[J]. 紅外與激光工程, 2008(s1):166-169.

[4]喻士領(lǐng). 基于光柵條紋投影的三維測量系統(tǒng)標定方法的研究[D]. 南京：南京理工大學, 2015.

[5]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學, 2009.

[6]許志梁. 基于結(jié)構(gòu)光和立體匹配的稠密深度獲取技術(shù)研究[D]. 上海：上海交通大學, 2009.

[7]沈國峰. 基于雙目立體視覺的牙頜模型測量技術(shù)研究[D]. 南京：南京航空航天大學, 2013.

[8]方 勇. 顏色編碼三維測量的圖像處理方法研究[D]. 哈爾濱：哈爾濱理工大學, 2009.

[9]劉 偉. 基于多視點的三維重建技術(shù)研究[D]. 太原：太原科技大學, 2009.

[10]張穎江, 潘 堯, 吳 聰. 基于車載系統(tǒng)雙目CCD相機測距[J]. 信息安全與技術(shù), 2016, 7(1):57-62.

[11]錢 真, 彭秀艷, 賈書麗,等. 動平臺下雙目視覺定位標定算法研究[J]. 計算機仿真, 2012, 29(10):293-297.

[12]雷 震. 單相機單投影儀的編碼結(jié)構(gòu)光三維測量方法研究[D]. 武漢：華中科技大學, 2015.

[13]劉 歡. 實時彩色三維建模技術(shù)研究[D]. 成都：電子科技大學, 2015.

[14]劉永久. 基于結(jié)構(gòu)光投影的運動物體高速實時三維測量方法研究[D]. 合肥：中國科學技術(shù)大學, 2014.

[15]宋昌江. 基于雙目視覺的三維物體表面測量系統(tǒng)設(shè)計與實現(xiàn)[D]. 哈爾濱：哈爾濱工業(yè)大學, 2012.

[16]Scharstein D, Szeliski R. High-accuracy stereo depth maps using structured light[A].Computer Vision and Pattern Recognition, 2003. Proceedings[C]. 2003 IEEE Computer Society Conference on. IEEE, 2003:I-195-I-202 vol.1.

[17]于曉洋, 單鸝娜, 曹沈楠,等. 結(jié)構(gòu)光時間編碼技術(shù)進展[J]. 哈爾濱理工大學學報, 2010, 15(1):98-102.

[18]宋昌江. 基于雙目視覺的三維物體表面測量系統(tǒng)設(shè)計與實現(xiàn)[D]. 哈爾濱:哈爾濱工業(yè)大學, 2012.