，，，*，

1. 北京控制工程研究所，北京 100190 2. 中國(guó)空間技術(shù)研究院，北京 100094

衛(wèi)星在軌任務(wù)失敗、燃料耗盡等都需要利用空間機(jī)械臂進(jìn)行在軌服務(wù)來(lái)減少經(jīng)濟(jì)損失[1]，目前，已完成的無(wú)人控制的技術(shù)驗(yàn)證任務(wù)都是針對(duì)合作目標(biāo)。非合作目標(biāo)的在軌服務(wù)仍然面臨很多挑戰(zhàn)，其中一個(gè)關(guān)鍵問(wèn)題是如何精確獲得動(dòng)態(tài)自旋非合作目標(biāo)的三維信息[2-3]。服務(wù)航天器跟蹤、接近和捕獲目標(biāo)時(shí)，需要快速獲取目標(biāo)衛(wèi)星局部模塊的精密3D輪廓。

失效衛(wèi)星一般處于高速自旋狀態(tài)，常規(guī)激光成像雷達(dá)由于掃描間隔較長(zhǎng)不適合高速動(dòng)態(tài)目標(biāo)；FLash Lidar 存在面陣小、分辨率低且器件難以獲得的問(wèn)題；雙目視覺(jué)系統(tǒng)不適合對(duì)稱、特征有限的目標(biāo)，同名點(diǎn)匹配的效率和可靠性較低；編碼結(jié)構(gòu)光具有自動(dòng)化程度高、速度快、精度高等特點(diǎn)，因此，編碼結(jié)構(gòu)光是當(dāng)前一種非常有效的解決方案。

可以把結(jié)構(gòu)光圖像編碼的方案分為3個(gè)類(lèi)別[3]：順序投影圖案；彩虹或者色碼投影；復(fù)雜的空間編碼圖案。文獻(xiàn)[4]首先提出格雷碼與相移法相結(jié)合的方法，解決了周期信號(hào)二義性問(wèn)題，同時(shí)得到較高的空間分辨率，但是這種方法需要投影多幅圖案，不能快速獲取高速運(yùn)動(dòng)的非合作目標(biāo)的三維輪廓。文獻(xiàn)[5]提出一種彩色條紋自適應(yīng)編碼方法，但是采用彩色相機(jī)，對(duì)設(shè)備要求較高，復(fù)雜的空間環(huán)境加大了顏色分辨的難度，這種方法難以在軌實(shí)現(xiàn)?？紤]到投影的圖片數(shù)量只有一幅，文獻(xiàn)[6]使用基于6值3次De Bruijn序列來(lái)生成水平彩色條紋圖案，這種方法雖然可以滿足快速性的要求，但是仍然采用彩色條紋，實(shí)現(xiàn)難度較大。

本文提出一種改進(jìn)的De Bruijn序列編碼方法，采用黑白單色條紋，可以快速進(jìn)行條紋位置的定位，且不需要進(jìn)行顏色分辨；基于極線約束原理，只需要對(duì)投影的行數(shù)或者列數(shù)進(jìn)行編碼；利用單目聯(lián)合投影裝置系統(tǒng)，在確定條紋邊緣的過(guò)程中解碼，不需要提前進(jìn)行極線校正和畸變校正，直接重建出物體的三維信息。計(jì)算量較小，提高了重建速度。

1 相機(jī)和投影裝置成像模型

圖1為相機(jī)坐標(biāo)系，由相機(jī)的小孔成像模型，利用投影關(guān)系，得到相機(jī)圖像物理坐標(biāo)系和相機(jī)坐標(biāo)系之間的關(guān)系：

(1)

式中：(xc,yc)為像點(diǎn)在像平面坐標(biāo)系中的坐標(biāo)；fc為相機(jī)焦距；(Xc,Yc,Zc)為物方點(diǎn)在相機(jī)坐標(biāo)系中的坐標(biāo)。

圖1 相機(jī)坐標(biāo)系Fig.1 Camera coordinate system

投影裝置的光線方向和相機(jī)的光線方向相反，把投影裝置看作一個(gè)逆向的相機(jī)，采用和相機(jī)相同的物理模型來(lái)描述，得到投影裝置圖像物理坐標(biāo)系和投影裝置坐標(biāo)系之間的關(guān)系：

(2)

式中：fp為投影裝置焦距；(Xp,Yp,Zp)為物方點(diǎn)在投影裝置坐標(biāo)系中的坐標(biāo)。

由于制造誤差，相機(jī)和投影裝置都具有畸變，在三維重建的過(guò)程中，為了使精度更高，需要對(duì)相機(jī)單元和投影裝置單元進(jìn)行畸變校正?；冎饕◤较蚧兒推幕?。

鏡頭徑向畸變使像點(diǎn)沿徑向產(chǎn)生偏差。徑向畸變是對(duì)稱的，對(duì)稱中心與主點(diǎn)并不完全重合，但通常將主點(diǎn)視為對(duì)稱中心。徑向畸變有正有負(fù)，相對(duì)主點(diǎn)向外偏移為正，向內(nèi)偏移為負(fù)。徑向畸變可用奇次多項(xiàng)式表示：

Δr=K1r3+K2r5+K3r7+…

(3)

將其分解到像平面坐標(biāo)系的x軸和y軸上，則有：

(4)

透鏡組中心偏離主光軸而產(chǎn)生偏心畸變。偏心畸變使像點(diǎn)既產(chǎn)生徑向偏差又產(chǎn)生切向偏差：

(5)

將其分解到像平面坐標(biāo)系的x軸和y軸上，則有：

(6)

式中：P1、P2為偏心畸變系數(shù)。

綜上所述，像點(diǎn)的系統(tǒng)性誤差是徑向畸變和偏心畸變引起的畸變總和：

(7)

對(duì)于單目結(jié)構(gòu)光系統(tǒng)來(lái)說(shuō)，重建系統(tǒng)的三維坐標(biāo)，還需要知道相機(jī)和投影裝置之間的位置和姿態(tài)。通過(guò)系統(tǒng)標(biāo)定，已知相機(jī)和投影裝置的外部參數(shù)分別為Rc和Rp，Tc和Tp，這兩組外部參數(shù)都是以世界坐標(biāo)系為基準(zhǔn)的，整理可以得到投影裝置坐標(biāo)系和相機(jī)坐標(biāo)系之間的關(guān)系：

(8)

得到物方點(diǎn)在投影裝置坐標(biāo)系和相機(jī)坐標(biāo)系之間坐標(biāo)的關(guān)系：

(9)

2 單目編碼結(jié)構(gòu)光快速方法

2.1 極線約束

在雙目立體視覺(jué)中，極線幾何對(duì)兩個(gè)照相機(jī)平面的幾何關(guān)系進(jìn)行了討論，投影裝置的投射過(guò)程和相機(jī)的成像過(guò)程相反，因此可以把投影裝置看作一個(gè)逆向的相機(jī)，采用和相機(jī)相同的物理模型來(lái)描述，照相機(jī)像平面和投影裝置像平面也有相同的幾何關(guān)系。考慮一點(diǎn)P，通過(guò)光學(xué)中心Op和OC分別在投影裝置和照相機(jī)像平面上所成的像為P1和P2。這5個(gè)點(diǎn)都位于2條相交光線OpP和OCP所形成的外極平面上。特別地，P1位于該平面和投影裝置像平面的交線l1上，直線l1是和點(diǎn)P相關(guān)聯(lián)的外極線，它經(jīng)過(guò)點(diǎn)e1。e1是連接兩個(gè)光學(xué)中心Op和OC的基線和投影裝置像平面的交點(diǎn)，同樣，點(diǎn)P2位于與點(diǎn)P1關(guān)聯(lián)的直線上，且該直線經(jīng)過(guò)基線與照相機(jī)像平面的交點(diǎn)e2。當(dāng)點(diǎn)P在極線l1和l2組成的平面上運(yùn)動(dòng)時(shí)，它在相機(jī)和投影裝置像平面的投影仍落在極線l1和l2上。

圖2 外極線約束Fig.2 Epipolar-slope constraint

如圖2所示，點(diǎn)e1和e2稱為兩個(gè)攝像機(jī)的外極點(diǎn)[7,8]，外極點(diǎn)e1是投影裝置像平面中照相機(jī)的光學(xué)中心OC的投影，反之亦然。如上文所述，如果P1和P2是同一個(gè)點(diǎn)的不同像點(diǎn)，那么P1一定位于與P2相關(guān)聯(lián)的外極線上。這就是立體幾何中的外極線約束，通過(guò)這種約束，只能找到對(duì)應(yīng)的外極線，不能找到對(duì)應(yīng)點(diǎn)的具體位置。外極線約束把兩幅圖像上點(diǎn)之間的匹配關(guān)系從二維限制到一維，極大減小了搜索范圍，是單目結(jié)構(gòu)光系統(tǒng)三維重建的基礎(chǔ)。在結(jié)構(gòu)光編碼的過(guò)程中，可以只對(duì)行數(shù)或者列數(shù)信息進(jìn)行編碼，減少了投影圖片的數(shù)量。

2.2 黑白De Bruijn序列編碼圖案

結(jié)合上文所述的極線約束，投影圖案只需要對(duì)行位置或者列位置進(jìn)行編碼，不需要采用空間網(wǎng)格編碼的方式，相當(dāng)于降低了編碼的復(fù)雜性。空間的特殊復(fù)雜環(huán)境，比如表面反射率不均勻，能夠從拍攝的圖像中區(qū)分出不同像素單元灰度值、不同要求投影的編碼圖案灰度差較大，使得編碼時(shí)條紋可以選擇的灰度值數(shù)量較少。用有限的灰度值構(gòu)造盡可能多不同的編碼列數(shù)(或行數(shù))，選擇De Bruijn序列編碼。

De Bruijn序列是一種循環(huán)序列[9]。k個(gè)不同的字符，秩為n，可以排成長(zhǎng)度為kn的字符串圓周，當(dāng)繞這個(gè)圓周旋轉(zhuǎn)一周時(shí)，長(zhǎng)度為n將會(huì)出現(xiàn)kn個(gè)不同的單詞，這個(gè)字符串圓周對(duì)應(yīng)的序列稱為基于k個(gè)符號(hào)的n次De Bruijn序列。圖3是De Bruijn圓周的一個(gè)簡(jiǎn)單例子：n=3，k=2(字符為0和1)。當(dāng)沿著這個(gè)圓周運(yùn)動(dòng)，將會(huì)依次遇到23=8個(gè)數(shù)字圖案000，001，010，011，100，101，110，111每個(gè)只出現(xiàn)一次。在一定程度上，這個(gè)圓周非常有效的編碼24位數(shù)字信息只用了8位[10]。在這個(gè)序列中，沒(méi)有重復(fù)的三位數(shù)字圖案。換句話說(shuō)，任何一個(gè)序列都不可能和這個(gè)序列中其他序列對(duì)應(yīng)。De Bruijn序列這個(gè)獨(dú)特的特點(diǎn)可以用來(lái)重建條紋圖案，每一個(gè)都有獨(dú)特的形式圖案彼此互不重復(fù)。這樣的獨(dú)特性讓圖案解碼變得非常簡(jiǎn)單。

為了進(jìn)一步提高編碼對(duì)空間環(huán)境的適應(yīng)性，可選元素中只選擇黑白兩種元素，在De Bruijn序列編碼長(zhǎng)度較長(zhǎng)的情況下[11]，要求編碼次數(shù)較高，這就需要通過(guò)判斷條紋寬度來(lái)解碼，但是條紋寬度還受目標(biāo)物體的形狀影響，提高了解碼的難度。

圖3 n=3，k=2時(shí)的De Bruijn序列Fig.3 De Bruijn sequence

因此，本文提出一種方法，以兩種不同比例的黑白條紋作為編碼的基本單元，如圖4所示，主要優(yōu)點(diǎn)如下：

條紋模板中使用的顏色是黑色和白色，這樣無(wú)需考慮攝像機(jī)和投影儀的顏色失真問(wèn)題和顏色識(shí)別算法，算法復(fù)雜性降低，也不容易受到環(huán)境光或者待測(cè)物體表面顏色信息的影響，抗干擾能力增強(qiáng)；顏色的對(duì)比度高，后續(xù)解碼的過(guò)程中條紋邊緣更易檢測(cè)；編碼圖案黑白條紋寬度之和是相等的，即條紋存在著規(guī)律性，降低了投影儀圖案和相機(jī)圖案匹配的難度。

采用圖4所示的編碼基本單元，利用2元3次De Bruijn序列，設(shè)計(jì)的編碼圖案如圖5所示。該編碼圖案原理簡(jiǎn)單，易于實(shí)現(xiàn)，能夠?qū)崿F(xiàn)高精度稠密深度數(shù)據(jù)的獲取。

圖4 編碼基本單元0和1Fig.4 Basic unit of coding

圖5 黑白De Bruijn序列編碼圖案Fig.5 Black-and-white coding patterns of De Bruijn sequence

2.3 物體表面三維信息的計(jì)算

在解碼的過(guò)程中，采用閾值法和灰度矩法確定條紋邊緣的位置。

綜合考慮式(1)(2)和(9)，Xc、Yc、Zc、Xp、Yp、Zp和yp是未知的，而這三式中有7個(gè)線性無(wú)關(guān)的方程，聯(lián)立這三式，可唯一地確定被測(cè)點(diǎn)在相機(jī)坐標(biāo)系和投影裝置坐標(biāo)系中的三維坐標(biāo)。

式(1)(2)中的xc、yc和xp需要進(jìn)行畸變校正，相機(jī)物理像平面的坐標(biāo)(xc，yc)校正根據(jù)校正公式(7)即可，根據(jù)畸變模型[12]，畸變校正需要知道像素單元距離中心的距離，而我們只知道投影裝置單元的列數(shù)信息，無(wú)法直接根據(jù)校正公式(7)進(jìn)行畸變校正，本文提出一種多次迭代的方法進(jìn)行投影裝置單元校正。

(10)

(11)

3 試驗(yàn)結(jié)果

如圖6所示，單目編碼結(jié)構(gòu)光系統(tǒng)采用單相機(jī)和投影裝置的組合，相機(jī)的分辨率為2 048×2 448，投影裝置的分辨率為912×1 140，待測(cè)目標(biāo)位于系統(tǒng)前0.5 m左右。

考慮非合作目標(biāo)三維輪廓測(cè)量的特殊要求，首先目標(biāo)高速運(yùn)動(dòng)[13]，要求測(cè)量時(shí)間短；其次為了進(jìn)一步實(shí)現(xiàn)非合作目標(biāo)的在軌服務(wù)，要求測(cè)量精度高；再次空間目標(biāo)表面材料反射率不均勻，且經(jīng)常伴有高光現(xiàn)象，不適合利用灰度值或顏色進(jìn)行三維重建。

圖6 系統(tǒng)實(shí)物Fig.6 Physical map of the system

首先應(yīng)用平面靶標(biāo)和標(biāo)定平面完成相機(jī)和投影裝置的標(biāo)定[14-17]，用Matlab生成上文提出的黑白De Bruijn序列編碼圖案，通過(guò)投影裝置投射到待測(cè)目標(biāo)上，附加編碼圖像的條紋由照相機(jī)同步進(jìn)行拍攝，計(jì)算機(jī)對(duì)圖片進(jìn)行處理，通過(guò)單幅編碼圖案和圖片就可以計(jì)算出物體表面的三維信息。針對(duì)白色海盜雕塑目標(biāo)，得到的三維信息如圖7所示(坐標(biāo)系為投影裝置坐標(biāo)系，單位為mm)。

圖7 白色海盜雕塑重建結(jié)果Fig.7 Reconstructed results of the sculpture

為了進(jìn)一步驗(yàn)證這種方法可以應(yīng)用于非合作目標(biāo)的快速三維測(cè)量，以1∶6的衛(wèi)星模型為重建目標(biāo)，如圖8(a)所示，圖8(b)是測(cè)量過(guò)程中相機(jī)拍攝的圖片，圖9(a)是相機(jī)圖片處理過(guò)程中的有效單元，可以看出金色的遮光材料導(dǎo)致的高光問(wèn)題在一定程度上影響了重建結(jié)果。得到的三維信息如圖9(b)所示，點(diǎn)云能夠直接反應(yīng)出衛(wèi)星白色天線部分的結(jié)構(gòu)。

利用此單目結(jié)構(gòu)光系統(tǒng)對(duì)標(biāo)準(zhǔn)件進(jìn)行測(cè)量，測(cè)得深度信息誤差為0.058 3 mm，能夠滿足結(jié)構(gòu)光測(cè)量系統(tǒng)的三維重建精度要求。

以上試驗(yàn)證明，系統(tǒng)使用高速相機(jī)，采集圖像時(shí)間較短，單幅圖像即可進(jìn)行重建，同時(shí)只采用黑白單色條紋，在空間環(huán)境中抗干擾能力強(qiáng)，速度和精度都能滿足非合作目標(biāo)的三維測(cè)量要求。

圖8 衛(wèi)星模型實(shí)物與相機(jī)拍攝的附有投影編碼的衛(wèi)星模型Fig.8 Satellite model and photo with coding pattern by camera

圖9 處理過(guò)程中和衛(wèi)星模型的有效單元Fig.9 Effective unit during image processing and reconstructed results of satellite model

4 結(jié)束語(yǔ)

本文提出了一種改進(jìn)的黑白De Bruijn序列編碼方案，與傳統(tǒng)的De Bruijn彩色條紋編碼方案不同，采用黑白單色條紋，降低了對(duì)設(shè)備的要求，更能適應(yīng)空間復(fù)雜的反射環(huán)境，同時(shí)保留了De Bruijn編碼單幅圖案就可以進(jìn)行重建的優(yōu)點(diǎn)；利用極線約束，只對(duì)行數(shù)或者列數(shù)進(jìn)行編碼，進(jìn)一步降低了編碼的復(fù)雜性；在單目編碼結(jié)構(gòu)光的測(cè)量過(guò)程中，應(yīng)用文中提出的匹配重建算法，在確定條紋邊緣的過(guò)程中進(jìn)行解碼，不需要事先進(jìn)行極線校正；創(chuàng)新性地采用迭代的方法進(jìn)行三維重建，在迭代的過(guò)程中對(duì)投影儀投影圖片進(jìn)行畸變校正，不需要對(duì)圖片進(jìn)行預(yù)處理，減少了計(jì)算量，同時(shí)提高了重建精度，算法更加簡(jiǎn)單，效率更高。試驗(yàn)結(jié)果表明采用這種方法，深度信息誤差為0.058 3 mm，可以滿足高速運(yùn)動(dòng)的非合作目標(biāo)的三維測(cè)量要求。該方法可用于衛(wèi)星局部模塊3D輪廓的快速獲取，幫助服務(wù)航天器快速有效地跟蹤、接近和捕獲目標(biāo)。

References)

[1] NASA. On-orbit satellite servicing study，NASA 10-204001[R]. NASA Internal Project Report，2010.

[2] MARTIN D H，ANDERSON P R，BARTAMIAN L. Communication satellites[M]. 5th Edition. Reston：Aerospace Press Series，2007.

[3] YANG R，CHENG S，YANG W，et al. Robust and accurate surface measurement using structured light [J]. IEEE Trans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[4] BERGMANN D. New approach for automatic surface reconstruction with coded light[C]∥Proceedings of Remote Sensing and Reconstruction for Three- Dimensional Objects and Scenes，SPIE，San Diego，CA，1995，2572：2-9.

[5] THOMAS P KONINCKX，LUC VAN GOOL. Real-time range acquisition by adaptive structured light[J]. IEEE Trans. Pattern Analysis and Machine Intelligence，2006，28(3)：432-445.

[6] DAVID A. FORSYTH，JEAN PONCE．計(jì)算機(jī)視覺(jué)：一種現(xiàn)代方法[M]．北京：電子工業(yè)出版社，2004：6．

[7] 趙慧潔，雷炎章，姜宏志．基于投影柵相位的立體匹配方法[C]∥第十三屆圖形圖像會(huì)議論文集，2006：496-500．

ZHAO H J，LEI Y Z，JIANG H Z. Depth measurement based on projected grating phrase[C]∥，2006：496-500(in Chinese)．

[8] 關(guān)芳芳，程筱勝. 基于極線校正的相移結(jié)構(gòu)光三維測(cè)量[J]. 南京工程學(xué)院學(xué)報(bào)(自然科學(xué)版)，2014，6(9)：37-45.

GUAN F F，CHENG X S. Three-dimensional structured-light measurement based on epipolar-slope constraint[J]. Journal of Nanjing Institute of Technology (Natural Science Edition),2014，6(9)：37-45(in Chinese).

[9] JASON G. DLP-based structured light 3D imaging techno-logies and applications[C]∥SPIE MOEMS-MEMS,Inter-national Society for Optics and Photonics，2011,7932:10.

[10] 陳石平，畢婭，李曉星，等. 亞像素條紋邊緣提取技術(shù)在型面測(cè)量上的應(yīng)用[J]. 北京航空航天大學(xué)學(xué)報(bào)，2006，32(8)：94-101.

CHEN S P，BI Y，LI X X，et al. The technique of sub-pixel stripes distinguish on the surface measurement[J]. Journal of Beijing University of Aeronautics and Astronautics，2006，32(8)： 94-101(in Chinese).

[11] 陳彥軍. 基于編碼結(jié)構(gòu)光的三維重建關(guān)鍵技術(shù)研究[D]. 哈爾濱：哈爾濱工業(yè)大學(xué)，2012.

CHEN Y J. Research on key technologies for 3D Reconstruction based on coded structured light[D]. Harbin：Harbin Institute of Technology，2012(in Chinese).

[12] 李明磊，高欣圓，李廣云，等. 地面三維激光掃描儀與外架數(shù)碼相機(jī)間安置參數(shù)的高精度標(biāo)定[J]. 光學(xué)精密工程，2016，24(9)：2158-2166.

LI M L，GAO X Y，LI G Y，et al. High accuracy calibration of installation parameters between 3D terrestrial laser scanner and external-installed digital camera[J]. Optics and Precision Engineering，2016，24(9)：2158-2166(in Chinese).

[13] 于洋，王世勇，蹇毅，等. 面陣探測(cè)器連續(xù)掃描成像光學(xué)系統(tǒng)[J]. 紅外與激光工程, 2016，45(S4)：120-126.

YU Y，WANG S Y，JIAN Y，et al. Realization of an optical system based on continuous-scan focal plane array[J]. Infrared and Laser Engineering，2016，45(S4)：120-126(in Chinese).

[14] 梁斌，高學(xué)海，徐文福. 基于結(jié)構(gòu)光的空間大目標(biāo)特征重構(gòu)與位姿測(cè)量[J]. 中國(guó)空間科學(xué)技術(shù),2014, 34 (5)：24-31.

LIANG B，GAO X H，XU W F，et al. Feature Reconstruction and pose determination for large space target based on point structured light[J]. Chinese Space Science and Technology，2014，34 (5)： 24-31(in Chinese).

[15] ZHOU F，ZHANG G. Complete calibration of a struc-tured light vision sensor through planar target of unknown orientations[J].Image and Vision Computing，2005，23(1)：59-67.

[16] YANG R Q，WEI S C，CHEN Y Z，et al. Robust and accurate surface measurement using structured light[J]. IEEE Tans. Instrumentation and Measurement，2008，57(6)：1275-1280.

[17] CHEN Y J，WANG K Q，ZUO W N，et al. Coded structured light stripe boundary location with sub-pixel accuracy based on weighted centroid method[J]. Journal of Biological Systems，2010，1(18)：35-49.