， ，

(華南理工大學 自動化科學與工程學院， 廣州 510641)

0 引言

機器人結(jié)合機器視覺的技術(shù)方案在國內(nèi)機械制造業(yè)中的使用越來越廣泛。在機械工件裝配過程中，二維機器視覺檢測技術(shù)存在一定的局限性，使用單一相機只能在平面上獲取工件的位置，無法獲取深度信息，需人工調(diào)整機械工件為固定的位姿，才能實現(xiàn)機器人的抓取操作。而三維機器視覺不僅能夠獲取到機械工件的平面信息，還能獲取到機械工件的深度信息和位姿[1]。

三維掃描技術(shù)在國內(nèi)制造業(yè)的模具成型、造型設(shè)計方面已經(jīng)有較廣泛的應(yīng)用，但在國內(nèi)自動化機械工件拾取和裝配屬于起步階段。隨著三維掃描技術(shù)的應(yīng)用與發(fā)展，其精度、適應(yīng)性、可靠性等方面已經(jīng)能夠滿足自動化機械工件拾取和裝配的要求，三維掃描技術(shù)在該領(lǐng)域的應(yīng)用研究也越發(fā)熱門[2]。

本文設(shè)計了基于面結(jié)構(gòu)光的機械工件三維掃描系統(tǒng)。標定策略設(shè)計了40%灰度值棋盤格標定板結(jié)合100%灰度值棋盤格標定圖案技術(shù)對工業(yè)相機和投影儀進行標定；編碼解碼策略設(shè)計了100%灰度正反格雷碼結(jié)構(gòu)光柵結(jié)合相移技術(shù)對機械工件進行掃描，機械工件調(diào)制后的光柵圖像由工業(yè)相機同步獲取，對條紋進行亞像素精度提?。恢貥?gòu)策略利用標定的系統(tǒng)內(nèi)外參數(shù)和解碼的條紋對應(yīng)的像素坐標，設(shè)計了三角檢測算法并結(jié)合反復迭代逼近的原則獲取機械工件點云，并對背景平面多余點云隨機迭代分割，最后在計算機得到機械工件的三維點云模型[3-4]。

1 標定策略

在標定投影儀時，需要投影棋盤格圖案到標定板上，同時標定板上也有打印的棋盤格，可能會造成亞像素角點的誤檢測，導致標定結(jié)果和實際值較大的偏差。解決的辦法可以采用彩色的棋盤格標定板和投射彩色的棋盤格標定圖案，通過研究彩色圖案疊加在彩色棋盤格標定板上的顏色特性可以實現(xiàn)兩者的部分區(qū)分，但是仍然存在角點誤檢測的狀況[5-6]。

本文設(shè)計了40%灰度值棋盤格標定板結(jié)合100%灰度值棋盤格標定圖案的相機-投影儀標定策略。標定策略分為兩個部分：相機標定和投影儀標定。其中投影儀的標定需要使用相機標定的結(jié)果和參數(shù)。以相機模型和張正友標定理論為基礎(chǔ)，把棋盤格標定板參考坐標系轉(zhuǎn)換到照片參考坐標系上，通過坐標變換和扭曲形變等計算，得到相機的模型為：

(1)

由于可以把投影儀的模型看作是相機模型的逆變換，因此投影儀的模型表示為：

(2)

設(shè)計的標定策略的具體步驟為：調(diào)整相機、投影儀、棋盤格標定板之間的位置關(guān)系，三者整體呈現(xiàn)一個三角形的方位，使得標定板棋盤格上的角點在相機圖像上能夠清晰成像，并且投影儀投射在棋盤格標定板上的圖案能夠完全進入相機的視野內(nèi)。首先投影儀投射白光，相機拍攝一張棋盤格標定板的圖像，需保證棋盤格的角點都在視野范圍內(nèi)；保持棋盤格標定板的位姿不變，投影儀投射棋盤格圖案，圖案覆蓋住標定板上面的棋盤格，此時相機同步拍攝一張疊加有棋盤格圖案的棋盤格標定板的圖像；改變棋盤格標定板的位姿，重復上面的步驟10次，過程要保持相機和投影儀的相對位置不變，也不能改變相機的焦距。利用拍攝的20張圖片通過尋找對應(yīng)角點的方式標定出相機和投影儀的內(nèi)外參數(shù)。圖1所示為相機和投影儀標定圖像及檢測的投射棋盤格圖案。

圖1 標定圖像及檢測的投射棋盤格

系統(tǒng)標定結(jié)果如下：

1)相機標定結(jié)果：內(nèi)參:

畸變系數(shù):

kc=[-0.094 0.48 -0.00 080 -0.00 024 -1.49]

2)投影儀標定結(jié)果：內(nèi)參:

畸變系數(shù):

kp=[0.065 -0.20 0.0 012 0.00 043 0.10]

3)投影儀-相機：旋轉(zhuǎn)角度向量:

VR=(-0.023 0.052 -0.0 050)

平移距離向量VT=(-4.607 9.682 24.18)。

標定結(jié)果表明采用40%灰度值棋盤格標定板結(jié)合100%灰度值棋盤格標定圖案的相機-投影儀標定策略能夠準確地提取棋盤格的角點，設(shè)計合理。

2 解碼編碼策略

基于比較二進值編碼、格雷碼編碼、相移法等編碼解碼策略的優(yōu)點和不足，設(shè)計了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略，該策略綜合了各編碼方案的優(yōu)點，互相彌補了各編碼方案的不足，使得投影圖案和拍攝圖像像素的誤匹配大大降低[7-8]；同時采用亞像素檢測算法優(yōu)化大大提高了像素匹配的準確性[9]。

2.1 100%灰度正反格雷碼結(jié)合相移法

以5位編碼為例，二進制編碼是采用5幅投影圖案形成25=32個條紋設(shè)計的。格雷碼由二進制編碼改進而來。設(shè)有一個二進制編碼格式為BnBn-1···B1B0,對應(yīng)的格雷碼編碼格式為GnGn-1···G1G0,轉(zhuǎn)換規(guī)則為：Gn=Bn且Gi=Bi⊕Bi+1(i≠n)。圖2為5位二進制編碼和正反格雷碼示意圖。

圖2 5位二進制編碼和正反格雷碼示意圖

在識別編碼圖案交界處，二進制編碼每一幅都可能造成誤識別，而格雷碼只有在第1幅可能會造成誤識別，后面投射的4幅圖案都不會有二義性的問題，因此最大限度地降低了邊緣提取和解碼的錯誤率。

理論上格雷碼在像素對應(yīng)條紋的識別上做到了在保持特征區(qū)別的基礎(chǔ)上把錯誤率降到了最低，但是在投影儀投射光柵條紋的過程中，格雷碼圖案會受到掃描系統(tǒng)所處環(huán)境和機械工件自身特性的影響，包括系統(tǒng)環(huán)境自然光的強弱、光傳播的介質(zhì)、機械工件的反射特性等，導致格雷碼的明暗條紋的相互滲透，使得像素的識別結(jié)果出現(xiàn)偏差。設(shè)計了100%正反灰度格雷碼的編碼方案，即向機械工件投射n幅100%正向灰度格雷碼后，緊接著向該工件投射n幅100%反向灰度格雷碼。識別時把對應(yīng)的100%正反灰度圖案作差分運算，能夠降低環(huán)境因素導致的誤識別。

掃描系統(tǒng)同時投射縱向和橫向的結(jié)構(gòu)光柵，才能唯一確定二維平面的各個像素點。投影儀分辨率為1 024*960，若僅采用100%正反格雷碼的編碼方案，橫向結(jié)構(gòu)光柵圖案個數(shù)為log(1 024)=10，縱向結(jié)構(gòu)光柵圖案個數(shù)為log(960)≈10，理論上能夠區(qū)分二維平面上每一個像素點。但是條紋寬度只有一個像素對識別算法的實現(xiàn)比較困難，識別結(jié)果容易出錯。因此最終設(shè)計了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略。

相移法是向機械工件表面投射一系列余弦光柵圖案，工業(yè)相機同步拍攝經(jīng)過機械工件表面深度調(diào)制后的光柵圖案，計算出調(diào)制后光柵圖案中各個像素的相位值，根據(jù)該相位值找到投影儀中未調(diào)制的余弦光柵圖案對應(yīng)的像素坐標值。調(diào)制后的光柵圖像灰度值為：

I(x,y)=A(x,y)+B(x,y)cos[φ(x,y)+η]

(3)

其中:I(x,y)為光柵圖案像素(x,y)的灰度值，A(x,y)為光柵圖案背景灰度值，B(x,y)為光柵圖案的調(diào)制灰度值，φ(x,y)為調(diào)制后的光柵圖案像素(x,y)的相位值，η是各幅余弦光柵圖案的相位偏移值。

Ii(x,y)=A(x,y)+B(x,y)cos[φ(x,y)+π*i/2]

(i=0,1,2,3)

(4)

解得相位主值為：

(-π≤φ≤π)

(5)

為了區(qū)分整個光柵圖案的相位值，需要對相位主值展開。本文設(shè)計了100%灰度正反格雷碼結(jié)合相移法的編碼解碼策略。策略思路就是利用100%正反灰度格雷碼光柵對整個投影圖案進行粗分，格雷碼光柵條紋的個數(shù)等于相移法周期的個數(shù)，解碼時先把格雷碼數(shù)值轉(zhuǎn)化為二進制數(shù)值，該數(shù)值為相位主值的周期次數(shù)；在每個周期內(nèi)，像素的相位主值是唯一的，利用相移法對處于同一個周期內(nèi)的像素進行區(qū)分。設(shè)計綜合了100%灰度正反格雷碼編碼范圍廣和相移法編碼分辨率高的優(yōu)點，滿足機械工件對三維掃描系統(tǒng)的精度要求。對于整個光柵圖案每個像素的絕對相位值表示為：

θ(x,y)=φ(x,y)+2π*k(k為周期次數(shù))

(6)

圖3為4位相移法示意圖、3位格雷碼結(jié)合4位相移法示意圖。

圖3 四位相移法(左)和三位格雷碼結(jié)合四位相移法(右)

圖4～6為機械工件掃描實驗圖。

圖4 縱向正反格雷碼結(jié)構(gòu)光柵

圖5 橫向正反格雷碼結(jié)構(gòu)光柵

圖6 四位相移光柵

2.2 亞像素精度處理

圖7 亞像素精度處理

3 重構(gòu)策略

3.1 三維點云重構(gòu)

根據(jù)相機、投影儀、機械工件在空間中的幾何位置關(guān)系，設(shè)計了基于三角檢測算法的點云重構(gòu)策略[10-11]。以投射縱向的100%灰度正反格雷碼結(jié)合相移法的結(jié)構(gòu)光柵為例，三維點云重構(gòu)策略的設(shè)計思路如下：獲取照片坐標系上被結(jié)構(gòu)光柵覆蓋的各點的像素坐標值Ci=(ui,vi)，通過投射的縱向結(jié)構(gòu)光柵可以計算出在投影儀圖案參考坐標系中各點對應(yīng)的像素橫坐標值Pui=xi；以及計算得到相機和投影儀的內(nèi)外部標定參數(shù)值。從像素坐標系轉(zhuǎn)化到相機和投影儀成像坐標系時需要進行標準化操作，包括縮放偏移反變換、斜交反變換和畸變反變換。設(shè)fc1和fc2分別為相機模型中u軸和v軸方向上的焦距，(u0,v0)為像素坐標系中成像中心的坐標?？s放偏移反變換是把像素單位pixel轉(zhuǎn)化為距離單位mm，同時補償成像中心的偏移值?？s放偏移反變換后對應(yīng)點的坐標為：

(7)

斜交反變換是補償光軸和成像平面斜交導致的坐標偏移，設(shè)αc為斜交參數(shù)，斜交反變換后對應(yīng)后點的坐標為：

(8)

畸變反變換是補償鏡頭成像時在徑向和切向上的坐標偏移，設(shè)畸變系數(shù)為kc1、kc2、kc3、kc4和kc5，且：

(9)

ki=1+kc1*ri2+kc2*ri4+kc5*ri6

(10)

(11)

畸變反變換后對應(yīng)點在相機成像坐標系中坐標值為：

(12)

另外對投影儀圖案參考坐標系中各點對應(yīng)的像素橫坐標值Pui進行縮放偏移反變換后得到的橫坐標值為：

(13)

設(shè)相機參考坐標系中坐標Xci到投影儀參考坐標系中坐標Xpi的旋轉(zhuǎn)矩陣和平移矩陣分別為R和T，則：

Xpi=R*Xci+T

(14)

展開得：

(15)

聯(lián)立上式可得機械工件表面各個點在相機坐標系中的三維坐標為:[uoi*zcivoi*zcizci]T，其中：

(r11*uoi+r12*voi+r13)

(16)

3.2 背景點云去除

重構(gòu)后的機械工件的點云包括一部分背景平面無關(guān)點云[12]，需要去除此部分的點云。根據(jù)無關(guān)點云位于同一平面內(nèi)的特點，設(shè)計了隨機選取點云并反復迭代構(gòu)造背景平面實現(xiàn)分割的方法。首先從點云集中隨機選取部分點計算假定平面的參數(shù)，設(shè)置一個距離閾值，計算其余點與該平面的距離，大于閾值設(shè)為外點，小于閾值設(shè)為內(nèi)點；若內(nèi)點的個數(shù)大于期望的點數(shù)，則用內(nèi)點重新計算平面模型參數(shù)作為最終參數(shù)，所有的內(nèi)點即為分割的平面背景；若小于，則與先前最大內(nèi)點數(shù)比較，保留最大內(nèi)點數(shù)對應(yīng)的平面背景參數(shù)。上述步驟反復迭代，直到找到滿足條件的平面背景為止。

4 掃描結(jié)果與分析

圖8是設(shè)計的三維掃描系統(tǒng)對3個不同機械工件表面的掃描結(jié)果，以棋盤格標定板作為背景。可以看出，掃描出的各機械工件的點云和背景平面點云實現(xiàn)了完全分割，同時能夠識別出各工件的表面紋理特征。根據(jù)機械工件的實際測量值，本系統(tǒng)重構(gòu)的點云密度滿足精度要求，相鄰點云間隔在0.05 mm以內(nèi)。同時根據(jù)點云的三維坐標，可以確定各工件的空間幾何信息，包括工件在相機坐標系的位置信息和深度信息。

圖8 機械工件點云重構(gòu)

5 結(jié)論

針對制造業(yè)中機械工件拾取對三維掃描技術(shù)的應(yīng)用需求，設(shè)計了能夠重構(gòu)機械工件表面點云的三維掃描系統(tǒng)。對系統(tǒng)的標定、編碼解碼、重構(gòu)過程設(shè)計了有效合理的策略，檢驗了重構(gòu)的三維點云數(shù)據(jù)滿足精度要求，可以作為機器人運動控制系統(tǒng)的輸入信息實現(xiàn)對機械工件的抓取操作。

[1] Liu MY, Tuzel O, A Veeraraghavan. Fast object localization and pose estimation in heavy clutter for robotic bin picking[J]. International Journal of Robotics Research, 2012, 31(8):951-973.

[2] 王厚勇, 張文佳, 辛磊磊.機器人與自動化技術(shù)在生產(chǎn)線智能化改造中的應(yīng)用[J]. 汽車工藝師，2017,3:24-27.

[3] 胡愛玲, 江秀紅.基于機械手的結(jié)構(gòu)光視覺測量系統(tǒng)建模[J]. 控制工程，2016,23(3)：449-452.

[4] 胡法榮.基于結(jié)構(gòu)光的三維輪廓測量系統(tǒng)研究[D].杭州：浙江大學,2013.

[5] 申心蘭，王 仲，劉常杰，等.一種基于棋盤格的高精度分區(qū)域相機標定方法[J].測試科學與儀器，2016,7(4):342-349.

[6] Sun J, Chen X, Gong Z. Accurate camera calibration with distortion models using sphere images[J].Optics & Laser Technology, 2015, 65(65):83-87.

[7] Lilienblum E, Al-Hamadi A. A structured light approach for 3d surface reconstruction with a stereo line-scan system[A].Instrumentation &Measurement Technology Conference[C]. 2015, 64(5):1171-1176.

[8] 趙必玉. 高精度面結(jié)構(gòu)光三維測量方法研究[D].成都：電子科技大學，2015.

[9] 夏陽陽，林 菁.無粗定位亞像素邊緣檢測算法研究[J].上海師范大學學報，2016,45(4):434-440.

[10] Nagai Y, Ohtake Y, Suzuki H. Tomograghic surface reconstruction from point cloud[J]. Computers & Graphics, 2015, 46:55-63.

[11] Liu C, Yuan D, Zhao H. 3D point cloud denoising and normal estimation for 3D surface reconstruction[A]. IEEE International Conference on Robotics & Biomimetics[C]. 2015:820-825.

[12] Beksi W J, Papannikolopoulos N. 3D point cloud segmentation using topological persistence[A]. IEEE International Conference on Robotics & Automation[C]. 2016:5046-5051.