張 杰,李 潘,范生宏,王 順,魯利剛
(1.北京衛(wèi)星制造廠,北京 100094;2.北京普達(dá)迪泰科技有限公司,北京 100083)
基于線掃描的管路三維重建技術(shù)研究與實(shí)現(xiàn)
張 杰1,李 潘2,范生宏2,王 順2,魯利剛1
(1.北京衛(wèi)星制造廠,北京 100094;2.北京普達(dá)迪泰科技有限公司,北京 100083)
針對(duì)航空發(fā)動(dòng)機(jī)管路裝配過(guò)程中,裝配質(zhì)量難以保證、檢測(cè)效率低的問(wèn)題,提出一種基于線結(jié)構(gòu)光的管路三維重建測(cè)量方法。該方法通過(guò)線結(jié)構(gòu)光掃描技術(shù),獲取管路表面三維輪廓數(shù)據(jù),利用三維點(diǎn)云數(shù)據(jù)提取管路脊線和半徑值。針對(duì)離散的脊線坐標(biāo)值,采取NURBS算法對(duì)其擬合,利用管路脊線和半徑值重建管路三維模型。通過(guò)線結(jié)構(gòu)光掃描測(cè)量系統(tǒng),獲取管路輪廓點(diǎn)云數(shù)據(jù),重構(gòu)管路三維模型。實(shí)驗(yàn)結(jié)果證明,該方法和測(cè)量系統(tǒng)可以實(shí)現(xiàn)管路三維的快速重建,重建數(shù)據(jù)可用于管路間隙測(cè)量。
線結(jié)構(gòu)光;亞像素;三維測(cè)量;管路重建
航空發(fā)動(dòng)機(jī)的管路系統(tǒng)[1]主要是指連接發(fā)動(dòng)機(jī)各個(gè)部件、附件以及與飛機(jī)相連的管路,包括導(dǎo)管及連接件、密封件和卡箍等,用于液壓、燃油和氧氣等介質(zhì)的輸送。一臺(tái)典型航空發(fā)動(dòng)機(jī)上的導(dǎo)管多達(dá)100~250根,其形狀、尺寸各異,由于布局空間限制嚴(yán)格,導(dǎo)管層疊交錯(cuò),空間形態(tài)復(fù)雜。在航空發(fā)動(dòng)機(jī)的裝配過(guò)程中,管路的敷設(shè)、導(dǎo)管的固定、卡箍的安裝都需要遵循相應(yīng)的規(guī)則,其裝配質(zhì)量直接關(guān)系到成品的質(zhì)量、可靠性和工作壽命。若出現(xiàn)漏檢情況,會(huì)導(dǎo)致試車(chē)過(guò)程中出現(xiàn)導(dǎo)管碰撞損毀或介質(zhì)泄露的情況。因此,為了提高裝配質(zhì)量和可靠性,提出一種管路數(shù)字化檢測(cè)方法,實(shí)現(xiàn)對(duì)管路系統(tǒng)的外形輪廓及位置度的準(zhǔn)確測(cè)量,減少裝配誤差,提高裝配質(zhì)量。
針對(duì)航空發(fā)動(dòng)機(jī)管路系統(tǒng)檢測(cè)方法[2]可分為接觸式檢測(cè)和非接觸式檢測(cè)。非接觸式檢測(cè)[3]目前比較成熟的是光學(xué)測(cè)量方法,在滿足檢測(cè)精度要求下,檢測(cè)效率和自動(dòng)化程度都有所提高。基于線激光的測(cè)量方法,采用結(jié)構(gòu)光測(cè)量技術(shù)[4],擁有大量程、大視場(chǎng)、高精度以及控制簡(jiǎn)單的優(yōu)勢(shì),可擴(kuò)展應(yīng)用于管路系統(tǒng)的三維測(cè)量。針對(duì)管狀點(diǎn)云數(shù)據(jù)的三維重建處理,文獻(xiàn)[5-7]已展開(kāi)多項(xiàng)研究,西北工業(yè)大學(xué)的劉元朋博士[8]通過(guò)提取管路的截面特征和曲面特征,利用專家系統(tǒng)對(duì)其進(jìn)行識(shí)別和規(guī)范化處理,最后利用提取的管路參數(shù)信息進(jìn)行實(shí)體模型重建。上海大學(xué)的孫亮等人[9]提出一種基于迭代的切片方法優(yōu)化算法,根據(jù)管線方向變化自動(dòng)尋找對(duì)應(yīng)切片,獲取管道截面輪廓線及中心線,進(jìn)而重構(gòu)出模型。Ulrich Bauer[10]針對(duì)單視圖采集的管路點(diǎn)云,利用移動(dòng)最小二乘法計(jì)算脊線,然后根據(jù)一種啟發(fā)式的空間圓弧曲線逼近擬合算法,重構(gòu)管道曲面。本文基于上述思想,提出了通過(guò)構(gòu)建線結(jié)構(gòu)光測(cè)量系統(tǒng)來(lái)實(shí)現(xiàn)三維信息獲取,利用傳動(dòng)裝置實(shí)現(xiàn)被測(cè)管路與光切面的相對(duì)平移運(yùn)動(dòng),獲取管路表面單視圖三維輪廓數(shù)據(jù),根據(jù)管路自身特性,采取擬合方法提取管路中心線和半徑值,最終實(shí)現(xiàn)管路三維重建。
1.1 系統(tǒng)框架
線掃描管路三維重建系統(tǒng)框架如圖1所示。
圖1 線掃描管路三維重建系統(tǒng)框架
基于線掃描的管路三維重建系統(tǒng)由3部分組成:線結(jié)構(gòu)光三維測(cè)量模塊、傳動(dòng)機(jī)構(gòu)模塊和管路三維重建軟件。三維測(cè)量模塊是通過(guò)已標(biāo)定相對(duì)位置關(guān)系的相機(jī)和線激光,獲取管路三維切片數(shù)據(jù);傳動(dòng)機(jī)構(gòu)模塊,通過(guò)驅(qū)動(dòng)激光切片和管路相對(duì)平移運(yùn)動(dòng),獲取管路單視角三維輪廓數(shù)據(jù)[11];管路三維重建軟件,通過(guò)對(duì)管路點(diǎn)云數(shù)據(jù)處理,提取管路脊線和半徑特征,實(shí)現(xiàn)管路模型的三維重構(gòu)。
1.2 測(cè)量流程
線掃描管路三維測(cè)量示意圖如圖2所示的,激光光源發(fā)出的線結(jié)構(gòu)光投射到物體表面上,并在相機(jī)像面上成像。根據(jù)相機(jī)成像面上激光線的形變狀態(tài),利用標(biāo)定出的相機(jī)內(nèi)參數(shù)和相對(duì)位置關(guān)系參數(shù),得到物體表面一幀的點(diǎn)云數(shù)據(jù)。通過(guò)單軸運(yùn)動(dòng)機(jī)構(gòu)驅(qū)動(dòng)傳感器對(duì)物體表面進(jìn)行掃描,從而獲得被測(cè)物體表面的點(diǎn)云數(shù)據(jù)。
圖2 線掃描管路三維測(cè)量示意
2.1 線結(jié)構(gòu)光測(cè)量模型
結(jié)構(gòu)光測(cè)量模型如圖3所示,利用激光發(fā)射線光束,光平面與物體相交就會(huì)在物體表面形成一條輪廓光帶,利用相機(jī)采集輪廓光帶圖像[12]。此時(shí),相機(jī)、光帶和光束發(fā)生器形成一個(gè)三角對(duì)應(yīng)關(guān)系,通過(guò)計(jì)算模型即可得到被測(cè)物體光帶輪廓的三維坐標(biāo)。
圖3 結(jié)構(gòu)光測(cè)量模型
2.2 結(jié)構(gòu)光數(shù)學(xué)模型與鏡頭畸變校正
結(jié)構(gòu)光映射模型如圖4所示,其描述是結(jié)構(gòu)光光平面與攝像機(jī)平面之間的映射關(guān)系。通過(guò)增加線結(jié)構(gòu)光平面的約束方程,則可以獲取攝像機(jī)二維圖像點(diǎn)坐標(biāo)唯一對(duì)應(yīng)的三維實(shí)物點(diǎn)坐標(biāo)[13]。
圖4 結(jié)構(gòu)光映射模型
映射關(guān)系和約束方程為:
式中,f、r、T等參數(shù)組成由相機(jī)內(nèi)參、外參共同決定的投影矩陣;a,b,c,d組成線結(jié)構(gòu)光平面方程。由于理想的成像模型是不存在的,在實(shí)際應(yīng)用中還需要考慮鏡頭畸變問(wèn)題,其畸變模型可用下列公式所描述。
系統(tǒng)畸變:
徑向畸變:
偏心畸變:
像平面畸變:
內(nèi)方位元素畸變:
2.3 條紋亞像素中心線坐標(biāo)提取
相機(jī)獲取的結(jié)構(gòu)光條紋圖像是具有一定寬度,存在噪聲干擾的光帶。針對(duì)光帶條紋中心提取方法有多種[14],如中心法、極值法、重心法和擬合法等。本文通過(guò)分析結(jié)構(gòu)光帶圖像特點(diǎn):噪聲干擾、灰度不對(duì)稱非正態(tài)分布和散斑效應(yīng)等。采取先利用低通平滑濾波算法進(jìn)行預(yù)處理,降低噪聲和散斑影響,設(shè)If(i,j)為低通濾波后的圖像數(shù)據(jù),濾波系數(shù)分別為k0=0.370 286,k1=0.271 843,k2=0.095 016。
If(i,j)=k0×I(i,j)+k1×[I(i,j-1)+I(i,j+1)]+
k2×[I(i,j-2)+If(i,j+2)]。
再利用梯度中心法提取條紋中心亞像素坐標(biāo)。提取結(jié)果如圖5和圖6所示。
圖5 結(jié)構(gòu)光條紋灰度圖分布
圖6 條紋亞像素中心線提取
2.4 管路三維點(diǎn)云數(shù)據(jù)獲取
搭建完線掃描模塊和標(biāo)定出傳動(dòng)機(jī)構(gòu)運(yùn)動(dòng)方向后[15],即可用于物體表面輪廓三維數(shù)據(jù)獲取。物體沿掃描運(yùn)動(dòng)方向的點(diǎn)云坐標(biāo)由運(yùn)動(dòng)參數(shù)與掃描間隔決定,掃描運(yùn)動(dòng)的間隔大小,直接影響點(diǎn)云坐標(biāo)值。本文所設(shè)計(jì)的結(jié)構(gòu)光掃描系統(tǒng)的圖像采集裝置由運(yùn)動(dòng)控制系統(tǒng)的觸發(fā)控制。系統(tǒng)運(yùn)行時(shí),通過(guò)IO控制卡輸出觸發(fā)信號(hào),驅(qū)動(dòng)傳統(tǒng)機(jī)構(gòu)前進(jìn),同時(shí)觸發(fā)相機(jī)采集圖像,獲取穩(wěn)定可靠的管路三維點(diǎn)云數(shù)據(jù),如圖7所示。
圖7 管路表面輪廓點(diǎn)云數(shù)據(jù)獲取
針對(duì)管路表面輪廓點(diǎn)云數(shù)據(jù),根據(jù)管路自身幾何特性等先驗(yàn)知識(shí)[16],采用數(shù)據(jù)分割方法將點(diǎn)云分割成多個(gè)基元模塊,利用擬合方法提取管路中心軸線坐標(biāo)和半徑值,對(duì)離散中心軸坐標(biāo)點(diǎn)擬合曲線,利用脊線和半徑值實(shí)現(xiàn)管路三維重建[17]。
3.1 點(diǎn)云數(shù)據(jù)分割
在管路點(diǎn)云數(shù)據(jù)處理過(guò)程中,管路半徑值是一個(gè)關(guān)鍵參數(shù)。本文采取先提取管路半徑值,再利用半徑值對(duì)數(shù)據(jù)進(jìn)行分塊的方法[18]。管路半徑值計(jì)算步驟如下:
① 首先對(duì)管路點(diǎn)云數(shù)據(jù)進(jìn)行聚類分塊,對(duì)分塊點(diǎn)云數(shù)據(jù)投影到XY平面;
② 在XY平面通過(guò)擬合方法提取數(shù)據(jù)方向特征;
③ 對(duì)符合直線特征的點(diǎn)云塊,按空間圓柱面擬合方法計(jì)算半徑值。最后利用提取的管路半徑值參數(shù),采取最小包圍盒法對(duì)管路進(jìn)行分塊。
空間圓柱面數(shù)學(xué)表達(dá)式為:
r2= (x-a)2+(y-b)2+(z-c)2-
式中,(a,b,c)為圓柱面中心軸一點(diǎn);(d,e,f)為圓柱面中心軸方向向量;(x,y,z)為擬合圓柱面點(diǎn)云上一點(diǎn),擬合圓柱面半徑為r。利用點(diǎn)云擬合求解圓柱面參數(shù)步驟:先利用泰勒展開(kāi)式將表達(dá)式線性化,整體平差,然后利用點(diǎn)云塊每個(gè)數(shù)據(jù)點(diǎn)到圓柱面距離平方和最小的條件,利用最小二乘方法,求取圓柱面參數(shù),局部圓柱面擬合如圖8所示。
圖8 局部圓柱面擬合
3.2 管路中心軸線提取
對(duì)每個(gè)點(diǎn)云數(shù)據(jù)塊,利用其微分性質(zhì),擬合一個(gè)密切拋物曲面,將點(diǎn)云數(shù)據(jù)投影到曲面的中心軸線上,得到中心軸線上若干散亂點(diǎn)。具體步驟[19]如下:
① 以包圍盒中心點(diǎn)作為參考點(diǎn);
② 根據(jù)長(zhǎng)方體點(diǎn)云密度計(jì)算適當(dāng)鄰域值;
③ 根據(jù)鄰域點(diǎn)集擬合密切拋物曲面;
④ 將參考點(diǎn)投影到目標(biāo)曲面上得到標(biāo)記點(diǎn),計(jì)算標(biāo)記點(diǎn)在曲面上的微分性質(zhì);
⑤ 最后將標(biāo)記點(diǎn)沿法向量方向移動(dòng)到中心軸上,位移距離為最大主曲率的倒數(shù)。最終得到管路中心軸線上目標(biāo)點(diǎn)。
當(dāng)點(diǎn)集Pi中所有點(diǎn)到密切拋物曲面的距離和最短,則為所求密切拋物曲面,求和公式如下:
式中,OX為標(biāo)記點(diǎn);‖Pi-Ox‖為領(lǐng)域點(diǎn)集中點(diǎn)Pi到標(biāo)記點(diǎn)距離;θ為加權(quán)函數(shù);ui,vi,hi表示點(diǎn)集P在以{OX:u(n),v(n),n}坐標(biāo)系下的參數(shù)化點(diǎn)。對(duì)求和公式進(jìn)行優(yōu)化求解,即可得到拋物曲面參數(shù)表示。管路中心軸線提取如圖9所示。
圖9 管路中心軸線提取
3.3 脊線擬合與管路重構(gòu)
提取的中心軸坐標(biāo)點(diǎn)列是存在噪聲的散亂點(diǎn)列,在對(duì)其進(jìn)行曲線擬合之前,需要進(jìn)行平滑濾波處理。本文針對(duì)散亂點(diǎn)列中存在的突起異常值,通過(guò)計(jì)算相鄰點(diǎn)之間角度和梯度,對(duì)超出設(shè)定閾值的點(diǎn)剔除處理,然后采取擬合方法提取管路脊線。
NURBS曲線擬合方法通過(guò)權(quán)因子和非均勻節(jié)點(diǎn)矢量能夠?qū)η€的形狀進(jìn)行有效控制,不僅可以擬合標(biāo)準(zhǔn)二次曲線,也適用于自由曲線[20]。本文利用NURBS對(duì)平滑濾波后的中心軸點(diǎn)列進(jìn)行擬合獲得管路脊線。利用獲取的管路半徑值和管路脊線,導(dǎo)入三維重建軟件,最終得到管路三維重建模型,如圖10所示。
圖10 管路中心軸擬合與三維重建
本文利用上述方法,對(duì)模擬的管路系統(tǒng)進(jìn)行三維重構(gòu)實(shí)驗(yàn)驗(yàn)證,驗(yàn)證步驟如下:
① 利用線結(jié)構(gòu)光掃描系統(tǒng)和傳動(dòng)機(jī)構(gòu),獲取單視角下的管路表面三維點(diǎn)云數(shù)據(jù)。點(diǎn)云數(shù)據(jù)如圖11(a)所示。
② 通過(guò)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行分塊,利用局部拋物面擬合方法,提取管路半徑值和中心軸坐標(biāo)點(diǎn)列,對(duì)離散點(diǎn)列進(jìn)行曲線擬合,獲取管路脊線數(shù)據(jù)。管路脊線如圖11(b)所示。
③ 利用管路半徑值和管路脊線,實(shí)現(xiàn)管路三維重建。重建結(jié)果如圖11(c)所示。
圖11 三維重構(gòu)實(shí)驗(yàn)結(jié)果
利用重建的管路三維模型,通過(guò)計(jì)算所得管路半徑值、管路最小間隙值與實(shí)際值進(jìn)行比較,誤差小于0.1 mm。結(jié)果表面,利用線結(jié)構(gòu)光測(cè)量系統(tǒng)重建的管路數(shù)據(jù)與實(shí)物有很好一致性,該方法滿足現(xiàn)場(chǎng)管路重建和間隙測(cè)量需求。
本文將線掃描三維測(cè)量技術(shù)運(yùn)用到管路系統(tǒng)的裝配質(zhì)量檢測(cè),通過(guò)三維線掃描測(cè)量系統(tǒng)和水平傳動(dòng)機(jī)構(gòu)獲取管路表面三維輪廓數(shù)據(jù)。針對(duì)管路點(diǎn)云數(shù)據(jù),利用數(shù)據(jù)分割和局部拋物面擬合方法提取管路中心軸坐標(biāo)點(diǎn)列和管路半徑值,然后通過(guò)點(diǎn)列平滑和NURBS曲線擬合算法提取管路脊線,最終實(shí)現(xiàn)了管路三維重建。實(shí)驗(yàn)結(jié)果證明了該方法滿足現(xiàn)場(chǎng)管路系統(tǒng)裝配質(zhì)量檢測(cè)要求。
[1] 樊江.航空發(fā)動(dòng)機(jī)外部管路多代理協(xié)同設(shè)計(jì)系統(tǒng)研究[D].北京:北京航空航天大學(xué),2003.
[2] 劉檢華,劉少麗,寧汝新,等.管路數(shù)字化布局設(shè)計(jì)與制造及檢測(cè)集成技術(shù)[J].計(jì)算機(jī)集成制造系統(tǒng),2015,21(4):941-954.
[3] 馬驪群,曹鐵澤,王繼虎,等.便攜式坐標(biāo)測(cè)量系統(tǒng)在航空發(fā)動(dòng)機(jī)關(guān)鍵部件檢測(cè)中的應(yīng)用[J].計(jì)測(cè)技術(shù),2008,28(6):9-12.
[4] 宋大虎,李忠科,程春霞.基于線結(jié)構(gòu)光的三維坐標(biāo)測(cè)量技術(shù)研究[J].計(jì)算機(jī)工程,2012,38(22):291-292.
[5] 趙玉芹.基于多幅標(biāo)定圖像的管件三維重建[D].南京航空航天大學(xué),2008.
[6] 張?zhí)?唐承統(tǒng),劉檢華.基于多目視覺(jué)的彎管空間參數(shù)測(cè)量方法[J].儀器儀表學(xué)報(bào),2013,34(2):260-267.
[7] 牛平月,鄭聯(lián)語(yǔ),楊啟龍.基于雙目視覺(jué)的管路快速檢測(cè)技術(shù)研究與實(shí)現(xiàn)[J].航空精密制造技術(shù),2014(2):16-19.
[8] 劉元朋,陳良驥,馮憲章,等.基于特征的航空發(fā)動(dòng)機(jī)管路反求建模方法研究[J].機(jī)床與液壓,2008(5):22-25.
[9] 孫亮,趙翠蓮,施曉磊,等.基于切片法的管道重構(gòu)算法及其應(yīng)用[J].機(jī)械設(shè)計(jì)與研究,2010,26(4):15-18.
[10] BAUER U,POLTHIER K.Generating Parametric Models of Tubes from Laser Scans[J].Computer-Aided Design,2009,41(10):719-729.
[11] 張劍清,鄭莉.基于結(jié)構(gòu)光的不規(guī)則工業(yè)鈑金件三維曲面重建[J].地理空間信息,2004,2(6):9-10.
[12] 范生宏,劉昌儒,亓?xí)酝?等.結(jié)構(gòu)光三維測(cè)量系統(tǒng)精度分析及驗(yàn)證[J].光電工程,2014(5):52-56.
[13] 張維光,趙宏,張琦,等.線結(jié)構(gòu)光三維輪廓測(cè)量系統(tǒng)的標(biāo)定方法[J].中國(guó)激光,2009,36(1):182-188.
[14] 吳家勇,王平江,陳吉紅,等.基于梯度重心法的線結(jié)構(gòu)光中心亞像素提取方法[J].中國(guó)圖象圖形學(xué)報(bào),2009,14(7):1354-1360.
[15] 陳新禹,馬孜,陳天飛,等.線結(jié)構(gòu)光視覺(jué)測(cè)量系統(tǒng)運(yùn)動(dòng)軸線的簡(jiǎn)易標(biāo)定方法[J].中國(guó)激光,2012,39(11):168-173.[16] 劉元朋.基于特征的航空發(fā)動(dòng)機(jī)管路反求建模系統(tǒng)關(guān)鍵技術(shù)研究[D].西安:西北工業(yè)大學(xué),2006.
[17] 馬符訊,那地曼-艾尼瓦爾,林歡.散亂點(diǎn)云數(shù)據(jù)的分割方法探究[J].測(cè)繪與空間地理信息,2014(10):148-151.
[18] 劉元朋,陳良驥,李明,等.航空發(fā)動(dòng)機(jī)管路測(cè)量數(shù)據(jù)分割方法[J].航空學(xué)報(bào),2008,29(2):285-291.
[19] 劉煥彬.點(diǎn)云管道曲面重構(gòu)[D].杭州:杭州電子科技大學(xué),2011.
[20] 韓明,孔亞洲,董煬斌,等.圓弧曲線的二次NURBS表示方法研究[J].華中科技大學(xué)學(xué)報(bào)(自然科學(xué)版),2001,29(12):37-39.
Research and Application of 3D Reconstruction Techniques of Pipeline Based on Line Scanning
ZHANG Jie1,LI Pan2,F(xiàn)AN Sheng-hong2,WANG Shun2,LU Li-gang1
(1.BeijingSpacecrafts,Beijing100194,China;2.BeijingProdetecTechnologyCo.,Ltd,Beijing100083,China)
This paper proposes a method of Pipeline 3D reconstruction based on line structured light in view of low detection efficiency and the assembly quality not guaranteed in the process of pipeline assembly.The method can be used to obtain the 3D profile data of the pipeline surfaces based on line structured light scanning technique,and extract the ridge line and the radius of the pipeline by using the 3D point cloud data.According to the discrete ridge coordinates,the NURBS algorithm is adopted to fit it,and the 3D model is reconstructed by using the line ridge and radius.The structured light scanning system is used to obtain point cloud data of Pipeline contour and reconstruct pipeline 3D model.The experimental results show that the proposed method and the measuring system can realize the rapid reconstruction of three-dimensional reconstruction of the pipeline,and the reconstruction data can be used to measure the gap.
line structured light;sub-pixel;3D measurement;pipe reconstruction
10.3969/j.issn.1003-3106.2017.07.16
張杰,李潘,范生宏,等.基于線掃描的管路三維重建技術(shù)研究與實(shí)現(xiàn)[J].無(wú)線電工程,2017,47(7):66-70.[ZHANG Jie,LI Pan,FAN Shenghong,et al.Research and Application of 3D Reconstruction Techniques of Pipeline Based on Line Scanning[J].Radio Engineering,2017,47(7):66-70.]
2017-03-27
國(guó)防基礎(chǔ)科研計(jì)劃基金資助項(xiàng)目。
TP391
A
1003-3106(2017)07-0066-05
張 杰 男,( 1979—) ,高級(jí)工程師。主要研究方向:精密測(cè)量技術(shù)的應(yīng)用與研究。
李 潘 男,( 1988—) ,碩士研究生。主要研究方向:機(jī)器視覺(jué)和圖像處理。