余明嶺,龔燁飛,劉 霞,劉繼承,谷心浩,謝雨欣,3

(1.東北石油大學物理與電子工程學院,大慶 163318;2.常熟理工學院電氣與自動化工程學院,常熟 215500;3.中國礦業(yè)大學信息與控制工程學院,徐州 221116)

0 引言

目前,大部分的焊接機器人仍然采用“示教再現(xiàn)”的工作模式,難以滿足復(fù)雜多變環(huán)境中的生產(chǎn)要求,機器人焊接技術(shù)向自動化、智能化發(fā)展越發(fā)迫切[1]。視覺傳感器以非接觸性、信息豐富、精度高、檢測速度快及適應(yīng)性強等優(yōu)點,被廣泛應(yīng)用于智能焊接視覺導引規(guī)劃領(lǐng)域。其中面結(jié)構(gòu)視覺傳感器光成像面積廣,一次拍攝可以得到工件表面的大范圍三維數(shù)據(jù),對于焊接過程的初始導引有著獨特的優(yōu)勢。隨著面結(jié)構(gòu)光視覺傳感器的發(fā)展,利用其獲取工件表面三維點云,提取焊縫坡口特征的研究越來越多。角接、搭接工況下,通過提取出工件點云中平面信息數(shù)據(jù)[2-3],計算相鄰平面的交線位置或求取兩平面中的距離最小部分能夠較好的提取焊縫特征部分。對于點云精度高、效果好、噪聲少的工件點云,可以采用計算局部特征的方式提取焊縫[4-5]。王凱[6]根據(jù)點云最小包圍盒插入線性平面,利用霍夫變換擬合切平面上的點,完成對焊縫特征點的提取。WU等[7]提出了一種將二維深度圖像與三維點云融合的焊縫定位方法。王斐等[8]將焊件點云與離線CAD模型數(shù)據(jù)庫中焊接模型匹配起來,利用點云位姿信息與模型庫中定義好的焊接信息結(jié)合生成焊接軌跡,實現(xiàn)智能柔性的焊接操作。XU等[9]提出一種導彈氣舵三維點云卷積神經(jīng)網(wǎng)絡(luò)分割模型,用于精確分割焊接工件點云,準確地獲得氣舵焊縫特征點。

基于點云處理的焊縫特征提取方法已取得了一定的研究成果,但也存在相應(yīng)的局限性。比如依賴于點云數(shù)據(jù)質(zhì)量精度高、噪聲小;依賴于焊縫坡口的參數(shù)在一定的范圍內(nèi)或者依賴于先驗離線焊接模型數(shù)據(jù)庫,適應(yīng)性不強。本文通過面結(jié)構(gòu)光視覺傳感器獲取焊接工件點云數(shù)據(jù),基于焊縫主方向等間距的點云切片投影,獲得一組焊縫截面輪廓圖像,最終完成焊縫坡口特征點的提取,并且以雙邊對接坡口和單邊對接坡口兩種工況中為實驗對象,完成了多種情況下的特征提取實驗,驗證了該方法的可行性,并且在成像環(huán)境惡劣的工況下測試了該方法的魯棒性。

1 實驗硬件平臺組成

如圖1所示,實驗系統(tǒng)硬件包括焊接工業(yè)機器人ABB-IRB1520id及其配套設(shè)施和面結(jié)構(gòu)光視覺傳感器WiSight 370P,相機與機器人采用眼在手上(eye-in-hand)的方式。視覺傳感器主要任務(wù)式獲取工件三維點云信息,工業(yè)機器人作為拍攝動作和焊接動作的執(zhí)行主體。

2 坡口特征提取

本文針對單邊對接和雙邊對接焊接兩種工況的焊縫坡口進行特征提取,并根據(jù)坡口特點進一步將其細分為5種類型。

這5種類型包括無間隙的雙邊V型坡口、有間隙的雙邊V型坡口、未被遮擋的單邊V型坡口以及因視野遮擋而無法獲取垂直邊點云數(shù)據(jù)的單邊V型坡口。其中,無間隙的雙邊V型坡口包括直線焊縫和曲線型焊縫兩種,兩者在截平面上具有相同的特征,因此特征點提取方式相同。

2.1 等間距點云切片

如圖2所示,為了提取焊縫特征信息,通過采用一組垂直于點云主方向的平面對點云數(shù)據(jù)進行截平面切片處理,以獲得焊縫坡口的截面輪廓組。

圖2 等間距切平面示意圖

首先計算出去除背景后的工件點云的最小有向包圍盒,得到其包圍盒長方體的8個頂點,利用這些頂點信息規(guī)劃等間距切片的方向和距離。假設(shè)X軸作為切割軸,通過頂點(Xmin,Ymin,Zmin),(Xmin,Ymin,Zmax),(Xmin,Ymax,Zmin),(Xmin,Ymax,Zmax)中取3個點確定初始切平面S1,間隔為δ,直到Xmax=Xmin+δ*n,可得到n+1組切平面序列。

數(shù)據(jù)點到切平面的距離小于閾值時將此點視為平面內(nèi)數(shù)據(jù),不同的距離閾值可以包含不同數(shù)量的點云數(shù)據(jù)。當閾值越大時,其包含的數(shù)據(jù)就越多,沿著焊接方向的跨度也越大,相應(yīng)的計算量會增加。如圖3所示,為平面間距為15 mm,切片厚度為0.4 mm的焊縫坡口點云切片序列。

圖3 點云切片示意圖

2.2 點云投影至二維圖像

圖4 點云投影至二維圖像示意圖

(1)

式中:opi為由原點o指向pi向量,npi為opi在投影平面法向量方向上的投影向量,n為投影平面法向量?？臻g點投影至切平面上的投影坐標為:

(2)

(3)

(4)

2.3 最大距離法粗提取

點云數(shù)據(jù)具有稀疏性,比較容易形成孔洞、毛刺等噪聲,基于局部特征判斷特征點的方式往往需要繁瑣的預(yù)處理才能較好的運行[12],最大距離法基于焊縫曲線全局數(shù)據(jù),將焊縫坡口形式、像素點位置等問題綜合考慮,能夠很好規(guī)避點云數(shù)據(jù)帶來的處理困難。

通過背景濾除后,各類型的焊縫坡口切平面點云投影得到的圖像如圖5所示,4類焊縫都存在相同的基本特征點,即為左端點s、右端點e、坡口頂部拐點a和b、坡口底部點c。

(a) 無間隙雙邊坡口粗提取特征點示意圖 (b) 有間隙雙邊坡口粗提取特征點示意圖

以背景去除后的有間隙雙邊V型坡口為例,利用最大距離法進行特征點粗提取。首先通過列掃描得到左右端點s和e,再通過行掃描得到坡口最低點c。將c點與右端點e相連作為基準直線,比較焊縫曲線右邊部分上各點到基準直線的距離Di,距離最大值所在點即為點b,最大距離法計算距離隨焊縫坡口坐標變化曲線如圖6所示。同理左邊部分通過相同方法即可求得點a。通過最大距離法初步特征點后,為后續(xù)精細提取打好基礎(chǔ)。

圖6 最大距離法點到基準直線距離示意圖

2.4 擬合求交法精提取

由于坡口打磨或工件本身的金屬反光可能會強烈干擾面結(jié)構(gòu)光視覺傳感器的成像,工件點云數(shù)據(jù)可能受到影響,產(chǎn)生一定程度的噪聲和變形,從而導致提取到的焊縫特征點并不準確。因此,如圖7所示,在通過最大距離法獲得特征點后,需要進一步提取精確的坡口焊縫特征點坐標。

(a) 無間隙雙邊坡口特征精提取 (b) 有間隙雙邊坡口特征精提取

(a) 金屬反光導致點云孔洞 (b) 點云平面呈波浪紋狀圖8 魯棒性測試數(shù)據(jù)示意圖

首先,計算特征點a與c的橫坐標差值,以及特征點b與c的橫坐標差值。當這兩個差值相近時,可以判斷坡口屬于雙邊坡口類型;而若兩者相差較大時,則判斷為單邊坡口類型。

對于無間隙的雙邊對接坡口以及單邊對接坡口,特征提取方法具有相似性。依據(jù)粗檢測獲得的基本特征點,將焊縫數(shù)據(jù)點粗略地劃分為4個部分,通過最小二乘直線擬合每個部分的數(shù)據(jù)。然后,求取擬合直線的交點,即可得到焊縫坡口頂部兩個精確特征點e、f及底部精確特征點g。

此外,針對存在間隙的雙邊坡口和缺少垂直邊的單邊坡口,需要進行進一步處理。雙邊有間隙V型坡口底部需要提取兩個精確特征點m、n。通過交點g將L2和L3精確劃分為L′2、L′3,對精劃分后的兩條直線進行列掃描,可以得到焊縫特征點m和n。

(5)

由于單邊坡口在進行工件表面掃描時存在視野遮擋的情況,視覺傳感器在一定成像角度下可能會導致焊縫坡口的垂直邊缺少點云數(shù)據(jù)或數(shù)據(jù)較為稀疏,此時直接擬合的效果往往不理想。此時,通過點b和線L4的垂直斜率計算得到替代L3。然后,求取擬合直線的交點,從而提取出完整的坡口特征點坐標信息。

在投影二維圖像上得到各類型焊縫坡口的特征點后,還需要通過重投影的方式轉(zhuǎn)換為三維點云數(shù)據(jù)pi(xi,yi,zi)。先將二值圖像中的坐標轉(zhuǎn)化為投影平面中的位置為:

(6)

然后將投影平面上的坐標值重新投影到三維空間中,即可以得到由投影圖像中提取的焊縫坡口特征點的空間中坐標:

(7)

式中:(xo,yo,zo)為投影平面原點的三維空間坐標,nx、ny是由平面投影坐標系的x軸與y軸方向向量。

3 實驗結(jié)果與分析

為驗證本文提出的算法識別準確性,使用WiSight 370P相機進行實際工件掃描,采集多種類型的焊縫點云數(shù)據(jù),包括單邊對接和雙邊對接焊接兩種工況,并根據(jù)坡口特點進一步細分為5種類型,對各個類型的焊縫坡口進行了焊縫坡口特征實驗。

實驗中設(shè)置切平面序列之間的間隔為2.0 mm,每個切片的厚度0.4 mm,成功提取了各類焊縫的特征點信息,包括坡口頂部左右拐點、底部拐點。本文利用Cloud Compare工具人工選取焊縫特征,將人工標注數(shù)據(jù)視為標準結(jié)果,通過對比方法所得到的結(jié)果與標注結(jié)果,以偏離的距離誤差作為衡量特征點提取的精度指標。所得結(jié)果如表1所示,每組數(shù)據(jù)是多個同類型點云數(shù)據(jù)特征提取精度的均值。實驗結(jié)果表明,本文方法在不同類型焊縫坡口特征點提取任務(wù)上,多組數(shù)據(jù)平均誤差與分布標準差均小于1.0 mm,證明本文方法具有較高的準確性和穩(wěn)定性。

表1 不同坡口類型特征提取精度表 (mm)

由于實際中往往面對成像環(huán)境不理想、金屬工件反光等問題,需要檢測方法具有一定的魯棒性,才能保證特征點提取的性能。為了檢測所提出方法的魯棒性,采用兩種成像環(huán)境較為惡劣情況下所獲得的點云數(shù)據(jù)來進行實驗,一是由于金屬焊件高反光,視覺傳感器受到影響,造成點云數(shù)據(jù)存在相當多的噪聲和空洞;二是由于面陣結(jié)構(gòu)光成像問題,點云平面呈現(xiàn)波紋狀起伏的情況。

針對上述兩種情況,分別進行了實驗,實驗結(jié)果如表2所示。盡管點云數(shù)據(jù)質(zhì)量的降低導致提取精度受到影響,但并未大幅度下降。這表明本文提出的方法具備較強的魯棒性,能夠在一定程度的惡劣成像環(huán)境中進行有效的特征點提取。

表2 成像不佳工況下提取精度表 (mm)

4 結(jié)論

本文提出了基于面結(jié)構(gòu)光視覺傳感器的焊縫坡口特征提取方法,首先將等間距的點云切片分別投影到二維圖像中,基于最大距離法粗檢測與擬合求交法精檢測的方法,進一步檢測出多種坡焊縫類型的特征點,實現(xiàn)了焊縫坡口特征點的完整提取。實驗證明,本文提出的方法能夠較好地提取多種類型的焊縫坡口特征點,平均誤差小于1 mm,并且在金屬反光、平面呈現(xiàn)波浪紋等成像效果不佳情況下也能具有較好的性能。