吳立華，申啟訪，黃冠成，陳新度

（1.廣東開放大學（廣東理工職業(yè)學院），廣州 510091；2.廣東工業(yè)大學機電工程學院，廣州 510006）

0 引言

大跨度中厚板由于其較大的尺寸和較厚的厚度，能夠提供更高的強度和剛度，適用于建筑、橋梁、船舶和其他工程領域的各種結構和設備制造。近年來，特別在風力發(fā)電綠色新能源大趨勢下[1]，大跨度中厚板大量用于制造風電塔。風電塔風力發(fā)電機組的地面支撐結構需要承受風力的沖擊和重力負荷，中厚板的高強度和剛度使其成為風電塔制造的理想選擇。重型機械廠利用切割工藝或者成形工藝將中厚板加工成所需的尺寸和形狀，或再進行彎曲、沖孔、滾圓等操作，最后通過焊接或組裝成為各大重型機械設備的腹板或架構等主要受力支撐部位。中厚板外邊成形主要利用火焰切割、激光切割和水切割等，由于金屬特性和切割工藝控制等原因，在邊緣切割時通常會存在一定的毛刺或者熔渣。而且，大多數(shù)中厚板成形后會在倉庫中存放相對較長的時間，在需要用料時才從倉庫中取出，此時原始邊緣和成形切割自由邊都會氧化形成銹跡，為了保證下一步板材焊接或噴漆的工藝質(zhì)量，必須鏟除工件上氧化皮和毛刺，因此需要進行表面或者邊緣打磨。大跨度中厚打磨工藝相對比較簡單，但是由于板材邊緣極長或表面面積大導致工作量極大，因此使用機器人打磨可以節(jié)省大量人力和提高打磨質(zhì)量。但由于中厚板用途不一，其尺寸、厚度、或形狀不一致，如圖1 所示，而且由于重量大、重復定位難，傳統(tǒng)機器人示教打磨難以實現(xiàn)。因此，視覺引導機器人打磨或?qū)O大提高當前應用場景的安全性[2]、靈活性和效率[3]，視覺傳感器能夠獲取金屬板材圖像信息，經(jīng)過軟件算法提取后，將特征信息點位和工藝數(shù)據(jù)發(fā)送到機器人控制系統(tǒng)，從而自動調(diào)整機器人的位置、姿態(tài)和速度，更準確地控制加工深度和拋光打磨的位置和方向，從而獲得更高的加工精度和表面質(zhì)量。機器人通過視覺引導進行拋光打磨可以適應不同形狀和尺寸的物體，即使是復雜的幾何形狀也可以完成加工，從而提高了應用范圍。

圖1 多規(guī)板材實物

圖2 引導打磨流程

視覺引導機器人進行中厚板邊緣打磨，邊緣檢測識別是基礎。傳統(tǒng)的基于圖像灰度梯度提取的Canny 或Sobel[4-5]算子對圖像邊緣進行簡單高效提取，但是過多的細節(jié)紋理和邊緣特征同時被提取出來。如何更好地提取目標的整體邊緣輪廓信息并弱化不明顯的局部干擾紋理，許多學者在深度學習模型的邊緣輪廓特征提取算法進行了研究。Xie 等[6]提出通過堆疊多個卷積層和池化層來實現(xiàn)邊緣特征的提取。Bertasius 等[7]提出DeepEdge，利用全卷積神經(jīng)網(wǎng)絡（FCN）進行端到端的邊緣檢測，并通過訓練數(shù)據(jù)驅(qū)動的方式學習邊緣特征。Liu 等[8]提出CASENet，旨在通過利用上下文信息和全局感知機制來提高邊緣檢測的準確性。He 等[9]提出BDCN 算法構建輕量型多尺度特征融合的邊緣檢測網(wǎng)絡結構模型。在大跨度工件打磨方面，丹麥Eltronic 和Vestas[10]兩公司分別通過AGV 和行走龍門實現(xiàn)打磨機器人示教或模型數(shù)據(jù)引導的風力葉片的自動化打磨。方偉等[11]針對大型港機構建使用RRT*算法研究驗證機器人打磨避障技術并后續(xù)展開視覺引導缺陷焊縫識別打磨。文獻[12-15]結合視覺完成了機器人打磨工作中涉及的定位、路徑規(guī)劃等問題。Bedaka等[16]通過離線編程OLP和3D視覺結合，實現(xiàn)機器人離線打磨軌跡準確性的提高。此外對于視覺引導的打磨，目前多為對工件圖像進行局部灰度或幾何特征進行模板匹配定位[17-18]，然后對示教打磨路徑進行平面空間映射轉換，或直接使用設計的模型圖紙進行引導，這對批量的同款且一致性好的工件能很好地提高效率，但對多樣異形的大型工件，示教工作將是巨量的，另外局部特征的定位誤差會在大跨度工件中放大，導致引導偏離打磨出錯。過程中若不能很好地獲取局部實時高度和特征如異物和凸塊等，同樣會對磨具造成極大的損傷。

本文基于中厚板邊緣打磨視覺引導需求，主要結合深度學習模型HED 算法架構和傳統(tǒng)梯度邊緣點集提取算法，進行多類型多形狀多尺寸中厚金屬板材邊緣輪廓的快速穩(wěn)定識別和全局定位引導與局部打磨工藝的探索研究。

1 中厚板邊緣打磨視覺引導研究

大跨度中厚板視覺引導打磨過程設計：首先將隨機尺寸形狀板材放置于打磨承載臺上，控制直線導軌利用機械臂上相機進行待打磨板材進行大視野遠視場全局圖像采集，整體采集的時候，機械臂位姿不變，相當于相機固定架，只有機器人導軌進行運動。全局圖定義：一是分段區(qū)域高機位遠視場采集的區(qū)段全局圖像，二是所有區(qū)段全局圖像拼接而成的工件整體全局圖像。對產(chǎn)量多的邊緣簡單穩(wěn)定的工件，可以建立示教路徑模板庫，對拼接得到的工件整體全局圖像進行邊緣提取后通過外形尺寸特征進行型號判定，調(diào)用對應示教模板路徑，利用示教軌跡映射轉換后的點位進行局部點云采集進行定位規(guī)劃。對異樣且不存在模板的工件，進行分段全局圖像邊緣提取，進行當前區(qū)域的全局邊緣等間距引導進行近視場的點云采集定位。進行局部高精度邊緣點云圖像采集時，實時提取邊緣點進行尖端打磨工具的定位以及位姿調(diào)整，實現(xiàn)高精度實時定位打磨。

1.1 基于HED的遠視場全局邊緣提取

1.1.1 多樣異形板材全局邊緣提取分析

板材本身存在金屬色澤差異，同時因為存放時間或環(huán)境不完全一致，表面氧化導致的銹跡面積和色澤不一致，剖切口邊緣因為工藝等因素也是呈多樣化，這些都造成板材自身在圖像上的特異性。另外因為圖像采集環(huán)境的搭建也存在不同，通常會造成背景與目標差異最大化的采集環(huán)境，但也會因為某些客觀因素使得物體跟背景不能很好地區(qū)分。上述原因造成了圖像上提取板材邊緣的困擾，通用的二值化閾值邊緣提取如Canny 算子或Sobel等，在光學環(huán)境和圖像素材不能穩(wěn)定的情況下根本行不通，多數(shù)常用深度學習模型也難以穩(wěn)定提取。在大跨度異形板材邊緣打磨中，2D 圖像采集和邊緣特征提取效率高，大視野的3D圖像采集或者點云處理效率相對較低，為此若能保證在2D 圖像中進行板材邊緣特征提取，將能很好地提高效能并降低成本。

1.1.2 基于HED全局邊緣融合提取

大跨度板材決定了打磨臺的跨度，對幾米甚至十幾米長的厚板，長度方向可采用的方法有兩種：分區(qū)采集分段打磨和分區(qū)采集整體打磨。分區(qū)采集分段打磨，就是將打磨臺分成多個區(qū)間，各區(qū)間獨立，采集圖像后直接處理進行邊緣特征提取并引導機器人進行局部邊緣打磨。分區(qū)采集整體打磨，就是首先將打磨臺上大跨度板材進行分區(qū)圖像采集，然后進行圖像拼接，在對整體工件圖像進行邊緣特征提取后定位引導打磨。2D 圖像邊緣提取，采用高機位大視野圖像采集，視野寬度大于載物臺寬度，如圖3所示。

HED （Holistically-nested edge detection） 是基于獨立網(wǎng)絡的整體嵌套邊緣檢測算法，具有整體圖像訓練預測和多尺度多層特征學習的特點，利用全卷積網(wǎng)絡，在卷積層側插輸出層并加以監(jiān)督，引導輸出融合層邊緣預測。金屬板材邊緣識別的骨干網(wǎng)絡如圖4 所示。HED 以VGG-16[19]為骨干網(wǎng)絡，對于光度不均金屬板材復雜表面或者復雜背景的原圖輸入，首先產(chǎn)生側輸出層的5 個不同分支然后才進行最大池化層的降采樣，融合層由側輸出層進行連接融合產(chǎn)生，結構中5 個側向?qū)雍鸵粋€融合層經(jīng)過激活函數(shù)后共同作為網(wǎng)絡輸出，模型輸出尺寸和輸入圖像一致。測試模型可以表示為，給定板材金屬原圖輸入X，網(wǎng)絡中所有參數(shù)為W，HED 預測5 個側輸出層（1）和1個融合層（2），即

圖4 HED板材邊緣提取網(wǎng)絡結構

基于VGG-16 的好處是在經(jīng)過多次池化降采樣縮小輸入圖的尺寸，這對于大視野大尺寸金屬板材原圖或者拼接圖輸入照片的處理效率有著極好的提升，多次池化獲得多層深度模型構架，也保持多層次維度特征的提取能力。HED 模型可以通過端到端的方式進行訓練，這意味著整個模型可以一次性地訓練，而無需使用多個階段或級聯(lián)的步驟，簡化了算法的實現(xiàn)和使用，并提高了訓練的效率。HED 網(wǎng)絡在提取金屬板材邊緣方面能夠處理5 個尺度的圖像，并在不同尺度上檢測邊緣；傳統(tǒng)的邊緣檢測算法中，往往只考慮了局部信息，而沒有利用全局的上下文信息，HED 算子通過在網(wǎng)絡中引入全局上下文信息的機制，融合淺層細節(jié)信息和深層豐富語義[20]，能夠更好地理解圖像的語義和結構，從而提高了邊緣檢測的準確性和連續(xù)性。

如圖5 所示，對于前景背景差異大、光學亮度不均、金屬材質(zhì)光澤以及厚度不一的輸入圖像，經(jīng)過HED 邊緣提取，可明顯地將目標與背景區(qū)分開來。對于不同的金屬表面，可以調(diào)節(jié)圖像預處理分辨率進行降噪，去掉很多不需要的干擾信息，保留明顯的邊緣特征信息。

圖5 HED全局邊緣融合提取

HED 的厚板邊緣提取明顯存在邊緣特征過渡區(qū)域，不管直線、直角或圓弧邊緣都有十分明顯的過度帶，利用這個明顯的特征，將邊緣區(qū)域作為連通域提取出來，如圖5第3列紅色所示，可以直接或間接進一步提取邊緣線，進而獲取邊緣線定位點?；谶B通邊緣域得到邊緣線集，采用優(yōu)化的Steger 法與形態(tài)學的拓撲細化法結合方法進行中心線提取，有效剔除邊緣存在的短細分叉干擾，以確保獲得主要邊緣主骨干線集，如圖5第4列為所提取的邊緣中心線。基于HED 的邊緣特征融合提取，在復雜背景或者多樣背景中的金屬邊緣提取具有極強的適用性和魯棒性再結合Canny 算法以及邊緣特征圖像物理特性，能極好且穩(wěn)定地提取金屬板材的邊緣。

1.2 局部實時打磨邊緣的識別與打磨引導

1.2.1 厚板邊緣點云途徑提取

如圖6 所示，借助HED 厚板的全局邊緣提取，可以得到整體輪廓路徑的引導，但是因為邊緣打磨存在更高精度要求，甚至工藝要求，高機位大視野的2D圖像并不能滿足。因此，打磨過程需要近距離局部視野高精度的3D 相機進行點云采集并根據(jù)工藝進行機器人打磨末端位置和姿態(tài)引導。

圖6 分區(qū)全局圖像與局部點云采集

對于全局邊緣單線路徑，進行點集最優(yōu)排序，根據(jù)局部視野大小，對全局邊緣軌跡進行步距規(guī)劃拆分，如圖7 所示，單線路徑采集按順時針原則進行等視野大小間距分區(qū)采集輪廓點云打磨。若存在多個邊緣特征，如圖5 第2 組存在邊緣區(qū)域組合，將所有連續(xù)邊緣組成線集，以此對每個獨立邊緣進行排序規(guī)劃，直至線集所有子邊緣引導實時采集圖像并引導打磨完畢。

圖7 全局邊緣引導局部近場采集路徑

對于局部3D 點云圖像采集，結構光基于激光深度測量特性，可以避免邊緣區(qū)域剖切面剖切工藝或者金屬材質(zhì)光照等引起的光學圖像干擾，穩(wěn)定輸出點云圖像，近視場拍照采集可以保證點云采集精度，保留足夠邊緣細節(jié)。如圖8 所示，首先獲得局部高精度點云數(shù)據(jù)集，基于點云3D圖像，進行邊緣局部異常檢測，判斷是否存在過大的金屬凸塊或者異物，確保打磨工序過程刀具安全。通常不存在邊緣異物時，將點云進行Z方向的深度映射，將深度信息轉換成圖像的灰度值，大大提高圖像處理速度。

圖8 深度映射的近場局部點云邊緣提取

1.2.2 邊緣路徑規(guī)劃與末端引導

在大跨度中厚板邊緣打磨過程中，通常只需要進行邊緣剖切面金屬氧化物去除，以保證后續(xù)焊接工藝等的質(zhì)量，但是也在彎曲或者轉角區(qū)域需要保證機器人打磨末端刀具與工件之間的相對角度等工藝變量的變換。在平面方向上，采取全局不變邊緣法向優(yōu)先原則，先保證刀具與工件邊緣在XY方向垂直，再根據(jù)工藝需求，比如倒角工藝或者所選刀具型號所需，進行末端傾角變換。所以存在兩個姿態(tài)變量變化，一個是由圖像邊緣決定的法向角度，另一個是由工藝或者刀具決定的打磨角度。基于邊緣點集等步距引導規(guī)劃且順時針原則，相鄰兩點之間的的法向角度直接獲取兩點連線與圖像X軸夾角為基準，再根據(jù)路徑方向和“外刀路徑”或“內(nèi)刀路徑”進行規(guī)劃即可?！巴獾堵窂健奔垂ぜw外部包絡邊緣路徑，“內(nèi)刀路徑”即存在的內(nèi)部所需打磨的內(nèi)包空洞，在全部邊緣識別時就要注意區(qū)分提取，通常中厚板自動化打磨不進行內(nèi)部空洞打磨。兩點P0(x0,y0)和P1(x1,y1)，若y0=y1，基于順時針規(guī)劃原則，當x1＞x0，邊緣法向角?= 0°，否則?= 180°。若x1=x0，當y1＞y0，邊緣法向角?= 90°，否則?= 270°。設兩點之間在深度映射圖像中與X軸夾角為：，以12點方向朝下為0°，分類枚舉如表1所示。

表1 各象限法向角度枚舉列表

基于工藝的末端姿態(tài)控制，設工藝控制傾角為θ，末端姿態(tài)旋轉矩陣Ri為：

2 測試驗證分析

基于HED 的全局邊緣融合提取方法可以對多種類型金屬多種邊緣類型或者背景進行有效提取進行全局引導。為測試邊緣數(shù)據(jù)引導機器人自動化打磨，采用RVC-X 3D 工業(yè)相機進行局部點云圖像采集，近視場FOV 為334 mm×237 mm，機器人為ABB IRB 6700-200/2.60，負載200 kg，導軌直線移動進行大跨度中厚板分區(qū)打磨，相機安裝方式為眼在手上，工作站布局如圖9（a）所示，載物臺寬度2 m，長度為8 m。分別對不同表面色澤、不同厚度以及不同形狀的3種板材進行正反面共6次試驗，應用上文的分段全局圖像提取和分區(qū)局部邊緣點云引導方法，設定打磨面寬度為10 mm，磨削深度為0.5 mm，采用3 M 圓盤砂輪進行剖切自由邊進行打磨試驗，對外側邊緣磨面的寬度磨削深度進行誤差測試。

圖9 布局示意圖與邊緣引導打磨效果

如表2 所示，6 組實驗中邊緣打磨寬度最大誤差為13 mm，打磨深度誤差最大為1.1 mm；且一般誤差最大的打磨位置位于工件表面銹跡極其嚴重或者拐角磨具干涉造成。正常情況下均能達到打磨要求，局部的點云檢測還可以有效進行邊緣異物實時檢測，避打設備異常損壞。

表2 多種規(guī)格類型的視覺引導打磨誤差測試mm

另外如圖9所示，在全局定位HED邊緣識別引導和局部3D點云深度邊緣路徑引導打磨并結合機器人末端姿態(tài)工藝參數(shù)調(diào)整，可以根據(jù)參數(shù)在直邊或者轉角處實現(xiàn)倒角打磨工藝處理，并且基于局部點云映射的深度信息，可以方便地設定打磨工具在工件表面的去除量，適配所需工藝需求，如圖9（c）所示為磨輪與邊緣面傾角5°時打磨效果。

3 結束語

本文研究了大跨度中厚板邊緣打磨中視覺邊緣提取規(guī)劃和機器人末端引導相關內(nèi)容，引入基于深度學習模型的HED 大鈑金金屬邊緣提取算法，結合邊緣區(qū)域點集提取規(guī)劃，有效穩(wěn)定地在復雜背景和異形多樣工件中識別金屬邊緣，進行全局路徑引導。通過局部點云模型進行異物檢測并提取深度映射邊緣進行邊緣打磨引導，基于工藝或刀具模型，適配修改用戶工藝角度參數(shù)，有效適配多種工件或工藝場景。實驗驗證了研究內(nèi)容在大跨度中厚板打磨中的有效性和穩(wěn)定性，實現(xiàn)長跨度大工件的視覺引導打磨，實現(xiàn)自動化和智能化，減少人力投入和人為干預，確保剖切邊拋磨效果的一致性。