李瑞峰, 郭 靜, 楊 娜, 張力力, 程 軍
(西安航天賽能自動化科技有限公司, 西安 710100)
航空航天工業(yè)是一個關(guān)乎國家經(jīng)濟發(fā)展和國防建設(shè)的戰(zhàn)略性產(chǎn)業(yè), 匯集各種高新技術(shù)于一體,是國家工業(yè)實力的重要體現(xiàn)。 隨著航空航天領(lǐng)域飛機、 火箭等大型航天艙段類產(chǎn)品總體裝配性能及測試階段技術(shù)要求的提高, 對大型艙段的裝配精度和自動化程度要求越來越嚴格[1]。 目前, 國內(nèi)大型航天艙段的對接裝配大部分是通過將固定艙段和活動艙段固定放置在對接臺上, 然后采用目視手工的作業(yè)方式。 在對接裝配過程中, 通過人眼估算活動艙段在對接中所需要的調(diào)整量, 然后多名號手同步調(diào)整實現(xiàn)大型艙段自由度的位姿調(diào)整。 該裝配方式需要多人協(xié)同操作, 勞動強度大, 裝配效率低, 裝配精度依賴工作人員的工作經(jīng)驗和操作水平, 對接裝配質(zhì)量的一致性較差[2],當艙段尺寸增大時, 勞動強度和裝配周期也急劇增加。
為了滿足靈活、 高效、 準確的艙段對接需求,利用自動化柔性裝配技術(shù)實現(xiàn)大型艙段的對接裝配成為必然趨勢。 國內(nèi)外一些高校、 自動化裝配企業(yè)積極開展大型艙段對接裝配的技術(shù)研究, 提供了解決方案。 美國波音公司的導彈對接方式采用激光跟蹤儀測量對接偏差位姿, 數(shù)字化管理系統(tǒng)根據(jù)偏差信息驅(qū)動導軌式數(shù)控對接平臺完成導彈的艙段對接[3]。 美國雷聲公司導彈柔性對接系統(tǒng)采用直線導軌式數(shù)控對接平臺, 可進行六自由度艙段的位姿調(diào)整, 實現(xiàn)柔性化對接裝配。 在國內(nèi)應(yīng)用研究方面, 哈爾濱工業(yè)大學通過雙目視覺和測量轉(zhuǎn)換光筆方式實現(xiàn)了導彈艙段的自動對接[4]。沈陽自動化研究所針對某艙段設(shè)計了導彈自動對接平臺, 通過龍門式的立體視覺測量技術(shù)獲取兩對接艙段的空間位姿信息, 采用裝卸有環(huán)形工裝的自由度調(diào)姿裝置作為對接艙段的調(diào)姿調(diào)整平臺[5]。 浙江大學的郭志敏等[6]研制了一套基于三坐標支撐柱的位姿調(diào)整系統(tǒng), 該系統(tǒng)利用激光跟蹤儀對大型艙段上布設(shè)的靶球?qū)崟r測量位姿偏移量,通過控制POGO 柱實現(xiàn)大型艙段的姿態(tài)調(diào)整。 上海航天設(shè)備制造總廠研制了運載火箭柔性自動裝配設(shè)備, 實現(xiàn)了“測量-匹配-調(diào)姿” 的閉環(huán)集成控制, 可滿足不同類型運載火箭柔性自動裝配需求[7]。
綜上, 目前成熟的自動化裝配多采用激光跟蹤儀[8]進行位姿測量。 該方法利用靶球或?qū)用嫣卣饔嬎憧臻g姿態(tài), 具有精度高、 測量范圍大的特點。 但該方法設(shè)備成本較高, 每次裝配都需要詳細標定, 標定過程較為復雜, 且對測量環(huán)境有較高的要求。 相比激光跟蹤儀的測量, 雙目立體視覺測量方法具有成本低和使用便捷的優(yōu)點。 但是在實際應(yīng)用過程中, 雙目立體視覺系統(tǒng)容易受工業(yè)環(huán)境影響, 需要定期標定系統(tǒng)參數(shù)以保證測量精度, 如果工作現(xiàn)場存在振動, 則標定的頻次會增加, 從而影響應(yīng)用效果。
基于此, 本文提出了一種基于兩套單目視覺的大型艙段柔性自動對接系統(tǒng)。 本文綜合考慮大型艙段表面特征較少且無法通過表面特征點之間的匹配關(guān)系準確求得艙段的相對位姿這一情況,設(shè)計了高精度合作靶標, 利用單目視覺技術(shù), 結(jié)合預先標定的靶標和艙段對接面特征, 對兩套單目視覺測量結(jié)果進行融合解算, 得到最終的艙段相對位置姿態(tài), 引導六自由度調(diào)姿定位機構(gòu)實現(xiàn)艙段位姿的高精度實時調(diào)整。
本文設(shè)計的基于機器視覺的大型艙段自動對接系統(tǒng)主要包括視覺系統(tǒng)、 高精度調(diào)姿平臺、 PLC控制系統(tǒng)、 對接車等, 如圖1 所示。 視覺系統(tǒng)用于對接裝配中大型艙段的實時定位測量; 高精度調(diào)姿平臺主要實現(xiàn)調(diào)姿端艙段的位姿調(diào)整動作, 完成對接過程; PLC 控制系統(tǒng)根據(jù)視覺系統(tǒng)的測量數(shù)據(jù)控制調(diào)姿平臺進行姿態(tài)及位置調(diào)整。
圖1 自動對接系統(tǒng)組成圖Fig.1 Composition diagram of automatic docking system
在自動對接系統(tǒng)中, 作為末端執(zhí)行單元, 執(zhí)行機構(gòu)是一個數(shù)字化自動控制的高精度定位裝置,主要分為分布式對接工裝和托架式自動對接工裝兩類[9]。 本系統(tǒng)采用六自由度調(diào)姿平臺技術(shù), 高精度調(diào)姿平臺主要包括滾轉(zhuǎn)機構(gòu)、 水平機構(gòu)、 升降機構(gòu)、 俯仰機構(gòu), 配合實現(xiàn)艙段航向、 水平、 上下、 偏航、 俯仰、 滾轉(zhuǎn)六自由度的調(diào)整。
PLC 控制系統(tǒng)作為對接系統(tǒng)的關(guān)鍵部件, 是整個系統(tǒng)的“大腦”, 起樞紐作用。 一方面, 接受來自視覺系統(tǒng)的對接位姿測量數(shù)據(jù), 并進行分析和處理; 另一方面, 根據(jù)分析結(jié)果, 輸出相應(yīng)的控制指令給高精度調(diào)姿平臺, 控制高精度調(diào)姿平臺運動到指定的位置, 實現(xiàn)艙段空間位姿的調(diào)整[10]。
高精度數(shù)字化空間位姿檢測是實現(xiàn)自動對接的基礎(chǔ)。 視覺測量屬于非接觸測量方法, 可直接根據(jù)對接面的圖像信息控制完成對接。 因此, 視覺系統(tǒng)作為“眼睛” 是整個對接系統(tǒng)的核心組成部分, 其作用是通過精確檢測艙段的對接位姿引導調(diào)姿平臺完成快速、 安全對接, 具有非接觸、高精度、 速度快等特點[11]。 基于機器視覺的測量方法主要包括激光跟蹤儀、 單目視覺、 雙目視覺。 國外大多采用激光測量技術(shù)實現(xiàn)大型艙段的對接工作, 該方法設(shè)備成本較高。 雙目立體視覺不需要已知目標點的幾何約束, 可直接求解目標位姿, 但是需要定期標定系統(tǒng)參數(shù)以保證測量精度, 結(jié)構(gòu)復雜且視野范圍較小, 局限大, 靈活性小。 單目視覺三維定位通常通過人工布設(shè)標志點, 根據(jù)已知目標的幾何約束利用PNP(Perspective-n-point)算法實現(xiàn)空間姿態(tài)測量, 算法和結(jié)構(gòu)都較簡單易實現(xiàn), 校準方便, 無需反復標定, 更適合現(xiàn)場長期穩(wěn)定工作。 三種測量方法的對比如表1 所示。
表1 基于機器視覺的測量方法比較Table 1 Comparison of measurement methods based on machine vision
大部分大型艙段端面設(shè)計有定位銷和定位槽,艙段圓周表面基本無用于識別的有效特征, 而對接端面很難通過相機一次采集到全部定位銷和定位槽的特征信息, 因此該應(yīng)用場景下雙目視覺“不需要已知目標點幾何約束” 的優(yōu)勢已不明顯。通過人工在對接面兩側(cè)布設(shè)具有幾何約束的特征點, 然后利用單目視覺進行位姿測量更加符合現(xiàn)場應(yīng)用需要。 因此結(jié)合該應(yīng)用場景, 本文提出了一種基于單目視覺的大型艙段相對位姿測量方法,以實現(xiàn)大型艙段的自動對接。
本文提出的單目視覺系統(tǒng)由測量單元和視覺測量軟件組成。 其中, 測量單元包括高分辨率工業(yè)相機、 低畸變鏡頭、 藍光光源。 測量單元是前端的傳感單元, 實時采集靶標圖像, 并通過網(wǎng)線傳輸至工控機中的視覺軟件, 視覺軟件接收來自工業(yè)相機的圖像, 實時解算相對位姿, 通過通信模塊將位姿解算結(jié)果傳輸至PLC 控制系統(tǒng)。
針對大尺寸艙段對接裝配場景, 本文提出了一種基于單目視覺的對接位姿實時測量方法。 單目視覺位姿測量精度與特征點識別誤差大小相關(guān),在自然環(huán)境下視覺傳感器提取目標特征難度較大?;诖? 本文采用了基于合作靶標的位姿測量方法保證了系統(tǒng)的精度和穩(wěn)定性。 設(shè)計了一種基于環(huán)狀編碼的點陣規(guī)格排布的合作靶標, 如圖2 所示。 該靶標包含45 個標志點, 即4 個編碼標志點和41 個非編碼標志點。 其中, 編碼標志點可以根據(jù)編碼標志點解碼算法唯一識別, 進一步地非編碼標志點的序號可以根據(jù)其在圖案中與編碼標志點的位置關(guān)系進行確定。 特征點采用白色可反光材質(zhì), 與黑色啞光背景對比明顯, 易于特征提取,具有較高的穩(wěn)定性。
圖2 合作靶標設(shè)計Fig.2 Design of collaborative target
合作靶標和單目視覺系統(tǒng)共同構(gòu)成對接位姿測量系統(tǒng), 系統(tǒng)框架如圖3 所示, 分為應(yīng)用層、 算法層、 信息層與物理層。 應(yīng)用層將測量過程分為目標位姿求取、 對接位姿解算和對接狀態(tài)分析三部分; 算法層為對接位姿測量涉及到的所有算法;信息層包含了系統(tǒng)涉及到的數(shù)據(jù); 物理層主要包含視覺測量單元、 合作靶標和工控機。
圖3 對接位姿測量系統(tǒng)框架Fig.3 System framework of docking pose measurement
在對接過程中, 保持一個艙段不動(稱為固定端), 只對另一艙段(稱為調(diào)姿端) 進行位姿調(diào)整,將固定端和調(diào)姿端分隔開的面稱為對接面。 合作靶標分別固定在固定端和調(diào)姿端對接面兩側(cè), 靶標唯一代表所安裝艙段的位姿, 因此靶標的安裝精度直接關(guān)系到艙段的位姿測量結(jié)果, 進而影響最終的對接效果。 靶標的安裝精度越高, 對接位姿測量結(jié)果越準確。 結(jié)合項目精度指標要求和工程實踐經(jīng)驗, 靶標的安裝精度需設(shè)計保證在0.1 mm 以內(nèi)為宜。
對接前首先執(zhí)行系統(tǒng)標定, 主要包括相機內(nèi)參標定、 相機與高精度調(diào)姿平臺坐標系轉(zhuǎn)換標定(即“手眼標定”)、 使用高精度測量設(shè)備對靶標與所在艙段的位置標定, 系統(tǒng)標定在對接任務(wù)執(zhí)行前進行, 一般情況下僅需標定一次。
本文所提的對接位姿測量大致可以分為三大步驟: 靶標圖像數(shù)據(jù)采集、 最優(yōu)位姿計算、 執(zhí)行調(diào)節(jié), 循環(huán)執(zhí)行直至對接誤差收斂至指定閾值范圍內(nèi)。 具體工作流程為: 1)測量單元采集調(diào)姿端和固定端艙段上的靶標圖像, 靶標上所有標志點均在圖像視野范圍內(nèi); 2)采用高精度圖像處理算法識別并提取靶標標志點坐標; 3)利用基于單目視覺的測量原理, 計算靶標坐標系與相機坐標系的位姿轉(zhuǎn)換關(guān)系; 4)通過預先標定的靶標與所在艙段位置參數(shù), 計算艙段對接面特征在相機坐標系下的三維坐標; 5)計算最優(yōu)對接位姿, 并判斷是否滿足對接條件; 6)將檢測結(jié)果發(fā)送給PLC 控制系統(tǒng), 引導調(diào)姿機構(gòu)運動至指定對接位置; 7) 重復執(zhí)行步驟1 ~步驟6 直至滿足迭代收斂條件。 工作流程具體如圖4 所示。
圖4 對接工作流程圖Fig.4 Flowchart of docking
受大型艙段尺寸較大(直徑約2 m)及靶標坐標系、 相機坐標系、 調(diào)姿平臺坐標系、 艙段坐標系等多坐標系轉(zhuǎn)換等因素限制, 僅通過布設(shè)一個單目相機組件較難精確計算兩個大型艙段之間的相對位姿。 為了解決這一問題, 本文提出了一種基于兩套單目視覺融合的測量方法, 通過增大測量域, 得到更為精確的實時對接位姿測量結(jié)果。 如圖5 所示, 兩套單目相機分別布設(shè)在艙段兩側(cè), 軸線夾角成90°對稱分布。
圖5 單目相機分布Fig.5 Distribution of monocular cameras
對接位姿的求解涉及6 個坐標系, 定義如下:調(diào)姿端艙段坐標系、 固定端艙段坐標系、 調(diào)姿端靶標坐標系、 固定端靶標坐標系、 相機坐標系、調(diào)姿機構(gòu)坐標系。 調(diào)姿端艙段坐標系和固定端艙段坐標系之間的相對位姿轉(zhuǎn)換關(guān)系為最終對接位姿的目標輸出量。 單目相機安裝在對接車上, 相機坐標系與調(diào)姿平臺坐標系之間的轉(zhuǎn)換關(guān)系可以通過手眼標定方法解算得到。 調(diào)姿端艙段坐標系與調(diào)姿端靶標坐標系的轉(zhuǎn)換關(guān)系、 固定端艙段坐標系與固定端靶標坐標系的轉(zhuǎn)換關(guān)系通過攝影測量系統(tǒng)等高精度測量設(shè)備標定。 因此, 相機坐標系與調(diào)姿平臺坐標系之間的轉(zhuǎn)換關(guān)系、 艙段坐標系與靶標坐標系之間的轉(zhuǎn)換關(guān)系均是固定不變的,僅有相機坐標系和調(diào)姿端靶標坐標系、 固定端靶標坐標系之間的轉(zhuǎn)換關(guān)系是未知的, 且在對接過程中不斷變化, 可以通過相機采集的靶標圖像,結(jié)合預先輸入的靶標空間三維靶標, 利用單目視覺空間定位技術(shù), 實時解算靶標坐標系相對于相機坐標系的空間位姿, 進而通過坐標系轉(zhuǎn)換關(guān)系解算調(diào)姿端艙段相對于固定端艙段的坐標系轉(zhuǎn)換關(guān)系, 即對接位姿。
如圖6 所示, 對接位姿測量原理為: 利用高精度測量設(shè)備標定安裝在固定端艙段表面的靶標及對應(yīng)的艙段特征點(銷軸)、 移動端艙段表面的靶標及對應(yīng)的艙段特征點(銷孔), 分別為。 由于靶標標志點和對接面特征點坐標均在同一個坐標系下獲取, 因此該組坐標代表了靶標與對應(yīng)艙段的位置關(guān)系。
圖6 相對位姿計算原理示意圖Fig.6 Schematic diagram of relative pose calculation principle
對接時, 相機拍攝待對接狀態(tài)下的大型艙段,同時獲取調(diào)姿艙段靶標和固定艙段靶標圖像, 靶標上所有特征點均在圖像內(nèi)。 通過高精度圖像處理算法提取靶標特征點圓心坐標并排序, 分別記為P1、P2。 根據(jù)相機內(nèi)部參數(shù)與畸變系數(shù)的標定結(jié)果, 結(jié)合提取的靶標特征點圓心的圖像坐標P1、P2, 三維世界坐標, 利用PNP 算法分別計算調(diào)姿艙段靶標、 固定艙段靶標在單目相機坐標系下的坐標以及相機坐標系與靶標坐標系的旋轉(zhuǎn)變換矩陣Rc、Tc。
艙段對接面兩側(cè)銷軸/銷孔在相機坐標系下的坐標為
兩套單目相機分別獨立計算出對接面兩側(cè)銷孔在高精度調(diào)姿平臺坐標系下的坐標, 利用最小二乘法, 通過構(gòu)建SVD 函數(shù), 求解兩個艙段在高精度調(diào)姿平臺坐標系下的剛體變換關(guān)系Rb和Tb
根據(jù)對接工藝要求, 需要將兩艙段之間的相對位姿解算為自由度參數(shù), 相對位姿矩陣如式(6)所示, 左上方三行三列為旋轉(zhuǎn)矩陣, 右方三行一列為平移向量。 利用歐拉角與旋轉(zhuǎn)矩陣關(guān)系, 解算出如式(7)所示的基于高精度調(diào)姿平臺坐標系的俯仰角θ、 偏航角ψ、 滾轉(zhuǎn)角φ。
為了驗證視覺系統(tǒng)的測量精度, 搭建了一套姿態(tài)測量實驗平臺, 如圖7 所示。 該實驗平臺主要由六關(guān)節(jié)工業(yè)機器人、 高精度激光跟蹤儀(品牌:Leica, 型號: AT960MR, 測量誤差小于15 μm +6 μm/m)、 靶標、 相機 ( 品牌型號: 大華A5501MG20)、 鏡頭 ( 品牌型號: 長步道HC1205A)、 光源、 工控機、 交換機等組成。 如圖8 所示, 靶球和靶標通過特制工裝安裝在機器人末端, 由機器人攜帶靶球和靶標在空間中分別沿機器人X軸、Y軸、Z軸方向移動, 激光跟蹤儀和視覺測量單元分別跟蹤靶球和靶標并測量移動距離, 以激光跟蹤儀重復三次測量的平均值作為真值, 計算視覺測量單元的測量精度。 實驗結(jié)果如表2、 圖9 所示。
表2 視覺系統(tǒng)的測量精度數(shù)據(jù)Table 2 Measurement accuracy data of visual system
圖7 姿態(tài)測量實驗平臺示意圖Fig.7 Schematic diagram of attitude measurement experiment platform
圖8 靶球和靶標安裝圖Fig.8 Diagram of target ball and target installation
圖9 視覺系統(tǒng)的測量誤差Fig.9 Measurement error of visual system
由表2、 圖9 可知, 視覺系統(tǒng)的測量精度均在0.05 mm 以內(nèi)。 其中,X方向和Y方向測量誤差最大值為0.04 mm, 平均值和標準偏差為0.02 mm;Z方向精度稍差, 測量誤差最大值為0.05 mm, 平均值和標準偏差為0.04 mm。 因為單目視覺系統(tǒng)對于深度方向信息不敏感, 所以X方向和Y方向的測量精度優(yōu)于Z 方向。
為了驗證基于單目視覺艙段對接系統(tǒng)的可行性和對接精度, 采用模擬產(chǎn)品(產(chǎn)品直徑約2000 mm,對接面銷軸/銷孔單邊間隙為0.5 mm)搭建對接裝配場景。 如圖10 所示, 對接系統(tǒng)主要包括調(diào)姿端艙段與固定端艙段模擬件、 高精度調(diào)姿平臺、 對接車以及測量單元等, 靶標通過專用工裝固定在艙段表面, 兩個測量單元分別固定于對接車兩側(cè), 高精度調(diào)姿平臺承載調(diào)姿端艙段, 固定端艙段固定放置于指定位置。
圖10 對接實驗現(xiàn)場圖Fig.10 Field diagram of docking experiment
實驗前, 首先對兩個相機進行內(nèi)參標定和手眼標定。 相機1 的內(nèi)參標定結(jié)果為: 焦距(fx,fy) =(2619.5348, 2619.1527)、 光學中心(Cx,Cy)=(1292.4044,1006.5532)、 畸變系數(shù)D=(k1,k2,p1,p2,k3) = ( -0.1554, 0.1452, 0.0011,-0.0010, -0.0220)。 相機1 坐標系與調(diào)姿平臺坐標系的旋轉(zhuǎn)矩陣和平移矩陣分別為
相機2 的內(nèi)參標定結(jié)果為: 焦距(fx,fy) =(2620.4040, 2620.4660)、 光學中心(Cx,Cy) =(1312.2364, 1016.2072)、 畸變系數(shù)D= (k1,k2,p1,p2,k3) = ( -0.1599, 0.1543, -0.0005,-0.0009, -0.0244)。 相機2 坐標系與調(diào)姿平臺坐標系的旋轉(zhuǎn)矩陣和平移矩陣分別為
在某個固定位置, 保持對接艙段間距為100 mm,利用單目視覺(僅使用測量單元1)多次重復對接實驗, 分析對接系統(tǒng)的精度。 評價對接質(zhì)量的重要指標為固定端和調(diào)姿端對接面上關(guān)鍵點之間的相對誤差是否滿足要求, 因此本文選用高精度激光跟蹤儀測量銷軸和銷孔的位置關(guān)系, 計算系統(tǒng)的對接精度, 具體步驟為:
1)使用激光跟蹤儀分別測量調(diào)姿端和固定端對應(yīng)銷孔的三維坐標;
2)以其中一個點為原點, 軸方向為Z軸建立坐標系, 比較銷孔相應(yīng)點在X方向、Y方向的偏差;
3)共重復6 組實驗, 測試結(jié)果如表3 所示。
表3 單目視覺的對接精度數(shù)據(jù)Table 3 Docking accuracy data of monocular vision
由表3 可知, 采用單目視覺測量方法共進行了6 次對接實驗,X方向上四個銷孔位移平均值分別為0.31 mm、 0.35 mm、 0.30 mm、 0.30 mm,Y方向上四個銷孔位移平均值分別為0.29 mm、0.29 mm、0.30 mm、 0.32 mm, 單次測量平均用時為2.46 s, 可實現(xiàn)大型艙段對接裝配過程中的實時位姿測量。 該實驗證明了本文所提單目視覺測量艙段對接位姿的可行性。
為了驗證本文提出的基于兩套單目視覺的測量方法相較于一套單目視覺測量的精度提升效果, 采用兩套單目視覺(同時使用測量單元1 和測量單元2 進行測量) 重復上述對接實驗。 兩個測量單元夾角成90°分布在對接車兩側(cè), 光軸方向指向艙段。 對接效果如圖11 所示, 對接精度如表4 所示。
表4 基于兩套單目視覺的對接精度數(shù)據(jù)Table 4 Docking accuracy data based on two sets of monocular vision
圖11 對接效果示意圖Fig.11 Diagram of docking effect
2 個平移分量的平均對接精度相較于一套單目視覺的對接精度有所改善,X方向上四個銷孔位移平均值分別為0.20 mm、 0.24 mm、 0.23 mm、0.25 mm,Y方向上四個銷孔位移平均值分別為0.23 mm、 0.21 mm、 0.20 mm、 0.22 mm。 如圖12、圖13 所示, 兩套單目視覺的對接精度比一套單目視覺的對接精度平均改善約0.1 mm。 對接后艙段對接端面間隙均勻, 滿足大型艙段實時位姿測量要求和精度要求。 此外, 相較于“目視人喊手工推” 的對接方式, 本文提出的方法對接全流程用時由60 min 縮減到了3.5 min, 大大提升了產(chǎn)品對接的效率。
圖12 X 軸方向?qū)泳葘Ρ菷ig.12 Comparison of docking accuracy in X-axis direction
圖13 Y 軸方向?qū)泳葘Ρ菷ig.13 Comparison of docking accuracy in Y-axis direction
本文提出了一種基于機器視覺的自動對接系統(tǒng), 通過兩套單目視覺精確測量艙段表面靶標位姿, 結(jié)合預先建立的艙段坐標系計算艙段對接面特征位置信息, 精確計算艙段相對位姿, 引導六自由度調(diào)姿平臺實現(xiàn)艙段位姿的實時調(diào)整。 實驗結(jié)果表明, 視覺測量精度在0.04 mm 以內(nèi), 系統(tǒng)對接精度在0.3 mm 以內(nèi), 實現(xiàn)了高精度對接, 具有很強的應(yīng)用價值。