詹松濤, 胡兆勇,, 吳悅明, 陳和恩, 朱 騰

(1.廣東工業(yè)大學(xué) 機電工程學(xué)院，廣東 廣州 510039; 2.廣東工業(yè)大學(xué) 廣東省CIMS重點實驗室，廣東 廣州 510039)

0 引 言

工業(yè)領(lǐng)域基站線束設(shè)備有著大量柔性線束和剛性電子元器件[1]。設(shè)備存在線束數(shù)量多、插接頭分布不均勻、柔性線束形狀不規(guī)則以及線束間復(fù)雜拓撲關(guān)系[2]等特點，因此設(shè)備布線裝配主要依賴操作人員經(jīng)驗[3]。目前復(fù)雜基站設(shè)備的線束排列和插接主要根據(jù)工藝卡片指示來進行，這些工藝卡片通過文字解釋或者計算機輔助設(shè)計(compu-ter aided design,CAD)圖示說明，工人對照工藝卡片指示裝配，效率不高同時增加出錯概率?，F(xiàn)有工藝展示技術(shù)相對滯后，已不能有效指導(dǎo)生產(chǎn)操作。

增強現(xiàn)實技術(shù)為解決上述問題提供新的思路。增強現(xiàn)實(augmented reality,AR)技術(shù)是將虛擬數(shù)字媒體信息與真實場景無縫融合，通過計算機系統(tǒng)將一定空間范圍內(nèi)媒介信息進行構(gòu)建仿真，再通過移動終端或者光學(xué)頭盔設(shè)備顯示，處理后輔助信息(布線指導(dǎo)、工序評估)集中反饋于真實場景中，為觀察者呈現(xiàn)出一個信息多元化的新場景，從而增強觀察者感知。借助AR技術(shù)提供引導(dǎo)裝配作用，提升線束操作效率，實現(xiàn)線束裝配工藝一致性，是工藝展示新方向。

針對面向工業(yè)上增強現(xiàn)實環(huán)境的特殊性，國內(nèi)外相關(guān)研究人員對增強現(xiàn)實在工業(yè)領(lǐng)域應(yīng)用展開了研究。例如， Fiorentino M等人利用基于標(biāo)志圖三維注冊算法實現(xiàn)的增強現(xiàn)實來對發(fā)動機維修進行輔助評估[4]；華中科技大學(xué)利用OpenGL技術(shù)和ARtoolKit開發(fā)了基于增強現(xiàn)實車間布局的桌面式系統(tǒng)[5]。桌面式增強現(xiàn)實系統(tǒng)操作者可觀察范圍很小，可借助例如ARToolKit的標(biāo)志圖來表達真實場景三維空間坐標(biāo)系。但對于面向工業(yè)的復(fù)雜線束設(shè)備來說，用戶操作設(shè)備對象較大，實現(xiàn)三維注冊的范圍要求也更大，無法直接采用標(biāo)志圖來構(gòu)建世界坐標(biāo)系實現(xiàn)虛擬模型與真實場景的精準(zhǔn)配對。

如何在大場景環(huán)境下操作者視野內(nèi)不出現(xiàn)識別標(biāo)志并且實現(xiàn)良好的注冊穩(wěn)定性、幾何一致性，是工業(yè)領(lǐng)域增強現(xiàn)實系統(tǒng)亟需解決的關(guān)鍵問題。為此，本文針對此問題展開研究，以基站線束設(shè)備為研究對象，提出相應(yīng)系統(tǒng)解決方案，為實現(xiàn)面向工業(yè)大空間環(huán)境下無標(biāo)志、穩(wěn)定、良好對準(zhǔn)精度的增強現(xiàn)實技術(shù)奠定基礎(chǔ)。

1 注冊需求分析

增強現(xiàn)實技術(shù)首要問題是虛實場景的幾何一致性，即三維注冊技術(shù)。傳統(tǒng)基于視覺[6]的增強現(xiàn)實中基于人工標(biāo)志物的三維注冊是最常見的，標(biāo)志物擁有足夠的特征信息以保證注冊的穩(wěn)定性、實時性和魯棒性。人工標(biāo)志物于視覺跟蹤注冊算法的作用是表達對真實世界的認知，以標(biāo)志物的中心表示世界坐標(biāo)系原點，描述其他場景物體[7]。

圖1 為本課題研究的基站線束設(shè)備，其物理尺寸約為2.8 m×0.6 m，單純地使用人工標(biāo)志進行注冊會存在諸多局限性: 1)若攝像頭與標(biāo)志物距離過遠，有效識別特征減少，注冊精度和模型穩(wěn)定性差； 2)標(biāo)志物與跟蹤的線束設(shè)備位置需要相對固定，若出現(xiàn)偏差會直接反饋在虛擬模型注冊精度上； 3)無法保證標(biāo)志物始終出現(xiàn)于操作者的視野和攝像頭捕捉范圍內(nèi)，低頭操作時標(biāo)志物丟失則無法注冊。當(dāng)注冊出現(xiàn)較大誤差或者失敗，將破壞操作者對真實場景的正確感知，影響動作協(xié)調(diào)性。

圖1 課題研究的基站線束裝備

因此針對工業(yè)產(chǎn)線環(huán)境的復(fù)雜度大、注冊范圍大的特殊性，必須改進三維注冊算法，保證目標(biāo)線束設(shè)備始終在攝像頭捕捉范圍內(nèi)，以滿足跟蹤算法對于求解攝像機與真實場景轉(zhuǎn)化關(guān)系的需求，同時還需要保證攝像頭對于操作載體的實時位姿跟蹤。

為減少標(biāo)志物在布線過程中額外信息干擾，面向工業(yè)領(lǐng)域的AR系統(tǒng)應(yīng)實現(xiàn)無標(biāo)志。目前較多研究都是借人工標(biāo)志物對真實世界認知的參數(shù)量化表達，然而要消除長時序工作環(huán)境中AR系統(tǒng)對于人工標(biāo)志的依賴，需要通過其他方式對代表真實世界的標(biāo)志圖替代。為此本系統(tǒng)設(shè)計通過同步定位與地圖構(gòu)建[8](simultaneous localization and mapping，SLAM)技術(shù)對產(chǎn)線現(xiàn)場進行環(huán)境掃描，獲取場景網(wǎng)格信息，以此來替代標(biāo)志物來實現(xiàn)小孔成像攝像機成像模型中需要的世界坐標(biāo)系[9]。

2 面向真實產(chǎn)線應(yīng)用的系統(tǒng)架構(gòu)

2.1 總體框架設(shè)計

增強現(xiàn)實指導(dǎo)系統(tǒng)設(shè)計分為兩步走:

1)算法初始化的三維注冊。通過基于人工標(biāo)志物和自然特征點的視覺跟蹤算法分別對操作載體和目標(biāo)線束設(shè)備實時跟蹤，求解單應(yīng)性矩陣進而獲取各自的位姿參數(shù)，將獲取多個坐標(biāo)系轉(zhuǎn)化關(guān)系通信傳輸入服務(wù)器進行數(shù)據(jù)融合，最終得到操作載體相對線束設(shè)備的位姿信息，實現(xiàn)顯示設(shè)備看到的虛擬模型配準(zhǔn)到現(xiàn)實場景的基站線束設(shè)備。

2)系統(tǒng)對于減少標(biāo)志物依賴的實現(xiàn)。通過SLAM進行場景掃描，利用掃描得到的場景網(wǎng)格模型表達增強現(xiàn)實數(shù)學(xué)模型中的真實世界坐標(biāo)系，實現(xiàn)虛擬物體在真實場景中的位置保持。

系統(tǒng)三維注冊的技術(shù)總體框架如圖2所示。

圖2 系統(tǒng)注冊配準(zhǔn)技術(shù)總體框架

2.2 硬件環(huán)境搭建

1)AR顯示設(shè)備

考慮到操作人員在產(chǎn)線環(huán)境的操作需求，系統(tǒng)選用增強現(xiàn)實顯示設(shè)備應(yīng)為頭戴式。此外AR顯示設(shè)備應(yīng)該具有獨立的計算單元，不需要外界任何設(shè)備，以免多余的線纜造成操作的不便性。

要想實現(xiàn)無標(biāo)志注冊算法，要求AR顯示設(shè)備理解現(xiàn)實，具有三維感知能力，建立世界坐標(biāo)系。同時設(shè)備應(yīng)具備圖元渲染以及人機交互能力，以滿足增強現(xiàn)實的虛實融合、人機交互的關(guān)鍵需求。

2)頭頂攝像頭

系統(tǒng)在工作前需要初始化注冊，設(shè)計在線束設(shè)備正上方架設(shè)頭頂攝像頭，其視場角范圍囊括整個線束設(shè)備和操作載體，實現(xiàn)對兩個對象實時捕捉。系統(tǒng)選用羅技Pro C920攝像頭，廣角角度為90°，分辨率參數(shù)為1 920×1 080，系統(tǒng)將攝像頭放置在線束設(shè)備正上方1.5 m處，視場角范圍滿足要求，同時拍攝線束設(shè)備清晰度也滿足視覺跟蹤算法需求。

3)PC服務(wù)器系統(tǒng)攝像頭的架設(shè)需要服務(wù)器對其驅(qū)動，同時服務(wù)器需要針對場景中多個坐標(biāo)系進行數(shù)據(jù)采集與整合，服務(wù)器計算獲取各個坐標(biāo)系間的轉(zhuǎn)換關(guān)系，系統(tǒng)還將采用IIS(Internet information server) 架設(shè)服務(wù)器局域網(wǎng)，實現(xiàn)坐標(biāo)信息的通信傳輸。

3 系統(tǒng)實現(xiàn)

3.1 系統(tǒng)搭建與初始化注冊

系統(tǒng)在初始化注冊階段主要由基站線束設(shè)備、AR顯示設(shè)備、頭頂攝像頭、貼有標(biāo)識物的固定架和服務(wù)器組成，用戶頭部佩戴AR顯示設(shè)備，將貼有ARToolKit標(biāo)志物的3D打印支架固定在AR顯示設(shè)備上。系統(tǒng)初始化注冊框架如圖3所示。

圖3 初始化注冊框架

將圖3的現(xiàn)場圖抽象成數(shù)學(xué)坐標(biāo)系模型，如圖4所示。

圖4 初始化注冊多坐標(biāo)系轉(zhuǎn)換模型

系統(tǒng)中定義4個坐標(biāo)系，分別是頭頂攝像頭坐標(biāo)系、ARToolKit標(biāo)志圖坐標(biāo)系、AR顯示設(shè)備坐標(biāo)系、目標(biāo)線束設(shè)備坐標(biāo)系。同時定義4個變換矩陣，其中TMC1是借助ARToolKit視覺注冊算法得到的頭頂攝像頭與標(biāo)志圖之間的坐標(biāo)系變換矩陣；TMC2是利用HALCON對基站線束設(shè)備進行自然特征點檢測匹配獲取頭頂攝像頭與線束設(shè)備的坐標(biāo)系變換矩陣；TC2H是標(biāo)志圖和AR顯示設(shè)備之間坐標(biāo)系進行物理補償?shù)木仃囎儞Q。通過TMC1，TMC2，TC2H三者坐標(biāo)系轉(zhuǎn)換關(guān)系而求取THM，即實現(xiàn)系統(tǒng)在初始化階段的三維注冊。

獲取顯示設(shè)備較基站線束設(shè)備的位姿信息后，虛擬模型的頂點點陣經(jīng)過一系列坐標(biāo)系轉(zhuǎn)換，如圖5所示，最終在顯示設(shè)備上實現(xiàn)實時渲染，完成初始化階段虛擬模型配準(zhǔn)基站線束設(shè)備。

圖5 三維注冊多坐標(biāo)系轉(zhuǎn)換關(guān)系

3.2 空間映射和場景保持

根據(jù)系統(tǒng)對AR顯示設(shè)備要求，最終確定選用Hololens增強現(xiàn)實眼鏡。Hololens是微軟發(fā)布的一種可穿戴式增強現(xiàn)實計算設(shè)備，擁有獨立計算單元，自帶CPU，GPU和全息處理單元(holographic processing unit,HPU)。Hololens設(shè)備集合射線凝視、紅外手勢識別、語音等人機交互手段，滿足指導(dǎo)系統(tǒng)對于交互的需求。

Hololens裝載4個環(huán)境感知攝像頭，左右兩邊各2個。借助4個環(huán)境感知攝像頭在某一時刻獲取4張不同角度圖像，4個環(huán)境感知攝像頭在物理上有兩兩不同基線距，根據(jù)立體視覺(stereo vision)技術(shù)[10]可知由任意2個攝像頭的圖像像素點數(shù)據(jù)和真實場景物體上某點之間構(gòu)成三角形，由已知的基線距和像素點信息便可求解獲得公共視野中物體的三維尺寸以及空間物體該點的三維坐標(biāo)信息，即獲取真實場景深度圖，如圖6所示。

圖6 立體視覺獲取深度

在獲得多張深度圖后，利用SLAM技術(shù)重建三維場景，因此Hololens具備空間映射能力，如圖7(a)是實驗場所房間圖，圖7(b)是Hololens空間映射得到的房間模型。通過對真實環(huán)境的三維感知來滿足我們系統(tǒng)對世界坐標(biāo)系構(gòu)建的需求。

圖7 空間映射獲取場景模型

Hololens以用戶進入系統(tǒng)應(yīng)用時主攝像頭坐標(biāo)為世界坐標(biāo)系原點，當(dāng)用戶位置視角發(fā)生變化時，Hololens自帶的處理單元可以對世界坐標(biāo)系下的攝像頭位姿進行計算，通過迭代對齊算法跟蹤平移和旋轉(zhuǎn)共6個自由度參數(shù)，保證系統(tǒng)總是知道當(dāng)前幀數(shù)下攝像頭位姿相對于最初的位姿改變了多少。

Hololens在傳感器驅(qū)動下建立的固定參照坐標(biāo)系可以對系統(tǒng)中增強現(xiàn)實下的全息模型進行轉(zhuǎn)換描述，但增強現(xiàn)實并非同于VR場景類型的純粹虛擬世界，如果將所有的全息模型放置在一個單一的剛性坐標(biāo)系中，當(dāng)用戶不斷變換位置動態(tài)感知世界，那么無論是相對于世界或者彼此，這些全息模型必然會隨時間產(chǎn)生位置漂移。

針對這個問題而為此提出空間錨點(spatial anchors)的解決方案，通過在真實場景中創(chuàng)建空間錨點來標(biāo)記用戶放置的虛擬模型。當(dāng)Hololens不斷認知周邊世界，這些空間錨點根據(jù)其他錨點或者參考系調(diào)整它們相對于彼此的位置，以確保每個錨點錨定的全息虛擬模型精確地保持在原位，打破單一剛性坐標(biāo)系的累積誤差，以確保虛擬模型保持在增強現(xiàn)實場景的最佳穩(wěn)定性。這也就保證了當(dāng)用戶在初始進入應(yīng)用通過多坐標(biāo)系變換完成注冊后，再次進入時增強現(xiàn)實場景得到保持，不用再進行初始化注冊，實現(xiàn)無標(biāo)志的目的。

3.3 系統(tǒng)操作流程

圖8為系統(tǒng)I級交互菜單的設(shè)計圖例。

圖8 系統(tǒng)I級交互菜單

初次進入系統(tǒng)，進入初始化注冊階段，對照交互菜單，其操作流程如圖9(a)所示。完成初始化階段，再次使用時，其操作流程如圖9(b)所示，直接點擊“使用錨”按鈕實現(xiàn)SLAM場景保持，便可開始直接工作，簡化注冊步驟，縮短注冊時間，實現(xiàn)無標(biāo)志目的。至此，完成系統(tǒng)的“兩步走”。

圖9 系統(tǒng)操作流程

4 實驗結(jié)果與運行實例

1)模型初始化配準(zhǔn)效果展示

進入系統(tǒng)后，按照初始化注冊流程操作，實現(xiàn)虛擬模型配準(zhǔn)于真實基站線束設(shè)備。隨機選取多個觀測角度，驗證初始化注冊的配準(zhǔn)精度和算法穩(wěn)定性，如圖10所示。

圖10 多坐標(biāo)系轉(zhuǎn)換三維注冊實驗效果

2)SLAM場景保持效果展示

操作者站在頭頂攝像頭捕捉范圍外進入指導(dǎo)系統(tǒng)，直接使用錨實現(xiàn)無標(biāo)志注冊配準(zhǔn)模型。為了直觀展示SLAM空間映射對于場景保持的作用，實驗編寫Shader著色器對映射網(wǎng)格顯示。隨機不同角度觀測驗證場景保持的幾何一致性和魯棒性，如圖11所示。

圖11 場景保持多角度驗證實驗

3)布線指導(dǎo)實例

通過實驗驗證初始化注冊以及SLAM場景映射實現(xiàn)無標(biāo)志目的的可行性，最終系統(tǒng)對基站線束設(shè)備按照工序進行布線指導(dǎo)，選取若干工序進行實例展示，如圖12所示。

圖12 移動增強現(xiàn)實輔助布線運行實例

5 結(jié) 論

利用Hololens頭戴式增強現(xiàn)實眼鏡、頂部攝像頭、服務(wù)器進行系統(tǒng)框架搭建，協(xié)同多坐標(biāo)系轉(zhuǎn)換關(guān)系，融合數(shù)據(jù)，實現(xiàn)初始化注冊配準(zhǔn)。為了消除長時序工作環(huán)境中AR系統(tǒng)對于人工標(biāo)志的依賴，設(shè)計使利用SLAM映射環(huán)境構(gòu)建世界坐標(biāo)系，以滿足用戶在操作過程位姿不斷變換時需要的參考坐標(biāo)系，實現(xiàn)虛擬模型的場景保持，同時也簡化的注冊步驟，縮短注冊時間。運行實例證明，本文提出方案可以較好地滿足線束設(shè)備的布線指導(dǎo)需求，同時為工業(yè)領(lǐng)域?qū)崿F(xiàn)大環(huán)境下增強現(xiàn)實注冊提供新的思路。