魏 禛，郭 宇+，湯鵬洲，李 晗，鄭冠冠，蒲 俊，吉榮華

(1.南京航空航天大學(xué) 機電學(xué)院，江蘇 南京 210016;2.中國航天科工集團八五一一研究所，江蘇 南京 210016)

0 引言

在增強現(xiàn)實(Augmented Reality, AR)研究領(lǐng)域，工業(yè)是AR研究的主導(dǎo)力量之一，AR技術(shù)能為工業(yè)生產(chǎn)的每個環(huán)節(jié)提供支持，具有創(chuàng)造巨大經(jīng)濟效益的潛力。當前，工業(yè)4.0已掀起第四次工業(yè)革命的浪潮，而AR技術(shù)是工業(yè)4.0中重要的一環(huán)，被評為工業(yè)4.0倡議的九大支撐技術(shù)之一[1]。利用AR技術(shù)可以為用戶提供實時信息以改善決策和工作流程，最大限度地減少認知負荷和注意力分散的問題。

在飛機、導(dǎo)彈、衛(wèi)星等復(fù)雜產(chǎn)品總裝環(huán)節(jié)，由于結(jié)構(gòu)復(fù)雜、裝配難度大，目前手工裝配仍然是主流的裝配方式，而且在未來很長一段時間仍將占據(jù)主導(dǎo)位置。手工裝配指的是工人使用各種對齊和緊固方法將兩個或多個零部件組裝在一起的制造過程，同時還涉及最終的質(zhì)檢過程[2]。復(fù)雜產(chǎn)品手工裝配主要存在以下問題：

(1)在多品種小批量的復(fù)雜產(chǎn)品裝配車間，作業(yè)任務(wù)經(jīng)常更換，新產(chǎn)品試制頻繁，部分操作不常執(zhí)行，且每次都需給裝配工人配置正確的裝配工具和裝配指導(dǎo)。工人對于裝配操作流程不熟悉，效率低，易出錯。

(2)在復(fù)雜產(chǎn)品的裝配過程中，裝配人員受限于裝配工序復(fù)雜、指令繁瑣，因此需要頻繁翻閱工藝文檔，查看數(shù)字圖紙。經(jīng)常中斷裝配工作讓裝配人員無法集中注意力，裝配工作的不連續(xù)性也讓用戶難以有效積累裝配經(jīng)驗。

(3)隨著復(fù)雜產(chǎn)品裝配工藝日益復(fù)雜，工人所需信息也隨之增多，大部分信息來自于CAD系統(tǒng)中存儲的零件和工藝設(shè)計信息。這些信息通常以裝配工藝手冊、模板、圖紙、接線表以及鈑金上的位置標記等媒介傳遞到裝配車間，如果設(shè)計需要更改，則傳遞裝配信息的媒介也需要相應(yīng)的更改，是復(fù)雜產(chǎn)品制造中一個重要的費用和延誤來源。

將AR技術(shù)應(yīng)用于裝配過程，是對傳統(tǒng)工業(yè)領(lǐng)域的一種新型計算機支持，WIEDENMAIER等[3]從裝配的輔助設(shè)備分類的角度出發(fā)，區(qū)別于傳統(tǒng)的紙質(zhì)、計算機輔助方式，將這種AR技術(shù)的應(yīng)用稱為增強裝配(ARsembly)。研究表明，與查看作業(yè)附近的顯示器或紙質(zhì)手冊中的工藝指令相比，直接查看覆蓋在實際任務(wù)環(huán)境中的虛擬模型可以顯著提高用戶的裝配效率[4]，AR已引起裝配領(lǐng)域?qū)＜覍W(xué)者的關(guān)注和研究，早在1997年，西門子公司就已展開對工業(yè)增強現(xiàn)實技術(shù)(Industrial Augmented Reality，IAR)的研究[5]。有學(xué)者從不同角度總結(jié)了AR技術(shù)在工業(yè)制造領(lǐng)域的應(yīng)用，BOTTANI等[6]通過文獻調(diào)研證實裝配指導(dǎo)和產(chǎn)品維護是增強裝配最常用的應(yīng)用領(lǐng)域。

本文旨在對面向復(fù)雜產(chǎn)品裝配的AR技術(shù)的發(fā)展及應(yīng)用進行綜述分析，在系統(tǒng)調(diào)研的基礎(chǔ)上，介紹增強裝配的特點，討論AR的特點與體系架構(gòu)，通過分析相關(guān)文獻，闡述了跟蹤注冊、人機交互、虛實融合、內(nèi)容創(chuàng)作4個關(guān)鍵支撐技術(shù)，總結(jié)了增強裝配在裝配指導(dǎo)、裝配訓(xùn)練、裝配過程仿真與規(guī)劃3個裝配領(lǐng)域的應(yīng)用，并依托當前工業(yè)裝配的特點和發(fā)展趨勢，探討了增強裝配的發(fā)展與挑戰(zhàn)，以期為后續(xù)面向復(fù)雜產(chǎn)品裝配的增強裝配研究提供幫助。

1 增強裝配的特點與體系結(jié)構(gòu)

1.1 增強裝配的特點

增強裝配的技術(shù)實現(xiàn)主要通過信息采集、定位與跟蹤、人機交互、信息推送4個方面展開。增強裝配技術(shù)實現(xiàn)模型如圖1所示。對比傳統(tǒng)由紙質(zhì)手冊或電子文檔輔助的裝配方法，增強裝配通過新技術(shù)的應(yīng)用可以反映出其幾大顯著特點，具體如下：

(1)全面化、簡單化(信息采集) 增強裝配系統(tǒng)對包含工藝文件、零部件3D模型、電子圖紙等在內(nèi)的裝配要素信息進行全面采集，同時利用攝像頭、深度相機等獲取裝配現(xiàn)場圖像，簡化了用戶對裝配現(xiàn)狀的理解過程。

(2)高精度、實時化(定位與跟蹤) 增強裝配系統(tǒng)集成了慣性傳感器(Inertial Measurement Unit, IMU)、陀螺儀等傳感設(shè)備，結(jié)合深度圖像，實現(xiàn)對視覺圖像中裝配要素的高精度定位，同時通過空間坐標系轉(zhuǎn)換完成實時跟蹤注冊。

(3)多樣化、智能化(人機交互) 增強裝配系統(tǒng)采用手勢驅(qū)動、語音、眼動跟蹤、虛擬按鈕等多種交互方式，結(jié)合目標檢測、圖像分類等視覺算法，可以在不同場景中智能感知用戶意圖，實現(xiàn)人機交互。

(4)直觀化、互動性(信息推送) 增強裝配系統(tǒng)將虛擬模型、工藝文件等圖像文字信息渲染后推送給移動終端，在用戶視界中直觀展示各類信息，通過人機交互實現(xiàn)用戶與裝配信息的互動功能，滿足裝配指導(dǎo)的需求。

1.2 增強裝配的典型架構(gòu)

增強裝配體系架構(gòu)描述的是增強裝配的結(jié)構(gòu)形式及各組成部分之間的關(guān)聯(lián)關(guān)系，是AR技術(shù)在裝配應(yīng)用與系統(tǒng)實現(xiàn)的前提與基礎(chǔ)。針對不同應(yīng)用需求，專家學(xué)者們從不同功能與技術(shù)的角度構(gòu)建了增強裝配的體系架構(gòu)。STARMATE項目[7]將增強裝配整體架構(gòu)分為重計算單元、用戶設(shè)備單元和數(shù)據(jù)鏈3個部分，考慮到實時性、系統(tǒng)復(fù)雜性和聯(lián)合開發(fā)等因素，該系統(tǒng)采用模塊化設(shè)計，主要由管理模塊、命令解釋模塊、呈現(xiàn)模塊、感知模塊、場景管理模塊、信息檢索模塊組成。謝天[8]提出一個面向操作指引的增強裝配的通用層次結(jié)構(gòu)，并基于該層次結(jié)構(gòu)設(shè)計了通用系統(tǒng)框架，該通用系統(tǒng)框架由注冊系統(tǒng)、交互系統(tǒng)、智能檢索系統(tǒng)組成，通過開發(fā)兩個原型系統(tǒng)，證明了其所提出的框架理論、模型結(jié)構(gòu)和數(shù)據(jù)組織方式合理有效。WANG等[9]描述了一個典型的增強裝配環(huán)境，該環(huán)境由視頻采集、圖像分析和處理、跟蹤過程、交互處理、裝配信息管理和渲染6個核心功能模塊，構(gòu)成了一個增強裝配系統(tǒng)的主循環(huán)。還有研究者針對特定的裝配應(yīng)用場景提出了特定系統(tǒng)框架[10]。

目前，增強裝配系統(tǒng)框架還沒有統(tǒng)一的形式，而隨著研究的深入，各種智能化功能逐漸引入到增強裝配系統(tǒng)中，本文提出的基于AR的復(fù)雜產(chǎn)品智能裝配體系框架如圖2所示。增強裝配系統(tǒng)主循環(huán)主要由信息數(shù)據(jù)管理、視頻采集、跟蹤注冊、渲染、終端顯示、人機交互、智能輔助服務(wù)等模塊組成。根據(jù)各模塊涉及技術(shù)內(nèi)容，將相關(guān)技術(shù)劃分為智能輔助功能、關(guān)鍵支撐技術(shù)和裝配信息管理3個部分。

(1)智能輔助功能 包括情景感知、防錯提醒、多人協(xié)同、遠程協(xié)助、拍照留證、知識沉淀等。情景感知自動對零部件進行識別，識別操作動作和完成狀態(tài)，自動推送相關(guān)指導(dǎo)信息；防錯提醒功能在錯裝、漏裝和裝配欠位的情況下及時提醒；多人協(xié)同功能能夠在多人協(xié)作的裝配作業(yè)中對進程進行精準控制；遠程協(xié)助功能在當裝配作業(yè)人員遇到困難需要協(xié)助時，實現(xiàn)和遠程專家視頻通話，通過專家指導(dǎo)指示問題所在；拍照留證是借助頭盔式顯示器上的攝像頭在檢驗點進行拍照，可將照片及時傳遞給遠程的質(zhì)檢人員，質(zhì)檢人員確認通過后存入結(jié)構(gòu)化的數(shù)據(jù)庫，便于后續(xù)質(zhì)量追溯；知識沉淀模塊通過系統(tǒng)內(nèi)的機器學(xué)習(xí)算法對透明管理中得到的數(shù)據(jù)進行分析，為系統(tǒng)運行提供智能決策。

(2)關(guān)鍵支撐技術(shù) 包括跟蹤注冊、虛實融合和人機交互。跟蹤注冊模塊負責跟蹤相機位姿，然后將虛擬對象投影到相機成像平面上，為虛實融合做準備；虛實融合模塊探測虛擬對象和真實對象的像素深度值，根據(jù)Z軸坐標的大小處理虛實對象正確的遮擋關(guān)系。最后利用OpenGL等框架進行渲染；人機交互模塊通過語音、手勢等交互方式進行流程控制和虛擬對象操縱。

(3)裝配信息管理 裝配信息源自CAD建模軟件、裝配仿真軟件、裝配工藝規(guī)劃軟件、工藝數(shù)據(jù)管理系統(tǒng)等；裝配信息經(jīng)提取并處理后，可分為實時引導(dǎo)信息、裝配工藝信息、工藝檢驗信息和相關(guān)配套信息等，在過程引導(dǎo)階段為用戶進行推送，輔助用戶完成作業(yè)；系統(tǒng)運行數(shù)據(jù)包括系統(tǒng)配置信息、功能模塊運行數(shù)據(jù)、結(jié)構(gòu)化裝配工藝信息、專家知識庫等，用戶可以根據(jù)自身需求隨時查看。

1.3 增強裝配的硬件

增強裝配系統(tǒng)的硬件發(fā)展主要集中在顯示終端方面，顯示技術(shù)及設(shè)備要解決的問題是讓用戶簡單便捷地觀察到虛實融合的場景。顯示設(shè)備按產(chǎn)品形態(tài)主要分為顯示屏式、頭盔式顯示器(Head-Mounted Display, HMD)、手持式顯示器(Hand-Held Display, HHD)投影式顯示器等[11]，如表1所示。

增強裝配系統(tǒng)的應(yīng)用早期主要為基于計算機或手機顯示器的實現(xiàn)方案，攝像機獲取現(xiàn)場真實場景圖像后將數(shù)據(jù)輸入計算機圖形系統(tǒng)，與圖形系統(tǒng)產(chǎn)生的虛擬模型合成后輸出至顯示終端，供用戶查看使用。AR顯示對成像系統(tǒng)的視場角、分辨率、刷新率等有著較高需求[12]，隨著有機發(fā)光二極管(Organic Light-Emitting Diode, OLED)等新的液晶顯示技術(shù)的發(fā)展，液晶電視、電腦顯示屏等普通屏幕的顯示效果有了顯著提升，出現(xiàn)了具有例如4K高分辨率、240 Hz高刷新率的大尺寸顯示屏，可以更好地展示AR場景細節(jié)，用于制造車間的現(xiàn)場全景展示。商業(yè)化的移動手機處理能力和內(nèi)存有限，因此一些研究人員借助客戶機/服務(wù)器架構(gòu)來提高系統(tǒng)的實時性。HAKKARAINEN等[13]研究了在增強裝配系統(tǒng)中使用移動手機的可能性，利用Nokia手機和個人電腦建立一個客戶機/服務(wù)器架構(gòu)，個人電腦用來渲染復(fù)雜的CAD模型，CAD模型傳輸?shù)揭苿邮謾C完成快速渲染。HA等[14]使用安卓手機在客戶機/服務(wù)器架構(gòu)下實現(xiàn)對裝配場景目標的實時追蹤，其中手機用于圖像采集和虛擬信息渲染，服務(wù)器用于圖像分析和物體識別。

表1 顯示終端類型與優(yōu)缺點

HHM的使用需要占用用戶雙手，因此在裝配過程中使用較為不便，更多應(yīng)用于查看裝配現(xiàn)狀、查詢工藝文件等工作，對裝配效率的提升有限。隨著AR眼鏡的開發(fā)逐漸成熟，顯示設(shè)備向頭戴式顯示器(HMD)主導(dǎo)的Video see-through AR系統(tǒng)發(fā)展，結(jié)構(gòu)如圖3所示。

HMD可從結(jié)構(gòu)上分為視頻合成穿透式HMD與光學(xué)原理穿透式HMD。視頻合成穿透式HMD可以顯示圖形系統(tǒng)產(chǎn)生的虛擬信息和真實場景信息兩個通道的內(nèi)容。光學(xué)原理穿透式HMD則是將真實場景圖像通過減光處理后直接進入人眼，同時將虛擬信息圖像通過投影反射后再進入人眼，以光學(xué)方法將兩個通道的信息進行融合。視頻合成穿透式HMD由于需要在圖形系統(tǒng)中完成信息合成，存在一定延遲;光學(xué)原理穿透式HMD相對延遲較小。

頭戴式顯示器的應(yīng)用解放了用戶的雙手，可以在用戶裝配過程中對用戶進行引導(dǎo)。在車間裝配中，HMD查看信息的方式自然直觀，沉浸感強，便于用戶通過手勢、語音和虛擬按鈕等方式進行人機交互。目前市場上的新興AR眼鏡已經(jīng)將視頻合成穿透式和光學(xué)原理穿透式的HMD融合，如Microsoft HoloLens[15]，集成了慣性測量單元(IMU)、紅外攝像機、麥克風、飛行時間法(Time of Flight, TOF)深度傳感器等多種傳感器，結(jié)合自身搭載的計算處理平臺，可以在裝配中為用戶提供全方面的輔助。

總體來說,AR設(shè)備發(fā)展迅速，使用HMD的方式更加符合目前裝配需求，是未來AR硬件顯示設(shè)備的發(fā)展趨勢，然而受限于自身重量、處理器能力等，還需要在跟蹤精度和舒適性等方面進行改進和提升[16]。

2 關(guān)鍵技術(shù)的發(fā)展

2.1 跟蹤注冊

在增強裝配中，一個至關(guān)重要的任務(wù)是開發(fā)一個適用于工業(yè)場景的實時跟蹤注冊系統(tǒng)。工業(yè)場景有其獨有的特點，如產(chǎn)品結(jié)構(gòu)復(fù)雜、物體表面光滑、光線變化強烈、物體尺寸太小、電磁環(huán)境復(fù)雜等，對跟蹤注冊技術(shù)的應(yīng)用構(gòu)成了挑戰(zhàn)，當前主要的跟蹤注冊技術(shù)的分類與特性如表2所示。

表2 跟蹤注冊技術(shù)分類與特性

基于傳感器的跟蹤注冊是早期的一種方法，在增強裝配中也有應(yīng)用[17]。在增強裝配應(yīng)用中，基于傳感器的方法需要提供高精度、低延遲和低振動的魯棒性強的跟蹤注冊，以便適應(yīng)各種各樣的環(huán)境[18]。傳感器在裝配現(xiàn)場的應(yīng)用得到了很大限制，目前在增強裝配中已很少使用；基于機器視覺的跟蹤注冊方法是利用攝像機采集裝配現(xiàn)場圖像，利用圖像處理和相關(guān)位姿定位算法求解攝像機位姿。由于計算機視覺的發(fā)展以及智能手機、平板電腦以及HMD等設(shè)備上有大量圖像采集傳感器，基于視覺的跟蹤注冊逐漸成為當前的主流技術(shù)。

早期增強裝配中主要采用人工放置標識的方式實現(xiàn)目標跟蹤技術(shù)，即有標識(Marker-based)方法，主要采用ARToolkit、ARTag、SCR或環(huán)形標識點等人工標識，在AR裝配領(lǐng)域中使用的標志包括帶有圖案的小卡片、二維碼或者紅外標記等。有標識方法具有計算量小、速度快、跟蹤定位精度高等優(yōu)點，如李世其等[19]提出一個高效的基于顯示查找表(Look-Up-Table, LUT)的非迭代算法，提高了基于方形標識的位姿估計的穩(wěn)定性和精確性，且計算量小，適合于計算資源有限的移動設(shè)備。然而有標識方法在裝配車間的應(yīng)用中面臨以下問題：①若攝像機捕捉到的圖像中沒有標識，跟蹤注冊就會失敗；②受光照因素影響大，強光中難以辨識；③標識存在被遮擋情況；④僅適用于部分適合放置標識的工程環(huán)境。

隨著硬件系統(tǒng)的迭代發(fā)展，計算能力得到了顯著提升，而有標識方法在裝配中的缺點則逐漸凸顯。研究者們開始將無標識(Marker-less)技術(shù)應(yīng)用于增強裝配系統(tǒng)中，如基于模型、基于自然特征、基于同時定位與地圖構(gòu)建(Simultaneous Locatization and Mapping, SLAM)等多種方法。技術(shù)實現(xiàn)如圖4所示。

無標識方法的目標與有標識方法相同，都是為了求得相機的位姿，兩者的區(qū)別在于無標識方法可以用各種具有足夠特征點的自然物體實現(xiàn)目標的跟蹤注冊。常見方法有基于模型、基于自然特征、基于SLAM的方法?；谀Ｐ偷姆椒ㄐ枰獙δ繕宋矬w或場景事先建模，然后根據(jù)目標特征2D投影圖像與其空間3D坐標的對應(yīng)來求解位姿，能夠較好地實現(xiàn)復(fù)雜環(huán)境下的目標跟蹤定位。由于目前工業(yè)領(lǐng)域中無紙化生產(chǎn)的推廣，大多工業(yè)產(chǎn)品部件都有完備的電子模型，使得基于模型的方法在裝配場景中得到了廣泛關(guān)注。張昊鵬等[20]在增強裝配系統(tǒng)的跟蹤注冊環(huán)節(jié)直接采用零件模型進行渲染，保證了技術(shù)實現(xiàn)的實時性。視覺SLAM技術(shù)是指搭載特定傳感器的主體，在沒有環(huán)境先驗信息的情況下，在運動過程中建立環(huán)境模型，同時估計自己的運動[21]，多采用單目深度相機或雙目相機系統(tǒng)實現(xiàn)。大多新型AR眼鏡已經(jīng)集成了SLAM功能系統(tǒng)，在裝配場景中用于估計相機的相對位姿，與其他方法結(jié)合使用。

自然特征可以是目標的角點、邊緣甚至點云數(shù)據(jù)。在裝配場景中，零部件表面一般較為平滑光亮，依賴紋理的角點類特征稀缺?；谶吘壍姆椒▽τ谝暯亲兓?、一定范圍的光照變化、自遮擋等情況存在不變性，比角點特征更穩(wěn)定。例如STANIMIROVIC等[22]面向汽車產(chǎn)業(yè)場景，針對汽車高光表面的特點，采用邊緣和紋理點特征相結(jié)合的方法，與只依賴紋理或邊緣信息的算法相比，顯著提高了跟蹤注冊的魯棒性和穩(wěn)定性。PENG等[23]提出一種無標記跟蹤配準算法，采用光流跟蹤器實時跟蹤被測目標，解決了實時跟蹤速度較慢的問題。增強裝配在跟蹤注冊實現(xiàn)中常根據(jù)實際情況，結(jié)合使用多種方法，以達到最快、最準確的效果。

2.2 人機交互

AR裝配中，用戶可以通過手勢、語音等手段，快速地完成與增強裝配系統(tǒng)的交互，實現(xiàn)過程引導(dǎo)、裝配信息查詢等系統(tǒng)輔助功能。人機交互的目的是讓系統(tǒng)理解用戶發(fā)出的指令，按照用戶的意愿執(zhí)行相應(yīng)的動作。根據(jù)交互對象的不同，人機交互技術(shù)主要分為用戶與虛擬對象的交互和用戶對工作流程的控制兩種。

用戶與虛擬對象的交互涉及對虛擬對象的創(chuàng)建、移動、旋轉(zhuǎn)、縮放等操作，主要用于產(chǎn)品設(shè)計早期階段的裝配設(shè)計、裝配仿真與工藝規(guī)劃領(lǐng)域。傳統(tǒng)的交互方式有鼠標和鍵盤[24]，這類交互方式技術(shù)成熟，容易實現(xiàn)，但會打斷用戶正在進行的裝配作業(yè)，時間延遲大。另一類交互方式是借助特制的工具面板或標志物[25]，這種交互方式雖然可以實現(xiàn)精確操作，但是用戶學(xué)習(xí)成本大，且設(shè)備很笨拙，不夠自然直觀。此外還有使用數(shù)據(jù)手套的方式[26]，具有動作精度高、操作簡單的優(yōu)點，但數(shù)據(jù)手套的使用必須與位置跟蹤設(shè)備連用，且價格昂貴，難以推廣。與虛擬模型的交互方式最自然直觀的是借助用戶的手部信息進行交互，主要分為手勢識別[27]和徒手交互，這兩種類型都是基于計算機視覺技術(shù)進行識別的。手勢交互通常與虛擬按鈕相結(jié)合，類似于鼠標點擊菜單命令[28]，簡化了手勢輸入和識別，而且讓用戶專注于裝配工作，交互效率高。徒手交互徒手學(xué)習(xí)成本較低，可實現(xiàn)更多、更復(fù)雜、更自然的交互動作。當前，手部交互呈現(xiàn)由手勢識別向徒手交互方向發(fā)展的趨勢，已成為增強裝配仿真領(lǐng)域的一個研究熱點[29]。

用戶對工作流程的控制主要涉及裝配任務(wù)的啟動、暫停、信息選擇、上一步、下一步等控制命令，目標是使用戶快速獲取所需的裝配指導(dǎo)信息。當前主要交互手段是手勢交互和語音交互[30]。語音交互技術(shù)發(fā)展較快，技術(shù)相對成熟，在增強裝配中得到了廣泛應(yīng)用[31];手勢交互由于沒有完全釋放用戶雙手，給裝配的連續(xù)性造成了一定程度的干擾，語音交互則不適合在嘈雜的車間裝配環(huán)境中，因此一些增強裝配系統(tǒng)使用手勢和語音等多種交互方式，可以根據(jù)實際的裝配場景選擇合適的交互方式，從而提高系統(tǒng)的普適性。

2.3 虛實融合

虛實融合技術(shù)解決的問題是虛擬物體在真實環(huán)境中的融入一致性，包括幾何一致性和光照一致性。幾何一致性也就是遮擋處理，即虛擬物體能夠遮擋背景，同時也能夠被前景物體遮擋，具備正確的遮擋關(guān)系[32]。光照一致性關(guān)注虛實物體之間的光照影響，包括明暗、陰影等。在增強裝配領(lǐng)域，主要關(guān)注虛實遮擋問題，而光照一致性問題對用戶的影響很小，目前還沒有引起廣泛關(guān)注。

錯誤的遮擋關(guān)系容易導(dǎo)致觀察者在感官方向上的迷失和空間位置上的錯亂，降低真實感，嚴重影響用戶對裝配關(guān)系的理解。在雜亂的裝配環(huán)境下，若AR裝配系統(tǒng)沒有解決遮擋問題，則該系統(tǒng)不會顯著地促進工人實際的裝配作業(yè)[33]。因此，正確反映虛實零件間的遮擋關(guān)系，對增強裝配系統(tǒng)的實際工程應(yīng)用具有重要意義。主要虛實遮擋方法如表3所示。

表3 虛實遮擋方法比較

在增強裝配領(lǐng)域，常用的遮擋處理方法主要有基于深度的虛實遮擋和基于模型的虛實遮擋兩大類?；谏疃扔嬎愕恼趽醴椒ㄐ枰褂昧Ⅲw視差實時計算真實場景的深度信息，然后根據(jù)視點位置、虛擬物體的疊加位置以及求得的場景深度信息，判斷虛擬物體與真實場景的空間位置關(guān)系，進行相應(yīng)的遮擋渲染，從而實現(xiàn)虛實遮擋[34]?；谀Ｐ椭亟ǖ恼趽醴椒ㄐ枰A(yù)先對會與虛擬物體發(fā)生遮擋關(guān)系的真實物體進行三維建模，用三維模型覆蓋真實物體，然后比較虛實物體模型的深度值。根據(jù)比較結(jié)果，只渲染虛擬物體未被真實物體遮擋的部分，不渲染虛擬物體被遮擋的部分。對于這類方法而言，由于預(yù)先得到了會與虛擬物體發(fā)生遮擋關(guān)系的真實物體的三維模型，后續(xù)的虛實遮擋處理的計算量小，實時性好；并且當觀察視角變化時，也能夠正確判斷虛實遮擋關(guān)系。例如徐遲、王峻峰[35-36]等從CAD軟件提取真實零件的三維幾何模型，注冊模型并投影到成像平面，然后逐像素比較虛擬場景和攝像視頻的深度值，判斷虛擬零件、可視裝配特征、上下文導(dǎo)航信息與真實場景的遮擋關(guān)系，實現(xiàn)了一個虛實零件混合裝配原型系統(tǒng)，并且定量比較了不同分辨率下系統(tǒng)中各個軟件模塊的執(zhí)行效率。

基于模型的虛實遮擋方法在簡單場景中具有較好的處理效果及速度，但在復(fù)雜場景中表現(xiàn)不佳，實時性差；基于深度的虛實遮擋方法可以應(yīng)用到較為復(fù)雜的環(huán)境中，但是當攝像機視角或真實場景改變時，需要重新計算虛實遮擋關(guān)系，應(yīng)用不便[37]。綜上所述，受限于不同的問題，對虛實遮擋問題處理的研究仍是增強裝配應(yīng)用中的一大熱點和難點。

2.4 內(nèi)容創(chuàng)作

增強裝配的概念出現(xiàn)后，大量的研究報告驗證了AR技術(shù)在產(chǎn)品裝配維修等領(lǐng)域的應(yīng)用前景[38]，但增強裝配并沒有得到廣泛使用，除了跟蹤注冊、顯示終端等關(guān)鍵技術(shù)與硬件的局限性之外，耗時費力的內(nèi)容創(chuàng)作也是阻礙AR系統(tǒng)廣泛應(yīng)用的因素之一。

增強裝配所需信息涉及裝配工藝信息、零件管理信息、裝配約束信息、工具量具信息、工藝檢驗信息、操作反饋信息等，如圖5所示。復(fù)雜產(chǎn)品裝配過程中的裝配信息復(fù)雜多樣，涉及從裝配工藝指令到數(shù)字模型的多種形式信息。對裝配信息進行管理和推送，是增強裝配中的一個重要組成部分。

早期的內(nèi)容創(chuàng)作方式是手工編輯，創(chuàng)作過程靈活，但繁瑣耗時。HARINGER等[39]描述了AR創(chuàng)作系統(tǒng)“PowerSpace”，利用Microsoft PowerPoint的2D演示功能生成AR信息布局框架，導(dǎo)出基于xml的可擴展描述，然后再轉(zhuǎn)化成3D內(nèi)容。ZAUNER等[40]提供了一個編輯向?qū)?，允許裝配專家為分層結(jié)構(gòu)編寫新的裝配工藝指導(dǎo)。在制造業(yè)中增強裝配的最大挑戰(zhàn)之一是利用現(xiàn)有的產(chǎn)品數(shù)據(jù)，即將CAD系統(tǒng)中定義的所有產(chǎn)品數(shù)據(jù)轉(zhuǎn)換或集成到AR系統(tǒng)中。MAKRIS等[41]借助裝配序列生成器與產(chǎn)品CAD模型，自動規(guī)劃裝配序列，然后利用語義數(shù)據(jù)和AR虛擬指令庫中指令模板自動生成裝配指令，使專家輸入AR指令的工作量最小化。XIN等[42]采用基于本體的裝配信息管理，從CAD系統(tǒng)中提取信息進行獨立存儲和推理裝配關(guān)系，增強了推理功能。LORENZ等[43]提出了CAD數(shù)據(jù)向VR/AR轉(zhuǎn)換的目標、原則以及相應(yīng)的解決方案，對后續(xù)研究具有一定的指導(dǎo)意義。

為實現(xiàn)便捷的內(nèi)容創(chuàng)作，一些學(xué)者研究從視頻流中自動提取增強內(nèi)容，該方法不需要用戶具備任何編程語言或動畫工具等專業(yè)知識就可以進行復(fù)雜的AR內(nèi)容創(chuàng)作。PHAM等[44]利用非監(jiān)督對象識別、工作流發(fā)現(xiàn)和語義信息提取技術(shù)開發(fā)的無監(jiān)督工作流提取系統(tǒng)，能從機械裝配的第一人稱視頻中自動發(fā)現(xiàn)工作步驟和每一步的操作，并自動生成工作流指令，使內(nèi)容創(chuàng)作的效率和通用性顯著提高，但系統(tǒng)還存在手勢識別的局限性。BHATTACHARYA等[45]開發(fā)了能夠自動生成AR工作指令的增強現(xiàn)實專家演示創(chuàng)作(Augmented Reality via Expert Demonstration Authoring, AREDA)系統(tǒng)，指令生成分為演示和細化兩個階段，演示階段利用計算機視覺相關(guān)算法從專家裝配活動視頻中自動生成AR工作指令，細化階段允許用戶修改自動生成的AR工作指令，以修復(fù)錯誤并添加有用的虛擬內(nèi)容(文本指令)。AREDA系統(tǒng)適用于零件相對較小的臺式裝配，主要缺點是在裝配演示階段不能移動子裝配體。此外，針對裝配信息的組織與管理，李旺等[46]以基本裝配工藝信息為單元，組織管理工藝內(nèi)容編輯，利用集成計算機輔助制造定義(IDEF1-eXtended, IDEF1X)方法對基本裝配工藝信息建立模型，進行可視化表達。尹旭悅等[47]采用結(jié)構(gòu)化工藝設(shè)計方式將各類裝配工藝信息按類匯總并輸出相應(yīng)格式的文件，采用結(jié)構(gòu)化和面向?qū)ο蠡姆绞酱鎯?，便于?shù)據(jù)管理與集成。隨著制造工藝信息的集成度不斷提高，增強裝配的內(nèi)容創(chuàng)作已不再局限于信息集成，而是如何向用戶推送更符合當前狀態(tài)和用戶需求的裝配信息。

3 增強裝配在復(fù)雜產(chǎn)品裝配中的應(yīng)用

本文從增強裝配指導(dǎo)、增強裝配訓(xùn)練、增強裝配過程仿真與規(guī)劃幾個應(yīng)用方面梳理和總結(jié)了增強裝配技術(shù)在生產(chǎn)裝配中的應(yīng)用現(xiàn)狀。具有代表性的應(yīng)用研究如表4所示。

表4 基于增強裝配的主要研究

3.1 裝配指導(dǎo)

增強裝配的典型應(yīng)用場景之一是裝配難度大、操作繁多，需要大量指導(dǎo)的復(fù)雜產(chǎn)品裝配任務(wù)，常見的有復(fù)雜產(chǎn)品線纜敷設(shè)，飛機、衛(wèi)星、輪船等復(fù)雜產(chǎn)品手工裝配領(lǐng)域。

復(fù)雜產(chǎn)品線纜敷設(shè)是一項復(fù)雜繁重的工作，在傳統(tǒng)方法中，布線設(shè)計人員采用基于實物樣機的模擬裝配實驗方法生成接線表，現(xiàn)場布線人員依據(jù)接線表、二維圖紙或固定看板顯示的3D模型完成布線操作，布線人員需要在裝配場景和指導(dǎo)文件之間來回切換，還需識別密集分布的連接對象，認知負擔很重，并且這種方法效率低，裝配質(zhì)量和可靠性難以得到保證。增強裝配可以較好地解決這些難題，因此許多增強裝配系統(tǒng)選取線纜敷設(shè)作為典型的應(yīng)用場景[57]。OLBRICH等[58]研究增強裝配在造船管線敷設(shè)上的應(yīng)用，將管道的虛擬模型疊加在船體上，在發(fā)生偏差、碰撞或其他沖突時可以修改這些管道數(shù)據(jù)，修改后的管道幾何形狀數(shù)據(jù)可以存儲，并作為數(shù)控彎管機的輸入，此外還集成了光學(xué)測量系統(tǒng)，測量系統(tǒng)采用兩個照明點對虛擬直管段進行對齊，使其與現(xiàn)有螺栓孔完全對齊。王發(fā)麟等[59]提出一種面向復(fù)雜機電產(chǎn)品的線纜虛實融合裝配方法，借助增強裝配技術(shù)構(gòu)建虛擬裝配場景和人機交互界面，將布線路徑和文字信息渲染后呈現(xiàn)在用戶眼前，指導(dǎo)用戶完成線纜敷設(shè)。

復(fù)雜產(chǎn)品手動裝配包括3個主要操作：識別要裝配的部件、裝配位置對準、安裝或緊固零部件。增強裝配系統(tǒng)可以為這3個主要步驟提供指導(dǎo)信息。如DE CRESCENZIO等[24]開發(fā)了一個增強裝配飛機檢修原型系統(tǒng)，系統(tǒng)主要由耳機、Liteye LE750透視式頭盔、羅技攝像頭和便攜式電腦組成，實驗驗證該系統(tǒng)在飛機油箱檢查中運行有效，但硬件組成笨重，跟蹤注冊實時性低，阻礙了該系統(tǒng)的推廣應(yīng)用。DOSHI等[60]介紹一個增強裝配系統(tǒng)的應(yīng)用，系統(tǒng)為手工焊接操作人員突出汽車面板上的點焊位置。這項工作的目的是提高手工點焊的精度和準確性，為汽車制造商提高產(chǎn)品質(zhì)量。原型系統(tǒng)被部署在澳大利亞伊麗莎白市通用汽車霍爾頓工廠的霍爾頓克魯茲汽車生產(chǎn)線上，使用后人工點焊的標準偏差降低了52%，提高了裝配效率和裝配質(zhì)量。

3.2 裝配訓(xùn)練

復(fù)雜產(chǎn)品裝配作業(yè)對裝配人員的技術(shù)素養(yǎng)和技能熟練度有著較高要求，裝配人員需要經(jīng)過一定量的裝配訓(xùn)練才能適應(yīng)產(chǎn)品裝配作業(yè)。汽車、飛機等工業(yè)的不斷發(fā)展，需要更多的裝配工人來提高產(chǎn)量，新員工的培訓(xùn)對于確保優(yōu)質(zhì)的產(chǎn)品生產(chǎn)至關(guān)重要。增強裝配系統(tǒng)可以通過HMD等顯示終端，在裝配訓(xùn)練中為用戶提供必要的增強信息，對裝配人員進行提示，通過直觀化的信息展示提高培訓(xùn)質(zhì)量。

WESTERFIELD等[61]研究了增強現(xiàn)實與智能輔導(dǎo)系統(tǒng)的結(jié)合。用戶可以看到可視化信息，并接收到幫助組裝培訓(xùn)的附加信息。他們進行了一項用戶研究，用以比較有和沒有增強裝配系統(tǒng)支持的裝配培訓(xùn)的結(jié)果。實驗要求用戶在計算機主板上組裝顯卡、網(wǎng)卡，增強裝配系統(tǒng)中，簡化的半透明三維模型為用戶顯示了這些零件的裝配位置。結(jié)果表明，與傳統(tǒng)的AR應(yīng)用相比，增強裝配系統(tǒng)的使用減少裝配時間達30%。YIN等[62]提出一種VR與AR組合手動操作指令系統(tǒng)(VR&AR combined Manual Operation Instruction System, VAMOIS)，以輔助技術(shù)人員在混合現(xiàn)實場景下進行手動操作指令，實現(xiàn)了現(xiàn)場和虛擬指令內(nèi)容的同步、實時顯示。該系統(tǒng)在增強裝配的教學(xué)規(guī)劃子系統(tǒng)中開發(fā)了虛擬手導(dǎo)師，指導(dǎo)學(xué)員正確地移動部件和使用工具，此外為了提高教學(xué)系統(tǒng)的視覺效果，他們提出了動態(tài)位置配準和自然遮擋方法。實驗結(jié)果表明，與傳統(tǒng)的訓(xùn)練方法相比，該系統(tǒng)提高了手工操作效率，具有更好的用戶體驗。ROHIDATUN等[63]通過將AR與VR技術(shù)進行結(jié)合，用于裝配人員的學(xué)習(xí)和培訓(xùn)，實驗表明可以有效提高用戶對閥門裝配過程的掌握程度，并最大限度地提高用戶的技術(shù)水平。

3.3 裝配仿真與規(guī)劃

增強裝配在產(chǎn)品初始設(shè)計階段和裝配仿真規(guī)劃中有巨大的應(yīng)用潛力。在增強環(huán)境中，用戶既可以獲取真實反饋，也可以感知虛擬內(nèi)容，以便分析產(chǎn)品的行為和屬性。在初始設(shè)計階段，虛實融合的場景展示可以讓設(shè)計者更真切全面地審視自己的作品，通過裝配仿真與規(guī)劃，可以及早發(fā)現(xiàn)設(shè)計缺陷，縮短研發(fā)時間，降低成本，提高研發(fā)效率。

YOUCEF-TOUMI等[64]將增強裝配應(yīng)用于自上而下的產(chǎn)品設(shè)計過程中，真實的裝配平臺和環(huán)境能為設(shè)計者提供直觀的參照，通過虛擬裝配特征來快速設(shè)計裝配體的總體結(jié)構(gòu)和零部件之間的裝配關(guān)系，可以輔助設(shè)計者在早期設(shè)計階段就考慮裝配協(xié)調(diào)問題。ONG等[65]提出基于增強裝配技術(shù)將產(chǎn)品的裝配設(shè)計與工作場所的設(shè)計相結(jié)合的方法，工作場所的設(shè)計和規(guī)劃信息可以實時反饋給設(shè)計人員和工程師，幫助他們在產(chǎn)品裝配設(shè)計和規(guī)劃方面做出更符合實際的方案。在概念產(chǎn)品設(shè)計中，裝配運動仿真對于識別潛在的裝配問題和提高裝配效率至關(guān)重要，ANASTASSOVA等[66]介紹了在一個研發(fā)項目的早期階段進行的人機工程學(xué)分析，目的是調(diào)查當今汽車服務(wù)技術(shù)人員培訓(xùn)的功能，以便為增強現(xiàn)實教學(xué)輔助設(shè)備的設(shè)計提供信息。WANG等[29]提出一種增強裝配環(huán)境下的三維徒手交互方法，用于虛擬零件的操作和裝配，通過一種基于約束分析的混合方法，可以在不需要輔助CAD信息的情況下，較好地解釋用戶手工裝配示意圖，同時建立了裝配約束識別、裝配工具操作和裝配序列評價的算法。WANG等[55]提出一種基于AR技術(shù)的手工裝配設(shè)計系統(tǒng)，為裝配信息管理設(shè)計了裝配數(shù)據(jù)結(jié)構(gòu)，并提出了裝配約束識別和裝配位置優(yōu)化算法。系統(tǒng)可以使用戶在不需要輔助計算機輔助設(shè)計信息的情況下模擬手工裝配，增強了用戶體驗，減少了準備時間。該交互式手工裝配設(shè)計系統(tǒng)集成了一種三維徒手交互方法，使用戶能夠自然有效地操作虛擬構(gòu)件。王強等[67]提出一種基于增強裝配的人機協(xié)作仿真方法，建立了裝配仿真環(huán)境中的人機交互方案，設(shè)計了人因評估模型并開發(fā)了相應(yīng)的原型系統(tǒng)，并驗證了方案可行性，證明系統(tǒng)應(yīng)用可以緩解裝配人員的生理疲勞和心理疲勞。

4 發(fā)展機遇與挑戰(zhàn)

隨著新一代硬件技術(shù)、人工智能和通信技術(shù)的快速發(fā)展，增強裝配在復(fù)雜產(chǎn)品裝配中的研究和應(yīng)用得到了很大擴展。增強裝配迎來了巨大的發(fā)展機遇，主要有以下幾點：

(1)5G與增強裝配的融合

5G(第五代移動通信)技術(shù)的傳輸速度可以達到4G網(wǎng)絡(luò)的百倍甚至更多，可以提供制造過程中大量數(shù)據(jù)的低時延傳輸，實現(xiàn)和制造物聯(lián)網(wǎng)的高密度互聯(lián)互通，為增強裝配提供云平臺，便于將視覺渲染等功能傳輸至高性能服務(wù)器上執(zhí)行，突破硬件性能的限制。

(2)AI技術(shù)與增強裝配的融合

新一代AI(人工智能)技術(shù)的應(yīng)用將大幅提升增強裝配系統(tǒng)的數(shù)字化和智能化程度。AI技術(shù)可以促進實時圖像和語音識別技術(shù)的發(fā)展，極大提高增強裝配中的人機交互能力。AI技術(shù)中的計算機視覺(Computer Vision, CV)算法和視覺SLAM等技術(shù)的應(yīng)用可以有效提升圖像分類、目標檢測等視覺功能的效率和質(zhì)量，提高增強裝配系統(tǒng)的實時性和準確度。

(3)智能制造工業(yè)應(yīng)用標準的制定

隨著“中國制造2025”的不斷推進，物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)的很多接口標準已經(jīng)發(fā)布和使用，同時還有很多標準正在制定或準備制定。作為智能制造理念的應(yīng)用體現(xiàn)，增強裝配的應(yīng)用技術(shù)將隨著智能制造標準化、統(tǒng)一化的進程而不斷發(fā)展，在未來的制造領(lǐng)域發(fā)揮巨大的工程價值。

工業(yè)智能化、信息化的推動，使增強裝配取得了很大發(fā)展，同時也為增強裝配的應(yīng)用提出了嚴苛的挑戰(zhàn)。

目前增強裝配系統(tǒng)的開發(fā)多為各種AR SDK，缺乏專用的AR引擎，而制造企業(yè)大多也沒有專業(yè)開發(fā)團隊，增強裝配系統(tǒng)開發(fā)周期較長。此外，現(xiàn)有AR SDK多用圖片識別、基礎(chǔ)特征識別的方法實現(xiàn)，對于復(fù)雜工業(yè)模型、環(huán)境的識別結(jié)果不夠穩(wěn)定。增強裝配實現(xiàn)方式集中于手機、平板電腦、AR眼鏡等顯示終端，其中手機、平板的應(yīng)用會占用用戶的雙手，而現(xiàn)有AR眼鏡仍然有體積和重量較大，處理器性能欠佳等問題，用戶長時間佩戴容易感到不適，不適于長期工作。

5 結(jié)束語

現(xiàn)代制造業(yè)中，裝配工作在產(chǎn)品制造流程中占據(jù)著很大比重，復(fù)雜產(chǎn)品的裝配生產(chǎn)仍以手工裝配為主。工業(yè)物聯(lián)網(wǎng)、5G等新興信息技術(shù)的快速發(fā)展，正推動制造業(yè)制造模式的深刻變革。作為制造智能化的集中應(yīng)用之一，增強裝配在復(fù)雜產(chǎn)品裝配的改革中發(fā)揮了重要作用。本文通過梳理國內(nèi)外增強裝配技術(shù)的相關(guān)文獻，總結(jié)了增強裝配的典型架構(gòu)，闡述了跟蹤注冊、人機交互、虛實融合等關(guān)鍵技術(shù)的發(fā)展，以及在裝配指導(dǎo)、訓(xùn)練、仿真與規(guī)劃中等方面的應(yīng)用現(xiàn)狀，探討了增強裝配的發(fā)展與挑戰(zhàn)。增強裝配有著巨大的應(yīng)用潛力，在解決系統(tǒng)開發(fā)，終端輕量化、智能化等問題后，將能夠更好地融入工業(yè)物聯(lián)網(wǎng)，成為智能裝配的重要一環(huán)。