王峻峰， 徐 遲， 李世其

（華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院工業(yè)與制造系統(tǒng)工程系，湖北 武漢 430074）

增強(qiáng)現(xiàn)實(shí)環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)

王峻峰， 徐 遲， 李世其

（華中科技大學(xué)機(jī)械科學(xué)與工程學(xué)院工業(yè)與制造系統(tǒng)工程系，湖北 武漢 430074）

以增強(qiáng)現(xiàn)實(shí)環(huán)境下引導(dǎo)產(chǎn)品裝配為目標(biāo)，建立了面向增強(qiáng)裝配過程的統(tǒng)一信息模型，管理文字、幾何和產(chǎn)品裝配特征等可視化引導(dǎo)信息。采用基于標(biāo)志物的視覺跟蹤技術(shù)實(shí)現(xiàn)虛擬零件和視頻中真實(shí)零件的注冊(cè)定位，通過建立虛擬和真實(shí)裝配場(chǎng)景的深度圖處理增強(qiáng)裝配場(chǎng)景中虛實(shí)物體的遮擋關(guān)系。利用虛實(shí)零件的注冊(cè)位置把裝配引導(dǎo)信息疊加到裝配視頻場(chǎng)景中。并開發(fā)了演示系統(tǒng)，分析和說明了增強(qiáng)現(xiàn)實(shí)環(huán)境下引導(dǎo)產(chǎn)品進(jìn)行裝配的過程。

計(jì)算機(jī)應(yīng)用；增強(qiáng)現(xiàn)實(shí)；裝配引導(dǎo)；標(biāo)志物注冊(cè)；信息疊加

現(xiàn)代機(jī)電產(chǎn)品具有系統(tǒng)組成復(fù)雜、技術(shù)復(fù)雜、制造過程復(fù)雜的特點(diǎn)。在進(jìn)行實(shí)際生產(chǎn)裝配時(shí)，零件裝配規(guī)模大，蘊(yùn)含大量復(fù)雜多樣、形式靈活的行業(yè)知識(shí)。另外，產(chǎn)品在研制、設(shè)計(jì)、生產(chǎn)、使用和保障工作中會(huì)產(chǎn)生許多技術(shù)信息數(shù)據(jù)，這是支持產(chǎn)品裝配、使用和維修保障的資源。但資料手冊(cè)繁多，管理和使用不便，大大降低了工作的效率。虛擬裝配技術(shù)[1]將人“沉浸”在計(jì)算機(jī)中去操作完全虛擬的產(chǎn)品模型，對(duì)開發(fā)前期的設(shè)計(jì)、裝配、驗(yàn)證有重要作用，但對(duì)開發(fā)后期實(shí)際裝配過程的支持有限。增強(qiáng)現(xiàn)實(shí)技術(shù) 通過將計(jì)算機(jī)產(chǎn)生的圖形、文字注釋等虛擬信息有機(jī)的融合到使用者所看到的真實(shí)世界景象中，對(duì)人的視覺系統(tǒng)進(jìn)行影像增強(qiáng)或擴(kuò)張，達(dá)到支持人獲得豐富信息、輔助工作的目的。增強(qiáng)現(xiàn)實(shí)在產(chǎn)品裝配和維修方面的研究得到廣泛關(guān)注并有了成功的案例。

Pang等[3]借助增強(qiáng)現(xiàn)實(shí)技術(shù)研究集成產(chǎn)品裝配設(shè)計(jì)和規(guī)劃活動(dòng)，將設(shè)計(jì)中的虛擬零件和已經(jīng)存在的真實(shí)零件結(jié)合起來，融入增強(qiáng)裝配空間，對(duì)兩者進(jìn)行比較、操作、修改，有效進(jìn)行虛擬零件的裝配特征設(shè)計(jì)。增強(qiáng)現(xiàn)實(shí)環(huán)境下的裝配序列檢查和評(píng)價(jià)能夠協(xié)助裝配人員識(shí)別不可行的裝配序列，選擇最優(yōu)的裝配序列[4-5]。90年代初期波音公司的電纜導(dǎo)線裝配是增強(qiáng)現(xiàn)實(shí)在工業(yè)裝配領(lǐng)域中的典型案例[6]。德國(guó)教育研究部資助的 ARVIKA項(xiàng)目主要針對(duì)飛機(jī)、汽車的裝配維修[7]。歐洲共同體發(fā)起的STARMATE項(xiàng)目的主要功能是幫助用戶完成復(fù)雜機(jī)械產(chǎn)品的組裝維修以及新用戶培訓(xùn)[8]。芬蘭VTT技術(shù)研究中心增強(qiáng)裝配（Augmented Assembly）利用虛擬零件、虛擬裝配工具和增強(qiáng)裝配提示信息指導(dǎo)用戶實(shí)際裝配操作[9]。南京航空航天大學(xué)[10]以航空發(fā)動(dòng)機(jī)外場(chǎng)典型維修工作為例，開發(fā)了一種以維修人員為中心的人性化、智能化的增強(qiáng)現(xiàn)實(shí)維修輔助系統(tǒng)。

實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)環(huán)境下的裝配和維護(hù)，需要綜合利用計(jì)算機(jī)視覺、圖像分析、計(jì)算機(jī)輔助設(shè)計(jì)CAD和產(chǎn)品裝配等技術(shù)[11-12]。本文以產(chǎn)品裝配為對(duì)象，通過建立增強(qiáng)裝配的信息模型，對(duì)增強(qiáng)裝配引導(dǎo)信息進(jìn)行統(tǒng)一管理；利用基于標(biāo)志物的注冊(cè)方法進(jìn)行虛實(shí)裝配零件定位，并對(duì)裝配引導(dǎo)信息進(jìn)行疊加。

1 增強(qiáng)裝配信息建模

在增強(qiáng)現(xiàn)實(shí)環(huán)境下的裝配引導(dǎo)需要大量信息，如裝配步驟、裝配特征和裝配位置等。裝配操作的對(duì)象仍然是零件和裝配體，但零件包含虛擬和真實(shí)兩種。為有效引導(dǎo)用戶進(jìn)行零件裝配，本文按照裝配引導(dǎo)信息的類別建立增強(qiáng)裝配信息模型，如圖1所示。

圖1 增強(qiáng)裝配信息分類

1.1 文字信息

文字信息是產(chǎn)品裝配過程中指導(dǎo)用戶裝配的重要媒介，包括各個(gè)零部件的名稱、代碼/號(hào)、裝配步驟說明、使用的裝配工具名稱等。傳統(tǒng)裝配過程中，用戶是通過裝配手冊(cè)來熟悉并掌握這些信息的。增強(qiáng)裝配過程中，這些信息需要實(shí)時(shí)顯示在用戶視野中，引導(dǎo)用戶進(jìn)行正確的裝配工作。

1.2 幾何信息

對(duì)裝配位置的指示和真實(shí)、虛擬零件的外形進(jìn)行增強(qiáng)需要幾何信息。增強(qiáng)裝配的虛實(shí)零件幾何模型都采用三角面片模型，對(duì)于虛實(shí)零件采用不同的渲染處理方式，因此兩種模型的組成元素不同。虛擬零件幾何模型包含點(diǎn)、邊、面、法向量、紋理5種信息。虛擬零件在現(xiàn)實(shí)中是不存在的，增強(qiáng)裝配系統(tǒng)將虛擬零件用計(jì)算機(jī)圖形學(xué)的方法繪制出來，并疊加到真實(shí)裝配場(chǎng)景圖像中。真實(shí)零件幾何模型只包含點(diǎn)、邊、面3種信息，用于線框模式的真實(shí)零件位置、幾何形狀信息的增強(qiáng)引導(dǎo)。

空間位姿信息記錄了零件相對(duì)于父節(jié)點(diǎn)坐標(biāo)系的空間變換關(guān)系，由旋轉(zhuǎn)矩陣與平移矩陣組成。空間位姿矩陣是動(dòng)態(tài)的，通過用戶操作板能實(shí)時(shí)改變零件的位姿矩陣；裝配路徑規(guī)劃系統(tǒng)能生成動(dòng)態(tài)空間位姿信息，使零件沿預(yù)定路徑運(yùn)動(dòng)。

1.3 裝配特征信息

裝配特征是指有裝配關(guān)系的兩個(gè)零件的幾何特征，例如平面、柱面和軸線等，作為可視的裝配約束信息，用戶往往通過零件的裝配特征來判斷零件之間的裝配配合關(guān)系。用戶進(jìn)行裝配操作過程中，系統(tǒng)將實(shí)時(shí)顯示這些裝配特征幫助用戶識(shí)別場(chǎng)景中的裝配約束，引導(dǎo)用戶將零件裝配到目標(biāo)位置。本文主要考慮軸線和平面兩類裝配特征。

從裝配模型的構(gòu)建層次角度來看，本文的增強(qiáng)裝配模型主要包括零件幾何模型、裝配約束模型和裝配層次模型。零件幾何模型由CAD軟件建模并輸出為增強(qiáng)裝配系統(tǒng)所需三角面片模型格式。裝配約束模型定義了零件間約束關(guān)系，通過約束關(guān)系得到裝配特征并確定零件在裝配體中的空間位姿矩陣。裝配層次模型以樹結(jié)構(gòu)對(duì)裝配體中的虛實(shí)零件進(jìn)行統(tǒng)一管理。

2 虛實(shí)裝配場(chǎng)景注冊(cè)定位

虛實(shí)裝配場(chǎng)景注冊(cè)定位是指通過計(jì)算機(jī)視覺系統(tǒng)實(shí)時(shí)檢測(cè)出攝像機(jī)的相對(duì)位置和方向，確定計(jì)算機(jī)產(chǎn)生的虛擬零件和增強(qiáng)信息在真實(shí)空間坐標(biāo)中的映射位置，并把它們實(shí)時(shí)顯示在真實(shí)裝配視頻場(chǎng)景的正確位置中。

虛實(shí)注冊(cè)的實(shí)現(xiàn)依賴于攝像機(jī)坐標(biāo)系、虛擬場(chǎng)景坐標(biāo)系和真實(shí)場(chǎng)景坐標(biāo)系以及2D成像平面坐標(biāo)系的轉(zhuǎn)換，總體過程為3個(gè)方面[12]：首先計(jì)算真實(shí)場(chǎng)景到攝像機(jī)的坐標(biāo)系變化，或者說是攝像機(jī)相對(duì)于真實(shí)場(chǎng)景的方位參數(shù)；然后結(jié)合攝像機(jī)內(nèi)部參數(shù)（焦距和像元的高寬比等），根據(jù)攝像機(jī)針孔透視成像原理確定 3D 場(chǎng)景到 2D 成像平面的坐標(biāo)系變換；最后確定虛擬物體在真實(shí)場(chǎng)景三維歐式空間里的位置和方向，完成虛擬零件到真實(shí)裝配場(chǎng)景圖像的坐標(biāo)系變換。通過上述步驟，就可以得到各個(gè)坐標(biāo)系之間的變換關(guān)系，實(shí)現(xiàn)虛擬零件在真實(shí)裝配視頻場(chǎng)景中的繪制和融合。

2.1 基于標(biāo)志物的零件注冊(cè)

本文采用基于標(biāo)志物的視覺跟蹤注冊(cè)方法，所使用的標(biāo)志物長(zhǎng)、寬分別為60mm，4個(gè)角點(diǎn)的坐標(biāo)分別為(30，30，0)(-30，30，0)(-30，-30，0)(30，-30，0)，如圖2所示。系統(tǒng)從輸入的視頻中識(shí)別出二維的標(biāo)志物，計(jì)算出相對(duì)于標(biāo)志物的攝像頭位置、方向等外部參數(shù)信息。為了簡(jiǎn)化場(chǎng)景的相對(duì)運(yùn)動(dòng)，以攝像頭坐標(biāo)系為基準(zhǔn)坐標(biāo)系，當(dāng)用戶對(duì)真實(shí)零件進(jìn)行操作或移動(dòng)攝像頭從不同角度觀察裝配場(chǎng)景時(shí)，裝配場(chǎng)景的變動(dòng)可以統(tǒng)一為真實(shí)零件相對(duì)于攝像頭坐標(biāo)系的運(yùn)動(dòng)。

圖2 標(biāo)志物圖案

為實(shí)現(xiàn)標(biāo)志物的識(shí)別，本文采用基于子圖像均值的統(tǒng)計(jì)式適應(yīng)性閾值算法進(jìn)行備選區(qū)域檢測(cè)；為提取可能的連接區(qū)域的邊緣，簡(jiǎn)化邊緣曲線，使用 Douglas-Peucker算法曲線簡(jiǎn)化算法。得到標(biāo)志物備選區(qū)域后，要判斷這些區(qū)域是否是標(biāo)志物在圖像坐標(biāo)系中對(duì)應(yīng)的成像區(qū)域，本文使用最小二乘法對(duì)四邊形的4條邊重新定位，并把4條邊的交點(diǎn)重新賦值給四邊形輪廓的 4個(gè)頂點(diǎn)。

裝配空間中真實(shí)零件（取裝配基礎(chǔ)件）與相應(yīng)的標(biāo)志物是固聯(lián)的，通過識(shí)別視頻中的標(biāo)志物來確定當(dāng)前真實(shí)零件的位置。虛擬零件與真實(shí)零件間具有一定的裝配約束關(guān)系，因此虛擬零件的空間位置可以通過真實(shí)零件的空間位置確定。設(shè)真實(shí)零件A與虛擬零件B之間存在裝配約束關(guān)系，則可以得到一個(gè)變換關(guān)系其中BAR表示A到B的旋轉(zhuǎn)矩陣，t表示平移矩陣。如果知道零件A在攝像頭坐標(biāo)系中的空間位置CAT，則可通過變換矩陣ABT計(jì)算零件B的空間位置為：完成虛擬零件B的注冊(cè)定位工作。

2.2 虛實(shí)遮擋處理

在虛實(shí)融合的增強(qiáng)裝配場(chǎng)景中既包含虛擬零件也包含真實(shí)零件，傳統(tǒng)的虛實(shí)疊加方法中，虛擬零件影像總是疊加在真實(shí)零件影像之上，對(duì)圖像進(jìn)行融合時(shí)會(huì)出現(xiàn)虛實(shí)遮擋問題。本文采用基于深度圖（即Z buffer）的疊加方法，通過提取真實(shí)零件與虛擬零件在攝像頭空間內(nèi)的空間位置信息來判斷它們的前后疊加關(guān)系。

1） 虛擬裝配場(chǎng)景的深度圖

虛擬裝配場(chǎng)景的深度圖記錄了渲染區(qū)域內(nèi)與可見的虛擬零件表面經(jīng)柵格化后對(duì)應(yīng)像素的深度值，該深度圖很容易從渲染引擎獲得。當(dāng)渲染模塊對(duì)虛擬場(chǎng)景中零件進(jìn)行繪制時(shí)，也同步生成了相應(yīng)的虛擬場(chǎng)景深度圖。該深度圖記錄了虛擬場(chǎng)景中每個(gè)像素點(diǎn)對(duì)應(yīng)的虛擬零件的表面到觀察點(diǎn)的距離。

2） 真實(shí)裝配場(chǎng)景的深度圖

真實(shí)裝配場(chǎng)景的深度圖記錄了攝像頭拍攝到的真實(shí)場(chǎng)景原始視頻中每個(gè)像素點(diǎn)相對(duì)觀察點(diǎn)的深度信息，該深度圖可通過多種方法獲得。針對(duì)裝配應(yīng)用，事先可以獲取真實(shí)裝配場(chǎng)景中包含的零件幾何模型，因此本文選擇了基于真實(shí)零件幾何模型的深度圖獲取方法。該方法運(yùn)算量小，實(shí)時(shí)性強(qiáng)，能精確反映真實(shí)場(chǎng)景深度值。

為獲得真實(shí)場(chǎng)景深度圖，首先將真實(shí)場(chǎng)景中的零件注冊(cè)到攝像頭成像坐標(biāo)系中。系統(tǒng)從CAD接口提取真實(shí)零件相關(guān)幾何模型，通過旋轉(zhuǎn)平移變換到攝像頭坐標(biāo)系中，然后透視投影變換到成像平面，使該模型表面面片的投影區(qū)域與攝像頭原始視頻中相應(yīng)真實(shí)零件影像區(qū)域重合。渲染引擎對(duì)注冊(cè)后的真實(shí)零件幾何模型進(jìn)行渲染，提取深度信息。對(duì)于模型表面上任一點(diǎn)Pm(xm, ym, zm)投影成像并柵格化后的像素點(diǎn)為Pn(U, V)，該模型表面點(diǎn) Pm在攝像頭原始視頻中相應(yīng)像素 P'n(U, V )，Pn與P'n是重合的。因此可以用真實(shí)零件幾何模型渲染場(chǎng)景的Z buffer中Pn點(diǎn)的深度值代替攝像頭原始視頻中對(duì)應(yīng)像素 P'n的深度值，構(gòu)造真實(shí)場(chǎng)景深度圖，作為增強(qiáng)場(chǎng)景虛實(shí)疊加的深度判別索引。

需要指出的是基于模型深度圖的方法并非完全重構(gòu)了真實(shí)裝配場(chǎng)景。實(shí)際上大部分背景區(qū)域是處于默認(rèn)疊加狀態(tài)的，系統(tǒng)僅為真實(shí)場(chǎng)景中關(guān)鍵零件建立深度索引。之所以不為真實(shí)場(chǎng)景背景區(qū)域建立深度索引，主要出于兩個(gè)原因：一方面，裝配場(chǎng)景的背景往往非常復(fù)雜，為其精確建模將消耗大量系統(tǒng)資源；另一方面，這一區(qū)域是背景區(qū)域，深度較大，不會(huì)與虛擬零件間發(fā)生遮擋關(guān)系。系統(tǒng)對(duì)無深度索引區(qū)域采取默認(rèn)疊加處理方式：逐點(diǎn)處理該區(qū)域內(nèi)真實(shí)場(chǎng)景與虛擬場(chǎng)景的每個(gè)像素，如果虛擬場(chǎng)景中相應(yīng)像素被渲染，則虛擬場(chǎng)景覆蓋真實(shí)場(chǎng)景；如果虛擬場(chǎng)景相應(yīng)像素未被渲染，則保持真實(shí)場(chǎng)景?；谏疃葓D的虛實(shí)疊加流程如圖3所示。

本文采用產(chǎn)品設(shè)計(jì)階段產(chǎn)生的CAD裝配模型作為提取深度圖的來源。即無論真實(shí)零件還是虛擬零件，都有對(duì)應(yīng)的CAD模型，真實(shí)零件的CAD幾何模型與場(chǎng)景中的真實(shí)零件疊加并隨真實(shí)場(chǎng)景位置、方向的變化而變化。深度圖信息在增強(qiáng)裝配過程中隨著場(chǎng)景變化進(jìn)行實(shí)時(shí)提取。深度圖方法的優(yōu)點(diǎn)在于對(duì)于復(fù)雜的裝配場(chǎng)景，零件數(shù)量較多而渲染處理的時(shí)間基本保持不變，在處理過程中，渲染時(shí)間取決于融合視頻的分辨率。

圖3 基于深度圖的虛實(shí)疊加流程

3 裝配引導(dǎo)信息疊加

3.1 零件幾何模型疊加

虛擬零件幾何模型疊加需要虛擬零件三角面片模型和零件注冊(cè)信息，通過零件注冊(cè)信息將零件三角面片模型投影變換到二維的攝像頭成像平面中，使虛擬零件融合到真實(shí)場(chǎng)景中。

虛擬零件幾何模型疊加有線框和投影兩種風(fēng)格。線框風(fēng)格主要用于增強(qiáng)裝配中的目標(biāo)位置指示，將虛擬零件的線框渲染結(jié)構(gòu)疊加在零件待裝配位置，使用戶明白裝配步驟及零件安裝完成后的狀態(tài)。線框風(fēng)格有很好的透視效果，為用戶提供虛擬零件增強(qiáng)顯示的同時(shí)不會(huì)遮擋真實(shí)場(chǎng)景中的其他重要信息。投影風(fēng)格主要用于繪制虛擬裝配場(chǎng)景，通過對(duì)虛擬場(chǎng)景的注冊(cè)將虛擬物體疊加到真實(shí)場(chǎng)景中，得到虛實(shí)融合的裝配效果。

虛實(shí)融合的增強(qiáng)裝配場(chǎng)景中真實(shí)零件影像直接從攝像頭的視頻中獲得，不需要進(jìn)行額外渲染繪制，但在增強(qiáng)裝配中有時(shí)需要對(duì)虛擬零件進(jìn)行渲染達(dá)到增強(qiáng)效果。比如真實(shí)裝配環(huán)境復(fù)雜或者環(huán)境昏暗，使用真實(shí)零件疊加可以幫助裝配人員快速發(fā)現(xiàn)裝配目標(biāo)。

真實(shí)零件幾何模型以線框風(fēng)格疊加，不包含投影風(fēng)格。真實(shí)零件幾何模型的線框渲染有很好的透視性，將零件的線框圖疊加到真實(shí)場(chǎng)景中，用戶在獲得攝像頭拍攝到的真實(shí)零件影像的同時(shí)還獲得了零件線框輪廓信息，增強(qiáng)了真實(shí)場(chǎng)景的信息量。如果使用投影風(fēng)格則會(huì)因?yàn)檎趽趿苏鎸?shí)零件影像而干擾用戶對(duì)場(chǎng)景的感知，影響系統(tǒng)的使用安全。

3.2 文字信息疊加

在疊加過程中，文字信息被轉(zhuǎn)換為位圖，逐點(diǎn)覆蓋到虛實(shí)混合場(chǎng)景中。

文字信息在虛實(shí)疊加的混合三維場(chǎng)景中的位置是由與其相關(guān)的三維坐標(biāo)點(diǎn)確定的，當(dāng)零件位置發(fā)生變換，文字信息將跟隨零件同步運(yùn)動(dòng)。例如，文字信息“注冊(cè)真實(shí)零件Box”與Box零件的幾何模型某個(gè)棱邊中點(diǎn)MidPoint固聯(lián)。當(dāng)零件運(yùn)動(dòng)時(shí)，MidPoint在三維世界坐標(biāo)系中的位置(X, Y, Z)改變?yōu)?X', Y', Z' )，投影到圖像坐標(biāo)系中二維坐標(biāo)由(U, V)改變?yōu)?U', V' )。文字標(biāo)簽的位置也隨MidPoint發(fā)生相應(yīng)變化。每當(dāng)零件的位置發(fā)生變換，系統(tǒng)將實(shí)時(shí)確定并更新文字信息在圖像坐標(biāo)系中新的位置。

本文的文字信息疊加風(fēng)格分為普通標(biāo)簽風(fēng)格和背景透明風(fēng)格。普通標(biāo)簽風(fēng)格直接將包含信息的位圖逐點(diǎn)拷貝到場(chǎng)景圖像中實(shí)現(xiàn)信息疊加。背景透明風(fēng)格中，文字含透明背景區(qū)域，不直接覆蓋場(chǎng)景圖像，透明區(qū)域由信息圖像的alpha通道確定。

3.3 裝配特征信息疊加

在增強(qiáng)裝配系統(tǒng)中適當(dāng)顯示零件的裝配特征將對(duì)用戶的裝配活動(dòng)起到有效的指導(dǎo)作用。裝配特征信息與零件幾何模型固聯(lián)，使用相同的模型局部坐標(biāo)系，當(dāng)零件幾何模型發(fā)生改變，裝配特征模型也隨之改變。本文主要考慮線特征和面特征。線裝配特征主要用于表示軸線、孔等零件裝配特征。繪制方法與虛擬零件的線框風(fēng)格相似。按照裝配特征的邊索引列表在場(chǎng)景中依次繪制裝配特征定義的每一條邊來得到疊加效果。面裝配特征主要用于表示面匹配等零件裝配特征。繪制方法與虛擬零件的面片風(fēng)格相似。按照裝配特征的面索引列表在場(chǎng)景中依次繪制特征模型的每一個(gè)面片來得到疊加效果。面裝配特征采用半透明狀態(tài)，透過裝配特征仍然可以看到真實(shí)零件或虛擬零件的幾何影像，不會(huì)產(chǎn)生遮擋現(xiàn)象。

4 初步實(shí)驗(yàn)

本文初步開發(fā)一個(gè)裝配引導(dǎo)演示系統(tǒng)。零件幾何模型從ProE導(dǎo)出，以標(biāo)準(zhǔn)wrl文件格式保存。使用OpenInventor對(duì)裝配場(chǎng)景進(jìn)行管理、渲染操作。采用一個(gè)普通桌面USB攝像頭TOPSPEED USB PC Camera (ZC0301PLH)，分辨率為320*240與640*480兩種，基于Directshow采集攝像頭視頻，基本圖像處理工作使用OpenCV函數(shù)庫完成，以便今后注冊(cè)方法有更大的擴(kuò)展性。計(jì)算機(jī)處理器為Intel Pentium 4 CPU 2.4G；顯卡GeForce MX 440 with AGP8x 64MB；內(nèi)存500MB；普通桌面顯示器，分辨率 1024*768；Microsoft Windows XP操作系統(tǒng)。系統(tǒng)流程如圖4所示。首先從CAD接口讀入虛實(shí)零件的幾何模型，并人工輸入相關(guān)文字信息構(gòu)建增強(qiáng)裝配引導(dǎo)信息模型；然后從 USB接口捕捉攝像頭拍攝到的真實(shí)裝配場(chǎng)景視頻輸入虛實(shí)注冊(cè)模塊（裝配基礎(chǔ)件事先和標(biāo)志物固聯(lián)），利用視頻中的標(biāo)志物信息將虛擬零件和真實(shí)零件幾何模型注冊(cè)到增強(qiáng)裝配空間；最后渲染生成虛擬場(chǎng)景視頻，以深度圖為線索與原始視頻進(jìn)行疊加，獲得虛實(shí)融合的增強(qiáng)裝配視頻并輸出到顯示設(shè)備。

圖4 系統(tǒng)流程

4.1 真實(shí)零件的裝配

首先顯示與真實(shí)零件相映射的幾何模型，并用文本標(biāo)簽指示該零件的名稱（圖5(a)）。用戶通過零件幾何模型和名稱可以知道當(dāng)前裝配步驟是對(duì)哪個(gè)零件進(jìn)行操作，并從桌面上找到相應(yīng)的真實(shí)零件。系統(tǒng)按照預(yù)先設(shè)定的裝配路徑、同時(shí)顯示裝配特征（圖5(b)），將真實(shí)零件幾何模型裝配到目標(biāo)位置。零件幾何模型裝配到位后，渲染風(fēng)格變成線框風(fēng)格，系統(tǒng)提示用戶將真實(shí)零件裝配到線框指示的目標(biāo)位置（圖5(c)）。用戶對(duì)真實(shí)零件進(jìn)行實(shí)際裝配操作并裝配到位（圖5(d)）。

圖5 引導(dǎo)用戶裝配真實(shí)零件

4.2 基于深度圖的虛實(shí)裝配場(chǎng)景融合

系統(tǒng)可以選擇開啟深度檢測(cè)、關(guān)閉深度檢測(cè)、顯示深度圖和隱藏深度圖。圖6中，裝配基礎(chǔ)件上離鏡頭近的圓柱和螺釘為真實(shí)零件，離鏡頭遠(yuǎn)的圓柱和螺釘為虛擬零件。如果關(guān)閉深度檢測(cè)功能，系統(tǒng)以傳統(tǒng)虛實(shí)疊加方式進(jìn)行融合，存在虛實(shí)遮擋關(guān)系不正確問題（圖6(a)）；開啟深度檢測(cè)，以深度圖為索引進(jìn)行虛實(shí)疊加，顯示了正確的虛實(shí)遮擋關(guān)系（圖6(b)）。

圖6 虛實(shí)遮擋處理與融合

增強(qiáng)裝配系統(tǒng)的虛實(shí)融合過程中，計(jì)算量較大的函數(shù)模塊分別是視頻圖像采集處理、標(biāo)志物識(shí)別注冊(cè)、虛實(shí)場(chǎng)景疊加。其中虛實(shí)場(chǎng)景疊加過程消耗大量處理時(shí)間，不同分辨率下系統(tǒng)執(zhí)行效率統(tǒng)計(jì)數(shù)據(jù)如表1所示。

表1 增強(qiáng)裝配系統(tǒng)處理時(shí)間統(tǒng)計(jì)表

5 結(jié) 論

本文以產(chǎn)品裝配工作為對(duì)象，研究增強(qiáng)現(xiàn)實(shí)環(huán)境下的產(chǎn)品裝配引導(dǎo)技術(shù)。針對(duì)裝配過程中需要的信息，建立了面向增強(qiáng)裝配過程的信息模型，統(tǒng)一管理文字、幾何和產(chǎn)品裝配特征等可視化引導(dǎo)信息。采用基于標(biāo)志物的視覺跟蹤技術(shù)實(shí)現(xiàn)虛擬零件和視頻中真實(shí)零件的注冊(cè)定位。通過獲取虛擬和真實(shí)裝配場(chǎng)景幾何模型的深度圖來處理增強(qiáng)裝配場(chǎng)景中的虛實(shí)零件遮擋關(guān)系。利用虛實(shí)零件的注冊(cè)位置把裝配引導(dǎo)信息疊加到裝配視頻場(chǎng)景中，為輔助用戶裝配工作提供支持。使用開發(fā)的原型系統(tǒng)驗(yàn)證了技術(shù)路線的可行性，并分析了系統(tǒng)的性能。

在實(shí)際裝配工作中，標(biāo)志物的制作和使用將限制該項(xiàng)技術(shù)的應(yīng)用，而基于裝配體自然特征的注冊(cè)跟蹤方法能夠?yàn)榇蠓秶痛笠?guī)模的產(chǎn)品裝配引導(dǎo)提供支持，這將是今后的主要工作之一；另外，誤差作為增強(qiáng)現(xiàn)實(shí)系統(tǒng)的主要指標(biāo)，如何從衡量視覺效果到確定誤差范圍從而得到系統(tǒng)性能和系統(tǒng)精度的平衡也是采用增強(qiáng)現(xiàn)實(shí)技術(shù)引導(dǎo)產(chǎn)品裝配的研究重點(diǎn)，這也是另一個(gè)今后的主要工作。

[1] Jayaram S, Lyons K W. VADE: a virtual assembly design environment [J]. IEEE Computer Graphics and Applications, 1999, 19(6): 44-50.

[2] Azuma R, Baillot Y, Behringer R, et al. Recent advances in augmented reality [J]. IEEE Computer Graphics and Applications, 2001, 21(6): 34-47.

[3] Pang Yan, Andrew Y C, Soh K O. Assembly feature design in an augmented reality environment [J]. Assembly Automation, 2006, 26(1): 34-43.

[4] Liverani A, Amat G, Caligiana G. A CAD-augmented reality integrated environment for assembly sequence check and interactive validation [J]. Concurrent Engineering: Research and Applications, 2004, 12(1): 67-77.

[5] Raghavan V, Molineros J, Sharma R. Interactive evaluation of assembly sequences using augmented reality [J]. IEEE Transactions on Robotics and Automation, 1999, 15(3): 435-449.

[6] Caudell T P, Mizell D W. Augmented reality: an application of head-ups display technology to manual manufacturing processes [C]//Proceedings of International Conference on System Sciences, Hawaii, 1992: 659-669.

[7] Friedrich W, Siemens A G. ARVIKA-augmented reality for development, production and service [C]// Proceedings of International Symposium on Mixed and Augmented Reality, 2002: 3-4.

[8] Schwald B, Laval B. An augmented reality system for training and assistance to maintenance in the industrial context [J]. Journal of WSCG , 2001, 11(3): 425-432.

[9] Salonen T, S??ski J, Hakkarainen M, et al. Demonstration of assembly work using augmented reality [C]//Proceedings of the ACM International Conference on Image and Video Retrieval, Amsterdam, 2007: 124-126.

[10] 趙新燦, 左洪福, 徐興民. 增強(qiáng)現(xiàn)實(shí)維修誘導(dǎo)系統(tǒng)關(guān)鍵技術(shù)研究[J]. 中國(guó)機(jī)械工程, 2008, 19(6): 678-682.

[11] 施 琦, 王涌天, 陳 靖. 一種基于視覺的增強(qiáng)現(xiàn)實(shí)三維注冊(cè)算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2002, 7(7): 679-683.

[12] 朱淼良, 姚 遠(yuǎn), 蔣云良. 增強(qiáng)現(xiàn)實(shí)綜述[J]. 中國(guó)圖象圖形學(xué)報(bào), 2004, 9(7): 767-774.

Product assembly guidance based on augmented reality

Wang Junfeng, Xu Chi, Li Shiqi
( Department of Industrial and Manufacturing System Engineering, School of Mechanical Science and Engineering, Huazhong University of Science and Technology, Wuhan Hubei 430074, China )

Aiming at the assembly guidance in augmented reality environment, an uniform augmented-assembly-oriented information model is build to manage visual text, geometric and feature information during assembly process in augmented reality environment. A marker-based tracking is adopted to realize the registration and localization of virtual and physical product part. The depth images of both virtual and physical scenes are used to handle occlusion between virtual and real objects in assembly process. The assembly guidance information is superimposed on the real time assembly video by using registration information of parts. A demonstration system is developed and the assembly guidance process is analyzed and described in augmented reality environment.

computer application; augmented reality; assembly guidance; marker based registration; information superimposition

TP 391

A

2095-302X (2012)04-0114-07

2010-12-22

“十二五”基礎(chǔ)科研資助項(xiàng)目

王峻峰（1970-），男，河南汝州人，副教授，博士，主要研究方向?yàn)楫a(chǎn)品裝配設(shè)計(jì)、系統(tǒng)建模與仿真等。