丁亞軍 應(yīng)治國 陳一民

1(上海長潤信息技術(shù)有限公司 上海 200050) 2(上海建橋?qū)W院信息技術(shù)學(xué)院 上海 201306)

0 引 言

隨著云計算、5G網(wǎng)絡(luò)、虛擬現(xiàn)實[1]、增強(qiáng)現(xiàn)實(Augmented Reality，AR)[2]等技術(shù)的飛速發(fā)展，以及近年來新冠疫情的影響，教育方式的變革迫在眉睫，要求教與學(xué)雙方可以進(jìn)行實時交流互動，師資科研信息可以最大程度地被共享，授課的形式可以打破傳統(tǒng)的時間和空間的制約。在方式上要求更加多樣化，通過圖、文、聲、3D視頻等多種形式表達(dá)教學(xué)信息；在人機(jī)交互[3]方面要求也很關(guān)鍵，實時友好的人機(jī)交互才能給學(xué)生營造一種具有震撼性的沉浸感，從而最終增強(qiáng)學(xué)生的真實感知。

在課堂教學(xué)中，依靠傳統(tǒng)的PPT，對于一些抽象概念、知識點、比較多難于理解的3D結(jié)構(gòu)，教師往往是很難講解清楚的，這在一定程度上影響了學(xué)生的學(xué)習(xí)。比如智能樓宇控制系統(tǒng)中所涉及的大量設(shè)備，由于其內(nèi)部結(jié)構(gòu)比較復(fù)雜，且相互間存在關(guān)聯(lián)關(guān)系，用一般的多媒體手段所呈現(xiàn)出的往往是設(shè)備2D平面結(jié)構(gòu)，學(xué)生需要將分層2D結(jié)構(gòu)，經(jīng)大腦加工后才能形成一個3D立體影像。而這種大腦加工能力并非所有學(xué)生所具備，一般只有少數(shù)學(xué)生具有這種空間想象能力，所以對于多數(shù)學(xué)生只能通過直接觀察實際設(shè)備才能理解其結(jié)構(gòu)并掌握其中的關(guān)鍵知識點。因此采用3D建模技術(shù)，通過對智能樓宇控制系統(tǒng)中的各種設(shè)備進(jìn)行測繪，并建立相關(guān)模型，給出模型間的互動關(guān)系[4]，然后再呈現(xiàn)給學(xué)生，無疑是一種最為直接的方法。本文應(yīng)用了上海長潤信息技術(shù)有限公司技術(shù)團(tuán)隊自主研發(fā)的長潤虛擬仿真實訓(xùn)管理和共享平臺、長潤虛擬化仿真實訓(xùn)軟件[5]、長潤智慧(云)學(xué)堂軟件V1.0.0[6]等技術(shù)研究成果，并運用增強(qiáng)現(xiàn)實技術(shù)，將結(jié)構(gòu)復(fù)雜、知識點比較抽象的內(nèi)容進(jìn)行可視化，將虛擬的3D模型疊加到真實世界中，教師直接在智能樓宇設(shè)備的3D模型上進(jìn)行講解說明，以更加直觀、生動的方式將關(guān)鍵知識傳授給學(xué)生，極大地提升了學(xué)生的學(xué)習(xí)和理解能力，加強(qiáng)學(xué)生對抽象概念、知識點、復(fù)雜結(jié)構(gòu)的理解與感悟。

1 系統(tǒng)總體架構(gòu)及設(shè)計思路

實現(xiàn)線上線下混合式教學(xué)是本文系統(tǒng)的設(shè)計思路，基本目的是打通從書本及PPT教案中的2D圖形到學(xué)生大腦完成3D建模的壁壘，保證學(xué)生充分理解其中抽象概念及關(guān)鍵知識點，同時讓教與學(xué)通過互聯(lián)網(wǎng)進(jìn)入到同一個場景中，教師通過操作智能樓宇控制系統(tǒng)中各種設(shè)備的3D模型進(jìn)行分析講解，系統(tǒng)中包含兩類角色，分別為教師與學(xué)生，教師側(cè)重3D模型的分析講解，學(xué)生側(cè)重3D模型的操作控制。

1.1 總體架構(gòu)

基于AR遠(yuǎn)程線上教學(xué)系統(tǒng)的總體架構(gòu)如圖1所示。

圖1 基于AR遠(yuǎn)程線上教學(xué)系統(tǒng)的總體架構(gòu)

如圖1所示，系統(tǒng)包含三個部分：教師端、學(xué)生端和服務(wù)器端。其中：

1) 教師端，分為用于顯示學(xué)生端操作控制的實操畫面呈現(xiàn)模塊、用于教師進(jìn)行交互指導(dǎo)的指引交互模塊、用于與學(xué)生進(jìn)行語音溝通的語音交互模塊，以及用于數(shù)據(jù)遠(yuǎn)程接收和發(fā)送的網(wǎng)絡(luò)通信模塊。

2) 學(xué)生端，分為用于采集學(xué)生操作控制過程的實操畫面采集模塊、用于將教師的交互指導(dǎo)信息以增強(qiáng)現(xiàn)實的方式投影在實操場景中的投影顯示模塊、用于與教師進(jìn)行語音溝通的語音交互模塊、用于數(shù)據(jù)遠(yuǎn)程接收和發(fā)送的網(wǎng)絡(luò)通信模塊。

3) 服務(wù)器端，分為用于教師端與學(xué)生端網(wǎng)絡(luò)通信模塊之間實現(xiàn)遠(yuǎn)程連接和語音、圖形、圖像、視頻等數(shù)據(jù)傳輸?shù)姆?wù)器，用于存儲通信數(shù)據(jù)的數(shù)據(jù)庫，用于對遠(yuǎn)程教學(xué)進(jìn)行管理的課程管理模塊。

該系統(tǒng)架構(gòu)包含了基礎(chǔ)的通信、存儲、顯示與交互模塊，以支撐相關(guān)的系統(tǒng)功能。主要是將對學(xué)生端實操環(huán)境的畫面采集傳輸至教師端，教師端直接在畫面中交互式添加指引標(biāo)記，再傳輸回學(xué)生端通過增強(qiáng)現(xiàn)實投影融合至實操環(huán)境中，使學(xué)生可以直觀地理解老師指導(dǎo)意見的含義，實現(xiàn)沉浸式遠(yuǎn)程實訓(xùn)教學(xué)。

基于AR線下教學(xué)系統(tǒng)的總體架構(gòu)如圖2所示。

圖2 基于AR線下教學(xué)系統(tǒng)的總體架構(gòu)

基于AR線下教學(xué)系統(tǒng)是由一個專門的硬件系統(tǒng)以及相關(guān)的軟件系統(tǒng)協(xié)同實現(xiàn)的。系統(tǒng)借助于虛擬現(xiàn)實技術(shù)、3D顯示技術(shù)、人機(jī)交互技術(shù)和計算機(jī)圖形圖像等技術(shù)，產(chǎn)生真實場景中并不存在的虛擬對象，并通過3D模型注冊技術(shù)，將虛擬對象準(zhǔn)確地放置在真實環(huán)境中，使學(xué)生處于一個真實和虛擬相融合的環(huán)境中，并能與之交互，有助于完成相關(guān)的學(xué)習(xí)與實訓(xùn)。系統(tǒng)包含以下幾個組成部分：

1) 跟蹤注冊與實時人機(jī)交互模塊[7-9]是該系統(tǒng)中最為重要的部分。具體又分為數(shù)據(jù)采集和數(shù)據(jù)處理兩部分。采集模塊完成對光學(xué)跟蹤器和數(shù)據(jù)手套原始數(shù)據(jù)的采集。處理模塊完成對采集到的數(shù)據(jù)手套原始數(shù)據(jù)進(jìn)行校正和歸一化、抓取手勢識別以及其他識別；完成光學(xué)跟蹤器原始數(shù)據(jù)的校正、實時跟蹤、3D模型注冊。最后處理后信息經(jīng)過通信和控制子模塊傳遞給虛擬場景生成和渲染模塊、真實場景采集與處理模塊。

2) 虛擬場景生成和渲染模塊主要完成物體造型、三維模型的制作、虛擬場景制作和動畫制作等，并在視平面上繪制和渲染虛擬物體。

3) 虛擬場景融合模塊將虛擬場景與真實場景的視頻進(jìn)行合并處理，完成虛擬場景與真實場景的深度融合，以充滿動感的視覺形象來表現(xiàn)虛擬物體的真實效果。

4) 真實場景采集與處理模塊根據(jù)3D模型注冊模塊傳來的注冊信息，完成攝像機(jī)的標(biāo)定及視點位置的定位與跟蹤，從而將計算機(jī)產(chǎn)生的虛擬物體與用戶周圍的真實場景全方位對準(zhǔn)。

5) 顯示模塊由用戶視頻透視式HMD(Head Mounted Display)和投影顯示兩部分組成，HMD供實操的老師或?qū)W生使用，投影顯示供圍觀學(xué)習(xí)的學(xué)生使用。

6) 通信和控制模塊作為總線模塊，負(fù)責(zé)與外部設(shè)備進(jìn)行通信和控制，為其他模塊提供基礎(chǔ)信號支撐。通信與控制模塊是整個系統(tǒng)的樞紐，用于數(shù)據(jù)接收和發(fā)送，不但是系統(tǒng)的通信中心，還是控制中心。

1.2 系統(tǒng)硬件架構(gòu)

基于AR線下教學(xué)系統(tǒng)的硬件架構(gòu)如圖3所示。

圖3 平臺的硬件架構(gòu)

系統(tǒng)采用沉浸式虛擬及增強(qiáng)現(xiàn)實技術(shù)進(jìn)行開發(fā)，利用數(shù)據(jù)手套實現(xiàn)人機(jī)交互操作，主要功能針對智能樓控系統(tǒng)的運行與維護(hù)課程以及綜合布線課程中設(shè)備認(rèn)知與實訓(xùn)操作，如光纖熔接實訓(xùn)。為了引導(dǎo)學(xué)生正確地使用系統(tǒng)，系統(tǒng)具備檢測和錯誤提示功能。依據(jù)硬件系統(tǒng)架構(gòu)圖，結(jié)合軟件開發(fā)的基本流程，交互式AR光纖熔接實訓(xùn)及其他設(shè)備認(rèn)知與實訓(xùn)操作系統(tǒng)按以下5個步驟開發(fā)。

1) 對智能樓控系統(tǒng)的運行與維護(hù)課程以及綜合布線課程中的各種設(shè)備進(jìn)行測繪，并建立精簡的模型，以供3DS Max建模使用。

2) 整理系統(tǒng)所需的資源，包括模型、貼圖、文字、音頻等，利用PhotoshopCS6軟件進(jìn)行系統(tǒng)界面制作，利用3DS Max軟件建立模型素材，設(shè)計模型動畫，利用Adobe Audition軟件處理原始音頻。

3) 將處理后的素材導(dǎo)入Unity3D中，圖片以.jpg格式導(dǎo)入，模型以.fbx格式導(dǎo)入，音頻以.mp3格式導(dǎo)入，動畫以.mp4格式導(dǎo)入。

4) 在Unity Store中下載Steam VR[10]軟件開發(fā)包，基于Stear VR編寫符合系統(tǒng)需求的C# 交互腳本，輸出虛擬機(jī)房漫游、設(shè)備檢修、語音提示等功能。

5) 將系統(tǒng)以.exe格式打包發(fā)布到Steam平臺，并對系統(tǒng)的性能及可用性進(jìn)行測試。

1.3 人機(jī)交互設(shè)計

本文系統(tǒng)應(yīng)用增強(qiáng)現(xiàn)實技術(shù)構(gòu)建智能樓控系統(tǒng)的運行與維護(hù)課程以及綜合布線課程中關(guān)鍵設(shè)備的維護(hù)及組裝模擬場景，主要包括以下交互功能：1)在真實的場景中呈現(xiàn)3D虛擬物體；2)通過帶有數(shù)據(jù)手套的手可以抓取工具及光纖等3D虛擬物體；3)工具及光纖等3D虛擬物體能隨手同步運動；4)系統(tǒng)識別帶有數(shù)據(jù)手套的手的動作，并計算出手的姿態(tài)和軌跡，在場景中顯示其運動過程。

在線下系統(tǒng)中主要通過數(shù)據(jù)手套等專用設(shè)備實現(xiàn)人機(jī)交互。我們選擇HTC Vive作為交互設(shè)備，雙基站追蹤頭盔和數(shù)據(jù)手套位置和角度信息，實時更新場景和交互動作，實現(xiàn)沉浸式漫游和交互體驗。其中數(shù)據(jù)手套調(diào)用通過在場景中導(dǎo)入Steam VR Plugin，Hierarchy窗口中添加將CameraRig和Steam VR。數(shù)據(jù)手套和基站定位器連接Steam VR定位系統(tǒng)，通過頭盔和數(shù)據(jù)手套上的傳感器，實現(xiàn)定位功能。利用預(yù)配置的Vive NavMesh在Unity3D中烘焙一個導(dǎo)航網(wǎng)格實現(xiàn)移動漫游功能。

在線上系統(tǒng)中，我們所研發(fā)的系統(tǒng)交互流程以易用性和直觀性為主要設(shè)計原則。學(xué)生端使用簡單的交互設(shè)備即可實現(xiàn)自然直觀的人機(jī)交互。教師通過終端開啟在線課堂，學(xué)生只需配備鼠標(biāo)、攝像頭、投影顯示器等器材，以此構(gòu)建用于實驗操作的交互設(shè)備，通過此設(shè)備連接至教師的在線課堂，開始一對一的遠(yuǎn)程實訓(xùn)指導(dǎo)。指導(dǎo)過程中，教師可通過遠(yuǎn)程監(jiān)控畫面實時觀測該學(xué)生的操作過程，并可根據(jù)需要在畫面中以畫筆等形式直接對該學(xué)生的操作進(jìn)行標(biāo)注，標(biāo)注通過投影顯示至學(xué)生實訓(xùn)的操作空間，實時指導(dǎo)學(xué)生實訓(xùn)過程。學(xué)生可以通過開啟語音向教師提問，教師也可實時回答。其他學(xué)生也可分享操作監(jiān)控畫面和語音，學(xué)習(xí)相關(guān)操作。

另外，在實訓(xùn)開展前，教師可以通過管理平臺設(shè)置實訓(xùn)項目的要求及關(guān)鍵參數(shù)并準(zhǔn)備相關(guān)的理論或技能知識資源供學(xué)生學(xué)習(xí)，在實訓(xùn)前先進(jìn)行理論知識、技能要點、實訓(xùn)要求的學(xué)習(xí)，然后正式進(jìn)行實訓(xùn)。在實訓(xùn)過程中系統(tǒng)會自動進(jìn)行各種關(guān)鍵性數(shù)據(jù)的采集，如實訓(xùn)動作、實訓(xùn)步驟、時間等。

2 關(guān)鍵技術(shù)

2.1 增強(qiáng)現(xiàn)實中虛擬物體的創(chuàng)建

為了使AR系統(tǒng)盡可能地接近或基本達(dá)到“無縫”集成這一目標(biāo)，在視覺上產(chǎn)生較為強(qiáng)烈的真實感，我們通過將3DS Max的建模功能與Unity3D的交互式實時三維圖形繪制功能相結(jié)合，從而產(chǎn)生了一個具有真實感效果的虛擬場景。

1) 物體造型。根據(jù)CAD圖紙，按照實際和虛擬1 ∶1的尺寸比例搭建框架模型，并結(jié)合現(xiàn)場照片，制作最終三維數(shù)字化模型。但當(dāng)三維模型面片達(dá)到百萬級時，巨大的面片數(shù)可能使場景無法實時顯示。因此，必須做優(yōu)化，剔除多的面片，只要使模型的視覺效果良好即可，從而保證系統(tǒng)運行順暢。

2) 材質(zhì)紋理。在3D建模完成之后，為使虛擬物體產(chǎn)生特殊的視覺效果，必須為模型賦予材質(zhì)貼圖，從而使虛擬物體產(chǎn)生與真實物體同樣的視覺效果。

3) 動畫制作。要以充滿動感的視覺形象來表現(xiàn)虛擬物體的真實效果，必須進(jìn)行動畫制作，動畫制作方法有很多，在本文系統(tǒng)中采用了兩種動畫法：關(guān)鍵幀動畫和Character Studio角色動畫。

4) 合成導(dǎo)出。從3DS Max導(dǎo)出場景模型和三維動畫，并加以處理使之成為Unity3D支持的文件格式.fbx。圖4所示為增強(qiáng)現(xiàn)實中虛擬物體。

圖4 增強(qiáng)現(xiàn)實中虛擬物體

2.2 3D模型注冊實現(xiàn)

在AR系統(tǒng)中，虛實注冊技術(shù)[11]主要是實現(xiàn)3D虛擬物體與真實場景中的物體對準(zhǔn)。真實場景的空間坐標(biāo)系與攝像機(jī)坐標(biāo)系之間的轉(zhuǎn)換關(guān)系如式(1)所示。

(1)

式中：t是一個3×1矩陣，是攝像機(jī)相對于真實空間坐標(biāo)系中的平移量；R是一個3×3的正交矩陣，主要說明旋轉(zhuǎn)變換情況，是攝像機(jī)相對于真實空間坐標(biāo)系中的旋轉(zhuǎn)值。R的計算如式(2)所示。

(2)

由式(1)和式(2)可計算出帶著視頻透視式頭盔HMD的學(xué)生或老師的頭部位置，包括視線方向。R、t又被稱為攝像機(jī)外部參數(shù)。攝像機(jī)標(biāo)定的主要目的是獲取攝像機(jī)的內(nèi)部參數(shù)。得到攝像機(jī)內(nèi)參后，我們就可以實現(xiàn)三維場景到二維成像平面的透視關(guān)系的轉(zhuǎn)換。

一般而言，攝像機(jī)透視投影模型如圖5所示。

圖5 攝像機(jī)透視投影模型

按立體幾何比例關(guān)系，可得如下的透視投影方程，這就是攝像頭的透視投影模型。

(3)

式中：(x′,y′,z′)為空間點P在攝像機(jī)坐標(biāo)系下的坐標(biāo)，(u′,v′)為P在圖像上的投影；f為攝像機(jī)的焦距。上述透視投影關(guān)系可用奇次坐標(biāo)與矩陣表示。

(4)

由于透視投影關(guān)系中圖像坐標(biāo)(u′,v′)是一個具體的數(shù)值，但是圖像處理中我們都是以像素來計算的，被稱為像素值，所以要把圖像坐標(biāo)轉(zhuǎn)換成像素坐標(biāo)。

設(shè)(u,v)為像素坐標(biāo)，dpu′、dpv′為像素分辨率，這樣(u′,v′)和(u,v)的關(guān)系可表示為：

u-u0=dpu′×u′

v-v0=dpv′×v′

(5)

式中：(u0,v0)是像素坐標(biāo)系的原點。式(5)的矩陣形式可以表示為：

(6)

將式(6)代入式(4)，就可以實現(xiàn)三維場景到二維成像平面的透視關(guān)系的轉(zhuǎn)換關(guān)系。

(7)

式中：ax=f×dpu′,ay=f×dpv′，ax,ay、u0、v0被稱為攝像機(jī)的內(nèi)部參數(shù)。

為得到3D虛擬物體在真實場景中的位置和方向，我們引入如下轉(zhuǎn)換關(guān)系：

(8)

式中：O為虛擬3D物體坐標(biāo)系→真實空間坐標(biāo)系的變換矩陣。

由式(1)、式(7)、式(8)可推導(dǎo)出式(9)。

(9)

通過式(9)我們就可以計算得到3D虛擬物體上的某一個點(x,y,z,1)在真實場景坐標(biāo)下的投影點(u,v,1)的位置。于是就可以求出3D虛擬物體應(yīng)在圖像平面中呈現(xiàn)的位置，也就完成了AR系統(tǒng)的三維注冊過程，就能將計算機(jī)生成的虛擬物體與真實場景的景像對齊，使虛實場景能夠準(zhǔn)確對位，得到滿意的融合圖像。

2.3 手勢識別

我們所用的數(shù)據(jù)手套為5DT Data Glove 5 Ultra，可以讀取5個手指的相關(guān)動作及彎曲程度。在系統(tǒng)中我們定義了5種不同的手勢：抓(Grasp)、握(Wrap)、捏(Pinch)、擰(Twist)、夾(Clamp)。

手勢動作的數(shù)據(jù)由數(shù)據(jù)手套相關(guān)關(guān)聯(lián)的設(shè)備輸出，通過預(yù)處理得到手勢特征數(shù)據(jù)。然后用特征數(shù)據(jù)作為訓(xùn)練樣本訓(xùn)練HMM(Hidden Markov Models),再送入SVM(Support Vector Classifier)中進(jìn)行訓(xùn)練，最后得到訓(xùn)練好的HMM/SVM模型。

訓(xùn)練流程如下：

1) 將樣本分成三等份，第一份用來訓(xùn)練HMM。

2) HMM訓(xùn)練好后，用第二份樣本訓(xùn)練SVM。將每個手勢觀察序列通過已訓(xùn)練好的HMM映射成固定向量Fisher-Score。

3) 通過Fisher-Score計算核函數(shù)。

4) 訓(xùn)練SVM。

5) 用第三份樣本測試。測試手勢經(jīng)過HMM得到Fisher-Score,然后送入SVM中，得到識別結(jié)果。

Fisher-Score為HMM的log似然概率對HMM闡述的一階偏導(dǎo)數(shù)。因為HMM模型參數(shù)個數(shù)一定，因此Fisher-Score的維數(shù)也是一定的，因此可以用來訓(xùn)練和測試SVM。

具體識別時，手勢經(jīng)過處理得到離散的手勢特征向量，5個(抓、握、捏、擰、夾)已訓(xùn)練好的HMM分別對之計算，得到模型對該手勢觀察向量的概率，然后SVM在對Fisher-Score進(jìn)行判別，得到最終手勢識別結(jié)果。

另外，為了讀取5個手指的相關(guān)動作時的彎曲程度，我們將手勢識別作為一個決策信息系統(tǒng)，構(gòu)建了一個抓取手勢識別決策信息表[12]以及相關(guān)的控制函數(shù)，并將5個手指的彎曲度定義為：平伸(0)、微彎(1)、彎(2)、很彎(3)和緊握(4)5個狀態(tài)，通過引入知識約簡算法與規(guī)則獲取，就可以快速獲取手勢動作的彎曲程度。

經(jīng)實際實驗，抓取手勢識別正確，對于系統(tǒng)應(yīng)用要求的滿足度較高，且由于決策表和決策規(guī)則集的規(guī)模不大，決策信息系統(tǒng)能較好地滿足整個系統(tǒng)的快速響應(yīng)要求。

3 應(yīng)用案例及結(jié)果

3.1 3D虛擬模型的創(chuàng)建

本文系統(tǒng)開發(fā)主要包括以下2個步驟：1) 通過Unity 3D+Vuforia SDK實現(xiàn)目標(biāo)識別和跟蹤；2) 通過Photon Engine實現(xiàn)模型的同步操作。

我們?nèi)【C合布線課程中的光纖熔接機(jī)為例，采用3DS MAX對光纖熔接機(jī)進(jìn)行分體建模，然后進(jìn)行材質(zhì)貼圖，使虛擬物體產(chǎn)生特殊視覺效果，最后再進(jìn)行動畫制作。

3.2 目標(biāo)識別及跟蹤

我們通過Unity3D+Vuforia SDK實現(xiàn)目標(biāo)識別和跟蹤，通過Unity3D和Vuforia可以較為迅速地識別和跟蹤2D影像以及3D物體[13]，并可以創(chuàng)建和部署基于AR的相關(guān)應(yīng)用程序[14]。整個目標(biāo)識別及跟蹤過程的創(chuàng)建與部署可以分為下面3個步驟：

1) 首先使用Unity 3D創(chuàng)建AR工程，然后導(dǎo)入數(shù)據(jù)庫中的2D影像以及3D物體，再在窗體中增加增強(qiáng)現(xiàn)實系統(tǒng)所必需的攝像機(jī)(AR Camera)以及影像目標(biāo)組件Image Target，最后刪除原有的場景攝像機(jī)。

2) 首先在數(shù)據(jù)庫和影像目標(biāo)組件中加載目標(biāo)識別物，然后在目標(biāo)組件Image Target中添加我們事先制作好的光纖熔接機(jī)3D模型。

3) 首先對OnTrackingFound和OnTrackingLost兩個函數(shù)進(jìn)行改寫，改寫目標(biāo)識別成功后，即可顯示和跟蹤光纖熔接機(jī)模型，如圖6所示。

圖6 Vuforia 在Unity3D中的使用截圖

3.3 同步操作3D及動畫模型

實現(xiàn)教師端與學(xué)生端的3D模型及動畫模型的同步操作，可以借助于引擎(Photon Engine)，而且可視能實現(xiàn)縮放旋轉(zhuǎn)等功能。具體步驟如下。

1) 首先將光纖熔接機(jī)3D模型添加進(jìn)以下兩個組件中：Photon View組件以及Photon Transform View組件，然后將Photon Transform View組件加載進(jìn)Photon View組件中的Observed Components項中，這樣就可以實現(xiàn)將教師端的模型操作同步到學(xué)生端的模型操作中，實現(xiàn)3D模型的同步操作。

2) 對于動畫模型同樣可通過添加Photon Animator View組件，將教師端的動畫模型操作同步到學(xué)生端的動畫模型操作中，實現(xiàn)動畫模型的同步操作。

3) 實現(xiàn)對光纖熔接機(jī)的實訓(xùn)操作，帶有數(shù)據(jù)手套的手可以抓取工具及光纖，首先用光纖切割刀切割光纖，然后把光纖正確放入光纖熔接機(jī)中，進(jìn)行光纖熔接，最后進(jìn)行保護(hù)套安裝等。

4 結(jié) 語

本文給出一個基于增強(qiáng)現(xiàn)實的線上線下混合式教學(xué)系統(tǒng)軟硬件架構(gòu)，將虛擬的3D模型疊加到真實世界中，教師直接在智能樓宇設(shè)備的3D模型上進(jìn)行講解說明，形成了一整套完善的基于AR的線上線下教學(xué)與實訓(xùn)的系統(tǒng)。教師可以在學(xué)生的實操區(qū)域中直觀地給出遠(yuǎn)程指引信息，既避免了復(fù)雜的多媒體教案設(shè)計，使教師可以快速掌握使用方法并開展教學(xué)，也為學(xué)生提供了直觀的AR教學(xué)及實訓(xùn)體驗，實現(xiàn)了AR在線上線下混合式教學(xué)中的應(yīng)用。AR技術(shù)在教學(xué)模式中的創(chuàng)新應(yīng)用，幫助學(xué)生提高學(xué)習(xí)效率，提升學(xué)生的感官直覺和專注度，大大加強(qiáng)學(xué)生對抽象概念的感知與理解。