丁亞軍，應(yīng)治國，陳一民

(1.上海長潤信息技術(shù)有限公司，上海 200050；2.上海建橋?qū)W院信息技術(shù)學(xué)院)

0 引言

虛擬仿真實訓(xùn)室平臺的建設(shè)是“未來校園”開展線上線下相融合的混合實訓(xùn)教學(xué)重要的組成部分，也是人工智能環(huán)境下，教師人技協(xié)作有效開展實訓(xùn)教學(xué)的重要載體。虛擬現(xiàn)實（Virtual Reality，簡稱VR）是一種將計算機圖形技術(shù)與相關(guān)設(shè)備相結(jié)合，可為人們創(chuàng)造一個具有沉浸感、互動性和想象力的良好虛擬環(huán)境的仿真技術(shù)。增強現(xiàn)實(Augmented Reality，簡稱AR)是將計算機建立的虛擬物體信息疊加在真實的現(xiàn)實場景中，通過三維注冊技術(shù)來實現(xiàn)對真實場景的增強。近年來，VR、AR 已廣泛應(yīng)用于國內(nèi)外教育與培訓(xùn)領(lǐng)域，包括設(shè)計方案評估、虛擬維修培訓(xùn)等。VR、AR 技術(shù)在樓宇智能化設(shè)備安裝與運行專業(yè)課程（樓控系統(tǒng)的安裝與維護課程，綜合布線課程）技能實訓(xùn)方面具有獨特的優(yōu)勢，可創(chuàng)造一個高逼真度的訓(xùn)練環(huán)境，使受訓(xùn)人員沉浸在良好交互的場景中，為受訓(xùn)人員提供身臨其境般的三維空間虛擬感受。

本虛擬仿真實訓(xùn)室平臺基于數(shù)據(jù)驅(qū)動理念，聚焦樓宇智能化設(shè)備安裝與運行專業(yè)課程技能實訓(xùn)功能，采集和積累學(xué)生實訓(xùn)過程數(shù)據(jù)，通過分析模型，準(zhǔn)確判斷學(xué)生的學(xué)習(xí)情況，適時特性化的推送實訓(xùn)資源，從而縮短實訓(xùn)學(xué)習(xí)時長，提升學(xué)生的動手能力。

本文將VR、AR 技術(shù)應(yīng)用于樓宇智能化設(shè)備安裝與運行專業(yè)課程技能實訓(xùn)環(huán)節(jié)，應(yīng)用了上海長潤信息技術(shù)有限公司技術(shù)團隊自主研發(fā)的長潤虛擬仿真實訓(xùn)管理和共享平臺、長潤虛擬化仿真實訓(xùn)軟件V1.0.0以及面向職教的智慧教學(xué)云計算平臺等技術(shù)研究成果，搭建了一種樓宇智能化設(shè)備安裝與運行專業(yè)課程技能平臺，該平臺應(yīng)用3ds Max 和Unity3D 軟件創(chuàng)建高逼真度的虛擬場景，采用有限狀態(tài)機模型作為模擬實訓(xùn)過程的核心算法，采用Java 及C#實現(xiàn)程序編制，圖形界面采用UGUI 插件進行設(shè)計，仿真中引入了粒子系統(tǒng)。該平臺能夠直觀展現(xiàn)樓宇智能化設(shè)備安裝與運行課程中各復(fù)雜環(huán)境與運行仿真場景，為學(xué)生提供一種高逼真度的訓(xùn)練環(huán)境，對提升學(xué)生的實戰(zhàn)能力具有重要的意義和價值。

1 平臺架構(gòu)與功能

1.1 總體架構(gòu)設(shè)計

綜合考慮樓宇智能化設(shè)備安裝與運行專業(yè)課程技能實訓(xùn)的需求，結(jié)合體系架構(gòu)理論，設(shè)計了一種混合式架構(gòu)（基于瀏覽器/服務(wù)器（B/S）模式和客戶端/服務(wù)器（C/S）模式），如圖1 所示。主要由兩大部分內(nèi)容構(gòu)成，即“管理和共享平臺”及“相關(guān)技能虛擬仿真實訓(xùn)子系統(tǒng)”。以一幢智能化樓宇—“未來大廈”為載體，融入兩門課程（樓宇智能化設(shè)備安裝與運行課程、以及綜合布線課程相關(guān)技能點實訓(xùn)模塊）的虛擬化仿真實訓(xùn)項目和與之相配套的基于典型應(yīng)用場景的系列技能實訓(xùn)功能，以大廈實際應(yīng)用進行樓層內(nèi)的布點，將實訓(xùn)項目有效分類、整合，構(gòu)建以職場工作為原型的實訓(xùn)體驗環(huán)境。學(xué)生通過虛擬仿真實訓(xùn)室的項目實訓(xùn)，既能讓學(xué)生開展單項技能實訓(xùn)，又能讓學(xué)生多角色崗位聯(lián)動實訓(xùn)，從而掌握“未來大廈”的整體管控。

圖1 實訓(xùn)平臺的總體架構(gòu)圖

由于傳統(tǒng)方法無法對多個虛擬實訓(xùn)過程進行融合和優(yōu)化，同時也難以實現(xiàn)過程、計劃、實施、運維一體化的實訓(xùn)目標(biāo)。設(shè)計并開發(fā)基于建筑信息模型和虛擬現(xiàn)實技術(shù)（VR）、增強現(xiàn)實（AR）的實訓(xùn)空間可以很好地解決這一問題。開發(fā)基于VR、AR 技術(shù)的實訓(xùn)平臺，在實訓(xùn)環(huán)境的設(shè)計階段，利用該實訓(xùn)環(huán)境協(xié)同設(shè)計，建立實訓(xùn)環(huán)境的數(shù)字化模型。在實訓(xùn)空間模型的基礎(chǔ)上，設(shè)置設(shè)備參數(shù)，對設(shè)施設(shè)備運行過程進行仿真，模擬實訓(xùn)空間（整個大樓所含的主要及關(guān)鍵設(shè)備）運行過程，再對整個實訓(xùn)的規(guī)劃布局、設(shè)備配置等進行評價和優(yōu)化。

1.2 平臺硬件架構(gòu)

參考真實情況下樓控系統(tǒng)的安裝與維護課程以及綜合布線課程相關(guān)實訓(xùn)環(huán)節(jié)，我們設(shè)計了該實訓(xùn)平臺，其硬件架構(gòu)如圖2 所示，包括三維場景可視化、實訓(xùn)演練、人機交互仿真、在線考核評估等。

圖2 平臺的硬件架構(gòu)

通過數(shù)據(jù)手套和磁力跟蹤器等設(shè)備可實現(xiàn)對操作者動作的捕獲，由PC6 完成對這些交互操作采集與處理；PC2 接收PC6 的輸出并據(jù)此完成虛擬場景的繪制、注冊和渲染等；PC2 輸出的虛擬場景同步發(fā)送至PC4 和PC5；PC1 使用雙目攝像頭和視頻采集卡對真實場景進行采集和處理，左右眼輸出視頻分別發(fā)送至PC4 和PC5；PC4 和PC5 完成虛擬及真實場景的融合，并通過分屏器分別輸出至頭盔顯示器和投影儀，發(fā)送到頭盔顯示器的融合場景視頻供操作者使用，而發(fā)送至投影儀的融合場景視頻，供觀察者使用，觀察者可以看到與操作者相同的畫面。所有計算機通過高速以太網(wǎng)連接，在PC3 的管理下進行相互間的通訊，PC3是系統(tǒng)的通信和控制中心，另外，PC3還要完成音頻控制、光照控制、設(shè)備狀態(tài)監(jiān)控及控制和管理等任務(wù)。

另外，通過構(gòu)建真實的樓宇設(shè)施設(shè)備模型和交互環(huán)境，基于改進自適應(yīng)跟蹤算法的增強現(xiàn)實三維注冊，可在移動端將AR 人機交互、三維全景漫游、視頻多媒體元素相關(guān)結(jié)合，實現(xiàn)對虛擬裝備移動可視化與交互，讓學(xué)生通過人機交互可視化系統(tǒng)不受時間、地域的限制快速學(xué)習(xí)新的技術(shù)和設(shè)備知識，達到快速認知了解樓宇設(shè)施設(shè)備內(nèi)部結(jié)構(gòu)以及工作原理的目的。

1.3 核心業(yè)務(wù)流程

“虛擬仿真實訓(xùn)室平臺”不僅提供虛擬實訓(xùn)服務(wù)功能，而且可以采集實訓(xùn)過程數(shù)據(jù)，并能對其進行統(tǒng)計分析，展示給老師和學(xué)生。其核心業(yè)務(wù)流程如圖3所示，含實訓(xùn)準(zhǔn)備、實訓(xùn)演練及實訓(xùn)統(tǒng)計三大部分，可使學(xué)生身臨其境般的學(xué)習(xí)、訓(xùn)練，掌握實際技能。讓學(xué)生全面了解和認知智能樓宇相關(guān)的各方面知識，并通過虛擬化實訓(xùn)的方式幫助學(xué)生擴展書本上無法獲取的知識及經(jīng)驗，同時記錄學(xué)生的學(xué)習(xí)與實訓(xùn)過程，并對其學(xué)習(xí)經(jīng)歷進行研判。

圖3 虛擬仿真實訓(xùn)室平臺-業(yè)務(wù)流程圖

1.4 核心業(yè)務(wù)功能

“虛擬仿真實訓(xùn)室平臺”應(yīng)用軟件功能主要由兩大部分構(gòu)成：①管理和共享平臺；②相關(guān)技能虛擬仿真實訓(xùn)子系統(tǒng)”（含兩門課程相關(guān)技能點實訓(xùn)模塊，有拓展空間）。

在實訓(xùn)教學(xué)開始前，教師可以通過管理平臺設(shè)置實訓(xùn)項目，提出要求及關(guān)鍵參數(shù)，并準(zhǔn)備相關(guān)的理論或技能知識資源供學(xué)生學(xué)習(xí)。實訓(xùn)項目相關(guān)信息可以從外部系統(tǒng)獲取數(shù)據(jù)，如實訓(xùn)課程信息、實訓(xùn)要求、實訓(xùn)資源等。學(xué)生可以在各虛擬仿真實訓(xùn)子系統(tǒng)中進行實訓(xùn)操作。在實訓(xùn)前先進行理論知識、技能要點、實訓(xùn)要求的學(xué)習(xí)，然后正式進入實訓(xùn)。在實訓(xùn)過程中，平臺會自動進行各種關(guān)鍵性數(shù)據(jù)的采集，如實訓(xùn)動作、實訓(xùn)步驟、時間等等。在實訓(xùn)演練結(jié)束后，通過評價模型對各類實訓(xùn)過程數(shù)據(jù)進行統(tǒng)計分析，將統(tǒng)計分析的結(jié)果、評價建議以及根據(jù)實訓(xùn)情況推薦的學(xué)習(xí)資源展示給學(xué)生。教師在平臺中可以查看學(xué)生歷次實訓(xùn)的操作記錄和統(tǒng)計分析的信息、維護實訓(xùn)成績，以及查看各類統(tǒng)計圖表，并根據(jù)實訓(xùn)情況及時調(diào)整優(yōu)化實訓(xùn)教學(xué)內(nèi)容。最終也可將采集和分析的數(shù)據(jù)傳輸?shù)酵獠肯到y(tǒng)。

2 關(guān)鍵方法

2.1 三維場景可視化及性能優(yōu)化

三維場景可視化主要實現(xiàn)高真實度的樓宇智能化設(shè)備安裝與運行課程中所涉及的場景、各種設(shè)備的動態(tài)模擬仿真與實時顯示，是確保仿真實訓(xùn)質(zhì)量的重要前提。樓宇智能化設(shè)備安裝與運行課程中所涉及的大樓以及設(shè)備等復(fù)雜模型，本文以現(xiàn)實中設(shè)備結(jié)構(gòu)模型為依據(jù)，在三維工程建模軟件中進行相關(guān)設(shè)備及裝備的制作，并采用二維平面設(shè)計軟件設(shè)計與模型外表相符的紋理貼圖，通過三維模型渲染軟件對模型進行渲染，包括紋理貼圖、材質(zhì)與燈光。以智能化樓宇為例，其構(gòu)建過程根據(jù)CAD圖紙，按照實際和虛擬1：1的尺寸比例搭建框架模型，并結(jié)合現(xiàn)場照片，利用3ds Max軟件渲染出最終三維數(shù)字化模型。當(dāng)三維模型立面很多，達到百萬級，而且要展示多個建筑物時，對硬件的內(nèi)存消耗很大，必須做優(yōu)化，一方面在3ds MAX中剔除多邊形的背面，只顯示其必要面，減少模型面數(shù)，使系統(tǒng)運行順暢，使用材質(zhì)優(yōu)化工具對模型進行材質(zhì)優(yōu)化，優(yōu)化所有模型多維或子對象材質(zhì)，并清除游離點和清除空物體樣條線，減少模型內(nèi)存，增強模型的穩(wěn)定性；另一方面可在Unity3D 中把模型做成預(yù)制體，只在程序執(zhí)行的必要時候進行實例化，其余時間處于銷毀狀態(tài)。

Unity3D 編譯時選擇合適的分辨率，不是越高越好，根據(jù)實際的運行效果，選擇適當(dāng)?shù)姆直媛?，可以降級程序運行的存儲和內(nèi)存空間，提高運行速度，而不會降低學(xué)生的體驗效果。將渲染過的模型導(dǎo)入虛擬仿真引擎中進行處理，結(jié)合地形地貌系統(tǒng)與天空盒模塊的構(gòu)建，并采用LOD 分級顯示技術(shù)與遮擋剔除技術(shù)來優(yōu)化場景資源，最終成功搭建高逼真度的三維虛擬場景，圖4所示為其中一個三維場景。

圖4 智能化樓宇仿真模型

2.2 WebGL渲染

WebGL是一種三維繪圖協(xié)議，為網(wǎng)頁添加OpenGL 特性支持，從而實現(xiàn)3D 圖形渲染。相比較WebPlayer 使用需要先安裝瀏覽器插件，WebGL 使用時，無需額外的插件支撐，便可以實現(xiàn)Web 交互式三維渲染，提高了軟件使用便捷性。在Unity中，WebGL通過il2cpp.exe 將.NET IL 中間語言編譯成C# ++源碼，然后通過各個平臺的C++編譯器進行編譯，達到跨平臺訪問目的。對于C++源碼，Unity支持兩種轉(zhuǎn)化方式：asm.js 和WebAssembly（wasm），其中asm.js 是文本格式，WebAssembly 是二進制格式。考慮到二進制運行速度更快，體積更小，我們采用wasm方式進行轉(zhuǎn)化。WebAssembly 是基于堆棧虛擬機的二進制格式，通過編譯程序源碼，可以將程序部署在Web端。以Windows平臺為例，利用底層虛擬機LLVM Emscripten 編譯器將C++編譯成.wasm 文件。由于wasm 不能直接被瀏覽器識別，需要通過JavaScript 接口進行頁面加載，從而實現(xiàn)3D圖形網(wǎng)頁渲染，其原理如圖5所示。

圖5 WebGL原理

2.3 人機交互仿真

良好的人機交互功能能夠提升訓(xùn)練質(zhì)量、改善實訓(xùn)效果。我們選擇HTC Vive 作為交互設(shè)備，雙基站追蹤頭盔和手柄位置和角度信息，實時跟新場景和交互動作，實現(xiàn)沉浸式漫游和交互體驗。

場景中導(dǎo)入SteamVR Plugin，Hierarchy 窗口中添加將CameraRig 和SteamVR。手柄和基站定位器鏈接SteamVR 定位系統(tǒng)，通過頭盔和手柄中傳感器，實現(xiàn)定位功能。頭盔和手柄由Camera Rig 控制。刪除原來的Camera，運動手柄連接成功后，虛擬場景中會創(chuàng)建虛擬手柄。選擇視圖中Camera(eye)，攝像機將精確地追蹤到頭盔，然后創(chuàng)建腳本并添加到控制器上。在Scripts 文件夾下創(chuàng)建C#語言腳本，刪除Start()，編寫方法程序代碼放入Update()內(nèi)，對手柄控制器進行一個引用，作為被跟蹤對象。通過SteamVR_Controll-er.Device 訪問到手柄控制器，通過手柄控制器input值追蹤對象并返回這個input 值。頭盔和手柄都是被追蹤對象，在現(xiàn)實中移動和旋轉(zhuǎn)頭盔與手柄都能被系統(tǒng)追蹤到。在Update()中編寫方法程序，Tracked_Obj 會被賦值SteamVR_Tracked Object 對象，通過訪問手柄的輸入信號并傳輸?shù)娇刂婆_，實現(xiàn)程序表達的動作。

選擇瞬移的方式來實現(xiàn)虛擬場景中的移動漫游功能，借助運動手柄向目的地面發(fā)射激光，攝像機瞬間移動到激光定位的位置，達到虛擬場景中的視野移動。首先利用預(yù)配置的ViveNavMesh 在Unity3d 中烘焙一個導(dǎo)航網(wǎng)格。添加ParabolicPointer 組件后，生成指示網(wǎng)格從Vive Nav Mesh 中采樣獲得指示數(shù)據(jù)。給SteamVR Camera 添加Vive Teleporter 組件，組件通過控制傳送機制從Parbolic Pointer中獲取指示數(shù)據(jù)，確定傳送的位置，移動后實時渲染的新場景平穩(wěn)地切入轉(zhuǎn)換減少了眩暈感。

本系統(tǒng)的交互點數(shù)量龐大，有如按鈕、照明燈、調(diào)速旋鈕等，虛擬交互點保持與現(xiàn)實一致的邏輯動作過程。先將交互點進行分類處理，然后用C#語言編寫程序控制交互點動作。另外采用界面開發(fā)插件UGUI完成交互界面設(shè)計，根據(jù)需求，設(shè)計人機交互界面，包括登錄界面、功能模塊界面、仿真操作界面、設(shè)置界面、在線學(xué)習(xí)與考核界面等。

3 應(yīng)用結(jié)果

我們所開發(fā)的實訓(xùn)項目支持多種主流平臺發(fā)布，包括PC、手機及平板等，訓(xùn)練人員可通過本地電腦、手機或平板進行培訓(xùn)考核，極大增強了仿真培訓(xùn)的便捷性。本平臺包含兩門課程實訓(xùn)內(nèi)容，主要通過“知識認知”和“技能實訓(xùn)”兩種形式呈現(xiàn)。

根據(jù)實訓(xùn)課程相關(guān)知識點，組織學(xué)習(xí)資源，引導(dǎo)學(xué)生在虛擬仿真實訓(xùn)場景中進行學(xué)習(xí)，通過對真實工作場景的高度還原，引導(dǎo)學(xué)生熟悉實際工作崗位上所要接觸到的知識點。虛擬仿真技術(shù)與傳統(tǒng)文字、圖片或視頻技術(shù)相比較，可以從事物的外在架構(gòu)逐步透視到內(nèi)在構(gòu)成，結(jié)合預(yù)先設(shè)置好的學(xué)習(xí)路線、平臺可以引導(dǎo)學(xué)生依照專業(yè)崗位職責(zé)設(shè)置開展學(xué)習(xí)活動，從而使得學(xué)生形成整體上的認知，如圖6所示。

圖6 樓宇自動化虛擬仿真認知實訓(xùn)

根據(jù)真實工作崗位要求，我們設(shè)計了相關(guān)技能實訓(xùn)及考核環(huán)節(jié)，引導(dǎo)學(xué)生在虛擬仿真實訓(xùn)場景中進行實訓(xùn)或考核。傳統(tǒng)的虛擬仿真實訓(xùn)場景一旦開發(fā)完畢即固化且難以調(diào)整，考慮到現(xiàn)代樓宇自動化管理技術(shù)的發(fā)展，實際工作場景隨著管理需求的變更或設(shè)備技術(shù)的提升，相關(guān)技能學(xué)習(xí)或?qū)嵱?xùn)要求會隨之有所改變，因此提供了一套虛擬仿真實訓(xùn)場景參數(shù)設(shè)置接口，依照相關(guān)接口可以定義實訓(xùn)場景的各類參數(shù)，如需要顯示的設(shè)備名稱、描述；互動操作的取值范圍，限制條件等，通過這一模式，可以最大限度利用“三維場景可視化”環(huán)節(jié)的工作成果，同時亦可為未來場景擴展做好準(zhǔn)備。

“知識認知”和“技能實訓(xùn)”時，系統(tǒng)將采集其過程數(shù)據(jù)，并根據(jù)一定的規(guī)則加以評判（如，是否在指定時間內(nèi)完成，是否掌握該崗位必要的技能點等等），對學(xué)生技能掌握情況有一個定量的分析供師生參考，也為個性化教學(xué)提供參考數(shù)據(jù)，這是本平臺的一大創(chuàng)新點，如圖7所示。

圖7 樓宇自動化虛擬仿真實訓(xùn)評估

4 結(jié)束語

基于虛擬現(xiàn)實與仿真技術(shù)，結(jié)合Unity3D 虛擬仿真引擎，對樓控系統(tǒng)的運行與維護課程以及綜合布線課程實訓(xùn)的關(guān)鍵技術(shù)進行了探索性研究，開發(fā)了一種高真實度的行為仿真模型，成功搭建了一種虛擬仿真實訓(xùn)室平臺。該平臺能夠直觀展現(xiàn)樓宇智能化設(shè)備安裝與運行課程以及綜合布線課程中各種復(fù)雜環(huán)境與運行仿真場景，為學(xué)生提供一種高度逼真的訓(xùn)練環(huán)境，支持注冊登錄、虛擬漫游、實訓(xùn)演練、在線考核評估等功能，可發(fā)布到電腦、手機或平板，可以隨機隨時進行考核培訓(xùn)，增強了培訓(xùn)的便捷性。該研究成果具有重要意義和實用價值。