王麗 陳亞東

摘要：虛擬現(xiàn)實開發(fā)技術實驗課程，存在實驗內(nèi)容單一、固化等問題，結合虛擬現(xiàn)實硬件與嵌入式系統(tǒng)課程的相關性，展開了以虛擬現(xiàn)實技術為主導，嵌入式系統(tǒng)課程為輔助的創(chuàng)新實踐教學研究。研究設計了兩者相結合的實驗內(nèi)容，包括基礎性實驗和開放性實驗，不僅鍛煉學生的基礎知識開發(fā)能力，又開發(fā)了學生自主創(chuàng)新的能力。該套實驗內(nèi)容結合了學科前沿技術，激發(fā)了學生學習興趣和主動性，有效地解決了現(xiàn)有問題，并在畢業(yè)設計成果中取得了驗證。

關鍵詞：虛擬現(xiàn)實;嵌入式系統(tǒng);HTC Vive實驗;實踐教學;創(chuàng)新教學

中圖分類號：G642? ? ? ? 文獻標識碼：A

文章編號：1009-3044（2022）12-0151-02

開放科學（資源服務）標識碼（OSID）：

實踐和創(chuàng)新是工程教育過程中重要的環(huán)節(jié)之一，因此在教學方法和教學內(nèi)容方面需要多層次、多融合的實踐探索與研究。隨著醫(yī)療保健、教育培訓、文教娛樂等領域?qū)μ摂M現(xiàn)實產(chǎn)業(yè)的需求不斷增加，虛擬現(xiàn)實技術在遠程醫(yī)療、春晚直播、紅色教育、在線旅游等一系列典型應用項目不斷涌現(xiàn)。而5G、人工智能、云計算、大數(shù)據(jù)、嵌入式等技術的高速發(fā)展[1-2]，使得虛擬現(xiàn)實設備的體驗感大大增強，用戶對虛擬現(xiàn)實設備的認可程度也在不斷提高。根據(jù) IDC的數(shù)據(jù)[3]，2019年第一季度全球 AR/VR頭顯設備出貨量為130萬臺，比去年同期增長了27.2%，其中VR頭戴式顯示器占到了96.6%。

虛擬現(xiàn)實技術課程是一門應用型課程，虛擬現(xiàn)實技術融合了傳感器、三模建模、人機交互、視覺呈現(xiàn)等技術。隨著虛擬現(xiàn)實時代的迅猛發(fā)展，高校對虛擬現(xiàn)實技術的課程、實踐、教材等建設方面也在推陳出新[4-7]，以滿足虛擬現(xiàn)實應用型人才的培養(yǎng)。程雷相[4]將虛擬現(xiàn)實技術融入到化工專業(yè)實訓教學中，可解決化工實訓教學面臨的一些實際問題。鄧逸鈺[5]認為搭建協(xié)同育人實踐平臺、以賽代練跨專業(yè)組隊參加學科競賽等方式實現(xiàn)人才培養(yǎng)模式的優(yōu)化與創(chuàng)新。廖愛華[6]等人利用虛擬現(xiàn)實技術，在城市軌道交通車輛認識實習課程教學方面進行了改革。林宇[7]數(shù)字媒體專業(yè)在課程教學中，引入虛擬現(xiàn)實技術，提高教學模式的合理性。

虛擬現(xiàn)實系統(tǒng)在追求無限逼真的視覺效果時，融入了大量交互、傳感器等嵌入式系統(tǒng)技術。我院虛擬現(xiàn)實課程團隊，擬將嵌入式實踐內(nèi)容引入虛擬現(xiàn)實課程，在實踐創(chuàng)新教學環(huán)節(jié)增設虛擬現(xiàn)實和嵌入式系統(tǒng)實驗，對工程化實踐教學實施方法進行了探索，培養(yǎng)學生工程實踐能力和創(chuàng)新意識。

1 教改目標和內(nèi)容

1.1 教改主要目標

虛擬現(xiàn)實硬件的發(fā)展離不開嵌入式系統(tǒng)的應用，特別是在虛擬現(xiàn)實的交互、頭盔顯示、便攜投影等方面。因此，有必要在虛擬現(xiàn)實課程中拓展嵌入式系統(tǒng)課程實驗，也是工程教育的需要。

目前，一些大場景嵌入式系統(tǒng)的開發(fā)成果，僅僅通過小單片機版展示。而虛擬現(xiàn)實技術的應用創(chuàng)新可以彌補大場景的仿真，達到逼真的效果[8]。將虛擬現(xiàn)實開發(fā)技術與嵌入式系統(tǒng)開發(fā)技術相結合，開發(fā)融合實驗，讓學生們掌握用嵌入式的控制信號控制虛擬現(xiàn)實場景中的場景，從而開發(fā)自己的虛擬現(xiàn)實應用。

1.2 教改的主要內(nèi)容

要清楚嵌入式系統(tǒng)技術在虛擬現(xiàn)實領域中的應用和發(fā)展，分析新的軟硬件技術，使學生熟悉相關的軟硬件開發(fā)工具，培養(yǎng)其開發(fā)能力，需要設計以嵌入式系統(tǒng)技術和虛擬現(xiàn)實技術為主題的實驗內(nèi)容，形成對現(xiàn)有嵌入式系統(tǒng)技術和虛擬現(xiàn)實開發(fā)技術實驗體系的擴充與拓展。

編寫融合實驗庫?；A性實驗，對基礎知識點進行實驗練習。開放性實驗，提供一定的實驗指導和實戰(zhàn)項目，為學生提供合適的訓練和實踐機會。

2 教學內(nèi)容設計

項目組成員結合自身在虛擬現(xiàn)實課程和嵌入式課程的教學經(jīng)驗，拓展課程實驗庫?；趦烧叩慕Y合主要設計了以虛擬現(xiàn)實技術搭建單片機的虛擬環(huán)境、虛擬現(xiàn)實頭顯為中心的教學實驗。

目前比較流行的頭顯設備主要有HTC Vive和三星Gear VR。其中HTC Vive搭載精確的定位系統(tǒng)Lighthouse，通過頭顯顯示立體圖像，手持控制器與虛擬場景的物體進行沉浸式交互，提供了完善的二次開發(fā)包。因此，我們選擇HTC Vive頭顯設備作為實驗庫的設備首選。實驗中理論教學內(nèi)容結構如圖1所示，主要包括基于HTC Vive的虛擬現(xiàn)實系統(tǒng)的開發(fā)案例庫構成。

HTC Vive包括一個VR頭戴式顯示眼鏡、兩個用來交互的手柄控制器、兩個空間定位的激光發(fā)射裝置。頭顯為AMOLED屏幕，雙眼合成分辨率可以達到20160*1200像素，視場角達到90Hz，內(nèi)置前置攝像頭和麥克風，內(nèi)置加速度計、陀螺儀和光電傳感器。手柄內(nèi)如單片機布局如圖2所示。

HTC Vive頭顯設備中的定位系統(tǒng)Lighthouse技術是利用激光和光敏傳感器來確定空間中物體的位置。在3米×4米×基站高度的空間對角線上安裝兩個激光發(fā)射器。激光發(fā)射器內(nèi)部有兩個激光掃描模塊，分別在水平和垂直方向輪流發(fā)射激光，每秒發(fā)出6次激光束。頭顯上的32個光敏傳感器接收器和兩個手柄上的48個光敏傳感器接收器，通過計算機計算兩束光線到達頭顯或者手柄的角度差，從而實現(xiàn)頭顯或者手柄的空間位置及方向。

3 教學實踐設計

虛擬顯示應用開發(fā)軟件主要有Unity3D，Unreal Engine 4等。實驗案例的開發(fā)平臺，選擇的是Unity3D軟件，主要是其開發(fā)可定制性高，可以根據(jù)實驗需求，通過渲染工具、動畫編輯器等，定制出很強邏輯性結果。腳本語言為C#語言，該引擎在渲染方面、多線程計算、內(nèi)存管理和顯存管理方面比較穩(wěn)定。

開發(fā)HTC Vive應用程序需要下載安裝SteamVR插件，SteamVR是基于OpenVR的虛擬現(xiàn)實開發(fā)體驗方案，提供Unity在頭盔環(huán)境中的開發(fā)框架。Vive的交互實現(xiàn)方式，比如手柄發(fā)出的射線、凝視、瞬移、拾取，UI交互等功能。

3.1 基礎性實驗

讓學生了解基于HTC Vive的基本開發(fā)流程，SteamVR的使用?；A實驗內(nèi)容包括：

（1）SteamVR的基礎配置，包括手柄的左右手配置等。

（2）UI控件實驗，HTC Vive需要跟場景中的物體進行交互，需要有一些UI控件作為選擇、切換，是進行交互的重要功能之一。

（3）瞬移實驗，是用來進行場景中的走動，由于人在定位控件中的移動位置是有限的，所以得通過手柄移動到場景中固定位置，利用瞬移實驗可以讓學生實現(xiàn)在場景中的位置更新。

（4）射線交互實驗，利用手柄實現(xiàn)抓、扔、遠距離相應等功能，得需要有射線碰撞檢測功能來實現(xiàn)。通過射線交互實驗，讓學生掌握HTC Vive手柄在場景中基本交互動作。

3.2 開放型實驗

提供了幾個題目供學生自由選擇：

（1）模擬做菜過程：HTC Vive的最大特色就是交互性能強，借助手柄，模擬場景中的雙手，實現(xiàn)洗菜、切菜、炒菜的過程。在模擬場景中，需要學生學會HTCVive頭顯在Unity3D中的顯示原理及交互方法，制作做菜的交互模擬。

（2）化學實驗類設計：虛擬化學實驗系統(tǒng)是一個利用虛擬現(xiàn)實技術實現(xiàn)人機交互的系統(tǒng)。傳統(tǒng)教學中，學生遇到需要進行實驗的時候，只能是在學校的實驗室中，在有老師的指導下進行一項項實驗。虛擬化學實驗系統(tǒng)作為一種新型教學方式，學生可以體驗到如同在真實的實驗室中一樣進行化學實驗。學生可以完成一些在現(xiàn)實生活中不容易實現(xiàn)的試驗，教師則可以在教學中應用模擬實驗，為學生形象地指導各種化學變化、結構精巧的化學儀器，提高教學效率。

（3）計算機系統(tǒng)的仿真教學設計：為了能夠使大部分學生學習計算機硬件知識，模擬了計算機硬件三維模型。利用虛擬的硬件模型，指導學生計算機硬件的組裝。在計算機組成原理課程中，幾乎都是以平面圖標及箭頭演示計算機內(nèi)部進行加法操作過程，通過VR技術，可以讓這樣的仿真更加逼真，學生們更加直觀地學習內(nèi)部的硬件工作原理。

（4）智能家居系統(tǒng)：引入ArdUnity插件，可以在Unity的開發(fā)環(huán)境中，利用Arduino串口通信控制智能家電，比如智能窗簾的閉合、設置智能空調(diào)溫度、設置智能熱水器的溫度等。

4 總結

結合“嵌入式系統(tǒng)”和“虛擬現(xiàn)實技術”兩門課程實踐案例是一次新的嘗試，積極調(diào)動了學生的學習興趣。在2016級和2017級學生的課程中開展了教學初步嘗試，效果不錯，并且每年都有1～2名學生的相關畢業(yè)設計獲得校級優(yōu)秀畢業(yè)設計。目前案例主要還是以虛擬現(xiàn)實技術為主，嵌入式技術為輔助的實踐模式，后期還要注重兩者的結合，開發(fā)結合的新形式，提煉技術融合的實踐內(nèi)容。“新工科”要求交叉學科領域，培養(yǎng)能夠服務于技革新、產(chǎn)業(yè)結構升級形成的新環(huán)境的大量新型人才。作為課程建設者，在課程建設和學課拓展中，緊扣創(chuàng)新，學習前沿科技，加強創(chuàng)新創(chuàng)業(yè)實踐，培養(yǎng)復合型、創(chuàng)新型人才。

參考文獻：

[1] 尉糧蘋，馬澤正，王曉晴，等.虛擬現(xiàn)實技術在旅游文化遺產(chǎn)數(shù)字化保存中的應用分析[J].中國信息化，2021（7）：94-96.

[2] 錢文君.5G時代下，虛擬現(xiàn)實技術在VR游戲中的應用發(fā)展[J].新聞傳播，2021（14）：28-29.

[3] 賽迪智庫電子信息研究所虛擬現(xiàn)實產(chǎn)業(yè)聯(lián)盟. 虛擬現(xiàn)實產(chǎn)業(yè)發(fā)展白皮書（2019年）[N]. 中國計算機報，2019-11-25（008）.

[4] 程雷相.虛擬現(xiàn)實技術在化工專業(yè)實訓課程中的應用[J].當代化工研究，2021（14）：129-131.

[5] 鄧逸鈺.虛擬現(xiàn)實技術專業(yè)人才培養(yǎng)的創(chuàng)新與應用研究[J].科技風，2020（16）：251+255.

[6] 廖愛華，胡定玉，師蔚，等.虛擬現(xiàn)實技術在《城市軌道交通車輛認識實習》中的應用分析[J].產(chǎn)業(yè)與科技論壇，2021，20（13）：135-136.

[7] 林宇.虛擬現(xiàn)實技術在數(shù)字媒體人才培養(yǎng)中的應用與創(chuàng)新[J].軟件，2021，42（5）：181-183.

[8] 劉肖佑，田立國，張馳宇，等.智能體感虛擬現(xiàn)實交互運動系統(tǒng)[J].科技創(chuàng)新與應用，2019（3）：37-38.

【通聯(lián)編輯：王力】