向錦鵬 蔣思毅 許永嘉 薛焱潔 劉涵 張健 張超智 郭慶

摘要：隨著5G通信、人工智能（AI）、虛擬現(xiàn)實（VirtualReality，VR）、增強現(xiàn)實（Augmented Reality，AR）和混合現(xiàn)實（Mixed Reality，MR）等技術的發(fā)展，結合多媒體體系交互得新型信息教學方式變得可能。基于當今民航維修業(yè)發(fā)展趨勢，順應混合現(xiàn)實技術在國內的迅速發(fā)展及大環(huán)境下互聯(lián)網技術的發(fā)展模式，本系統(tǒng)研究并開發(fā)了以用戶為中心的人性化、智能化的Hololens 混合現(xiàn)實 LEAP發(fā)動機誘導維修系統(tǒng)，幫助用戶完成復雜的維修工作。以虛擬集成開發(fā)平臺Unity3D核心，結合Solidworks、3Dmax、C4D等對場景中的機械以及人物進行建模;在CPU層面借助Visual Studio編輯器采用C#腳本語言為核心的多語言開發(fā)，結合在GPU層面的圖形渲染編程語言，突出虛擬中的優(yōu)點以及重點的視覺效果;利用混合現(xiàn)實交互技術以及Vuforia進行實物掃描與識別，實現(xiàn)虛擬和現(xiàn)實的對接，形成視覺、聽覺、觸覺結合的多媒體交互體系，突破空間、時間和現(xiàn)實約束，在現(xiàn)實世界中投射出全面、逼真、可交互的航空發(fā)動機模型，構建以Hololens為基礎的三維混合現(xiàn)實維修體系。

關鍵詞：混合現(xiàn)實誘導維修多媒體交互機務培訓

中圖分類號：TP391.9文獻標識碼：A? ????? 文章編號：1672-3791（2022）01（b）-0000-00

Development of Induction Maintenance System for Hololens Hybrid Reality Leap Engine

XIANG Jinpeng?? JIANG Siyi?? XU Yongjia? XUE Yanjie? LIU Han

ZHANG Jian? ZHANG Chaozhi? GUO Qing

（College of Aeronautical Engineering， Civil Aviation University of China， Tianjin， 300300 China）

Abstract： With the development of 5G communication， artificial intelligence （AI）， VirtualReality （VR）， Augmented Reality （AR） and Mixed Reality （MR） technologies， it is possible to integrate the interaction of multimedia systems into new information teaching methods. Based on the current development trend of civil aviation maintenance industry and in line with the rapid development of hybrid reality technology in China and the development mode of Internet technology in the general environment， this system studies and develops a user-centered humanized and intelligent Hololens hybrid reality Leap engine induction maintenance system to help users complete complex maintenance work. Taking the virtual integrated development platform Unity3D as the core， combined with Solidworks， 3Dmax， C4D， etc.， to model the machinery and characters in the scene; At the CPU level， with the help of visual studio editor， the multi language development with C# script language as the core， combined with the graphics rendering programming language at the GPU level， highlights the advantages of virtual and key visual effects; The hybrid reality interaction technology and Vuforia are used for physical scanning and recognition to realize the connection between virtual and reality， form a multimedia interaction system combining vision， hearing and touch， break through the constraints of space， time and reality， and project a comprehensive， realistic and interactive aeroengine model in the real world， Build a three-dimensional hybrid reality maintenance system based on Hololens.

Key Words： Mixed Reality;Induction of maintenance;Multimedia interaction;Maintenance training

在航空航天領域，MR 技術可構建出逼真的航空發(fā)動機模型，結合全息影像，并通過手勢識別、觸覺反饋、生理計算和語音交互技術實現(xiàn)發(fā)動機零部件的拆解、尺寸/材料設計、組裝和運行模擬[1]。由于發(fā)動機內部結構復雜，零部件極多，維修難度較大，機械零件昂貴，發(fā)動機的性能深受維修質量的影響，故發(fā)動機維修對維修人員的操作技術要求極高?，F(xiàn)階段，民航發(fā)動機維修教學主要依靠翻閱紙質文檔或查閱電子手冊這種單一的書面教學形式，該方法可讀性差且不易理解和使用，在維修過程中易出現(xiàn)裝配差錯，無法及時得到糾正和指導.在現(xiàn)實教學中，同學們進入實地維修場地機會較少，不利于學生的學習與維修技能和經驗的累積。面對民航發(fā)動機維修拆裝教學不便進行實地操作以及操作教學精確度不足的問題，迫切需開發(fā)一種人性化、智能化的輔助維修教學工具，輔助學生準確掌握技術手冊中要求的各種操作流程和要領，使操作者以第一人稱視角享受身臨其境的發(fā)動機拆卸體驗，并參與到操作虛擬環(huán)境中的仿真模型中[2]，掌握民航發(fā)動機維修裝配工作。而MR 技術具有“現(xiàn)實”和“虛擬”的可互動性，利用混合現(xiàn)實技術的多媒體交互方式以及對于三維模型的可視化功能，結合便攜式頭戴設備Hololens的實物識別技術，保障教學精確度，減少因缺少實地操作而使學生出現(xiàn)操作誤差的現(xiàn)象。

1 基于Unity-Android平臺發(fā)動機誘導維修

1.1 高通識別

高通（Vuforia）是一種基于Unity的開發(fā)平臺使用的插件，結合運用特征點輔助掃描坐標紙、安卓端程序Scanner以及高通官方網站，通過手機端攝像機實現(xiàn)2D圖像或3D物體特征點的提取與掃描，同時利用Vuforia圖像的灰度處理功能，在導入Unity平臺前對圖像信息進行預處理，將Vuforia用于Unity-Android、Unity-Hololens等平臺的混合現(xiàn)實開發(fā)當中。在預先認識了解LEAP發(fā)動機及其各個部件的結構和功能的前提下，項目組成員經過實驗對比分析，最終發(fā)現(xiàn)作為組成零部件之一的發(fā)動機閥門部件因其外形可提取特征點較多且體積較小適用于掃描，將其作為高通識別的研究對象。（1）準備好1：1高還原度的發(fā)動機閥門零件，隨后為實驗研究所用移動端通訊設備配置Scanner特征點識別掃描軟件（2）為Unity配置Vuforia插件并設置開發(fā)環(huán)境（3）為實驗場地布置全方位單色光照燈，避免陰影或其他光照因素影響對零件特征點的掃描（4）使用Scanner對發(fā)動機閥門部件進行三維特征點提取。在導入到Unity平臺前通過灰度處理以及色差調整，當開啟攝像機后獲取到物體的TrackingStatus后，根據實際需求設置可跟蹤狀態(tài)為Extend或Limited，自定義物體在識別成功前后的狀態(tài)參數(shù)，實現(xiàn)誘導型維修的虛實疊加環(huán)節(jié)。

1.2 虛擬按鈕

虛擬按鈕是高通插件中自身配置的一種可用于Unity工程項目中增強現(xiàn)實開發(fā)的一類功能。將其添加入工程項目中時表現(xiàn)為一塊用以遮擋已導入2D圖片/3D物體數(shù)據部分特征點的四邊形薄片。當該被遮擋部分特征點被設備攝像機發(fā)現(xiàn)并且識別時，觸發(fā)虛擬按鈕在真實物體上的附加呈現(xiàn)效果。該功能又將上述四邊形薄片覆蓋區(qū)域分出一塊相似形狀的小區(qū)域模塊用于模擬虛擬按鈕觸發(fā)與否的判定，即當該區(qū)域內特征點被遮擋時觸發(fā)按鈕“按下”時的效果;當該區(qū)域內特征點未被遮擋且被攝像頭成功采集時觸發(fā)按鈕“松開”時的效果。如此達到了按鈕隨實體零件而走的虛擬按鈕控制的混合現(xiàn)實交互效果。預先在Unity開發(fā)平臺配置適用于Unity-Android發(fā)布的功能場景項目，并為該項目進行文件優(yōu)化與安全檢查，保證手機APP軟件的成功發(fā)布、正常、流暢運行且不對使用者手機非硬件設備造成不可逆損害。虛擬按鈕可觸發(fā)的交互效果多樣，例如但不限于以下效果的開發(fā)實現(xiàn)：用戶將開發(fā)完成的安卓端程序導入并啟用之后可以通過手部遮擋控制現(xiàn)實物體中附加的虛擬按鈕來達成如下交互效果：當按鈕被按下時，顯示半透明的功能介紹UI菜單;當按鈕被松開時，隱藏該功能介紹UI菜單。開發(fā)者可在導入程序之前主觀自由編輯菜單內容，任意設計字體格式、菜單邊框、開啟音效/動畫等個性化效果。

1.3 UI菜單

UI菜單是基于Unity平臺自帶的交互功能。與虛擬按鈕不同的是，UI按鍵歸屬于工程項目場景，在安卓端程序中表現(xiàn)為固定在現(xiàn)實屏幕中的UI板塊。虛擬按鈕跟隨攝像機視野中的特定事物移動，而UI按鍵跟隨使用安卓程序的移動式便攜設備的操控界面移動。開發(fā)者可為其添加的交互效果相比于虛擬按鈕更加多種多樣。例如但不限于如下交互功能的開發(fā)：用戶將開發(fā)完成的安卓端程序導入并啟用之后，將攝像機對準實體發(fā)動機閥門零件，這時可在手機屏幕中觀察到附加在實體零件靜止的虛擬扭動扳手以及附有文字說明“開始裝配”的固定UI按鍵。用戶可通過手部動作在移動設備屏幕進行點擊達成與UI按鍵的交互。當按鈕被按下時，啟動虛擬扭動扳手轉動動畫，扳手將進行符合常識性的-90°至+90°的勻速定軸往復旋轉，并將按鍵附加說明替換為“結束裝配”字樣，模擬用戶使用工具與發(fā)動機閥門零件對應螺釘?shù)慕换バ袨閯幼?當按鈕被松開時，即刻停止虛擬扭動扳手轉動動畫的播放，并將說明提示字樣替換回“開始裝配”字樣。開發(fā)者可在導入程序之前主觀自由編輯動畫，任意設計按鍵說明字體格式、按鍵點擊音效/動畫等個性化效果。

2 基于Unity-Hololens平臺發(fā)動機誘導維修

（1）利用SolidWorks以及3D Max建立發(fā)動機模型，通過對模型幾何信息的獲取和發(fā)動機工藝信息的獲取，建立虛擬維修信息庫。（2）通過Unity平臺調節(jié)虛擬引導信息在維修環(huán)境中顯示的內容、時間和方式、Unity中語音、手勢等交互命令的設置及其對應的觸發(fā)事件、整體場景環(huán)境以及各虛擬控件對應的觸發(fā)事件形成虛擬維修引導管理系統(tǒng)。（3）通過識別現(xiàn)實中的物體，調整實物與發(fā)動機部件之間的相對位置關系，實現(xiàn)虛擬引導信息與真實模型之間精準配合?；贖ololens開發(fā)平臺，在混合現(xiàn)實中結合C#語言以及MRTK實現(xiàn)對應功能，滿足維修過程中人機交互的需求。通過手勢識別技術在較短時間內完成高精度的維修操作，同時通過UI提示標識和語音的有機結合搭建多媒體混合現(xiàn)實維修體系。

可用于混合現(xiàn)實功能開發(fā)的MRTK是一種基于Unity開發(fā)平臺連接Hololens頭戴顯示設備一類具有強大功能的插件。開發(fā)者在為Unity工程項目導入MRTK插件時，需要根據開發(fā)需求以及硬件產品設備信息限制進行詳細的設置與調整以適應于工程項目的開發(fā)。MRTK插件為用戶提供能夠應用于混合現(xiàn)實誘導維修LEAP發(fā)動機系統(tǒng)中的交互功能，我們主觀上將其分為以下兩個主要部分。

2.1 語音交互

Hololens頭戴顯示器自身配置了聲音接受硬件，MRTK插件為用戶提供了多種感官的交互體驗功能，在傳統(tǒng)視覺交互的基礎上添加了聽覺、觸覺等交互手段，二者使Hololens端混合現(xiàn)實誘導教學系統(tǒng)的體驗豐富而沉浸成為可能。在眾多交互功能中語音交互無疑成為了一大突出亮點。開發(fā)者可根據自身需要主觀能動地進行語音交互的觸發(fā)關鍵字Keyword的自定義設置，但是由于插件本身的限制，語音指令只能以標準的特定英文格式存在。同時，開發(fā)者可以自行設定豐富的觸發(fā)效果，以如下對虛擬維修系統(tǒng)的開發(fā)為例：加入MRTK插件并為其配置適配軟件環(huán)境，在程序開發(fā)時設置關鍵詞“Start”與“Stop”并為其創(chuàng)建觸發(fā)效果。用戶在導入工程軟件并載入后，用戶可在視野內觀察到Leap發(fā)動機整流罩三維模型?？僧斢脩粝逻_語音指令“Start”時，開啟Leap發(fā)動機整流罩爆炸視圖模型，直觀展示發(fā)動機三維立體結構，便于用戶對發(fā)動機部件的學習與理解;當用戶下達語音指令“Stop”時，恢復發(fā)動機原型結構。模擬運用Hololens端混合現(xiàn)實誘導維修系統(tǒng)中發(fā)動機結構零件的現(xiàn)場教學。

2.2手勢交互

Hololens手勢識別可以通過兩種方式來進行：（1）基于空間位置，檢測到手指在 3D 空間的位置變化，并由此來推斷出各種手勢。這種方法容易實現(xiàn)，但結果并不準確。（2）基于機器學習，利用計算機的計算能力來學習手勢并進行識別，但需要提供大量的原始數(shù)據進行訓練。HoloLens2 已經通過機器學習將用戶需要的基本手勢在硬件中建立起來，可以直接調用[3]。

MRTK為用戶提供了多樣的手勢交互功能，例如手勢跟隨、UX菜單展示及劃動翻閱交互、虛擬物體放縮調節(jié)、進度條拉伸控制等。以如下對虛擬維修系統(tǒng)的開發(fā)為例：佩戴Hololens頭戴顯示，配置Unity-Hololens段發(fā)布的軟件工程。用戶在導入工程軟件并載入后，可在視野內觀察到Leap發(fā)動機整流罩三維模型。用戶可通過手勢動作與該模型進行交互。通過為可抓取部件添加碰撞域以及抓取狀態(tài)監(jiān)聽腳本，當手部兩指觸碰到該部件時，可實現(xiàn)自由抓取/移動任意組成零部件，當動作指示為捏合動作時，對應物體跟隨手部位置進行移動;當捏合動作取消時，對應物體停止跟隨。同時開發(fā)者可為任意交互效果添加自定義音效或者動畫，豐富整體體驗感受.在基于Hololens的混合現(xiàn)實中，用戶只需要佩戴輕便的頭戴顯示器便可以通往現(xiàn)實與虛擬結合起來的奇妙世界。通過與現(xiàn)實物體上附加的虛擬三維模型進行包含視覺、聽覺、觸覺等的多樣化交互形式，結合高度還原的LEAP發(fā)動機及其各部分組成零件模型，用戶可以深入且自由地開機械結構知識及其維修理論知識的學習。

3 MR技術應用于航空發(fā)動機維修的優(yōu)勢

3.1趣味性教學形式

混合現(xiàn)實技術是一種結合虛擬現(xiàn)實和增強現(xiàn)實的新技術，其將 CT、MRI等傳統(tǒng)影像數(shù)據通過高效智能化圖像分割算法進行 3D 重建渲染，進而將3D虛擬模型通過頭戴式3D眼鏡投射至現(xiàn)實世界場景中[4]。4MR 技術超現(xiàn)實的感官刺激，能夠讓工業(yè)生產中的機械結構和加工過程直接投射到現(xiàn)實世界，讓學生有置身于其中的沉浸式體驗。基于多媒體交互體系，獲取到現(xiàn)實世界中用戶的手勢、語音、眼睛注視等多個狀態(tài)參數(shù)后，生動形象地將課堂知識展現(xiàn)在學生面前，擺脫傳統(tǒng)教育方式的刻板印象以及枯燥的教學形式，刺激學生的感官，讓學生去主動學習。

3.2 空間掃描與跟蹤定位

通過空間錨點以及空間掃描技術建立Hololens虛實定位體系。Holenlens具有深度攝像頭，可對用戶所處的房間或空間進行三維實時掃描，在混合現(xiàn)實的空間中建立虛實定位體系，解決維修引導系統(tǒng)中虛擬模型和真實發(fā)動機部件的配準精度低的問題。在空間中的某一個錨點中顯示出相應的發(fā)動機模型，保證在發(fā)動機部件運動時虛擬模型配準的實時性。同時，通過跟蹤定位技術使虛擬引導信息在真實維修環(huán)境中保持正確的位姿，解決虛實對象之間的遮擋問題，這不同于 AR 技術中影像的簡單疊加，而是將現(xiàn)實中所獲取的信息與虛擬世界對應，實現(xiàn)虛擬引導信息與真實機身段縮比件模型之間的精準配合，避免影響維修人員的正常維修操作。

3.3遠程協(xié)同

互聯(lián)網技術（例如云服務器、5G通信）在近年來飛速發(fā)展，使得實時的多用戶、大流量、高穩(wěn)定性傳輸變得可能。而MR技術可以構建多人協(xié)同式教學虛擬課堂，打破時間和空間的限制，使身處各地的學生能夠在同一虛擬區(qū)域學習，在虛擬環(huán)境中實時漫游，查看飛機的結構、系統(tǒng)、設備信息及運行原理[5]，同時當某一用戶操作被動物體時，其形態(tài)的各種改變會同步到所有場景內的人物[6]。通過便攜式頭戴顯示器Hololens共享虛擬空間中的發(fā)動機模型以及工作參數(shù)，將科研數(shù)據直觀地展現(xiàn)出來，使學生對發(fā)動機原理與構造有更深層次的認識。

4 結語

該系統(tǒng)以虛擬集成開發(fā)平臺Unity為核心，結合Solodworks、Photoshop、Substance painter等對模型材質進行視覺美化和教學重點突出處理，增強用戶交互時的融入感。通過Vuforia進行實物識別，完成虛擬和現(xiàn)實的對接;通過空間錨點以及空間掃描技術建立Hololens虛實定位體系;利用結合MRTK插件與Leap motion手勢識別加入語音控制、跟蹤定位、手勢交互等功能體驗。用戶在開啟工程軟件后可以與LEAP發(fā)動機的虛擬3D模型進行近距離、多維度、高自由度的交互體驗，搭建起完整的三維混合現(xiàn)實維修體系。Hololens混合現(xiàn)實 LEAP發(fā)動機誘導維修系統(tǒng)開發(fā)脫離傳統(tǒng)單一的書本教學模式，實現(xiàn)了教學方法的多樣化。在保證用戶安全、避免實體操作發(fā)生危險的同時，使學習更加有趣、有效。

參考文獻

[1]? 楊曉龍，凌莉.混合現(xiàn)實技術在機械課程教學中的應用研究[J].高教學刊，2021，7（28）：90-93.

[2]? 張青，鄭巖，郭慶，趙洪利.航空發(fā)動機設備拆裝快速裝配仿真研究[J].計算機仿真，2018，35（3）：257-262.

[3]? 呂秀琴，張生海.基于HoloLens2的DEM空間分析實驗教學混合現(xiàn)實環(huán)境研究[J].實驗技術與管理，2021，38（10）：124-129.

[4]? 閆曉冬，侯建存，田青，等.混合現(xiàn)實技術在外科領域的應用研究進展[J].山東醫(yī)藥，2020，60（35）：112-114.

[5]? 李榮強，文愛兵，花斌，等.航空裝備虛擬維修訓練仿真模型快速開發(fā)技術[J].系統(tǒng)仿真學報，2021，33（5）：1167-1176.

[6]? 柳有權，王愿超，徐琨，等.基于混合現(xiàn)實的遠程協(xié)同式裝配維修引導[J].圖學學報，2021，42（2）：216-221.