譚登程， 白廷俊

（中國礦業(yè)大學(xué) 建筑與設(shè)計(jì)學(xué)院， 江蘇 徐州 221116）

0 引言

近年來， 隨著計(jì)算機(jī)三維能力的增強(qiáng)和傳感設(shè)備的普及，混合現(xiàn)實(shí)技術(shù)取得了顯著進(jìn)步，特別是在教學(xué)等領(lǐng)域展現(xiàn)出廣闊的發(fā)展前景[1]。 然而在工程機(jī)械領(lǐng)域，由于其操縱的復(fù)雜性特點(diǎn)[2]，目前還沒有成熟的教學(xué)方案。 通過將混合現(xiàn)實(shí)技術(shù)與道路工程車輛教學(xué)系統(tǒng)結(jié)合， 可獲得沉浸式的操作感受和逼真的環(huán)境體驗(yàn)， 從而提高教學(xué)效率和學(xué)生學(xué)習(xí)體驗(yàn)。

1 概述

混合現(xiàn)實(shí)（Mixed Reality，MR）將虛擬事物與真實(shí)世界融合到一個(gè)場景中，從而增強(qiáng)用戶體驗(yàn)的真實(shí)感。它有三個(gè)主要的特點(diǎn)：一是虛實(shí)融合，將真實(shí)世界和虛擬事物在同一空間中展示；二是三維注冊，將虛擬事物精準(zhǔn)地與真實(shí)世界耦合；三是實(shí)時(shí)交互，實(shí)現(xiàn)人與真實(shí)世界及虛擬事物的實(shí)時(shí)交互。 同時(shí)人機(jī)交互也是混合現(xiàn)實(shí)的重要支撐技術(shù)，成為了近年來國內(nèi)外研究的熱點(diǎn)[3]。

隨著關(guān)鍵技術(shù)的發(fā)展， 混合現(xiàn)實(shí)逐漸被應(yīng)用多個(gè)領(lǐng)域。 由于其極佳的體驗(yàn)，使得混合現(xiàn)實(shí)技術(shù)在教育系統(tǒng)的設(shè)計(jì)與開發(fā)中具有廣闊的前景[4]。 將混合現(xiàn)實(shí)技術(shù)引入到機(jī)械類課程教學(xué)中，通過視覺耦合增強(qiáng)交互體驗(yàn)，使學(xué)生身臨其境地學(xué)習(xí)， 提高了學(xué)生視圖解讀的認(rèn)知能力和工程實(shí)踐的創(chuàng)新能力[5-6]。

2 用戶調(diào)研與特征分析

2.1 用戶調(diào)研

走訪調(diào)研了徐工集團(tuán)道路事業(yè)部以及多個(gè)道路施工項(xiàng)目，通過自然觀察、半結(jié)構(gòu)式訪談、問卷調(diào)查等研究方法， 了解了新手駕駛員對(duì)道路工程車輛操縱的認(rèn)知程度和學(xué)習(xí)培訓(xùn)過程中的痛點(diǎn)與需求。

2.1.1 自然觀察法

觀察教學(xué)過程，著重梳理出不易懂、效率低、常出錯(cuò)的流程環(huán)節(jié)，在后續(xù)訪談過程中持續(xù)跟進(jìn)。

（1）學(xué)生無法獨(dú)立學(xué)習(xí)，易操作錯(cuò)誤，需要有教師在身邊指導(dǎo)。

（2）理論知識(shí)不易理解與記憶。

（3）演示復(fù)雜操作流程時(shí)需要多次重復(fù)。

2.1.2 半結(jié)構(gòu)式訪談

制定訪談提綱，訪談了新手駕駛員20 名、教學(xué)師傅5名，了解教學(xué)體驗(yàn)，并結(jié)合觀察法中梳理出的問題點(diǎn)進(jìn)行有針對(duì)性的提問。

（1）教師認(rèn)為模擬不同施工方案很必要。

（2）教學(xué)過程需要標(biāo)準(zhǔn)化的培訓(xùn)模式，減少人力成本。

（3）學(xué)生在學(xué)習(xí)過程中無法構(gòu)建出清晰的操作場景。

（4）學(xué)生對(duì)教學(xué)背景理解不夠深刻。

2.1.3 問卷調(diào)查

通過發(fā)放問卷的形式了解學(xué)生與教師在教學(xué)過程中對(duì)不同影響因素的重視程度和教學(xué)流程的期望優(yōu)化方向。

（1）教學(xué)信息的傳達(dá)效率低，對(duì)教學(xué)質(zhì)量影響大。

（2）教學(xué)過程需增強(qiáng)趣味性，調(diào)動(dòng)學(xué)員的學(xué)習(xí)積極性。

（3）現(xiàn)有教學(xué)手冊不夠直觀，理解與記憶難度大。

（4）缺少畫面感，實(shí)際操作時(shí)無法應(yīng)對(duì)所有施工場景。

2.2 用戶特征分析

結(jié)合用戶訪談，分析學(xué)生用戶生理、心理、認(rèn)知、行為四個(gè)方面的特征， 為后續(xù)提出混合現(xiàn)實(shí)類工程車輛教學(xué)系統(tǒng)的設(shè)計(jì)原則提供支撐，見表1。

2.2.1 用戶生理特征分析

視覺方面，用戶對(duì)高飽和度色彩較為敏感，對(duì)高度抽象化的幾何符號(hào)的分辨能力較弱。聽覺方面，能準(zhǔn)確判斷出聲源方向與大致距離，可以粗略區(qū)分出不同聲音。觸覺方面， 用戶在駕駛過程中能有效辨別外界事物的震動(dòng)變化。 嗅覺和味覺是用戶感觸外界事物味道屬性的主要途徑，但在本研究議題中相關(guān)性不大。

2.2.2 用戶心理特征分析

用戶多為25～35 歲的成熟男性，情感深刻、豐富、效果性強(qiáng)。 面對(duì)客觀事物能夠產(chǎn)生鮮明的情感，包括喜悅、苦惱、興奮、厭煩、畏懼等基本情感，且情感能有效反作用影響到實(shí)際行動(dòng)。 除基本情感外， 此類用戶還具備榮譽(yù)感、責(zé)任感、成就感等豐富的社會(huì)情感。

2.2.3 用戶認(rèn)知特征分析

用戶主要通過視覺通道感知外界信息， 依據(jù)事物的具體形象和變化來認(rèn)識(shí)事物。 在思維模式上主要通過將現(xiàn)實(shí)事物映射到大腦中進(jìn)行模擬復(fù)現(xiàn)， 來實(shí)現(xiàn)事物的理解與記憶。因此在道路工程車輛類的教學(xué)過程中，空間感能力越強(qiáng)的學(xué)生，認(rèn)知與記憶的效率越高。

2.2.4 用戶行為特征分析

學(xué)生用戶的行為往往是優(yōu)先操作難度低、回報(bào)快、方法明確的任務(wù)，缺少探索精神。這導(dǎo)致學(xué)生用戶不能在多場景下應(yīng)對(duì)問題，對(duì)未知的恐懼影響學(xué)習(xí)的全面性。

3 混合現(xiàn)實(shí)技術(shù)的道路工程車輛教學(xué)系統(tǒng)設(shè)計(jì)原則

基于用戶調(diào)研和用戶特征分析， 混合現(xiàn)實(shí)技術(shù)的工程車輛教學(xué)系統(tǒng)設(shè)計(jì)應(yīng)該從靈活高效、可學(xué)習(xí)與可記憶、動(dòng)態(tài)交互、情感化設(shè)計(jì)等方面加以考慮，滿足學(xué)生用戶的學(xué)習(xí)需求。

3.1 靈活高效性原則

現(xiàn)有道路工程車輛教學(xué)系統(tǒng)存在成本高和效率低的問題，因此靈活高效性是首要設(shè)計(jì)原則。利用混合現(xiàn)實(shí)技術(shù)將教學(xué)過程數(shù)字化、 標(biāo)準(zhǔn)化， 學(xué)生可以自主學(xué)習(xí)， 擺脫對(duì)場地和教師的依賴。 通過模擬不同的道路施工場景，學(xué)生可以體驗(yàn)多種施工方案，增強(qiáng)教學(xué)的靈活性。

在不同感官通道上高效傳遞信息可以提高學(xué)生認(rèn)知效率。 視覺上，通過模擬第一視角的畫面，讓學(xué)生直觀地感受到操作過程中的視覺變化。同時(shí)為避免視覺通道的信息擁堵， 在聽覺和觸覺上模擬施工環(huán)境并傳遞應(yīng)急報(bào)警、操作提示等輔助信息，加強(qiáng)信息交換的效率，高效完成教學(xué)任務(wù)。

表1 用戶特征分析及表現(xiàn)Tab.1 User characteristics analysis and performance

3.2 動(dòng)態(tài)交互性原則

混合現(xiàn)實(shí)的教學(xué)系統(tǒng)最大的優(yōu)勢在于動(dòng)態(tài)信息展示和虛擬訓(xùn)練，因此動(dòng)態(tài)交互性是基本設(shè)計(jì)原則。 在信息展示方面，傳統(tǒng)的靜態(tài)信息與實(shí)際操作的動(dòng)態(tài)變化相悖，采用混合現(xiàn)實(shí)的三維動(dòng)畫可以使教學(xué)展示與實(shí)際操作更加契合，提高人機(jī)交互效率。 同時(shí)利用混合現(xiàn)實(shí)技術(shù)模擬出操作后的效果，這種高仿真性降低了試錯(cuò)風(fēng)險(xiǎn)，有利于學(xué)生主動(dòng)探索，開發(fā)創(chuàng)新能力。

3.3 可學(xué)習(xí)性與可記憶性原則

針對(duì)理解和記憶難度大的問題， 應(yīng)著重考慮可學(xué)習(xí)性與可記憶性設(shè)計(jì)原則。 傳統(tǒng)教學(xué)方式多以口述和靜態(tài)圖像的形式為主，學(xué)生需要在腦中構(gòu)想出來操作畫面，導(dǎo)致理解難度大；操作流程多且長，導(dǎo)致不易記憶。 因此可以利用混合現(xiàn)實(shí)幫助學(xué)生構(gòu)建出操作畫面， 減少信息翻譯的過程； 再結(jié)合具象化圖標(biāo)和統(tǒng)一視覺規(guī)范減少記憶量，降低記憶難度。

在教學(xué)過程中加強(qiáng)場景的敘事性表達(dá)， 幫助學(xué)生更好地理解所學(xué)內(nèi)容。同時(shí)配合聽覺和觸覺兩個(gè)輔助通道，幫助學(xué)生沉浸到教學(xué)場景中，提高專注度。

3.4 情感化設(shè)計(jì)原則

學(xué)生在情感方面具備了成就感、榮譽(yù)感、責(zé)任感等豐富的情感， 因此情感化設(shè)計(jì)原則有助于提高教學(xué)系統(tǒng)用戶體驗(yàn)。敘事性的案例可以引起學(xué)生的關(guān)注，以趣味性的案例為入口，讓學(xué)生對(duì)教學(xué)背景產(chǎn)生興趣，進(jìn)而導(dǎo)向教學(xué)環(huán)節(jié)。在教學(xué)系統(tǒng)中加入成就模式，以此激發(fā)學(xué)生的成就感和榮譽(yù)感，從而產(chǎn)生學(xué)習(xí)欲望。在教學(xué)文案上加強(qiáng)情感色彩，通過激勵(lì)的語氣幫助學(xué)生面對(duì)困難、親和的語氣指導(dǎo)學(xué)生反復(fù)練習(xí)、嚴(yán)肅的語氣輔助學(xué)生糾錯(cuò)整改，進(jìn)而提升教學(xué)系統(tǒng)的親和力。

4 設(shè)計(jì)實(shí)踐

4.1 設(shè)計(jì)方案

針對(duì)用戶特征，結(jié)合教學(xué)系統(tǒng)的設(shè)計(jì)原則，進(jìn)行了機(jī)械單光輪壓路機(jī)教學(xué)系統(tǒng)設(shè)計(jì)實(shí)踐應(yīng)用。 整體系統(tǒng)開發(fā)與設(shè)計(jì)方案如圖1 所示。

圖1 系統(tǒng)方案Fig.1 System solutions

在虛實(shí)融合方面， 利用Unity3D 平臺(tái)完成三維注冊跟蹤與虛實(shí)場景耦合顯示。 在用戶界面形態(tài)方面， 使用3DUI 界面與頭戴式顯示設(shè)備HMD 結(jié)合的方式， 實(shí)現(xiàn)視覺信息的展示。在3D 交互技術(shù)方面，利用立體音響、震動(dòng)座椅實(shí)現(xiàn)聽覺與觸覺反饋，通過數(shù)據(jù)手套、運(yùn)動(dòng)傳感器實(shí)現(xiàn)手勢識(shí)別和運(yùn)動(dòng)學(xué)交互。

4.2 原型設(shè)計(jì)與評(píng)估

利用3DMAX 構(gòu)建駕駛室三維模型，并在Unity3D 平臺(tái)進(jìn)行模型與現(xiàn)實(shí)事物的校準(zhǔn)。 選用“壓路機(jī)操作教學(xué)”模塊作為實(shí)踐內(nèi)容，制作動(dòng)畫效果，繪制3DUI 交互界面原型。 文案上結(jié)合情感化設(shè)計(jì)，添加學(xué)習(xí)完成度，并撰寫情感化提示語。 利用PS 繪制施工場景，以實(shí)現(xiàn)多場景模擬練習(xí)。邀請6 名測試員進(jìn)行原型測試，完成教學(xué)操作（見圖3）。 經(jīng)過訪談和主觀滿意度打分， 認(rèn)為基于混合現(xiàn)實(shí)的道路工程車輛教學(xué)系統(tǒng)能夠幫助學(xué)生提升學(xué)習(xí)體驗(yàn)感和認(rèn)知程度，有效提高了教學(xué)質(zhì)量和學(xué)習(xí)效率。 在實(shí)際應(yīng)用中需要加強(qiáng)虛擬事物與現(xiàn)實(shí)的耦合準(zhǔn)確度和交互的反饋流暢度。

圖2 駕駛室三維模型Fig.2 3D model of cab

圖3 原型測試Fig.3 Prototype test

5 結(jié)束語

將混合現(xiàn)實(shí)技術(shù)引入到道路工程車輛教學(xué)過程中，可以增強(qiáng)教學(xué)的互動(dòng)體驗(yàn)感， 提升學(xué)生的學(xué)習(xí)效率和實(shí)踐能力，激發(fā)學(xué)生的學(xué)習(xí)積極性。雖然現(xiàn)在混合現(xiàn)實(shí)技術(shù)還處在初步探索階段， 但隨著新興技術(shù)的成熟，它將發(fā)揮出更大的魅力，未來混合現(xiàn)實(shí)將成為教育活動(dòng)的重要形式。