邱鈺 章立

摘要：文章通過分析《碎片》，嘗試歸納和總結(jié)MR游戲的相關(guān)特征，思考MR技術(shù)在電子游戲領(lǐng)域的應(yīng)用問題，思考的核心點(diǎn)集中在MR技術(shù)為游戲交互帶來的影響和改變，及混合現(xiàn)實技術(shù)與游戲玩法、場景構(gòu)建、虛擬角色的關(guān)系，并嘗試提出MR交互模式在游戲設(shè)計中關(guān)于場景建構(gòu)、感官體驗、交互流程、交互界面、交互方式方面的應(yīng)用策略。

關(guān)鍵詞：混合現(xiàn)實；電子游戲；交互設(shè)計；虛擬場景建構(gòu)

中圖分類號：TP317 文獻(xiàn)標(biāo)識碼：A 文章編號：1004-9436（2022）11-00-05

混合現(xiàn)實技術(shù)是新媒體技術(shù)中的一員，其應(yīng)用領(lǐng)域正逐漸擴(kuò)展。如何合理運(yùn)用混合現(xiàn)實技術(shù)，成為藝術(shù)探索的方向。在藝術(shù)領(lǐng)域，混合現(xiàn)實涉及物理空間和幻想空間的關(guān)系問題，混合現(xiàn)實技術(shù)旨在構(gòu)建虛實結(jié)合且可交互的新型空間［1］。基于混合現(xiàn)實技術(shù)的電子游戲通過空間映射的方式，使游戲環(huán)境由虛擬狀態(tài)延伸到玩家所處的真實空間，拓展了電子游戲的交互維度。在混合的新空間中，虛景和實景、虛擬角色和玩家、玩家和虛擬影像之間的交互成為新的游戲玩法。因此，探究混合現(xiàn)實游戲的設(shè)計理念和交互特征，能為混合現(xiàn)實游戲的創(chuàng)作實踐提供理論支持。

1 混合現(xiàn)實游戲概述

混合現(xiàn)實技術(shù)簡稱MR，是虛擬現(xiàn)實技術(shù)（VR）和增強(qiáng)現(xiàn)實技術(shù)（AR）的進(jìn)一步發(fā)展。這一概念最早出現(xiàn)于1994年發(fā)表的論文《混合現(xiàn)實視頻顯示的分類法》中，文章提出“虛擬連續(xù)體”概念，MR是處于真實與虛擬之間，包括AR與AV（增強(qiáng)虛擬）在內(nèi)的連續(xù)空間。MR將現(xiàn)實世界與虛擬世界融合，使真實世界和虛擬物體呈現(xiàn)在同一視覺空間中。如今，混合現(xiàn)實的應(yīng)用程序不局限于顯示系統(tǒng)，還包括環(huán)境理解、自然交互、空間音效、物理和虛擬空間的位置追蹤與定位、MR空間的3D資產(chǎn)協(xié)作等。

在游戲領(lǐng)域，混合游戲的技術(shù)基礎(chǔ)是MR。MR游戲是指在MR支持下的游戲品類［2］。與MR游戲相比，傳統(tǒng)的電子游戲缺乏玩家與現(xiàn)實世界的互動，人與人的互動從面對面的方式轉(zhuǎn)變?yōu)楦糁聊坏拈g接方式，而MR游戲嘗試在保留電腦游戲給人帶來愉悅感的同時恢復(fù)與物理世界的自然交互。表1整理了市面上現(xiàn)有的MR相關(guān)技術(shù)與設(shè)備，梳理其功能與技術(shù)特征，并整理了相關(guān)設(shè)備能運(yùn)行的游戲案例。

由表1可知，除頭戴式顯示設(shè)備外，部分應(yīng)用于移動端的AR技術(shù)已經(jīng)實現(xiàn)MR技術(shù)的核心功能，即真實場景和虛擬影像之間存在遮擋關(guān)系，因此文章將AR Kit與AR Core列入混合現(xiàn)實的技術(shù)范疇。

2 MR交互模式的特征

梳理混合現(xiàn)實技術(shù)的交互特征，有利于全面理解《碎片》的游戲場景建構(gòu)和游戲玩法，并為MR電子游戲交互設(shè)計策略提供理論依據(jù)。

2.1 信息的實時交互

MR通過感知技術(shù)，使用戶在體驗過程中，通過手動、眼動、語音、手柄或其他輸入方式，實現(xiàn)高效率的交互行為，并實時獲取視覺、聽覺、觸覺等反饋信息。MR融合了自然交互方式，更符合用戶的認(rèn)知和行為邏輯，系統(tǒng)反饋也更具真實性和及時性。

2.2 對用戶行為和環(huán)境構(gòu)成的充分理解

MR通過空間映射的方式掃描并識別環(huán)境的幾何構(gòu)成空間，深入理解現(xiàn)實空間中環(huán)境光、物理空間構(gòu)成等信息，以此作為構(gòu)建混合空間的基礎(chǔ)。同時，通過信息輸入識別用戶在現(xiàn)實空間中的具體位置，將其在真實空間中的運(yùn)動轉(zhuǎn)換為虛擬世界中的運(yùn)動，可以充分理解用戶的行為。

2.3 虛景與實景融合

MR作為溝通現(xiàn)實與虛擬的橋梁，將真實影像和虛擬影像在同一視覺空間內(nèi)顯示，虛景與實景融合，可以帶給用戶虛擬影像在真實世界客觀存在的感覺。虛擬影像的空間錨定技術(shù)明確了影像的前后位置、遮擋關(guān)系；光線估計技術(shù)能塑造光照一致性、幾何一致性等，給予用戶身臨其境之感［3］。

2.4 信息的呈現(xiàn)方式由二維平面延伸到三維空間

MR突破了傳統(tǒng)人機(jī)交互模式的限制。信息呈現(xiàn)的方式不再局限于傳統(tǒng)的二維界面，而是轉(zhuǎn)變?yōu)橛鞋F(xiàn)實空間坐標(biāo)的三維影像；信息讀取的方式不再僅依靠傳統(tǒng)媒介或隔著屏幕觀看，它擴(kuò)展了影像的展示空間和展示方式，提高了信息讀取效率和理解效率。

2.5 多感官結(jié)合的信息引導(dǎo)方式

MR作為新興技術(shù)，在系統(tǒng)使用方面須詳細(xì)引導(dǎo)用戶，使用戶認(rèn)識并體會到MR系統(tǒng)的特殊之處。與傳統(tǒng)人機(jī)交互不同，手勢、眼動、語音等自然交互成為MR的信息輸入方式，而MR系統(tǒng)也可以為用戶提供視覺、聽覺、觸覺等多感官反饋。

3 《碎片》游戲交互機(jī)制分析

3.1 《碎片》游戲

《碎片》是一款發(fā)布于微軟全息眼鏡上的MR游戲，游戲題材以解謎為主。在游戲中，玩家作為一名具有記憶調(diào)查能力的偵探，被卷入一起突發(fā)的綁架案中，進(jìn)入記憶構(gòu)成的犯罪現(xiàn)場，收集證據(jù)，抽絲剝繭，實現(xiàn)調(diào)查目標(biāo)，一步步解開謎題，找出幕后黑手，最終將罪犯繩之以法。

《碎片》的游戲場景主要有3個，分別是“空中會議”“記憶”“取證實驗室”（見圖1）?！翱罩袝h”是虛擬角色線上集會的場景，主要用于推進(jìn)游戲劇情。在“記憶”場景中，游戲提取角色記憶實現(xiàn)情景再現(xiàn)，玩家通過仔細(xì)觀察、尋找及分析線索或使用各種工具推進(jìn)調(diào)查結(jié)果，以獲得兇手身份信息和位置信息。在“取證實驗室”場景中，玩家需要把在“記憶”場景中得到的線索在交互地圖上作出選擇，通過“過濾器”層層篩選目標(biāo)人物所在地、罪犯、密碼等。

3.2 《碎片》游戲場景構(gòu)建

3.2.1 基于現(xiàn)實空間構(gòu)造游戲場景

混合現(xiàn)實技術(shù)借助先進(jìn)的圖像處理技術(shù)和顯示設(shè)備，創(chuàng)造具備虛實融合特征的可視化環(huán)境，將影像嵌入真實空間中［4］。借助微軟全息眼鏡，《碎片》分析已經(jīng)掃描的現(xiàn)實空間，識別構(gòu)成現(xiàn)實空間的墻面、地面、天花板、突出的表面，并根據(jù)空間規(guī)模和各部分構(gòu)成面積的大小，配置虛擬場景影像。

3.2.2 區(qū)域化游戲虛擬場景的視覺元素

現(xiàn)實空間會根據(jù)玩家所處地理位置的改變而變化，為適配不同空間，游戲虛擬場景不能制作整體且固定的虛擬數(shù)字影像，須對整體游戲場景作區(qū)域劃分，并分區(qū)投射到現(xiàn)實空間中。

《碎片》將構(gòu)成游戲虛擬場景的視覺元素作區(qū)域劃分，在此基礎(chǔ)上使現(xiàn)實空間與游戲空間一一對應(yīng)，這種立體環(huán)繞式游戲場景能迅速將玩家?guī)胩囟ǖ挠螒颦h(huán)境中。同時，《碎片》每映射一個新的現(xiàn)實空間，其虛擬影像的位置和內(nèi)容就會改變，進(jìn)而影響游戲角色動作、游戲線索位置等，雖然游戲情節(jié)基本保持不變，但是現(xiàn)實空間和依據(jù)現(xiàn)實空間搭建的虛擬空間具有唯一對應(yīng)性，這種特性創(chuàng)造了無限個性化的互動體驗。

3.3 《碎片》游戲玩法

3.3.1 真實空間掃描和記錄

圖2是《碎片》掃描真實空間的流程圖，在正式進(jìn)入游戲前，會掃描玩家所處的現(xiàn)實環(huán)境，并存儲數(shù)據(jù)，玩家再次登錄時可以跳過掃描階段直接選擇已存儲的空間數(shù)據(jù)，這些空間數(shù)據(jù)會影響游戲虛擬影像的生成。

3.3.2 玩家與虛擬影像的實時交互

《碎片》從第一人稱視角出發(fā)，涉及大量角色間的配合調(diào)查，因此玩家的沉浸體驗十分重要。

在游戲中，玩家與虛擬影像的實時互動主要體現(xiàn)在以下三個方面。其一，在“空中會議”游戲場景中，虛擬角色的動作并非一成不變，角色可以根據(jù)現(xiàn)有物理環(huán)境選擇相應(yīng)姿勢出現(xiàn)在場景中，即虛擬角色可以與場景中的家具產(chǎn)生互動，這種表現(xiàn)方式能增強(qiáng)玩家對虛擬角色真實存在的感受。其二，在虛擬角色與玩家交流時，虛擬角色的面朝方向和目光會跟隨玩家移動，使玩家較容易代入交流對象角色中。其三，當(dāng)玩家與虛擬影像產(chǎn)生交集時，影像會分解為碎片化的狀態(tài)，并在交集消失后回歸正常狀態(tài)。

3.3.3 視聽引導(dǎo)

在混合現(xiàn)實游戲中，信息分布在空間內(nèi)的各個角落，而人的視線范圍相對于整個游戲空間而言比較有限，因此會出現(xiàn)兩個問題：其一，游戲提示信息或虛擬影像脫離玩家的視線范圍；其二，游戲玩家現(xiàn)有位置與虛擬影像生成位置重疊。

《碎片》通過對玩家的視線引導(dǎo)、位置引導(dǎo)、語音引導(dǎo)，能有效避免以上兩個問題。視線引導(dǎo)的主要目標(biāo)是通過引導(dǎo)玩家的注視方向，使提示信息或游戲目標(biāo)出現(xiàn)在玩家的視野中；位置引導(dǎo)是通過指引玩家行進(jìn)到指定位置，以獲取游戲最佳視角；語音引導(dǎo)可以作為游戲輔助提示，同時能提高信息的接收效率，推動游戲進(jìn)程。

3.3.4 游戲交互中的視覺反饋

當(dāng)游戲場景放置于真實空間時，交互方式以注視、手勢、語音為主，游戲反饋變得尤為重要。

以《碎片》游戲的可交互物體和游戲文字信息的視覺反饋為例。玩家的注視點(diǎn)靠近可交互的物體時，光標(biāo)有一定的吸附感；注視點(diǎn)劃過可交互的物體時，光標(biāo)會附著在物體表面；注視點(diǎn)與可交互的物體產(chǎn)生交集時，平面光標(biāo)會變?yōu)榱Ⅲw光標(biāo)，并圍繞物體運(yùn)動。玩家手勢點(diǎn)擊可交互的虛擬物體時，物體會放大，將細(xì)節(jié)呈現(xiàn)在玩家面前，并處于懸浮狀態(tài)，跟隨玩家視線落點(diǎn)移動。當(dāng)玩家觀察虛擬物體的細(xì)節(jié)時，其視線會觸發(fā)隱藏線索，并彈出文字解釋和語音提示。當(dāng)玩家解讀大段的文字時，游戲會對關(guān)鍵詞作高亮標(biāo)注和延伸提示。

3.3.5 自然交互體驗

微軟全息眼鏡主要通過注視與手勢或注視與語音的組合展開交互操作。注視是玩家與虛擬影像展開交互的第一步，用來確定玩家的交互目標(biāo)；在語音交互方面，游戲按鍵上的文案可以作為語言指令被玩家激活。

在《碎片》中，操作無人機(jī)是唯一需要雙手操作的環(huán)節(jié)。玩家通過操作，使虛擬無人機(jī)躲避物理和虛擬障礙物，玩家的注視點(diǎn)可以控制無人機(jī)的位置，但不改變距離，而敲擊左手會使無人機(jī)接近玩家，敲擊右手會使無人機(jī)遠(yuǎn)離玩家。在這個游戲環(huán)節(jié)，《碎片》建立了一套相對于玩家位置的移動系統(tǒng)，以模仿現(xiàn)實中無人機(jī)或遙控飛機(jī)的操控。

《碎片》借助自然交互，提高了游戲交互體驗和游戲信息傳播的效率，弱化了對交互設(shè)備的感知。游戲任務(wù)欄與游戲道具欄以三維面板的形式貼合場景墻面或隱藏，減少了不必要的界面元素。

3.3.6 貼近現(xiàn)實的玩法工具

《碎片》以解謎為主要游戲題材，以投射“記憶”影像的方式講述劇情，因此有大量調(diào)查取證的環(huán)節(jié)。《碎片》提供的探索道具是玩家在日常生活中熟知的痕跡檢測工具，包括X射線探測器、紫外線探測器、聲音探測器、熱量探測器等。使用工具時的畫面視覺效果也貼合實際工具的使用效果，并在此基礎(chǔ)上對音波、殘留熱量這類無形事物進(jìn)行可視化表現(xiàn)。在尋找和調(diào)查游戲線索方面，游戲線索附著的物品通常是玩家熟悉的事物，如車票、筆記、捕鼠器、相框等。雖然游戲設(shè)定是對“記憶場景”的調(diào)查推理，但是調(diào)查過程更貼近現(xiàn)實調(diào)查取證的流程。

3.3.7 嵌套小游戲

《碎片》共有11個關(guān)卡，游戲體量較大，且游戲流程較單一，因此在解謎的過程中，《碎片》將還原破損物品的環(huán)節(jié)設(shè)計為拼圖游戲，將血液分析與物質(zhì)分析環(huán)節(jié)設(shè)計為消消樂類型的小游戲，將潛入敵方陣營的環(huán)節(jié)設(shè)計為無人機(jī)操縱游戲，識別密碼環(huán)節(jié)借用了視錯覺的藝術(shù)表現(xiàn)方式等，豐富了游戲的玩法，可以使玩家保持對游戲的興趣。

3.4 MR交互模式在《碎片》游戲體驗中的作用

3.4.1 擴(kuò)充玩家的感知維度

MR的交互模式將游戲元素以文本、圖像、視頻、模型等方式呈現(xiàn)在三維空間中，信息與影像在空間中有了具體位置。由于空間的遮擋和視線范圍的限制，玩家在探索過程中的位置不斷變化，產(chǎn)生了與物理空間和虛擬空間的雙重交互，擴(kuò)展了游戲空間，充分調(diào)動了玩家的聽覺感官和視覺感官。

3.4.2 拓展玩家的認(rèn)知深度

MR的交互模式可以突破時間和空間的限制，拓展游戲互動的范圍和深度，提升游戲探索的自由度和沉浸感，潛移默化地深化玩家對游戲空間的了解和提高對游戲的興趣。在《碎片》中，游戲角色根據(jù)真實空間自然地坐在某個位置，為玩家提供游戲線索，在一定程度上滿足了玩家與角色面對面交流的需求，這是傳統(tǒng)游戲無法帶給玩家的游戲體驗。

4 MR游戲交互設(shè)計策略

通過分析《碎片》游戲的交互機(jī)制，可以得知《碎片》在場景建構(gòu)、游戲引導(dǎo)、游戲交互三個方面與傳統(tǒng)游戲有顯著差異。文章結(jié)合MR交互模式的特征，嘗試從空間建構(gòu)、交互界面、交互流程、游戲引導(dǎo)、游戲玩法五個方面提出對應(yīng)的MR游戲交互設(shè)計策略。

4.1 合理運(yùn)用現(xiàn)實環(huán)境的幾何空間建構(gòu)游戲場景

以微軟全息眼鏡為例，現(xiàn)實環(huán)境的幾何空間建構(gòu)是指設(shè)備通過同步定位和映射（SLAM）算法，從攝像頭深度數(shù)據(jù)中實時重建三維場景，模型數(shù)據(jù)以幾何面片的形式對真實環(huán)境進(jìn)行可視化顯示。因此游戲玩家所處的環(huán)境不同，MR游戲所顯示的游戲空間也會不同。MR游戲須適配不同規(guī)格的現(xiàn)實環(huán)境，游戲創(chuàng)作者需要對整體幾何空間作區(qū)域劃分，并對游戲視覺資源作優(yōu)先級劃分，區(qū)分必要元素與氛圍元素，界定游戲適配的現(xiàn)實空間極值。

4.2 簡化交互流程，提高游戲引導(dǎo)效率

MR并未廣泛應(yīng)用于游戲領(lǐng)域，部分玩家對MR游戲依然陌生，因此須在保證游戲玩法引導(dǎo)的同時，提升玩家的游戲體驗，簡化初始關(guān)卡的交互流程，將游戲教學(xué)與游戲背景融入游戲劇情中，以語音提示或視覺指示的方式替代文字彈窗，降低玩家的認(rèn)知成本。

4.3 調(diào)動多感官的游戲引導(dǎo)與反饋

在玩MR游戲時，身體活動是玩家學(xué)習(xí)游戲規(guī)則的重要方式，信息更容易通過感官交互進(jìn)入玩家的認(rèn)知記憶［5］。因此在指引玩家的過程中，應(yīng)注意結(jié)合玩家的視線、動作、位置展開引導(dǎo)，同時保證游戲視覺系統(tǒng)和聽覺系統(tǒng)的及時反饋，在此基礎(chǔ)上注重反饋形式的多樣化。

4.4 基于空間與自然交互的游戲交互界面設(shè)計

平面化的游戲菜單與圖標(biāo)在增強(qiáng)交互過程的準(zhǔn)確性的同時，削弱了交互的直接性。因此在MR游戲的交互系統(tǒng)中，參與交互的游戲視覺元素應(yīng)更多地與現(xiàn)實空間結(jié)合，減少不必要的游戲界面，降低玩家的認(rèn)知負(fù)荷，弱化玩家對交互設(shè)備的感知，允許用自然的方法體驗游戲。

基于空間與自然交互的游戲交互界面設(shè)計主要體現(xiàn)在以下兩個方面：其一，游戲任務(wù)欄、道具欄、菜單欄、三維面板的形式貼合在場景表面；其二，通過玩家手勢觸發(fā)交互界面，游戲道具按照其功能裝備在玩家角色身上，通過手勢完成交互，或通過語音輸入跳過界面顯示直接完成選擇。

4.5 豐富游戲玩法

按照游戲目標(biāo)分類，電子游戲可以分為娛樂游戲和功能游戲。無論哪種電子游戲，游戲性都是游戲娛樂體驗的關(guān)鍵。但MR游戲流程相對于傳統(tǒng)電子游戲而言較單一［6］。如微軟全息眼鏡設(shè)備上的MR軟件主要分為三類，即環(huán)境增強(qiáng)式、環(huán)境融合式、虛擬空間式，MR游戲玩法在此類軟件基礎(chǔ)上演變。目前，MR游戲提升玩家游戲體驗的方法相對較少，應(yīng)在保證游戲核心目標(biāo)不變的情況下，通過改變游戲環(huán)節(jié)的先后順序或小游戲的方式，打破單一的游戲交互流程。

5 結(jié)語

自電子游戲誕生以來，各種游戲類型如雨后春筍般層出不窮，游戲的交互方式也不斷更新，在媒體融合時代背景下，電子游戲不斷融合其他媒介形式。隨著MR逐漸進(jìn)入大眾視野，游戲創(chuàng)作的方式發(fā)生了變化?！端槠纷鳛樽钤绲囊慌旌犀F(xiàn)實游戲，無疑展示了解謎類電子游戲新的演繹方式，換言之，合理地將混合現(xiàn)實技術(shù)運(yùn)用于游戲設(shè)計中，能為游戲創(chuàng)作者提供更廣闊的想象空間和展示空間，有利于拓寬游戲的創(chuàng)作領(lǐng)域。

參考文獻(xiàn)：

［1］ 黃鳴奮.藝術(shù)與混合現(xiàn)實［J］.東南大學(xué)學(xué)報（哲學(xué)社會科學(xué)版），2008（6）：74-78.

［2］ 黃鳴奮.多元共生、賦魅效果與混合現(xiàn)實：科幻影視視野中的游戲［J］.中國文藝評論，2017（5）：25-35.

［3］ 黃進(jìn)，韓冬奇，陳毅能，等.混合現(xiàn)實中的人機(jī)交互綜述［J］.計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2016，28（6）：869-880.

［4］ 陳寶權(quán)，秦學(xué)英.混合現(xiàn)實中的虛實融合與人機(jī)智能交融［J］.中國科學(xué)：信息科學(xué)，2016，46（12）：1737-1747.

［5］ 黃紅濤，孟紅娟，左明章，等.混合現(xiàn)實環(huán)境中具身交互如何促進(jìn)科學(xué)概念理解［J］.現(xiàn)代遠(yuǎn)程教育研究，2018（6）：28-36.

［6］ 吳小金，王巨文，韓靜華.科普類教育游戲設(shè)計策略研究及開發(fā)實踐［J］.設(shè)計，2020，33（20）：129-131.

作者簡介：邱鈺（1998—），女，山東泰安人，碩士在讀，研究方向：混合現(xiàn)實。

章立（1971—），男，江蘇無錫人，碩士，副教授，系本文通訊作者，研究方向：虛擬現(xiàn)實、交互設(shè)計。