張學(xué)麗 鐘正 史會(huì)芳 張?jiān)?/p>

當(dāng)前虛擬仿真資源多以學(xué)習(xí)者視覺(jué)為主要反饋感官，受VR系統(tǒng)設(shè)計(jì)界面上的局限，輸入主要以凝視、手勢(shì)、交互手柄等為主，缺乏高維度上的信息反饋和交互，大大降低了學(xué)習(xí)者在虛擬世界中的真實(shí)感受[1]。針對(duì)當(dāng)前教學(xué)資源中交互過(guò)程不自然、視覺(jué)易疲勞、沉浸感不強(qiáng)等問(wèn)題。本文利用zSpace設(shè)備所獨(dú)有的觸覺(jué)反饋和雙目立體顯示技術(shù)，設(shè)計(jì)了一種基于觸覺(jué)反饋的虛擬仿真資源方案，包括沉浸式仿真環(huán)境構(gòu)建、場(chǎng)景舒適區(qū)設(shè)計(jì)、虛擬場(chǎng)景布置與觸覺(jué)交互設(shè)計(jì)。將振動(dòng)式觸覺(jué)反饋與沉浸式環(huán)境相結(jié)合并融合多種感官，實(shí)現(xiàn)既能看到又能摸到的交互體驗(yàn)，為情景化的學(xué)習(xí)資源構(gòu)建提供一種新模式，激發(fā)學(xué)習(xí)者的學(xué)習(xí)興趣和積極性，滿足其獲得更佳沉浸感的需求。

搭建沉浸式虛擬仿真環(huán)境

沉浸式虛擬仿真環(huán)境需要模擬雙眼標(biāo)定左右相機(jī)的參數(shù)，確定視差區(qū)域和類(lèi)型。在場(chǎng)景布設(shè)時(shí)，還需要計(jì)算學(xué)習(xí)者觀察的最佳舒適區(qū)，合理布局場(chǎng)景的交互界面及三維模型。

1.雙目視差類(lèi)型

根據(jù)物體在虛擬場(chǎng)景中的深度位置（相對(duì)屏幕），人眼的立體感能區(qū)別物體的遠(yuǎn)近。由于深度值決定了立體圖像中的視差量與類(lèi)型，因此根據(jù)深度位置將視差劃分為三種類(lèi)型，即零視差、正視差、負(fù)視差[2，3]。正視差表示被觀察物體投影到左右眼時(shí)會(huì)和投影平面有兩個(gè)焦點(diǎn)，使人產(chǎn)生物體深入屏幕的感覺(jué)。零視差表示左右眼的投影點(diǎn)剛好在物理平面上，且左右眼所采集的兩幅圖像之間沒(méi)有任何差別。負(fù)視差表示投影點(diǎn)在屏幕以外，視差出現(xiàn)反轉(zhuǎn)，被觀察的物體看上去就像飄浮在眼睛和屏幕之間的三維空間，使人產(chǎn)生突出在屏幕外的感覺(jué)。由于左右眼的視線方向是平行的，并非垂直發(fā)射，因此合理利用VR設(shè)備和視差可獲得最佳3D舒適區(qū)（即耦合區(qū)）。

2.虛擬場(chǎng)景布設(shè)

人眼具有提取影像深度信息的感知能力，當(dāng)用戶在合適距離觀看VR顯示設(shè)備時(shí)，屏幕表面（零視差面）的兩邊都會(huì)呈現(xiàn)清晰畫(huà)面。由于人眼的景深作用，聚集在一定景深范圍內(nèi)不再需要重新聚焦，仍可在較長(zhǎng)的一段時(shí)間內(nèi)保持舒適體驗(yàn)[4]。聚集與聚焦具有耦合性，使得耦合區(qū)域成為3D場(chǎng)景最為重要的組合空間，為使用者提供舒適的3D效果。超出耦合區(qū)域?qū)W習(xí)者會(huì)產(chǎn)生不適感，隨著離散性的增強(qiáng)，越容易視覺(jué)疲勞，當(dāng)?shù)竭_(dá)臨界點(diǎn)時(shí)，用戶將無(wú)法融合左右兩幅的圖像，完全破壞3D視覺(jué)效果。

因此，布設(shè)場(chǎng)景時(shí)需要先確定耦合區(qū)域，按照表1所示布設(shè)沉浸式環(huán)境的耦合和離散區(qū)域。

在場(chǎng)景中合理布設(shè)模型位置可以有效避免視覺(jué)疲勞、獲得舒適視角。由于虛擬場(chǎng)景包含UI交互界面和三維模型兩部分，其設(shè)計(jì)方式分別如下。

交互界面在操作過(guò)程中不需要跟隨視角產(chǎn)生立體感，為避免其傾斜，影響學(xué)習(xí)者觀察場(chǎng)景內(nèi)容，將交互界面的元素都放置在零視差面，如圖1所示。

圖1 交互界面位置

三維模型的初始位置應(yīng)被設(shè)在耦合區(qū)域的正視差范圍內(nèi)（0～30cm），如圖2所示，這樣能實(shí)現(xiàn)交互過(guò)程中拖拽、旋轉(zhuǎn)、縮放三維模型到負(fù)視差區(qū)域，獲得全方位多角度的舒適觀察體驗(yàn)。

觸覺(jué)交互設(shè)計(jì)

虛擬仿真資源為學(xué)習(xí)者構(gòu)建了一個(gè)逼真的學(xué)習(xí)環(huán)境，但較難獲得真實(shí)操作體驗(yàn)，視覺(jué)只負(fù)責(zé)定位，獲得更加真實(shí)操作體驗(yàn)需要配合觸覺(jué)交互設(shè)備。

1.觸覺(jué)交互形式

虛擬仿真資源中常用的觸覺(jué)交互反饋方式主要以手持式觸覺(jué)反饋、可穿戴的移動(dòng)觸覺(jué)反饋為主[5]。本文選用手持式力反饋觸控筆，采用和VR手柄類(lèi)似的交互方式：兩手獨(dú)立操作、6自由度的空間定位跟蹤，帶有按鈕和振動(dòng)反饋以及LED顯示燈。之所以選擇這種反饋方式是跟學(xué)習(xí)者的操作習(xí)慣分不開(kāi)的，其形狀類(lèi)似于手寫(xiě)筆，由左、中、右鍵組成，操作方法類(lèi)似于鼠標(biāo)，可以個(gè)性化設(shè)置振動(dòng)強(qiáng)度，此外LED燈也會(huì)交替變換顏色，滿足學(xué)習(xí)者在視覺(jué)和觸覺(jué)上的學(xué)習(xí)需要。

在觸控筆交互設(shè)計(jì)時(shí)需要著重強(qiáng)調(diào)觸控筆的可視化和射線長(zhǎng)度可視化兩個(gè)因素。

圖3 觸控筆的可視化

觸控筆的可視化：能在虛擬場(chǎng)景中模擬鼠標(biāo)控制二維屏幕上光標(biāo)效果，便于學(xué)習(xí)者觀察其操作。這種類(lèi)型的可視化形式多樣，比如激光束等，也可對(duì)場(chǎng)景中三維模型進(jìn)行可視化操作，比如模擬解剖刀、手等，如圖3所示。觸控筆射線長(zhǎng)度的可視化：由于射線長(zhǎng)度有固定長(zhǎng)度、可變長(zhǎng)度、混合長(zhǎng)度三種類(lèi)型，通過(guò)設(shè)置觸控筆初始長(zhǎng)度，控制場(chǎng)景交互以及振動(dòng)力度。本文選擇可變長(zhǎng)度和混合長(zhǎng)度相結(jié)合的交互形式。

2.觸覺(jué)交互反饋

借助觸覺(jué)反饋，學(xué)習(xí)者可以通過(guò)交互筆的振動(dòng)力度和時(shí)間長(zhǎng)短，獲得不同的交互體驗(yàn)，實(shí)現(xiàn)身臨其境的沉浸感。交互主要為用戶提供引導(dǎo)與及時(shí)的反饋，不僅包括皮膚的觸覺(jué)反饋，還融合視、聽(tīng)覺(jué)達(dá)到更加自然和真實(shí)的交互體驗(yàn)力反饋。觸控筆在虛擬仿真場(chǎng)景中觸覺(jué)交互類(lèi)型：左鍵控制“拖動(dòng)”、中鍵控制“點(diǎn)擊（抓?。?、右鍵控制“旋轉(zhuǎn)”。

上述三種交互方式在反饋過(guò)程中顯得尤為重要，由于力反饋觸控筆只能以振動(dòng)形式給手部反饋，因此需要針對(duì)這三種振動(dòng)反饋交互方式專(zhuān)門(mén)設(shè)計(jì)。點(diǎn)擊交互操作，觸控筆會(huì)出現(xiàn)一個(gè)短暫的振動(dòng)，說(shuō)明處于點(diǎn)擊物體狀態(tài)。拖動(dòng)操作時(shí)，觸控筆會(huì)模擬現(xiàn)實(shí)生活中的位置發(fā)生變化，當(dāng)用戶拾取模型時(shí)，可以通過(guò)調(diào)整振動(dòng)力的大小和頻率來(lái)模擬重量，重量較大的物體，在拖動(dòng)過(guò)程中振動(dòng)力度較大、頻率較快。旋轉(zhuǎn)操作時(shí)，可以實(shí)現(xiàn)旋轉(zhuǎn)模型查看物體的結(jié)構(gòu)，根據(jù)模型表面的真實(shí)結(jié)構(gòu)，通過(guò)觸覺(jué)反饋模型計(jì)算反饋力的大小，旋轉(zhuǎn)過(guò)程中振動(dòng)會(huì)持續(xù)產(chǎn)生。

種子萌發(fā)仿真實(shí)驗(yàn)應(yīng)用分析

按照觸覺(jué)反饋沉浸式仿真實(shí)驗(yàn)的設(shè)計(jì)方案，我們?cè)O(shè)計(jì)并實(shí)現(xiàn)了《中學(xué)實(shí)驗(yàn)教學(xué)》中種子萌發(fā)虛擬仿真實(shí)驗(yàn)，為了驗(yàn)證應(yīng)用效果，以某中學(xué)七年級(jí)的學(xué)生為研究對(duì)象，使用該資源進(jìn)行教學(xué)活動(dòng)。通過(guò)對(duì)種子萌發(fā)知識(shí)前測(cè)、后測(cè)、課中隨堂觀察、課后師生訪談等方法進(jìn)行反饋驗(yàn)證。根據(jù)課堂學(xué)習(xí)情況和學(xué)生的學(xué)習(xí)反饋，發(fā)現(xiàn)融入觸覺(jué)反饋的教學(xué)資源能夠帶來(lái)新的教學(xué)體驗(yàn)，重構(gòu)已有知識(shí)結(jié)構(gòu)，還能夠激發(fā)學(xué)生的好奇心，帶給學(xué)生增強(qiáng)理解力的學(xué)習(xí)體驗(yàn)。因此無(wú)論從傳授基礎(chǔ)知識(shí)還是鍛煉學(xué)生的動(dòng)手操作能力方面，它都起到非常重要的作用。

本文將雙目立體顯示技術(shù)和觸覺(jué)反饋技術(shù)融合到虛擬仿真實(shí)驗(yàn)設(shè)計(jì)中，通過(guò)構(gòu)建虛擬仿真環(huán)境，探究視覺(jué)舒適區(qū)中場(chǎng)景合理布設(shè)，并結(jié)合觸覺(jué)交互方式的多樣性和反饋的真實(shí)性，將觸覺(jué)反饋應(yīng)用到沉浸式虛擬仿真資源中，運(yùn)用觸覺(jué)反饋模擬真實(shí)的交互操作。這種思路可以使那些成本高、周期長(zhǎng)、不易觀察的實(shí)驗(yàn)過(guò)程變得形象和具體，便于強(qiáng)化學(xué)生對(duì)緘默知識(shí)的獲取與理解。

參考文獻(xiàn)

路璐，田豐，戴國(guó)忠，王宏安. 融合觸、聽(tīng)、視覺(jué)的多通道認(rèn)知和交互模型[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2014，26（04）： 654-661.

何偉. Unity虛擬現(xiàn)實(shí)開(kāi)發(fā)圣典[M]. 北京：中國(guó)鐵道出版社，2016：290-291.

趙猛，金一丞，尹勇. 立體顯示中雙目視差模型和深度感知研究[J]. 計(jì)算機(jī)工程，2011，37（17）： 271-273.

Tam W J， Speranza F， Yano S， et al.Stereoscopic 3DTV： visual comfort[J]. Broadcasting， IEEE Transactions on 2011， 57（2）： 335-346.

王晨. 基于虛擬現(xiàn)實(shí)的沉浸式觸覺(jué)交互教學(xué)應(yīng)用研究[D]. 吉林大學(xué)，2017.