胡曉斐 汪嘉維 劉涵宇 宋曉蕾

·工程心理學(xué)專(zhuān)欄(Section of Engineering Psychology)·

聽(tīng)覺(jué)刺激對(duì)虛擬環(huán)境中空間壓縮的影響*

胡曉斐 汪嘉維 劉涵宇 宋曉蕾

(陜西師范大學(xué)心理學(xué)院; 陜西省行為與認(rèn)知神經(jīng)科學(xué)重點(diǎn)實(shí)驗(yàn)室, 西安 710062)

人們往往會(huì)低估虛擬環(huán)境中空間的距離(空間壓縮)。早期研究發(fā)現(xiàn)視聽(tīng)刺激的不一致會(huì)改善空間壓縮, 但聽(tīng)覺(jué)刺激在其中的作用及其影響效果需進(jìn)一步研究。本研究首先探究了聽(tīng)覺(jué)刺激的有無(wú)對(duì)空間壓縮的影響, 接著操控視聽(tīng)刺激之間的物物距離進(jìn)一步探究其對(duì)空間壓縮的影響和改善。研究發(fā)現(xiàn)聽(tīng)覺(jué)刺激以?xún)煞N方式影響空間壓縮：聽(tīng)覺(jué)刺激的存在可以改善空間壓縮; 空間壓縮與視聽(tīng)刺激的物物距離負(fù)相關(guān)。研究建議為了改善空間壓縮, 視聽(tīng)刺激應(yīng)當(dāng)同時(shí)呈現(xiàn)且物物距離至少為1 m。

虛擬現(xiàn)實(shí), 空間壓縮, 視聽(tīng)刺激, 物我距離, 物物距離

1 背景介紹

虛擬現(xiàn)實(shí)(Virtual Reality, VR)作為一項(xiàng)新興技術(shù), 在科研、制造、軍事、技能培訓(xùn)等諸多領(lǐng)域均有著越來(lái)越廣泛的應(yīng)用。例如, 消防員可以在虛擬火災(zāi)場(chǎng)景中進(jìn)行多次訓(xùn)練, 從而起到降低成本和避免實(shí)操伴隨的潛在危險(xiǎn)的作用(Saghafian et al., 2020); 在心理學(xué)領(lǐng)域, 可以通過(guò)VR制作各種刺激和任務(wù)場(chǎng)景, 提高心理學(xué)實(shí)驗(yàn)的生態(tài)有效性和可重復(fù)性(Pan & Hamilton, 2018)。然而, VR的普及仍然面臨著嚴(yán)峻的挑戰(zhàn), 如通信延遲、渲染質(zhì)量不高及空間壓縮等。雖然隨著5G網(wǎng)絡(luò)和3D引擎技術(shù)的發(fā)展, 硬件和軟件相關(guān)的挑戰(zhàn)逐漸得到解決, 但由于用戶(hù)自身所產(chǎn)生的挑戰(zhàn)(如空間壓縮)仍然沒(méi)有得到足夠的重視。

距離知覺(jué)就是由于用戶(hù)自身所產(chǎn)生的挑戰(zhàn)之一。它代表著受試者感知兩個(gè)位置的空間距離的能力, 可以分為兩種類(lèi)型：當(dāng)受試者自己被視為一個(gè)位置時(shí), 自己與另外位置的距離被稱(chēng)為物我距離; 當(dāng)兩個(gè)位置均在受試者的外部時(shí), 兩個(gè)位置的距離被稱(chēng)為物物距離。早在20世紀(jì), 心理學(xué)家們就發(fā)現(xiàn)了VR中的空間壓縮, 即人們經(jīng)常低估虛擬環(huán)境中的空間距離(Henry & Furness, 1993; Interrante et al., 2008; Naceri et al., 2009; Renner et al., 2013)。這種現(xiàn)象對(duì)虛擬環(huán)境中的物我距離感知和物物距離感知都是成立的, 因此極大的阻礙了VR的應(yīng)用, 特別是需要精細(xì)操作的場(chǎng)景(Li et al., 2011)。虛擬和現(xiàn)實(shí)環(huán)境之間明顯的感知差異破壞了用戶(hù)的沉浸式體驗(yàn), 降低了他們的接受度。因此, 改善空間壓縮以提高保真度并最終促進(jìn)VR的廣泛應(yīng)用是至關(guān)重要的。

研究者們已經(jīng)報(bào)道了幾種改善空間壓縮的方法。例如, Kelly等人(2014)發(fā)現(xiàn), 在盲走實(shí)驗(yàn)中, 與沒(méi)有視覺(jué)反饋的條件相比, 當(dāng)視覺(jué)反饋存在時(shí)受試者對(duì)于距離的判斷能力得到了極大的改善。然而, 這種改善的效果是邊際遞減的。視覺(jué)目標(biāo)的存在只對(duì)前五次試驗(yàn)的距離判斷有明顯的改善, 而在接下來(lái)的試驗(yàn)中, 改善程度就會(huì)下降。Interrante等人(2006)發(fā)現(xiàn), 當(dāng)受試者處于一個(gè)與現(xiàn)實(shí)環(huán)境相似的虛擬環(huán)境中時(shí), 空間壓縮在很大程度上被削弱了。然而, 這樣的改善會(huì)失去VR的最大優(yōu)勢(shì), 即創(chuàng)造一個(gè)在現(xiàn)實(shí)環(huán)境中很少經(jīng)歷的虛擬環(huán)境。此外, 空間壓縮是一種多模態(tài)現(xiàn)象, 可以發(fā)生在聽(tīng)覺(jué)和視覺(jué)刺激上(Rébillat et al., 2012)。Huang等人(2021)使用音頻混響來(lái)改善受試者的空間壓縮。Finnegan等人(2016)發(fā)現(xiàn), 當(dāng)虛擬環(huán)境中的聽(tīng)覺(jué)和視覺(jué)信息在空間上不一致時(shí), 受試者的距離判斷可以更準(zhǔn)確。這里的不一致意味著聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離不為零。雖然他們沒(méi)有進(jìn)一步研究不一致程度對(duì)于空間壓縮的改善效果, 但聽(tīng)覺(jué)和視覺(jué)刺激的結(jié)合是有潛力起到改善作用的。

當(dāng)人們從兩種或更多的模態(tài)中接受信息時(shí), 他們會(huì)整合所有模態(tài)的信息, 然后得到一個(gè)最終的感知判斷(Alais & Burr, 2004; Ernst & Banks, 2002; Finnegan et al., 2016)。以聽(tīng)覺(jué)和視覺(jué)模態(tài)下的距離感知為例, 受試者的最終判斷將是聽(tīng)覺(jué)和視覺(jué)刺激引起的距離感知的加權(quán)總和。如果在虛擬環(huán)境中, 聽(tīng)覺(jué)刺激比視覺(jué)刺激相對(duì)于受試者呈現(xiàn)得更遠(yuǎn)(即聽(tīng)覺(jué)刺激的物我距離更大), 那么對(duì)于視覺(jué)刺激的空間壓縮會(huì)由于聽(tīng)覺(jué)刺激的存在而得到改善。然而, 這樣的多模態(tài)整合理論僅適用于對(duì)一個(gè)物體的感知。研究表明, 聽(tīng)覺(jué)和視覺(jué)刺激需要保持在一定范圍內(nèi)才能被感知為一個(gè)物體, 即所謂的腹語(yǔ)效應(yīng)(Bruns, 2019)。因此, 在使用不一致的視聽(tīng)刺激來(lái)改善空間壓縮時(shí), 應(yīng)當(dāng)考慮聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離。

此外, 受試者和視覺(jué)刺激之間的物我距離也很重要。Finnegan等人(2016)強(qiáng)調(diào), 當(dāng)視覺(jué)刺激與受試者的物我距離很小時(shí)(在他們的研究中為3 m), 不一致的視聽(tīng)刺激并不能改善空間壓縮。他們認(rèn)為改善的失敗是由于受試者會(huì)在物我距離較小時(shí)高估距離而不是低估距離。雖然研究者們都同意人們會(huì)高估離自己近, 低估離自己遠(yuǎn)的刺激的距離, 但是對(duì)于發(fā)生高估和低估現(xiàn)象的轉(zhuǎn)折點(diǎn)的距離并沒(méi)有統(tǒng)一的答案(在不同的研究中分別為1 m、1.9 m或3.23 m) (Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。盡管如此, 受試者和視覺(jué)刺激之間的物我距離足夠大時(shí), 就可以很穩(wěn)定地引起空間壓縮。

以往對(duì)于虛擬現(xiàn)實(shí)中空間壓縮的研究一般采用四種方法：口頭報(bào)告法, 感知引導(dǎo)行為, 想象行為和感知匹配法(Klein et al., 2009; Maruhn et al., 2019; Rébillat et al., 2012)。在口頭報(bào)告法中, 受試者需要以米或英尺等距離計(jì)量單位口頭回答自己感知到的距離, 但是該方法易受到受試者早期生活經(jīng)驗(yàn)中對(duì)于距離計(jì)量單位認(rèn)知的影響。在感知引導(dǎo)行為法中, 受試者需要通過(guò)盲走或三角盲走等動(dòng)作, 將自己所走過(guò)的實(shí)際距離作為自己對(duì)最初看到的目標(biāo)距離的回答, 但是該方法對(duì)于實(shí)驗(yàn)場(chǎng)地的要求較高。在想象行為法中, 受試者需要在大腦中想象自己的行走, 通過(guò)將想象行走的時(shí)間與受試者的行走速度相乘, 得到其對(duì)于當(dāng)前目標(biāo)的距離判斷, 但是該方法會(huì)受到受試者對(duì)于時(shí)間長(zhǎng)度認(rèn)知的影響。在感知匹配法中, 受試者可利用心理物理學(xué)中的調(diào)整法, 不斷調(diào)節(jié)刺激的位置使其與之前出現(xiàn)的目標(biāo)刺激距離一致, 抑或是心理物理學(xué)中的固定刺激法, 多次進(jìn)行二選一的強(qiáng)制回答任務(wù), 得到最終的距離判斷(Ellis & Menges, 1998; Wu et al., 2004)。感知匹配法利用認(rèn)知心理學(xué)領(lǐng)域中的心理物理學(xué)方法, 避免了以上三種方式的缺點(diǎn), 通過(guò)測(cè)量受試者的主觀相等點(diǎn), 得到最終的距離判斷結(jié)果。盡管如此, 以往研究所采用的調(diào)整法和固定刺激法仍有缺點(diǎn)。調(diào)整法易受到受試者適應(yīng)效果的影響, 對(duì)于絕對(duì)閾值的測(cè)量并不準(zhǔn)確; 固定刺激法則極其花費(fèi)時(shí)間, 同時(shí)對(duì)于刺激相關(guān)參數(shù)的選擇要求極高。鑒于此, 本研究采用心理物理學(xué)適應(yīng)法中的階梯法, 通過(guò)受試者對(duì)上一個(gè)試次中距離判斷任務(wù)的二選一強(qiáng)制性回答, 實(shí)時(shí)調(diào)整下一試次中視覺(jué)刺激的相關(guān)參數(shù)(本研究中為調(diào)整視覺(jué)刺激的物我距離), 從而在減少實(shí)驗(yàn)時(shí)間的同時(shí), 有效地測(cè)量每位受試者的主觀距離判斷。

在本研究中, 我們進(jìn)行了兩個(gè)實(shí)驗(yàn)來(lái)研究聽(tīng)覺(jué)刺激對(duì)VR中空間壓縮的影響和改善。盡管與一致的視聽(tīng)刺激相比, 不一致的視聽(tīng)刺激可以改善空間壓縮, 但是我們不清楚一致的視聽(tīng)刺激是否會(huì)比純視覺(jué)刺激表現(xiàn)得更好(Finnegan et al., 2016)。因此, 在實(shí)驗(yàn)1中, 我們操控了聽(tīng)覺(jué)刺激是否存在。此外, 我們還改變了視覺(jué)刺激的物我距離(3 m、4 m、5 m)。其中, 最小的距離(3 m)超過(guò)了先前研究所報(bào)道的大部分轉(zhuǎn)折點(diǎn)的距離, 確保了空間壓縮在本研究實(shí)驗(yàn)過(guò)程中的出現(xiàn)(Anderson & Zahorik, 2014; Armbrüster et al., 2008; Finnegan et al., 2016; Zahorik et al., 2005)。此外, 以往研究大都測(cè)量了物我距離為5 m時(shí)的空間壓縮現(xiàn)象(Armbrüster et al., 2008; Buck et al., 2021; Finnegan et al., 2016; Rébillat et al., 2012)。為了與以往研究的結(jié)果相對(duì)比, 我們也設(shè)置了物我距離為4 m和5 m時(shí)的實(shí)驗(yàn)條件。然后, 在實(shí)驗(yàn)2中, 我們操控了視聽(tīng)條件的不一致程度, 即聽(tīng)覺(jué)和視覺(jué)刺激的物物距離(0.5 m、1 m、1.5 m、2 m)。雖然Gorzel等人(2012)發(fā)現(xiàn)腹語(yǔ)效應(yīng)的可接受的物物距離會(huì)隨著視覺(jué)刺激的物我距離的增加而增加, 但3 m和5 m之間的微小差異應(yīng)該不會(huì)對(duì)可接受的物物距離產(chǎn)生任何影響。

2 實(shí)驗(yàn)1：聽(tīng)覺(jué)刺激存在與否對(duì)空間壓縮的影響

2.1 目的

早前研究發(fā)現(xiàn), 與一致的視聽(tīng)刺激相比, 不一致的視聽(tīng)刺激可以改善空間壓縮, 但一致的視聽(tīng)刺激是否優(yōu)于純視覺(jué)刺激還不得而知(Finnegan et al., 2016)。因此, 我們?cè)谶@個(gè)實(shí)驗(yàn)中操控了聽(tīng)覺(jué)刺激的存在與否來(lái)考察其對(duì)空間壓縮的影響。

2.2 被試

30名大學(xué)生(13名男性和17名女性, 17～26歲, 平均年齡 = 20.3歲)被招募參加實(shí)驗(yàn)1和實(shí)驗(yàn)2。實(shí)驗(yàn)1和實(shí)驗(yàn)2在同一天完成。為了避免練習(xí)效應(yīng), 對(duì)于每個(gè)受試者來(lái)說(shuō), 實(shí)驗(yàn)1和實(shí)驗(yàn)2的全部條件均隨機(jī)呈現(xiàn)。每位受試者都有正?；虺C正后的正常視力, 并且不具有腦部或精神疾病的歷史, 我們也征得了每位受試者的書(shū)面同意。本研究的實(shí)驗(yàn)方案得到了陜西師范大學(xué)倫理委員會(huì)的批準(zhǔn)。

2.3 實(shí)驗(yàn)設(shè)備與刺激材料

我們使用HTC Vive Pro來(lái)渲染虛擬環(huán)境, 內(nèi)置的耳機(jī)被用來(lái)呈現(xiàn)聽(tīng)覺(jué)刺激, 一個(gè)鍵盤(pán)放在手邊, 以接收受試者的反應(yīng)。

VR場(chǎng)景是用虛幻引擎(4.25版)制作的。我們使用了引擎的內(nèi)部材料：地面是白色, 環(huán)境完全開(kāi)放; 自然陽(yáng)光被用來(lái)作為環(huán)境光, 從受試者的背后照射; 視覺(jué)刺激是由非反射材料組成。視覺(jué)刺激是兩個(gè)1 m × 1 m的方塊, 其中心距地面1.5 m。受試者的眼睛與視覺(jué)刺激保持水平, 以避免視覺(jué)水平線(xiàn)對(duì)距離感知的影響(Rand et al., 2011)。參考刺激是一個(gè)綠色方塊, 有三種物我距離：3 m、4 m和5 m; 調(diào)整刺激是一個(gè)藍(lán)色方塊, 其初始的物我距離為比參考刺激的物我距離小0.5 m。Armbrüster等人(2008)在他們的實(shí)驗(yàn)里發(fā)現(xiàn), 當(dāng)物我距離為4 m時(shí), 23名受試者的平均主觀距離為3.2 ± 0.3 m左右。為了使得實(shí)驗(yàn)中每一個(gè)試次中的視覺(jué)刺激的物我距離都在最終結(jié)果附近變化, 對(duì)于4 m物我距離的實(shí)驗(yàn)來(lái)說(shuō), 我們?cè)O(shè)置調(diào)整刺激的初始物我距離為3.5 m (即比參考刺激小0.5 m)。由于我們有三種物我距離的條件(3 m、4 m、5 m), 我們將比參考刺激小0.5 m作為每一個(gè)物我距離的初始設(shè)置。實(shí)驗(yàn)中所使用的噪音為粉紅噪音(粉紅噪音的頻率能量分布主要在中低頻段, 更容易被人耳所接受, 因此常用于聲學(xué)測(cè)試), 噪音聲源選取了音量大小全程無(wú)變化的聲音, 強(qiáng)度為60 dB, 時(shí)長(zhǎng)為5秒。

2.4 實(shí)驗(yàn)程序

在實(shí)驗(yàn)1中, 聽(tīng)覺(jué)刺激有兩種條件, 分為存在或不存在。受試者首先需要進(jìn)行一個(gè)練習(xí)實(shí)驗(yàn), 以了解實(shí)驗(yàn)說(shuō)明并熟悉HTC Vive Pro的操作。練習(xí)實(shí)驗(yàn)包括10次試驗(yàn), 受試者應(yīng)通過(guò)按“A” (代表藍(lán)色方塊)或“D” (代表綠色方塊)來(lái)回答哪個(gè)方塊(綠色或藍(lán)色)離他們更近。練習(xí)結(jié)束后, 受試者被要求進(jìn)行距離判斷任務(wù)。由于視覺(jué)反饋可以改善空間壓縮, 從而污染聽(tīng)覺(jué)刺激的效果, 因此參考視覺(jué)刺激在一個(gè)實(shí)驗(yàn)中僅呈現(xiàn)一次(Kelly et al., 2014)。

每種條件的實(shí)驗(yàn)的第一次試驗(yàn)開(kāi)始時(shí)有5秒的參考期間, 在此期間呈現(xiàn)參考視覺(jué)刺激(綠色方塊); 如果當(dāng)前實(shí)驗(yàn)包括聽(tīng)覺(jué)刺激, 則會(huì)有5秒的粉紅噪聲與參考視覺(jué)刺激同時(shí)呈現(xiàn)。接著, 參考視覺(jué)刺激和聽(tīng)覺(jué)刺激(如果存在的話(huà))同時(shí)消失。0.5秒后, 調(diào)整視覺(jué)刺激(藍(lán)色方塊)會(huì)被呈現(xiàn)。受試者需要判斷在調(diào)整期間, 藍(lán)色方塊是否比最初呈現(xiàn)的綠色方塊離自己更近。當(dāng)受試者認(rèn)為藍(lán)色方塊更近時(shí), 應(yīng)該按下“A”, 否則按下“D”。受試者一旦作出反應(yīng), 藍(lán)色方塊就會(huì)消失0.5秒, 下一次試驗(yàn)開(kāi)始, 并呈現(xiàn)出一個(gè)新的藍(lán)色方塊。如果受試者在前一次試驗(yàn)中認(rèn)為藍(lán)色方塊更近, 則當(dāng)前試驗(yàn)新呈現(xiàn)藍(lán)色方塊的物我距離將向近手側(cè)移動(dòng)5 cm, 反之向遠(yuǎn)手側(cè)移動(dòng)5 cm。連續(xù)進(jìn)行30次試驗(yàn)后, 當(dāng)前實(shí)驗(yàn)結(jié)束。最后一次試驗(yàn)中藍(lán)色方塊的物我距離, 將作為受試者對(duì)初始綠色方塊的最終距離判斷。受試者應(yīng)當(dāng)在沒(méi)有速度要求的前提下, 盡可能準(zhǔn)確地回答距離判斷任務(wù)。

對(duì)于每個(gè)實(shí)驗(yàn), 參考刺激的物我距離(3 m、4 m和5 m)是固定的。此外, 在實(shí)驗(yàn)1中, 聽(tīng)覺(jué)刺激的存在或不存在在一個(gè)實(shí)驗(yàn)中也是固定的, 因此實(shí)驗(yàn)1總共有6個(gè)實(shí)驗(yàn)。

2.5 結(jié)果

我們對(duì)空間壓縮率進(jìn)行了3×2的重復(fù)測(cè)量方差分析。為了使得空間壓縮率為正值以美化圖示, 我們?cè)趨⒖糀rmbrüster等人(2008)的研究的基礎(chǔ)上, 將空間壓縮率定義為實(shí)際的物我距離減去受試者感知的物我距離, 然后除以實(shí)際的物我距離。被試內(nèi)因素包括參考刺激的物我距離(3 m、4 m和5 m)和聽(tīng)覺(jué)刺激的存在(視聽(tīng)條件和純視覺(jué)條件)。

空間壓縮率的結(jié)果如圖1所示, 其中橫坐標(biāo)代表參考刺激的物我距離, 縱坐標(biāo)代表空間壓縮率, 不同的顏色分別代表視聽(tīng)條件和純視覺(jué)條件。我們發(fā)現(xiàn), 視聽(tīng)條件下的空間壓縮率要小于純視覺(jué)條件下的壓縮率,(1, 29) = 4.05,= 0.054, ηp2= 0.12。然而, 參考刺激的物我距離的主效應(yīng)和兩個(gè)被試內(nèi)因素之間的交互作用并不顯著(s > 0.05)。其描述性統(tǒng)計(jì)由表1所示。

圖1 實(shí)驗(yàn)1空間壓縮率的結(jié)果。橫軸代表參考刺激的物我距離; 縱軸代表空間壓縮率。深色條和灰色條分別表示視聽(tīng)和純視覺(jué)條件。可達(dá)到顯著水平的事后統(tǒng)計(jì)結(jié)果呈現(xiàn)在相應(yīng)的位置。黑色的誤差線(xiàn)代表30名受試者的平均值的標(biāo)準(zhǔn)誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

表1 實(shí)驗(yàn)1空間壓縮率的描述性統(tǒng)計(jì)(M ± SE)

注：*表示< 0.05

然后, 我們對(duì)在不同的參考刺激的物我距離下的視聽(tīng)條件和純視覺(jué)條件的空間壓縮率進(jìn)行了配對(duì)的單側(cè)檢驗(yàn), 自由度為29, 其結(jié)果如表1所示。我們發(fā)現(xiàn), 在物我距離為4 m (差別 = 1.83%,= 0.062)和5 m (差別 = 1.60%,= 0.037)時(shí), 視聽(tīng)條件的空間壓縮率小于純視覺(jué)條件, 但物我距離為3 m時(shí)則不然(= 0.307)。

受試者在視聽(tīng)條件下能比純視覺(jué)條件下做出更準(zhǔn)確的距離判斷, 尤其是對(duì)于更遠(yuǎn)的視覺(jué)刺激(物我距離為4 m或5 m時(shí)), 這種效果就更加明顯, 可分別達(dá)到顯著的1.83%和1.60%的效果提升。早期研究已經(jīng)報(bào)道了聽(tīng)覺(jué)刺激可以用來(lái)擴(kuò)展受試者對(duì)于立體圖像的深度感知(Turner et al., 2011)。因此, 聽(tīng)覺(jué)刺激本身可以改善視覺(jué)刺激的空間壓縮。在下一個(gè)實(shí)驗(yàn)中, 我們將控制聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離, 以研究視聽(tīng)條件的不一致程度對(duì)于空間壓縮的影響。

3 實(shí)驗(yàn)2：聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離對(duì)空間壓縮的影響

3.1 目的

我們發(fā)現(xiàn)聽(tīng)覺(jué)刺激本身可以改善空間壓縮。此外, 早期研究表明, 不一致的視聽(tīng)刺激可以進(jìn)一步改善空間壓縮(Finnegan et al., 2016)。因此, 在本實(shí)驗(yàn)中, 我們控制了聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離, 以研究視聽(tīng)條件的不一致程度對(duì)空間壓縮的影響。

3.2 被試、實(shí)驗(yàn)設(shè)備與材料

被試、視覺(jué)和聽(tīng)覺(jué)材料均與實(shí)驗(yàn)1相同。

3.3 實(shí)驗(yàn)流程

實(shí)驗(yàn)2與實(shí)驗(yàn)1的實(shí)驗(yàn)流程相同。在實(shí)驗(yàn)2中, 聽(tīng)覺(jué)刺激一直存在, 且其與視覺(jué)刺激之間的物物距離是4種條件：0.5 m、1 m、1.5 m和2 m。實(shí)驗(yàn)2總共有12個(gè)實(shí)驗(yàn)。

3.4 結(jié)果

與實(shí)驗(yàn)1類(lèi)似, 我們對(duì)空間壓縮率進(jìn)行了3×5的重復(fù)測(cè)量方差分析。由于實(shí)驗(yàn)1和實(shí)驗(yàn)2招募了相同的受試者, 實(shí)驗(yàn)1中視聽(tīng)條件的結(jié)果, 即物物距離為0 m, 也被包含在當(dāng)前的分析中。被試內(nèi)因素包括參考刺激的物我距離(3 m、4 m和5 m)以及聽(tīng)覺(jué)和視覺(jué)刺激物之間的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)。

本實(shí)驗(yàn)發(fā)現(xiàn), 聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離的主效應(yīng)是顯著的,(4, 116) = 8.29,< 0.001, ηp2= 0.22。然而, 參考刺激的物我距離的主效應(yīng)和兩個(gè)被試內(nèi)因素之間的交互作用并不顯著(s > 0.05)。其描述性統(tǒng)計(jì)由表2所示。

表2 實(shí)驗(yàn)2空間壓縮率的描述性統(tǒng)計(jì)(M±SE)

表3 實(shí)驗(yàn)2空間壓縮率的事后檢驗(yàn)結(jié)果

圖2 實(shí)驗(yàn)2空間壓縮率的結(jié)果。橫軸代表視聽(tīng)刺激的物物距離; 縱軸代表空間壓縮率。可達(dá)到顯著水平的事后統(tǒng)計(jì)結(jié)果呈現(xiàn)在相應(yīng)的位置。黑色的誤差線(xiàn)代表30名受試者的平均值的標(biāo)準(zhǔn)誤差。

注：***< 0.001; **< 0.01; *< 0.05; +< 0.1。

然后, 在混合參考刺激的三個(gè)物我距離的結(jié)果之后, 我們進(jìn)行了Tukey多重比較檢驗(yàn), 其結(jié)果如表3所示?？臻g壓縮率的結(jié)果如圖2所示, 其中橫坐標(biāo)代表聽(tīng)覺(jué)和視覺(jué)刺激的物物距離, 縱坐標(biāo)代表空間壓縮率。我們發(fā)現(xiàn), 空間壓縮率隨著物物距離的增加而降低。此外, 當(dāng)比較任意兩個(gè)相距至少1 m的物物距離時(shí), 空間壓縮率可以達(dá)到邊緣顯著或顯著的差異(s< 0.08)。

最后, 我們利用R語(yǔ)言的lm函數(shù), 擬合了一條以聽(tīng)覺(jué)和視覺(jué)刺激的物物距離(0 m、0.5 m、1 m、1.5 m和2 m)為自變量, 空間壓縮率為因變量的線(xiàn)性曲線(xiàn)(圖2中的虛線(xiàn)), 結(jié)果如下：空間壓縮率 = ?2.4% × 物物距離 + 5.6%。其中, 斜率可達(dá)到顯著水平(= 0.008), 表明空間壓縮率與物物距離呈負(fù)相關(guān), 并且每1 m可以改善2.4%的空間壓縮率。

4 討論

隨著5G時(shí)代的到來(lái), 5G網(wǎng)絡(luò)很好地解決了通訊技術(shù)的時(shí)延、速率等瓶頸問(wèn)題, 但對(duì)VR技術(shù)的普及和應(yīng)用提出了更高的要求, 為了使該技術(shù)得到更好的推廣與使用, 虛擬環(huán)境中空間壓縮這一瓶頸問(wèn)題必須得到有效的改善或解決; 此外, 隨著虛擬現(xiàn)實(shí)技術(shù)的成熟, 其應(yīng)用領(lǐng)域有望擴(kuò)展到科研、制造、軍隊(duì)和消防員應(yīng)急服務(wù)訓(xùn)練等多個(gè)領(lǐng)域, 虛擬環(huán)境中正確的空間感知除了對(duì)VR技術(shù)某些功能有至關(guān)重要的作用外, 還可以作為用戶(hù)接受度的指標(biāo)來(lái)衡量虛擬環(huán)境的保真度, 因此, 有效解決或改善該問(wèn)題也是提高VR技術(shù)應(yīng)用中以用戶(hù)為中心的體驗(yàn)需求一個(gè)根本指標(biāo)?；诖? 本項(xiàng)目擬就虛擬環(huán)境中的空間壓縮問(wèn)題展開(kāi)系統(tǒng)的研究, 我們研究了聽(tīng)覺(jué)刺激對(duì)VR中空間壓縮的影響和改善。

在實(shí)驗(yàn)1中, 我們發(fā)現(xiàn)通過(guò)將聽(tīng)覺(jué)刺激與視覺(jué)刺激一起呈現(xiàn), 特別是當(dāng)物我距離較大時(shí), 空間壓縮可以得到改善。在實(shí)驗(yàn)2中, 我們發(fā)現(xiàn), 如果聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離增加, 空間壓縮可以進(jìn)一步改善。這是個(gè)簡(jiǎn)單的負(fù)相關(guān)關(guān)系。任何大于1 m的物物距離的增加都可以顯著改善空間壓縮。根據(jù)我們的結(jié)果, 我們強(qiáng)烈建議在視覺(jué)刺激后面至少1 m處同時(shí)呈現(xiàn)聽(tīng)覺(jué)刺激以改善虛擬環(huán)境中的空間壓縮。當(dāng)物物距離的差距為1 m的時(shí)候, 我們雖然得到的都是邊緣顯著的結(jié)果, 但是我們?nèi)詫⑵湔J(rèn)為是可以達(dá)到有效改善的。這是因?yàn)閷?duì)于1 m和1.5 m之間更為細(xì)致的物物距離(1.1 m、1.2 m等), 我們并沒(méi)有進(jìn)行實(shí)際測(cè)試。但是根據(jù)我們擬合的曲線(xiàn)(圖2), 即使是提升0.1 m的物物距離, 空間壓縮也會(huì)得到一定程度的改善, 因此我們的建議是從物物距離為1 m開(kāi)始, 使得VR的設(shè)計(jì)師們有更大的選擇。

我們?cè)趦蓚€(gè)實(shí)驗(yàn)中都沒(méi)有發(fā)現(xiàn)視覺(jué)刺激的物我距離的主效應(yīng), 這與之前的研究并不一致(Buck et al., 2018; Buck et al., 2021)。我們將其歸因于本研究中的物我距離之間的較小區(qū)別(最大區(qū)別為2 m)。Buck等人(2018)利用與本研究相同的設(shè)備(HTC Vive Pro), 測(cè)試了三種物我距離下(5 m、7.5 m和10 m)的空間壓縮。他們雖然報(bào)告了物我距離的顯著主效應(yīng), 但7.5 m和10 m之間的差異并沒(méi)有達(dá)到顯著水平。因此, 物我距離對(duì)空間壓縮的影響并不穩(wěn)定。

我們發(fā)現(xiàn)聽(tīng)覺(jué)刺激有兩種影響空間壓縮的方式。首先, 與沒(méi)有聽(tīng)覺(jué)刺激的情況相比, 聽(tīng)覺(jué)刺激的存在可以提高距離判斷的準(zhǔn)確性。由于距離感知是一種多模態(tài)現(xiàn)象, 聽(tīng)覺(jué)刺激所攜帶的額外信息可以幫助受試者提高他們的最終判斷的準(zhǔn)確性(Rébillat et al., 2012)。其次, 空間壓縮率與聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離呈負(fù)相關(guān)。當(dāng)受試者接受來(lái)自于一個(gè)物體的多種模態(tài)的信息時(shí), 他們傾向于計(jì)算每種模態(tài)的加權(quán)后的感知, 然后整合它們以獲得最終的判斷(Berry et al., 2014; Ernst & Banks, 2002; Finnegan et al., 2016)。一旦聽(tīng)覺(jué)和視覺(jué)刺激的物我距離不一致, 受試者的最終判斷將是加權(quán)的聽(tīng)覺(jué)和視覺(jué)判斷之和。以本文的實(shí)驗(yàn)條件為例, 當(dāng)聽(tīng)覺(jué)刺激呈現(xiàn)在視覺(jué)刺激后面時(shí), 聽(tīng)覺(jué)刺激攜帶的距離信息與視覺(jué)刺激攜帶的距離信息相比會(huì)更遠(yuǎn), 從而改善視覺(jué)刺激的空間壓縮。

我們成功地為空間壓縮率和物物距離擬合了一條線(xiàn)性曲線(xiàn)。固定的斜率系數(shù)(?0.024)表明, 本研究中的聽(tīng)覺(jué)和視覺(jué)模態(tài)各自的權(quán)重保持不變。然而, 權(quán)重是可以發(fā)生變化的。例如, 通過(guò)改變視覺(jué)刺激的模糊程度, 從而降低視覺(jué)模態(tài)的權(quán)重(Finnegan et al., 2016)。因此, 盡管我們發(fā)現(xiàn)空間壓縮可以通過(guò)每1 m物物距離的增加而實(shí)現(xiàn)2.4%的改善, 但改善的效果并不固定。如果通過(guò)某些操作增加了聽(tīng)覺(jué)模態(tài)的權(quán)重, 如前面提到的模糊視覺(jué)刺激, 改善的效果可能會(huì)增強(qiáng)。值得注意的是, 物物距離不應(yīng)該過(guò)大, 否則腹語(yǔ)效應(yīng)就會(huì)失靈, 從而無(wú)法整合多種模態(tài)的信息(Bruns, 2019)。此外, 不合適的物物距離也可能會(huì)導(dǎo)致距離的高估, 而不是空間壓縮的改善(Finnegan et al., 2016)。如圖2所示, 當(dāng)物物距離為2 m時(shí), 空間壓縮率約為0.7%。因此, 在本研究中, 物物距離大于2 m時(shí), 可能會(huì)導(dǎo)致距離高估。

本研究仍存在局限性。首先, 我們使用了一個(gè)修訂的心理物理學(xué)范式。與典型的二選一方法不同, 本研究中參考視覺(jué)刺激僅呈現(xiàn)一次, 以消除視覺(jué)反饋對(duì)空間壓縮的影響(Kelly et al., 2014)。然而, 這樣的操作可能會(huì)引起記憶問(wèn)題。受試者必須記住參考刺激的感知距離, 以便在一個(gè)實(shí)驗(yàn)內(nèi)進(jìn)行后續(xù)判斷。我們需要在未來(lái)采用一種可以同時(shí)避免視覺(jué)反饋和記憶干擾的新范式。其次, 本研究所采用的視覺(jué)刺激的物我距離(3 m、4 m和5 m)比較小, 使得我們無(wú)法得到物我距離的主效應(yīng)。我們需要在物我距離明顯影響空間壓縮的情況下進(jìn)行實(shí)驗(yàn), 以進(jìn)一步研究聽(tīng)覺(jué)刺激的效果。最后, 我們沒(méi)有進(jìn)行純聽(tīng)覺(jué)的實(shí)驗(yàn)。因此, 在本研究中, 我們無(wú)法計(jì)算出聽(tīng)覺(jué)和視覺(jué)模態(tài)各自的權(quán)重。我們需要在未來(lái)進(jìn)行完整的實(shí)驗(yàn)(純聽(tīng)覺(jué)、純視覺(jué)和視聽(tīng)覺(jué))。

5 結(jié)論

總而言之, 我們發(fā)現(xiàn)聽(tīng)覺(jué)刺激可以通過(guò)兩種方式影響空間壓縮, 與單純的視覺(jué)條件相比, 聽(tīng)覺(jué)和視覺(jué)刺激的同時(shí)存在可以改善空間壓縮。此外, 空間壓縮率與聽(tīng)覺(jué)和視覺(jué)刺激之間的物物距離呈負(fù)相關(guān)。我們建議聽(tīng)覺(jué)和視覺(jué)刺激同時(shí)呈現(xiàn), 且之間的物物距離至少為1 m。

Alais, D., & Burr, D. (2004). The ventriloquist effect results from near-optimal bimodal integration.,(3), 257–262.

Anderson, P. W., & Zahorik, P. (2014). Auditory/visual distance estimation: Accuracy and variability.,, 1097. https://doi.org/10.3389/fpsyg.2014. 01097

Armbrüster, C., Wolter, M., Kuhlen, T., Spijkers, W., & Fimm, B. (2008). Depth perception in virtual reality: Distance estimations in peri-and extrapersonal space.(1), 9–15.

Berry, J. S., Roberts, D. A., & Holliman, N. S. (2014, February). 3D sound and 3D image interactions: A review of audio- visual depth perception. In B. E. Rogowitz, T. N. Pappas, & H. D. Ridder (Eds.),(pp.33–48). SPIE.

Bruns, P. (2019). The ventriloquist illusion as a tool to study multisensory processing: An update.,51. https://doi.org/10.3389/ fnint.2019.00051

Buck, L., Paris, R., & Bodenheimer, B. (2021). Distance compression in the htc vive pro: A quick revisitation of resolution.Article 728667. https://doi.org/10.3389/frvir.2021.728667

Buck, L. E., Young, M. K., & Bodenheimer, B. (2018). A comparison of distance estimation in HMD-Based virtual environments with different HMD-Based conditions.,(3), 1–15.

Ellis, S. R., & Menges, B. M. (1998). Localization of virtual objects in the near visual field.(3), 415–431.

Ernst, M. O., & Banks, M. S. (2002). Humans integrate visual and haptic information in a statistically optimal fashion.,(6870), 429–433.

Finnegan, D. J., O’Neill, E., & Proulx, M. J. (2016, May). Compensating for distance compression in audiovisual virtual environments using incongruence. In K. Jofish, & D. Allison (Eds.),(pp. 200–212). Association for Computing Machinery.

Gorzel, M., Corrigan, D., Squires, J., Boland, F., & Kearney, G. (2012, March).. Paper presented at UK 25th Conference: Spatial Audio in Today’s 3D World.York, UK. http://www. aes.org/e-lib/browse.cfm?elib=18119

Henry, D., & Furness, T. (1993, September).. Paper presented at IEEE Virtual Reality Annual International Symposium. Seattle, Washington, USA: IEEE. https://doi. org/10.1109/VRAIS.1993.380801

Huang, Y. H., Venkatakrishnan, R., Venkatakrishnan, R., Babu, S. V., & Lin, W. C. (2021, September).Paper presented at SAP '21: ACM Symposium on Applied Perception 2021, New York, USA: ACM, 1–10. https://doi.org/10.1145/3474451.3476236

Interrante, V., Ries, B., & Anderson, L. (2006, March).Paper presented at IEEE Virtual Reality Conference (VR 2006). Alexandria, Virginia, USA: IEEE. https://doi. org/10.1109/VR.2006.52

Interrante, V., Ries, B., Lindquist, J., Kaeding, M., & Anderson, L. (2008). Elucidating factors that can facilitate veridical spatial perception in immersive virtual environments.(2), 176–198.

Kelly, J. W., Hammel, W. W., Siegel, Z. D., & Sjolund, L. A. (2014). Recalibration of perceived distance in virtual environments occurs rapidly and transfers asymmetrically across scale.,(4), 588–595.

Klein, E., Swan, J. E., Schmidt, G. S., Livingston, M. A., & Staadt, O. G. (2009, March).. Paper presented at 2009 IEEE Virtual Reality Conference, Lafayette, Louisiana, USA: IEEE.https://doi. org/10.1109/VR.2009.4811007

Li, Z., Phillips, J., & Durgin, F. H. (2011). The underestimation of egocentric distance: Evidence from frontal matching tasks.,(7), 2205–2217.

Maruhn, P., Schneider, S., & Bengler, K. (2019). Measuring egocentric distance perception in virtual reality: Influence of methodologies, locomotion and translation gains.,(10), Article e0224651. https://doi.org/10.1371/ jounal.pone.0224651

Naceri, A., Chellali, R., Dionnet, F., & Toma, S. (2009, November).. Paper presented at 2009 Computation World: Future Computing, Service Computation, Cognitive, Adaptive, Content, Patterns (COMPUTATIONWORLD). Athens, Greece: IEEE. https://doi.org/10.1109/ComputationWorld.2009.91

Pan, X., & Hamilton, A. F. de C. (2018). Why and how to use virtual reality to study human social interaction: The challenges of exploring a new research landscape.,(3), 395–417.

Rand, K. M., Tarampi, M. R., Creem-Regehr, S. H., & Thompson, W. B. (2011). The importance of a visual horizon for distance judgments under severely degraded vision.,(2), 143–154.

Rébillat, M., Boutillon, X., Corteel, é., & Katz, B. F. (2012). Audio, visual, and audio-visual egocentric distance perception by moving subjects in virtual environments.,(4), 1–17.

Renner, R. S., Velichkovsky, B. M., & Helmert, J. R. (2013). Theperception of egocentric distances in virtual environments-a review.,(2), 1–40.

Saghafian, M., Laumann, K., Akhtar, R. S., & Skogstad, M. R. (2020). The evaluation of virtual reality fire extinguisher training.(10), Article 593466. https://doi.org/10.3389/fpsyg.2020.593466

Turner, A., Berry, J., & Holliman, N. (2011, February).Paper presented at Stereoscopic Displays and Applications XXII. San Francisco Airport, California, USA: SPIE. https://doi.org/10.1117/12.871960

Wu, B., Ooi, T. L., & He, Z. J. (2004). Perceiving distance accurately by a directional process of integrating ground information.(6978), 73–77.

Zahorik, P., Brungart, D. S., & Bronkhorst, A. W. (2005). Auditory distance perception in humans: A summary of past and present research.,(3), 409–420.

Effect of auditory stimulus on distance compression in virtual reality

HU Xiaofei, WANG Jiawei, LIU Hanyu, SONG Xiaolei

(School of Psychology, Shaanxi Normal University; Shaanxi Key Laboratory of Behavior and Cognitive Neuroscience, Xi’an 710000, China)

Distance compression in virtual reality (VR), which will lead to a distortion of fine manipulation in practical application, depicts that people tend to underestimate the spatial distance of visual stimuli in virtual environments. The apparent perceived differences between virtual and real environments break the immersive experiences and lower users' acceptance. Therefore, it is crucial to ameliorate the distance compression to increase the fidelity and ultimately promote the wider application of VR. Capitalizing on the fact that distance compression is a multiple modality phenomenon and occurs for auditory and visual stimuli, researchers reported that the distance judgment in VR would get more accurate when the positions of auditory and visual stimuli were incongruent. However, it is unclear to what extent the incongruency is to get effective amelioration. In this study, we aimed to completely examine the effect of the auditory stimulus on distance compression in VR. We presumed that the larger the incongruency was, the better amelioration obtained.

We used the HTC Vive Pro to render the virtual environment and the build-in headphone to present auditory stimulus. Thirty participants were recruited to perform a distance judgment task. We first controlled the presence or absence of the auditory stimulus. We also varied the egocentric distance of visual stimulus (3 m, 4 m, 5 m). Then, we controlled the incongruency of the audio-visual condition, that is, the exocentric distance between auditory and visual stimuli (0.5 m, 1 m, 1.5 m, 2 m). Each block consisted of 30 consecutive trials, wherein the reference visual stimulus was presented at the beginning 5 s. Participants were asked to judge whether the following adjust stimulus was nearer or farther than the reference stimulus. The egocentric distance would be adjusted according to the response of the prior trial. The egocentric distance of the adjust stimulus in the last trial was referred to as the ultimate distance judgment for the initial reference stimulus.

We found that the auditory stimulus affected the distance compression in two ways. First, the distance compression under the audio-visual condition was smaller than that under the visual-only condition ((1, 29) = 4.05,= 0.054, ηp2= 0.12), especially when the egocentric distance of the visual stimulus was large (4 m: difference = 1.8%,= ?1.59,= 29,= 0.062; 5 m: difference = 1.6%,= ?1.85,= 29,= 0.037). Second, we formulated the relationship between the exocentric distance between auditory and visual stimuli and the distance compression rate, which was calculated by subtracting the perceived egocentric distance from the physical egocentric distance and then dividing it by the physical egocentric distance.: distance compression rate = ?0.024 × exocentric distance + 0.056. The slope was significant (= 0.008), indicating the distance compression rate was negatively correlated with the exocentric distance and could be ameliorated at a pace of 2.4% for every 1 m. The adjusted2was 90.7%.

We reported the effect of auditory stimulus on the distance compression in VR. Based on our results, we highly recommended presenting the auditory and visual stimuli simultaneously in the time domain and a minimum of 1 m apart in the space domain to ameliorate the distance compression in VR.

virtual reality, distance compression, auditory and visual stimuli, egocentric distance, exocentric distance

2022-04-15

* 國(guó)家自然科學(xué)基金面上項(xiàng)目(32071065); 國(guó)家自然科學(xué)基金重大項(xiàng)目(T2192931); 載人航天工程航天醫(yī)學(xué)實(shí)驗(yàn)領(lǐng)域項(xiàng)目(HYZHXM03001); 中央高?；究蒲袠I(yè)務(wù)費(fèi)重點(diǎn)項(xiàng)目(GK202002010)。

宋曉蕾, E-mail: songxiaolei@snnu.edu.cn

B842