黃昕杰 張 弛 萬華根 張靈聰

情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響

黃昕杰1,2張 弛1萬華根1張靈聰2

(1浙江大學(xué)心理科學(xué)研究中心, 杭州 310058) (2閩南師范大學(xué)教育科學(xué)學(xué)院, 漳州 363000)

時間捆綁效應(yīng)指的是主觀上主動動作和動作結(jié)果的時間點相互靠近的現(xiàn)象。其中, 時間捆綁效應(yīng)可分為動作捆綁和結(jié)果捆綁, 分別對應(yīng)主動動作和動作結(jié)果的時間點變化。本研究通過一個混合設(shè)計實驗考察了情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響。情緒效價可預(yù)測性(可預(yù)測、不可預(yù)測)為被試內(nèi)因素, 刺激模態(tài)(聽覺刺激、視覺刺激)為被試間因素。結(jié)果發(fā)現(xiàn), 情緒效價為可預(yù)測時, 結(jié)果捆綁在主動按鍵后產(chǎn)生聽覺刺激或視覺刺激都出現(xiàn)了增強(qiáng), 而動作捆綁僅在產(chǎn)生視覺刺激時才出現(xiàn)增強(qiáng)。結(jié)果表明, 情緒效價為可預(yù)測時會增強(qiáng)時間捆綁效應(yīng), 但該作用在動作捆綁和結(jié)果捆綁中存在差異。由于時間捆綁效應(yīng)是反映主動控制感的主要指標(biāo), 本研究結(jié)果對先進(jìn)駕駛輔助系統(tǒng)的交互設(shè)計具有一定的參考意義。

情緒效價可預(yù)測性, 時間捆綁效應(yīng), 刺激模態(tài), 主動控制感, 人機(jī)交互, 先進(jìn)駕駛輔助系統(tǒng)

1 引言

個體通過控制主動動作對外界造成一定影響的體驗, 稱之為“Sense of Agency” (Gallagher, 2000; Haggard, 2017; Moore, 2016)。國內(nèi)有研究者翻譯為“主動控制感” (吳迪等, 2019; 張淼等, 2018), 也有研究者翻譯為“施動感” (安燦翎等, 2021; 田昊月等, 2018)。但為敘述統(tǒng)一起見, 本文采用“主動控制感”這一翻譯。時間捆綁效應(yīng)(Temporal Binding)是與主動控制感密切相關(guān)的一種效應(yīng), 指的是主觀上主動動作和動作結(jié)果的時間點相互靠近的現(xiàn)象(Haggard et al., 2002)。時間捆綁效應(yīng)被認(rèn)為是主動控制感的主要量化指標(biāo), 用于反映主動控制感的具體變化(Moore & Obhi, 2012)。最早Haggard等人(2002)使用指針不斷轉(zhuǎn)動且轉(zhuǎn)動一圈耗時2560 ms的Libet鐘表范式, 在被試主動按鍵后250 ms給予一個聽覺刺激, 發(fā)現(xiàn)被試感知主動按鍵的時間點向后發(fā)生了偏移, 聽覺刺激產(chǎn)生的時間點則向前發(fā)生了偏移, 前者被稱為動作捆綁(Action Binding), 而后者被稱為結(jié)果捆綁(Outcome Binding)。

前人研究發(fā)現(xiàn)時間捆綁效應(yīng)除了會受到動作意圖、延遲、概率信息等因素的影響(如Antusch et al., 2019; Moore & Haggard, 2008; Moore et al., 2009; Wen, 2019)之外, 還會受到情緒的影響, 特別是動作結(jié)果的情緒效價的影響。研究表明, 情緒效價會影響個體對動作結(jié)果的歸因傾向(Gentsch & Synofzik, 2014), 在時間捆綁效應(yīng)上也有相應(yīng)的表現(xiàn)。但是, 以往對情緒效價和時間捆綁效應(yīng)關(guān)系的研究結(jié)果并不一致。有研究發(fā)現(xiàn)被試主動動作后產(chǎn)生積極的動作結(jié)果會增強(qiáng)時間捆綁效應(yīng), 產(chǎn)生消極的動作結(jié)果則會削弱時間捆綁效應(yīng)(Yoshie & Haggard, 2013), 也有研究發(fā)現(xiàn)情緒效價對時間捆綁效應(yīng)不存在任何的影響(Moreton et al., 2017)。這些研究表明, 情緒效價對時間捆綁效應(yīng)的影響可能還與其他因素存在交互作用(Barlas et al., 2018)。

有研究發(fā)現(xiàn), 情緒效價對時間捆綁效應(yīng)的影響在一定意義上取決于情緒效價是否可預(yù)測。Yoshie和Haggard (2017)發(fā)現(xiàn)只有當(dāng)個體能夠預(yù)測即將產(chǎn)生的動作結(jié)果是積極還是消極時, 情緒效價才會對時間捆綁效應(yīng)產(chǎn)生影響。積極的動作結(jié)果增強(qiáng)時間捆綁效應(yīng), 消極的動作結(jié)果削弱時間捆綁效應(yīng)。然而Christensen等人(2016)卻發(fā)現(xiàn)積極的動作結(jié)果在情緒效價為不可預(yù)測時也會增強(qiáng)時間捆綁效應(yīng)。總體而言, 仍不清楚情緒效價可預(yù)測性如何影響情緒效價和時間捆綁效應(yīng)的關(guān)系(Kaiser et al., 2021)。更值得注意的是, 情緒效價可預(yù)測性是否會直接影響時間捆綁效應(yīng), 至今仍未見有報道。

探究情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響在工程心理學(xué)領(lǐng)域具有一定的現(xiàn)實意義。在人機(jī)交互情境中, 主動控制感是指用戶對系統(tǒng)狀態(tài)的改變負(fù)有責(zé)任的體驗(Limerick et al., 2014; Seinfeld et al., 2021)。對于自動化技術(shù)來說, 主動控制感的缺失會影響用戶對系統(tǒng)狀態(tài)的監(jiān)控和系統(tǒng)失控時的介入(Berberian, 2019; Wen & Imamizu, 2022), 保證用戶的預(yù)期反饋和實際反饋之間具有一定的可預(yù)測性是維持主動控制感的重要手段(Madary, 2022)。駕駛輔助技術(shù)作為目前較常見的自動化技術(shù), 也需要考慮如何在車輛駕駛過程中維持駕駛員的主動控制感(Wen et al., 2019), 以保證駕駛員能在遇到系統(tǒng)無法處理的突發(fā)情況時能夠迅速介入。最近有研究嘗試在車輛駕駛過程中利用情緒刺激影響駕駛員的行為(Dittrich & Mathew, 2021), 那么, 情緒刺激的可預(yù)測性會如何影響主動控制感呢？本研究通過探究情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響, 對先進(jìn)駕駛輔助系統(tǒng)(Advanced Driver Assistance Systems, ADAS)的交互設(shè)計具有一定的參考價值。

綜上, 本研究聚焦于探究情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響。我們假設(shè), 相對于情緒效價為不可預(yù)測的情況, 情緒效價為可預(yù)測時會增強(qiáng)時間捆綁效應(yīng)。在同一個組塊中, 情緒效價可預(yù)測性通過操縱被試主動按鍵后產(chǎn)生不同情緒刺激的呈現(xiàn)概率實現(xiàn)。情緒效價為可預(yù)測時, 組塊中有大約80%的概率呈現(xiàn)固定情緒的刺激, 大約20%的概率平均呈現(xiàn)除固定情緒外其他情緒的刺激; 情緒效價為不可預(yù)測時, 組塊中則是平均地呈現(xiàn)消極、中性和積極三種情緒的刺激。此外, 考慮到刺激模態(tài)有可能對實驗結(jié)果造成影響(Ruess et al., 2018; Sarma & Srinivasan, 2021), 為更加全面地探究情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響, 本研究將刺激模態(tài)(聽覺刺激、視覺刺激)作為被試間因素, 對兩組被試進(jìn)行一個混合設(shè)計實驗。

2 研究方法

2.1 被試

共招募了60名被試, 其中女性30名, 男性30名(年齡：= 23歲,= 2.25歲)。被試被隨機(jī)分到聽覺刺激和視覺刺激兩個組, 每組男女比例為1：1均衡。

2.2 實驗儀器與材料

實驗程序采用軟件版本為2017.4.40c1(64-bit)的Unity進(jìn)行編寫, 程序呈現(xiàn)的電腦屏幕大小為23.8英寸, 分辨率為1920 × 1080, 背景顏色為灰色, 刷新率為60 Hz。被試與屏幕的距離為60 cm。本研究采用的是Libet鐘表范式。實驗開始時, 直徑為6.6 cm, 中心帶有“+”符號, 外周標(biāo)有數(shù)字以常規(guī)間隔排布(5, 10, 15等)的鐘面呈現(xiàn)在屏幕中央。鐘面呈現(xiàn)500 ms后, 以“+”符號為圓心, 長度為3.2 cm的指針在鐘面隨機(jī)的一個位置出現(xiàn)并開始轉(zhuǎn)動, 轉(zhuǎn)動一圈耗時2560 ms (見圖1)。

圖1 實驗裝置示意圖

以往經(jīng)典Libet鐘表范式大多使用100 ms左右的刺激(如Antusch et al., 2019; Haggard et al., 2002; Ruess et al., 2018)。但是, 要研究與情緒相關(guān)的時間捆綁效應(yīng), 刺激的呈現(xiàn)時長需要更長一些。對于聽覺刺激, 700 ms的呈現(xiàn)時長是個體能夠成功識別刺激情緒的最低要求(見Yoshie & Haggard, 2013, Supplemental Information)。對于視覺刺激, 以往有研究將刺激的呈現(xiàn)時長設(shè)為400 ms, 但使用的是時距估計范式(Moreton et al., 2017)。為了使被試在Libet鐘表范式下能夠成功地識別刺激的情緒并順利地進(jìn)行時間點判斷, 本研究中聽覺刺激的呈現(xiàn)時長設(shè)為平均840 ms, 選用Sauter等人(2010)研究中的消極、中性和積極人聲音頻, 通過耳機(jī)播放呈現(xiàn); 視覺刺激的呈現(xiàn)時長設(shè)為300 ms, 選用https:// image.baidu.com/中的消極、中性和積極人臉圖片, 以直徑為4.9 cm的圓形在鐘面中央呈現(xiàn)。

2.3 實驗設(shè)計與程序

實驗為2 (情緒效價可預(yù)測性：可預(yù)測、不可預(yù)測) × 2 (刺激模態(tài)：聽覺刺激、視覺刺激)混合設(shè)計實驗。情緒效價可預(yù)測性為被試內(nèi)變量, 刺激模態(tài)為被試間變量, 動作捆綁和結(jié)果捆綁為因變量。

(1)基線階段：該階段共有兩個任務(wù), 分別為按鍵動作和出現(xiàn)刺激時間判斷任務(wù)。在按鍵動作時間判斷任務(wù)中, 被試需要在指針開始轉(zhuǎn)動后一到兩圈之間(2560～5120 ms)進(jìn)行按鍵動作。并且, 被試不能總是選擇特定的時間點進(jìn)行按鍵, 要保持一定的隨機(jī)性。被試按鍵后指針會再轉(zhuǎn)動1000 ms, 隨后Libet鐘表消失, 被試用鍵盤輸入1～60的整數(shù)表示主動按鍵時指針?biāo)诘奈恢?。在出現(xiàn)刺激時間判斷任務(wù)中, 被試需要保持靜止地等待聽覺刺激或視覺刺激的出現(xiàn)。刺激在指針開始轉(zhuǎn)動后一到兩圈之間的隨機(jī)時間點出現(xiàn)。其中, 聽覺刺激為呈現(xiàn)時長840 ms的純音音頻, 視覺刺激為呈現(xiàn)時長300 ms、直徑4.9 cm的圓形純色圖片, 呈現(xiàn)時位于鐘面中央。刺激消失后指針也會再轉(zhuǎn)動1000 ms, 隨后Libet鐘表消失, 被試用鍵盤輸入1～60的整數(shù)表示出現(xiàn)刺激時指針?biāo)诘奈恢?。為抵消可能由順序效?yīng)帶來的額外影響, 任務(wù)的順序通過ABBA抵消平衡法進(jìn)行了排序。每個任務(wù)有25個實驗試次, 其中前4個試次為練習(xí)?；€階段有兩個任務(wù)共計50個試次。

(2)操作階段：該階段和基線階段一樣, 也包含按鍵動作時間判斷任務(wù)和出現(xiàn)刺激時間判斷任務(wù)。但在該階段中, 每個任務(wù)各有4個組塊：可預(yù)測的積極刺激組塊、可預(yù)測的中性刺激組塊、可預(yù)測的消極刺激組塊和不可預(yù)測的情緒刺激組塊。實驗開始后, 被試需要保持一定的隨機(jī)性在規(guī)定的時間范圍內(nèi)(2560～5120 ms)進(jìn)行按鍵動作, 不能選擇特定的時間點進(jìn)行反應(yīng)。被試主動按鍵后250 ms會出現(xiàn)聽覺情緒刺激或視覺情緒刺激, 情緒刺激消失后指針會再轉(zhuǎn)動1000 ms, 隨后Libet鐘表消失。在按鍵動作時間判斷任務(wù)中, 被試最后需要用鍵盤輸入1～60的整數(shù)表示主動按鍵時指針?biāo)诘奈恢? 類似地, 在出現(xiàn)刺激時間判斷任務(wù)中, 被試最后也需要輸入1～60的整數(shù)表示出現(xiàn)刺激時指針?biāo)诘奈恢?。按鍵動作到出現(xiàn)刺激之間的時間間隔為250 ms是時間捆綁效應(yīng)研究中的常用設(shè)置(Haggard et al., 2002)。由于時間間隔的長短和變化可能會對實驗結(jié)果造成額外的影響(Humphreys & Buehner, 2009; Ruess et al., 2017), 本實驗中按鍵動作到出現(xiàn)刺激的時間間隔固定為250 ms。在情緒效價為可預(yù)測的組塊中, 大約80%的概率呈現(xiàn)某一固定情緒(消極、中性或積極)的刺激, 大約20%的概率平均呈現(xiàn)除固定情緒外其他情緒的刺激, 如在可預(yù)測的積極刺激組塊中, 大約80%的概率呈現(xiàn)積極的刺激, 10%的概率呈現(xiàn)中性的刺激, 10%的概率呈現(xiàn)消極的刺激。而在情緒效價為不可預(yù)測的組塊中, 消極、中性和積極的刺激則是按照相同的概率呈現(xiàn)。任務(wù)的順序通過ABBA抵消平衡法進(jìn)行了排序, 組塊的順序通過拉丁方抵消平衡法進(jìn)行了排序。每個任務(wù)的前4個實驗試次為練習(xí), 練習(xí)中呈現(xiàn)的聽覺和視覺刺激與基線階段中的一樣。每個組塊有21個試次, 操作階段有2個任務(wù)8個組塊共計176個試次。實驗的基礎(chǔ)和操作階段程序見圖2。

(3)評分階段：在完成所有時間判斷任務(wù)后, 被試需要對操作階段中出現(xiàn)的情緒刺激進(jìn)行情緒效價評分。評分使用的是9分制的Likert量表, 1分表示被試對情緒刺激感到相當(dāng)不愉悅(即該情緒刺激為最消極的), 9分則表示感到相當(dāng)愉悅(即該情緒刺激為最積極的)。

每個被試完成實驗的所有階段耗時需要大約40分鐘。

2.4 數(shù)據(jù)分析

使用的數(shù)據(jù)分析軟件為IBM SPSS Statistics 26.0。進(jìn)行主要統(tǒng)計分析之前, 距離實際發(fā)生時間超過640 ms的時間判斷誤差被視為極端值進(jìn)行了剔除(Aarts et al., 2012)。聽覺刺激組中的極端值數(shù)量占該組所有值數(shù)量的0.5% (按鍵動作：0.25%; 出現(xiàn)刺激：0.25%); 視覺刺激組中的極端值數(shù)量占該組所有值數(shù)量的0.75% (按鍵動作：0.41%; 出現(xiàn)刺激：0.34%)。

每個實驗試次中, 時間判斷誤差的計算公式如下：

由此可得, 按鍵動作的時間判斷誤差計算公式如下：

出現(xiàn)刺激的時間判斷誤差計算公式如下：

接著, 時間判斷偏移量的計算公式如下：

其中, 時間判斷偏移量是指被試在操作階段中按鍵動作或出現(xiàn)刺激時的時間判斷誤差與基線階段中相對應(yīng)的時間判斷誤差之間的差異。為操作階段中的時間判斷誤差, 為基線階段中的時間判斷誤差。

由此可得, 主動動作的時間判斷偏移量計算公式如下：

動作結(jié)果的時間判斷偏移量計算公式如下：

在以往與情緒相關(guān)的Libet鐘表范式研究中(如Christensen et al., 2016; Tanaka & Kawabata, 2021; Yoshie & Haggard, 2013), 刺激的呈現(xiàn)時長都遠(yuǎn)大于100 ms。為了排除較長的刺激呈現(xiàn)時長對實驗結(jié)果的影響, 我們比較了以往經(jīng)典Libet鐘表范式研究中的數(shù)據(jù)(Antusch et al., 2019; Haggard et al., 2002; Ruess et al., 2018), 結(jié)果發(fā)現(xiàn)本研究中呈現(xiàn)時長較長刺激的時間判斷誤差與呈現(xiàn)時長為100 ms左右刺激的時間判斷誤差無顯著差異(詳情見附錄), 故本研究的實驗結(jié)果基本可排除較長刺激呈現(xiàn)時長的影響。

3 結(jié)果分析

3.1 刺激的情緒效價有效性檢驗

分別對聽覺刺激和視覺刺激的情緒效價評分進(jìn)行單因素方差分析。結(jié)果表明, 情緒效價的主效應(yīng)顯著：聽覺刺激,(2, 87) = 35.26,< 0.001, ηp2= 0.45; 視覺刺激,(2, 87) = 340.65,< 0.001, ηp2= 0.89。事后比較表明, 在聽覺刺激中, 消極刺激的評分(= 2.00, 95% CI [1.44, 2.56])顯著低于中性(= 0.001, Cohen’s= 1.31)和積極刺激(< 0.001, Cohen’s= 1.79), 中性刺激的評分(= 3.49, 95% CI [2.92, 4.05])顯著低于積極刺激(= 5.37, 95% CI [4.80, 5.93],< 0.001, Cohen’s= 1.00); 在視覺刺激中, 消極刺激的評分(= 1.39, 95% CI [1.10, 1.68])顯著低于中性(< 0.001, Cohen’s= 4.32)和積極刺激(< 0.001, Cohen’s= 6.46), 中性刺激的評分(= 4.86, 95% CI [4.57, 5.16])顯著低于積極刺激(= 6.73, 95% CI [6.44, 7.03],< 0.001, Cohen’s=1.99)。上述結(jié)果表明, 本研究中使用的實驗材料是有效的, 聽覺和視覺刺激的情緒效價都能夠被成功感知且清楚區(qū)分(見表1)。

3.2 情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響

能夠?qū)幼鹘Y(jié)果的情緒效價形成預(yù)期, 除了操縱呈現(xiàn)概率外, 還需要一定數(shù)量的實驗試次作為先前經(jīng)驗(Moore & Haggard, 2008)。對于可預(yù)測組塊, 有4個干擾情緒刺激試次, 17個有效情緒刺激試次。在這17個有效試次中, 前10個用于讓被試對動作結(jié)果的情緒效價形成預(yù)期, 后7個用于數(shù)據(jù)分析。即可預(yù)測的積極刺激、中性刺激和消極刺激三個組塊中用于數(shù)據(jù)分析的試次共21個。而對于不可預(yù)測組塊, 所有21個試次都用于分析。

為檢驗情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響, 以及其在聽覺刺激和視覺刺激組中的表現(xiàn), 以情緒效價可預(yù)測性為被試內(nèi)因素, 以刺激模態(tài)為被試間因素, 分別對動作捆綁和結(jié)果捆綁進(jìn)行2 × 2重復(fù)測量方差分析。結(jié)果表明, 在動作捆綁中, 情緒效價可預(yù)測性的主效應(yīng)不顯著,(1, 58) = 0.09,= 0.764; 情緒效價可預(yù)測性和刺激模態(tài)的交互作用顯著,(1, 58) = 6.49,= 0.014, ηp2= 0.10。事后比較表明, 在視覺刺激組中, 情緒效價為可預(yù)測時的動作捆綁(= 28.01, 95% CI [5.38, 50.64])強(qiáng)于不可預(yù)測時的動作捆綁(= 16.02, 95% CI [–8.58, 40.61],= 0.049, Cohen’s= 0.33); 而在聽覺刺激組中, 情緒效價為可預(yù)測時的動作捆綁(= 32.24, 95% CI [9.60, 54.87])和不可預(yù)測時的動作捆綁(= 41.69, 95% CI [17.10, 66.29],= 0.118, Cohen’s= 0.11)并無顯著差異。在結(jié)果捆綁中, 情緒效價可預(yù)測性的主效應(yīng)顯著,(1, 58) = 4.17,= 0.046, ηp2= 0.07, 即情緒效價為可預(yù)測時的結(jié)果捆綁(= –46.28, 95% CI [–72.04, –20.52])強(qiáng)于不可預(yù)測時的結(jié)果捆綁(= –33.59, 95% CI [–58.13, –9.05],= 0.046, Cohen’s= 0.13); 情緒效價可預(yù)測性和刺激模態(tài)的交互作用不顯著,(1, 58) = 0.10,= 0.754。以上結(jié)果表明, 情緒效價為可預(yù)測時, 無論主動按鍵后產(chǎn)生聽覺刺激還是視覺刺激, 結(jié)果捆綁都出現(xiàn)了增強(qiáng)。而動作捆綁僅在主動按鍵后產(chǎn)生視覺刺激才出現(xiàn)增強(qiáng)(見圖3)。

4 討論

綜合本研究結(jié)果, 動作結(jié)果的情緒效價為可預(yù)測時會增強(qiáng)時間捆綁效應(yīng)。其中, 結(jié)果捆綁在主動按鍵后產(chǎn)生聽覺刺激或視覺刺激都出現(xiàn)了增強(qiáng), 而動作捆綁僅在產(chǎn)生視覺刺激時才出現(xiàn)增強(qiáng)。經(jīng)計算, 本研究主要結(jié)果的統(tǒng)計效力都處于0.8以上, 表明本研究的主要結(jié)果具有較高的可靠性。

表1 聽覺刺激和視覺刺激情緒效價評分的方差分析結(jié)果

注：*表示< 0.05, **表示< 0.01, ***表示< 0.001。

圖3 情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響表現(xiàn)

注：*表示< 0.05, **表示< 0.01, ***表示< 0.001。誤差棒代表標(biāo)準(zhǔn)誤。

在關(guān)于情緒效價和時間捆綁效應(yīng)關(guān)系的討論上, 至今未有一致的結(jié)果(Kaiser et al., 2021)。例如, Yoshie和Haggard (2013)的研究表明情緒效價影響時間捆綁效應(yīng), Moreton等人(2017)的研究卻表明情緒效價不影響時間捆綁效應(yīng)。盡管有研究發(fā)現(xiàn)情緒效價對時間捆綁效應(yīng)的不一致影響是由于情緒效價可預(yù)測性的調(diào)節(jié)作用, 情緒效價僅在其為可預(yù)測的情況下才會對時間捆綁效應(yīng)產(chǎn)生影響(Yoshie & Haggard, 2017), 但有研究發(fā)現(xiàn)情緒效價為不可預(yù)測時也會影響時間捆綁效應(yīng)(Christensen et al., 2016)。這意味著在情緒效價和情緒效價可預(yù)測性的交互作用中還存在其他的干擾因素?；谇叭说难芯? 本研究單獨(dú)考察情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響, 發(fā)現(xiàn)情緒效價可預(yù)測性本身就能影響時間捆綁效應(yīng), 這表明情緒效價可預(yù)測性不僅是情緒效價和時間捆綁效應(yīng)關(guān)系中的一個調(diào)節(jié)因素, 還是時間捆綁效應(yīng)的一個直接影響因素。

個體對動作結(jié)果的歸因差異可能是情緒效價可預(yù)測性影響時間捆綁效應(yīng)的原因。以往的研究表明, 時間捆綁效應(yīng)會受到動作結(jié)果是否產(chǎn)生的概率信息影響(Moore & Haggard, 2008; Moore et al., 2009), 但不會受具體哪種動作結(jié)果產(chǎn)生的概率信息影響(Desantis et al., 2012; Hughes et al., 2013)。Haering和Kiesel (2014)認(rèn)為以上差異在于概率信息是否會影響個體對動作結(jié)果由主動動作產(chǎn)生的歸因推理。他們表示主動動作后產(chǎn)生哪種動作結(jié)果的概率信息并不會破壞主動動作和動作結(jié)果之間的因果關(guān)系, 動作結(jié)果的產(chǎn)生依然能夠被歸因到個體的主動動作上。但是, 當(dāng)一定產(chǎn)生的動作結(jié)果具有不同的情緒效價時, 這個歸因推理的過程就會受到影響(Gentsch & Synofzik, 2014)。在本研究中, 情緒效價為可預(yù)測時, 個體更傾向于認(rèn)為動作結(jié)果是由自己的動作產(chǎn)生的, 擁有更強(qiáng)的主動控制感體驗, 時間捆綁效應(yīng)表現(xiàn)得更強(qiáng)。

本研究的結(jié)果還發(fā)現(xiàn)情緒效價可預(yù)測性對動作捆綁和結(jié)果捆綁的影響存在差異。情緒效價為可預(yù)測時, 無論主動按鍵后產(chǎn)生的是聽覺刺激還是視覺刺激, 結(jié)果捆綁的表現(xiàn)都要更強(qiáng); 而動作捆綁僅在產(chǎn)生視覺刺激時才表現(xiàn)得更強(qiáng)。以上結(jié)果不僅進(jìn)一步證實了動作捆綁和結(jié)果捆綁的產(chǎn)生機(jī)制不同(如Tanaka et al., 2019; Tonn et al., 2021; Waszak et al., 2012; Wolpe et al., 2013), 與動作捆綁相比, 結(jié)果捆綁的變化更依賴于可預(yù)測性(Tanaka & Kawabata, 2021), 而且為刺激模態(tài)會影響時間捆綁效應(yīng)提供了更多的證據(jù)支撐(Ruess et al., 2018), 尤其是它在情緒效價和時間捆綁效應(yīng)關(guān)系中的潛在影響(Sarma & Srinivasan, 2021)。

本研究表明, 情緒效價為可預(yù)測時會增強(qiáng)主動控制感; 這種增強(qiáng)作用在動作感知和結(jié)果感知中還存在著刺激模態(tài)差異。如果在先進(jìn)駕駛輔助系統(tǒng)中需要使用情緒刺激來增強(qiáng)主動控制感, 建議盡可能地保持其情緒效價的一致性, 比如僅使用積極或消極這一種情緒效價的刺激作為反饋。此外, 建議在車輛操控過程中使用視覺刺激, 在車輛監(jiān)督過程中使用視聽覺組合刺激, 以提高增強(qiáng)主動控制感的效率。

為了能夠分別得到動作捆綁和結(jié)果捆綁的變化, 更加全面地考察情緒效價可預(yù)測性對時間捆綁效應(yīng)的影響, 本研究使用了Libet鐘表范式。雖然按鍵動作是被廣泛使用于心理學(xué)、認(rèn)知神經(jīng)科學(xué)、計算機(jī)科學(xué)等領(lǐng)域的動作反應(yīng)方式(吳迪等, 2019), 但是在有關(guān)主動控制感的人機(jī)交互研究中, 連續(xù)的運(yùn)動控制任務(wù)可能是更好的實驗設(shè)置。其中, 相比于Libet鐘表范式, 時距估計范式更適用于連續(xù)的運(yùn)動控制任務(wù)(Wen et al., 2017)。未來研究可選擇更適用于人機(jī)交互方面研究的任務(wù)與范式。

5 結(jié)論

(1)動作結(jié)果的情緒效價為可預(yù)測時會增強(qiáng)時間捆綁效應(yīng);

(2)情緒效價可預(yù)測性對動作捆綁和結(jié)果捆綁的影響存在差異。具體來說, 情緒效價為可預(yù)測時, 結(jié)果捆綁在主動按鍵后產(chǎn)生聽覺刺激或視覺刺激都出現(xiàn)了增強(qiáng), 而動作捆綁僅在產(chǎn)生視覺刺激時才出現(xiàn)增強(qiáng)。

致謝：感謝徐杰研究員和李峙研究員、長聘副教授對論文的論證給予的幫助和啟發(fā)。

Aarts, H., Bijleveld, E., Custers, R., Dogge, M., Deelder, M., Schutter, D., & van Haren, N. E. (2012). Positive priming and intentional binding: Eye-blink rate predicts reward information effects on the sense of agency.,(1), 105–112. https://doi.org/10.1080/ 17470919.2011.590602

An, C. L., Li, L. H., Tian, H. Y., Li, F., Jin, D., Bu, Y. B., & Cao, L. S. (2021). The development of the two-step account of sense of agency.,(5), 1273–1279. https://doi.org/10.16719/j.cnki.1671-6981.20210533

[安燦翎, 李力紅, 田昊月, 李飛, 金丹, 布宇博, 曹玲珊. (2021). 施動感雙層結(jié)構(gòu)的發(fā)展.(5), 1273–1279]

Antusch, S., Aarts, H., & Custers, R. (2019). The role of intentional strength in shaping the sense of agency.,, 1124. https://doi.org/10.3389/ fpsyg.2019.01124

Barlas, Z., Hockley, W. E., & Obhi, S. S. (2018). Effects of free choice and outcome valence on the sense of agency: Evidence from measures of intentional binding and feelings of control.,(1), 129–139. https://doi.org/10.1007/s00221-017-5112-3

Berberian, B. (2019). Man-machine teaming: A problem of agency.,(34), 118–123. https:// doi.org/10.1016/j.ifacol.2019.01.049

Christensen, J. F., Yoshie, M., Di Costa, S., & Haggard, P. (2016). Emotional valence, sense of agency and responsibility: A study using intentional binding.,, 1–10. https://doi.org/ 10.1016/j.concog.2016.02.016

Desantis, A., Hughes, G., & Waszak, F. (2012). Intentional binding is driven by the mere presence of an action and not by motor prediction.,(1), e29557. https:// doi.org/10.1371/journal.pone.0029557

Dittrich, M., & Mathew, N. (2021). Emotional feedback to mitigate aggressive driving: A real-world driving study. In R. Ali., B. Lugrin., & F. Charles. (Eds.),(pp. 88–101). Springer, Cham. https://doi.org/10.1007/978-3-030-79460-6_8

Gallagher, S. (2000). Philosophical conceptions of the self: Implications for cognitive science.,(1), 14–21. https://doi.org/10.1016/s1364- 6613(99)01417-5

Gentsch, A., & Synofzik, M. (2014). Affective coding: The emotional dimension of agency.,, 608. https://doi.org/10.3389/fnhum.2014. 00608

Haering, C., & Kiesel, A. (2014). Intentional binding is independent of the validity of the action effect’s identity.,, 109–119. https://doi.org/10.1016/ j.actpsy.2014.07.015

Haggard, P. (2017). Sense of agency in the human brain.,(4), 196–207. https:// doi.org/10.1038/nrn.2017.14

Haggard, P., Clark, S., & Kalogeras, J. (2002). Voluntary action and conscious awareness.,(4), 382–385. https://doi.org/10.1038/nn827

Hughes, G., Desantis, A., & Waszak, F. (2013). Mechanisms of intentional binding and sensory attenuation: The role of temporal prediction, temporal control, identity prediction, and motor prediction.,(1), 133–151. https://doi.org/10.1037/a0028566

Humphreys, G. R., & Buehner, M. J. (2009). Magnitude estimation reveals temporal binding at super-second intervals.,(5), 1542–1549. https:// doi.org/10.1037/a0014492

Kaiser, J., Buciuman, M., Gigl, S., Gentsch, A., & Schütz-Bosbach, S. (2021). The interplay between affective processing and sense of agency during action regulation: A review.,, 716220. https:// doi.org/10.3389/fpsyg.2021.716220

Limerick, H., Coyle, D., & Moore, J. W. (2014). The experience of agency in human-computer interactions: A review.,, 643. https:// doi.org/10.3389/fnhum.2014.00643

Madary, M. (2022). The illusion of agency in human-computer interaction.,(1), 1–15. https://doi.org/ 10.1007/s12152-022-09491-1

Moore, J., & Haggard, P. (2008). Awareness of action: Inference and prediction.,(1), 136–144. https://doi.org/10.1016/j.concog.2006.12.004

Moore, J. W. (2016). What is the sense of agency and why does it matter?,, 1272. https://doi.org/10.3389/fpsyg.2016.01272

Moore, J. W., Lagnado, D., Deal, D. C., & Haggard, P. (2009). Feelings of control: Contingency determines experience of action.,(2), 279–283. https://doi.org/ 10.1016/j.cognition.2008.11.006

Moore, J. W., & Obhi, S. S. (2012). Intentional binding and the sense of agency: A review.,(1), 546–561. https://doi.org/10.1016/j.concog.2011.12.002

Moreton, J., Callan, M. J., & Hughes, G. (2017). How much does emotional valence of action outcomes affect temporal binding?,, 25–34. https://doi.org/10.1016/j.concog.2016.12.008

Ruess, M., Thomaschke, R., & Kiesel, A. (2017). The time course of intentional binding.,(4), 1123–1131. https://doi.org/10.3758/ s13414-017-1292-y

Ruess, M., Thomaschke, R., & Kiesel, A. (2018). Intentional binding of visual effects.,(3), 713–722. https://doi.org/10.3758/ s13414-017-1479-2

Sarma, D., & Srinivasan, N. (2021). Intended emotions influence intentional binding with emotional faces: Larger binding for intended negative emotions.,, 103136. https://doi.org/10.1016/j.concog. 2021.103136

Sauter, D. A., Eisner, F., Calder, A. J., & Scott, S. K. (2010). Perceptual cues in nonverbal vocal expressions of emotion.(11), 2251–2272. https://doi.org/10.1080/17470211003721642

Seinfeld, S., Feuchtner, T., Maselli, A., & Müller, J. (2021). User representations in human-computer interaction.,(5–6), 400–438. https://doi.org/10.1080/07370024.2020.1724790

Tanaka, T., & Kawabata, H. (2021). Sense of agency is modulated by interactions between action choice, outcome valence, and predictability.,(4), 1795–1806. https://doi.org/10.1007/s12144-018-0121-3

Tanaka, T., Matsumoto, T., Hayashi, S., Takagi, S., & Kawabata, H. (2019). What makes action and outcome temporally close to each other: A systematic review and meta-analysis of temporal binding.,(3), 189–218. https://doi.org/10.1163/22134468-20191150

Tian, H. Y., Li, L. H., Xu, Z., Li, F., Jin, D., & An, C. L. (2018). Sense of agency in the minimal self.,(5), 872–885. https://doi.org/ 10.3724/SP.J.1042.2018.00872

[田昊月, 李力紅, 徐喆, 李飛, 金丹, 安燦翎. (2018). 最小自我中的施動感.(5), 872–885]

Tonn, S., Pfister, R., Klaffehn, A. L., Weller, L., & Schwarz, K. A. (2021). Two faces of temporal binding: Action- and effect-binding are not correlated.,, 103219. https://doi.org/10.1016/j.concog. 2021.103219

Waszak, F., Cardoso-Leite, P., & Hughes, G. (2012). Action effect anticipation: Neurophysiological basis and functional consequences.,(2), 943–959. https://doi.org/10.1016/j.neubiorev.2011. 11.004

Wen, W. (2019). Does delay in feedback diminish sense of agency? A review.,, 102759. https://doi.org/10.1016/j.concog.2019.05.007

Wen, W., & Imamizu, H. (2022). The sense of agency in perception, behaviour and human-machine interactions.,, 211–222. https://doi.org/ 10.1038/s44159-022-00030-6

Wen, W., Kuroki, Y., & Asama, H. (2019). The sense of agency in driving automation.,, 2691. https://doi.org/10.3389/fpsyg.2019.02691

Wen, W., Yamashita, A., & Asama, H. (2017). The influence of performance on action-effect integration in sense of agency.,, 89–98. https://doi.org/ 10.1016/j.concog.2017.06.008

Wolpe, N., Haggard, P., Siebner, H. R., & Rowe, J. B. (2013). Cue integration and the perception of action in intentional binding.,(3), 467–474. https://doi.org/10.1007/s00221-013-3419-2

Wu, D., Gu, J. J., Li, M., Zhang, M., Zhang, M., Zhao, K., & Fu, X. L. (2019). Sense of agency based on action and causation: The mechanism of intentional binding effect for voluntary action.,(5), 804–810. https://doi.org/10.3724/sp.J.1042.2019.00804

[吳迪, 顧晶金, 李明, 張淼, 張明, 趙科, 傅小蘭. (2019). 動作的主動控制感與因果關(guān)系的主動控制感: 主動動作時間壓縮效應(yīng)的產(chǎn)生機(jī)制.(5), 804–810]

Yoshie, M., & Haggard, P. (2013). Negative emotional outcomes attenuate sense of agency over voluntary actions.,(20), 2028–2032. https://doi.org/ 10.1016/j.cub.2013.08.034

Yoshie, M., & Haggard, P. (2017). Effects of emotional valence on sense of agency require a predictive model.,(1), 8733. https://doi.org/10.1038/ s41598-017-08803-3

Zhang, M., Wu, D., Li, M., Ling, Y. B., Zhang, M., & Zhao, K. (2018). The measurement and neural mechanism of sense of agency.,(10), 1787–1793. https://doi.org/10.3724/sp.J.1042.2018.01787

[張淼, 吳迪, 李明, 凌懿白, 張明, 趙科. (2018). 主動控制感的測量及認(rèn)知神經(jīng)機(jī)制(10), 1787–1793]

本研究中聽覺刺激單獨(dú)呈現(xiàn)時的時間判斷誤差與Haggard等人(2002)和Antusch等人(2019)研究中對應(yīng)時間判斷誤差的獨(dú)立樣本檢驗結(jié)果發(fā)現(xiàn)：與Haggard等人(2002)的比較無顯著差異,(37) = –0.72,= 0.479, Cohen's= 0.29; 與Antusch等人(2019)的比較也無顯著差異,(64) = –1.07,= 0.287, Cohen's= 0.26。本研究中視覺刺激單獨(dú)呈現(xiàn)時的時間判斷誤差與Ruess等人(2018)研究中對應(yīng)時間判斷誤差的獨(dú)立樣本檢驗結(jié)果無顯著差異,(76) = –0.81,= 0.422, Cohen's= 0.18。以上結(jié)果表明, 對刺激的時間判斷不受呈現(xiàn)時長的影響, 詳細(xì)數(shù)據(jù)見附表1。

附表1 不同刺激呈現(xiàn)時長下刺激的時間判斷誤差及其標(biāo)準(zhǔn)差

刺激呈現(xiàn)時長樣本量時間判斷誤差(ms) MSD 聽覺刺激 100 ms, Haggard等人(2002)91572 100 ms, Antusch等人(2019)3619.4658.37 840 ms, 本研究3040.5399.05 視覺刺激 150 ms, Ruess等人(2018)482165.47 300 ms, 本研究3036.0198.81

Effect of predictability of emotional valence on temporal binding

HUANG Xinjie1,2, ZHANG Chi1, WAN Huagen1, ZHANG Lingcong2

(1Center for Psychological Science, Zhejiang University, Hangzhou 310058, China)(2School of Educational Science, Minnan Normal University, Zhangzhou 363000, China)

Therefers to the experience of "I am the initiator of actions, controlling the external world"., which is related to the sense of agency, refers to the subjective compression of the perceived time interval between voluntary action and its action outcome. Previous studies have explored the effect of emotional valence on temporal binding by setting the predictability of emotional valence as the control variable. However, the effect of the predictability of emotional valence on temporal binding remains unknown. This study explored the effect of the predictability of emotional valence of action outcomes on temporal binding, based on the hypothesis that temporal binding is stronger when emotional valence is more predictable.

This study used Libet’s clock paradigm to investigate the effect of the predictability of emotional valence of action outcomes on temporal binding. A 2 (predictability of emotional valence, within: predictable vs. unpredictable) × 2 (stimulus modality, between: auditory vs. visual) mixed design was employed. A total of 60 participants were randomly assigned to one of two between-subject conditions, resulting in 30 in the auditory group and 30 in the visual group. There were two main phases of the study. During the baseline phase, the participants in the two groups were asked to either press the key at a freely chosen point from 2, 560ms to 5, 120ms or perceive the auditory/visual stimulus randomly from 2, 560ms to 5, 120ms after the trial start. Next, they were asked to estimate the position of the clock hand at the onset of either the key-press or the stimulus. During the operant phase, participants were also asked to press the key at a freely chosen point from 2, 560ms to 5, 120ms. The key-press would cause the auditory/visual emotional outcome (negative, neutral or positive) following a delay duration of 250ms. Next, they were asked to estimate the position of the clock hand at the onset of either the key-press or the emotional outcome. When the emotional valence was predictable, there would be a fixed emotional outcome to the key-press (negative, neutral or positive) in 80% of trials and the other remaining emotional outcome in 20% of trials. When the emotional valence was unpredictable, the key-press would result in one of the three emotional outcomes.

The results showed that temporal binding was enhanced when the emotional valence was predictable. Furthermore, when emotional valence was predictable, the outcome binding was stronger in both the auditory and visual groups, whereas the action binding was stronger only in the visual group.

In conclusion, the predictability of emotional valence is an important factor affecting temporal binding. The predictability of emotional valence can enhance outcome binding in both auditory and visual modalities, but can only enhance action binding in the visual modality. This may be due to the difference between action and outcome binding mechanisms or between the timing systems of auditory and visual stimuli. These results have an important implication for the interactive design of Advanced Driver Assistance Systems (ADAS) since temporal binding is the main index of the sense of agency.

predictability of emotional valence, temporal binding, stimulus modality, sense of agency, human- computer interaction, advanced driver assistance systems

2021-04-28

萬華根, E-mail: hgw@zju.edu.cn

B842