呂 勇 顧吉有

(教育部人文社會科學(xué)重點(diǎn)研究基地天津師范大學(xué)心理與行為研究院，天津 300074)

注意對視聽語義整合加工的影響 *

呂 勇 顧吉有

(教育部人文社會科學(xué)重點(diǎn)研究基地天津師范大學(xué)心理與行為研究院，天津 300074)

采用2×3的被試內(nèi)實(shí)驗(yàn)設(shè)計，將注意條件和目標(biāo)刺激類型作為實(shí)驗(yàn)變量，考察了指向不同感覺通道的注意對視聽語義整合加工的不同影響。結(jié)果發(fā)現(xiàn)，只有在同時注意視覺和聽覺刺激時，被試對語義一致的視聽刺激反應(yīng)最快，即產(chǎn)生冗余信號效應(yīng)。而在選擇性注意一個感覺通道時，語義一致的視聽刺激并不具有加工優(yōu)勢。進(jìn)一步分析發(fā)現(xiàn)，在同時注意視覺和聽覺時語義一致視聽刺激的加工優(yōu)勢源自于其視覺和聽覺成分產(chǎn)生了整合。也就是說，只有在同時注意視覺和聽覺時，語義一致視聽刺激才會產(chǎn)生整合，語義不一致視聽刺激不會產(chǎn)生整合。而在選擇性注意一個感覺通道時，不論語義是否一致，視聽刺激均不會產(chǎn)生整合。

注意，多感覺整合，語義聯(lián)結(jié)，競爭模型。

1 引言

人們的腦每天都會接受大量來自不同感覺通道的信息。持續(xù)追蹤并整合這些來自不同通道的信息是人類知覺系統(tǒng)的一項(xiàng)重要功能（Su,2014）。有研究顯示，個體對多通道信息的整合加工（即多感覺整合，multisensory integration）能夠減少反應(yīng)時并提高正確反應(yīng)率（孫遠(yuǎn)路等, 2011;Koelewijn, Bronkhorst, & Theeuwes, 2010），并且降低知覺閾限（Frassinetti, Bolognini, & Làdavas, 2002;Lovelace, Stein, & Wallace, 2003）。已有文獻(xiàn)中將這種對雙通道目標(biāo)的加工優(yōu)勢稱為“冗余信號效應(yīng)（the redundant signal effect）”（Miller, 1982）。

在對多通道信息的整合加工中，注意的作用一直存在爭論（Koelewijn et al., 2010；Talsma,Senkowski, Soto-Faraco, & Woldorff, 2010）。目前，主流觀點(diǎn)認(rèn)為注意對視聽整合加工起一定的作用。比如，Talsma和Woldorff（2005）采用簡單圖形和短音分別作為視覺和聽覺材料，考察了被試在注意和非注意條件下探測偶然出現(xiàn)的目標(biāo)刺激的表現(xiàn)，同時記錄被試的腦電。結(jié)果發(fā)現(xiàn)，被試對雙通道刺激的反應(yīng)明顯快于對任意一個單通道刺激的反應(yīng)。并且，只有在注意條件下，才會出現(xiàn)代表視聽整合加工的ERP效應(yīng)。

但是，Talsma和Woldorff的研究僅關(guān)注注意與非注意條件，并沒有將注意條件做進(jìn)一步的區(qū)分。眾所周知，注意除可以指向不同的空間位置、客體特征之外，還可以指向不同感覺通道（Talsma, 2015）。那么，當(dāng)注意指向不同感覺通道時，視聽整合是否會存在差異？有研究者（Mittag, Alho, Takegata, Makkonen, & Kujala, 2013）針對上述問題進(jìn)行了考察。他們采用芬蘭語中半合成的輔音-元音音節(jié)作為視覺刺激，其讀音作為聽覺刺激，考察被試在注意不同通道時多感覺整合的差異。結(jié)果發(fā)現(xiàn)，被試在注意視覺和同時注意視覺和聽覺時，都會產(chǎn)生明顯的多感覺整合效應(yīng)，而在只注意聽覺時，沒有多感覺整合效應(yīng)產(chǎn)生。這項(xiàng)研究表明，盡管注意能夠影響視聽整合，但并不是在注意任意通道時均會產(chǎn)生，因此注意對多感覺整合的影響由于注意指向的感覺通道不同而具有一定的條件性。

同時，人們生活環(huán)境中的刺激除共享時間和空間特征，還共享語義特征（Laurienti, Kraft, Maldjian,Burdette, & Wallace, 2004），這就構(gòu)成了刺激之間的語義聯(lián)結(jié)。有研究者認(rèn)為，大腦在處理信息時，傾向于將內(nèi)容上匹配的刺激當(dāng)作源自于相同資源處理，或者說，當(dāng)兩種刺激在內(nèi)容上相一致（如，語義一致）時，大腦更傾向于認(rèn)為它們來源于同一資源，這樣更有益于人們的知覺系統(tǒng)將其整合成統(tǒng)一的知覺（Su, 2014）。一些以視聽語義知覺為考察對象的研究結(jié)果與這種視聽語義一致信息的加工優(yōu)勢基本一致（van Wassenhove, Grant,& Poeppel, 2007; Ten Oever, Sack, Wheat, Bien, & van Atteveldt, 2013）。由此可見，語義一致的視聽刺激更易產(chǎn)生整合。那么，在不同的注意條件下，這種語義一致的視聽刺激是否仍然具有加工優(yōu)勢呢？本研究采用簡單圖形作為視覺刺激，采用人聲讀出的單字詞作為聽覺刺激，使聽覺刺激和視覺刺激之間形成一定的語義聯(lián)結(jié)。同時，通過線索將被試的注意指向不同感覺通道，考察當(dāng)個體注意不同通道時的視聽語義整合加工是否存在不同。

2 方法

2.1 被試

被試為26名在校大學(xué)生（男生16人，女生10人），平均年齡為20歲。所有被試視力或矯正視力正常，聽力正常，均為右利手，身體健康，沒有腦部損傷史。被試完成實(shí)驗(yàn)后獲得少量報酬。

2.2 實(shí)驗(yàn)儀器和材料

實(shí)驗(yàn)刺激采用E-prime 1.1軟件編制實(shí)驗(yàn)程序。視覺刺激通過17寸液晶顯示器呈現(xiàn)，聽覺刺激通過入耳式耳機(jī)呈現(xiàn)，響度約為64 db。被試眼睛正對電腦顯示器中央位置，距離約50 cm。實(shí)驗(yàn)中線索包括三種：“請注意看”、“請注意聽”、“請注意看和聽”。這三種線索均用30號白色宋體字呈現(xiàn)于屏幕中央（黑色背景）。單通道視覺目標(biāo)刺激為白色圓形、白色正方形和白色三角形，視角為3.4°。單通道聽覺目標(biāo)刺激采用Sound Forge 9.0軟件制作和處理，為同一女聲讀出的“圓”、“方”和400 Hz的短音。雙通道目標(biāo)刺激為視覺和聽覺刺激同時呈現(xiàn)。

2.3 實(shí)驗(yàn)程序與實(shí)驗(yàn)設(shè)計

在每個試次中，首先在黑色屏幕上呈現(xiàn)白色十字注視點(diǎn)，持續(xù)時間為1000 ms至1200 ms之間隨機(jī)。注視點(diǎn)消失后在屏幕中央呈現(xiàn)線索。線索呈現(xiàn)1 s，隨后白色十字注視點(diǎn)出現(xiàn)在屏幕中央，在1000 ms至1200 ms之間的隨機(jī)呈現(xiàn)。注視點(diǎn)消失后呈現(xiàn)目標(biāo)刺激。視覺和聽覺刺激均呈現(xiàn)200 ms，隨后被試進(jìn)行按鍵反應(yīng)，按鍵后自動進(jìn)入下一個試次。如果超過3 s不做反應(yīng)，該試次記為錯誤，也自動進(jìn)入下一試次。隨后呈現(xiàn)1 s的空屏作為試次間隔。實(shí)驗(yàn)中人聲讀出的“圓”、“方”分別與圓形和正方形形成具有語義聯(lián)結(jié)的刺激對，同時，分別將白色三角形與“圓”、“方”匹配，將短音與圓形和正方形匹配，以形成語義不一致的刺激對。被試的任務(wù)是根據(jù)線索的要求進(jìn)行按鍵反應(yīng)：當(dāng)看到圓形、聽到“圓”、或看到的圓形和聽到的“圓”同時呈現(xiàn)時，按F鍵；當(dāng)看到正方形、聽到“方”、或者看到正方形和聽到“方”同時呈現(xiàn)時，按J鍵。在整個實(shí)驗(yàn)過程中，要求被試雙眼注視屏幕正中央，既快又準(zhǔn)確地做出反應(yīng)。實(shí)驗(yàn)流程見圖1。

圖 1 實(shí)驗(yàn)流程示意圖

根據(jù)線索的要求，實(shí)驗(yàn)包含以下10種試次類型：注意視覺-單通道視覺目標(biāo)；注意視覺-語義一致雙通道目標(biāo)中的視覺成分；注意視覺-語義不一致雙通道目標(biāo)中的視覺成分；注意聽覺-單通道聽覺目標(biāo)；注意聽覺-語義一致雙通道目標(biāo)中的聽覺成分；注意聽覺-語義不一致雙通道目標(biāo)中的聽覺成分；注意視聽-單通道視覺目標(biāo)；注意視聽-單通道聽覺目標(biāo)；注意視聽-語義一致的雙通道目標(biāo)；注意視聽-語義不一致的雙通道目標(biāo)。其中，當(dāng)線索為“請注意看”、“請注意聽”時，該試次為注意單通道條件，即選擇性注意條件；當(dāng)線索為“請注意看和聽”時，該試次為注意雙通道條件，即分配性注意條件。

實(shí)驗(yàn)采用2（注意條件：分配性注意、選擇性注意）×3（目標(biāo)刺激類型：單通道視覺目標(biāo)、單通道聽覺目標(biāo)、雙通道目標(biāo)）的被試內(nèi)設(shè)計。實(shí)驗(yàn)中，每個試次持續(xù)約5 s。實(shí)驗(yàn)共有330個試次，整個實(shí)驗(yàn)約持續(xù)28分鐘。在正式實(shí)驗(yàn)之前有36個試次作為練習(xí)部分。在正式實(shí)驗(yàn)中每60個試次可進(jìn)行短暫休息，被試按空格鍵可以繼續(xù)進(jìn)行實(shí)驗(yàn)。

3 結(jié)果

對數(shù)據(jù)進(jìn)行初步處理：刪除了反應(yīng)錯誤的以及反應(yīng)時小于200 ms和大于1000 ms的數(shù)據(jù)，還刪除了反應(yīng)時超出平均反應(yīng)時3個標(biāo)準(zhǔn)差的數(shù)據(jù)。初步處理后刪除的數(shù)據(jù)約占總數(shù)據(jù)的5.64%。所有被試的數(shù)據(jù)均有效。

表1呈現(xiàn)了被試在兩種注意條件下對四種不同類型目標(biāo)的反應(yīng)正確率和反應(yīng)時。在正確率方面，首先對視聽語義一致目標(biāo)與單通道目標(biāo)進(jìn)行重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn)，無任何顯著效應(yīng)，ps＞0.05。對于視聽語義不一致目標(biāo)與單通道目標(biāo)的重復(fù)測量方差分析發(fā)現(xiàn)，目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=23.05，p＜0.001，η2=0.48。事后比較發(fā)現(xiàn)，被試對視聽語義不一致目標(biāo)的反應(yīng)正確率最低，而對其他兩種目標(biāo)的反應(yīng)正確率無顯著差異。

表 1 不同注意條件下的正確率和反應(yīng)時

在反應(yīng)時方面，將視聽語義一致目標(biāo)與單通道目標(biāo)進(jìn)行重復(fù)測量方差分析，結(jié)果發(fā)現(xiàn)，目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=29.94，p＜0.001，η2=0.55；注意條件與目標(biāo)通道交互作用顯著（見圖2），F(xiàn)（2, 50）=31.62，p＜0.001，η2=0.56。進(jìn)一步分析發(fā)現(xiàn)，在分配性注意條件下，被試對語義一致的雙通道目標(biāo)的反應(yīng)時顯著短于對單通道視覺目標(biāo)和單通道聽覺目標(biāo)的反應(yīng)時，單通道視覺目標(biāo)的反應(yīng)時顯著短于單通道聽覺目標(biāo)的反應(yīng)時，ps＜0.001。即，被試對語義一致的雙通道目標(biāo)反應(yīng)最快，產(chǎn)生冗余信號效應(yīng)，而對單通道聽覺目標(biāo)刺激的反應(yīng)最慢。在選擇性注意條件下，被試對單通道視覺目標(biāo)的反應(yīng)時顯著小于對語義一致的雙通道目標(biāo)的反應(yīng)時，p＜0.05，和單通道聽覺目標(biāo)的反應(yīng)時，p＜0.05；雙通道目標(biāo)與單通道聽覺目標(biāo)的反應(yīng)時之間無顯著差異，p＞0.05。

將語義不一致的雙通道目標(biāo)反應(yīng)時與單通道目標(biāo)反應(yīng)時進(jìn)行重復(fù)測量方差分析。結(jié)果發(fā)現(xiàn)，注意條件主效應(yīng)顯著，F(xiàn)（1, 25）=30.04，p＜0.001，η2=0.55，被試在分配性注意條件（475±12）下的反應(yīng)時顯著長于在選擇性注意條件（452±12）下的反應(yīng)時。目標(biāo)通道主效應(yīng)顯著，F(xiàn)（2, 50）=14.82，p＜0.001，η2=0.37。事后比較發(fā)現(xiàn)，被試對單通道視覺目標(biāo)的反應(yīng)時（449±12）顯著短于對語義不一致的雙通道目標(biāo)（464±13），p＜0.01，和單通道聽覺目標(biāo)反應(yīng)時（478±13），p＜0.001，語義不一致的雙通道目標(biāo)反應(yīng)時顯著短于對單通道聽覺目標(biāo)反應(yīng)時，p＜0.05。注意條件與目標(biāo)通道交互作用不顯著，p＞0.05。上述結(jié)果表明，被試對語義不一致的雙通道目標(biāo)的反應(yīng)不具有加工優(yōu)勢。

圖 2 不同注意條件下對三種類型目標(biāo)的反應(yīng)時

有研究者針對冗余信號效應(yīng)做出了解釋。Raab（1962）提出的競爭模型（the race model）認(rèn)為，在個體加工多通道刺激時，這些不同通道的刺激被分別加工，對多通道刺激的加工優(yōu)勢（即冗余信號效應(yīng)）來自于統(tǒng)計便利：不同通道刺激之間相互競爭，最先完成加工的通道優(yōu)先觸發(fā)被試的反應(yīng)。這就類似于擲骰子，擲兩個骰子得到一個6點(diǎn)的幾率要大于擲一個骰子得到一個6點(diǎn)的幾率（劉強(qiáng), 2010）。而共同激活模型（the coactivation model）認(rèn)為不同通道的信息均被激活，它們在某些特定時間點(diǎn)上融合為統(tǒng)一的知覺信息，共同作用于隨后的加工，因此產(chǎn)生了冗余信號效應(yīng)（Miller, 1982, 1986）。針對這兩種模型，Miller（1982）提出了競爭模型不等式。不等式的左邊代表在任意給定時間t內(nèi)個體對同時呈現(xiàn)的雙通道刺激反應(yīng)的概率值，右邊代表競爭模型預(yù)測值。這一不等式的含義是：在任意給定時間點(diǎn)上，如果個體對多通道刺激的反應(yīng)概率顯著大于競爭模型預(yù)測值，那么對多通道刺激的反應(yīng)偏離競爭模型，這就表明組成多通道刺激的兩個單通道刺激之間產(chǎn)生了神經(jīng)上的融合，因此導(dǎo)致了冗余信號效應(yīng)。

由于只有在分配性注意條件下表現(xiàn)出冗余信號效應(yīng)，因此本研究只對分配性注意條件下的數(shù)據(jù)進(jìn)行競爭模型分析（見圖3）。首先計算反應(yīng)時的累積分布函數(shù)：單通道視覺P（RT＜t|V），單通道聽覺P（RT＜t|A），語義一致的多通道P（RT＜t|AV語義一致）。根據(jù)已有研究（Raab，1962）計算出競爭模型預(yù)測值[P（RTv＜t）+P（RTa＜t）]-[P（RTv＜t）×P（RTa＜t）]。為考察在反應(yīng)時數(shù)據(jù)上表現(xiàn)出的冗余信號效應(yīng)是否源自語義一致雙通道目標(biāo)的多感覺整合，將實(shí)驗(yàn)值和競爭模型預(yù)測值進(jìn)行比較，即在每10%的時間點(diǎn)上將語義一致的多通道P（RT＜t|AV語義一致）與競爭模型預(yù)測值進(jìn)行配對t檢驗(yàn)。結(jié)果發(fā)現(xiàn)，在340 ms至410 ms之間，語義一致的多通道P（RT＜t|AV語義一致）顯著大于競爭模型預(yù)測值（340 ms，t（25）=2.69，p=0.01；350 ms，t（25）=3.00，p=0.01；360 ms，t（25）=3.68，p=0.001；370 ms，t（25）=3.18，p=0.004；380 ms，t（25）=2.78，p=0.01；390 ms，t（25）=2.42，p=0.02；400 ms，t（25）=2.18，p=0.04；410 ms，t（25）=2.19，p=0.04），此結(jié)果符合共激活模型。這表明，本實(shí)驗(yàn)中出現(xiàn)的冗余信號效應(yīng)來自于語義一致雙通道目標(biāo)的視覺和聽覺成分的整合。

圖 3 分配性注意條件反應(yīng)時的競爭模型分析圖

4 討論

通過線索刺激將注意指向不同感覺通道，以簡單圖形作為視覺刺激，以人聲讀出的單字詞作為聽覺刺激，使視覺和聽覺刺激之間形成一定的語義聯(lián)結(jié)，考察了被試在注意不同通道時，語義一致和不一致視聽刺激的整合加工是否存在差異。結(jié)果發(fā)現(xiàn)，在反應(yīng)時方面，分配性注意條件下，被試對語義一致的雙通道刺激的反應(yīng)最快，即，在語義一致的視聽刺激上產(chǎn)生了冗余信號效應(yīng)。通過競爭模型分析發(fā)現(xiàn)，這種冗余信號效應(yīng)源自于語義一致的雙通道刺激中視覺和聽覺成分產(chǎn)生的整合。而在選擇性注意條件下，被試對視覺目標(biāo)的反應(yīng)時最短，語義一致的雙通道目標(biāo)并不具有加工優(yōu)勢。另一方面，對于語義不一致的雙通道刺激，在分配性注意條件下的反應(yīng)時長于在選擇性注意條件下的反應(yīng)時；同時，被試對單通道視覺目標(biāo)的反應(yīng)時最短，其次是語義不一致的雙通道目標(biāo)，單通道聽覺目標(biāo)的反應(yīng)時最長。也就是說，對于語義不一致的雙通道刺激，即使其視覺和聽覺成分同時呈現(xiàn)，仍沒有表現(xiàn)出冗余信號效應(yīng)，表明雙通道刺激的視覺和聽覺成分之間的語義不一致可能會阻礙二者的整合加工。

已有研究發(fā)現(xiàn)，當(dāng)個體選擇性注意于一個感覺通道時，被忽略通道所在皮層的活性會被抑制（Haxby et al., 1994; Kawashima, O’Sullivan, &Roland, 1995; Laurienti et al., 2002; Johnson &Zatorre, 2005, 2006），從而導(dǎo)致在被忽視的皮層中，能夠用于產(chǎn)生多感覺整合的刺激信息減少，因此與同時注意兩個通道相比，選擇性注意于一個通道難以產(chǎn)生視聽整合。同時，有研究者認(rèn)為，大腦在處理信息時，傾向于將內(nèi)容上匹配的刺激當(dāng)作源自于相同資源處理，這樣更有益于腦將其整合成統(tǒng)一的知覺（Su, 2014）。一些以視聽語義知覺作為考察對象的研究結(jié)果與這種視聽語義一致信息的加工優(yōu)勢基本一致。比如，有研究發(fā)現(xiàn)，與視聽不匹配的刺激對相比，當(dāng)被試聽到的聲音與看到的面孔在性別上一致（Vatakis &Spence, 2007），或者當(dāng)被試聽到的詞語與看到的嘴唇運(yùn)動相一致時，雙通道刺激均被優(yōu)先整合（van Wassenhove et al., 2007; Ten Oever et al., 2013）。由此可見，視聽刺激之間的匹配（如語義一致）對于雙通道信息的整合加工有一定的促進(jìn)作用。這就很好地解釋了本研究中只有在同時注意兩個通道（分配性注意）時，語義一致的雙通道刺激才會產(chǎn)生整合。

在正確率方面，實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)被試對視聽語義不一致的雙通道目標(biāo)的反應(yīng)正確率最低，這表明，被試對語義不一致的雙通道目標(biāo)反應(yīng)最為困難。預(yù)測編碼模型（predictive coding model）認(rèn)為，腦會產(chǎn)生對環(huán)境的貝葉斯估計（Friston,2010），因而可能存在對環(huán)境估計的隨機(jī)模型。這些模型基于當(dāng)下個體加工的感覺信息進(jìn)行不斷更新。這些隨機(jī)模型能用來調(diào)整對當(dāng)前感覺輸入的預(yù)測。如果在預(yù)測和實(shí)際感覺輸入之間存在強(qiáng)烈的不匹配，可能會導(dǎo)致內(nèi)部模型更大的更新。從這個角度看，當(dāng)輸入的視聽刺激之間存在不一致甚至沖突的語義聯(lián)結(jié)時，大腦的預(yù)測與實(shí)際輸入之間的較大差別可能導(dǎo)致內(nèi)部模型的較大更新，因此造成對此類信息的加工更為困難（Talsma,2015），表現(xiàn)為對視聽語義不一致信息的反應(yīng)正確率降低。

綜上所述，本研究采用具有語義聯(lián)結(jié)的視聽刺激作為實(shí)驗(yàn)材料，考察了注意對視聽語義整合加工的影響。在發(fā)現(xiàn)只有分配性注意條件下才能產(chǎn)生冗余信號效應(yīng)的同時，針對此效應(yīng)的實(shí)質(zhì)進(jìn)行了競爭模型分析，發(fā)現(xiàn)這種效應(yīng)的確來源于語義一致的視聽刺激之間的整合。而語義不一致的視聽刺激盡管同時呈現(xiàn)，但是并沒有產(chǎn)生整合。這表明，與視聽刺激之間的語義不一致相比，視聽刺激之間的語義一致能夠促進(jìn)其整合加工。但是，注意對視聽語義整合加工的影響是否具有穩(wěn)定性？或者說是否存在其他對二者關(guān)系的調(diào)節(jié)因素？這些調(diào)節(jié)因素又是怎樣對二者關(guān)系產(chǎn)生影響？這些問題均有待于未來研究給出答案。

5 結(jié)論

本實(shí)驗(yàn)條件得出如下結(jié)論：（1）在同時注意視覺和聽覺通道（分配性注意）時，對語義一致的雙通道目標(biāo)加工最快，即產(chǎn)生冗余信號效應(yīng)，并且這種效應(yīng)源自于語義一致的雙通道目標(biāo)中視覺和聽覺成分的整合；選擇性注意于一個感覺通道時沒有產(chǎn)生視聽刺激的整合；（2）無論選擇性注意還是分配性注意條件，語義不一致的雙通道目標(biāo)中的視覺和聽覺成分均沒有產(chǎn)生整合。

劉強(qiáng).(2010). 多感覺整合腦機(jī)制研究 (博士學(xué)位論文). 西南大學(xué).

孫遠(yuǎn)路, 胡中華, 張瑞玲, 尋茫茫, 劉強(qiáng), 張慶林.(2011). 多感覺整合測量范式中存在的影響因素探討. 心理學(xué)報, 43(11), 1239–1246.

Frassinetti, F., Bolognini, N., & Làdavas, E.(2002). Enhancement of visual perception by crossmodal visuo-auditory interaction. Experimental Brain Research, 147, 332–343.

Friston, K.(2010). The free-energy principle: A unified brain theory?.Nature Reviews Neuroscience, 11(2), 127–138.

Haxby, J. V., Horwitz, B., Ungerleider, L. G., Maisog, J. M., Pietrini, P., &Grady, C. L.(1994). The functional organization of human extrastriate cortex: A PET-rCBF study of selective attention to faces and locations.Journal of Neuroscience, 14(11), 6336–6353.

Johnson, J. A., & Zatorre, R. J.(2005). Attention to simultaneous unrelated auditory and visual events: Behavioral and neural correlates. Cerebral Cortex, 15(10), 1609–1620.

Johnson, J. A., & Zatorre, R. J.(2006). Neural substrates for dividing and focusing attention between simultaneous auditory and visual events.NeuroImage, 31(4), 1673–1681.

Kawashima, R., O’Sullivan, B. T., & Roland, P. E.(1995). Positronemission tomography studies of cross-modality inhibition in selective attentional tasks: Closing the “mind’s eye”. Proceedings of the National Academy of Sciences of the United States of America, 92(13),5969–5972.

Koelewijn, T., Bronkhorst, A., & Theeuwes, J.(2010). Attention and the multiple stages of multisensory integration: A review of audiovisual studies. Acta Psychologica, 134(3), 372–384.

Laurienti, P. J., Burdette, J. H., Wallace, M. T., Yen, Y. F., Field, A. S., &Stein, B. E.(2002). Deactivation of sensory-specific cortex by crossmodal stimuli. Journal of Cognitive Neuroscience, 14(3), 420–429.

Laurienti, P. J., Kraft, R. A., Maldjian, J. A., Burdette, J. H., & Wallace, M.T.(2004). Semantic congruence is a critical factor in multisensory behavioral performance. Experimental Brain Research, 158(4),405–414.

Lovelace, C. T., Stein, B. E., & Wallace, M. T.(2003). An irrelevant light enhances auditory detection in humans: A psychophysical analysis of multisensory integration in stimulus detection. Cognitive Brain Research, 17(2), 447–453.

Miller, J.(1982). Divided attention: Evidence for coactivation with redundant signals. Cognitive Psychology, 14(2), 247–279.

Miller, J.(1986). Timecourse of coactivation in bimodal divided attention.Perception & Psychophysics, 40(5), 331–343.

Mittag, M., Alho, K., Takegata, R., Makkonen, T., & Kujala, T.(2013).Audiovisual attention boosts letter-speech sound integration.Psychophysiology, 50(10), 1034–1044.

Raab, D. H.(1962). Statistical facilitation of simple reaction times.Transactions of the New York Academy of Sciences, 24, 574–590.

Su, Y. H.(2014). Content congruency and its interplay with temporal synchrony modulate integration between rhythmic audiovisual streams.Frontiers in Integrative Neuroscience, 8, 92.

Talsma, D.(2015). Predictive coding and multisensory integration: An attentional account of the multisensory mind. Frontiers in Integrative Neuroscience, 9, 19.

Talsma, D., Senkowski, D., Soto-Faraco, S., & Woldorff, M. G.(2010). The multifaceted interplay between attention and multisensory integration.Trends in Cognitive Sciences, 14(9), 400–410.

Talsma, D., & Woldorff, M. G.(2005). Selective attention and multisensory integration: Multiple phases of effects on the evoked brain activity.Journal of Cognitive Neuroscience, 17(7), 1098–1114.

Ten Oever, S., Sack, A. T., Wheat, K. L., Bien, N., & van Atteveldt,N.(2013). Audio-visual onset differences are used to determine syllable identity for ambiguous audio-visual stimulus pairs. Frontiers in Psychology, 4, 331.

van Wassenhove, V., Grant, K. W., & Poeppel, D.(2007). Temporal window of integration in auditory-visual speech perception. Neuropsychologia,45, 598–607.

Vatakis, A., & Spence, C.(2007). Crossmodal binding: Evaluating the “unity assumption” using audiovisual speech stimuli. Perception &Psychophysics, 69(5), 744–756.

The Effect of Attention on Audiovisual Speech Integration

LYU Yong, GU Jiyou
(Academy of Psychology and Behavior, Tianjin Normal University, Key Research Base of Humanities and Social Sciences of the Ministry of Education, Tianjin 300074)

The present research used the square and the triangle as visual stimuli and spoken words as auditory stimuli to investigate the effect of attention on multisensory speech integration. The visual and auditory stimuli were semantically congruent or incongruent.The results from a discrimination task showed that: 1) In the condition of divided attention, participants required less time to react to audiovisual semantic-congruent targets than other types of targets; that is the redundant signal effect; 2) According to the race model,the redundant signal effect in the condition of divided attention originated from the multisensory integration. To conclude, the multisensory integration occurred when the attention was divided between visual and auditory modality only in the semanticcongruent audiovisual stimuli.

attention, multisensory integration, semantic congruence, race model.

B842.1

2016–3–29

天津市高等學(xué)?！靶睦斫】蹬c行為調(diào)控創(chuàng)新團(tuán)隊（39）”。

呂 勇，E-mail: ly6312@163.com。