李畢琴 李 玲 王愛君 張 明

(1江西師范大學心理學院,江西省心理與認知科學重點實驗室,南昌 330022)(2蘇州大學心理學系,心理與行為科學研究中心,蘇州 215123)

1 引言

視野范圍內(nèi)往往存在大量的信息,在有限注意資源下,不同客體之間需要相互競爭才能獲得更多注意資源?；诖碳を?qū)動的注意選擇是解決注意資源競爭的一種偏向競爭機制(Desimone &Duncan,1995;Eimer,2014),同樣地,保存在視覺工作記憶的信息對視場中注意選擇過程存在優(yōu)先性,這種基于工作記憶(Working memory,WM)的優(yōu)先性(注意捕獲)是由于與客體相關(guān)特征的激活,使得特定特征得到主動編碼,從而在眾多客體中凸顯或突現(xiàn)獲得更多注意資源。一些研究相繼證實了WM內(nèi)容對注意的自上而下的捕獲效應(胡艷梅,張明,2016;潘毅,2010;張豹,胡岑樓,黃賽,2016;張豹,黃賽,祁祿,2013;張豹,邵嘉瑩,胡岑樓,黃賽,2015;Greene,Kennedy,&Soto,2015;Hollingworth &Hwang,2013;Olivers,Meijer,&Theeuwes,2006;Soto,Heinke,Humphreys,&Blanco,2005;Soto,Hodsoll,Rotshtein,&Humphreys,2008;Soto &Humphreys,2007)?；赪M內(nèi)容的注意捕獲符合偏向競爭機制,在實驗研究中通常指視場中“凸顯”或“突現(xiàn)”的客體,即與記憶項在朝向、顏色和形狀等單一或多特征維度相似或相同的客體;當該客體是靶刺激時,搜索反應變快,是干擾刺激時,則反應變慢(潘毅,2010;張豹,黃賽,2013;張豹,黃賽,候 秋 霞 ,2014;Gil-Gómez de Lia?o,Potter,&Rodríguez,2014;Olivers et al.,2006;Sasin,Morey,&Nieuwenstein,2017;Soto et al.,2005,2008)。

基于 WM 內(nèi)容的注意捕獲不僅發(fā)生在知覺水平,還可以發(fā)生在語義水平,即與抽象概念字詞匹配的刺激也能捕獲注意(潘毅,2010;Huang &Pashler,2007;Soto &Humphreys,2007)。例如,當你在超市購物的時候,事先在頭腦中想象一下你打算購買商品的樣子(視覺圖像),可以讓你很快找到相應的商品。同樣,提前寫一份購物清單(單詞詞匯)也可以為你節(jié)省搜索商品的時間?，F(xiàn)有研究中,相對視覺WM而言,基于言語WM內(nèi)容的注意捕獲的研究較少(潘毅,2010;Belke,Humphreys,Watson,Meyer,&Telling,2008;Kawashima &Matsumoto,2017;Moores,Laiti,&Chelazzi,2003;Sasin &Nieuwenstein,2016;Soto &Humphreys,2007;Sun,Shen,Shaw,Cant,&Ferber,2015;Telling,Kumar,Meyer,&Humphreys,2010,詳見表 1)。Huang和Pashler (2007)探討了言語工作記憶內(nèi)容在語義水平上對視覺搜索的影響。實驗中要求被試先記住一個單詞(如“原子”),隨后在搜索序列中隨機選一個數(shù)字并記住,結(jié)果發(fā)現(xiàn)與記憶項存在語義相關(guān)的單詞(如“分子”)位置上的數(shù)字更容易被選中,這說明視場中與言語 WM 存在語義匹配的刺激能自動引導視覺注意。同樣,潘毅(2010)采用言語刺激為記憶項,即描述顏色或形狀的字詞(如“紅色”或“圓形”),結(jié)果發(fā)現(xiàn),保存在外顯記憶(工作記憶)或內(nèi)隱記憶的抽象語義信息,都會自動引導注意選擇視場中與之匹配的視覺信息,即工作記憶中抽象語義維度與注意任務特征維度不一致條件下比一致條件反應更慢。Sun等人(2015)的研究也支持了該結(jié)論,實驗要求被試記憶一個色盤(如紅色圓盤)或詞匯(如“玫瑰”),與記憶項匹配的刺激永遠是干擾項。結(jié)果發(fā)現(xiàn),相對于無匹配條件,與記憶項知覺水平或語義水平的匹配刺激均能捕獲注意,且兩者捕獲效應量沒有差異。這說明保存在WM中的顏色或詞匯都能自動引導注意,無論視覺特征存在與否,與WM內(nèi)容在語義水平匹配的信息都可以捕獲注意。

表1 與言語WM內(nèi)容引導注意現(xiàn)象有關(guān)的研究文獻

然而,言語 WM 內(nèi)容在語義水平是否引導注意存在以下問題：(1)言語WM內(nèi)容的注意引導,到底是基于語義水平還是基于視知覺水平尚不明確。目前探討 WM 內(nèi)容對注意語義水平引導作用的文章有兩類：一類是用言語WM作為記憶存儲或線索,其與搜索項之間語義匹配關(guān)系是通過“單詞 vs.客體”實現(xiàn)(見表1);另一類是視覺WM作為記憶存儲,語義匹配關(guān)系是通過“客體vs.客體”實現(xiàn)(Calleja &Rich,2013)。后者對前者提出質(zhì)疑,認為言語WM內(nèi)容的“語義匹配”是基于視知覺水平,即單詞項在記憶存儲過程中是以視覺編碼為主,而非真正的語義水平上對注意的引導作用(Calleja &Rich,2013;Olivers et al.,2006;Sun et al.,2015;Wolfe et al.,2004)。例如,Olivers等(2006)比較了易言語(more verbal)條件(記憶項色塊容易命名,如紅、黃、藍和綠)和易視覺(more visual)條件(記憶項色塊不容易命名,如飽和度不同的幾種紅色)下視覺 WM 內(nèi)容的注意引導。結(jié)果發(fā)現(xiàn),易視覺條件下出現(xiàn)了基于工作記憶的注意捕獲效應,而易言語條件下的注意捕獲效應消失,即與記憶項匹配的干擾項與無匹配條件反應時無顯著差異。研究者認為在易言語條件,被試對記憶的顏色通過命名更方便記憶并區(qū)分,最終言語內(nèi)容不能引導視覺搜索中的視覺干擾項,注意捕獲效應消失。因此,只有視覺編碼的WM內(nèi)容才能夠引導注意,而涉及言語編碼的語義匹配特征不能引導注意。同樣,Wolfe等(2004)采用變化目標的線索化范式,比較了視覺線索和言語線索條件的注意捕獲。結(jié)果發(fā)現(xiàn),視覺線索匹配下,視覺搜索中的目標能被快速捕獲;而言語線索下,則不能。他們認為,當個體記憶言語信息(如“動物”)時,如果被試沒有被明確要求去注意 WM 概念范疇內(nèi)某個內(nèi)容(如“狗”),那么與 WM內(nèi)容存在語義匹配的刺激(如“鳥”)并不能捕獲注意。因此,Calleja和Rich(2013)認為與 WM 內(nèi)容范疇匹配(語義匹配)的刺激能引導注意是基于刺激間的客體相似性,而非語義相關(guān)。實驗通過降低客體相似性,選擇范疇相同但 視覺特征不相同的客體(形狀完全不同的茶杯),結(jié)果發(fā)現(xiàn)范疇匹配的客體并不能引導注意。他們認為客體相似性(即知覺匹配)是WM內(nèi)容引導注意的原因,WM的注意引導依賴于WM內(nèi)容在知覺水平的編碼形式,只有視覺編碼充分匹配的刺激才能夠引導注意。

(2)不能基于相同記憶內(nèi)容檢驗兩種注意引導作用。以往研究對言語WM的注意引導作用的研究都是間接與視覺 WM 相比,例如 Soto,Rotshtein,Hodsoll,Mevorach和Humphreys (2012)的結(jié)果發(fā)現(xiàn),言語和視覺 WM 對注意的引導過程涉及不同的腦區(qū),前者與枕外側(cè)皮層有關(guān),而后者與額上回和顳葉部分腦區(qū)關(guān)系密切。雖然兩種引導過程的神經(jīng)機制存在分離,但是由于兩者的記憶項不同(記憶項分別為色塊和字詞),這一結(jié)論并不能否定 Calleja和 Rich (2013)對兩種引導都是基于視知覺水平的質(zhì)疑。此外,Sun等人(2015)在討論中同樣指出由于記憶項不同,當視覺搜索任務都是基于視覺特征時,被試可能使用基于視覺編碼的任務策略,以避免不必要的轉(zhuǎn)換損耗。因此,被試在記憶言語 WM 時,可能會自動生成圖像,如記“玫瑰”時直接產(chǎn)生心理表象,而不是記單詞。因此,兩種引導過程在神經(jīng)機制的分離可能是引導產(chǎn)生之前的心理表象過程,而不是真正的引導過程。

基于上述對言語 WM 內(nèi)容在語義水平引導注意的質(zhì)疑,本研究將從兩個方面改進實驗研究。首先,實驗 1通過設(shè)置相同記憶項,直接比較語義水平和知覺水平對注意的引導過程。實驗中記憶項始終是漢字,搜索項由漢字和外框組成。當搜索項與記憶項的漢字匹配時,被定義為知覺水平的匹配關(guān)系,而搜索項顏色與記憶項的詞義匹配時是語義水平的匹配(見圖 1)。被試完成記憶任務的同時完成注意搜索任務,注意搜索任務是基于視覺特征的(找開口方向),如果被試傾向于視覺編碼的搜索策略,那么語義匹配將存在引導注意,而知覺匹配不能引導。如果不是,那么知覺匹配和語義匹配都可能引導注意。其次,已有對言語WM的研究都是視覺呈現(xiàn),而沒有研究者使用聽覺呈現(xiàn),實驗 2嘗試探討聽覺呈現(xiàn)的言語WM內(nèi)容對注意的引導作用。Baddeley (2000)的工作記憶模型指出,語音回路是一個由語音短時存儲和默讀復述組成的子模型,以聽覺呈現(xiàn)的言語信息可以直接進入語音短時存儲裝置,而視覺呈現(xiàn)的言語信息則需要通過外部或內(nèi)部發(fā)音裝置的默讀復述才能進入語音短時存儲。在言語產(chǎn)生的過程中,視覺呈現(xiàn)和聽覺呈現(xiàn)的相同信息可以通過不同感覺通道的分析通路來進入語音編碼和加工過程(Baddeley,2003)。既然不同呈現(xiàn)方式在編碼和加工過程存在區(qū)別,那么當聽覺呈現(xiàn)的言語 WM 內(nèi)容直接以語音編碼的形式進入到語音短時存儲時,是否來自不同感覺通道的信息加工將競爭有限注意資源,假如來自聽通道的WM的存儲加工和視覺選擇性注意共享相同注意資源,那么不同呈現(xiàn)方式的WM對注意可能產(chǎn)生相同的影響。與此不同,跨通道選擇性注意研究指出不同感覺通道的信息加工可能存在通道特異性(modality-specific)(Chambers,Stokes,&Mattingley,2004;Santangelo,Fagioli,&Macaluso,2010),即注意資源可以被有效的分為兩個部分,分別完成視覺任務和聽覺任務,對視覺和聽覺事件的加工是平行的、相互獨立的,這就是注意資源的感覺通道特異性(Wickens,2002),這意味著視覺和聽覺注意網(wǎng)絡(luò)在空間上相對分離,不同信息在視覺和聽覺通道可以獨立表征,不同感覺通道的信息編碼和加工存在不同(Donohue,Liotti,Perez,&Woldorff,2012)。通道特異觀點預期有限注意資源的預先分配,視覺搜索任務對注意資源的需求將主動抑制來自不同感覺通道的信息加工。因此,實驗2將考察聽覺呈現(xiàn)下與WM內(nèi)容不同匹配類型的刺激對注意的引導作用。

2 實驗1：視覺呈現(xiàn)的言語工作記憶內(nèi)容的注意捕獲效應

2.1 方法

2.1.1 被試

選取29名在校大學生,其中男生12名,女生17名,年齡在 18～21歲之間(M=19.52,SD=0.87)。被試均為右利手;視力或矯正視力正常,無色覺障礙;母語均為漢語,完成實驗后獲得相應的報酬。

2.1.2 實驗設(shè)備與材料

使用 20英寸彩色液晶顯示器呈現(xiàn)刺激,屏幕分辨率為1024×768像素,刷新頻率為60 Hz。實驗在灰色背景(128/128/128)和微亮的環(huán)境下進行,被試眼睛水平正視屏幕,且距離屏幕中心70 cm。實驗材料包括記憶項和搜索項,記憶項是白色的描述顏色的漢字(1.03°×1.03°),搜索項由漢字(0.99°×0.99°)和蘭道環(huán)(1.20°×1.20°,開口寬 0.5°,線條粗0.09°)組成,每個搜索項距離屏幕中央至少 1°,且搜索項之間距離最少1° (Woodman &Luck,2007)。漢字從《現(xiàn)代漢語常用字表》中選取四組字詞,選取的標準是每組字的字形基本相似(選用相同偏旁或字結(jié)構(gòu)),從而保證與記憶項匹配的字不是從整體結(jié)構(gòu)上就可以快速被區(qū)分。最終,實驗中漢字包括“紅” (“糾”和“纖”)、“綠” (“線”和“組”)、“黃” (“曹”和“莫”)、“藍” (“蓋”和“著”)。

2.1.3 實驗設(shè)計

實驗采用單因素四水平的被試內(nèi)設(shè)計。自變量為分心物與記憶項是否匹配(匹配類型：控制條件、知覺匹配、語義匹配和知覺語義匹配條件)?？刂茥l件是指記憶項與搜索項均不同;知覺匹配條件下記憶項漢字與部分搜索項(即分心物)的漢字相同,如白色“紅”字;語義匹配條件下記憶項詞義顏色與分心物的顏色匹配;知覺語義匹配條件下記憶項與分心物漢字及顏色均匹配,如紅色“紅”字。因變量為搜索目標的反應時、搜索目標和記憶項目的正確率。

2.1.4 實驗程序

首先,屏幕中央呈現(xiàn) 500 ms的“+”作為注視點。空屏1500 ms后,屏幕出現(xiàn)記憶項(如“紅”字)。記憶項呈現(xiàn)500 ms后空屏500 ms,隨后出現(xiàn)持續(xù)時間為3000 ms的搜索屏。搜索屏由6個搜索項組成,其中 5個搜索項方框開口朝左或朝右,只有 1個搜索項方框開口向上或向下,即搜索目標,被試任務是快速找到目標并判斷其開口方向(向上按“K”鍵,向下按“M”鍵),搜索屏中 6個搜索項分布在屏幕對角線位置。空屏500 ms后出現(xiàn)記憶探測項,要求被試判斷探測項與記憶項是否一致(一致按“1”鍵,不一致按“2”鍵)。實驗中有一半試次的探測項與記憶項相同。每個被試實驗之前均被告知“記憶項目絕對不同于搜索目標”。實驗程序如圖 1所示。

匹配條件下有3個搜索項(即分心物)與記憶項匹配,實驗過程中將明確告訴被試分心物絕對不可能成為搜索目標,要求被試在保證記憶正確的情況下,同時又快又好的完成搜索任務。被試先練習16個試次,練習合格后進入正式實驗,正式實驗包括192個試次,四種條件各48個試次。正式實驗分為4個區(qū)組,被試完成一個區(qū)組后休息2 min,整個實驗完成大約需要45 min。

2.2 結(jié)果與分析

對被試正確率進行單因素重復測量方差分析,結(jié)果發(fā)現(xiàn),搜索正確率和記憶正確率在匹配條件上主效應不顯著;F(3,84)=1.95,p >0.05;F(3,84) =1.19,p >0.05。選取記憶探測判斷正確和搜索任務均反應正確的試次,并剔除反應時在正負3個標準差之外的試次,分析發(fā)現(xiàn),匹配條件主效應顯著,F(3,84)=3.93,p <0.05,η=0.12。由于本研究更關(guān)注不同匹配條件下的注意捕獲效應,進一步將3種匹配條件與控制條件的反應時分別進行配對樣本 t檢驗。結(jié)果顯示,知覺匹配條件(1268 ms)、語義匹配條件(1279 ms)和知覺語義匹配條件(1287 ms)的反應時均顯著大于被試在控制條件下的反應時(1220 ms);t(28)=2.81,p=0.008 <0.01,d=0.43;t(28)=2.60,p=0.015 <0.05,d=0.37;t(28)=2.77,p=0.010 <0.05,d=0.43。而知覺匹配條件、語義匹配條件和知覺語義匹配條件之間不存在顯著差異(p >0.05),詳見圖2。

圖1 實驗1的實驗流程圖

圖2 實驗1搜索任務和記憶任務的反應時和正確率

為了進一步揭示基于 WM 內(nèi)容的注意捕獲效應的時程特點,用反應時累積分布(Cumulative RT distributions)的方法分別求出每個十分位點上不同匹配條件下的平均反應時(見圖 3)。如果知覺匹配和語義匹配刺激可以迅速地進入信息加工過程,那么在信息加工的早期階段,這種基于 WM 內(nèi)容的匹配刺激就可以迅速引導注意,干擾相關(guān)任務的完成,即在反應時前 10%的試次上,控制條件與匹配條件之間會存在顯著性差異。對第一個十分位點的反應時數(shù)據(jù)進行秩和檢驗。結(jié)果發(fā)現(xiàn),控制條件的平均搜索反應時(585 ms)顯著地小于知覺匹配條件(615 ms,Z=-4.59,p <0.01)、語義匹配條件(610 ms,Z=-3.76,p <0.01)以及知覺語義匹配條件(619 ms,Z=-5.35,p <0.01);而知覺匹配條件、語義匹配條件、知覺語義匹配條件三者的反應時不存在顯著性差異,即知覺匹配條件下搜索反應時與語義匹配條件(Z=-0.70,p >0.05)、知覺語義匹配條件(Z =-0.86,p >0.05)之間沒有差異,語義匹配條件與知覺語義匹配條件間也不存在顯著性差異(Z=-1.55,p >0.05)。

2.3 討論

實驗1中記憶項是描述顏色的漢字,即既有知覺屬性也有語義屬性,控制條件以外的匹配條件中記憶項永遠和搜索屏中干擾項匹配,指導語同樣告知被試“記憶項目絕對不同于搜索目標”。結(jié)果發(fā)現(xiàn)在明知與記憶項匹配的干擾項不可能成為靶子的前提下,被試仍會被動注意該干擾項。與控制條件相比,知覺匹配條件的反應更慢,這與注意偏向競爭機制相符(Desimone &Duncan,1995),表明與視覺呈現(xiàn)的言語 WM 內(nèi)容在知覺水平上匹配的刺激能夠自動地捕獲注意。其次,語義匹配條件的反應也比控制條件慢,說明語義匹配的刺激也能夠自動捕獲注意。這與Soto等(2007)結(jié)論一致,支持了基于言語 WM 內(nèi)容的注意捕獲可以發(fā)生在語義水平的結(jié)論。更重要的是實驗在基于相同言語WM內(nèi)容下,證實知覺水平和語義水平的匹配刺激都可以捕獲注意,說明不同水平的注意引導機制可能不同,視覺編碼的優(yōu)先策略并不能解釋語義水平的引導作用是由于視覺編碼引起。最后,知覺語義匹配條件的反應時比控制條件更長,而與知覺匹配條件、語義匹配條件之間并沒有差異,說明知覺和語義兩種匹配同時存在的情況下,注意捕獲的效應量在知覺和語義水平并不能疊加,知覺水平和語義水平的注意引導可以分離,但并不是完全獨立,兩者之間可能存在相互影響。

圖3 實驗1不同匹配類型中搜索反應時的累計概率分布圖

此外,實驗還采用反應時分布的方法計算快速反應試次的捕獲效應,結(jié)果發(fā)現(xiàn),在最小的反應時等級(第一個十分位點)上,控制條件的反應顯著快于另外三種匹配條件,說明與言語 WM 內(nèi)容在知覺和語義水平匹配的刺激,即使在快速完成靶子搜索的過程中也捕獲了注意。這結(jié)果與Soto等(2005)和張豹等(2016)的研究結(jié)論是一致的,支持了信息加工的早期階段,這種基于 WM 內(nèi)容的匹配刺激可以迅速引導注意。實驗1證實了與視覺呈現(xiàn)的言語 WM 在語義水平匹配的刺激可以捕獲注意,但言語 WM 既包括視覺呈現(xiàn)的言語信息,也包括聽覺呈現(xiàn)的言語信息,且從感覺通道輸入來看,后者直接進入語音短時存儲,可以理解為更純粹的言語WM。實驗2將考察聽覺呈現(xiàn)的WM內(nèi)容的捕獲注意效應。

3 實驗2：聽覺呈現(xiàn)的言語WM內(nèi)容的注意捕獲效應

3.1 方法

3.1.1 被試

選取29名在校大學生,其中男生11名,女生18名,年齡在 18～21歲之間(M=19.31,SD=0.81)。被試均為右利手;視力或矯正視力正常,無色覺障礙;母語均為漢語,完成試驗后獲得相應的報酬。

3.1.2 實驗設(shè)備與材料

除了記憶材料換成聽覺呈現(xiàn)(“紅”、“黃”、“藍”、“綠”),音頻信息使用Golden Wave軟件處理。音頻文件采樣大小為16位,44 kHz,雙聲道音頻,音強約為65 dB,持續(xù)時間為500 ms。

3.1.3 實驗設(shè)計與程序

實驗采用單因素四水平的被試內(nèi)設(shè)計。具體實驗條件和實驗程序除了記憶項和探測項是聽覺呈現(xiàn)外,其他與實驗1完全相同。

3.2 結(jié)果與分析

對被試的正確率進行單因素重復測量方差分析發(fā)現(xiàn),搜索正確率(F(3,84)=0.630,p >0.05)和記憶正確率(F(3,84)=1.17,p >0.05)的匹配條件主效應不顯著。選取記憶探測判斷正確和搜索任務均反應正確的試次,并剔除反應時在正負3個標準差之外的試次,結(jié)果發(fā)現(xiàn),在搜索反應時上,匹配條件的主效應顯著,F(3,84)=4.27,p <0.01,η=0.13。進一步將3種匹配條件與控制條件的反應時分別進行配對樣本t檢驗,控制條件(1239 ms)下的搜索反應時顯著地大于語義匹配條件(1193 ms),

t(28)=2.07,p=0.048 <0.05,d=0.38;控制條件同樣顯著大于知覺語義匹配條件(1190 ms),t(28) =2.52,p=0.018 <0.05,d=0.47,而控制條件與知覺匹配條件之間不存在顯著性差異,t(28)=-0.15,p =0.882 >0.05,d=0.03。知覺匹配條件(1241 ms)下的搜索反應時顯著地大于語義匹配條件,t(28)=2.52,p=0.018 <0.05,d=0.47;知覺匹配條件同樣顯著大于知覺語義匹配條件,t(28)=2.56,p=0.016 <0.05,d=0.48;詳見圖4。

圖4 實驗 2搜索任務和記憶任務的反應時和正確率(M±SD)

與實驗1相同,對第一個十分位點的反應時數(shù)據(jù)進的秩和檢驗,結(jié)果發(fā)現(xiàn),控制條件的平均搜索反應時(547 ms)顯著地小于語義匹配條件(576 ms,Z=-4.08,p <0.01),而與知覺匹配條件(552 ms,Z=-0.49,p >0.05)以及知覺語義匹配條件(541 ms,Z=-1.18,p >0.05)之間沒有差異。而且,知覺匹配條件、語義匹配條件、知覺語義匹配條件三者的反應時也存在顯著性差異,語義匹配條件下的搜索反應時顯著高于知覺匹配條件(Z=-3.58,p <0.01)和知覺語義匹配條件(Z=-5.0,p <0.01)之間,知覺匹配條件與知覺語義匹配條件之間不存在顯著性差異(Z=-1.59,p >0.05),詳見圖5。

3.3 討論

實驗2結(jié)果發(fā)現(xiàn),控制條件下的搜索反應時與知覺匹配無差異,兩者均顯著大于語義匹配和知覺語義匹配條件,在語義水平出現(xiàn)了基于言語 WM內(nèi)容的抑制現(xiàn)象,也就是說當個體知道言語 WM內(nèi)容與當前任務無關(guān)時,被試會主動地采用策略來抑制與WM存在語義相關(guān)的刺激。此外,控制條件和知覺匹配條件無差異,語義匹配和知覺語義匹配也無差異,這可能是因為由于感覺通道特異性造成。由于實驗是雙任務范式,被試要求在保證記憶正確的情況下又快又好地完成視覺搜索任務,此時搜索任務是基于視覺通道且相對更難的任務,被試需要消耗更多的注意資源來完成。任務要求將使得被試事先分配更多的注意資源完成視覺搜索任務,且分配在聽覺通道的維持記憶的注意資源并不能在視覺任務共用。因此,基于聽覺通道的言語WM內(nèi)容記憶在不同匹配條件下均不能捕獲注意。然而,與言語 WM 內(nèi)容的在語義水平匹配的刺激不但沒有捕獲注意,反而被成功抑制。那么語義匹配條件下注意抑制是怎么產(chǎn)生的？是一開始就被直接抑制,還是先捕獲注意再被主動抑制呢？我們對反應時前10%試次的分析結(jié)果回答了該問題。結(jié)果發(fā)現(xiàn),控制條件的反應時顯著小于語義匹配條件,而與知覺匹配條件、知覺語義匹配條件之間沒有差異,這說明在視覺搜索快速反應的早期階段仍存在語義匹配刺激的注意捕獲現(xiàn)象。但語義匹配在早期可以捕獲注意,而知覺匹配卻不能捕獲注意,這似乎與以往知覺水平上的注意捕獲更穩(wěn)定的觀點相違背,但結(jié)合Kim,Kim和Chun (2005)的理論這個結(jié)果也是可以解釋的。他們認為記憶刺激類型與搜索刺激類型必須是“同類”時,記憶對注意的影響才能發(fā)生,即 WM 負荷對注意的干擾作用表現(xiàn)為相同領(lǐng)域的記憶任務對注意任務產(chǎn)生影響,而不同領(lǐng)域的不會產(chǎn)生影響。由此可見,如果實驗2中搜索任務也是聽覺呈現(xiàn),那么知覺匹配條件在早期也可能捕獲注意,否則就不能捕獲注意。與知覺匹配條件不同,由于語義匹配條件下記憶項與搜索刺激是具有相同抽象概念意義的,比如概念水平和語義范疇(與長時記憶有關(guān))。這種在語義水平產(chǎn)生的匹配關(guān)系比知覺水平的更穩(wěn)定,不易受感覺通道發(fā)音裝置的影響。例如,Baddeley和Larsen (2007)指出言語WM進一步編碼為視覺或語義信息,語音回路的存儲形式中語義編碼與情節(jié)緩沖器有關(guān),他們發(fā)現(xiàn)使用無關(guān)言語或發(fā)音抑制來占用聽覺感覺通道的資源,可以影響依賴于語音編碼的記憶項(即非詞音節(jié)),但不影響依賴于語義編碼的記憶項(即字詞)。

圖5 實驗2不同匹配類型中搜索反應時的累計概率分布圖

4 總討論

本研究采用工作記憶-視覺搜索雙任務范式,通過兩個實驗來探討言語 WM 內(nèi)容的語義匹配刺激的注意捕獲效應。結(jié)果表明與控制條件相比,在視覺呈現(xiàn)的言語WM內(nèi)容中,與WM語義匹配的刺激能夠自動地優(yōu)先捕獲注意;在聽覺呈現(xiàn)的言語WM內(nèi)容中,與WM語義匹配的刺激不能捕獲注意,反而被主動抑制。注意偏向競爭機制可以解釋視覺場景中與 WM 內(nèi)容知覺水平匹配的刺激自動捕獲注意的現(xiàn)象,這種匹配不僅發(fā)生在外顯的知覺表征,如顏色、形狀和朝向等,還可以發(fā)生在更高水平的語義表征,如抽象概念、語義范疇等。與以往研究不同,本研究中記憶項是漢字,搜索項由漢字和外框組成,當記憶項與搜索項中漢字一致時,這種是知覺水平的匹配,而與搜索項顏色匹配時,則是語義水平的匹配。被試并不知道試次中匹配的是語義水平還是知覺水平,不太可能使用視知覺編碼優(yōu)先的策略,結(jié)果發(fā)現(xiàn)知覺和語義匹配條件都捕獲了注意。此外,實驗中被試被明確告知記憶項絕對不會是搜索目標,但與記憶匹配的刺激仍將引導注意,這與以往的研究結(jié)果相一致(Soto et al.,2005,2008;Soto,Humphreys,&Heinke,2006;張明,王愛君,2012),即與視覺呈現(xiàn)的言語 WM 內(nèi)容在知覺和語義水平上匹配的刺激均能自動捕獲注意。

實驗1中視覺呈現(xiàn)的言語WM內(nèi)容在知覺水平和語義水平可同時引導注意,這與Baddeley (2000)WM模型中不同子系統(tǒng)理論相符,特別是情節(jié)緩沖器的提出證實多通道表征的存在。即雖然言語WM的存儲加工主要以語音編碼為主,但部分字詞內(nèi)容仍能被重新編碼(re-coding)為視覺代碼或語義代碼。這種重新編碼是基于一定語義關(guān)聯(lián)產(chǎn)生的,與知覺信息的語義分析和分類處理的腦區(qū)有關(guān),包括左額下回、左枕顳葉皮質(zhì)和 BA37,同時這些腦區(qū)也與文字和圖片之間的語義關(guān)聯(lián)有關(guān)系(Soto,Mannan,Malhotra,Rzeskiewica,&Humphreys,2011;Soto,et al.,2012)。從實驗1結(jié)果來看,言語WM在語義水平對注意的引導與視覺代碼有關(guān),但這種注意引導并不是基于Calleja和Rich (2013)所說的視知覺特征水平的注意引導。Baddeley和 Larsen(2007)認為言語 WM 可以編碼為視覺或語義信息,語音回路中的基于語義水平的重新編碼可能與情節(jié)緩沖器的參與有關(guān)。情節(jié)緩沖器被認為是多通道表征的存儲模式,多通道表征包含不同形式的代碼,可整合來自不同感覺通道和記憶系統(tǒng)的信息(Baddeley,2000)。有研究表明言語工作記憶中記憶項的具體性和更長呈現(xiàn)時間有助于情節(jié)緩沖器的充分介入,使記憶項獲得更豐富和更獨特的多通道表征(Campoy,Castellà,Provencio,Hitch,&Baddeley,2015)。實驗 1中記憶項在呈現(xiàn)時間和具體性上都有助于多通道表征存儲模式的構(gòu)建,因此知覺和語義水平對注意引導同時存在是可以解釋的。

實驗2結(jié)果與實驗1不完全相同,出現(xiàn)了注意抑制效應。這可能有兩個原因：一方面,根據(jù)WM對注意的引導作用存在認知控制的觀點(胡艷梅,張明,2016;張豹,黃賽,2013),客體WM對注意的導向作用是靈活可控的;與客體 WM 內(nèi)容匹配的刺激并不總能捕獲注意(Woodman &Luck,2007)?；?WM 內(nèi)容的匹配信息在視覺搜索的早期階段確實能夠捕獲注意,但隨后由于視覺搜索過程中認知控制因素(對任務無關(guān)刺激的抑制機制)的影響,從而抑制了早期的注意捕獲效應,這與張豹等人(2013)眼動研究的結(jié)論一致。因此,在視覺搜索過程中,既可能存在 WM 內(nèi)容匹配刺激的自動的注意捕獲效應,同時也可能存在著認知控制等注意抑制機制,二者之間是此消彼長的關(guān)系。在注意搜索的早期階段,抑制機制并不是不存在,只是力量比較薄弱,而隨著注意搜索的加工進程的推移,被保持在言語 WM 中,由于它與當前搜索任務完全無關(guān),因而沒有捕獲注意的必要。這種控制機制符合注意選擇的原則——選擇與當前任務相關(guān)的刺激,拒絕與當前任務無關(guān)的刺激。實際上,對當前任務而言,如果言語WM內(nèi)容只是某種干擾信息,那么被試終將抑制與 WM內(nèi)容匹配的刺激。另一方面,在視覺呈現(xiàn)下,記憶刺激與搜索刺激屬于同一感覺通道,而聽覺呈現(xiàn)下,二者屬于不同感覺通道(跨通道)。Crottaz-Herbette,Anagnoson 和 Menon (2004)比較了視覺呈現(xiàn)的言語 WM (vis-VWM)和聽覺呈現(xiàn)的言語WM (audi-VWM)的通道特異性。結(jié)果發(fā)現(xiàn),被試在完成視聽呈現(xiàn)的言語 WM 的 2-back任務過程中,兩者存在共同腦區(qū)的激活,但也有特異性腦區(qū),視覺呈現(xiàn)的言語WM的存儲加工與左側(cè)后頂內(nèi)溝(intrapariettal sulcus)的激活有關(guān),而聽覺呈現(xiàn)言語WM則與左側(cè)背外側(cè)前額葉(left dorsolateral prefrontal cortex)有關(guān)。此外還發(fā)現(xiàn),視覺呈現(xiàn)的言語 WM 會誘發(fā)顳上回和顳中回的抑制,聽覺呈現(xiàn)的VWM會誘發(fā)枕葉皮層的抑制,即出現(xiàn)了跨通道的抑制效應。因此,當言語WM內(nèi)容以聽覺方式呈現(xiàn),而搜索任務以視覺方式呈現(xiàn)時,視覺搜索在加工視覺信息時可能會抑制言語WM內(nèi)容。注意偏向競爭機制可以很好地解釋相同感覺通道的注意偏向和競爭,而跨通道的注意捕獲效應及其內(nèi)部機制還需要進一步研究探討。

此外,對實驗2在第一個十分位點的反應時分析發(fā)現(xiàn),控制條件的反應時顯著小于語義匹配條件,由此說明視覺注意早期出現(xiàn)了語義匹配刺激的注意捕獲。關(guān)于WM內(nèi)容的注意捕獲效應是發(fā)生在早期階段還是晚期階段,這個問題體現(xiàn)了注意捕獲效應的時程特點。以往研究通過眼動指標上的首次注視點、注視時間或者腦電上的早期成分來探討注意捕獲的發(fā)生階段(張豹等,2013,2016;Soto,et al.,2005,2006)。Soto等人(2005)將不同實驗條件下的搜索反應時按照分布規(guī)律分成兩半,即前50%的反應時和后 50%的反應時,結(jié)果發(fā)現(xiàn)快速反應(最短反應時)試次中出現(xiàn)了注意捕獲效應,他們認為自上而下的注意捕獲效應能夠發(fā)生在注意搜索的早期階段。同樣,Carlisle和Woodman (2011)、胡艷梅、張明、徐展和李畢琴(2013)采用反應時分布方法將反應時按照大小順序排序,通過對第一個十分位點的分析探討 WM 內(nèi)容匹配刺激是否能夠快速介入注意搜索過程的加工,如果當搜索序列中匹配刺激能被快速識別并捕獲注意,那么整體反應將變慢;反之亦然。實驗1和實驗2同樣采用反應時分布的方法,檢驗早期階段注意捕獲現(xiàn)象的假設(shè),結(jié)果支持了Soto等(2005)和張豹等(2016)的研究結(jié)論。即早期階段存在 WM 內(nèi)容的注意捕獲效應,不僅發(fā)生在視覺WM內(nèi)容,也發(fā)生在視覺呈現(xiàn)的言語WM內(nèi)容,更重要的是,不管是知覺水平還是語義水平都存在早期階段的注意捕獲。但值得注意的是,聽覺呈現(xiàn)的言語 WM 在語義水平匹配的刺激不受感覺通道的影響,仍能捕獲注意。這說明言語WM內(nèi)容對注意的引導過程并不完全是基于知覺水平產(chǎn)生的,WM內(nèi)容對注意在知覺水平和語義水平的注意引導過程在快速反應階段是可以被分離的。

5 結(jié)論

視覺呈現(xiàn)的言語 WM 內(nèi)容在知覺水平和語義水平匹配的刺激均能夠捕獲注意,且在視覺搜索快速反應的階段也能捕獲注意。

由于跨通道之間選擇性注意的抑制作用,聽覺呈現(xiàn)的言語 WM 內(nèi)容不能夠捕獲注意,但語義匹配的注意捕獲效應可以發(fā)生在視覺搜索快速反應的階段。

Baddeley,A.D.(2000).The episodic buffer: A new component of working memory? Trends in Cognitive Sciences,4(11),417–423.

Baddeley,A.D.(2003).Working memory and language: An overview.Journal of Communication Disorders,36,189–208.

Baddeley,A.D.,&Larsen,J.D.(2007).The phonological loop: Some answers and some questions.The Quarterly Journal of Experimental Psychology,60(4),512–518.

Belke,E.,Humphreys,G.W.,Watson,D.G.,Meyer,A.S.,&Telling,A.L.(2008).Top-down effects of semantic knowledge in visual search are modulated by cognitive but not perceptual load.Perception &Psychophysics,70(8),1444–1458.

Calleja,M.O.,&Rich,A.N.(2013).Guidance of attention by information held in working memory.Attention,Perception,&Psychophysics,75(4),687–699.

Campoy,G.,Castellà,J.,Provencio,V.,Hitch,G.J.,&Baddeley,A.D.(2015).Automatic semantic encoding in verbal short-term memory: Evidence from the concreteness effect.The Quarterly Journal of Experimental Psychology,68(4),759–778.

Carlisle,N.B.,&Woodman,G.F.(2011).Automatic and strategic effects in the guidance of attention by working memory representations.Acta Psychologica,137(2),217–225.

Chambers,C.D.,Stokes,M.G.,&Mattingley,J.B.(2004).Modality-specific control of strategic spatial attention in parietal cortex.Neuron,44(6),925–930.

Crottaz-Herbette,S.,Anagnoson,R.T.,&Menon,V.(2004).Modality effects in verbal working memory: Differential prefrontal and parietal responses to auditory and visual stimuli.NeuroImage,21(1),340–351.

Desimone,R.,&Duncan,J.(1995).Neural mechanisms of selective visual attention.Annual Review of Neuroscience,18(1),193–222.

Donohue,S.E.,Liotti,M.,Perez,R.,III.,&Woldorff,M.G.(2012).Is conflict monitoring supramodal? Spatiotemporal dynamics of cognitive control processes in an auditory Stroop task.Cognitive,Affective,&Behavioral Neuroscience,12(1),1–15.

Eimer,M.(2014).The neural basis of attentional control in visual search.Trends in Cognitive Science,18(10),526–535.

Gil-Gómez de Lia?o,B.,Potter,M.C.,&Rodríguez,C.(2014).Working memory effects in speeded RSVP tasks.Psychological Research,78,124–135.

Greene,C.M.,Kennedy,K.,&Soto,D.(2015).Dynamic states in working memory modulate guidance of visual attention: Evidence from an n-back paradigm.Visual Cognition,23(5),546–560.

Hollingworth,A.,&Hwang,S.(2013).The relationship between visual working memory and attention: Retention of precise colour information in the absence of effects on perceptual selection.Philosophical Transactions of the Royal Society B: Biological Sciences,368(1628),20130061.

Hu,Y.M.,&Zhang,M.(2016).Electrophysiological evidence for memory-based attentional capture and memory-based attentional rejection effects.Acta Psychologica Sinica,48(1),12-21.

[胡艷梅,張明.(2016).基于記憶的注意捕獲和注意抑制效應: ERP證據(jù).心理學報,48(1),12–21.]

Hu,Y.M.,Zhang,M.,Xu,Z.,&Li,B.Q.(2013).Guidance of working memory on attention: The effects of inhibition incentive.Acta Psychologica Sinica,45(2),127-138.

[胡艷梅,張明,徐展,李畢琴.(2013).客體工作記憶對注意的導向作用: 抑制動機的影響.心理學報,45(2),127–138.]

Huang,L.Q.,&Pashler,H.(2007).Working memory and the guidance of visual attention: Consonance-driven orienting.Psychonomic Bulletin &Review,14(1),148–153.

Kawashima,T.,&Matsumoto,E.,(2017).Cognitive control of attentional guidance by visual and verbal working memory representations.Japanese Psychological Research,59(1),49–57.

Kim,S.Y.,Kim,M.S.,&Chun,M.M.(2005).Concurrent working memory load can reduce distraction.Proceedings of the National Academy of Sciences of the United States of America,102(45),16524–16529.

Moores,E.,Laiti,L.,&Chelazzi,L.(2003).Associative knowledge controls deployment of visual selective attention.Nature Neuroscience,6,182–189.

Olivers,C.N.,Meijer,F.,&Theeuwes,J.(2006).Feature-based memory-driven attentional capture: Visual working memory content affects visual attention.Journal of Experimental Psychology: Human Perception and Performance,32(5),1243–1265.

Pan,Y.(2010).Effects of verbal memory on visual selection:Dimension-based automatic guidance of attention.Acta Psychologica Sinica,42(12),1118–1127.

[潘毅.(2010).言語記憶對視覺選擇的影響: 基于維度的自動注意引導.心理學報,42(12),1118–1127.]

Santangelo,V.,Fagioli,S.,&Macaluso,E.(2010).The costs of monitoring simultaneously two sensory modalities decrease when dividing attention in space.NeuroImage,49,2717–2727.

Sasin,E.,Morey,C.C.,&Nieuwenstein,M.(2017) Forget Me if You Can: Attentional capture by to-Be-remembered and to-Be-forgotten visual stimuli.Psychonomic Bulletin &Review,24,1643–1650.

Sasin,E.,&Nieuwenstein,M.(2016).Memory-driven attentional capture reveals the waxing and waning of working memory activation due to dual-task interference.Psychonomic Bulletin &Review,23,1891–1897.

Soto,D.,Heinke,D.,Humphreys,G.W.,&Blanco,M.J.(2005).Early,involuntary top-down guidance of attention from working memory.Journal of Experimental Psychology:Human Perception and Performance,31(2),248–261.

Soto,D.,Hodsoll,J.,Rotshtein,P.,&Humphreys,G.W.(2008).Automatic guidance of attention from working memory.Trends in Cognitive Sciences,12(9),342–348.

Soto,D.,&Humphreys,G.W.(2007).Automatic guidance of visual attention from verbal working memory.Journal of Experimental Psychology: Human Perception &Performance,33(3),730–737.

Soto,D.,Humphreys,G.W.,&Heinke,D.(2006).Working memory can guide pop-out search.Vision Research,46(6-7),1010–1018.

Soto,D.,Mannan,S.K.,Malhotra,P.,Rzeskiewica,A.,&Humphreys,G.W.(2011).Distinguishing non-spatial from spatial biases in visual selection: Neuropsychological evidence.Acta Psychologica,137,226–234.

Soto,D.,Rotshtein,P.,Hodsoll,J.,Mevorach,C.,&Humphreys,G.W.(2012).Common and distinct neural regions for the guidance of selection by visuoverbal information held in memory: Converging evidence from fMRI and rTMS.Human Brain Mapping,33(1),105–120.

Sun,S.Z.,Shen,J.,Shaw,M.,Cant,J.S.,&Ferber,S.(2015).Automatic capture of attention by conceptually generated working memory templates.Attention,Perception,&Psychophysics,77(6),1841–1847.

Telling,A.L.,Kumar,S.,Meyer,A.S.,&Humphreys,G.W.(2010).Electrophysiological evidence of semantic interference in visual search.Journal of Cognitive Neuroscience,22(10),2212–2225.

Wickens,C.D.(2002).Multiple resources and performance prediction.Theoretical Issues in Ergonomics Science,3,159–177.

Wolfe,J.M.,Horowitz,T.S.,Kenner,N.,Hyle,M.,&Vasan,N.(2004).How fast can you change your mind? The speed of top–down guidance in visual search.Vision Research,44(12),1411–1426.

Woodman,G.F.,&Luck,S.J.(2007).Do the contents of visual working memory automatically influence attentional selection during visual search? Journal of Experimental Psychology: Human Perception and Performance,33(2),363–377.

Zhang,B.,Hu,C.L.,&Huang,S.(2016).What do eye movements reveal about the role of cognitive control in attention guidance from working memory representation.Acta Psychologica Sinica,48(9),1105-1118.

[張豹,胡岑樓,黃賽.(2016).認知控制在工作記憶表征引導注意中的作用: 來自眼動的證據(jù).心理學報,48(9),1105–1118.]

Zhang,B.,&Huang,S.(2013).Mechanisms underlying the attentional guidance form working memory representations.Advances in Psychological Science,21(9),1578-1584.

[張豹,黃賽.(2013).工作記憶表征對視覺注意的引導機制.心理科學進展,21(9),1578–1584.]

Zhang,B.,Huang,S.,&Hou,Q.X.(2014).The priority of color in working-memory-driven ocular capture.Acta Psychologica Sinica,46(1),17-26.

[張豹,黃賽,候秋霞.(2014).工作記憶表征捕獲眼動中的顏色優(yōu)先性.心理學報,46(1),17–26.]

Zhang,B.,Huang,S.,&Qi,L.(2013).Working memory representation does guide visual attention: Evidence from eye movements.Acta Psychologica Sinica,45(2),139-148.

[張豹,黃賽,祁祿.(2013).工作記憶表征引導視覺注意選擇的眼動研究.心理學報,45(2),139–148.]

Zhang,B.,Shao,J.Y.,Hu,C.L.,&Huang,S.(2015).Attentional guidance from activated and inhibitory states of working memory representations.Acta Psychologica Sinica,47(9),1089-1100.

[張豹,邵嘉瑩,胡岑樓,黃賽.(2015).工作記憶表征的激活與抑制狀態(tài)對注意引導效應的影響.心理學報,47(9),1089–1100.]

Zhang,M.,&Wang,A.J.(2012).Working memory content-based attentional capture and suppression in the visual search.Advances in Psychological Science,20(12),1899-1907.

[張明,王愛君.(2012).視覺搜索中基于工作記憶內(nèi)容的注意捕獲與抑制.心理科學進展,20(12),1899–1907.]