張清芳 錢宗愉 朱雪冰

漢語口語詞匯產(chǎn)生中的多重音韻激活：單詞翻譯任務(wù)的ERP研究

張清芳錢宗愉朱雪冰

(中國人民大學(xué)心理學(xué)系, 北京 100872) (上海外國語大學(xué), 上海 201620)

口語詞匯產(chǎn)生過程中, 非目標(biāo)詞是否會產(chǎn)生音韻激活是獨立兩階段模型和交互激活模型的爭論焦點之一。研究運用事件相關(guān)電位技術(shù), 考察了被試在翻譯命名任務(wù)中是否受到背景圖片音韻或語義干擾詞的影響。行為反應(yīng)時中未發(fā)現(xiàn)顯著的音韻效應(yīng), 而語義效應(yīng)顯著, 表明非目標(biāo)詞不會產(chǎn)生音韻激活。事件相關(guān)電位的結(jié)果顯示在目標(biāo)單詞呈現(xiàn)后的400~600 ms時間窗口中出現(xiàn)了顯著的語義效應(yīng), 在600~700 ms時間窗口內(nèi)出現(xiàn)了邊緣顯著的語義效應(yīng)和音韻效應(yīng), 均表現(xiàn)為相關(guān)條件比無關(guān)條件波幅更正。上述結(jié)果表明在將英語翻譯成漢語的過程中, 盡管在腦電上呈現(xiàn)出可能存在微弱的多重音韻激活, 但行為結(jié)果并不會顯示出非目標(biāo)項的音韻激活。研究結(jié)果支持了漢語口語詞匯產(chǎn)生遵循獨立兩階段模式的觀點。

口語詞匯產(chǎn)生, 多重音韻激活, 獨立兩階段模型, 交互激活模型

1 前言

口語產(chǎn)生是人們通過語音形式表達(dá)思想的過程, 包括了概念化、形式化以及發(fā)音運動三個階段。在概念化階段, 講話者明確想要表達(dá)的概念; 形式化階段包括了詞條選擇, 音韻編碼以及語音編碼。最后, 通過聲帶運動將發(fā)音目標(biāo)以聲音的形式輸出(Levelt et al., 1999; Roelofs, 1997)。研究者對于形式化階段中詞條選擇和音韻編碼之間的關(guān)系存在爭論。詞條選擇是詞匯的激活和選擇, 詞匯信息包括了單詞的意義和語法特征, 音韻編碼是將詞匯轉(zhuǎn)化為以音素或以音節(jié)為單元進(jìn)行組織的順序, 這兩個過程形成了口語詞匯產(chǎn)生中的詞匯通達(dá)過程, 對兩個過程之間的關(guān)系存在截然不同的兩類觀點(Dell, 1986, 1988; Levelt et al., 1999)。

交互激活模型認(rèn)為在口語詞匯產(chǎn)生中, 詞條選擇和音韻編碼兩個過程之間存在交互作用, 激活在各個表征水平之間的擴散是雙向的, 因此該模型預(yù)測存在目標(biāo)項的語義激活和音韻激活, 而且非目標(biāo)項也能產(chǎn)生音韻上的激活, 講話者最終選擇音韻激活程度最高的進(jìn)行發(fā)音(Dell, 1986)。而獨立兩階段理論認(rèn)為這兩個過程之間無交互作用, 信息的激活在語義和音韻表征之間的聯(lián)結(jié)是單向的, 不存在從音韻表征到語義表征之間的激活反饋。對于目標(biāo)詞匯的選擇發(fā)生在詞匯選擇階段, 選擇之后僅僅針對目標(biāo)詞產(chǎn)生音韻激活并進(jìn)行發(fā)音, 非目標(biāo)項不會產(chǎn)生音韻激活(Levelt et al., 1999)。本研究關(guān)注的問題是在漢語口語詞匯產(chǎn)生過程中, 非目標(biāo)項是否會產(chǎn)生音韻上的激活。

1.1 印歐語系口語詞匯產(chǎn)生中的多重音韻激活

已有研究表明印歐語系(例如英語、荷蘭語、德語、西班牙語等)口語詞匯產(chǎn)生過程中存在多重音韻激活(Jescheniak & Schriefers, 1998; Kuipers & La Heij, 2009; Navarrete & Costa, 2005; Peterson & Savoy, 1998)。研究者采用圖畫?詞匯干擾范式(picture-word interference paradigm, PWI)、圖?圖干擾范式(picture-picture interference paradigm, PPI)等, 設(shè)置與目標(biāo)詞的語義相關(guān)詞存在音韻聯(lián)系的單詞作為干擾詞條件, 考察與無關(guān)條件相比是否會延長目標(biāo)詞的產(chǎn)生時間, 來探測是否存在多重音韻激活。在這兩類任務(wù)中, 目標(biāo)任務(wù)均為圖畫命名, 唯一不同的是干擾項, PWI中為詞語, 而PPI中為圖畫。

在PWI中, 為了探測到非目標(biāo)項的音韻激活, 研究者所采取的圖畫一般都有兩個名稱, 比如英語中的“sofa”和“couch”為同一幅圖畫的名稱, 這是為了最大程度地增加非目標(biāo)項的語義激活, 研究者認(rèn)為語義激活程度高, 其激活才更有可能擴散到音韻層面被探測到。采用PWI, Jescheniak和Schriefers (1998)在德語的研究中用聽覺范式呈現(xiàn)干擾詞, 發(fā)現(xiàn)在圖畫命名中非目標(biāo)項的音韻干擾詞顯著地延長了圖畫命名的時間。為了確保圖畫的兩個名稱都被激活, Peterson和Savoy (1998)采用非同時呈現(xiàn)的PWI, 要求被試在圖畫命名任務(wù)和詞匯命名任務(wù)間進(jìn)行切換, 實驗中設(shè)置了兩個音韻相關(guān)詞, 分別為“count”和“soda”, 結(jié)果發(fā)現(xiàn)被試在圖片呈現(xiàn)后命名單詞“count”和“soda”時潛伏期都得到了縮短, 表明與圖畫存在語義相關(guān)的名稱“sofa”也產(chǎn)生了音韻激活。Kurtz等 (2018)進(jìn)一步強化被試對正確目標(biāo)詞的學(xué)習(xí), 即加強詞條選擇階段目標(biāo)詞條的競爭優(yōu)勢后, 在圖畫命名任務(wù)中探測到同義詞的音韻激活。

研究者也采用PPI范式探測多重音韻激活。在PPI中, 一般呈現(xiàn)兩幅線條顏色不同的圖片, 兩個圖片名稱存在音韻相關(guān), 要求被試對其中一種顏色的圖片進(jìn)行命名。Madebach等(2011)操控了空間上分離的兩張圖片的可視度, 發(fā)現(xiàn)命名不容易辨別的圖片時, 不能探測到非目標(biāo)圖片的音韻激活, 這是由于加工非目標(biāo)圖片的認(rèn)知資源較少, 其語義激活較低, 因此也不能探測到其音韻激活。Oppermann等(2014)操控了目標(biāo)圖片與非目標(biāo)圖片外形的相似程度, 發(fā)現(xiàn)給被試呈現(xiàn)兩張外形相似的圖片時(如“雨傘”和“棕櫚樹”), 探測到了非目標(biāo)圖片的音韻激活。研究者認(rèn)為因為視覺上容易混淆, 被試對于目標(biāo)和非目標(biāo)圖片都分配了注意, 使得非目標(biāo)圖片的激活增強, 因而發(fā)現(xiàn)了非目標(biāo)圖片的音韻激活。Roelofs (2008)分析了被試命名圖畫時的眼動指標(biāo)——凝視轉(zhuǎn)移潛伏期(gaze shift latency), 當(dāng)非目標(biāo)圖片與目標(biāo)圖片音韻相關(guān)時, 縮短了命名潛伏期和凝視轉(zhuǎn)移潛伏期, 說明被試激活了非目標(biāo)圖片的音韻信息。上述研究表明注意資源的分配會影響對非目標(biāo)圖片的音韻激活。

研究者認(rèn)為采用雙語任務(wù)來考察非目標(biāo)項的音韻激活更具有優(yōu)勢, 雙語者的第一與第二語言可以共享語義特征, 從而可以使得非目標(biāo)項的語義信息激活程度更高(Costa et al., 2000)。Costa等的研究中要求卡特蘭語?西班牙語(Catalan-Spanish)雙語者和西班牙語單語者用西班牙語對同源詞和非同源詞進(jìn)行命名, 同源詞指不同語言中語義相同, 字形與音韻相似的詞對。結(jié)果發(fā)現(xiàn)雙語者在進(jìn)行同源詞條件的反應(yīng)時顯著小于非同源詞條件, 而單語者在同源與非同源詞條件無差異。這表明在雙語者的口語詞匯產(chǎn)生過程中, 非目標(biāo)項產(chǎn)生了音韻激活：在同源詞條件下, 如命名目標(biāo)項為西班牙語“gato”, 其非目標(biāo)語言卡特蘭語中的“gat”也同時激活相應(yīng)的音韻信息, 從而對目標(biāo)項的音韻信息(/g/, /a/, /t/)的提取產(chǎn)生促進(jìn)作用, 而非同源詞條件中的非目標(biāo)項與目標(biāo)詞沒有任何共享的音素, 因此未觀察到啟動作用, 表明雙語者可以對非目標(biāo)項的音韻信息進(jìn)行加工。Boukadi等(2015)在突尼斯阿拉伯語?法語雙語者中發(fā)現(xiàn)了相似的結(jié)果。

研究者采用單詞翻譯任務(wù)和單詞聯(lián)想任務(wù)來考察多重音韻激活, 同時避免了PPI范式中同時呈現(xiàn)兩張圖片所帶來的注意分配問題。采用單詞翻譯任務(wù)時, 實驗中呈現(xiàn)目標(biāo)詞和干擾詞(或干擾圖), 要求被試忽略干擾詞(干擾圖)對目標(biāo)詞進(jìn)行翻譯。目標(biāo)詞與干擾詞(或干擾圖的名稱)之間為音韻相關(guān)和音韻無關(guān)。在荷蘭語?英語雙語情境下, 研究者未發(fā)現(xiàn)背景圖片的音韻激活(Bloem & La Heij, 2003; Bloem et al., 2004)。但是, Navarrete和Costa (2009)在西班牙語?卡特蘭語雙語語境下, 采用相同的實驗設(shè)計和任務(wù), 結(jié)果發(fā)現(xiàn)音韻相關(guān)的背景圖片會加快翻譯潛伏期, 即背景圖片的音韻得到激活。降低音韻相關(guān)比例后背景圖片的音韻關(guān)系不再影響被試單詞翻譯潛伏期, 但音韻無關(guān)條件較音韻相關(guān)條件被試的錯誤率顯著增加。因此考察背景圖片音韻能否激活采用單詞翻譯任務(wù)的印歐語系研究在反應(yīng)時和錯誤率指標(biāo)上探測到了非目標(biāo)項的音韻激活。Humphreys等(2010)采用詞匯聯(lián)想任務(wù), 呈現(xiàn)給被試一個英文單詞, 在其下方呈現(xiàn)干擾圖片, 要求被試進(jìn)行單詞聯(lián)想任務(wù), 根據(jù)所呈現(xiàn)單詞說出第一個聯(lián)想到的單詞, 結(jié)果發(fā)現(xiàn)與無關(guān)條件相比, 干擾圖片與目標(biāo)詞音韻相關(guān)條件顯著縮短了單詞產(chǎn)生的潛伏期, 表明英語口語詞匯產(chǎn)生中非目標(biāo)圖片產(chǎn)生了音韻激活。

綜上, 印歐語系的大量研究都探測到了非目標(biāo)項的音韻激活, 探測到這一激活的條件是要保證非目標(biāo)圖片產(chǎn)生較強的概念和語義水平上的激活。

1.2 漢語口語詞匯產(chǎn)生中的多重音韻激活

漢語口語詞匯產(chǎn)生中是否存在多重音韻激活, 研究者得到的結(jié)果并不一致。莊捷和周曉林(2003)采用PWI任務(wù)發(fā)現(xiàn)語義中介的音韻相關(guān)條件(如目標(biāo)圖片為“牛”, 干擾字為與目標(biāo)字語義相關(guān)“羊”的同音字“陽”)與控制條件之間在反應(yīng)時上的差異邊緣顯著。研究中也采用與Peterson和Savoy (1998)類似的圖畫命名和漢字命名切換任務(wù), 結(jié)果發(fā)現(xiàn)語義中介音韻相關(guān)條件顯著縮短了被試對漢字命名的潛伏期。莊捷和周曉林(2003)因此認(rèn)為漢語口語詞匯產(chǎn)生中存在非目標(biāo)項的音韻激活。張清芳和楊玉芳(2006)采用PWI任務(wù)卻未發(fā)現(xiàn)語義中介的音韻相關(guān)干擾字對圖畫命名潛伏期產(chǎn)生顯著影響, 但發(fā)現(xiàn)了與目標(biāo)名稱存在字形相關(guān)的干擾詞產(chǎn)生了音韻激活, 表明非目標(biāo)項產(chǎn)生了音韻激活。

然而, 近期的行為研究都未發(fā)現(xiàn)漢語口語詞匯產(chǎn)生中非目標(biāo)項的音韻激活。Zhang和Zhu (2016)考慮到采用PWI任務(wù)在漢語中很難找到同一幅圖片對應(yīng)兩個名稱的情況, 以及PPI任務(wù)中圖片注意分配的問題, 采用了單詞翻譯任務(wù)和詞匯聯(lián)想任務(wù)均未發(fā)現(xiàn)漢語口語詞匯產(chǎn)生過程中背景圖片的多重音韻激活。Zhang等(2018)為提高非目標(biāo)項的語義激活水平, 采用語義組塊范式, 設(shè)置了語義同質(zhì)組, 即在同一組塊中出現(xiàn)的所有圖片均屬于相同的語義范疇, 使詞條選擇階段目標(biāo)詞與非目標(biāo)詞競爭加劇, 更易出現(xiàn)多重音韻激活。為了探測到非目標(biāo)項的音韻激活, Zhang等結(jié)合了PWI任務(wù), 研究結(jié)果顯示語義組塊的設(shè)置提高了非目標(biāo)項的語義激活水平, 但僅在英語圖畫命名中發(fā)現(xiàn)了非目標(biāo)項的音韻激活, 漢語中卻沒有。

上述研究均采用行為反應(yīng)時作為指標(biāo), 事件相關(guān)電位(event-related potentials, ERP)技術(shù)具有高時間分辨率的特點, 可以即時地反映認(rèn)知加工過程中的變化, 是更為敏感的測量指標(biāo)。目前已有研究采用事件相關(guān)電位技術(shù)考察自然發(fā)音命名過程中詞匯產(chǎn)生的具體時間進(jìn)程(Costa et al., 2009; Dell’ Acqua et al., 2010; Python et al., 2018; Zhu et al., 2015; 詳見綜述Ganushchak et al., 2011)。這些研究主要考察了口語詞匯產(chǎn)生中語義和音韻激活的時間進(jìn)程, 對于多重音韻激活的探索較少。僅有的一項ERP研究來自Jescheniak等(2003), 研究者采用延遲圖畫命名任務(wù)在德語中考察了非目標(biāo)項(目標(biāo)詞語義相關(guān)詞)是否會產(chǎn)生音韻激活, 結(jié)果并未探測到。這可能是由于延遲圖畫命名任務(wù)不是一個自然的口語詞匯產(chǎn)生過程, 非目標(biāo)項的音韻激活本身就比較微弱, 影響了其激活強度。

目前尚未有研究采用ERP技術(shù)考察漢語口語詞匯產(chǎn)生過程中的多重音韻激活。我們選擇了單詞翻譯任務(wù), 給被試呈現(xiàn)一個英文單詞和一幅圖片, 要求被試將英文單詞翻譯成漢語。在實驗設(shè)置上, 圖和詞二者容易分離, 避免了PPI范式所帶來的注意混淆或注意不足的問題。單詞翻譯過程包括詞匯識別、(雙語)概念激活、詞條選擇、音韻編碼、語音編碼及發(fā)音執(zhí)行等過程。同時已有研究發(fā)現(xiàn)當(dāng)非目標(biāo)項以視覺形式呈現(xiàn)時更容易探測到音韻激活(Oppermann et al., 2008), 因此采用視覺呈現(xiàn)的單詞翻譯任務(wù)有利于探測到非目標(biāo)項的多重音韻激活。研究者發(fā)現(xiàn)設(shè)置與目標(biāo)詞存在語義關(guān)系的圖片會縮短單詞翻譯的潛伏期, 表現(xiàn)出語義促進(jìn)效應(yīng)。這一效應(yīng)是由于雙語者的兩類語言共享概念節(jié)點所產(chǎn)生的(Bloem & La Heij, 2003; Bloem et al., 2004; La Heij et al., 1996; Navarrete & Costa, 2009; Rahman & Melinger, 2009; Rahman & Melinger, 2019)。荷蘭語?英語雙語者中, Bloem和La Heiji (2003)在單詞翻譯任務(wù)中設(shè)置了兩類線索, 分別為線索圖和線索詞, 被試的任務(wù)是把所呈現(xiàn)的英語單詞翻譯成荷蘭語(母語), 結(jié)果發(fā)現(xiàn)在線索圖片的條件下, 出現(xiàn)了語義促進(jìn)效應(yīng), 而在線索詞條件下, 出現(xiàn)了語義抑制效應(yīng)。這是因為線索圖在概念水平上的激活促進(jìn)了目標(biāo)詞的翻譯過程, 而線索詞的加工是直接通達(dá)詞條, 導(dǎo)致詞匯水平上的競爭, 線索詞的呈現(xiàn)對目標(biāo)詞的翻譯產(chǎn)生了抑制效應(yīng), 表明單詞翻譯任務(wù)下的語義促進(jìn)效應(yīng)發(fā)生在概念水平(同見Navarrete & Costa, 2009), 而語義抑制效應(yīng)發(fā)生在詞匯水平(Roelofs, 1992; Starreveld & La Heiji, 1996)。

本實驗主要目的是考察漢語口語詞匯產(chǎn)生中非目標(biāo)項是否產(chǎn)生音韻激活, 在單詞翻譯任務(wù)中我們變化了英文單詞對應(yīng)的中文翻譯詞與圖片名稱之間的關(guān)系, 包括了語義相關(guān)和無關(guān), 以及音韻相關(guān)和無關(guān)。設(shè)置語義相關(guān)和無關(guān)干擾圖片的目的是為了重復(fù)已有的研究結(jié)果, 驗證被試是否注意到背景圖片并進(jìn)行加工, 以保證實驗設(shè)置的有效性。根據(jù)已有的行為研究結(jié)果(Zhang & Zhu, 2016), 我們預(yù)期會出現(xiàn)翻譯潛伏期上的語義促進(jìn)效應(yīng); 若存在多重音韻激活現(xiàn)象, 音韻相關(guān)條件會促進(jìn)漢語對譯詞的產(chǎn)出, 反應(yīng)時變短, ERP指標(biāo)上也存在差異。

2 方法

2.1 被試

32名來自北京地區(qū)高校的學(xué)生參與了本次實驗(13名男生, 19名女生, 年齡19~26歲, 平均年齡22.94歲, 標(biāo)準(zhǔn)差1.85歲)。所有被試均為北方人, 普通話標(biāo)準(zhǔn), 英語水平較高(英語六級成績均高于550分), 視力或矯正視力正常, 實驗后獲得一定報酬。

2.2 材料

43幅黑白線條圖片選自張清芳和楊玉芳(2003)所建立的漢語標(biāo)準(zhǔn)圖庫, 其中40幅用于正式實驗, 3幅為練習(xí)圖片, 圖片名稱均為雙音節(jié)詞。86個英文單詞選自CELEX數(shù)據(jù)庫, 其中40個英文單詞的漢語對譯詞與圖片名稱之間存在音韻相關(guān)(首字音節(jié)相同但聲調(diào)不同)。例如, 圖片名稱為“飛機(/fei1ji1/)”, 英文單詞為“soap”, 英文單詞的漢語對譯詞為“肥皂(/fei2zao4/)”。音韻相關(guān)條件打亂后重新匹配形成音韻無關(guān)條件。另外40個英文單詞漢語對譯詞與圖片名稱之間存在語義相關(guān)(二者具有語義聯(lián)系, 屬于相同語義范疇)。例如圖片名稱為“飛機(/fei1ji1/)”, 英文單詞為“rocket”, 英文單詞的漢語對譯詞為“火箭(/huo3jian4/)”, 二者均屬于航天運輸工具, 且不存在音韻或正字法上的關(guān)聯(lián)。語義相關(guān)條件打亂后重新匹配形成語義無關(guān)條件。其余6個英文單詞與3幅練習(xí)圖片按照相同規(guī)則配對形成12對練習(xí)材料。實驗材料的相關(guān)屬性見表1。

表1 實驗材料相關(guān)屬性

注：英文單詞平均log詞頻查自Neighborhood Watch program, Davis, 2005, 漢語對譯詞平均log詞頻查自《現(xiàn)代漢語通用詞表》(2003)。

2.3 設(shè)計

實驗為2(相關(guān)類型：音韻、語義) × 2(相關(guān)性：相關(guān)、無關(guān))的兩因素完全重復(fù)測量設(shè)計, 兩個自變量均為被試內(nèi)因素。每組包括12個練習(xí)試次和160個實驗試次。為了得到足夠多的疊加次數(shù), 每組重復(fù)2次, 兩組之間有休息。刺激呈現(xiàn)的順序是偽隨機的：相同漢語目標(biāo)詞不會在連續(xù)5個試次中重復(fù)出現(xiàn), 且聲母相同的漢語目標(biāo)詞不連續(xù)出現(xiàn)。

2.4 儀器

實驗程序由E-Prime 1.1編制, PST-SRBOX反應(yīng)盒, 麥克風(fēng)和計算機。被試的反應(yīng)通過PST- SRBOX連接的麥克風(fēng)記錄。實驗材料的呈現(xiàn)、計時和被試反應(yīng)時間均由計算機完成。主試記錄被試反應(yīng)的正確與否。

2.5 程序

被試距離電腦屏幕約60 cm完成實驗任務(wù)。實驗共分為三個階段：(1)學(xué)習(xí)階段：被試學(xué)習(xí)英文單詞正確的漢語對譯詞和圖畫正確名稱。(2)測試階段：被試經(jīng)過測試, 需要達(dá)到可以正確而迅速地翻譯單詞和命名圖畫。(3)正式實驗階段：首先屏幕正中間呈現(xiàn)注視點“+” 500 ms, 然后空屏500 ms, 接著屏幕中央同時呈現(xiàn)一個英文單詞和一幅圖片。圖片經(jīng)過標(biāo)準(zhǔn)化形成大小為6 cm × 6 cm的圖片, 英文單詞字體為Arial, 28號字體, 呈現(xiàn)在圖片中央的位置。被試的任務(wù)是忽略圖片, 盡可能正確而迅速地對英文單詞進(jìn)行翻譯, 被試做出反應(yīng)時, 刺激消失。主試對被試的反應(yīng)進(jìn)行正誤判斷, 1500 ms的間隔后進(jìn)入下一試次。如果被試5000 ms內(nèi)不做反應(yīng), 刺激自動消失, 主試按鍵后進(jìn)入下一試次。實驗持續(xù)時間約為40分鐘。

2.6 EEG記錄與分析

使用Neuroscan公司生產(chǎn)的64導(dǎo)腦電記錄系統(tǒng), 銀、氯化銀電極以國際通用的10-20方式固定于電極帽上。左側(cè)乳突為參考電極, 額頭中央連接接地電極。位于左眼上下眼眶正中間的電極記錄垂直眼電(VEOG), 位于左右眼角兩側(cè)外1 cm處的電極記錄水平眼電(HEOG)。每個電極與頭皮之間的阻抗小于5 kΩ。連續(xù)記錄時濾波帶通為0.05~70 Hz, 采樣率為500 Hz。

采用EEGLAB軟件對EEG數(shù)據(jù)進(jìn)行離線分析, 選擇雙側(cè)乳突電極進(jìn)行重參考。通過EEGLAB軟件進(jìn)行眼電偽跡矯正, 濾波帶通為0.1~30 Hz, 按照刺激呈現(xiàn)前200 ms和呈現(xiàn)后1000 ms的時間段對腦電進(jìn)行分段, 前200 ms作為基線進(jìn)行校正, 刪除眼電、肌電、漂移等偽跡, 刪除波幅超過±100 μV的試次, 僅對被試正確反應(yīng)試次的EEG數(shù)據(jù)進(jìn)行平均疊加。

選取腦區(qū)(前、中、后)和半球(左、中、右) 9個興趣區(qū)進(jìn)行分析, 其中每個外側(cè)興趣區(qū)的波幅均為鄰近的3個電極平均值：左前(F3, F5, FC3), 中前(Fz), 右前(F4, F6, FC4), 左中(C3, C5, CP3), 中中(Cz), 右中(C4, C6, CP4), 左后(P3, P5, PO3), 中后(Pz), 右后(P4, P6, PO4)。以各時間窗口的平均波幅為因變量, 進(jìn)行2(相關(guān)類型：音韻、語義) × 2(相關(guān)性：相關(guān)、無關(guān)) × 3(腦區(qū)：前、中、后) × 3(半球：左、中、右)的重復(fù)測量方差分析。當(dāng)重復(fù)測量方差分析中球形性假設(shè)不成立時, 采用Greenhouse-Geisser校正, 并采用R軟件中的fdrtool安裝包對多重比較中的值進(jìn)行校正。

3 結(jié)果

32名被試中刪除了5名EEG信號偽跡過多的被試數(shù)據(jù), 共分析了27名被試的數(shù)據(jù)。每名被試每種條件下有效疊加試次均超過40次。

3.1 行為結(jié)果

刪除錯誤反應(yīng)的數(shù)據(jù)1.24% (4種條件下錯誤率分別為：音韻相關(guān)1.30%, 音韻無關(guān)1.34%, 語義相關(guān)0.93%, 語義無關(guān)1.39%), 刪除反應(yīng)時小于200 ms和大于2000 ms的數(shù)據(jù)1.02%, 刪除平均值三個標(biāo)準(zhǔn)差以外的數(shù)據(jù)1.33%。

為同時考慮被試和實驗材料所產(chǎn)生的隨機效應(yīng), 我們使用R軟件中的lme4程序包, 對反應(yīng)時數(shù)據(jù)進(jìn)行混合線性模型擬合分析(Baayen et al., 2008)。模型擬合主要包括三個步驟: 首先, 指定一個只包含隨機因素(被試和項目)的零模型; 第二, 通過添加固定因子來豐富零模型。在已有模型的基礎(chǔ)上, 逐步增加兩個自變量及其交互作用(相關(guān)類型; 相關(guān)性; 二者交互作用)。第三, 使用卡方檢驗將新建立的模型與之前的模型進(jìn)行比較。若在已有模型中加入固定因子或兩個因素的交互作用對方差估計的改善不顯著, 則當(dāng)前模型是最佳擬合模型。

反應(yīng)時分析結(jié)果顯示, 在相關(guān)類型和相關(guān)性進(jìn)入模型的基礎(chǔ)上加入二者交互作用, 可以顯著改變模型擬合程度, χ(1)= 13.07,< 0.001。最終確定的最優(yōu)擬合模型[RT~(相關(guān)類型+相關(guān)性)^2 + (1|被試) + (1|項目)]中包含了變量相關(guān)類型和相關(guān)性, 以及兩者的交互作用。相關(guān)類型的主效應(yīng)顯著(β = 19.07,= 3.47,< 0.001), 相關(guān)類型和相關(guān)性的交互作用顯著(β = 28.17,= 3.62,< 0.001), 相關(guān)性主效應(yīng)不顯著(β = 3.49,= 0.64,= 0.525)。進(jìn)一步比較發(fā)現(xiàn), 相關(guān)類型為音韻條件下, 相關(guān)與無關(guān)條件之間不存在顯著差異(917 ? 921= ?4 ms, β = 3.23,= 0.62,= 0.534), 相關(guān)類型為語義條件下, 相關(guān)與無關(guān)條件之間存在顯著差異(935 ? 967= ?32 ms, β = 31.75,= 5.70,< 0.001), 結(jié)果見圖1。

圖1 不同條件下單詞翻譯潛伏期

注：圖中誤差棒為95% CI

為排除重復(fù)次數(shù)對我們所關(guān)注音韻和語義效應(yīng)產(chǎn)生潛在的影響, 我們從只包含隨機因子(被試和項目)的零模型起步, 逐步增加固定因子(相關(guān)類型; 相關(guān)性; 重復(fù)次數(shù); 二重和三重交互作用)。在三個自變量和二重交互作用進(jìn)入模型的基礎(chǔ)上加入三重交互作用, 可以顯著改變模型擬合程度, χ(1) = 6.79,= 0.009。最終確定的最優(yōu)擬合模型[RT~(相關(guān)類型+相關(guān)性+重復(fù)次數(shù))^3 + (1|被試) + (1|項目)]包括了相關(guān)類型、相關(guān)性、重復(fù)次數(shù)、相關(guān)類型和相關(guān)性的交互作用、相關(guān)類型和重復(fù)次數(shù)的交互作用、相關(guān)性和重復(fù)次數(shù)的交互作用和三個變量之間的交互作用(統(tǒng)計結(jié)果見表2)。針對顯著的三重交互作用, 進(jìn)一步比較發(fā)現(xiàn)：當(dāng)相關(guān)類型為音韻條件下, 第一次呈現(xiàn)相關(guān)與無關(guān)條件之間的單詞翻譯潛伏期不存在顯著差異(β = ?1.14,= ?0.15,= 0.884), 第二次呈現(xiàn)相關(guān)與無關(guān)條件之間的單詞翻譯潛伏期不存在顯著差異(β = 8.29,= 1.32,= 0.189); 當(dāng)相關(guān)類型為語義條件下, 第一次呈現(xiàn)單詞翻譯潛伏期相關(guān)與無關(guān)條件之間存在顯著差異(β = 47.02,= 5.49,< 0.001), 第二次呈現(xiàn)相關(guān)與無關(guān)條件之間的單詞翻譯潛伏期存在顯著差異(β = 16.06,= 2.46,= 0.014)。由此可見, 重復(fù)次數(shù)不影響是否存在音韻效應(yīng)或語義效應(yīng)。

針對不顯著的音韻效應(yīng), 進(jìn)一步使用JASP軟件(https://jasp-stats.org/, JASP Team 2017) (JASP Team, 2017; Marsman & Wagenmakers, 2017; Wagenmakers et al., 2018)進(jìn)行貝葉斯配對樣本檢驗, 以計算對零假設(shè)的支持程度。根據(jù)Jeffreys (1961)提出的貝葉斯因子分類標(biāo)準(zhǔn)認(rèn)為BF的值位于3~10之間則表明存在實質(zhì)性證據(jù)支持零假設(shè)。本研究中統(tǒng)計結(jié)果顯示BF= 3.54, 表示零假設(shè)(假定不存在音韻效應(yīng)的)成立的可能性是備擇假設(shè)(假定存在音韻效應(yīng)的)成立可能性的3.54倍, 存在實質(zhì)性證據(jù)支持零假設(shè), 表明背景圖片與目標(biāo)詞音韻相關(guān)或無關(guān)對翻譯潛伏期的影響不存在差異。

表2 以單詞翻譯潛伏期為因變量的混合線性模型的固定效應(yīng)(考慮重復(fù)次數(shù)時)

由于錯誤率過低, 未對錯誤率做進(jìn)一步分析。

3.2 ERP結(jié)果

剔除反應(yīng)錯誤和反應(yīng)時小于500 ms或大于2000 ms的試次, 以及反應(yīng)時在三個標(biāo)準(zhǔn)差以外的試次。由于口語產(chǎn)生涉及肺、喉、聲帶等肌肉和發(fā)音器協(xié)同運動, 發(fā)音所產(chǎn)生的運動偽跡會影響靠近發(fā)音的EEG信號(Ouyang et al., 2016), 我們選定ERP波幅分析的截止時間為刺激呈現(xiàn)后的700 ms, 以100 ms為間隔分別分析刺激呈現(xiàn)后0~700 ms內(nèi)的ERP波幅, 共確定7個時間窗口。對每個時間窗口的平均波幅進(jìn)行2(相關(guān)類型：音韻、語義) × 2(相關(guān)性：相關(guān)、無關(guān)) × 3(腦區(qū)：前、中、后) × 3(半球：左、中、右)的重復(fù)測量方差分析, 結(jié)果如下：

在0~100 ms時間窗口內(nèi), 相關(guān)類型、相關(guān)性和腦區(qū)三者交互作用顯著(2, 52) = 4.67,= 0.033, η2 p = 0.152; 相關(guān)類型、相關(guān)性和半球三者交互作用顯著(2, 52) = 3.29,= 0.045, η2 p = 0.112。在100~200 ms時間窗口內(nèi), 相關(guān)類型主效應(yīng)邊緣顯著,(1, 26) = 3.60,= 0.069, η2 p = 0.122; 相關(guān)類型和相關(guān)性交互作用邊緣顯著,(1, 26) = 3.65,= 0.067, η2 p = 0.123; 相關(guān)類型和半球交互作用顯著,(2, 52) = 9.29,< 0.001, η2 p = 0.263。在200~300 ms時間窗口內(nèi), 相關(guān)類型主效應(yīng)顯著,(1, 26) = 6.82,= 0.015, η2 p = 0.208; 相關(guān)類型和半球交互作用顯著,(2, 52) = 7.00,= 0.004, η2 p = 0.212。在300~400 ms時間窗口內(nèi), 相關(guān)性主效應(yīng)邊緣顯著,(1, 26) = 2.97,= 0.097, η2 p = 0.103; 相關(guān)類型和半球的交互作用邊緣顯著,(2, 52) = 3.11,= 0.066, η2 p = 0.107。在400~500 ms時間窗口內(nèi), 相關(guān)性主效應(yīng)顯著,(1, 26) = 11.62,= 0.002, η2 p = 0.309; 相關(guān)類型和相關(guān)性交互作用邊緣顯著,(1, 26) = 3.02,= 0.094, η2 p = 0.104。在500~600 ms時間窗口內(nèi), 相關(guān)性主效應(yīng)顯著,(1, 26) = 9.94,= 0.004, η2 p = 0.277; 相關(guān)類型和相關(guān)性交互作用顯著,(1, 26) = 6.75,= 0.015, η2 p = 0.206; 相關(guān)性和半球交互作用顯著(2, 52) = 3.22,= 0.048, η2 p = 0.110; 相關(guān)類型、相關(guān)性和腦區(qū)三者交互作用邊緣顯著,(2, 52) = 3.31,= 0.070, η2 p = 0.113。在600~700 ms時間窗口內(nèi), 相關(guān)性主效應(yīng)顯著,(1, 26) = 6.26,= 0.019, η2 p = 0.194。

根據(jù)存在的交互作用, 在7個時間窗口中分別做簡單效應(yīng)分析, 計算各個興趣區(qū)內(nèi)的音韻效應(yīng)和語義效應(yīng), 結(jié)果顯示在400~600 ms時間窗口內(nèi)出現(xiàn)顯著的語義效應(yīng), 600~700 ms時間窗口內(nèi)出現(xiàn)邊緣顯著的音韻效應(yīng)和語義效應(yīng)(見表3)。針對各個時間窗口內(nèi)顯著和邊緣顯著的音韻效應(yīng)和語義效應(yīng), 進(jìn)一步使用JASP軟件進(jìn)行貝葉斯配對樣本檢驗, 計算對備擇假設(shè)的支持程度(見表4)。結(jié)果顯示, 處于邊緣顯著水平的音韻效應(yīng)對應(yīng)的BF最小值為中中區(qū)域的2.01, 最大值為右中區(qū)的3.27, 表明存在比較可靠的證據(jù)支持了音韻效應(yīng)在右中區(qū)的存在。處于顯著和邊緣顯著水平的語義效應(yīng)對應(yīng)的BF值最小為左前區(qū)域的0.93, 最大為500~600 ms時間窗口內(nèi)中中區(qū)域的50.25, 多個區(qū)域包括左中、左后、中前、中中以及右中區(qū)域的BF值在400~600 ms時間窗口內(nèi)都大于10, 表明有強證據(jù)支持了語義效應(yīng)的存在(Jeffreys, 1961, P.432)。上述結(jié)果表明, 盡管在神經(jīng)層面上在某個特定興趣區(qū)保留了多重音韻激活, 但在行為結(jié)果上不足以產(chǎn)生多重音韻激活的效應(yīng), 相比而言, 語義效應(yīng)的腦電激活模式分布范圍廣且效應(yīng)強, 在行為結(jié)果上也表現(xiàn)為顯著的促進(jìn)效應(yīng)。

圖2所示分別為語義相關(guān)和語義無關(guān)條件, 音韻相關(guān)和音韻無關(guān)條件在三個興趣區(qū)內(nèi)的ERP波形, 以及語義效應(yīng)、音韻效應(yīng)差異波(相關(guān)?無關(guān)) 地形分布圖。圖3所示為400~600 ms時間窗口下各個興趣區(qū)達(dá)到顯著水平的語義效應(yīng)。

表3 400~700 ms時間窗口內(nèi)不同興趣區(qū)的音韻效應(yīng)和語義效應(yīng)

注：< 0.01,< 0.05, 0.05 << 0.10, —不顯著, 雙側(cè)檢驗,值經(jīng)FDR校正。

表4 400~700 ms時間窗口內(nèi)不同興趣區(qū)音韻效應(yīng)和語義效應(yīng)的BF10值

圖2 語義效應(yīng)和音韻效應(yīng)的ERP波形和差異波地形圖

注：藍(lán)色陰影部分為< 0.05, 灰色陰影部分為0.05 << 0.1,值經(jīng)FDR校正

圖3 400~600 ms時間窗口下不同興趣區(qū)語義效應(yīng)的平均波幅

注：圖中誤差棒均為95% CI,值經(jīng)FDR校正

3.3 反應(yīng)時和ERP波幅的相關(guān)

顯著的語義效應(yīng)出現(xiàn)在目標(biāo)刺激呈現(xiàn)后的400~600 ms時間窗口, 因此我們對這一時間窗口內(nèi)顯著的語義效應(yīng)進(jìn)行反應(yīng)時和ERP的相關(guān)分析, 以超過3個標(biāo)準(zhǔn)化殘差為標(biāo)準(zhǔn)剔除奇異值, 結(jié)果發(fā)現(xiàn), 中后區(qū)語義相關(guān)與語義無關(guān)條件下的反應(yīng)時差值和對應(yīng)的ERP差異波之間存在顯著的負(fù)相關(guān)((26) = ?0.52,= 0.006, 95% CI = [?0.77, ?0.25]), FDR校正后邊緣顯著,= 0.054, 語義相關(guān)與無關(guān)反應(yīng)時差值越負(fù), ERP差異波越正(見圖4), 表明反應(yīng)時越短, 波形越正。其余興趣區(qū)內(nèi)無顯著的相關(guān)關(guān)系(< |0.29|,s > 0.15, FDR校正后s > 0.681)。

4 討論

本研究采用單詞翻譯任務(wù), 利用ERP技術(shù)考察了雙語情境下漢語詞匯產(chǎn)生過程中是否存在多重音韻激活。行為結(jié)果表明存在語義促進(jìn)效應(yīng), 但是不存在多重音韻激活。ERP結(jié)果表明語義相關(guān)和語義無關(guān)條件間的差異發(fā)生在英文單詞呈現(xiàn)后的400~600 ms時間窗口內(nèi), 表現(xiàn)為語義相關(guān)條件比語義無關(guān)條件下平均波幅更正; 音韻相關(guān)條件和音韻無關(guān)條件下的波形在600~700 ms窗口內(nèi)出現(xiàn)了邊緣顯著的差異, 表現(xiàn)為音韻相關(guān)條件比音韻無關(guān)條件下平均波幅更正, 在腦電上講話者可能保留了多重音韻激活的模式。

圖4 400~600 ms時間窗口內(nèi)在中后區(qū)域語義相關(guān)與語義無關(guān)條件間的翻譯潛伏期差值與對應(yīng)條件的ERP波幅差值之間的相關(guān)?；疑Ⅻc為剔除的奇異值。

4.1 多重音韻激活

在單詞翻譯任務(wù)中, 行為結(jié)果表明不存在非目標(biāo)項的音韻激活, 這與已有漢語的研究結(jié)果一致(Zhang & Zhu, 2016; Zhang et al., 2018), 支持了獨立兩階段理論。獨立兩階段理論假設(shè)詞匯選擇和音韻編碼之間的激活傳遞是單向的, 目標(biāo)詞的選擇是在詞匯選擇階段完成的, 僅僅針對目標(biāo)項產(chǎn)生音韻激活。已有的研究結(jié)果表明漢語的口語詞匯產(chǎn)生過程遵循獨立兩階段的模式, 這表現(xiàn)在兩個方面：第一, 本研究和已有研究(張清芳, 楊玉芳, 2006; Zhang & Zhu, 2016; Zhang et al., 2018)在行為指標(biāo)上均未發(fā)現(xiàn)非目標(biāo)項的多重音韻激活。第二, 詞匯選擇階段的語義激活和音韻編碼階段的音韻激活在時間上不存在重疊(Zhu et al., 2015; Zhu et al., 2016)。行為和ERP的研究都發(fā)現(xiàn)在漢語口語詞匯產(chǎn)生中, 語義效應(yīng)和音韻效應(yīng)是獨立的, 兩者之間不存在交互作用, 兩個效應(yīng)分別出現(xiàn)于圖畫呈現(xiàn)后250~450 ms和450~600 ms, 時間窗口上不存在重疊, 符合獨立兩階段模型的預(yù)期。

本研究結(jié)果與莊捷和周曉林(2003)的發(fā)現(xiàn)不同。莊捷等的研究中音韻相關(guān)條件下語義相關(guān)項和干擾字的發(fā)音是完全一樣的, 例如語義相關(guān)項為“羊”, 干擾字為“陽”, 二者音節(jié)音調(diào)完全相同, 共用一個音韻表征, 這給被試提供了較強線索通過語義激活去影響圖畫命名過程, 即語義中介詞的干擾效應(yīng)是通過干擾詞的音韻激活, 進(jìn)而激活了相關(guān)的語義。也就是說, 干擾字“陽”的音韻激活傳遞到“羊”的語義表征上, 增加了“羊”的語義激活, 與無關(guān)條件下相比, 這一條件與目標(biāo)詞“牛”的激活形成了更強的競爭關(guān)系, 因而產(chǎn)生了抑制效應(yīng)。由于這一可能性, 這一研究并不能明確地表明漢語口語詞匯產(chǎn)生中存在非目標(biāo)項的音韻激活。

與行為結(jié)果不一致的是, 采用ERP技術(shù)探測到在大腦右中區(qū)域的電極上出現(xiàn)了較為可靠的證據(jù)表明了多重音韻激活的存在, 表明講話者可能在腦電上保留了多重音韻激活, 但在行為反應(yīng)時上并不會表現(xiàn)出來。這種行為和腦電之間的不一致與一些已有口語詞匯研究的發(fā)現(xiàn)類似(Cai et al., 2020; Qu et al., 2012; Zhang & Damian, 2019), 我們認(rèn)為這是由于腦電指標(biāo)反映了在線的實時加工, 而反應(yīng)時是最終輸出的結(jié)果反映, 會受到一系列加工過程的影響。基于已有研究的結(jié)果和本研究的分析, 我們傾向于認(rèn)為講話者在漢語口語詞匯產(chǎn)生過程中, 其神經(jīng)層次上仍然保留了對多重音韻激活的敏感性。

使用類似的任務(wù)不能探測到漢語口語詞匯產(chǎn)生中非目標(biāo)項的音韻激活, 但能探測到印歐語系中的這一激活, 這表明口語詞匯產(chǎn)生中非目標(biāo)項的音韻激活在漢語中比較微弱, 而在印歐語系中較強。這一結(jié)果模式與已有發(fā)現(xiàn)一致。漢語口語詞匯產(chǎn)生的研究表明詞匯選擇和音韻編碼兩個階段之間無交互作用, 語義激活和音韻激活之間無時間上的重疊(Zhu et al., 2015; Zhu et al., 2016)。與漢語不同, 印歐語系的語言中發(fā)現(xiàn)這兩個階段之間存在交互作用(Damian & Martin, 1999; Starreveld & La Heij, 1995, 1996), 且語義激活和音韻激活幾乎是同時產(chǎn)生的(Dell’Acqua et al., 2010)。

漢語和印歐語系的口語產(chǎn)生分別遵循了獨立兩階段模式和交互激活的模式, 這主要涉及到語言加工過程中語義和音韻之間的聯(lián)結(jié)強度。在漢語口語詞匯產(chǎn)生過程中, 語義和音韻之間的聯(lián)結(jié)強度可能較弱, 而在印歐語系中語義和音韻之間的聯(lián)結(jié)可能較強。詞匯產(chǎn)生與詞匯理解過程都涉及到在心理詞典中提取相應(yīng)的正字法、語義和音韻這三類信息之間的聯(lián)結(jié)及其加工。例如, 在圖畫?詞匯干擾實驗任務(wù)中, 采用圖畫命名任務(wù), 設(shè)置與目標(biāo)字存在語義相關(guān)、正字法相關(guān)、音韻相關(guān)的干擾字以及無關(guān)字, 以視覺方式呈現(xiàn)干擾字, 結(jié)果發(fā)現(xiàn)了在圖畫命名這一經(jīng)典的口語詞匯產(chǎn)生任務(wù)中出現(xiàn)了顯著的語義抑制效應(yīng)、正字法促進(jìn)效應(yīng)和音韻促進(jìn)效應(yīng), 表明口語詞匯產(chǎn)生過程中講話者激活了目標(biāo)詞的字形信息, 且促進(jìn)了圖畫命名(漢語：Zhang et al., 2009; Zhang & Weekes, 2009; Zhao et al., 2012; 英語：Damian & Bowers, 2003)。在書寫產(chǎn)生過程中, 盡管最終輸出的是字形信息, 研究者同樣發(fā)現(xiàn)了書寫產(chǎn)生過程中音韻信息的激活(漢語：Qu et al., 2011; Wang & Zhang, 2015; 英語：Zhang & Damian, 2010)。

不同模式與不同語言的特點可能有密切聯(lián)系。漢字是表意文字, 用形旁表意是其顯著的特征(Zhou & Marslen-Wilson, 1999), 盡管漢字的聲旁也能在一定程度上提示語音, 但是漢字字形和語音之間并未形成緊密的對應(yīng)關(guān)系(Zhou & Marslen- Wilson, 2000)。例如, 正字法類似的字, 其發(fā)音可以完全不同(例如“床”和“慶”); 正字法完全不同的字, 發(fā)音卻可以相似(例如“床”和“闖”)。由于這樣的特點, 使得詞匯的語義和語音之間的聯(lián)系比較松散。相比而言, 拼音文字由于存在形音對應(yīng)的規(guī)則, 形音的對應(yīng)關(guān)系十分密切(陳寶國等, 2003), 這使得語義和語音之間的聯(lián)結(jié)相對緊密。這些特點不僅會影響詞匯產(chǎn)生過程(Zhu, et al., 2015, 2016), 而且對詞匯閱讀過程產(chǎn)生影響(陳寶國等, 2003)。在語言加工過程中, 人們經(jīng)過多次地在心理詞典中激活語義和語音, 形成了語言加工的聯(lián)結(jié)網(wǎng)絡(luò), 呈現(xiàn)出不同的聯(lián)結(jié)強度。上述語言特點的不同導(dǎo)致了人們在使用語言的過程中語義和音韻之間的聯(lián)結(jié)強度不同, 激活的擴散程度也不同, 導(dǎo)致了不同的口語詞匯產(chǎn)生模式。

本研究使用單詞翻譯任務(wù)考察漢語口語詞匯產(chǎn)生過程, 這一任務(wù)的優(yōu)點是能保證被試反應(yīng)的一致性。與此同時, 這使得在詞條選擇階段參與競爭的非目標(biāo)詞數(shù)量較少, 被試能快速選出目標(biāo)詞(Jost et al., 2018), 研究者認(rèn)為詞條選擇階段時間過短很可能會難以探測到微弱的多重音韻激活現(xiàn)象(Jescheniak et al., 2006)。此外, 研究中所使用背景圖片的名稱均為雙字詞, 早期發(fā)現(xiàn)了漢語中存在多重音韻激活的研究中(莊捷, 周曉林, 2003)作為參與競爭的非目標(biāo)詞為單字, 單字和干擾字之間的音韻重疊程度顯然高于雙字詞中僅有第一個字重疊的情況, 導(dǎo)致本研究中非目標(biāo)項的音韻激活減弱。

4.2 語義促進(jìn)效應(yīng)

我們使用單詞翻譯任務(wù)發(fā)現(xiàn)了語義促進(jìn)效應(yīng), 表現(xiàn)為語義相關(guān)條件下單詞翻譯潛伏期顯著短于語義無關(guān)條件, 這一發(fā)現(xiàn)與已有研究結(jié)果一致(Bloem & La Heij, 2003; Nararrete & Costa, 2009)。漢英雙語者在英語翻譯成漢語的過程中出現(xiàn)與其他雙語者類似的語義促進(jìn)效應(yīng), 這一效應(yīng)是通過雙語者的英語和漢語所共享的概念層產(chǎn)生的(Christoffels et al., 2013; La Heij et al., 1996)。ERP的結(jié)果發(fā)現(xiàn)這一過程發(fā)生在單詞呈現(xiàn)后的400~ 600 ms之間, 這與采用圖畫命名任務(wù)的口語詞匯產(chǎn)生過程不同。在單詞翻譯任務(wù)中, 目標(biāo)項是詞語, 被試需要首先再認(rèn)出詞語, 然后再激活相應(yīng)的概念和對應(yīng)的翻譯詞, 所以概念層的激活較晚。

已有采用翻譯任務(wù)的ERP研究多探測的是詞匯理解過程, 較少有研究采用詞語翻譯任務(wù)考察口語詞匯產(chǎn)生過程。Christoffels等(2013)首次采用ERP技術(shù)考察荷蘭語?英語雙語者單詞翻譯的時間進(jìn)程, 研究中操縱了詞匯的同形異義條件(如“room”在英語中翻譯為“房間”, 在荷蘭語中翻譯為“冰淇淋”)和翻譯方向(一語翻譯成二語, 二語翻譯成一語)兩個變量, 結(jié)果發(fā)現(xiàn)同形異義詞相較于控制組(異形異義詞)的反應(yīng)時更長, N400波幅更負(fù), 研究者認(rèn)為是由于同形異義條件下詞匯?語義階段競爭更為激烈, 因而相比異形異義詞產(chǎn)生的ERP波形更大, 而本研究中發(fā)現(xiàn)的是語義相關(guān)條件下400~600 ms時間窗口內(nèi)的波幅更正。兩個研究相比表明本研究中的語義促進(jìn)效應(yīng)發(fā)生在概念水平, 而非詞匯?語義競爭階段。盡管如此, Jost等(2018)的研究中比較了翻譯任務(wù)和單語產(chǎn)生任務(wù)發(fā)現(xiàn)兩種任務(wù)在424~630 ms時間窗口下存在差異, 他們以圖畫命名中音韻編碼階段的時間進(jìn)程為參考(Indefrey & Levelt, 2004), 認(rèn)為單詞翻譯任務(wù)中424~630 ms時間窗口下的音韻編碼階段需要更多的自我監(jiān)控。這一研究中同時比較了一語翻譯成二語與二語翻譯成一語兩種翻譯任務(wù), 發(fā)現(xiàn)兩種條件下的ERP波形在600 ms左右出現(xiàn)了差異, 研究者認(rèn)為這反映了兩種不同的翻譯任務(wù)下概念水平的激活參與的程度, 這一解釋與我們的研究發(fā)現(xiàn)一致。我們認(rèn)為翻譯任務(wù)中424~630 ms時間內(nèi)的波形并非反映了對音韻編碼階段的監(jiān)測。如果是的話, 概念加工階段應(yīng)該早于這一時間窗口, 而非600 ms左右。目前有關(guān)單詞翻譯任務(wù)的時間進(jìn)程研究較少, 其加工過程與單語產(chǎn)生過程不同, 與單語詞匯產(chǎn)生任務(wù)的時間進(jìn)程做對比并不合適, 有關(guān)單詞翻譯過程中各個認(rèn)知加工過程的時間進(jìn)程需要進(jìn)一步的研究。

在反應(yīng)時和ERP波幅的相關(guān)分析中, 我們發(fā)現(xiàn)中后區(qū)顯著的負(fù)相關(guān)(= 0.006)經(jīng)FDR校正后邊緣顯著(= 0.054), 但在中后區(qū)還是可以觀測到反應(yīng)時和ERP波幅之間的線性趨勢, 行為上語義促進(jìn)效應(yīng)越強, 400~600 ms時間窗口內(nèi)的差異波幅越大。根據(jù)圖2中語義效應(yīng)的地形圖, 中中、左中、左后三個興趣區(qū)內(nèi)差異波幅最大, 但與反應(yīng)潛伏期的相關(guān)分析卻沒有達(dá)到顯著。雖然本研究未發(fā)現(xiàn)反應(yīng)時和ERP波幅存在顯著相關(guān), 但結(jié)合單詞翻譯任務(wù)中概念激活的時間窗口應(yīng)晚于圖畫命名任務(wù)下概念激活的時間窗口, 如Bloem和La Heij (2003)的實驗3通過操控目標(biāo)刺激與干擾刺激呈現(xiàn)的時間間隔(stimulus onset asynchrony, SOA)發(fā)現(xiàn)單詞翻譯任務(wù)中概念激活的速度比圖片概念激活的速度慢, 所以我們傾向于認(rèn)為語義相關(guān)和語義無關(guān)出現(xiàn)差異的400~600 ms時間窗口為單詞翻譯過程中概念的激活?？谡Z詞匯產(chǎn)生的ERP研究很少, 反應(yīng)時和波幅之間的相關(guān)分析結(jié)果需要更進(jìn)一步的研究驗證。

綜上, 單詞翻譯任務(wù)中首先是單詞識別過程, 之后是概念準(zhǔn)備、詞條選擇和音韻編碼階段(見圖5)。概念準(zhǔn)備階段發(fā)生在詞匯呈現(xiàn)后的400~600 ms之間, 表明背景圖的語義產(chǎn)生了激活, 產(chǎn)生了語義促進(jìn)效應(yīng)。同時, 在英語翻譯成漢語的過程中, 盡管在腦電上呈現(xiàn)出可能存在微弱的多重音韻激活, 但行為結(jié)果并未顯示出非目標(biāo)項的音韻激活。研究結(jié)果支持了漢語口語詞匯產(chǎn)生遵循獨立兩階段模式的觀點。

圖5 圖詞干擾范式下單詞翻譯任務(wù)的漢語口語詞匯產(chǎn)生模型

Baayen, R. H., Davidson, D. J., & Bates, D. M. (2008). Mixed-effects modeling with crossed random effects for subjects and items.(4), 390–412.

Bloem, I., & La Heij, W. (2003). Semantic facilitation and semantic interference in word translation: Implications for models of lexical access in language production.(3), 468–488.

Bloem, I., van den Boogaard, S., & La Heij, W. (2004). Semantic facilitation and semantic interference in language production: Further evidence for the conceptual selection model of lexical access.(2), 307–323.

Boukadi, M., Davies, R. A. I., & Wilson, M. A. (2015). Bilingual lexical selection as a dynamic process: Evidence from Arabic-French bilinguals.(4), 297–313.

Cai, X., Yin, Y. L., & Zhang, Q. F. (2020). The roles of syllables and phonemes during phonological encoding in Chinese spoken word production: A topographic ERP study.,, 107382

Chen, B. G., Wang, L. X., & Peng, D. L. (2003). The time course of graphic, phonological, and semantic information processing in Chinese character recognition (II).576–581.

[陳寶國, 王立新, 彭聃齡. (2003). 漢字識別中形音義激活時間進(jìn)程的研究(II).(5), 576–581.]

Chinese Linguistic Data Consortium. (2003).. Beijing, China: Tsinghua University, State Key Laboratory of Intelligent Technology and Systems, and Chinese Academy of Sciences, Institute of Automation.

Christoffels, I. K., Ganushchak, L., & Koester, D. (2013). Language conflict in translation: An ERP study of translation production.(5), 646–664.

Costa, A., Caramazza, A., & Sebastián-Gallés, N. (2000). The cognate facilitation effect: Implications for models of lexical access.(5), 1283–1296.

Costa, A., Strijkers, K., Martin, C. D., & Thierry, G. (2009). The time course of word retrieval revealed by event-related brain potentials during overt speech.(50), 21442–21446.

Damian, M. F., & Bowers, J. S. (2003). Effects of orthography on speech production in a form-preparation paradigm.(1), 119–132.

Damian, M. F., & Martin, R. C. (1999). Semantic and phonological codes interact in single word production.(2), 345–361.

Davis, C. J. (2005). N-Watch: A program for deriving neighborhood size and other psycholinguistic statistics., 65–70.

Dell, G. S. (1986). A spreading-activation theory of retrieval in sentence production.(3), 283– 321.

Dell, G. S. (1988). The retrieval of phonological forms in production: Tests of predictions from a connectionist model.(2), 124–142.

Dell'Acqua, R., Sessa, P., Peressotti, F., Mulatti, C., Navarrete, E., & Grainger, J. (2010). ERP evidence for ultra-fast semantic processing in the picture-word interference paradigm., 177

Ganushchak, L. Y., Christoffels, I. K., & Schiller, N. O. (2011). The use of electroencephalography in language production research: A review., 208.

Humphreys, K. R., Boyd, C. H., & Watter, S. (2010). Phonological facilitation from pictures in a word association task: Evidence for routine cascaded processing in spoken word production.(12), 2289–2296.

Indefrey, P., & Levelt, W. J. (2004). The spatial and temporal signatures of word production components.(1-2), 101–144.

JASP Team. (2017). JASP (Version 0.11.1) [Computer software].

Jeffreys, H. (1961).. Oxford, UK: Oxford University Press.

Jescheniak, J. D., Hahne, A., Hoffmann, S., & Wagner, V. (2006). Phonological activation of category coordinates during speech planning is observable in children but not in adults: Evidence for cascaded processing.(2), 373–386.

Jescheniak, J. D., Hahne, A., & Schriefers, H. (2003). Information flow in the mental lexicon during speech planning: Evidence from event-related brain potentials.3), 261–276.

Jescheniak, J. D., & Schriefers, H. (1998). Discrete serial versus cascaded processing in lexical access in speech production: Further evidence from the coactivation of near-synonyms.(5), 1256–1274.

Jost, L. B., Radman, N., Buetler, K. A., & Annoni, J. M. (2018). Behavioral and electrophysiological signatures of word translation processes., 245–254.

Kuipers, J. R., & La Heij, W. (2009). The limitations of cascading in the speech production system.,(1), 120–135.

Kurtz, F., Schriefers, H., Madebach, A., & Jescheniak, J. D. (2018). Incremental learning in word production: Tracing the fate of non-selected alternative picture names.(10), 1586–1602.

La Heij, W., Hooglander, A., Kerling, R., & van der Velden, E. (1996). Nonverbal context effects in forward and backward word translation: Evidence for concept mediation.(5), 648–665.

Levelt, W. J. M., Roelofs, A., & Meyer, A. S. (1999). A theory of lexical access in speech production.(1), 1–75.

Madebach, A., Jescheniak, J. D., Oppermann, F., & Schriefers, H. (2011). Ease of processing constrains the activation flow in the conceptual-lexical system during speech planning.(3), 649–660.

Marsman, M., & Wagenmakers, E-J. (2017). Bayesian benefits with JASP.(5), 545–555.

Navarrete, E., & Costa, A. (2005). Phonological activation of ignored pictures: Further evidence for a cascade model of lexical access.(3), 359–377.

Navarrete, E., & Costa, A. (2009). The distractor picture paradox in speech production: Evidence from the word translation task.(6), 527–547.

Oppermann, F., Jescheniak, J. D., & Gorges, F. (2014). Resolving competition when naming an object in a multiple-object display.(1), 78–84.

Oppermann, F., Jescheniak, J. D., & Schriefers, H. (2008). Conceptual coherence affects phonological activation of context objects during object naming.(3), 587–601.

Ouyang, G., Sommer, W., Zhou, C. S., Aristei, S., Pinkpank, T., & Rahman, R. A. (2016). Articulation artifacts during overt language production in event-related brain potentials: Description and correction.(6), 791–813.

Peterson, R. R., & Savoy, P. (1998). Lexical selection and phonological encoding during language production: Evidence for cascaded processing.(3), 539– 557.

Python, G., Fargier, R., & Laganaro, M. (2018). ERP evidence of distinct processes underlying semantic facilitation and interference in word production., 1–12.

Qu, Q. Q., Damian, M. F. & Kazanina, N. (2012). Sound-sized segments are significant for Mandarin speakers.(35)14265–14270.

Qu, Q. Q., Damian, M. F., Zhang, Q. F., & Zhu, X. B. (2011). Phonology contributes to writing: Evidence from written word production in a nonalphabetic script.(9), 1107–1112.

Rahman, R. A., & Melinger, A. (2009). Semantic context effects in language production: A swinging lexical network proposal and a review.(5), 713–734.

Rahman, R. A., & Melinger, A. (2019). Semantic processing during language production: An update of the swinging lexical network.(9), 1176–1192.

Roelofs, A. (1992). A spreading-activation theory of lemma retrieval in speaking.(1-3), 107–142.

Roelofs, A. (1997). The weaver model of word-form encoding in speech production.(3), 249–284.

Roelofs, A. (2008). Tracing attention and the activation flow in spoken word planning using eye movements.(2), 353–368.

Starreveld, P. A., & La Heij, W. (1995). Semantic interference, orthographic facilitation, and their interaction in naming tasks.(3), 686–698.

Starreveld, P. A., & La Heij, W. (1996). Time-course analysis of semantic and orthographic context effects in picture naming.(4), 896–918.

Wagenmakers, E. J., Love, J., Marsman, M., Jamil, T., Ly, A., Verhagen, J., ... Morey, R. D. (2018). Bayesian inference for psychology. Part II: Example applications with JASP.(1), 58–76.

Wang, C. & Zhang, Q. F. (2015). Phonological codes constrain output of orthographic codes via sublexical and lexical routes in Chinese written production.(4), e0124470.

Zhang, Q. F., Chen, H.-C, Weekes, B. S., & Yang, Y. F. (2009). Independent effects of orthographic and phonological facilitation on spoken word production in Mandarin., 113–126.

Zhang, Q. F., & Damian, M. F. (2010). Impact of phonology on the generation of handwritten responses: Evidence from picture-word interference tasks.(4), 519–528.

Zhang, Q. F., & Damian, M. F. (2019). Syllables constitute proximate units for Mandarin speakers: Electrophysiological evidence from a masked priming task.(4), e13317.

Zhang, Q. F., & Weekes, B. S. (2009). Orthographic facilitation effects on spoken word production: Evidence from Chinese.(7-8), 1082–1096.

Zhang, Q. F., & Yang, Y. F. (2003). The determiners of picture-naming latency.(4), 447–454.

[張清芳, 楊玉芳. (2003). 影響圖畫命名時間的因素.(4), 447–454.]

Zhang, Q. F., & Yang, Y. F. (2006). The interaction of lexical selection and phonological encoding in Chinese word production.(4), 480–488.

[張清芳, 楊玉芳. (2006). 漢語詞匯產(chǎn)生中詞匯選擇和音韻編碼之間的交互作用.(4), 480–488.]

Zhang, Q. F., & Zhu, X. B. (2016). It is not necessary to retrieve the phonological nodes of context objects for Chinese speakers., 1161.

Zhang, Q. F., Zhu, X. B., & Damian, M. F. (2018). Phonological activation of category coordinates in spoken word production: Evidence for cascaded processing in English but not in Mandarin.(5), 835–860.

Zhao, H. R., La Heij, W., & Schiller, N. O. (2012). Orthographic and phonological facilitation in speech production: New evidence from picture naming in Chinese.(2)272–280.

Zhou, X. L., & Marslen-Wilson, W. (1999). Sublexcial processing in reading Chinese. In J. Wang, A. Inhoff, & H-C. Chen (Eds.),(pp. 37–63). Hillsdale, NJ: Erlbaum.

Zhou, X. L., & Marslen-Wilson, W. (2000). The relative time course of semantic and phonological activation in reading Chinese.(5)1245–1265.

Zhu, X. B., Damian, M. F., & Zhang, Q. F. (2015). Seriality of semantic and phonological processes during overt speech in Mandarin as revealed by event-related brain potentials., 16–25.

Zhu, X. B., Zhang, Q. F., & Damian, M. F. (2016). Additivity of semantic and phonological effects: Evidence from speech production in Mandarin.(11), 2285–2304.

Zhuang, J., & Zhou, X. L. (2003). The interaction between semantics and phonology in the speech production of Chinese.(3), 300–308.

[莊捷, 周曉林. (2003). 漢語詞匯產(chǎn)生中語義、語音層次之間的交互作用.(3), 300–308.]

The multiple phonological activation in Chinese spoken word production: An ERP study in a word translation task

ZHANG Qingfang, QIAN Zongyu, ZHU Xuebing

(Department of Psychology, Renmin University of China, Beijing 100872, China)(Shanghai International Studies University, Shanghai 201620, China)

A debatable issue between serial discrete models and interactive models is whether non-target lemmas activate their phonological words in spoken word production. Serial discrete models assume that only target lemma activates its corresponding phonological node to articulation, whereas interactive models assume that the semantic and phonological nodes linked to multiple candidates are co-activated during the retrieval of target word. Multiple phonological activation has been supported by evidences from alphabetic languages, but it remains unknown whether this finding can be generalized to non-alphabetic languages. Therefore, the current study aimed to investigate whether the not-to-be named pictures activate their phonological nodes in Chinese spoken word production. Using electrophysiological measures, the present study employed a word translation task in native Chinese speakers with a high level of English proficiency. Thirty-two participants (13 males, average 22.94 years) were presented with an English probe word and a context picture (semantically related or unrelated, phonologically related or unrelated to target word) simultaneously. Eighty-six English probe words from CELEX database and forty-three black and white line pictures from a standardized picture database in Chinese were chosen as stimuli. Participants were asked to translate English probe words into Chinese as accurately and quickly as possible while ignoring context pictures presented simultaneously. Behavioral results showed a typical semantic facilitation effect, with faster translation latencies in the semantically related condition than in the semantically unrelated condition. More importantly, phonological overlap, which generally elicits priming in Indo-European languages, resulted in a null finding for Chinese production. Electrophysiological results revealed that semantic relatedness induced significant effects of ERPs after stimuli presentation: a widely distributed positivity in the 400- to 600-ms interval, while marginally significant effects were observed for phonological relatedness in the time interval of 600~700 ms in the right middle region. Furthermore, a negative correlation between the difference of translation latencies (semantically related minus semantically unrelated) and the difference of mean amplitudes (semantically related minus semantically unrelated) approached significance in the 400~600 ms time window in the middle posterior region, suggesting that more positive mean amplitudes were associated with shorter translation latencies. Although speakers present a weak but reliable neural activation, we suggest that phonological overlap between context pictures and target words had no impact on the translation processing in behavioral. That is, the non-target lemma did not activate their phonological node, and multiple phonological activation was absent in Chinese spoken production. Meanwhile, the semantic information of context pictures was indeed activated, and according to the temporal course of word translation, the time window of 400~600 ms was estimated for conceptual preparation when Chinese-English bilinguals completed a word translation task, although this activation was not transmitted from semantic level to phonological level. Overall, the present findings support a serial discrete model rather than an interactive model in Chinese spoken word production.

spoken word production, multiple phonological activation, serial discrete models, interactive models

2020-03-05

* 北京市社會科學(xué)基金重點項目(16YYA006), 中國人民大學(xué)科學(xué)研究基金項目(中央高?；究蒲袠I(yè)務(wù)費專項) (18XNLG28)項目資助。

張清芳, E-mail: qingfang.zhang@ruc.edu.cn; 朱雪冰, E-mail: zhuxb@shisu.edu.cn

B842