任桂琴 劉穎 于澤

摘要漢語是一種聲調(diào)語言，在口語韻律表迭中存在獨特的特點。本項目利用漢語不同于非聲調(diào)語言的特點，探討已有研究中尚未澄清的問題，即漢語聲調(diào)在早期自動加工中對語義激活的作用，以及在不同認(rèn)知階段中，漢語聲調(diào)和語調(diào)加工的神經(jīng)機(jī)制。這些問題是當(dāng)前的研究熱點，但仍存在著各種分歧和激烈的爭論。本項目擬采用ERP方法，結(jié)合LORETA源定位技術(shù)，通過不同的實驗范式考察以下內(nèi)容：(1)在早期自動加工過程中，漢語聲調(diào)對詞匯語義激活的作用；(2)在早期階段，漢語聲調(diào)和語調(diào)加工的大腦激活模式；(3)在晚期階段，漢語聲調(diào)和語調(diào)加工的大腦激活模式。對這些問題的考察將有助于澄清當(dāng)前的激烈爭論，拓展以往基于非聲調(diào)語言研究建立的口語加工理論的適用范圍，為完善言語認(rèn)知加工的理論模型提供新的實驗證據(jù)。

關(guān)鍵詞口語；漢語聲調(diào)；語調(diào)；ERP；LORETA

分類號B842

1問題提出

與書面語相比，口語是一種更為普遍的言語表達(dá)形式。然而，與閱讀研究相比，口語研究相對薄弱?？谡Z不同于書面語的一個突出特點是，口語富含韻律信息。韻律信息主要通過重音、語調(diào)、韻律結(jié)構(gòu)等韻律特征得以體現(xiàn)?？谡Z韻律(speechmelody)是韻律信息的重要表現(xiàn)形式，主要指口語中與詞匯聲調(diào)(Iexical tone)和語調(diào)(intonation)相聯(lián)系的言語音高模式(xu，2005)。漢語是一種聲調(diào)語言，在詞匯的語音構(gòu)成上存在獨特的特點?？疾鞚h語聲調(diào)在早期自動加工中對語義激活的作用，以及在不同認(rèn)知階段，漢語聲調(diào)和語調(diào)加工的神經(jīng)機(jī)制，將深化漢語口語加工的認(rèn)識，拓展基于非聲調(diào)語言研究的口語加工理論的適用范圍。同時，這些來自于正常被試的研究結(jié)果也將為言語損傷病人的口語加工診斷提供參考。近年來，口語韻律信息的加工已引起了研究者們的高度關(guān)注，研究內(nèi)容主要體現(xiàn)在以下兩個方面：

1.1聲調(diào)對詞匯語義的激活作用

在語言學(xué)中，每個音節(jié)包含兩個語音單元：音段信息(即構(gòu)成音節(jié)的單個音位信息，如元音、輔音等)和超音段信息(即由音位或音位群負(fù)載，包括音高、強(qiáng)度、時長等聲音線索，如聲調(diào)，重音等)，超音段信息也被稱作詞匯的韻律信息。已有聽覺詞匯識別模型(Marslen-Wilson＆Warren．1994；Norris，1994)在關(guān)注音段信息作用的同時，忽略了超音段信息的作用，認(rèn)為心理詞典中詞條的通達(dá)是詞匯音段信息競爭的結(jié)果，超音段信息在這一過程中幾乎不發(fā)揮作用。這種主要基于英語、荷蘭語研究的理論觀點近年來遭到了來自其他重音語言研究和來自漢語研究的挑戰(zhàn)。

Soto-Faraco等(2001)對母語為西班牙語的被試進(jìn)行的研究表明，聽覺詞匯識別中音段和超音段信息對語義激活的作用是相同的。來自德語的一項研究(Friedrich et al.，2004)也發(fā)現(xiàn)了超音段信息在聽覺詞匯識別中的作用。采用跨通道啟動范式，Zhou等(2004)對漢語詞匯聲調(diào)作用的研究發(fā)現(xiàn)，由聲調(diào)不匹配導(dǎo)致的抑制作用會抵消由音段信息匹配所產(chǎn)生的促進(jìn)作用，這種抑制作用有賴于聲調(diào)的不匹配程度。采用詞匯判斷和同一性判斷任務(wù)，Cutler和Chen(1997)發(fā)現(xiàn)，與變化超音段信息(聲調(diào))的詞匯相比，被試對變化音段信息的詞匯做出了更快、更準(zhǔn)確的反應(yīng)。Schirmer等(2005)對廣東話的研究發(fā)現(xiàn)。由聲調(diào)和音段信息導(dǎo)致的語義違反都產(chǎn)生了一個類似N400的負(fù)波和一個后正成分。這些研究肯定了音段和超音段信息在詞匯加工中所發(fā)揮的不可忽視的作用，這種作用主要體現(xiàn)在注意階段。

不僅如此，在前注意階段(pre-attentive stageof processing)，即自動加工過程中，研究者們也發(fā)現(xiàn)了超音段信息的作用。來自跨語言的研究(Pulvermfiller et al.，

2001； Chandrasekaran，Krishnan，＆Gandour，2009)表明，盡管實驗過程中要求被試觀看無聲電影，不注意聲音刺激，但母語被試依然能夠辨別母語詞匯中聲音信息的細(xì)微變化，而非母語被試并沒有表現(xiàn)出這一特點。通過變化芬蘭語詞匯的元音和輔音，Pulvermtiller等(2001)發(fā)現(xiàn)，芬蘭被試在加工真詞刺激序列時產(chǎn)生的失匹配波(mismatch negativity，MMN)顯著高于假詞刺激序列的加工情況，而母語為俄語和德語的被試在加工這些刺激時并沒有表現(xiàn)出這一特點。被試對母語詞匯聲音的敏感性也表現(xiàn)在非言語聲音的加工過程中(Tervaniemi et al.，2006)。這些研究表明，人腦中可能存在特定言語(尤其是母語)的詞匯聲音記憶痕。

1．2

口語韻律加工的神經(jīng)機(jī)制

口語韻律信息加工的神經(jīng)機(jī)制涉及到大腦言語功能的偏側(cè)化問題，即進(jìn)行口語加工時，大腦兩半球是根據(jù)哪些線索進(jìn)行分工協(xié)作的?這一問題已引起了研究者們的高度關(guān)注，但目前仍存在各種分歧和激烈的爭議(Wong，2002；Shtyrov，Pihko，＆Pulvermfiller,2005)，其中功能假設(shè)(functional hypothesis)和聲音假設(shè)(acoustichypothesis)是長期對立的兩大假設(shè)。

功能假設(shè)也稱作任務(wù)依隨假設(shè)(task—dependent hypothesis)。該假設(shè)認(rèn)為(Liberman&Whalen，2000)，決定腦功能偏側(cè)化的線索是聽覺刺激的功能。當(dāng)語音模式中攜帶更多的言語信息時，語音的加工偏向大腦的左半球，反之，偏向大腦的右半球。聲音假設(shè)也稱作線索依隨假設(shè)(cue-dependent hypothesis)。該假設(shè)認(rèn)為(zatorre，Belin，＆Penhune，2002，)，聽覺刺激的聲學(xué)結(jié)構(gòu)決定了大腦兩半球的功能偏側(cè)化特點。體現(xiàn)頻譜變化的聲音(spectrally variant sounds)主要在大腦的右半球得到加工，而體現(xiàn)時間變化的聲音(temporally variant sounds)主要在大腦的左半球得到加工。這兩大假設(shè)都得到了實驗的有力支持。

功能假設(shè)得到了來自雙耳分聽(Wang，Jongman，＆Sereno，2001)和腦成像研究(Gandourlet al.，2002；2003；Hsieh，Gandou Wong，＆Hutchins，2001)的支持。以泰語詞匯為實驗材料，Gandour等人(2002)采用fMRI技術(shù)對泰語被試和漢語被試加工泰語聲調(diào)和元音進(jìn)行了研究。結(jié)果發(fā)現(xiàn)，只有泰語被試在聲調(diào)判斷條件下激活了大腦左半球的前額下皮層。采用PET方法，Wong，Parsons，Martinez和Diehl(2004)對漢語被試和英語被試加工母語與非母語中的音高信息進(jìn)行了研究。結(jié)果發(fā)現(xiàn)，漢語被試在辨別漢語聲調(diào)時，大腦左半球的腦島前部皮層得到了激活，在辨別英語

詞匯中的音高信息時，則激活了大腦右半球的對應(yīng)區(qū)域。這些研究表明，大腦對語音信息的加工取決于刺激的功能，與刺激的聲學(xué)特征無關(guān)。

與此相反，支持聲音假設(shè)的研究(sbah，Baum，＆Dwivedi，2006；Luo et al.，2006；Warrier&Zatorre，2004；Ren，Yang，&Li，2009)發(fā)現(xiàn)，言語刺激的聲學(xué)特征對言語加工的大腦偏側(cè)化起到了決定性的作用。我們的一項研究發(fā)現(xiàn)，對于有著相同聲學(xué)特征、不同言語功能的漢語聲調(diào)和語調(diào)，無論呈現(xiàn)在言語還是非言語背景中，在早期加工中都表現(xiàn)出了右半球的加工優(yōu)勢(如圖1所示)。該結(jié)果為聲音假設(shè)提供了有力的證據(jù)。

2研究構(gòu)想

關(guān)于口語韻律的加工過程，已有研究考察了聲調(diào)對詞匯語義激活的作用，并對口語韻律加工的神經(jīng)機(jī)制進(jìn)行了探討，然而，仍存在以下問題：一是對于漢語聲調(diào)的作用，盡管以往的這些研究肯定了音段和超音段信息在詞匯加工的注意階段的作用。然而，對于早期自動加工階段，這兩類語音信息是如何激活語義信息的目前尚不清楚。盡管有證據(jù)表明，母語詞匯的語音信息對詞匯語義的早期自動激活起著重要的作用，但對音段與超音段信息各自發(fā)揮了怎樣的作用尚缺乏深入、細(xì)致的研究。二是對于口語韻律加工的腦機(jī)制，目前仍存在各種分歧和激烈的爭論。對于該問題的探討，以往大多數(shù)研究采用了fMRI或PET等腦成像的方法，對于認(rèn)知加工的不同階段沒有給予足夠的重視。這種現(xiàn)象很可能是導(dǎo)致爭議和分歧

此外，已有研究對口語韻律加工中聲調(diào)和語調(diào)的相互作用沒有給予足夠的關(guān)注。多年前我國學(xué)者(趙元任，1968)就已提出，漢語聲調(diào)和語調(diào)是相互影響的。研究表明(xu，2005；任桂琴，韓玉昌，周永壘，任延濤，2011)，語調(diào)的音高信息變化受聲調(diào)的影響。雖然這種影響在泰語研究中也得到了發(fā)現(xiàn)(Gandour et al.，1997)，但對于它的認(rèn)知機(jī)制目前尚缺乏研究。漢語為口語韻律的加工研究提供了理想的材料，為深入探討聲調(diào)和語調(diào)的相互作用提供了可能。本項目將在早期和晚期階段對這一影響做深入的研究。

針對以往研究中存在的問題，本項目立足于漢語認(rèn)知，將著重考察聲調(diào)在早期自動加工中對語義的激活作用，并在此基礎(chǔ)上，進(jìn)一步探討聲調(diào)和語調(diào)加工的腦機(jī)制。對于這些問題的研究，本項目擬采用具有高時間分辨率的ERP技術(shù)，在傳統(tǒng)腦電分析的基礎(chǔ)上，運(yùn)用LORETA方法進(jìn)行腦區(qū)定位，關(guān)注口語韻律加工的時一空特點，以揭示口語韻律加工的動態(tài)腦激活模式。的一個重要原因。盡管腦成像方法具有高空間分辨率，對于大腦的功能定位是非常精確的。然而，由于時間分辨率較低，單純采用這種方法難以確定研究結(jié)果的時間特性，這樣必然會一定程度地掩蓋由于時間點變化所帶來的影響，難以揭示腦區(qū)激活的動態(tài)模式。

2.1漢語聲調(diào)在早期自動加工中對詞匯語義激活的作用

已有研究(Pulvermfiller et al.，2001)揭示了元音、輔音等音段信息在早期自動加工過程對詞匯語義激活的作用。然而，目前還不清楚，在早期自動加工過程中，漢語聲調(diào)能否激活詞匯的語義信息，以及如何激活語義信息。對該問題的考察我們將采用被動的OddbaH范式，要求被試在聽語音刺激的同時觀看無聲電影。這部分內(nèi)容主要關(guān)注的腦電成分為MMN。分析MMN的波幅、潛伏期，同時采用LORETA方法分析MMN的發(fā)生源。

MMN是反映聲音信號早期自動加工的一個有力工具，這一成分常用于考察聽覺信號和口語信息表征的神經(jīng)機(jī)制(Naatanen，2001；2002；Pulvermiiller et al.，2001)。MMN可由傳統(tǒng)的Oddball范式產(chǎn)生，也可以由新的Oddball范式產(chǎn)生。雖然注意過程能夠?qū)MN的波幅產(chǎn)生影響，但該成分可以在沒有任何實驗任務(wù)的情況下自動產(chǎn)生。通過MMN考察口語加工的優(yōu)勢在于既能夠探測到聲音信息的自動加工過程，也能夠探測到聲音信息感知的腦機(jī)制。

2.2漢語聲調(diào)和語調(diào)加工的神經(jīng)機(jī)制

由于注意資源的分配會對MMN的波幅和發(fā)生源產(chǎn)生一定的影響(Restuccia，Marca，Marra，Rubino，&Valefiani，2005；Grimm＆Schr6ger,2005．)，因此，我們將分別考察漢語聲調(diào)和語調(diào)在早期自動加工、早期控制加工中的神經(jīng)機(jī)制。在漢語普通話中，四個聲調(diào)可能對語調(diào)加工產(chǎn)生不同的影響(xu，2005)。例如，附著在四聲調(diào)漢字后的語調(diào)變化在早期加工中能夠被自動地識別(Renet al.，2009)，而附著在二聲調(diào)漢字后的語調(diào)變化則難以被自動地分辨出來(任等，2011)。目前還不清楚，這種自動加工中存在的感知困難是否也存在于注意加工過程中，以及漢語聲調(diào)和語調(diào)在早期階段是如何相互影響的。該項目擬分別采用被動的和主動的Oddball范式，考察漢語聲調(diào)和語調(diào)在早期自動加工、早期控制加工中的神經(jīng)機(jī)制。

除了早期加工，我們也將考察漢語口語韻律在晚期階段的加工過程。在漢語中，言語音高信息的變化既可以體現(xiàn)在音節(jié)水平上，也可以體現(xiàn)在句子水平上。盡管已有研究采用fMRI方法考察了言語時間窗口對腦區(qū)激活的影響(Gandour etal.，2003，)，但未探討時間進(jìn)程。雖然我們在最近的一項研究中(任等，2011)考察了言語信息整合的時間窗口對語調(diào)早期感知的影響，但不系統(tǒng)，沒有涉及到晚期加工過程。對于晚期加工過程，目前還不清楚，漢語口語韻律加工的時間進(jìn)程如何，與時間進(jìn)程相聯(lián)系的腦激活區(qū)域如何變化，以及漢語聲調(diào)和語調(diào)在晚期階段是如何相互影響的。該項目擬在不同的語境條件下考察漢語口語韻律的加工過程。實驗采用辨別范式(discriminationparadigm)，實驗任務(wù)為聲調(diào)或語調(diào)的一致性判斷，主要關(guān)注P300和N400成分。

3研究意義及預(yù)期結(jié)果

本項目立足于漢語認(rèn)知，充分利用漢語作為一種聲調(diào)語言不同于非聲調(diào)語言的特點，探討口語韻律的作用及其作用的腦機(jī)制。在漢語中，言語音高信息的變化既可以表示聲調(diào)，也可以表示語調(diào)。用于表示聲調(diào)時攜帶著詞匯的語義信息，具有語義區(qū)分的功能，用于表示語調(diào)時則不具有這一功能，但可以傳達(dá)態(tài)度、語法等信息。不僅如此，音高信息的變化還可以體現(xiàn)在不同的言語結(jié)構(gòu)水平上，既可以表現(xiàn)在音節(jié)水平上，也可以表現(xiàn)在句子水平上。漢語的這些特點為口語韻律的加工研究提供了理想的材料。

對于聲調(diào)在早期自動加工中的作用，以及口語韻律加工的腦機(jī)制，我們擬采用ERP方法結(jié)合LORETA技術(shù)這一研究手段。ERP記錄能夠提供精確的時間信息，LORETA源定位分析可以獲得相應(yīng)的空間信息。LORETA分析是一種功能性腦成像的估計方法(Pascual-Marqui，1999)。這是一種解決了EEG相反問題的算法，是通過發(fā)現(xiàn)所有與頭皮分布一致的可能的求解中最平滑的解來得以實現(xiàn)的(Pascual-Marqui，Michel，＆Lehmann，1994)。盡管與fMRI、MEG等腦成像方法相比，LORETA是一種粗略的估計方法，然而它能夠提供大腦在某一階段加工時的空間信息，與ERP數(shù)據(jù)提供的時間信息一起，為理解某一認(rèn)知加工的時間一空間特點提供依據(jù)。研究表明(Laufer＆Pratt，2005；Ren Bt al.，2009，)，這是考察口語加工的一種富有成效的研究手段。

總之，口語韻律的加工研究為我們理解大腦的功能，理解口語加工過程提供了依據(jù)。然而，無論是聲調(diào)對語義激活的作用，還是不同認(rèn)知階段口語韻律加工的神經(jīng)機(jī)制，都有待于深入的研究。本項目立足于漢語口語韻律的加工過程，分別對聲調(diào)的作用、聲調(diào)和語調(diào)加工的腦激活模式進(jìn)行考察。研究結(jié)果將深化漢語口語加工的認(rèn)識，拓展基于非聲調(diào)語言研究的口語加工理論的適用范圍，為完善人類言語加工的理論模型提供新的實驗證據(jù)。同時，這些來自于正常被試的研究結(jié)果也將為言語損傷病人的口語加工診斷提供參考。