劉 敏 杜曉新 劉巧云

(華東師范大學(xué)教育康復(fù)學(xué)系，上海 200062)

1 引 言

Massaro(1986)提出言語知覺的過程需要視聽雙通道的資源。視聽雙通道言語知覺(audiovisual speech perception)是指在與他人面對面交流時(shí)，個(gè)體會整合聽覺與視覺信息進(jìn)行言語理解，這是一種多感官整合過程，即視聽整合(audiovisual integration)。其中聽覺信息(auditory speech)指說話者的聲音，而視覺信息(visual speech)主要包含說話者的面部表情、頸部和構(gòu)音器官(下頜、唇、舌)的運(yùn)動部位和方式。雖然聽覺信息是我們?nèi)粘Ｑ哉Z知覺的主要信息來源，但是視覺信息對日常社交溝通的影響也是不可忽視的。視覺言語信息可以幫助減少聽覺單通道信息可能引起的歧義，同時(shí)在日常存在噪音的溝通環(huán)境中可以降低遇到的困難，使言語知覺更加清晰可靠。然而自閉癥兒童在社交溝通方面存在持續(xù)性缺陷，同時(shí)研究也發(fā)現(xiàn)他們在感知覺加工上存在多通道信息整合困難的問題，那么在涉及視聽整合的視聽雙通道言語知覺能力上自閉癥兒童的表現(xiàn)如何，是否會影響他們的溝通能力呢？

McGurk效應(yīng)是目前視聽言語知覺的主要研究范式，McGurk效應(yīng)是一種典型的視聽整合現(xiàn)象，指當(dāng)同時(shí)向被試呈現(xiàn)特定的視覺刺激和聽覺刺激時(shí)，被試會感知到完全不同于任何一個(gè)感知通道的言語信息(如視覺刺激為口型ga，聽覺刺激為聲音ba，被試會感知到da)。它反映了視覺言語信息對言語知覺的影響，目前認(rèn)為可以將McGurk效應(yīng)的強(qiáng)度作為雙通道整合的強(qiáng)度指標(biāo)。

無論是在安靜環(huán)境(Williams，2004；Mongillo，2008；Iarocci，2010；Bebko,2014)還是在噪聲環(huán)境下，大部分的研究結(jié)果都支持自閉癥兒童的視聽言語知覺要弱于普通兒童。Stevenson(2013)發(fā)現(xiàn)6～12歲的自閉癥兒童和普通兒童的視聽言語加工沒有差異，但是在13歲以后兩組之間差異顯著，普通兒童表現(xiàn)出隨年齡增長的趨勢；Ross(2015)發(fā)現(xiàn)不同信噪比下，自閉癥兒童在純聽、純視和視聽一致下的言語知覺表現(xiàn)要低于普通兒童，視聽一致時(shí)的視覺增益也要低于普通兒童；Irwin(2009，2011)發(fā)現(xiàn)即使兩組兒童注視面孔的時(shí)間沒有差異，自閉癥組的視覺增益仍然要顯著地落后于普通兒童。Foss-Feig(2009)和Woynaroski(2013)則發(fā)現(xiàn)自閉癥兒童的McGurk效應(yīng)強(qiáng)度與普通兒童沒有顯著差異，而Taylor,Isaac和Milne(2010)以及Foxe(2015)分別在安靜和噪聲環(huán)境下發(fā)現(xiàn)他們的發(fā)展速度比較快，在高年齡段時(shí)已經(jīng)追趕上普通兒童。王玉玨(2017)發(fā)現(xiàn)漢語為母語的自閉癥譜系障礙兒童在純聽和視聽一致刺激模式下的言語辨識成績顯著低于普通兒童，但是兩類兒童的視聽整合能力差異不顯著。

研究發(fā)現(xiàn)McGurk效應(yīng)存在刺激材料的差異性，Strophal(2016)發(fā)現(xiàn)12個(gè)視聽不一致音節(jié)引起的McGurk效應(yīng)強(qiáng)度不同，這與Jiang & Bernstein(2011)、Mallick(2015)的研究結(jié)果一致；Green(1988)發(fā)現(xiàn)元音材料引起的McGurk效應(yīng)大小存在差異，從強(qiáng)到弱分別是i、a、u。這使得我們在進(jìn)行相關(guān)研究時(shí)需對實(shí)驗(yàn)材料進(jìn)行篩選。雖然王玉玨(2017)的研究中根據(jù)漢語的語音結(jié)構(gòu)特征和最小音位對比編制了材料，但是沒有考慮到刺激材料的差異性。其次我們?nèi)粘Ｋ幍臏贤ōh(huán)境存在許多的噪聲，無論是在社區(qū)情景還是集體授課情景，而國內(nèi)尚未有探索噪聲環(huán)境下自閉癥兒童視聽雙通道言語知覺特征的相關(guān)研究。所以，本研究擬在篩選漢語體系中有效的McGurk效應(yīng)實(shí)驗(yàn)材料基礎(chǔ)上，探索噪聲下自閉癥兒童視聽雙通道言語知覺的特征。

2 研究方法

2.1 研究對象

實(shí)驗(yàn)組為30名自閉癥兒童，6～12歲的兒童18名，13～16歲的兒童12名，男25名，女5名，平均年齡為11.35±2.86歲，所有兒童均持有上海市相關(guān)醫(yī)院診斷。研究人員采用DSM-V的診斷標(biāo)準(zhǔn)和兒童自閉癥評定量表(Childhood Autism Rating Scale,CARS)對其進(jìn)行匯聚式評估，均符合DSM-V的相關(guān)診斷標(biāo)準(zhǔn)，CARS平均得分為34.80±8.30。對照組為30名與實(shí)驗(yàn)組生理年齡和性別相匹配的普通兒童，平均年齡為11.38±2.80歲。兩組被試的視力或矯正視力正常，聽力正常。同時(shí)采用漢語構(gòu)音語音能力評估表對所有被試的構(gòu)音語音能力進(jìn)行主觀評估已排除言語構(gòu)音障礙。

2.2 實(shí)驗(yàn)材料

2.2.1 實(shí)驗(yàn)材料的編制

McGurk效應(yīng)的實(shí)驗(yàn)材料通常為一對輔音不同、元音相同的音節(jié)，且輔音的發(fā)音方式相同，只是發(fā)音部位不同。本研究輔音選擇相同方式(塞音)不同發(fā)音部位的六個(gè)聲母，其中b、p為唇音，d、t為舌尖音，g、k為舌根音；元音選擇相同結(jié)構(gòu)不同開口的單韻母，其中a為開口呼，i為齊齒呼，u為合口呼。視聽不一致下一共包含72個(gè)實(shí)驗(yàn)材料，按照輔音的不同發(fā)音部位可以分為六個(gè)類別：聽(唇音)+視(舌尖音)，聽(舌尖音)+視(唇音)，聽(唇音)+視(舌根音)，聽(舌根音)+視(唇音)，聽(舌尖音)+視(舌根音)，聽(舌根音)+視(舌尖音)。

使用SONY HDR-XR160數(shù)碼攝錄一體機(jī)和ZOOM H4NEXT錄音設(shè)備進(jìn)行錄像和錄音。一名基頻正常(約260Hz)、普通話水平為二級甲等的22歲女性在標(biāo)準(zhǔn)隔音室錄制音節(jié)。分別用Adobe Audition和Adobe Premiere對錄音和錄像材料進(jìn)行剪輯和處理。每個(gè)言語刺激都是從靜止的表情開始，然后發(fā)音，到恢復(fù)靜止表情結(jié)束，時(shí)長約3秒，視覺言語和聽覺言語的時(shí)間起始點(diǎn)相同，以保證口形與聲音相對應(yīng)。

2.2.2 實(shí)驗(yàn)材料的篩選

本研究選擇6-12歲、12～18歲和20～30歲的普通兒童和成人各30名進(jìn)行實(shí)驗(yàn)材料的篩選。視聽不一致下72個(gè)實(shí)驗(yàn)材料每個(gè)重復(fù)2次，共計(jì)144個(gè)試次，使用Eprime 2.0呈現(xiàn)實(shí)驗(yàn)材料，要求被試報(bào)告聽到的內(nèi)容，考察不同材料引起McGurk效應(yīng)強(qiáng)度差異。方差分析結(jié)果顯示，六個(gè)類別的刺激材料主效應(yīng)顯著，F(xiàn)(5，74)=100.56，p<0.001，η2=0.872，BF10=6.155e+107(其為當(dāng)前數(shù)據(jù)模式下，備擇假設(shè)H1相比虛無假設(shè)H0成立的可能性，下同；吳凡，顧全，施壯華，高在峰，&沈模衛(wèi)，2018)，其中聽(唇音)+視(舌尖音)、聽(唇音)+視(舌根音)兩組刺激材料所引起的McGurk效應(yīng)比率要顯著高于其他組。Stropahl(2016)的研究發(fā)現(xiàn)大部分刺激材料融合反應(yīng)頻率在40%～60%之間，Mallick(2015)發(fā)現(xiàn)引發(fā)McGurk效應(yīng)的平均比率在50%。所以從以上兩個(gè)類別的材料中，以引發(fā)McGurk效應(yīng)比率大于或等于60%為原則進(jìn)行篩選材料，篩選出六對符合要求的實(shí)驗(yàn)材料：ba-ga、ba-ka、ba-ta、pa-da、pa-ga、pa-ka(具體結(jié)果見圖1)。

圖1 不同刺激組合McGurk效應(yīng)強(qiáng)度

結(jié)合以上篩選結(jié)果，本研究中純聽和視聽一致刺激模式下包含ba、da、ga、pa、ta、ka六個(gè)實(shí)驗(yàn)材料，視聽不一致刺激模式下包含ba-ga、ba-ka、ba-ta、pa-da、pa-ga、pa-ka六個(gè)實(shí)驗(yàn)材料。所有刺激材料輸出強(qiáng)度為60dB SPL，除無噪聲條件外，使用Adobe Audition添加5種不同水平的粉紅噪聲(57，60，63，66，69dB SPL)，噪聲與視頻的起始時(shí)間相同。

2.3 實(shí)驗(yàn)過程

實(shí)驗(yàn)在隔聲室中進(jìn)行。被試坐在電腦正前方，雙眼與屏幕齊平，距離約70cm。主試用Eprime 2.0呈現(xiàn)上述言語刺激材料，要求被試分別在三種言語刺激模式下說出自己聽到的聲音。正式實(shí)驗(yàn)之前，通過屏幕呈現(xiàn)和言語的方式告知被試指導(dǎo)語，然后依次呈現(xiàn)三個(gè)言語刺激材料，在被試?yán)斫鈱?shí)驗(yàn)要求后進(jìn)入正式實(shí)驗(yàn)。正式實(shí)驗(yàn)時(shí)，先在屏幕正中心呈現(xiàn)注視點(diǎn)“+”，800ms后自動轉(zhuǎn)到刺激界面。在純聽刺激模式下，刺激界面為白屏，只呈現(xiàn)一個(gè)音節(jié)的聲音；在視聽刺激模式下，刺激界面呈現(xiàn)說話者完整的面孔，同時(shí)播放聲音(與發(fā)音口形一致或者不一致)。被試報(bào)告后隨即進(jìn)入下一個(gè)試次，若被試在5秒內(nèi)無反應(yīng)，主試播放下一個(gè)試次。

實(shí)驗(yàn)程序按照純聽、視聽一致和視聽不一致的固定順序進(jìn)行，每種刺激模式下刺激材料隨機(jī)呈現(xiàn)。經(jīng)過添加不同水平的噪聲，三種刺激模式下各包含36個(gè)實(shí)驗(yàn)材料，每個(gè)材料重復(fù)2次，實(shí)驗(yàn)共有216個(gè)試次。

3 實(shí)驗(yàn)結(jié)果

3.1 兩種言語刺激模式下的言語辨識率

兩組被試在純聽、視聽一致兩種言語刺激模式下言語辨識率的描述性統(tǒng)計(jì)結(jié)果見表1。

表1 兩組兒童聽覺辨識率描述性分析

純聽刺激模式下進(jìn)行2(組別：自閉癥兒童vs普通兒童)×2(年齡：6～12歲vs13～16歲)×6(信噪比：NN，-3，0，+3，+6，+9)重復(fù)測量方差分析結(jié)果顯示：組別主效應(yīng)顯著，F(xiàn)(1，56)=17.371，p<0.001,η2=0.698，BF10=192.801，普通兒童的言語辨識率顯著高于自閉癥兒童；信噪比主效應(yīng)顯著，F(xiàn)(5，52)=54.057，p<0.001,η2=0.844，BF10=2.349e+38，隨著聽覺噪聲水平的增大，言語辨識率會越低，即信噪比越小，言語辨識率越低；年齡主效應(yīng)顯著，F(xiàn)(1，56)=4.819，p=0.032,η2=0.745，BF10=1.375，13～16歲兒童言語辨識率顯著高于6～12歲兒童。組別和年齡交互效應(yīng)不顯著，F(xiàn)(1，56)=0.001，p=0.975，η2=0.001，BF10=0.263；組別和信噪比交互效應(yīng)不顯著，F(xiàn)(5，54)=0.169，p=0.973，η2=0.003，BF10=0.015；信噪比和年齡交互效應(yīng)不顯著，F(xiàn)(5，52)=0.496，p=0.778，η2=0.015，BF10=0.067；組別、年齡和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=1.538，p=0.194，η2=0.024，BF10=0.301。

視聽一致刺激模式下進(jìn)行2(組別：自閉癥兒童vs普通兒童)×2(年齡：6～12歲vs13～16歲)×6(信噪比：NN，-3，0，+3，+6，+9)重復(fù)測量方差分析結(jié)果顯示：組別主效應(yīng)顯著，F(xiàn)(1，56)=45.900，p<0.001，η2=0.713，BF10=3.816e+6，普通兒童言語辨識率顯著高于自閉癥兒童；信噪比主效應(yīng)顯著，F(xiàn)(5，52)=36.457，p<0.001，η2=0.787，BF10=1.357e+29，隨著聽覺噪聲水平的增大，言語辨識率會越低；年齡主效應(yīng)邊緣顯著，F(xiàn)(1，56)=45.900，p=0.052，η2=0.367，BF10=1.151，13～16歲兒童的言語辨識率要高于6～12兒童。組別和年齡交互效應(yīng)不顯著，F(xiàn)(1，56)=3.721，p=0.059，η2=0.062，BF10=1.405；組別和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=0.507，p=0.770，η2=0.046，BF10=0.024；年齡和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=0.745，p=0.594，η2=0.067，BF10=0.044；組別、年齡和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=0.892，p=0.493，η2=0.079，BF10=0.112。

為了進(jìn)一步考察視聽一致刺激模式下視覺言語的影響，我們運(yùn)用[視聽一致準(zhǔn)確率-純聽準(zhǔn)確率]的公式計(jì)算其視覺增益。2(組別：自閉癥兒童vs普通兒童)×6(信噪比：NN，-3，0，+3，+6，+9)重復(fù)測量方差分析結(jié)果顯示：組別主效應(yīng)顯著，F(xiàn)(1，58)=14.900，p<0.001，η2=0.655，BF10=26.588，普通兒童組的視覺增益顯著高于自閉癥兒童；信噪比主效應(yīng)不顯著，F(xiàn)(5，54)=1.831，p=1.222，η2=0.145，BF10=0.187；組別和信噪比交互效應(yīng)不顯著，F(xiàn)(5，54)=0.151，p=0.979，η2=0.014，BF10=0.016。

為了比較兩組兒童在不同刺激模式下言語辨識的差異，我們以兒童類型和言語刺激模式為自變量，對純聽和視聽一致下的言語辨識率進(jìn)行2×2方差分析。兒童類型主效應(yīng)顯著，F(xiàn)(1，58)=40.438，p<0.001，η2=0.611，BF10=320237.756，自閉癥兒童組言語辨識率顯著低于普通兒童組；言語刺激模式主效應(yīng)顯著，F(xiàn)(1，58)=102.801，p<0.001，η2=0.639，BF10=1.559e+10，視聽一致下的言語辨識率顯著高于純聽刺激模式。

3.2 視聽不一致下McGurk效應(yīng)強(qiáng)度

對自閉癥兒童和普通兒童在視聽不一致刺激模式下的McGurk效應(yīng)強(qiáng)度進(jìn)行描述性分析和方差分析，從而判斷各組兒童受視覺影響的大小。描述性統(tǒng)計(jì)結(jié)果見表2。

表2 兩組兒童McGurk效應(yīng)強(qiáng)度描述性分析

對兩組兒童在視聽不一致模式下的McGurk效應(yīng)強(qiáng)度進(jìn)行2×2×6的方差分析。方差分析結(jié)果顯示：組別主效應(yīng)顯著，F(xiàn)(1，56)=5.366，p=0.024，η2=0.537，BF10=3.773，普通兒童的McGurk效應(yīng)強(qiáng)度顯著強(qiáng)于自閉癥兒童；信噪比主效應(yīng)顯著，F(xiàn)(5，52)=6.721，p<0.001，η2=0.685，BF10=127.976，不同信噪比下McGurk效應(yīng)強(qiáng)度大小順序分別是：-6、-9、-3、NN、+3、0；年齡主效應(yīng)不顯著，F(xiàn)(1，56)=1.712，p=0.196，η2=0.030，BF10=0.767。組別和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=0.328，p=0.894，η2=0.002，BF10=0.024；年齡和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=1.378，p=0.248，η2=0.004，BF10=0.042；組別和年齡交互效應(yīng)不顯著，F(xiàn)(1，56)=0.187，p=0.667，η2=0.003，BF10=0.410；組別、年齡和信噪比交互效應(yīng)不顯著，F(xiàn)(5，52)=0.142，p=0.982，η2=0.003，BF10=0.027。

4 討 論

本研究運(yùn)用McGurk效應(yīng)研究范式，在篩選McGurk效應(yīng)實(shí)驗(yàn)材料的基礎(chǔ)上，比較不同噪聲水平下自閉癥兒童與普通兒童在純聽、視聽一致下的言語辨識能力，通過視聽一致下的視覺增益與視聽不一致下的McGurk效應(yīng)強(qiáng)度來探究自閉癥兒童視聽雙通道言語知覺特征。

噪聲環(huán)境中，自閉癥兒童在純聽和視聽一致刺激模式下的言語辨識正確率都顯著低于普通兒童，表明自閉癥兒童單通道和雙通道言語知覺能力存在一定缺陷。同時(shí)，自閉癥兒童在視聽一致下視覺增益以及視聽不一致下McGurk效應(yīng)強(qiáng)度都要顯著低于普通兒童，這說明自閉癥兒童在言語感知過程中視覺信息對聽覺信息的影響比普通兒童小，即其視聽整合能力要低于普通兒童。這與國外的大部分研究結(jié)果比較一致。Mongillo(2008)的實(shí)驗(yàn)中包含不同視聽整合程度的任務(wù)，結(jié)果發(fā)現(xiàn)自閉癥兒童只在包含人類刺激的視聽整合任務(wù)(McGurk實(shí)驗(yàn)任務(wù)、性別聲音一致性判斷任務(wù))上與普通兒童存在顯著性差異，研究證實(shí)自閉癥兒童在言語知覺過程中較少受視覺信息的影響，這可能是由于他們普遍很少對面孔產(chǎn)生注意。其他一些研究中發(fā)現(xiàn)即使對自閉癥兒童注視面孔進(jìn)行控制，但其受到的視覺影響仍然與普通兒童存在差異。這可能表明自閉癥兒童對面孔采用的視覺加工方式與普通兒童有差異。Eskelund(2015)研究證實(shí)視聽雙通道言語知覺需要的不僅是面孔的局部信息，更需要整體的構(gòu)型信息。然而大部分研究卻發(fā)現(xiàn)自閉癥兒童在面孔加工時(shí)表現(xiàn)出局部加工優(yōu)勢和整體局部加工轉(zhuǎn)換障礙的特點(diǎn)。需要進(jìn)一步的研究探索自閉癥兒童的視聽雙通道言語知覺是否受到其視覺加工方式的影響。

兩組兒童在純聽和視聽一致條件下言語辨識率表現(xiàn)出明顯的隨年齡增長而發(fā)展的趨勢，13～16歲組兒童的言語辨識率都顯著高于6～12歲組兒童，但是年齡和組別的交互效應(yīng)不顯著，表明無論是6～12歲還是13～16歲，自閉癥兒童言語識別率都要顯著低于普通兒童。但是在視聽不一致條件下，雖然兩組被試中13～16歲兒童的McGurk效應(yīng)強(qiáng)度都高于6～12歲，但是兩個(gè)年齡段之間的差異不顯著，同樣無論是高年齡段還是低年齡段，自閉癥兒童的McGurk效應(yīng)強(qiáng)度都低于普通兒童。這與Foxe(2015)的研究結(jié)果并不一致，他們發(fā)現(xiàn)13歲以后兩組兒童的差異已經(jīng)不顯著。但是由于本研究中兩個(gè)年齡段被試數(shù)量較少，且兩組被試人數(shù)不一致，后續(xù)需要進(jìn)一步擴(kuò)大被試數(shù)量探討自閉癥兒童視聽雙通道言語知覺的發(fā)展趨勢。

本研究在無噪音以及五種不同水平的粉紅噪音條件下進(jìn)行，結(jié)果發(fā)現(xiàn)在純聽和視聽一致刺激模式下，聽覺噪聲水平越大，言語辨識準(zhǔn)確率越低，這與之前的研究結(jié)果一致。所以之前的理念認(rèn)為聽覺噪聲越大，言語知覺對視覺的依賴就越大，Hirst(2018)對普通兒童和成人的研究中發(fā)現(xiàn)聽覺噪聲越大，視覺對言語知覺的影響就會增大，會使得McGurk效應(yīng)的強(qiáng)度增加。但是本研究中不同信噪水平對視聽不一致下McGurk效應(yīng)強(qiáng)度影響卻表現(xiàn)出不同趨勢，當(dāng)信噪比為-6時(shí)McGurk效應(yīng)強(qiáng)度最大，此時(shí)視覺言語信息對聽覺言語信息的影響最佳。這與Ross(2015)和Barutchu(2010)的研究結(jié)果一致，他們的研究也發(fā)現(xiàn)中等強(qiáng)度的聽覺噪聲會更好地促進(jìn)多感官整合，會獲得最佳的視覺增益，噪聲水平對視聽雙通道言語知覺的影響呈現(xiàn)倒U型趨勢。

雖然自閉癥兒童的單通道和雙通道言語知覺都顯著低于普通兒童，但是可以發(fā)現(xiàn)他們在視聽一致下的言語辨識正確率還是要顯著高于純聽下的正確率，只是其利用視覺言語信息的能力較低。Irwin(2015)通過iPad軟件對自閉癥兒童在噪聲背景下的視聽言語知覺能力進(jìn)行干預(yù)，發(fā)現(xiàn)自閉癥兒童對名詞、動詞和形容詞的識別都得到了有效提升。結(jié)合本研究結(jié)果，在對自閉癥兒童社交溝通能力的康復(fù)訓(xùn)練中，特別是言語知覺的干預(yù)中可以利用視聽一致的刺激模式，提高他們視聽雙通道言語知覺能力，發(fā)揮視聽雙通道感知、理解言語信息的優(yōu)勢，同時(shí)可以設(shè)置適當(dāng)?shù)谋尘霸肼曇詭椭麄儗⒘?xí)得能力順利遷移至日常噪聲環(huán)境中。