蔣重清, 郭姍姍, 張喜娥, 李 東, 排日代·阿卜杜凱尤木, 唐曉雨

(1.遼寧師范大學(xué) 心理學(xué)院，遼寧 大連116029；2.遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心，遼寧 大連 116029)

聲音情緒對面孔性別信息加工的影響

蔣重清1,2, 郭姍姍1, 張喜娥1, 李 東1, 排日代·阿卜杜凱尤木1, 唐曉雨1

(1.遼寧師范大學(xué) 心理學(xué)院，遼寧 大連116029；2.遼寧省兒童青少年健康人格評定與培養(yǎng)協(xié)同創(chuàng)新中心，遼寧 大連 116029)

為探究聲音情緒對面孔性別信息加工的影響，要求被試在高興、生氣、中性、無聲四種聲音條件下判斷中性表情面孔的性別。結(jié)果表明：在生氣聲音條件下，對男性面孔性別判斷的反應(yīng)時顯著短于對女性面孔性別判斷的反應(yīng)時，對男性面孔性別判斷的正確率顯著高于對女性面孔性別判斷的正確率；在高興聲音條件下，對女性面孔性別判斷的正確率顯著高于對男性面孔性別判斷的正確率；在無聲和中性聲音條件下，對面孔性別判斷的反應(yīng)時和正確率均未達(dá)到顯著差異，且中性聲音條件下對面孔性別判斷有很短的反應(yīng)時和很高的正確率，說明中性情緒聲音對面孔性別信息的加工既無干擾也無促進(jìn)。由此推論，面孔性別判斷受聲音情緒信息的影響，其背后的機(jī)制是情緒性別刻板印象。

聲音情緒；面孔性別；跨通道；刻板印象

一、研究背景

生活中能夠準(zhǔn)確識別他人的性別和情緒是社交成功的前提。面孔性別與表情信息之間相互影響*AGUADO L，GARCIA-GUTIERREZ A，SERRANO-PEDRAZA I. Symmetrical interaction of sex and expression in face classification tasks[J]. Attention,perception and psychophysics，2009，71(1)：9-25.*PIXTON T S. Happy to see me, aren’t you, Sally? Signal detection analysis of emotion detection in briefly presented male and female faces[J]. Scandinavian journal of psychology，2011，52(4)：361.*VALDES-CONROY B，AGUADO L，CAHILL M F，et al. Following the time course of face gender and expression processing：a task-dependent ERP study[J]. International journal of psychophysiology，2014，92(2)：59.。研究表明，被試更可能將一個生氣表情的中性性別面孔判斷為男性，將男性生氣面孔判斷為男性的速度快于將女性生氣面孔判斷為女性的速度*石榮. 哭泣表情面孔在識別和解離過程中的注意特征:來自眼動的證據(jù)[D]. 曲阜：曲阜師范大學(xué)，2016.*HESS U，ADAMS R B，GRAMMER K，et al. Face gender and emotion expression：are angry women more like men?[J]. Journal of vision 2009，9(12)：1-8.*吳彬星，張智君，孫雨生. 面孔知覺中面孔性別與情緒表情的相互作用[J]. 心理科學(xué)進(jìn)展, 2014, 22(6):943-952.。Hugenberg 和Sczesny發(fā)現(xiàn)，被試對女性面孔高興表情的識別顯著快于對女性面孔生氣表情的識別*HUGENBERG K，SCZESNY S. On wonderful women and seeing smiles：social categorization moderates the happy face response latency advantage[J]. Social cognition，2006，24(5)：516-539.。

促成面孔性別信息與表情信息交互作用的機(jī)制存在自下而上和自上而下兩種假說。從自下而上的信息加工角度來看，男性面孔特征和憤怒表情特征存在重疊——男性的眉眼間距比女性的小，而人們生氣時由于皺眉也使得眉眼間距變??；而對于笑的表情，眉眼間距得以展開，這與女性面孔特征更相似*蔣重清，王爽，王帥科，等. 對面孔刺激執(zhí)行趨避任務(wù)時的性別效應(yīng)[J]. 遼寧師范大學(xué)學(xué)報(社會科學(xué)版)，2016，39(4)：41-45.。當(dāng)存在相似特征的性別信息和表情信息組合時則可能促進(jìn)雙方的加工*BECKER D V，KENRICK D T，NEUBERG S L，et al. The confounded nature of angry men and happy women[J]. Journal of personality and social psychology，2007，92(2)：179.*SLEPIAN M L，WEISBUCH M，ADAMS R B，et al. Gender moderates the relationship between emotion and perceived gaze[J]. Emotion，2011，11(6)：1439-1444.。對面孔性別和情緒的識別還涉及自上而下的加工，即受到社會認(rèn)知定式的影響。調(diào)查研究發(fā)現(xiàn)，人們普遍認(rèn)為男性更多表現(xiàn)出生氣和自豪等情緒，女性更多表現(xiàn)出高興和害羞等情緒，這種現(xiàn)象被稱之為情緒性別刻板印象*PLANT E A，HYDE J S，KELTNER D，et al.The gender stereotyping of emotions[J]. Psychology of women quarterly，2000，24(1)：81-92.。符合該刻板印象的表情與性別組合可以得到更快的加工。

當(dāng)前對性別與表情信息交互作用的研究僅見于面孔知覺范疇，即性別信息與表情信息都來自于面孔知覺。在現(xiàn)實生活中，人們所接收的信息往往來自多個感覺通道, 如視通道、聽通道等。當(dāng)這些不同感覺通道的信息一致時，通常會相互促進(jìn)加工，反之則相互干擾*MACLEO A，SUMMERFIEL Q. Quantifying the contribution of vision to speech perception in noise[J]. British journal audiology,2009, 21(2)：131.*DE-GELDR B, VROOMEN J. The perception of emotions by ear and by eye[J]. Cognition and emotion，2000，14(3)：289-311.*JOASSIN F，MAURAGE P，CAMPANELLA S.The neural network sustaining the cross model processing of human gender from faces and voices：an fMRI study[J]. Neuroimage，2010，54(2)：1654-1661.*王蘋，潘治輝，張立潔，等. 動態(tài)面孔和語音情緒信息的整合加工及神經(jīng)生理機(jī)制[J]. 心理科學(xué)進(jìn)展，2015，23(7)：1109-1117.。這些跨通道感知覺的研究關(guān)注的主要也是不同通道下同一類信息之間的相互影響，至于對跨通道、跨信息之間的影響的研究較少。

本研究探討的則是聲音中的情緒信息對同時呈現(xiàn)的面孔圖片中的性別信息加工的影響。由于這兩種信息既跨通道又跨類型，它們之間沒有物理特征上的相似性；但是情緒性別刻板印象認(rèn)知定式應(yīng)該還會發(fā)揮作用，因而，本研究可以直接考察該機(jī)制對于情緒與性別信息交互作用的影響。本研究假設(shè)：男性面孔匹配生氣聲音，面孔性別判斷得到易化；女性面孔匹配高興聲音，面孔性別判斷得到易化。

二、實驗研究

(一)被試

選取32名在校大學(xué)生(男女各半)，年齡在20～24歲之間，裸眼視力或矯正視力正常，色覺正常，雙耳聽力正常，無精神疾病。

(二)實驗材料與儀器

本實驗圖片材料均選自中國情感面孔表情圖片系統(tǒng)(Chinese Affective Face Picture System, CAFPS)，選取表情中性(情緒認(rèn)同度:M=84.04%，SD=7.822)的面孔圖片60張(男女各半)。圖片為黑白色，亮度、對比度和尺寸統(tǒng)一，去掉頭發(fā)、耳朵、脖子等外部特征。選取大學(xué)生16名(男女各半)，視力或矯正視力正常，雙耳聽力正常，要求其從面孔材料的性別維度上進(jìn)行5點(diǎn)(1表示男性，5表示女性)等級評定，之后對男女面孔圖片的性別評定結(jié)果分別與3進(jìn)行單樣本t檢驗，結(jié)果差異顯著(p<0.01)。

聲音材料均選自蒙特利爾情緒聲音庫(The Montreal Affective Voices, MAV)*BELIN P，F(xiàn)ILLIONBILODEAU S，GOSSELIN F. The montreal affective voices：a validated set of nonverbal affect bursts for research on auditory affective processing[J]. Behavior research methods，2008，40(2)：531-539.，選取高興、生氣、中性3種情緒聲音各10個，共30個聲音材料(男女各半)，并將所有聲音時長統(tǒng)一為500 ms。對聲音情緒材料從性別維度上進(jìn)行5點(diǎn)(1表示男性，5表示女性)等級評定，之后對男女聲音材料的性別評定結(jié)果分別與3進(jìn)行單樣本t檢驗，結(jié)果差異顯著(p<0.01)。另選取20名研究生，視力或矯正視力正常，雙耳聽力正常，要求其對聲音情緒材料從情緒維度上進(jìn)行7點(diǎn)(1表示高興，7表示生氣)等級評定，之后將高興聲音和生氣聲音分別與中性聲音進(jìn)行配對樣本t檢驗，結(jié)果差異顯著(p<0.01)。材料評定結(jié)果見表1。

表1 材料評定結(jié)果

實驗材料使用17 英寸、刷新率為85Hz 的顯示器呈現(xiàn)，采用E-prime 編制實驗程序并收集數(shù)據(jù)*蔣重清，郭姍姍，劉麗莎，等. 面孔的表情信息優(yōu)先于性別信息加工:來自直接比較的證據(jù)[J]. 心理科學(xué)，2016(5)：1045-1050.。

(三)實驗設(shè)計及流程

本實驗為2(面孔性別：男、女)×4(聲音情緒類別：高興聲音、生氣聲音、中性聲音、無聲)二因素被試內(nèi)設(shè)計，因變量為面孔性別判斷的反應(yīng)時和正確率?？刂坡曇粜詣e信息這一變量，男性面孔配男性聲音，女性面孔配女性聲音。

實驗流程如圖1 所示。實驗中面孔和聲音同時呈現(xiàn)，要求被試對面孔圖片進(jìn)行性別判斷，按F和J鍵既快又準(zhǔn)地做出反應(yīng)，按鍵在被試間平衡。實驗中每張圖片和每個聲音重復(fù)6次，共360個試次，單呈現(xiàn)面孔180個試次，呈現(xiàn)面孔—聲音對兒180個試次，其中高興面孔—聲音對兒、生氣面孔—聲音對兒、中性面孔—聲音對兒各60個試次。

圖1 實驗流程圖

三、結(jié) 果

根據(jù)實驗設(shè)計分別以反應(yīng)時和正確率為因變量，以面孔性別、聲音情緒類別為被試內(nèi)因素，用SPSS16.0進(jìn)行重復(fù)測量方差分析,若不符合球形檢驗假設(shè)則采用Greenhouse-Geisser對自由度進(jìn)行矯正。

對反應(yīng)時進(jìn)行重復(fù)測量方差分析，結(jié)果表明：聲音情緒類別的主效應(yīng)顯著,F(2.42,74.87) =10.45,p<0.01，偏η2=0.25；面孔性別主效應(yīng)顯著,F(1,31)=16.87,p<0.01, 偏η2=0.35，對男性面孔性別判斷的反應(yīng)時均短于對女性面孔性別判斷的反應(yīng)時；聲音情緒類別和面孔性別的交互作用顯著,F(3,93)=6.71,p<0.01, 偏η2=0.18。

對聲音情緒類別和面孔性別的交互作用進(jìn)行簡單效應(yīng)分析，結(jié)果表明，生氣聲音條件下對男性面孔性別判斷的反應(yīng)時顯著短于對女性面孔性別判斷的反應(yīng)時(p<0.01)，無聲條件下對男性面孔性別判斷的反應(yīng)時顯著短于對女性面孔性別判斷的反應(yīng)時(p<0.05)，其他未見顯著，見圖2。進(jìn)一步對生氣聲音條件下男女面孔性別判斷的反應(yīng)時差異與無聲條件下男女面孔性別判斷的反應(yīng)時差異進(jìn)行配對樣本t檢驗，結(jié)果顯示，生氣聲音條件下男女面孔性別判斷的反應(yīng)時差異顯著大于無聲條件下的反應(yīng)時差異，t=2.75,df=31,p=0.01。

圖2 四種聲音條件下面孔性別判斷的反應(yīng)時比較

針對聲音情緒類別主效應(yīng)做進(jìn)一步的多重比較分析，結(jié)果表明：被試對男性面孔圖片進(jìn)行判斷時，生氣聲音條件下的反應(yīng)時顯著短于高興聲音條件下的反應(yīng)時(p<0.01)；中性聲音條件下的反應(yīng)時顯著

短于高興聲音條件下的反應(yīng)時(p<0.01)；生氣聲音條件下的反應(yīng)時顯著短于中性聲音條件下的反應(yīng)時(p<0.05)；生氣聲音條件下的反應(yīng)時顯著短于無聲條件下的反應(yīng)時(p<0.01)；無聲條件下的反應(yīng)時顯著短于高興聲音條件下的反應(yīng)時(p<0.01)。其他未見顯著，見圖3A。被試對女性面孔圖片進(jìn)行判斷時，生氣聲音條件下的反應(yīng)時短于高興聲音條件下的反應(yīng)時(p= 0.051)；中性聲音條件下的反應(yīng)時顯著短于高興聲音條件下的反應(yīng)時(p<0.05)，其他未見顯著，見圖3B。

圖3 判斷面孔性別時四種聲音條件之間的反應(yīng)時比較

對正確率進(jìn)行重復(fù)測量方差分析，結(jié)果表明：聲音情緒類別的主效應(yīng)顯著,F(3,93) =24.31,p<0.01，偏η2=0.44；面孔性別主效應(yīng)顯著,F(1,31)=23.01,p<0.01，偏η2=0.42，對男性面孔性別判斷的正確率高于對女性面孔性別判斷的正確率；聲音情緒類別和面孔性別的交互作用顯著,F(1.67,51.7)=41.23,p<0.01，偏η2= 0.57。

對聲音情緒類別和面孔性別的交互作用進(jìn)行簡單效應(yīng)分析，結(jié)果表明：高興聲音條件下對女性面孔性別判斷的正確率顯著高于對男性面孔性別判斷的正確率(p<0.01)；生氣聲音條件下對男性面孔性別判斷的正確率顯著高于對女性面孔性別判斷的正確率(p<0.01)；中性聲音條件下對男性面孔性別判斷的正確率顯著高于對女性面孔性別判斷的正確率(p<0.01)；無聲條件下對男性面孔性別判斷的正確率顯著高于對女性面孔性別判斷的正確率(p<0.01)，見圖4。進(jìn)一步對4種聲音條件下男女面孔性別判斷的正確率差異進(jìn)行多重比較分析，結(jié)果顯示：高興聲音條件下對男女面孔性別判斷的正確率差異顯著大于中性和無聲條件下的差異(p<0.05)；生氣聲音條件下對男女面孔性別判斷的正確率差異顯著大于中性和無聲條件下的差異(p<0.01)。

針對聲音情緒類別主效應(yīng)做進(jìn)一步的多重比較分析，結(jié)果表明：被試對男性面孔圖片進(jìn)行判斷時，生氣聲音條件下的正確率顯著高于高興聲音條件下的正確率(p<0.01)；中性聲音條件下的正確率顯著高于高興聲音條件下的正確率(p<0.01)；無聲條件下的正確率顯著高于高興聲音條件下的正確率(p<0.01)。其他未見顯著，見圖5C。被試對女性面孔圖片進(jìn)行判斷時，高興聲音條件下的正確率顯著高于生氣聲音條件下的正確率(p<0.01)；中性聲音條件下的正確率顯著高于生氣聲音條件下的正確率(p<0.01)；無聲條件下的正確率顯著高于生氣聲音條件下的正確率(p<0.01)。其他未見顯著，見圖5D。

圖4 四種聲音條件下面孔性別判斷的正確率比較

四、討 論

在高興聲音、生氣聲音、中性聲音和無聲4種條件下，同時呈現(xiàn)面孔圖片，要求被試對圖片中的性別信息做出判斷，探討聲音情緒對面孔性別信息加工的影響。結(jié)果表明：在生氣聲音條件下，被試對男性面孔判斷的反應(yīng)時顯著短于對女性面孔性別判斷的反應(yīng)時，而且被試對男性面孔判斷的正確率也顯著高于對女性面孔性別判斷的正確率；在高興聲音條件下，對女性面孔性別判斷的正確率顯著高于對男性面孔性別判斷的正確率。結(jié)果還揭示了在生氣聲音條件下對男女面孔性別判斷的反應(yīng)時差異顯著大于無聲條件下的反應(yīng)時差異，在高興和生氣聲音條件下對男女面孔性別判斷的正確率差異顯著大于中性和無聲條件下的正確率差異，這進(jìn)一步表明聲音情緒信息對面孔性別信息加工的影響。

該研究結(jié)果與以往的關(guān)于面部表情影響面孔性別識別的研究結(jié)果一致*BECKER D V，KENRICK D T，NEUBERG S L，et al. The confounded nature of angry men and happy women[J]. Journal of personality and social psychology，2007，92(2)：179.*HESS U，ADAMS R B，GRAMMER K，et al. Face gender and emotion expression：are angry women more like men?[J]. Journal of vision 2009，9(12)：1-8.*SLEPIAN M L，WEISBUCH M，ADAMS R B，et al. Gender moderates the relationship between emotion and perceived gaze[J]. Emotion，2011，11(6)：1439-1444.。由于聲音情緒與性別信息既跨通道又跨類型，因而不適合用面孔知覺中情緒與性別信息交互作用的自下而上機(jī)制解釋，而更適合用情緒性別刻板印象認(rèn)知定式來說明，即人們傾向于認(rèn)為女性更多表現(xiàn)出高興情緒而男性更多表現(xiàn)出生氣情緒*PRENTICE D A，CARRANZA E. Sustaining cultural beliefs in the face of their violation：the case of gender stereotypes[M]∥SCHALLER M，CRANDALL C S. The psychological foundations of culture. Mahwah NJ：Lawrence Erlbaum associates, Inc, 2004：259-278.，這符合人們的認(rèn)知定式，并使其得到快速加工。

不過，結(jié)果還揭示了在判斷女性面孔時，高興聲音條件下的反應(yīng)時卻長于生氣聲音條件下的反應(yīng)時，這與Hugenberg 等人關(guān)于面部表情影響面孔性別識別的研究，即對女性高興表情的識別顯著快于對女性生氣表情的識別這一結(jié)果不一致*HUGENBERG K，SCZESNY S. On wonderful women and seeing smiles：social categorization moderates the happy face response latency advantage[J]. Social cognition，2006，24(5)：516-539.，也與其正確率結(jié)論相悖。原因可能是在這種跨通道的設(shè)計下，被試的判斷不再受面孔特征信息的影響，而生氣聲音作為可能的危險信號容易引起被試警覺*IKEDA K，SUGIURA A，HASEGAWA T. Fearful faces grab attention in the absence of late affective cortical responses[J]. Psychophysiology，2013，50(1)：60-69.，因此加速了對生氣條件下女性面孔的反應(yīng)。而在生氣聲音條件下被試對女性面孔反應(yīng)的正確率顯著低于高興聲音條件下的正確率，原因可能在于這不僅受情緒刻板印象的影響，還有可能受到反應(yīng)速度—準(zhǔn)確性的制衡。

此外，因男女面孔均為中性表情圖片，故此，僅就有聲(中性聲音)和無聲進(jìn)行比較。無聲條件和中性聲音條件下對男女面孔圖片性別判斷的反應(yīng)時和正確率均未達(dá)到顯著差異，說明不論有無匹配中性聲音均不影響對面孔性別信息的加工。Stevenage等的啟動研究表明，面孔可以啟動對聲音的認(rèn)知，但聲音卻不能啟動對面孔的認(rèn)知，說明二者的影響具有不對稱性*STEVENAGE S V， HUGILL A R, LEWIS H G. Integrating voice recognition into models of person perception[J]. Journal of cognitive psychology，2012，24(4)：409-419.。這也進(jìn)一步揭示了“是聲音中攜帶的情緒信息對面孔性別判斷產(chǎn)生了影響”這一現(xiàn)象。

五、結(jié) 論

綜上，在生氣聲音條件下，對男性面孔性別判斷得到易化；在高興聲音條件下，對女性面孔性別判斷得到易化。表現(xiàn)在反應(yīng)時結(jié)果上，生氣聲音條件下對男性面孔性別判斷的反應(yīng)時顯著短于對女性面孔性別判斷的反應(yīng)時。表現(xiàn)在正確率結(jié)果上，高興聲音條件下對女性面孔性別判斷的正確率顯著高于對男性面孔性別判斷的正確率；生氣聲音條件下對男性面孔性別判斷的正確率顯著高于對女性面孔性別判斷的正確率；無聲和中性聲音條件下對面孔性別判斷的反應(yīng)時和正確率均未達(dá)到顯著差異，且中性聲音條件下對面孔性別判斷有很短的反應(yīng)時以及很高的正確率，說明中性情緒聲音對面孔性別信息的加工既無干擾也無促進(jìn)。由此推論，聲音情緒同面部表情一樣可以影響面孔性別判斷；聲音情緒攜帶著性別標(biāo)簽，其背后的機(jī)制在于情緒性別刻板印象。

〔責(zé)任編輯：張秀紅〕

The influence of voice emotion on face gender information processing

Jiang Zhongqing1,2， Guo Shanshan1， Zhang Xi’e1， Li Dong1，Pairidai·Apudukaiyoumu1， Tang Xiaoyu1

(1.School of Psychological Science, Liaoning Normal University, Dalian 116029, China；2.Liaoning Collaborative Innovation Center of Children and Adolescents Healthy Personality Assessment and Cultivation, Dalian 116029, China)

In order to explore how the voice emotion influence the gender information processing participants were asked to judge the gender of faces(neutral expression) under four types of sound conditions: happy, angry, neutral and silent. The results showed that the reaction time(RT) for male faces was significantly shorter as well as the accuracy(ACC) for male faces was significantly higher than that of the female faces under the angry voice condition. The accuracy of female faces was significantly higher than that of male faces under the condition of happy voice. The RT and the ACC of the face gender recognition were not significantly under silent voice condition and neutral voice condition.It showed that the processing of face gender information is not modulated by the neutral voice.So we conclude that face gender recognition is influenced by emotional information of voice and its mechanism is the emotional gender stereotype.

voice emotion；facial gender；cross-modal；stereotype

10.16216/j.cnki.lsxbwk.201705001

2017-03-07

：國家自然科學(xué)基金項目“情緒啟動與語義啟動的發(fā)展認(rèn)知神經(jīng)機(jī)制比較”(31271107)；教育部人文社會科學(xué)研究青年基金項目“情緒啟動與語義啟動的直接而系統(tǒng)性實驗比較”(11YJC190010)

蔣重清(1973-)，男，湖南新寧人，遼寧師范大學(xué)教授，博士，主要從事認(rèn)知神經(jīng)科學(xué)研究。

B842.1

：A

：1000-1751(2017)05-0001-06