喻國明 陳雪嬌 修利超

[提要]從插圖、字幕、彈幕再到現(xiàn)在的AR/VR、H5，單一模態(tài)的媒介表達形式越來越難以滿足當(dāng)下社會對信息傳達的需求，因此媒介載體不斷升級，從更高的維度來塑造表意資源的保真度。在這個過程中，“注意”愈發(fā)成為一種稀缺資源。本研究從“字幕”這個細(xì)小點切入，立足于交叉學(xué)科思維，結(jié)合眼動實驗和行為實驗，探究母語電影中的字幕對用戶注意分配以及記憶效果的影響。結(jié)果顯示，在字幕組別(有字幕組、無字幕組和安慰劑對照組)之間，用戶對沒有加工困難的母語字幕表現(xiàn)出高度關(guān)注，但是這種字幕偏好性并沒有提高記憶效果；在畫面和文本之間，用戶會優(yōu)先加工畫面信息，但是記憶測試結(jié)果顯示用戶對文字的記憶效果更好。

媒介作為信息傳達的載體，在技術(shù)發(fā)展的過程中不斷實現(xiàn)組織化、結(jié)構(gòu)化升級。從單媒體、多媒體再到融媒體、智媒體，過去單一模態(tài)的媒介表達形式已難以滿足傳播者對意義傳達的需求，因此產(chǎn)業(yè)不斷升級，發(fā)展出更高維度的媒介載體來補充、協(xié)同、強化信息傳輸過程中表意資源的豐富性以及保真度。在此背景下，由言語以及非言語等表意系統(tǒng)所建構(gòu)的多模態(tài)話語成為當(dāng)下社會實踐的重要形式。[1]

多模態(tài)話語系統(tǒng)的發(fā)展勢必會帶來用戶信息接受方式的變化。技術(shù)變革了媒介內(nèi)容的呈現(xiàn)形式，用戶的感官系統(tǒng)適應(yīng)性地得到“延伸”。在加工如報紙、廣播等單一模態(tài)的媒介內(nèi)容過程中，用戶主要依靠視覺模態(tài)或者聽覺模態(tài)等單一感官通道來與外界進行信息交換；而在看集聲音、文字、圖像等多模態(tài)信息于一體的電視、電影等視頻媒介時，用戶往往需要調(diào)用視覺、聽覺兩種或兩種以上的感知通道進行信息加工。在媒介深度融合的大趨勢下，多模態(tài)話語成為社會文化表征中的重要符號資源，多通道感知越來越成為用戶與信息交互時不可分割的一部分。在這個過程中，信息的無窮性與注意資源的有限性成為一種無法調(diào)和的矛盾，“注意”在當(dāng)下社會愈成為一種稀缺且重要的資源。[2]

從歷史發(fā)展進程上看，人們對媒介內(nèi)容的形式產(chǎn)生注意偏向最早可追溯到中世紀(jì)由歐洲開始興起的插圖繪本，[3]圖片作為對文字的補充，目的是讓讀者明確清晰內(nèi)容的含義；后來字幕開始普遍應(yīng)用于電視、電影等媒體，文本、畫面和聲音這三種模態(tài)同時作用于內(nèi)容呈現(xiàn)；到了新媒體社會，彈幕成為線上視頻平臺不可或缺的一部分，這種介入性信息讓觀眾可以自由地在屏幕上交流意見，構(gòu)建出獨立于影片內(nèi)容之外的第三方社交空間；再到當(dāng)下的數(shù)據(jù)新聞、VR/AR以及H5，這些多模態(tài)話語相交叉的呈現(xiàn)手段與內(nèi)容相互鋪陳參照。由此展開，本研究想要探討的是，面對多種介入性信息，用戶的多種感官通道同時工作，這種背景下應(yīng)該如何把握用戶的注意偏向并量化記憶效果。因此，本文以電影材料為載體，從“字幕”這個細(xì)小點切入，立足于傳播學(xué)、心理學(xué)以及認(rèn)知神經(jīng)科學(xué)的交叉思維，采用眼動實驗的方法，從生理層以及行為層探究母語電影中的字幕對用戶注意分配以及記憶效果的影響。

一、文獻綜述

(一)多模態(tài)傳播過程中認(rèn)知機制的建構(gòu)

人的耳朵、眼睛、皮膚、鼻子以及舌頭等五官分別對應(yīng)著聽覺模態(tài)、視覺模態(tài)以及觸覺模態(tài)等五種符號交際系統(tǒng)?！岸嗄B(tài)話語”(Multimodal Discourse)是指“運用聽覺、視覺、觸覺等多種感覺，并通過語言、圖像、聲音、動作等多種手段和符號資源進行交際的現(xiàn)象”。[4]不同通道的信息呈現(xiàn)會給用戶帶來不同的感知效果并塑造復(fù)雜化的意義表達系統(tǒng)，但是多種模態(tài)的交疊并不總是會帶來高效的傳播效果，當(dāng)疊加的模態(tài)沒有對第一種模態(tài)做出補充或者強化時，就會產(chǎn)生冗余現(xiàn)象，也就是說處于交疊下的多模態(tài)信息有可能相互排斥以及相互抵消，在此背景下，有可能出現(xiàn)認(rèn)知負(fù)荷的現(xiàn)象。

1.字幕呈現(xiàn)與認(rèn)知負(fù)荷

認(rèn)知負(fù)荷指的是信息數(shù)量與大腦工作記憶容量之間相匹配的相關(guān)關(guān)系，如果人們在加工信息的過程中所需要調(diào)配的資源大于個體所具備的認(rèn)知資源總量，會導(dǎo)致較高的認(rèn)知負(fù)荷。該理論的主要研究目的是通過“合理配置”人腦中的工作記憶，來使學(xué)習(xí)效率達到最優(yōu)化。在國內(nèi)，即使是母語電影也會在屏幕中搭配中文字幕，其中畫面和聲音是必要信息，背景音樂是非必要信息，針對字幕是否是一種冗余信息這一問題，國內(nèi)外不同學(xué)者對此展開了實證探討。研究發(fā)現(xiàn)，盡管對視頻中的母語不存在加工困難，但是不同年齡段的用戶還是花費相當(dāng)多的時間去關(guān)注字幕區(qū)，也就是說用戶對字幕的關(guān)注是一種自動化的過程，[5]后來還有研究表明，字幕呈現(xiàn)容易分散用戶對畫面的注意并加重認(rèn)知負(fù)擔(dān)，[6]而當(dāng)視頻中沒有字幕時，被試對畫面的注意更加集中。[7]但是以往的研究尚未系統(tǒng)地驗證用戶對視頻中不同呈現(xiàn)形式的偏向與記憶機制之間的關(guān)系。

2.基于雙重編碼理論的字幕加工

在雙重編碼理論(Dual Coding Theory)中，言語系統(tǒng)的編碼對應(yīng)著文字、聲音等信息；非言語編碼對應(yīng)圖片、視頻等言語之外的信息。該理論認(rèn)為人的大腦可以同時使用視覺和言語兩種方式來呈現(xiàn)信息。雙重編碼理論最早用來解釋人們在認(rèn)知過程的圖片優(yōu)勢效果(Picture-Superiority Effect)，指的是相較于文字信息，被試對圖片的辨識度和記憶效果會更好，[8]后來有學(xué)者通過實驗進一步得出圖文并茂的信息比單一文字更容易被辨識和記憶的結(jié)論。[9]在多模態(tài)話語體系下，持雙重編碼理論的學(xué)者認(rèn)為多感知通道的同時加工并不會對用戶造成認(rèn)知冗余，相反，多通道的配合使用很可能會提高用戶編碼以及學(xué)習(xí)的效率。在字幕相關(guān)研究中，實驗發(fā)現(xiàn)，個體對字幕的處理是一種半自動化的加工機制，[10]不管是觀看字幕或是無字幕(配音版本)的視頻，個體的生理情緒反應(yīng)都沒有顯著差異。[11]同語言的字幕會幫助語言學(xué)習(xí)者更快地將聲音和文本聯(lián)系起來，從而提高他們的記憶效果。[12]也有學(xué)者通過比較有無字幕圖片的對照組發(fā)現(xiàn)，在帶有字幕的情況下，被試的記憶成績比無字幕組的高出了一倍以上。[13]還有研究證實了聲音和文本的同時呈現(xiàn)更有助于受眾對新詞匯的學(xué)習(xí)和記憶這一結(jié)論。[14]

(二)多感知通道下的注意偏向以及測量指標(biāo)

“注意”一直是傳播學(xué)研究的焦點，在認(rèn)知和決策的過程中，個體無時無刻不在注意著某個對象，這涉及到人們心理活動過程中的選擇性和容量性這兩個層面。人們接收到的信息大部分來自于視覺和聽覺這兩個感覺通道，但是在日常生活中并不會注意到所有接觸到的信息，而是有選擇性地注意到其中可利用或者自己感興趣的那部分，這就涉及到在不同感官資源同時作用的過程中個體對注意偏好的選擇。

1.多感知通道下的注意偏向

隨著媒介融合的發(fā)展，目前關(guān)于感知通道的選擇性注意研究已經(jīng)從單一通道發(fā)展到跨通道注意轉(zhuǎn)移的研究上，即探索注意資源在人體的各個感覺通道間是否能夠共享，當(dāng)多種不同形式的內(nèi)容同時呈現(xiàn)，觀看者選擇性地以某個通道進行工作時是否會忽略其它通道，或者說這些通道是否能夠?qū)崿F(xiàn)獨立的加工并且不相互受影響。有研究認(rèn)為，當(dāng)某個感官通道正在進行注意任務(wù)時，同時進行任務(wù)的另一個感覺通道的認(rèn)知能力會受到影響，也就是說人們的兩個通道在同時工作時很難保持和單一通道一樣高的效率，因為通道上的注意資源是有限的，[15]有學(xué)者通過fMRI研究也證實了這一點。[16]而在關(guān)于加工通道的順序上，已有研究發(fā)現(xiàn)，視覺通道在信息獲取和加工過程中發(fā)揮著重要作用并且具有一定的優(yōu)先性，[17]也就是說，在視覺以及聽覺材料同時出現(xiàn)時，被試會自動地先關(guān)注視覺刺激，并且將聽覺信息當(dāng)做視覺信息。[18]

2.注意的測量方式與測量指標(biāo)

個體在進行通道注意分配的過程也是認(rèn)知加工的過程，人們的認(rèn)知決策包括自主過程和自為過程兩方面，前者屬于人們可以感知并控制的信息處理范疇，傳統(tǒng)的問卷調(diào)查法、觀察法可以在一定程度上反應(yīng)并總結(jié)事物發(fā)展的規(guī)律；而后者是處于人腦“意識黑箱”中的無意識加工過程，這部分信息獲取則需要運用認(rèn)知神經(jīng)科學(xué)的測量范式來研究人腦信息的處理機制以及個體實踐中的潛在驅(qū)動要素。

在注意層面，眼睛可以說是一種重要的接受外界刺激并且及時將信息傳送給大腦加工的器官。人在注意某個對象的過程中，視線一般會對焦到對象的某一點上，并且會根據(jù)自身的心理、生理狀態(tài)以及對象的移動轉(zhuǎn)換注意的目標(biāo)。有學(xué)者曾經(jīng)提出“眼-心假設(shè)”(Eye-Mind Assumption)[19](P.178-179)，認(rèn)為人的視線注意對象和心中所想之事具有強烈的聯(lián)結(jié)，比如可以通過用戶凝視一排文字的時間長短來判斷文字內(nèi)容的難度。眼動儀就是用來研究個體在注視某個對象時眼球注視焦點以及運動軌跡的專業(yè)儀器，通過測量個體的眼跳、注視次數(shù)以及注視時長等指標(biāo)，可以間接推測出用戶的內(nèi)部注意加工過程以及行為效果。[20]例如，有學(xué)者通過眼動實驗，總結(jié)出了用戶在閱讀網(wǎng)頁時的“F”型視線運動規(guī)律，[21]并證實了用戶的眼球運動軌跡和注意之間的關(guān)系[22]。

在本研究中，眼動儀將記錄被試在觀看電影過程中視線移動軌跡，根據(jù)眼動數(shù)據(jù)分析出來的相關(guān)結(jié)果，可以了解到被試對字幕區(qū)以及畫面區(qū)的注意分配情況?；谝酝墨I支持，本研究主要采用以下三個指標(biāo)的組合[23]：

(1)注視時長(Fixation Time)，單位為秒(s)。是指實驗對象對屏幕某一區(qū)域內(nèi)所有注視點持續(xù)時間的總和，注視時間意味著對信息加工的深度以及注意分配情況。[24]

(2)注視次數(shù)(Fixation Count)，單位是次(Count)。是指實驗對象對屏幕中某一區(qū)域里的注視點個數(shù)總和，主要受實驗材料難度、用戶既有經(jīng)驗和認(rèn)知等因素影響。通常認(rèn)為，在用戶視線移動過程中，注視次數(shù)與實驗被試所需要處理信息的數(shù)量有關(guān)系，而與信息的加工深度無關(guān)，[23]即注視次數(shù)越頻繁意味著用戶對該區(qū)域的認(rèn)知加工負(fù)荷越高。

(3)平均注視時間(Average Fixation Duration)，單位為毫秒(ms)。是指在興趣區(qū)內(nèi)個體對每個注視點的平均停留時間。這一指標(biāo)通常反應(yīng)的是用戶對該興趣區(qū)的感興趣程度，也可以間接反映所接受信息的難易程度和用戶認(rèn)知的復(fù)雜性，注視點的平均注視時間越長意味著用戶處理信息的過程更深入且精密，這可能是被試認(rèn)知困難或者是注視內(nèi)容對被試來說非常有趣的表現(xiàn)。[20]

(三)記憶分類以及效果測量的范式

記憶是傳播效果的一個重要維度，也是衡量人類認(rèn)知能力的重要標(biāo)尺，在近百年受到過不同程度的關(guān)注，學(xué)者們也對此展開過不同的實證研究。早在19世紀(jì)，德國心理學(xué)家艾賓浩斯就對記憶這一現(xiàn)象展開實證研究，他通過實驗法來量化人們學(xué)習(xí)與遺忘的基本現(xiàn)象，由此得出了“遺忘曲線”的研究成果。后來隨著研究進一步發(fā)展，不同的記憶類型相繼被提出。

根據(jù)內(nèi)容信息在大腦中的存在時間長短，心理學(xué)家將記憶劃分為長時記憶、瞬時記憶和短時記憶這三類，這個系統(tǒng)也被稱為記憶的多儲存模型。瞬時記憶作用時間極其短暫，只能持續(xù)0.5-3秒；短時記憶指的是人們可以輕松回憶起幾秒前發(fā)生的事情；長時記憶則可以在人腦中停留幾小時，甚至幾年。

根據(jù)記憶的功能，學(xué)者將其區(qū)分為內(nèi)隱記憶以及外顯記憶，前者指的是個體有意識地提取大腦中先前儲存的相關(guān)信息的記憶，后者指的是一種難以被個體意識到并且不用意識來提取大腦中相關(guān)信息的記憶，這兩種記憶類型都屬于長時記憶的范疇。本研究主要測量的記憶類型是長時記憶中的外顯記憶。

關(guān)于記憶的測量，目前學(xué)界采用的大多是“學(xué)習(xí)—測驗”范式，即讓被試先學(xué)習(xí)完一段材料，再進行測試的過程。在學(xué)習(xí)階段，研究者會讓被試學(xué)習(xí)一些與研究問題相關(guān)的任務(wù)，然后在隨后的再認(rèn)測驗階段給被試呈現(xiàn)一組辨認(rèn)材料(一半是學(xué)習(xí)過的，一半是沒有學(xué)習(xí)過的)，要求被試進行新舊判斷，以此來量化被試的長時記憶效果。在某些情況下，根據(jù)研究需要，研究者還會在學(xué)習(xí)和測試這兩個階段之間添加分心任務(wù)，防止被試復(fù)述前面的學(xué)習(xí)內(nèi)容。

基于以上綜述，本研究以注意偏向以及記憶效果這兩個變量為研究重點，其中注意偏向指的是用戶在觀看電影時對畫面區(qū)和字幕區(qū)這兩個區(qū)域之間的眼動軌跡，記憶測試則是為了量化個體在多通道感知過程中的認(rèn)知效果。除此之外，在社會心理實驗場景下，安慰劑效應(yīng)很可能會出現(xiàn)，并且十分常見。[25]在本實驗中，有字幕和無字幕電影之間的差異并不僅僅只是字幕，它們的本質(zhì)區(qū)別有兩個方面：第一，屏幕的下方位置有障礙物；第二，該障礙物是文字。如果只比較有無字幕對受眾注意的分配以及記憶影響，這就混淆了上面兩個條件，因為影響被試的也有可能是下方的條形障礙物，而不一定是字幕。為了消除安慰劑效應(yīng)對被試的影響，證實究竟是電影下方的文字還是其他因素對被試造成影響，因此增加了“打碼字幕”，即“安慰劑組”這一實驗條件。安慰劑效應(yīng)僅僅是本研究要控制的一種額外變量，并不是本研究重點?；诖?，本研究提出以下假設(shè)：

H1：在多模態(tài)信息呈現(xiàn)過程中，電影字幕會讓個體對字幕區(qū)以及畫面區(qū)的眼動信號產(chǎn)生差異，在字幕條件下，個體會對畫面更關(guān)注；

H2：在字幕區(qū)是文字而不是其他障礙物(如馬賽克)吸引了用戶的注意，因此無字幕組和安慰劑組的眼動信號不存在差異；

H3：字幕的呈現(xiàn)會影響到個體對畫面區(qū)以及字幕區(qū)的記憶效果，其中無字幕組對畫面信息的記憶效果更好，有字幕組對字幕信息的記憶效果更好；

H4：在多感知通道同時作用的情況下，用戶的眼動信號與注意效果之間存在相關(guān)關(guān)系。

二、電影字幕對用戶注意偏向的影響——來自眼動實驗的證據(jù)

該部分主要探討電影片段中字幕呈現(xiàn)對用戶注意分配的影響，采用眼動設(shè)備進行測量。為了避免單段觀看電影材料所造成結(jié)果的隨機性，本研究選取了四段電影片段，最終采用這四段眼動數(shù)據(jù)的平均值，讓不同組別的被試按順序觀看同樣內(nèi)容、不同字幕條件的材料，以增強實驗結(jié)果的準(zhǔn)確性。須驗證的研究假設(shè)如下：

H1：在多模態(tài)信息呈現(xiàn)過程中，電影字幕會讓個體對字幕區(qū)以及畫面區(qū)的眼動信號存在差異；

H2：在字幕區(qū)是文字而不是其他障礙物(如馬賽克)吸引了用戶的注意，因此無字幕組和安慰劑組的眼動信號不存在差異。

(一)研究方法

1.實驗被試

本實驗開展時間為2019年12月15日至2020年1月10日。期間隨機選取了66位北京市在校學(xué)生參與本次研究，其中男生33名，女生33名，年齡在18歲至26歲之間(22.09±2.55)。為了保證實驗測量結(jié)果的準(zhǔn)確性，在被試的選擇上，本實驗不邀請心理學(xué)專業(yè)的學(xué)生，要求被試裸眼或者矯正視力正常，無色盲色弱，無嚴(yán)重酒癮或者煙癮等不良嗜好，無精神病史或者家族遺傳病史，平時無服用興奮劑等精神活性藥物。實驗開始后，將66位被試隨機分配到3個組別(有字幕組、無字幕組和安慰劑組)中完成實驗，并保證每個實驗組的被試男女性別均等。安慰劑組所看到的字幕為打碼字幕，即字幕區(qū)域被馬賽克所遮擋，以控制字幕文本所可能產(chǎn)生的潛在的安慰劑效應(yīng)。

2.實驗材料

實驗材料為四段電影視頻片段，每段時長2分鐘左右。實驗材料的選擇標(biāo)準(zhǔn)如下：

(1)電影片段的字幕類型以及位置。為增強實驗結(jié)果的準(zhǔn)確性，在選取材料過程中，保證了四部影片的字幕大小、字體一致，統(tǒng)一選擇字幕在畫面框之外的電影片段，避免這些額外變量對被試造成影響。

(2)電影片段的語言。為了避免被試外語水平不一致對實驗結(jié)果造成干擾，本實驗的四段視頻均選擇國產(chǎn)中文電影。

(3)電影片段的信息量。電影片段的信息量不同也會對實驗結(jié)果造成影響，因此在選擇時，選取了四段字幕數(shù)量、鏡頭數(shù)量以及片段時長相當(dāng)?shù)碾娪耙曨l。

(4)電影片段的熟悉度。電影熟悉度會影響被試的記憶效果，它反映了被試在參加實驗之前的已有經(jīng)驗和記憶積累。為了消除電影熟悉度對實驗被試的注意水平以及記憶測試的影響，本研究采用被試熟悉度較低的電影。在確定正式實驗的電影材料之前，邀請了20位本科生和研究生對材料熟悉度進行評定。評定量表根據(jù)過去學(xué)者采用過的《品牌熟悉度量表》改編，[26]根據(jù)得分確定最終采用的實驗材料，結(jié)果如表1所示。

表1 電影熟悉度評定

3.實驗程序

在實驗開始前，先進行眼動儀校準(zhǔn)，再進行眼球定標(biāo)，即讓被試認(rèn)真盯著刺激電腦屏幕上出現(xiàn)的紅點，并讓被試視線隨之移動。如果眼球定標(biāo)精準(zhǔn)度達到基線要求，則可以按任意鍵開始眼動實驗。若達不到，則需要重新定標(biāo)。

在眼球定標(biāo)成功后，按照分組讓被試在Experiment Center軟件上觀看三種字幕(有字幕、無字幕和安慰劑對照)電影視頻，每段時長兩分鐘左右，眼動儀自動記錄被試各項數(shù)據(jù)?？赐昝慷坞娪耙曨l之后要求被試進行2分鐘的計算題測試(數(shù)值在100以內(nèi))，防止在后續(xù)的記憶測試中復(fù)述電影內(nèi)容。

4.數(shù)據(jù)收集和處理

眼動實驗選擇在安靜、無干擾的實驗室場所進行。實驗操作所需的硬件設(shè)備包括：來自德國SMI公司生產(chǎn)的RED固定式視線追蹤眼動儀(采樣頻率120 Hz)，一臺用于向被試呈現(xiàn)實驗刺激的液晶顯示器；相關(guān)的應(yīng)用軟件系統(tǒng)有：iView-RED眼動儀操作軟件，Experiment Center實驗設(shè)計軟件以及BeGaze3.0眼動數(shù)據(jù)分析軟件。其中IView RED以及Experiment Center軟件主要進行眼動數(shù)據(jù)采集；Begaze3.0軟件主要用于數(shù)據(jù)分析與興趣區(qū)劃分。

興趣區(qū)簡稱AOI(Area of Interest)，指的是在屏幕上定義相關(guān)區(qū)域，也就是研究者擬研究區(qū)域。本研究利用Begaze3.0軟件自帶的Dataview模塊功能，將字幕區(qū)和畫面區(qū)選定為興趣區(qū)，最終結(jié)果統(tǒng)計時對這兩部分的興趣區(qū)分別進行眼動指標(biāo)的定量匯總和分析。

(二)研究結(jié)果

采用單因素方差分析(One-way ANOVA)的統(tǒng)計方法對眼動的三個指標(biāo)：注視時間、注視次數(shù)和平均注視時間分別進行統(tǒng)計分析，其中三種字幕組別是自變量，眼動指標(biāo)是因變量。各組的平均數(shù)和標(biāo)準(zhǔn)差如表2所示。

表2 三種字幕條件下各興趣區(qū)的眼動指標(biāo)(M± SD)

結(jié)果發(fā)現(xiàn)，在注視時間上，畫面區(qū)組別的主效應(yīng)(F(2，65)=23.468，p=0.000，η2=3.85)和字幕區(qū)組別的主效應(yīng)(F(2，65)=42.967，p<0.001，η2=0.58)均顯著，進一步進行事后分析，多重比較結(jié)果顯示：有字幕組，無字幕組和安慰劑組之間存在顯著差異(p<0.05)，和無字幕組以及安慰劑組相比，有字幕組在畫面區(qū)的注視時間更短，而在字幕區(qū)的注視時間更長。安慰劑組和無字幕組之間沒有顯著差異。

在注視次數(shù)上，畫面區(qū)組別的主效應(yīng)(F(2，65)=4.389，p=0.016，η2=0.122)和字幕區(qū)組別的主效應(yīng)(F(2，65)=77.278，p<0.001，η2=0.71)均顯著。進一步進行事后分析，多重比較結(jié)果顯示：有字幕組、無字幕組和安慰劑組之間存在顯著差異(p<0.05)。其中，有字幕組在畫面區(qū)的注視次數(shù)要比無字幕組和安慰劑組少，而在字幕區(qū)域的注視次數(shù)要比其他兩個組更多。在畫面區(qū)和字幕區(qū)上，安慰劑組和無字幕組之間沒有發(fā)現(xiàn)顯著差異。

在平均注視時間上，畫面區(qū)組別的主效應(yīng)不顯著(F(2，65)=1.923，p=0.155，η2=0.058)；在字幕區(qū)的平均注視時間上，組別的主效應(yīng)顯著(F(2，65)=46.118，p=0.000，η2=0.59)，進一步進行事后分析，多重比較結(jié)果顯示：有字幕組、無字幕組和安慰劑組之間存在顯著差異(p<0.001)，和無字幕組以及安慰劑組相比，有字幕組在畫面區(qū)的平均注視時間更短，而在字幕區(qū)的注視時間更長。無字幕組在字幕區(qū)的平均注視時間低于安慰劑組。

以上結(jié)果顯示，當(dāng)電影添加了字幕，即文字、聲音以及畫面三種媒介形式同時作用于用戶認(rèn)知時，個體會對文字信息產(chǎn)生注意偏好，從而降低對畫面信息的加工深度以及信息處理數(shù)量，也就是說，電影字幕會讓個體對字幕區(qū)以及畫面區(qū)的眼動信號存在差異，H1成立。

此外，對比安慰劑組和無字幕組，兩個組別在注視時間和注視次數(shù)上沒有顯著差異，但在平均注視時間上，安慰劑組對字幕區(qū)的關(guān)注多于無字幕組，這說明馬賽克作為屏幕上突然出現(xiàn)的障礙物，在某種程度上會產(chǎn)生“彈窗效應(yīng)”，吸引被試的關(guān)注，H2部分成立。但是這種關(guān)注是否會影響被試的記憶效果，即產(chǎn)生“安慰劑效應(yīng)”，還需要結(jié)合記憶部分的研究結(jié)果。

三、電影字幕對用戶記憶效果的影響——來自行為實驗的證據(jù)

這部分考察的是不同組別的用戶在觀看完電影之后的記憶效果以及用戶注意和記憶之間是否有關(guān)聯(lián)。最終的記憶測試結(jié)果也采用四段電影片段的記憶成績平均值，以增強實驗結(jié)果的準(zhǔn)確性。主要驗證以下幾個研究假設(shè)：

H3：字幕的呈現(xiàn)會影響到個體對畫面區(qū)以及字幕區(qū)的記憶效果，其中無字幕組對畫面信息的記憶效果更好，有字幕組對字幕信息的記憶效果更好；

H4：在多感知通道同時作用的情況下，用戶的眼動信號與注意效果之間存在相關(guān)關(guān)系。

(一)研究方法

1.實驗被試

與本文中“電影字幕對用戶注意偏向的影響——來自眼動實驗的證據(jù)”中的被試相同。

2.實驗材料

實驗材料分為干擾材料和測試材料。

干擾材料是100以內(nèi)的加減運算題目，完成時長為兩分鐘左右。目的是為了模擬真實環(huán)境記憶狀態(tài)，避免被試在觀看視頻結(jié)束后復(fù)述電影內(nèi)容。

測試材料選擇學(xué)習(xí)階段在電影中出現(xiàn)過的詞(20個)/畫面截圖(20張)與未曾出現(xiàn)過的詞(20)個/畫面截圖(20張)，將這些詞/畫面截圖嵌入E-Prime 3.0程序，統(tǒng)一以白色背景，黑色字體隨機呈現(xiàn)，要求被試進行再認(rèn)判斷。

3.實驗程序

記憶測試安排在實驗以的眼動實驗之后，為了避免干擾效應(yīng)，讓被試先完成一頁2分鐘100以內(nèi)的加減運算題目，然后進行實驗二。

記憶的測量采用的是再認(rèn)測試。被試閱讀完屏幕上的指導(dǎo)語之后按“空格鍵”開始。要求被試立刻判斷是否在看電影的過程中見過該詞，如果見過，則為舊詞，按“9”鍵；反之，則是新詞，按“2”鍵。如果被試在規(guī)定的2500ms內(nèi)沒有進行反應(yīng)，則視為被試沒有記住該詞，自動跳轉(zhuǎn)到下一個試次(如圖1所示)。刺激材料分為文本(詞匯)和畫面截圖兩個組塊(block)，被試先完成文本組塊，后完成畫面組塊。在每個組塊里，文本和畫面均為40試次，兩個組塊共80個試次(trial)，刺激隨機呈現(xiàn)，其中出現(xiàn)過的舊詞/舊圖和沒有出現(xiàn)過的新詞/新圖各占一半。被試一共要完成四段視頻的測試，一共320個試次。

圖1 實驗程序流程圖

4.數(shù)據(jù)收集和處理

行為數(shù)據(jù)的收集和處理主要使用E-Prime 3.0軟件，該軟件可以設(shè)置實驗刺激的呈現(xiàn)時長，收集實驗對象按鍵的反應(yīng)時和正確率等數(shù)據(jù)。實驗收集的可用數(shù)據(jù)為66份，其中有字幕組被試22人，無字幕組被試22人，安慰劑組被試22人，每組男女比例均等。行為數(shù)據(jù)由E-Prime 3.0軟件收集處理之后，再采用Excel 2018和SPSS 26.0軟件進行統(tǒng)計分析。

(二)研究結(jié)果

采用3(組別：有字幕vs.無字幕 vs.安慰劑)× 2(材料類型：畫面 vs.文本)重復(fù)測量方差分析(Two-way Repeated ANOVA)對記憶成績數(shù)據(jù)進行統(tǒng)計分析，其中組別(有字幕vs.無字幕vs.安慰劑對照)是組間變量，材料類型(畫面 vs.文本)是組內(nèi)變量，記憶測試的反應(yīng)時和正確率是因變量。結(jié)果如表3所示：

表3 三種字幕條件下的個體對畫面和文本的記憶成績(M ± SD)

以上結(jié)果表明，字幕的呈現(xiàn)并不會影響到個體對畫面區(qū)以及字幕區(qū)的記憶效果，H3不成立。但是相較于字幕，三個組別的用戶均對文本信息產(chǎn)生更好的記憶效果，這部分屬于額外發(fā)現(xiàn)。

表4 注意和記憶之間的相關(guān)關(guān)系(r)

由注意與記憶相關(guān)分析分析可知，畫面的注視時間、注視次數(shù)以及平均注視時間與畫面的記憶正確率皮爾遜積差相關(guān)系數(shù)r分別是-0.029、0.127和-0.161，p值均大于0.05，因此相關(guān)不顯著；字幕的注視時間、注視次數(shù)以及平均注視時間與字幕的記憶正確率皮爾遜積差相關(guān)系數(shù)r分別是0.223、0.236和0.107，p值均大于0.05，因此相關(guān)不顯著。上述結(jié)果表明，用戶的注意與記憶效果之間不存在顯著相關(guān)，H4不成立。

四、綜合討論

本研究以電影為載體，以字幕為變量，試圖考察在多種感官通道同時作用的情況下，用戶對畫面和文字的注意偏向以及記憶效果的差異。結(jié)果顯示，在字幕組別(有字幕組、無字幕組和安慰劑對照組)之間，用戶對沒有加工困難的母語字幕表現(xiàn)出高度關(guān)注，但是這種字幕偏好性并沒有提高記憶效果；在畫面和文本之間，用戶對畫面信息加工具有一定的優(yōu)先性，但是記憶測試結(jié)果顯示用戶對文本的記憶效果更好；在注意和記憶的相關(guān)性上，并沒有顯示出明顯差異。

(一)字幕組別：電影字幕的呈現(xiàn)會吸引用戶注意但并不影響記憶效果

眼動數(shù)據(jù)分析顯示，字幕的呈現(xiàn)確實影響了用戶的電影觀看行為，相較于無字幕組與安慰劑組，有字幕組對字幕區(qū)的注視次數(shù)和注視時間顯著高于另外兩組。這個結(jié)果與前人的研究結(jié)果具有一致性，即當(dāng)視頻中有了字幕這一文字信息后，被試會將更多的注意資源分配給字幕，而當(dāng)視頻中沒有字幕時，則會增加對畫面區(qū)的認(rèn)知加工。[6]本實驗采用的材料是對被試沒有認(rèn)知加工障礙的母語視頻和字幕，但是被試仍然分配一部分的注意去關(guān)注字幕，另一方面也說明被試對字幕的閱讀行為是自發(fā)性的，幾乎不需要額外的認(rèn)知資源。這也符合前人的研究發(fā)現(xiàn)，雖然美國被試對英語視頻沒有任何加工障礙，認(rèn)識他們?nèi)匀换ㄙM相當(dāng)大的一部分時間在字幕區(qū)，[3]并且這種注意不受安慰劑效應(yīng)的影響。

記憶的結(jié)果顯示，字幕的呈現(xiàn)雖然吸引了用戶的注意，但是并不會提高用戶的認(rèn)知負(fù)擔(dān)；無字幕雖然少了視覺通道對文字信息的加工，但是也不會降低對用戶對電影畫面和文字的整體記憶。這部分結(jié)果與前人的研究結(jié)果存在差異。持認(rèn)知負(fù)荷論的學(xué)者認(rèn)為，字幕可能會通過冗余效應(yīng)來增大用戶觀看電影過程中的認(rèn)知負(fù)荷，聲音，畫面和文本三者之間存在高度的重合性，用戶對字幕的過多關(guān)注可能會使其喪失對其他信息的編碼和記憶，特別是當(dāng)視頻中出現(xiàn)的是自己熟悉的母語音頻時，字幕很可能成為一種無效信息，從而削弱對電影畫面信息的記憶效果。[5]本研究期待被試對電影信息的辨識和記憶效果會因為字幕的呈現(xiàn)與否而產(chǎn)生差異，但是實驗結(jié)果并沒有支持這一假設(shè)，并且與以往研究存在些許出入。在過去，有學(xué)者在使用教學(xué)視頻來做實驗時，發(fā)現(xiàn)有字幕組的被試對單詞或教學(xué)內(nèi)容的記憶以及理解程度均優(yōu)于無字幕組，也就是說在前人的研究結(jié)果中，字幕確實會對用戶的記憶效果產(chǎn)生影響。[27]此外，雙重編碼理論在教學(xué)領(lǐng)域應(yīng)用時也發(fā)現(xiàn)，當(dāng)知識同時以視覺形式和言語形式呈現(xiàn)時，能夠增強學(xué)生的識別以及記憶，聽覺以及視覺的雙通道運用可以為學(xué)生提供良好的知識補充和輔助，大大降低了認(rèn)知難度。

上述結(jié)論與本研究結(jié)果的差異有可能是由于實驗材料以及被試觀看視頻的動機不同所導(dǎo)致的，已有研究證實用戶在社區(qū)中的參與行為受到內(nèi)在動機的驅(qū)動，這些動機可以劃分為目的性動機、社會提升動機、自我實現(xiàn)動機、維系聯(lián)系動機、娛樂性動機等維度。[28]而在現(xiàn)實生活中，用戶觀看電影大多是出于享樂動機，相較于有負(fù)擔(dān)地觀看學(xué)習(xí)視頻，被試在觀看電影時所調(diào)動的認(rèn)知資源也許會低于教學(xué)類視頻，從而產(chǎn)生認(rèn)知以及記憶效果的偏差。

這進一步表明，當(dāng)用戶在觀看沒有理解和加工難度的視頻片段時，他們有足夠的認(rèn)知資源來同時處理文本和畫面兩部分信息，因此對于電影或者宣傳片這種對用戶沒有理解負(fù)擔(dān)的視頻載體，即使用戶的選擇性注意會偏向?qū)ψ帜坏年P(guān)注，但是是否添加字幕并不會影響用戶對整體內(nèi)容的記憶效果，也不會因此增加用戶的認(rèn)知負(fù)荷。

(二)材料類型：用戶對畫面信息的加工具有優(yōu)先性，但文本記憶效果更好

眼動數(shù)據(jù)分析顯示，電影畫面區(qū)的注視時長、注視次數(shù)都要高于字幕區(qū)域，這表明在畫面、文本和聲音的多模態(tài)資源整合中，用戶對畫面的加工要顯著多于文本。雙重編碼理論認(rèn)為在用戶的認(rèn)知過程中存在圖片優(yōu)勢效果，即被試對圖片的辨識度要優(yōu)于文字信息。[8]本實驗結(jié)果也支持了這個理論，即用戶對圖片的注視時長要顯著多于描述性文字，在文字和圖片同時出現(xiàn)的情況下，用戶會對圖片信息優(yōu)先加工。[29]已有研究認(rèn)為用戶觀看電影的行為與場景知覺相似，當(dāng)場景中呈現(xiàn)的刺激突顯水平越高，越能夠得到用戶更多的注意分配，[30]由于視頻畫面能夠傳達更多的信息并且本身更加直觀鮮明，因此被試會不自覺的將更多的注意資源分配給畫面。在廣告領(lǐng)域，也有研究證實，如果在廣告中增加字幕會增加用戶對文字信息的辨識，從而減弱畫面信息的記憶效果。[28]

在觀看電影過程中，被試依靠視覺通道獲取畫面信息，通過聽覺通道獲取聲音信息，當(dāng)視頻中沒有了字幕信息時，被試主要依靠聽覺通道來獲取文本信息以作為畫面信息的補充和解釋。但是實驗結(jié)果顯示，不管字幕區(qū)有沒有文本信息，被試對文本的記憶效果均優(yōu)于對畫面的記憶效果，這一結(jié)論符合以往的研究結(jié)果，也就是說人們的兩個通道在同時工作時很難保持和單一通道一樣高的效率，因為通道上的注意資源是有限的。[31]本實驗結(jié)果中文本記憶效果優(yōu)于畫面記憶效果，這說明當(dāng)聲音信息以文本形式重復(fù)呈現(xiàn)的時候，實驗對象對視覺信息的加工會受到聽覺信息的影響，在這兩者中視覺通道具有一定的優(yōu)先性，[17]但是被試對聽覺通道也就是文本信息的記憶效果更好。

同時，本研究也存在著一些不足之處。首先是樣本選擇，本實驗在樣本量上雖然已經(jīng)達到了眼動實驗科學(xué)性的要求，但是在樣本構(gòu)成的多樣性上仍有缺陷。因為所挑選的實驗對象主要以北京市在校大學(xué)生為樣本，具有一定的片面性，難以代表廣大電影觀看人群。后續(xù)研究可以進一步擴大被試的年齡階層，豐富實驗結(jié)論。其次是實驗材料，本研究以被試熟悉度較低的電影片段作為實驗材料，其目的是為了避免被試已有觀影經(jīng)驗對實驗結(jié)果造成干擾。這雖然控制了實驗干擾，但是也限制了研究結(jié)果，在后續(xù)研究中可以視頻類型為中介或者調(diào)節(jié)變量，進一步考察電影字幕的傳播效果。

五、結(jié)語

在數(shù)字空間中，多模態(tài)話語占據(jù)著用戶感官通道的加工，海量冗余信息愈發(fā)讓“注意”成為一種稀缺資源。本研究從電影字幕的角度切入，探究畫面、文本以及聲音這三種媒介信息的協(xié)調(diào)和編排對用戶注意以及記憶的影響。結(jié)果表明，個體對電影畫面信息的加工具有優(yōu)先性，但是字幕的加入的確會對注意資源的分配產(chǎn)生影響，而且這種影響并非是一種安慰劑效應(yīng)，而是一種相對自動化、習(xí)慣化的注意分散。字幕會吸引個體的興趣、降低對電影畫面信息的加工深度和對電影畫面的信息處理數(shù)量。然而，字幕呈現(xiàn)所導(dǎo)致的這種注意分散卻并沒有影響到對電影畫面和文本信息的記憶，這與個體對字幕的注意偏好無顯著關(guān)聯(lián)。