龔兵兵

（三江學(xué)院外國(guó)語(yǔ)學(xué)院，江蘇 南京 211200）

一、引言

技術(shù)的演變和互聯(lián)網(wǎng)的全球擴(kuò)展使得信息能在世界各地的交流，視聽(tīng)資源層出不窮，字幕視頻逐步發(fā)展成一種全球性語(yǔ)言學(xué)習(xí)資源，人們對(duì)字幕文本的接觸和研究不斷增加。字幕是一個(gè)已被使用了很長(zhǎng)一段時(shí)間的多用途工具，占據(jù)獨(dú)特的地位，它加強(qiáng)了語(yǔ)言信息的傳送，增強(qiáng)了對(duì)音頻信息的回憶和識(shí)別，使得語(yǔ)言內(nèi)容更為突出，和聲頻同時(shí)展現(xiàn)有助于理解更復(fù)雜的信息，增強(qiáng)意義的輸入，字幕在視聽(tīng)語(yǔ)境中可被用于不同目的。多模態(tài)字幕文本使得學(xué)習(xí)者可以接觸真實(shí)的目標(biāo)語(yǔ)文化，提高學(xué)習(xí)動(dòng)力，并可兼顧學(xué)習(xí)者的不同學(xué)習(xí)風(fēng)格，同時(shí)通過(guò)視覺(jué)理解和聽(tīng)覺(jué)理解的互動(dòng)深化對(duì)整體語(yǔ)篇的理解效果。二語(yǔ)學(xué)習(xí)中，字幕視頻構(gòu)建了一種個(gè)性化、自主式學(xué)習(xí)環(huán)境，改進(jìn)其自我學(xué)習(xí)行為，促進(jìn)外語(yǔ)教學(xué)向以學(xué)生為中心的自我組織型學(xué)習(xí)模式轉(zhuǎn)換，為學(xué)習(xí)者提供更多的語(yǔ)言輸入與實(shí)踐機(jī)會(huì)從而促進(jìn)其外語(yǔ)學(xué)習(xí)，同時(shí)加強(qiáng)其學(xué)習(xí)的社會(huì)聯(lián)系，提高其自我效能感。[1]盡管字幕有較強(qiáng)的實(shí)用性以及較高的成本效益，但字幕的實(shí)際應(yīng)用更多的是依靠傳統(tǒng)經(jīng)驗(yàn)而不是基于實(shí)證研究之上，特別是在字幕權(quán)衡效應(yīng)這一塊。在多模態(tài)文本語(yǔ)境下，將眼動(dòng)數(shù)據(jù)作為注意分配的測(cè)量指標(biāo)這一方法廣為認(rèn)可。在認(rèn)知科學(xué)、教育科學(xué)、心理語(yǔ)言學(xué)和實(shí)驗(yàn)心理學(xué)等諸多領(lǐng)域，眼動(dòng)追蹤已被用于研究認(rèn)知負(fù)荷、不同通道的加工過(guò)程、注意分配等。盡管許多研究已經(jīng)使用眼動(dòng)追蹤來(lái)分析靜態(tài)閱讀，相較而言，卻鮮有研究采用眼動(dòng)追蹤來(lái)分析與動(dòng)態(tài)圖像和聲音同時(shí)呈現(xiàn)的視頻字幕文本的加工過(guò)程。

二、字幕的概念

影視字幕從廣義上來(lái)說(shuō)，指疊印在影片動(dòng)態(tài)或靜態(tài)的畫(huà)面中的文字或以文字形式出現(xiàn)在影視作品中的非影像內(nèi)容，它既包括影視作品里的對(duì)話等非影像內(nèi)容的文字顯示形式即音頻信息處理型字幕（包含對(duì)話或人們說(shuō)話聲音的語(yǔ)言信息處理型和轉(zhuǎn)錄非對(duì)話音頻如嘆氣聲、門(mén)吱吱聲等的聲音信息處理型），也包括影視作品中片頭主創(chuàng)人員名單、片中標(biāo)題、內(nèi)容注解（如人物、時(shí)間、地點(diǎn)等）、欄目題花、片尾演職員表、贊助單位等后期加工的其他解釋性、裝飾性及功能性文字即場(chǎng)景信息處理型字幕（亦稱隱性字幕）。[2]場(chǎng)景信息處理型字幕又可分為描述性場(chǎng)景字幕和評(píng)價(jià)性場(chǎng)景字幕，常見(jiàn)于娛樂(lè)綜藝節(jié)目，前者指站在說(shuō)話者或聽(tīng)者的立場(chǎng)對(duì)出演者說(shuō)話期間的面部表情或行動(dòng)等說(shuō)話場(chǎng)景等信息進(jìn)行的補(bǔ)充的字幕以幫助觀眾補(bǔ)充理解說(shuō)話內(nèi)容；后者指以制作者的角度對(duì)說(shuō)話內(nèi)容或場(chǎng)景進(jìn)行再解釋，挖掘其更加深刻復(fù)雜的意義，使觀眾按照制作團(tuán)隊(duì)誘導(dǎo)的方向思想的一種類型的字幕。場(chǎng)景信息處理型字幕也是現(xiàn)下流行的“彈幕”（彈幕原指戰(zhàn)場(chǎng)上由密集子彈形成的火力網(wǎng)，現(xiàn)多用在視頻網(wǎng)站中飛過(guò)的即時(shí)評(píng)論字幕）的衍生原型。狹義上影視字幕即語(yǔ)言信息處理型字幕（亦稱顯性字幕），僅指影視作品中對(duì)白、獨(dú)白、旁白等的文字轉(zhuǎn)換轉(zhuǎn)錄或轉(zhuǎn)譯形式，亦稱唱詞字幕或人聲字幕，與顯示于舞臺(tái)兩旁或上方的戲劇作品字幕不同，它一般出現(xiàn)在屏幕下方。本課題的研究對(duì)象僅限于狹義上的影視字幕（下文所談字幕均指唱詞字幕）。[3]

三、兩種對(duì)立觀點(diǎn)

先前一些研究主張字幕文本處理和圖像處理之間存在權(quán)衡效應(yīng)，認(rèn)為觀看字幕視頻加工需要處理重疊的三個(gè)不同平行源信息即視覺(jué)圖像、屏幕字幕及音頻，是一項(xiàng)需要相當(dāng)大程度注意資源的繁重任務(wù)，它需要在文本和圖像之間進(jìn)行多次注意轉(zhuǎn)換，對(duì)多重來(lái)源（字幕和視覺(jué)場(chǎng)景）復(fù)雜信息的處理需要不同的加工策略并對(duì)這些來(lái)源的信息進(jìn)行整合。[4]此外，聽(tīng)一個(gè)非母語(yǔ)音頻也可能意味著來(lái)自于聽(tīng)覺(jué)通道的潛在干擾，觀眾的信息處理能力有限，其處理能力可能會(huì)超載，尤其是在非同態(tài)來(lái)源傳送信息時(shí)，因?yàn)檫@需要就不同的刺激源進(jìn)行注意分配。[5]平行源信息的處理整合對(duì)認(rèn)知要求高的話，注意資源在此類任務(wù)中需要被靈活分配給平行信息源，那么當(dāng)注意力更側(cè)重于字幕時(shí)，圖像處理效果則較差，反之亦然，字幕處理或字幕識(shí)別測(cè)量結(jié)果和即視覺(jué)處理或視覺(jué)場(chǎng)景識(shí)別測(cè)量結(jié)果之間存在著權(quán)衡效應(yīng)或負(fù)相關(guān)關(guān)系。[6]

但是，也有不少學(xué)者持對(duì)立觀點(diǎn)，他們強(qiáng)調(diào)從認(rèn)知視角來(lái)看，在觀看字幕視頻節(jié)目時(shí)，視覺(jué)信息和文本信息相關(guān)，圖像通過(guò)提供恰當(dāng)語(yǔ)境促進(jìn)字幕理解，圖像事實(shí)上不僅不會(huì)產(chǎn)生干擾作用，反而有時(shí)甚至起到了輔助性作用，減少了語(yǔ)言信道的負(fù)荷，使學(xué)習(xí)者更加容易激活認(rèn)知圖式，字幕和視覺(jué)場(chǎng)景兩個(gè)視覺(jué)源的持續(xù)整合處理應(yīng)該相對(duì)容易、不特別費(fèi)力，閱讀和視覺(jué)圖像處理是高效的、半自動(dòng)化的認(rèn)知過(guò)程[7]，且一個(gè)信息冗余但連貫的語(yǔ)境對(duì)閱讀和視覺(jué)圖像處理二者之間的協(xié)調(diào)并不構(gòu)成什么大問(wèn)題，這僅關(guān)乎注意力分配和信息整合方面策略的發(fā)展和應(yīng)用[8]。此外，即使由于在注意資源或執(zhí)行控制能力上出現(xiàn)個(gè)體差異，字幕處理能力較強(qiáng)的受試在圖像處理上也更加熟練[9]。據(jù)此，字幕視頻會(huì)使學(xué)習(xí)者很好地理解影視內(nèi)容而不會(huì)在圖像處理和文本處理之間產(chǎn)生顯著權(quán)衡效應(yīng)或不能兼顧兩者，即當(dāng)更多的認(rèn)知資源用于字幕處理，視覺(jué)場(chǎng)景處理的效果將不會(huì)顯著降低。[10]這也是本文所秉持的觀點(diǎn)。由于先前研究在方法方面的局限性，相關(guān)研究未能就這一點(diǎn)給出令人信服的實(shí)證解釋。在本項(xiàng)研究中將主要通過(guò)采用整合眼動(dòng)數(shù)據(jù)、詞匯識(shí)別和視覺(jué)場(chǎng)景識(shí)別等多種測(cè)量手段，系統(tǒng)性分析學(xué)習(xí)者對(duì)字幕視頻的詞匯識(shí)別、場(chǎng)景識(shí)別和注意分配等認(rèn)知加工過(guò)程來(lái)檢驗(yàn)這一觀點(diǎn)。

四、研究方法

（一）研究問(wèn)題和實(shí)驗(yàn)對(duì)象

本研究通過(guò)實(shí)驗(yàn)分析詞匯識(shí)別和場(chǎng)景識(shí)別之間的關(guān)系來(lái)檢驗(yàn)場(chǎng)景和字幕處理之間的權(quán)衡效應(yīng)是否存在，并通過(guò)成績(jī)測(cè)量和眼動(dòng)分析的結(jié)合為字幕視頻的認(rèn)知加工提供新的實(shí)驗(yàn)證據(jù)。通過(guò)校園招募的方式，40 位來(lái)自于某高校的本科生和研究生（其中女性22 名，男性18 名，理工學(xué)科背景的20 人，文史哲學(xué)科背景的20 人，平均年齡24.1（±1.8），標(biāo)準(zhǔn)差4.37，）參與了本實(shí)驗(yàn)。所有受試的母語(yǔ)均為漢語(yǔ)，平均都已學(xué)了9.6 年英語(yǔ)，他們的裸眼視力或校正視力均正常，無(wú)色盲、色弱，對(duì)由計(jì)算機(jī)呈現(xiàn)的刺激材料均無(wú)閱讀障礙。所有受試均未參加過(guò)類似實(shí)驗(yàn)也均未接觸過(guò)本實(shí)驗(yàn)所使用的字幕視頻材料，其所承擔(dān)任務(wù)均在一天相似的時(shí)間進(jìn)行。所有受試均自愿參加實(shí)驗(yàn)，均填寫(xiě)了實(shí)驗(yàn)知情同意書(shū)，做完實(shí)驗(yàn)后均獲取適量報(bào)酬。

（二）實(shí)驗(yàn)材料、工具與過(guò)程

實(shí)驗(yàn)選用了一個(gè)15 分鐘時(shí)長(zhǎng)的視頻片段。這段視頻取自紀(jì)錄片《戴安娜到梅根：王室婚禮的秘密》，該片段介紹了從戴安娜王妃到威廉和哈里王子的英國(guó)皇家婚禮的歷史和禮儀。其字幕行長(zhǎng)度、每行字符數(shù)和顯現(xiàn)時(shí)間等均遵循了現(xiàn)有標(biāo)準(zhǔn)。字幕總共為169 句，為單行。在影視片段中，這些目標(biāo)字幕均避開(kāi)在開(kāi)始半分鐘和最后半分鐘出現(xiàn)。根據(jù)前測(cè)，這一主題的理解難度系數(shù)適中，內(nèi)容信息以一個(gè)結(jié)構(gòu)簡(jiǎn)單的時(shí)間順序呈現(xiàn)，字幕視頻音效清晰、語(yǔ)速正常與視覺(jué)呈現(xiàn)速度適中。所有被試所使用的教學(xué)材料均是同一段內(nèi)容的教學(xué)視頻材料，不存在學(xué)習(xí)內(nèi)容的差別 此項(xiàng)無(wú)關(guān)變量。

研究的主要因變量是詞匯識(shí)別和場(chǎng)景識(shí)別測(cè)試的成績(jī)，前者通過(guò)選擇題試卷測(cè)得，而后者則通過(guò)計(jì)算機(jī)處理的識(shí)別測(cè)試獲得。字幕效用和要旨理解的檢驗(yàn)也被展開(kāi)，二者是通過(guò)問(wèn)卷進(jìn)行，目的在于測(cè)試受試字幕的使用程度并對(duì)影視主旨的理解程度。此外，為了更好地了解字幕視頻加工過(guò)程，研究還采用了眼動(dòng)分析，以使我們能夠在學(xué)習(xí)者觀看字幕視頻時(shí)追蹤其視覺(jué)注意點(diǎn)與路徑，并就其加工策略做出一些推斷。字幕詞匯識(shí)別測(cè)試卷通過(guò)有關(guān)目標(biāo)字幕確切用語(yǔ)的多項(xiàng)選擇題，評(píng)測(cè)了學(xué)習(xí)者識(shí)別字幕中呈現(xiàn)的具體單詞或短語(yǔ)的能力。測(cè)試卷包括20 題，受試從四個(gè)選項(xiàng)中選出正確的答案，其中三個(gè)為語(yǔ)義上非常接近的干擾項(xiàng)，詞匯識(shí)別測(cè)試的成績(jī)是通過(guò)計(jì)算正確答案的比例的來(lái)獲得的。該測(cè)試卷克隆巴赫系數(shù)為0.79，信度較高。場(chǎng)景識(shí)別測(cè)試采用了自行設(shè)計(jì)的簡(jiǎn)單識(shí)別程序。45 幅定格圖像被隨機(jī)呈現(xiàn)在電腦屏幕上，受試需通過(guò)兩個(gè)按鍵決定呈現(xiàn)在屏幕上的每幅定格圖像是否屬于視頻的一部分?；卮鹗亲钥厮俣鹊?。識(shí)別測(cè)試中選用的定格圖像的1/3 即15 幅均選自于實(shí)驗(yàn)中展示的影視片段。其余30 幅圖像均取自同一影片，它們沒(méi)有展示過(guò)給受試且其他選項(xiàng)非常相似的，這些陪襯定格圖像是由兩位高校英語(yǔ)教師選定的，他們?cè)噲D將目標(biāo)幀和陪襯幀之間的相似性最大化。正確識(shí)別的比例即為圖像識(shí)別測(cè)試的成績(jī)。字幕效用問(wèn)卷采用了五分量表，其問(wèn)題主要涉及受試對(duì)字幕的注意、對(duì)字幕實(shí)用性、對(duì)字幕的理解效用、滿意度等，如：受試對(duì)字幕閱讀的難易度的感知（從非常困難到非常容易）；受試使用字幕幫助其對(duì)影視的理解的頻率如何（從沒(méi)有到總是）；字幕對(duì)其理解的幫助程度如何（從干擾很大到幫助很大）等等。主旨理解問(wèn)卷包含涉及視頻內(nèi)容的20個(gè)多項(xiàng)選擇題，目的在于評(píng)價(jià)受試是否理解字幕視頻片段的主要概念、觀點(diǎn)等。對(duì)于每個(gè)問(wèn)題，受試需要從四個(gè)選項(xiàng)（包括一個(gè)正確選項(xiàng)和三個(gè)干擾項(xiàng)）中選擇正確答案，正確答案的比例即為主旨理解測(cè)試的成績(jī)。主旨理解問(wèn)卷的信度為0.75。

此外，研究還將在線眼動(dòng)追蹤技術(shù)與行為實(shí)驗(yàn)相結(jié)合，使用Eyelink 眼動(dòng)儀實(shí)時(shí)記錄受試眼動(dòng)數(shù)據(jù)。該系統(tǒng)將攝像機(jī)，紅外光源等重要部件集成到顯示器上，它有著相對(duì)較高的精確度和自由移動(dòng)度，確保了頭部運(yùn)動(dòng)補(bǔ)償以及低偏動(dòng)效果，它采用了雙眼眼動(dòng)追蹤（即對(duì)于每個(gè)注視數(shù)據(jù)項(xiàng)，它同時(shí)收集兩只眼睛的數(shù)據(jù)）。[11]本實(shí)驗(yàn)中，采樣速率設(shè)定為50 赫茲（即每秒收集記錄五十次凝視數(shù)據(jù)），最小注視時(shí)長(zhǎng)設(shè)定為100 毫秒，注視半徑為40 像素（即屬于同一注視的所有連續(xù)注視點(diǎn)的有效范圍為半徑為40 像素的圓內(nèi)）。本研究將眼動(dòng)數(shù)據(jù)分成兩組：一組為字幕區(qū)即閾值線以下區(qū)域，另一組為圖像區(qū)即字幕區(qū)上部區(qū)域，閾值線的默認(rèn)位置設(shè)定在離屏幕（1024×768 顯示分辨率，刷新頻率為85 Hz）頂部624 像素處（字幕區(qū)域占屏幕空間的18.7%），閾值線以上的注視被視為對(duì)圖像的注視，而閾值線之下的注視被視為對(duì)字幕的注視。[12]

基本程序。進(jìn)入實(shí)驗(yàn)室后，每個(gè)受試都被單獨(dú)測(cè)試。受試會(huì)被告知相關(guān)實(shí)驗(yàn)過(guò)程的總體介紹和具體指導(dǎo)，如被告知他們將會(huì)觀看一個(gè)英語(yǔ)字幕視頻節(jié)目，然后回答關(guān)于該節(jié)目的一些問(wèn)題等。受試被安排坐在顯示器前帶上耳機(jī)，眼睛距離屏幕大約60 厘米，在進(jìn)行校準(zhǔn)程序后，受試觀看了15 分鐘的字幕視頻片段且不得暫停播放。觀看后，受試被要求按照以下順序填寫(xiě)三份問(wèn)卷或試卷：字幕效用調(diào)查問(wèn)卷，要點(diǎn)理解調(diào)查問(wèn)卷和詞匯識(shí)別測(cè)試卷。在完成最后一份試卷后，他們接受了計(jì)算機(jī)處理的場(chǎng)景識(shí)別測(cè)試。完成實(shí)驗(yàn)的總時(shí)間大約是40 分鐘。

五、結(jié)果與討論

本研究運(yùn)用SPSS 對(duì)學(xué)習(xí)成績(jī)和眼動(dòng)指標(biāo)進(jìn)行綜合分析，P 值采用Green-house Geisser 法校正以得出相關(guān)結(jié)論。受試表明，他們已經(jīng)總是或經(jīng)常使用字幕（M=4.6，SD=0.2，95%置信區(qū)間：4.3-4.8），他們表明，在影視理解上字幕對(duì)有幫助或幫助很大（M=4.5，SD=0.3，95%置信區(qū)間：4.2-4.7）。受試對(duì)字幕的視覺(jué)呈現(xiàn)的記憶與他們自己的報(bào)告大體一致。這些研究結(jié)果和眼動(dòng)結(jié)果一起，表明受試閱讀了字幕并依靠字幕理解這部影視。參加者還表明，閱讀字幕容易或很容易（M=4.3，SD=0.4，95%置信區(qū)間：4.1-4.6）。受試認(rèn)為跟上理解字幕視頻的內(nèi)容相當(dāng)容易（M=4.6，SD=0.6，95%置信區(qū)間：4.1-4.9），他們判斷自己對(duì)字幕視頻的理解還是相當(dāng)不錯(cuò)的（M=4.7，SD=0.2，95%置信區(qū)間：4.4-4.8）。因此，受試報(bào)告稱，在字幕閱讀與影視內(nèi)容跟進(jìn)與理解上并沒(méi)有太大的問(wèn)題?？傮w而言，受試對(duì)字幕視頻任務(wù)的主觀認(rèn)知是相當(dāng)容易。在影視主旨理解方面，受試的準(zhǔn)確度都很高（正確答案比例為90%）。在字幕詞匯識(shí)別方面，對(duì)受試來(lái)說(shuō)，詞匯識(shí)別測(cè)試要比要點(diǎn)理解問(wèn)卷難度大，識(shí)別字幕中實(shí)際呈現(xiàn)的詞匯要比回答有關(guān)視頻內(nèi)容的總體性、一般性問(wèn)題更難，然而，正確答案的比例表明詞匯識(shí)別成績(jī)相當(dāng)好（正確答案比例為85%）。在場(chǎng)景識(shí)別測(cè)試方面，影視場(chǎng)景識(shí)別正確率都很高（為87%）?？傮w而言，在這些不同測(cè)量方法下，受試總體理解、詞匯識(shí)別能力、場(chǎng)景識(shí)別能力各方面成績(jī)都很好，字幕閱讀與圖像處理似乎并不具有強(qiáng)關(guān)聯(lián)性。為了進(jìn)一步檢驗(yàn)字幕處理和圖形處理之間是否存在權(quán)衡效應(yīng)，本研究對(duì)文本相關(guān)的詞匯識(shí)別和圖像相關(guān)的場(chǎng)景識(shí)別二者之間的相關(guān)性展開(kāi)了分析，結(jié)果顯示，總體而言，詞匯識(shí)別和場(chǎng)景識(shí)別整體相關(guān)性并不顯著（r = 0.07，ns）。然而，研究發(fā)現(xiàn)部分受試的詞匯識(shí)別和場(chǎng)景識(shí)別之間存在顯著正相關(guān)（r = 0.23，P ＜0.05），這與字幕處理和場(chǎng)景處理之間存在權(quán)衡效應(yīng)或負(fù)相關(guān)也恰恰相反。該正相關(guān)關(guān)系原因在于具有更強(qiáng)注意能力或執(zhí)行控制力的學(xué)習(xí)者個(gè)體更能同時(shí)地處理字幕信息和場(chǎng)景信息，而且在任務(wù)難度允許或?qū)θ蝿?wù)有足夠?qū)嵺`時(shí)，這些個(gè)體差異就更易被捕捉到。研究還發(fā)現(xiàn)要點(diǎn)理解和詞匯識(shí)別之間的關(guān)系是正相關(guān)，整體上剛好超過(guò)顯著水平（r =0.21，P=0.06），但研究未發(fā)現(xiàn)場(chǎng)景識(shí)別和要點(diǎn)理解之間存在顯著相關(guān)性（r=0.09，P＞0.05）。

此外，在眼動(dòng)方面分析對(duì)獲得學(xué)習(xí)者視覺(jué)注意方向和加工策略的情況有所幫助，即通過(guò)分析學(xué)習(xí)者的注意力分配比例，研究者可以將眼動(dòng)數(shù)據(jù)與其認(rèn)知過(guò)程對(duì)應(yīng)起來(lái)。研究發(fā)現(xiàn)，與上部圖像區(qū)相比，對(duì)字幕區(qū)的注視（即超過(guò)100 毫秒經(jīng)過(guò)充分加工能獲得清晰的像的眼動(dòng)行為）更多（t=-8.53，P＜0.0001），對(duì)字幕區(qū)的注視次數(shù)實(shí)際高達(dá)對(duì)上部圖像區(qū)注視次數(shù)的三倍多（字幕：M=168.24，場(chǎng)景：M=51.68）。然而，字幕區(qū)的平均注視時(shí)間①要顯著短于視覺(jué)場(chǎng)景區(qū)或圖像區(qū)的平均注視時(shí)間（字幕區(qū)：M=198 毫秒，場(chǎng)景 區(qū)：M=388 毫 秒，t=2.98，P＜0.05）。總 體 而言，受試高達(dá)66%的注視時(shí)間花在了字幕區(qū)，而僅有剩余部分花在了屏幕上部區(qū)域。雖然研究發(fā)現(xiàn)受試對(duì)字幕的注視次數(shù)更多，但其在圖像上的平均注視時(shí)間更長(zhǎng)。對(duì)目標(biāo)位置注視的定性分析表明，對(duì)字幕的注視更短這一現(xiàn)象發(fā)生在所有字幕上，而對(duì)圖像區(qū)注視更長(zhǎng)的情況則主要發(fā)生在具體的、引人注意的視覺(jué)凸顯場(chǎng)景部分。研究還發(fā)現(xiàn)，總體而言，注視次數(shù)與路徑長(zhǎng)度②相關(guān)（r=0.78，P＜0.05），但進(jìn)一步分析發(fā)現(xiàn)只有字幕區(qū)的注視數(shù)量和路徑長(zhǎng)度之間的顯著相關(guān)性（r=0.90，P＜0.05），而圖像區(qū)則并非如此（r=0.28，P＞0.05）。這表明，眼球運(yùn)動(dòng)主要集中于字幕閱讀，而在視覺(jué)場(chǎng)景分析中的眼球運(yùn)動(dòng)只占小部分，即受試對(duì)字幕的注視多于對(duì)屏幕上部區(qū)域的注視。研究也發(fā)現(xiàn)，注視數(shù)量和視覺(jué)轉(zhuǎn)換次數(shù)③之間存在正相關(guān)關(guān)系（r= 0.58，P＜0.05）。更具體而言，字幕區(qū)和圖像區(qū)之間的轉(zhuǎn)換次數(shù)與對(duì)屏幕上部圖像區(qū)的注視數(shù)量有關(guān)（r= 0.63，P＜0.05），對(duì)視覺(jué)場(chǎng)景注視數(shù)量更多的受試顯然會(huì)做出更多的從字幕到圖像信息的視覺(jué)轉(zhuǎn)換。研究表明，對(duì)屏幕不同區(qū)域的注視次數(shù)、平均注視時(shí)間、路徑長(zhǎng)度、字幕區(qū)和圖像區(qū)之間的視覺(jué)轉(zhuǎn)移等眼動(dòng)測(cè)量數(shù)據(jù)和對(duì)字幕詞匯識(shí)別與場(chǎng)景識(shí)別的行為測(cè)量二者之間不存在顯著性關(guān)聯(lián)。研究結(jié)果清楚表明，受試字幕視頻認(rèn)知處理中的一個(gè)突出表現(xiàn)就是，即使其對(duì)視覺(jué)場(chǎng)景的注視時(shí)間不到40%，受試在場(chǎng)景識(shí)別或定格圖像識(shí)別任務(wù)中仍然表現(xiàn)優(yōu)異。與以往的一些研究不同，本研究的詞匯識(shí)別測(cè)試需要受試在語(yǔ)義相近項(xiàng)之間作出較為細(xì)微的區(qū)分，而前者的詞匯識(shí)別往往是對(duì)字幕詞匯相對(duì)較為粗略的辨析，盡管如此，本研究識(shí)別成績(jī)也不錯(cuò)，這表明，字幕的存在增加語(yǔ)言信息的回憶以及對(duì)對(duì)語(yǔ)言復(fù)雜度的感知，也有助于詞匯差異的識(shí)別。受試字幕詞匯識(shí)別和場(chǎng)景識(shí)別的測(cè)試成績(jī)均良好表明了字幕識(shí)別和場(chǎng)景識(shí)別之間并不存在任何權(quán)衡效應(yīng)跡象。眼動(dòng)實(shí)驗(yàn)數(shù)據(jù)也表明，字幕與視覺(jué)場(chǎng)景之間的存在視覺(jué)轉(zhuǎn)換，也正是這視覺(jué)轉(zhuǎn)換使受試能處理這兩個(gè)信息源，因?yàn)閷W(xué)習(xí)者通常會(huì)嘗試處理和整合文本信息和視覺(jué)場(chǎng)景信息。與影視場(chǎng)景相比，觀眾的注意力焦點(diǎn)偏向被閱讀的字幕，受試字幕閱讀的總注視次數(shù)更多、總注視時(shí)間較長(zhǎng)反應(yīng)了學(xué)習(xí)者對(duì)這個(gè)區(qū)域內(nèi)容的重視程度、學(xué)習(xí)材料的難易程度以及對(duì)學(xué)習(xí)材料的興趣程度；但對(duì)圖像區(qū)的平均注視時(shí)間要長(zhǎng)于字幕區(qū)，反映信息加工過(guò)程更為細(xì)致、也表明圖像畫(huà)面目標(biāo)更吸引人。這表明受試在看影視時(shí)，為了更好理解視頻而讀字幕，但他們并沒(méi)有全面探索整個(gè)視覺(jué)場(chǎng)景，而是僅基于視覺(jué)復(fù)雜度的感知專注于信息最豐富或視覺(jué)凸顯的元素，對(duì)場(chǎng)景或圖片的選擇性視覺(jué)處理來(lái)把握視覺(jué)細(xì)節(jié)，比如注重傳遞了理解互動(dòng)和交際所需重要信息的臉部情感符號(hào)或視覺(jué)線索。[13]

需要指出的是，眼動(dòng)和識(shí)別成績(jī)方面的個(gè)體差異之間不存在顯著關(guān)聯(lián)，這是由于受試在任務(wù)期間相當(dāng)一致的眼動(dòng)行為造成的，即絕大多數(shù)人在字幕上注視次數(shù)較多、總注視時(shí)間較長(zhǎng)，而在視覺(jué)場(chǎng)景上則注視次數(shù)較少、平均注視時(shí)間較長(zhǎng)?？傊?，受試采用了高效性、選擇性注意分配策略或過(guò)濾機(jī)制，會(huì)根據(jù)他們所觀看字幕節(jié)目的類型來(lái)調(diào)整他們的處理策略，從而使他們對(duì)所呈現(xiàn)的信息有很好的理解和識(shí)別。本研究結(jié)果突出了個(gè)體加工、整合和記憶多源信息的能力，學(xué)習(xí)者個(gè)體在處理多源信息時(shí)通常不會(huì)遇到很大的困難，字幕節(jié)目通常較易于學(xué)習(xí)理解，字幕閱讀是一種學(xué)習(xí)者熟練掌握的高效的半自動(dòng)化技能，視覺(jué)注意力自動(dòng)捕捉文本導(dǎo)致視覺(jué)運(yùn)動(dòng)的效率增加，字幕的處理具有高度的視覺(jué)效率，字幕的存在不會(huì)增加觀看者的視覺(jué)負(fù)擔(dān)，不會(huì)對(duì)其他圖像信息處理的效果產(chǎn)生記憶障礙、干擾、限制或其他不利影響，學(xué)習(xí)者能在視頻畫(huà)面和字幕文本之間、視覺(jué)通道與聽(tīng)覺(jué)通道之間進(jìn)行有效協(xié)調(diào)，避免注意力認(rèn)知資源消極競(jìng)爭(zhēng)與工作記憶負(fù)荷超載，從而確保了學(xué)習(xí)效果。

六、結(jié)語(yǔ)

本研究采用了綜合性方法，涵蓋了眼動(dòng)（注意分配的衡量指標(biāo)）、要旨理解、字幕所含具體詞匯的識(shí)別（字幕處理的成效指標(biāo)）以及影視場(chǎng)景的識(shí)別（視覺(jué)場(chǎng)景處理的成效指標(biāo)）等手段，兼顧眼動(dòng)實(shí)驗(yàn)法追蹤學(xué)習(xí)過(guò)程和傳統(tǒng)認(rèn)知法測(cè)驗(yàn)學(xué)習(xí)結(jié)果，較為完整準(zhǔn)確地評(píng)估了場(chǎng)景處理和字幕處理之間的潛在的權(quán)衡效應(yīng)，分析字幕視頻加工的效用。這種方法使我們對(duì)字幕視頻的認(rèn)知加工過(guò)程有了更深刻、全面的理解，研究結(jié)果強(qiáng)調(diào)了字幕視頻加工處理并不費(fèi)力且能取得良好成績(jī)，在有字幕的情況下，受試對(duì)影視內(nèi)容都有一個(gè)很好的理解，其詞匯識(shí)別和場(chǎng)景識(shí)別成績(jī)水平很高，不會(huì)導(dǎo)致圖像處理和文本處理之間的權(quán)衡效應(yīng)。眼動(dòng)分析進(jìn)一步探討了字幕視頻觀看過(guò)程中的認(rèn)知加工，成績(jī)測(cè)量和眼動(dòng)分析的結(jié)合為字幕視頻的認(rèn)知加工特征提供新的實(shí)證，即字幕材料加工具有認(rèn)知效用不存在任何權(quán)衡效應(yīng)，學(xué)習(xí)者完全根據(jù)具體任務(wù)要求來(lái)調(diào)整加工策略加以適應(yīng)整合。

注釋：

①平均注視時(shí)間即興趣區(qū)內(nèi)所有注視點(diǎn)持續(xù)時(shí)間的平均值。

②路徑長(zhǎng)度被定義為字幕呈現(xiàn)期間連接注視點(diǎn)的切分部分總長(zhǎng)度之和（以像素為單位）。

③視覺(jué)轉(zhuǎn)移數(shù)量則指字幕呈現(xiàn)期間屏幕兩個(gè)不同目標(biāo)區(qū)域（字幕區(qū)和圖像區(qū)）之間的注視轉(zhuǎn)換的次數(shù)。當(dāng)兩個(gè)連續(xù)的注視出現(xiàn)在屏幕不同區(qū)域時(shí)（例如，閾值線以上和以下，反之亦然），視覺(jué)轉(zhuǎn)移就被界定。