皮忠玲，章 儀，楊九民

(1.陜西師范大學(xué) 現(xiàn)代教學(xué)技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，陜西 西安 710062;2.華中師范大學(xué) 教育信息技術(shù)學(xué)院，湖北 武漢 430079)

一、引言

隨著互聯(lián)網(wǎng)和視頻技術(shù)的發(fā)展，教學(xué)視頻以生動(dòng)形象、聲圖并茂、隱性知識(shí)顯性化等特征，逐漸成為教育信息化時(shí)代背景下學(xué)習(xí)者首選的學(xué)習(xí)資源[1][2]。目前，國(guó)內(nèi)外各方力量在視頻教學(xué)建設(shè)方面投入大量成本，旨在通過(guò)教學(xué)視頻的應(yīng)用深度變革常規(guī)教學(xué)現(xiàn)狀，但其應(yīng)用效果差強(qiáng)人意[3][4]。因此，越來(lái)越多的研究者和教育實(shí)踐者開(kāi)始關(guān)注，如何在教學(xué)視頻中運(yùn)用良好的教學(xué)設(shè)計(jì)以提高學(xué)習(xí)者的學(xué)習(xí)效果。

教師手勢(shì)是教師教學(xué)行為設(shè)計(jì)中的一種重要形式，其在學(xué)習(xí)者學(xué)習(xí)中的作用已經(jīng)成為視頻教學(xué)的重要研究領(lǐng)域之一。手勢(shì)是人類語(yǔ)言體系一個(gè)重要組成部分，它指伴隨言語(yǔ)交流過(guò)程中的手部動(dòng)作，如指向物理環(huán)境中的某一個(gè)物體[5][6]。在教學(xué)活動(dòng)中，教師總是無(wú)意識(shí)地伴隨著手勢(shì)[7]。通過(guò)對(duì)教學(xué)活動(dòng)的觀察發(fā)現(xiàn)，教師在使用問(wèn)題解決策略向?qū)W習(xí)者傳達(dá)信息時(shí)，約有39%是手勢(shì)[8]。手勢(shì)不僅與教學(xué)活動(dòng)中的語(yǔ)言互動(dòng)關(guān)系密切，而且可以引導(dǎo)學(xué)習(xí)者的注意分配并補(bǔ)充語(yǔ)義信息，促進(jìn)學(xué)習(xí)的認(rèn)知過(guò)程[9]。根據(jù)梅耶的多媒體學(xué)習(xí)理論中的社會(huì)線索原則，教學(xué)視頻中教師的手勢(shì)能夠激發(fā)學(xué)習(xí)者的社會(huì)反應(yīng)，增加他們參與認(rèn)知加工的動(dòng)機(jī)，促進(jìn)他們深度加工，影響他們的學(xué)習(xí)認(rèn)知過(guò)程，從而提高其學(xué)習(xí)效果[10]。

從研究歷史上看，雖然對(duì)教學(xué)活動(dòng)中手勢(shì)的研究可以追溯到幾個(gè)世紀(jì)以前，但真正作為教育學(xué)和心理學(xué)的研究對(duì)象卻只有30年左右的歷史[11]。近10年來(lái)，隨著研究領(lǐng)域的深入和研究方法的發(fā)展，研究者逐漸開(kāi)始探討學(xué)習(xí)者加工和整合視頻中教師手勢(shì)的認(rèn)知神經(jīng)機(jī)制[12]。本文通過(guò)對(duì)以往相關(guān)研究的梳理和總結(jié)，不僅從行為層面概括了教學(xué)視頻中教師手勢(shì)的作用，并從認(rèn)知神經(jīng)層面揭示教師手勢(shì)的作用機(jī)制，最后，指出了以往研究的不足和未來(lái)可以進(jìn)一步研究的問(wèn)題。

二、手勢(shì)的分類

麥克尼爾[13]將手勢(shì)分為四種主要的類型，即指示性手勢(shì)、象征性手勢(shì)、隱喻性手勢(shì)和節(jié)拍性手勢(shì)。指示性手勢(shì)是指通過(guò)一根手指或者是多跟手指，甚至是整個(gè)手，指向物理環(huán)境的某個(gè)物體或者是某個(gè)方位，它常常伴隨著指代性詞匯，如這里、那里、這個(gè)和那個(gè)等。指示性手勢(shì)可以建立言語(yǔ)表達(dá)和相應(yīng)的心理表征與物理環(huán)境之間的聯(lián)系。需要指出的是，說(shuō)話者所指向的物體可以是在現(xiàn)場(chǎng)的物理環(huán)境中，也可以不在現(xiàn)場(chǎng)的物理環(huán)境中[14]。象征性手勢(shì)是指對(duì)物體的形狀或者運(yùn)動(dòng)軌跡等的具體性描述。象征性手勢(shì)必須伴隨語(yǔ)言才能理解其含義[15]。例如，說(shuō)話者在空氣中畫一個(gè)蘋果，來(lái)指代蘋果這個(gè)物體。隱喻性手勢(shì)是指通過(guò)隱喻的方式表示抽象事物，如雙手左右交叉運(yùn)動(dòng)，表示氣流對(duì)流[16]。象征性手勢(shì)與隱喻性手勢(shì)的區(qū)別在于，前者是對(duì)事物具體性的描述，而后者是對(duì)抽象事物的表征。以上三種手勢(shì)均具有語(yǔ)義信息。然而，節(jié)拍性手勢(shì)不具有語(yǔ)義信息，是簡(jiǎn)單的重復(fù)、連續(xù)敲打的手部運(yùn)動(dòng)，它具有不同的運(yùn)動(dòng)形式，其中最典型的是一只手張開(kāi)手掌，并向外翻轉(zhuǎn)。節(jié)拍性手勢(shì)屬于節(jié)律性手勢(shì)，用于調(diào)節(jié)說(shuō)話者的言語(yǔ)表達(dá)的速度與節(jié)拍，或者用于強(qiáng)調(diào)言語(yǔ)表達(dá)的某個(gè)重要的部分[17]。

我國(guó)學(xué)者白學(xué)軍等人[18]把教師在教學(xué)活動(dòng)種使用的手勢(shì)分為功能性手勢(shì)和隨意性手勢(shì)兩大類。功能性手勢(shì)是指教師在教學(xué)過(guò)程中，用手來(lái)傳達(dá)明確信息、有特定功能的非言語(yǔ)行為，它又包括指示性手勢(shì)和象征性手勢(shì)。隨意性手勢(shì)指教師在教學(xué)活動(dòng)中，為了適應(yīng)生理或心理的某種需要，長(zhǎng)時(shí)間內(nèi)形成的一種隨意的固定的手的模式和習(xí)慣，不能向?qū)W習(xí)者傳達(dá)明確的信息，可以分為單手手勢(shì)和復(fù)式手勢(shì)。這一手勢(shì)相當(dāng)于節(jié)拍性手勢(shì)。

已有研究表明，在教學(xué)活動(dòng)中，中西方教師手勢(shì)的運(yùn)用存在一定的差異。西方學(xué)者研究發(fā)現(xiàn)，教師64%的手勢(shì)是指示性手勢(shì)，24%是象征性手勢(shì)和隱喻性手勢(shì)，9%是節(jié)拍性手勢(shì)，2%書寫動(dòng)作[19]。而白學(xué)軍等人[20]通過(guò)對(duì)不同獲獎(jiǎng)等級(jí)青年教師手勢(shì)進(jìn)行觀察分析發(fā)現(xiàn)，教師隨意性手勢(shì)的使用頻率和持續(xù)時(shí)間都高于功能性手勢(shì)的使用；隨著教師獲獎(jiǎng)等級(jí)的提高，不論是手勢(shì)語(yǔ)的總體使用還是隨意性手勢(shì)語(yǔ)的使用上，都呈上升的趨勢(shì)；優(yōu)秀教師更加注重手勢(shì)語(yǔ)與傳統(tǒng)板書教學(xué)的結(jié)合。相關(guān)數(shù)據(jù)表明，在手勢(shì)運(yùn)用上，西方教師使用頻率最高的手勢(shì)是指示性手勢(shì)，而中國(guó)教師使用頻率最高的手勢(shì)是節(jié)拍性手勢(shì)。造成這種差異的主要原因，可能是由于文化背景的不同。

三、教學(xué)視頻中教師手勢(shì)的作用

手勢(shì)的運(yùn)用是教師教學(xué)非言語(yǔ)行為表現(xiàn)的重要特點(diǎn)之一，不僅可以對(duì)學(xué)習(xí)者的學(xué)習(xí)認(rèn)知過(guò)程，如注意分配、語(yǔ)義整合產(chǎn)生影響，同時(shí)還可能對(duì)其社會(huì)情感產(chǎn)生影響，從而影響其學(xué)習(xí)效果。因此，教學(xué)視頻中教師手勢(shì)在學(xué)習(xí)中的作用備受研究者的關(guān)注，其作用主要體現(xiàn)在以下4個(gè)方面。

(一)提高學(xué)習(xí)者的學(xué)習(xí)效果

根據(jù)具身認(rèn)知理論，個(gè)體的思維和認(rèn)知均源于身體的感覺(jué)和運(yùn)動(dòng)體驗(yàn)，身體體驗(yàn)與心理狀態(tài)之間有著強(qiáng)烈的聯(lián)系?；谶@一觀點(diǎn)，學(xué)習(xí)者在觀看教學(xué)視頻中教師手勢(shì)時(shí)，可以與教師發(fā)生聯(lián)合理解其感覺(jué)和運(yùn)動(dòng)系統(tǒng)中的心理模型[21][22]。與此同時(shí)，根據(jù)雙通道加工理論和工作記憶模型，學(xué)習(xí)者通過(guò)視覺(jué)和聽(tīng)覺(jué)通道共同處理信息，這兩個(gè)通道是相互獨(dú)立的工作的，但均有一定的容量限制[23][24]。例如，當(dāng)學(xué)習(xí)者的眼睛看到視頻中的畫面信息時(shí)，他們的視覺(jué)通道就開(kāi)始處理這一圖片信息；當(dāng)學(xué)習(xí)者的耳朵聽(tīng)到語(yǔ)音信息時(shí)，他們的聽(tīng)覺(jué)通道就開(kāi)始處理這一語(yǔ)音信息。據(jù)此，梅耶提出的多媒體學(xué)習(xí)通道認(rèn)為，在多媒體學(xué)習(xí)中，教學(xué)信息應(yīng)該充分利用學(xué)習(xí)者的認(rèn)知系統(tǒng)中的雙通道，即分別通過(guò)視覺(jué)和聽(tīng)覺(jué)信息來(lái)呈現(xiàn)，避免將所有的教學(xué)信息僅通過(guò)一個(gè)通道來(lái)呈現(xiàn)，防止單個(gè)通道信息過(guò)大而“超負(fù)荷”[25]。研究者認(rèn)為，教學(xué)視頻中教師手勢(shì)的運(yùn)用符合多媒體學(xué)習(xí)的通道原則[26]。教師利用手勢(shì)在學(xué)習(xí)者視覺(jué)通道呈現(xiàn)語(yǔ)義信息，與其言語(yǔ)表達(dá)共同完成教學(xué)活動(dòng)。

已有許多研究發(fā)現(xiàn)，教學(xué)視頻中教師手勢(shì)的運(yùn)用有利于提高學(xué)習(xí)者的學(xué)習(xí)效果[27]。例如，皮忠玲等人[28]的研究發(fā)現(xiàn)，教學(xué)視頻中教師指示性手勢(shì)的運(yùn)用提高了學(xué)習(xí)者對(duì)所學(xué)知識(shí)的遷移效果。賽納等人[29]也證實(shí)了，觀看具有教師象征性手勢(shì)的教學(xué)視頻的學(xué)習(xí)者，學(xué)習(xí)效果好于觀看無(wú)手勢(shì)的教學(xué)視頻的學(xué)習(xí)者。還有研究者通過(guò)對(duì)比教師手勢(shì)在教學(xué)視頻中與傳統(tǒng)面對(duì)面教學(xué)情境中對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響后發(fā)現(xiàn)，教師手勢(shì)對(duì)視頻學(xué)習(xí)的積極效應(yīng)強(qiáng)于傳統(tǒng)教學(xué)情境[30][31]。目前，手勢(shì)在學(xué)習(xí)效果上的積極效應(yīng)已經(jīng)在指示性手勢(shì)、節(jié)拍性手勢(shì)、形象性手勢(shì)和比喻性手勢(shì)等不同類型的手勢(shì)中得到了不同程度的證實(shí)[32-34]。

綜上所述，教學(xué)視頻中教師手勢(shì)對(duì)學(xué)習(xí)者學(xué)習(xí)效果的影響，相關(guān)研究結(jié)論較為一致，即教師手勢(shì)能夠提高學(xué)習(xí)者的學(xué)習(xí)效果，并且不同類型的手勢(shì)對(duì)學(xué)習(xí)效果的積極效應(yīng)的機(jī)制存在差異。

(二)提供語(yǔ)義信息

手勢(shì)既可以表達(dá)教師言語(yǔ)未清楚表達(dá)的信息，同時(shí)又可以表達(dá)言語(yǔ)未表達(dá)的信息。因此，手勢(shì)成為言語(yǔ)表達(dá)之外，提供語(yǔ)義信息的另一條重要途徑。教學(xué)視頻中教師手勢(shì)提供語(yǔ)義信息主要是指當(dāng)手勢(shì)和言語(yǔ)表達(dá)相互關(guān)聯(lián)和配合時(shí)，手勢(shì)表達(dá)言語(yǔ)本身的信息，此時(shí)手勢(shì)有助于言語(yǔ)的準(zhǔn)確理解；當(dāng)手勢(shì)表達(dá)言語(yǔ)未表達(dá)的信息時(shí)，此時(shí)手勢(shì)彌補(bǔ)了語(yǔ)義信息的不完整性[35]。

目前，關(guān)于教師手勢(shì)提供語(yǔ)義信息的已有研究主要集中于象征性手勢(shì)[36-38]。研究者認(rèn)為，指示性手勢(shì)或者是節(jié)拍性手勢(shì)，這兩種手勢(shì)具有固定的手勢(shì)模式，并不與特定的語(yǔ)義信息相聯(lián)系，然而，象征性手勢(shì)是與特定的言語(yǔ)表達(dá)相聯(lián)系。例如，當(dāng)教師介紹拋物線的概念“拋物線是指平面內(nèi)到一個(gè)定點(diǎn)F(焦點(diǎn))和一條定直線l(準(zhǔn)線)距離相等的點(diǎn)的軌跡”時(shí)，此時(shí)手勢(shì)會(huì)配合在空氣中畫出一條拋物線的軌跡，幫助學(xué)習(xí)者理解言語(yǔ)表達(dá)中抽象的語(yǔ)義信息[39]。又如，凱利等人[40]通過(guò)教學(xué)視頻中教師的象征性手勢(shì)和言語(yǔ)表達(dá)學(xué)習(xí)詞匯，當(dāng)手勢(shì)和言語(yǔ)表達(dá)一致時(shí)，能夠促進(jìn)學(xué)習(xí)者對(duì)相關(guān)詞匯的理解，相反，當(dāng)手勢(shì)和言語(yǔ)表達(dá)不一致時(shí)，阻礙了學(xué)習(xí)者對(duì)相關(guān)詞匯的理解。

上述研究表明，手勢(shì)不僅能夠澄清言語(yǔ)信息的表達(dá)，同時(shí)還能呈現(xiàn)言語(yǔ)表達(dá)未能展現(xiàn)的語(yǔ)義信息。教師手勢(shì)的語(yǔ)義功能從理論上得到了整合系統(tǒng)假設(shè)和多媒體學(xué)習(xí)的通道原則的直接支持[41][42]。這兩種理論均認(rèn)為，手勢(shì)和言語(yǔ)表達(dá)在語(yǔ)義理解中屬于統(tǒng)一的整體，它們相互作用共同影響學(xué)習(xí)者的語(yǔ)義理解，從而促進(jìn)學(xué)習(xí)者將抽象的言語(yǔ)表達(dá)的信息與手勢(shì)的具體表征信息整合成為連貫、一致的心理表征。

(三)引導(dǎo)學(xué)習(xí)者的注意分配

基于社會(huì)認(rèn)知視角，教師手勢(shì)相對(duì)其他具有注意引導(dǎo)功能的物理線索而言，如加粗、箭頭、劃?rùn)M線和變顏色等，能更有效地引導(dǎo)學(xué)習(xí)者注意分配，因?yàn)槭謩?shì)的引導(dǎo)作用是一種基于本能性的趨向，具有自動(dòng)化加工的特點(diǎn)。教師手勢(shì)能在學(xué)習(xí)者無(wú)意識(shí)狀態(tài)下對(duì)其注意進(jìn)行引導(dǎo)[43][44]。

這方面的研究主要集中于兩個(gè)方面：第一方面是教學(xué)視頻中教師的指示性手勢(shì)對(duì)學(xué)習(xí)者視覺(jué)注意的引導(dǎo)作用[45][46]。例如，皮忠玲等人[47]采用眼動(dòng)追蹤技術(shù)，記錄了被試在教學(xué)視頻學(xué)習(xí)過(guò)程中的眼動(dòng)情況，以比較教學(xué)視頻中教師指示性手勢(shì)與箭頭線索對(duì)學(xué)習(xí)者注意引導(dǎo)的影響，結(jié)果發(fā)現(xiàn)，相比于無(wú)注意引導(dǎo)線索的視頻和箭頭線索的視頻，教師的指示性手勢(shì)能夠更有效引導(dǎo)學(xué)習(xí)者分配更多的注意資源于被提示的教學(xué)內(nèi)容；第二方面是教師的節(jié)拍性手勢(shì)對(duì)學(xué)習(xí)者聽(tīng)覺(jué)注意的引導(dǎo)作用[48]。例如，So等人[49]發(fā)現(xiàn)，節(jié)拍性手勢(shì)能夠促進(jìn)學(xué)習(xí)者對(duì)視頻中詞匯的記憶效果。他們認(rèn)為，節(jié)拍性手勢(shì)之所以能夠?qū)W(xué)習(xí)起到積極效應(yīng)是由于節(jié)拍性手勢(shì)屬于節(jié)律性手勢(shì)，會(huì)隨著教師言語(yǔ)的語(yǔ)調(diào)發(fā)生變化，能夠引導(dǎo)學(xué)習(xí)者注意言語(yǔ)表達(dá)中需要強(qiáng)調(diào)的內(nèi)容，例如當(dāng)教師講到重點(diǎn)內(nèi)容時(shí)，會(huì)伴隨出現(xiàn)一個(gè)節(jié)拍性手勢(shì)以強(qiáng)調(diào)這部分的內(nèi)容。

分析上述研究發(fā)現(xiàn)，教學(xué)視頻中教師手勢(shì)具有注意引導(dǎo)作用，能夠引導(dǎo)學(xué)習(xí)者注意視覺(jué)和聽(tīng)覺(jué)通道的特定信息。然而，較為遺憾的是，教師手勢(shì)對(duì)聽(tīng)覺(jué)注意的引導(dǎo)作用還缺乏直接的證據(jù)。

(四)激發(fā)學(xué)習(xí)者積極的社會(huì)反應(yīng)

如前所述，梅耶的多媒體學(xué)習(xí)中的社會(huì)線索原則指出，教學(xué)視頻中的社會(huì)線索，如手勢(shì)、眼睛注視和面部表情等，可以激發(fā)學(xué)習(xí)者積極的社會(huì)反應(yīng)，增加他們的學(xué)習(xí)動(dòng)機(jī)，從而促進(jìn)他們投入更多的認(rèn)知資源到學(xué)習(xí)活動(dòng)中，最終實(shí)現(xiàn)深度學(xué)習(xí)[50]。并且這一原則也得到了一些實(shí)證研究的支持，例如，研究者發(fā)現(xiàn)，教師在通過(guò)視頻開(kāi)展教學(xué)過(guò)程中，眼睛注視、非語(yǔ)言伴隨性手勢(shì)(如豎起大拇指)等能夠提高學(xué)習(xí)者的社會(huì)存在感，激發(fā)他們積極的情緒狀態(tài)[51-53]。

目前，對(duì)教師手勢(shì)是否激發(fā)學(xué)習(xí)者社會(huì)反應(yīng)方面的探討，據(jù)我們所知，還缺乏圍繞本文中提到的四種手勢(shì)(語(yǔ)言伴隨性手勢(shì))展開(kāi)的研究。盡管其他社會(huì)線索與教師語(yǔ)言伴隨性手勢(shì)存在一定的差異，例如，眼睛注視被認(rèn)為可以用來(lái)表達(dá)對(duì)他人的態(tài)度，愛(ài)、興趣、或者憤怒等，同時(shí)也可以表示情緒的強(qiáng)烈程度[54]。不過(guò)這些探索性研究還是能夠給我們一定的啟發(fā)，即教學(xué)視頻中教師手勢(shì)可能激發(fā)了學(xué)習(xí)者的積極社會(huì)反應(yīng)。

(五)小結(jié)

綜上所述，教師手勢(shì)在學(xué)習(xí)者視頻學(xué)習(xí)中起到積極的作用，主要體現(xiàn)在提高學(xué)習(xí)者的學(xué)習(xí)效果、提供語(yǔ)義信息、引導(dǎo)注意分配和激發(fā)積極的社會(huì)反應(yīng)等方面。通過(guò)對(duì)以往相關(guān)研究進(jìn)行梳理，我們構(gòu)建了教學(xué)視頻中教師手勢(shì)的作用模型(如下頁(yè)圖1所示)，認(rèn)為教學(xué)視頻中教師手勢(shì)主要是通過(guò)兩條途徑來(lái)影響學(xué)習(xí)：一是在認(rèn)知層面，通過(guò)引導(dǎo)學(xué)習(xí)者注意的有效分配，提高他們?cè)趯W(xué)習(xí)的信息選擇階段的效率，使得他們把更多的認(rèn)知資源分配到學(xué)習(xí)內(nèi)容的組織和整合階段，從而提高學(xué)習(xí)效果；二是在社會(huì)層面，教師手勢(shì)提高了學(xué)習(xí)者的學(xué)習(xí)動(dòng)機(jī)，使得他們投入更多的認(rèn)知資源投入于學(xué)習(xí)活動(dòng)中，從而促進(jìn)深度學(xué)習(xí)。

圖1 教學(xué)視頻中教師手勢(shì)的作用模型

四、教學(xué)視頻中教師手勢(shì)影響學(xué)習(xí)的認(rèn)知神經(jīng)機(jī)制

隨著教學(xué)視頻中教師手勢(shì)研究的不斷深入，研究者已經(jīng)將研究重點(diǎn)從探討手勢(shì)對(duì)學(xué)習(xí)行為層面的影響，逐漸轉(zhuǎn)向揭示教師手勢(shì)影響視頻學(xué)習(xí)的認(rèn)知神經(jīng)機(jī)制。近10年來(lái)，認(rèn)知神經(jīng)科學(xué)技術(shù)中的非侵入技術(shù)即無(wú)創(chuàng)性腦功能成像技術(shù)逐漸被應(yīng)用于教育學(xué)和心理學(xué)各個(gè)領(lǐng)域。無(wú)創(chuàng)性腦功能成像技術(shù)主要包括腦電技術(shù)(EEG)、近紅外腦成像技術(shù)(fNIRS)、經(jīng)顱磁刺激技術(shù)(TMS)、功能性磁共振成像技術(shù)(fMRI)等。其中根據(jù)對(duì)腦電信號(hào)的分析方法，腦電研究又分為事件相關(guān)電位研究(ERP)和EEG研究。

目前，認(rèn)知神經(jīng)機(jī)制研究集中在兩個(gè)方面上，即腦電(ERPs/EEG)和功能性核磁共振成像(fMRI)。ERPs/EEG的主要功能是通過(guò)電極記錄頭皮上腦細(xì)胞群的自發(fā)性、節(jié)律性電活動(dòng)，即直接的神經(jīng)活動(dòng)，腦電信號(hào)(如ERP成分和EEG神經(jīng)震蕩能量)能夠較為敏感的反映認(rèn)知活動(dòng)，例如γ波(＞29Hz)與個(gè)人感知覺(jué)密切相關(guān)，這一技術(shù)擅長(zhǎng)揭示時(shí)程問(wèn)題；fMRI主要功能是依據(jù)磁振造影來(lái)測(cè)量被試在特定認(rèn)知任務(wù)下，神經(jīng)元活動(dòng)所引發(fā)的血液動(dòng)力的改變，即腦活動(dòng)相關(guān)代謝，從而進(jìn)行腦部功能定位，fMRI技術(shù)擅長(zhǎng)揭示腦定位問(wèn)題。

(一)腦電研究

研究者普遍認(rèn)為，ERP成分和EEG不同頻段神經(jīng)震蕩能量均與特定的認(rèn)知活動(dòng)密切相關(guān)[55-57]。因此，近年來(lái)逐漸有研究者嘗試采用ERPs/EEG技術(shù)來(lái)探究觀看視頻中教師手勢(shì)對(duì)學(xué)習(xí)者ERP成分和EEG不同頻段神經(jīng)震蕩能量的影響。其研究主要采用的實(shí)驗(yàn)范式大致可以分為以下幾個(gè)階段(如圖2所示)：首先，采集被試在靜息狀態(tài)的腦電數(shù)據(jù)作為基線；其次，呈現(xiàn)注視點(diǎn)；最后，呈現(xiàn)視頻片段，一般為持續(xù)幾秒鐘。

圖2 教師手勢(shì)的ERPs/EEG研究實(shí)驗(yàn)程序案例[58]

教學(xué)視頻中教師手勢(shì)往往與其言語(yǔ)表達(dá)相互配合或補(bǔ)充，如教師在講立體幾何的相關(guān)知識(shí)時(shí)，會(huì)時(shí)不時(shí)地在空中比劃相應(yīng)的形狀。有研究者嘗試采用ERP技術(shù)，分析學(xué)習(xí)者在整合視頻中教師手勢(shì)與其言語(yǔ)表達(dá)時(shí)的ERP成分的特點(diǎn)，他們發(fā)現(xiàn)，當(dāng)言語(yǔ)表達(dá)與手勢(shì)的語(yǔ)義信息不一致時(shí)，大約會(huì)在手勢(shì)出現(xiàn)后的400ms左右時(shí)，誘發(fā)腦電負(fù)成分[59-62]。例如，貝納蒂斯等人[63]比較被試在觀看視頻中教師通過(guò)表象性手勢(shì)描述詞匯與后續(xù)聽(tīng)到的單詞是否匹配時(shí)，其ERP成分的差異。在實(shí)驗(yàn)中，被試首先觀看不同的手勢(shì)，之后向被試呈現(xiàn)單詞，其中有部分單詞與手勢(shì)的語(yǔ)義一致，部分單詞與手勢(shì)的語(yǔ)義不一致，例如，視頻中教師用手勢(shì)描述“吉他”“敲打”等。他們發(fā)現(xiàn)，當(dāng)教師手勢(shì)與后續(xù)單詞不匹配時(shí)，會(huì)誘發(fā)被試較大的N400波幅，主要體現(xiàn)在F3、FC3、C3、CP3、P3、F4、FC4、C4、CP4和P4等電極上(如圖3所示)。N400成分是在刺激呈現(xiàn)后在400ms左右達(dá)到峰值的事件相關(guān)電位負(fù)成分，它與語(yǔ)義啟動(dòng)和整合有關(guān)，對(duì)語(yǔ)義不一致非常敏感[64]。因此，當(dāng)手勢(shì)與單詞的語(yǔ)義不一致時(shí)，就誘發(fā)了更負(fù)N400。

圖3 不同實(shí)驗(yàn)條件下ERP波形差異[65]

手勢(shì)的EEG研究發(fā)現(xiàn)，α和β波與手勢(shì)加工密切相關(guān)，當(dāng)個(gè)體產(chǎn)生或者是觀看手勢(shì)時(shí)，均會(huì)引起α(8-13Hz)和β(14-29Hz)波能量下降[66][67]。例如，匡特等人[68]考察了被試觀看視頻中教師指示性手勢(shì)和象征性手勢(shì)時(shí)，神經(jīng)震蕩能量的變化。在實(shí)驗(yàn)中，被試觀看兩種視頻：一種視頻是教師用象征性手勢(shì)描述如何把一個(gè)圓柱體擺放到另一個(gè)圓柱體上方；另一種視頻時(shí)教師用指示性手勢(shì)，指代出把一個(gè)圓柱體擺放到另一個(gè)圓柱體上方。他們發(fā)現(xiàn)，α和β波對(duì)指示性手勢(shì)和象征性手勢(shì)非常敏感，且觀看視頻中教師象征性手勢(shì)時(shí)，被試在右腦的中央、頂葉和枕葉腦區(qū)，α和β波的能量均顯著低于觀看指示性手勢(shì)(如圖4所示)。大量的研究發(fā)現(xiàn)，α和β波與視空間注意分配認(rèn)知活動(dòng)，以及感覺(jué)運(yùn)動(dòng)皮層的激活均有重要關(guān)聯(lián)[69]。因此，研究者認(rèn)為出現(xiàn)α和β波能量減少，反映了學(xué)習(xí)者在觀看手勢(shì)時(shí)需要感覺(jué)運(yùn)動(dòng)皮層的參與，并進(jìn)行視空間注意分配認(rèn)知活動(dòng)[70]。

圖4 觀看象征性手勢(shì)減去觀看指示性手勢(shì)的腦電地形圖[71]

上述研究表明，N400、α和β波均與手勢(shì)加工有重要聯(lián)系。然而，以往大部分關(guān)于手勢(shì)的ERPs/EEG研究中，被試觀看視頻中的手勢(shì)往往沒(méi)有伴隨著言語(yǔ)表達(dá)出現(xiàn)，有些研究中手勢(shì)先于言語(yǔ)表達(dá)，有些研究甚至沒(méi)有言語(yǔ)表達(dá)，這與真實(shí)的教學(xué)活動(dòng)中教師手勢(shì)的運(yùn)用情境存在一定的差異。因此，即使已有研究為解釋學(xué)習(xí)者加工教師手勢(shì)時(shí)發(fā)生的ERP成分、神經(jīng)振蕩能量變化，提供了初步證據(jù)，但對(duì)這些結(jié)論在推廣至教學(xué)視頻學(xué)習(xí)中時(shí)應(yīng)該謹(jǐn)慎。

(二)功能性磁共振成像研究

為了探究學(xué)習(xí)者哪些腦區(qū)參與了加工視頻中教師手勢(shì)，研究者們采用fMRI記錄了他們?cè)谟^看視頻中教師手勢(shì)時(shí)的腦區(qū)激活情況。相關(guān)研究主要采用的實(shí)驗(yàn)范式基本與ERPs/EEG研究相似，例如，霍利等人[72]在研究中，首先向被試呈現(xiàn)一個(gè)注視點(diǎn)，接著呈現(xiàn)視頻片段。

關(guān)于理解與觀看教師手勢(shì)時(shí)激活哪些腦區(qū)這一問(wèn)題，以往研究主要形成了兩種觀點(diǎn)：第一種觀點(diǎn)認(rèn)為，學(xué)習(xí)者觀察視頻中教師做手勢(shì)時(shí)，與其自身操作相同動(dòng)作激活的腦區(qū)相同，主要包括腹側(cè)運(yùn)動(dòng)皮層和頂下小葉等，這些腦區(qū)被稱之為鏡像神經(jīng)元系統(tǒng)[73]。鏡像神經(jīng)元系統(tǒng)的核心特征是通過(guò)相應(yīng)腦區(qū)的激活建立內(nèi)部的行為表征從而“親身經(jīng)歷”其觀察到的他人行為來(lái)實(shí)現(xiàn)理解他人行為、意圖、情緒等功能[74][75]。例如，霍利等人[76]考察被試在觀看視頻中教師象征性手勢(shì)時(shí)的腦區(qū)激活情況，他們發(fā)現(xiàn)，當(dāng)教師做出象征性手勢(shì)描述語(yǔ)義時(shí)，被試在后側(cè)顳上溝(Posterior Superior Temporal Sulcus，pSTS)、雙側(cè)頂下小葉(Bilateral Inferior Parietal Lobule，IPL)和雙側(cè)腹側(cè)運(yùn)動(dòng)皮層(Bilateral Ventral Premotor Cortex，PMv)有更強(qiáng)的激活(如圖5所示)。

圖5 象征性手勢(shì)相對(duì)于無(wú)意義手勢(shì)的血氧水平增加的腦區(qū)[77]

第二種觀點(diǎn)基于雙通道加工理論認(rèn)為，學(xué)習(xí)者對(duì)教師手勢(shì)的理解需要整合聽(tīng)覺(jué)通道和視覺(jué)通道的信息，并提取和整合其語(yǔ)義信息。大量的研究發(fā)現(xiàn)，學(xué)習(xí)者在觀看教師手勢(shì)時(shí)，他們進(jìn)行初級(jí)的整合視聽(tīng)覺(jué)信息的主要腦區(qū)是顳上溝，進(jìn)行高級(jí)的語(yǔ)義信息的提取和整合主要參與的腦區(qū)包括后側(cè)顳中回(Posterior Middle Temporal Gyrus，pMTG)和額葉下回(Inferior Frontal Gyrus，IFG)[78][79]。例如，皮特斯等人[80]比較被試觀看視頻中教師指示性手勢(shì)所指向的物體與其言語(yǔ)表達(dá)的內(nèi)容一致或者不一致時(shí)腦區(qū)激活的差異，結(jié)果發(fā)現(xiàn)，相比于手勢(shì)與口語(yǔ)一致時(shí)，手勢(shì)與口語(yǔ)不一致時(shí)，被試在左側(cè)額葉下回和雙側(cè)顳中回激活更強(qiáng)(如圖6所示)。

圖6 比較手勢(shì)不匹配>手勢(shì)匹配的全腦分析結(jié)果[81]

分析上述研究發(fā)現(xiàn)，學(xué)習(xí)者在加工教師手勢(shì)時(shí)腦區(qū)激活包括對(duì)手勢(shì)的運(yùn)動(dòng)成分和語(yǔ)義成分的理解。其中，對(duì)手勢(shì)的運(yùn)動(dòng)成分加工，又包括知覺(jué)教師手勢(shì)為生物體運(yùn)動(dòng)，區(qū)別于非生物體運(yùn)動(dòng)，如箭頭運(yùn)動(dòng)；其次，通過(guò)鏡像神經(jīng)元系統(tǒng)的映射機(jī)制理解手勢(shì)目的，此時(shí)參與的腦區(qū)有后側(cè)顳上溝、腹側(cè)運(yùn)動(dòng)前區(qū)皮層和頂下小葉。學(xué)習(xí)者在加工手勢(shì)的語(yǔ)義成分時(shí)參與的腦區(qū)有后側(cè)顳中回和額葉下回，前者負(fù)責(zé)語(yǔ)義提取，后者負(fù)責(zé)整合和檢測(cè)視覺(jué)和聽(tīng)覺(jué)信息語(yǔ)義一致性[82]。

五、展望

關(guān)于手勢(shì)的研究越來(lái)越受到教育學(xué)和心理學(xué)界的重視，從早期對(duì)手勢(shì)在視頻教學(xué)中的作用，到最近對(duì)其認(rèn)知神經(jīng)機(jī)制的研究，使得人們對(duì)這方面問(wèn)題的理解越來(lái)越深刻。雖然這方面的研究已取得了較為豐富的成果，但仍有一些問(wèn)題需要在未來(lái)的研究中進(jìn)一步關(guān)注。

(一)教師手勢(shì)在視頻學(xué)習(xí)過(guò)程的不同階段有何影響

多媒體學(xué)習(xí)理論把多媒體學(xué)習(xí)過(guò)程分為三個(gè)主要的階段：選擇、組織和整合階段[83]。其中選擇階段的主要任務(wù)是對(duì)輸入的視覺(jué)和聽(tīng)覺(jué)信息進(jìn)行有選擇性的注意；組織階段的主要任務(wù)是將視覺(jué)和聽(tīng)覺(jué)信息組織成一個(gè)完整的知識(shí)結(jié)構(gòu)；整合階段的主要任務(wù)是結(jié)合學(xué)習(xí)者建立已有的先前知識(shí)經(jīng)驗(yàn)與新知識(shí)的聯(lián)系。已有研究大部分基于靜態(tài)的視角從學(xué)習(xí)結(jié)果來(lái)考察教師手勢(shì)在視頻學(xué)習(xí)中的作用，鮮有研究采用動(dòng)態(tài)的視角從學(xué)習(xí)的不同階段探究手勢(shì)的作用[84]。厘清手勢(shì)在不同學(xué)習(xí)階段的作用對(duì)于有效指導(dǎo)視頻教學(xué)實(shí)踐具有重要意義。然而，目前對(duì)于探究教師手勢(shì)在視頻學(xué)習(xí)的不同階段的作用還存在一定的困難，因?yàn)檠芯空哌€未能找到合適的學(xué)習(xí)任務(wù)和測(cè)驗(yàn)方式來(lái)區(qū)分組織與整合階段，所以相對(duì)來(lái)說(shuō)這方面的研究仍然有限。盡管如此，多媒體學(xué)習(xí)線索相關(guān)研究已經(jīng)對(duì)線索在這三個(gè)學(xué)習(xí)階段中的作用進(jìn)行了大量的嘗試[85]，未來(lái)研究可以借鑒多媒體學(xué)習(xí)線索相關(guān)研究中采用的學(xué)習(xí)任務(wù)和測(cè)驗(yàn)方式，以及采用時(shí)間分辨率較高的研究技術(shù)，如腦電數(shù)據(jù)、眼動(dòng)追蹤技術(shù)等，以揭示教師手勢(shì)在視頻學(xué)習(xí)不同階段中的作用及其機(jī)制。

(二)不同類型的手勢(shì)作用有何差異

從手勢(shì)定義和通道加工原則可以推測(cè)，教學(xué)視頻中教師不同類型的手勢(shì)作用存在差異[86][87]。具體體現(xiàn)在，節(jié)拍性手勢(shì)、指示性手勢(shì)起到了強(qiáng)調(diào)聽(tīng)覺(jué)和視覺(jué)信息的作用，不包含語(yǔ)義信息，這兩種手勢(shì)可能主要通過(guò)引導(dǎo)學(xué)習(xí)者注意分配對(duì)學(xué)習(xí)產(chǎn)生影響；而象征性手勢(shì)和隱喻性手勢(shì)用于描述物體的形狀或者運(yùn)動(dòng)軌跡等的具體性描述，以及抽象概念等，這兩種手勢(shì)包含豐富的語(yǔ)義信息，因此，這兩種手勢(shì)可能主要通過(guò)影響學(xué)習(xí)者的知識(shí)組織和整合，從而促進(jìn)深度學(xué)習(xí)的發(fā)生。盡管以往研究已在多個(gè)學(xué)科領(lǐng)域證實(shí)，教師不同類型的手勢(shì)均能對(duì)學(xué)習(xí)產(chǎn)生積極影響，然而，較少研究致力于探究不同類型手勢(shì)對(duì)學(xué)習(xí)的作用機(jī)制是否存在差異[88][89]，未來(lái)研究應(yīng)該圍繞這一問(wèn)題進(jìn)一步展開(kāi)深入探究。

(三)學(xué)習(xí)者的個(gè)體差異是否影響手勢(shì)在學(xué)習(xí)中的有效性

學(xué)習(xí)者作為學(xué)習(xí)活動(dòng)的主體，其個(gè)體差異，如先前知識(shí)經(jīng)驗(yàn)和年齡等均會(huì)影響其學(xué)習(xí)過(guò)程和結(jié)果。然而，以往關(guān)于教師手勢(shì)的研究往往忽視了學(xué)習(xí)者的個(gè)體差異，據(jù)我們所知，僅有為數(shù)不多的研究關(guān)注了學(xué)習(xí)者的先前知識(shí)經(jīng)驗(yàn)和年齡等特征與教學(xué)視頻中教師手勢(shì)對(duì)其學(xué)習(xí)效果的交互作用[90-94]。例如，波斯特等人[95]研究發(fā)現(xiàn)，在進(jìn)行詞匯學(xué)習(xí)時(shí)，觀看教師手勢(shì)不僅沒(méi)有促進(jìn)低知識(shí)經(jīng)驗(yàn)的學(xué)習(xí)者的學(xué)習(xí)，反而阻礙了他們的學(xué)習(xí)，具體表現(xiàn)為認(rèn)知負(fù)荷增加以及學(xué)習(xí)效果降低。此外，So等人[96]研究發(fā)現(xiàn)，節(jié)拍性手勢(shì)可以提高成年學(xué)習(xí)者(大學(xué)生)對(duì)所學(xué)內(nèi)容的再認(rèn)(記憶)效果，但不能提高4-5歲兒童學(xué)習(xí)者的再認(rèn)效果。因此，他們認(rèn)為，教學(xué)視頻中教師手勢(shì)對(duì)學(xué)習(xí)效果的積極效應(yīng)會(huì)隨著年齡有所變化。未來(lái)研究應(yīng)該探討哪些手勢(shì)會(huì)對(duì)什么樣的學(xué)習(xí)者的學(xué)習(xí)產(chǎn)生積極影響，而其他情況則是無(wú)效的。

(四)教師手勢(shì)如何通過(guò)影響學(xué)習(xí)者的神經(jīng)活動(dòng)，從而影響其學(xué)習(xí)效果

教學(xué)視頻中教師手勢(shì)的運(yùn)用主要目的是為了促進(jìn)學(xué)習(xí)，而以往關(guān)于探究教師手勢(shì)認(rèn)知神經(jīng)機(jī)制的研究中，往往僅關(guān)注了手勢(shì)出現(xiàn)時(shí)，學(xué)習(xí)者腦電成分、神經(jīng)振蕩強(qiáng)度以及腦區(qū)激活出現(xiàn)了什么變化，而忽視了這些神經(jīng)活動(dòng)的變化與學(xué)習(xí)效果或?qū)W習(xí)體驗(yàn)之間的關(guān)聯(lián)；此外，這些研究中大部分采用的視頻并非真正意義上的教學(xué)活動(dòng)[97][98]。例如，匡特等人[99]僅比較了視頻中教師指示性手勢(shì)和象征性手勢(shì)對(duì)被試α和β的頻段能量的影響，且視頻內(nèi)容是物體的擺放，并非學(xué)習(xí)某個(gè)知識(shí)點(diǎn)。這類僅關(guān)注學(xué)習(xí)者觀看視頻中教師手勢(shì)時(shí)的認(rèn)知神經(jīng)機(jī)制，局限了其結(jié)論在視頻教學(xué)活動(dòng)中的應(yīng)用。未來(lái)研究應(yīng)該加強(qiáng)認(rèn)知神經(jīng)科學(xué)的證據(jù)與行為數(shù)據(jù)之間的聯(lián)系，如比較教學(xué)視頻中有無(wú)教師手勢(shì)時(shí)，學(xué)習(xí)者不同頻段的神經(jīng)振蕩的強(qiáng)度或腦區(qū)激活與其學(xué)習(xí)效果關(guān)系的差異，以揭示教師手勢(shì)是如何通過(guò)影響學(xué)習(xí)者的神經(jīng)活動(dòng)，從而影響其學(xué)習(xí)效果。