嚴(yán)薇薇 曠小芳 肖云霞 鄭夢雪 劉俊 楊娟

[摘 ? 要] 注意力在二語習(xí)得領(lǐng)域被認(rèn)為是將輸入轉(zhuǎn)化為吸收的充分必要條件，是影響二語學(xué)習(xí)的主要認(rèn)知因素。目前大多數(shù)研究集中在注意力分布上，很少有研究涉及二語學(xué)習(xí)者的注意力轉(zhuǎn)移模式，然而注意力轉(zhuǎn)移具有的時序特征更能準(zhǔn)確地反映二語學(xué)習(xí)者的思維過程。關(guān)于注意力模式的發(fā)現(xiàn)方法主要有描述統(tǒng)計方法和基于白盒的回歸/預(yù)測技術(shù)，前者能獲得具有統(tǒng)計學(xué)意義的結(jié)論，后者能建構(gòu)較復(fù)雜的因果關(guān)系模型，但是均無法直接從高緯度特征空間中獲取有意義的指征，因而無法建立較高準(zhǔn)確率且可解釋的模型。基于此，本研究使用深度學(xué)習(xí)技術(shù)以及可視化技術(shù)挖掘二語（英語）學(xué)習(xí)者處理在線任務(wù)時的注意力轉(zhuǎn)移模式。正反例的關(guān)鍵特征熱度圖顯示，低齡二語學(xué)習(xí)者的線性注意力控制模式與其在線任務(wù)表現(xiàn)緊密關(guān)聯(lián)，可直觀解釋其線性注意力控制能力對在線任務(wù)完成度的影響。該模型同時具備較高回歸/預(yù)測準(zhǔn)確率。此結(jié)論對我國低齡兒童英語學(xué)習(xí)的認(rèn)知干預(yù)研究有著重要意義。

[關(guān)鍵詞] 二語習(xí)得; 注意力控制; 注意力模式; 注意力轉(zhuǎn)移; 深度學(xué)習(xí); 卷積神經(jīng)網(wǎng)絡(luò); 眼動追蹤

[中圖分類號] G434 ? ? ? ? ? ?[文獻(xiàn)標(biāo)志碼] A

[作者簡介] 嚴(yán)薇薇（1996—），女，四川德陽人。碩士研究生，主要從事基于機(jī)器學(xué)習(xí)的語言認(rèn)知模式挖掘、基于認(rèn)知干預(yù)的計算機(jī)輔助語言學(xué)習(xí)的研究。E-mail：1844241746@qq.com。

一、引 ? 言

注意力控制是影響二語習(xí)得的主要認(rèn)知因素，它包括兩種認(rèn)知模式，即注意力分配和注意力轉(zhuǎn)移。縱觀二語習(xí)得領(lǐng)域關(guān)于注意力的實證研究，不難發(fā)現(xiàn)，幾乎所有的研究都集中在注意力分配問題上，僅有少量研究涉及注意力轉(zhuǎn)移模式的發(fā)現(xiàn)。然而，注意力轉(zhuǎn)移因為具有時序性，比注意力分配更能準(zhǔn)確地反映學(xué)習(xí)者在二語習(xí)得中的思維過程。此外，傳統(tǒng)認(rèn)知模式的挖掘大都采用描述統(tǒng)計方法，雖然能揭示由具體指征（特征）帶來的具有統(tǒng)計學(xué)意義的結(jié)論，但是很難直接從高緯度特征空間中發(fā)現(xiàn)有意義的指征，因為指征的發(fā)現(xiàn)主要還是要依靠人工，這就難免會造成關(guān)鍵指征的缺漏，從而導(dǎo)致獲得的思維過程模型均沒有滿意的回歸/預(yù)測率。因此，使用機(jī)器學(xué)習(xí)技術(shù)挖掘二語學(xué)習(xí)者的注意力轉(zhuǎn)移模式是研究二語習(xí)得過程中認(rèn)知模式的必然選擇。

本文提出了一個使用深度學(xué)習(xí)技術(shù)（卷積神經(jīng)網(wǎng)絡(luò)）以及可視化技術(shù)（Grad-CAM）來挖掘以英語為二語（English as a Foreign Language，簡稱EFL）的低齡二語學(xué)習(xí)者在線處理二語信息任務(wù)中的注意力轉(zhuǎn)移模式的方法。該方法基于數(shù)據(jù)擬合，不僅可以獲得較高的回歸/預(yù)測準(zhǔn)確率，也具有高度可解釋性。

二、目前已有的注意力模式發(fā)現(xiàn)技術(shù)

語言學(xué)習(xí)過程中會受到多種個體認(rèn)知因素的影響，如語音感知、注意力和記憶力等，這些相關(guān)認(rèn)知因素的差異可能會導(dǎo)致不同的語言學(xué)習(xí)效果[1]。其中，注意力控制是一個很重要的組成部分，它不僅與多種高階認(rèn)知功能，如智商（IQ）[2]等緊密關(guān)聯(lián)，還是影響二語習(xí)得的主要認(rèn)知因素，被認(rèn)為是將二語輸入轉(zhuǎn)化為吸收的充分必要條件[3]。

如前所述，注意力控制模式分為注意力分配和注意力轉(zhuǎn)移兩種認(rèn)知模式。其中，注意力分配是指某一時刻的注意力關(guān)于刺激的分布，而注意力轉(zhuǎn)移則是指具有時序特征的注意力分布軌跡。但是無論哪種注意力控制模式，都可以通過眼動數(shù)據(jù)來反映。眼動追蹤技術(shù)是評估多媒體動態(tài)學(xué)習(xí)場景以及數(shù)字化學(xué)習(xí)環(huán)境中注意力線索的重要手段，既可在短時間內(nèi)獲得大量的實時數(shù)據(jù)信息，又不會因認(rèn)知資源從主要任務(wù)執(zhí)行的轉(zhuǎn)移而影響思維過程[4]。由此可見，采用眼動追蹤技術(shù)去測量注意力是揭示學(xué)習(xí)者認(rèn)知行為模式的有效手段。此方法也被廣泛應(yīng)用于二語習(xí)得研究中[5]。

斯蒂克勒（Stickler）等人研究二語在線學(xué)習(xí)平臺的學(xué)習(xí)效率時發(fā)現(xiàn)，在線學(xué)習(xí)中文的實驗參與者平均會分配20%的眼動注視在社交信息區(qū)域[5]。劉（Liu）在研究語素識別干預(yù)對詞匯學(xué)習(xí)的有效性時，使用眼動儀對詞匯識別任務(wù)進(jìn)行了記錄，利用獨立樣本T檢驗對比了實驗組和對照組的平均后測成績以及兩個組在三種語素（前綴、詞根、后綴）區(qū)域里的注視時間[6]。以此證明了強(qiáng)化語素識別有助于提升學(xué)生詞匯識別的成功概率。

基于描述統(tǒng)計的方法雖然可以構(gòu)造統(tǒng)計學(xué)上有意義的因果規(guī)則，但是這種方法只能針對極少量指征進(jìn)行因果關(guān)系構(gòu)建，且這些指征由人工篩選，一旦指征篩選有誤就無法獲得有意義的結(jié)論。因此，若要在高維度空間中篩選出關(guān)鍵指征并構(gòu)造復(fù)雜因果模型，則必須借助更復(fù)雜的回歸/預(yù)測手段。例如，使用白盒回歸模型建立注意力分布因果模型[7-8]。

Dolgunsooz在研究土耳其大學(xué)生在二語（英語）閱讀過程中注意力與學(xué)習(xí)收益之間的關(guān)系時，使用線性回歸方法建立了單詞熟悉度與單詞總注視時間（Total Fixation Duration）的線性關(guān)系，從而推斷出學(xué)生對單詞越熟悉則分配在該單詞上的注意力就越少[7]。此結(jié)論也說明了學(xué)生在閱讀過程中會傾向于分配更多的注意力在不熟悉的單詞上。為了研究各個眼動參數(shù)對單詞識別率的影響，以后測作為二分類結(jié)果，以各個眼動參數(shù)單獨作為預(yù)測協(xié)變量，使用GEE邏輯回歸方法分別得出陌生單詞在總注視時間、首個注視時間（First Fixation Duration）、持續(xù)注視時間以及重讀次數(shù)（Re-reading Times）上的識別率，結(jié)果顯示均有統(tǒng)計學(xué)上的顯著意義。巴拉內(nèi)斯（Baranes）等人為了研究除了視覺新奇（Visual Novelty）和視覺驚喜（Visual Surprise）之外注意力與認(rèn)知好奇心（Epistemic Curiosity）的關(guān)系，采用眼動追蹤技術(shù)重點記錄不同的認(rèn)知狀態(tài)（好奇、自信、驚喜）對實驗參與者觀看答案出現(xiàn)前后三秒內(nèi)的眼球運動軌跡[8]。在得出越高的好奇心與越早對答案的預(yù)期關(guān)注相關(guān)，并且所產(chǎn)生的影響不同于自信（Confidence）和驚喜（Surprise）所帶來的影響的結(jié)論之后，他們又使用機(jī)器學(xué)習(xí)技術(shù)里的決策樹技術(shù)——隨機(jī)森林算法根據(jù)答案出現(xiàn)前注視位置的統(tǒng)計特征構(gòu)建了注意力與好奇心之間的預(yù)測規(guī)則，即在高好奇心狀態(tài)下，注意力集中區(qū)和答案框之間的距離范圍比低好奇心狀態(tài)下的距離范圍更大。該規(guī)則能夠從較早的注意力分布來預(yù)測讀者的好奇心程度[8]。

在注意力轉(zhuǎn)移模式研究方面，目前已有研究通過頻繁序列挖掘技術(shù)來獲得注意力的時序特征。例如，曠小芳等人在研究二語初學(xué)者對視覺刺激到二語映射的關(guān)系以及注意力控制能力與語音短時記憶能力的關(guān)系時，使用頻繁序列挖掘算法SPADE，挖掘出學(xué)生的兩種關(guān)于對象認(rèn)知到第二語言系統(tǒng)之間的映射模式，即“對象認(rèn)知→母語系統(tǒng)→第二語言系統(tǒng)”和“對象認(rèn)知”到“第二語言系統(tǒng)”[9-10]。也挖掘出不同語音短時記憶能力與注意力控制模式之間的關(guān)系，即“正?；蛄己玫恼Z音短時記憶能力的學(xué)生具有穩(wěn)定的注意力控制模式，可以保持注意力不受干擾;語音短時記憶能力差的學(xué)生注意力容易分散到不匹配的英語單詞區(qū)域以及空白區(qū)域，但是并沒有分散到母語區(qū)域”[9-10]。

綜上所述，無論是描述統(tǒng)計方法還是白盒技術(shù)，它們在針對注意力分布和注意力轉(zhuǎn)移時，均需人工構(gòu)建關(guān)鍵指征。如果指征提取不當(dāng)，模型是無法獲得滿意準(zhǔn)確率的。黑盒技術(shù)能夠自動進(jìn)行關(guān)鍵特征篩選，或許是構(gòu)建更準(zhǔn)確的注意力控制模式的有效方法。

三、眼動數(shù)據(jù)預(yù)處理

（一）數(shù)據(jù)采集

1. 代表注意力的眼動數(shù)據(jù)采集

本文中的數(shù)據(jù)來源于四川師范大學(xué)附屬小學(xué)一年級的19名學(xué)生（其中包括10名男生和9名女生，平均年齡6.42，標(biāo)準(zhǔn)差SD=0.507）。本實驗使用Tobii T120 進(jìn)行眼動數(shù)據(jù)采集。這些參與者在實驗中被要求觀看一個長約4分鐘的英語朗讀視頻。視頻中的詞匯均是這些低齡二語學(xué)習(xí)者從未接觸過的，用來排除熟悉詞匯帶來的注意力干擾，以反映學(xué)習(xí)者對二語刺激的注意力控制能力。視頻播放朗讀的同時，會使用高亮方塊對學(xué)習(xí)者進(jìn)行注意力引導(dǎo)提示，要求學(xué)習(xí)者一邊收聽單詞所對應(yīng)的朗讀，一邊跟隨高亮提示進(jìn)行注意力轉(zhuǎn)移。此外，為了避免其余可能的干擾，視頻均采用白色背景、黑色字體的簡單設(shè)計，如圖1所示。視頻播放節(jié)奏適應(yīng)實驗參與者的注意力水平，音頻速度比原始音頻速度慢15%，整個視頻大概56.65個單詞/分鐘。19名參與者按照順序輪流進(jìn)行實驗。該實驗共進(jìn)行了2個月，所有參與者均完成了兩輪實驗，其中部分參與者又進(jìn)行了第三輪實驗。

2. 眼動數(shù)據(jù)標(biāo)記

到目前為止，僅采集到了代表注意力控制能力的眼動軌跡數(shù)據(jù)，但是并未獲得可實現(xiàn)模式挖掘的有效標(biāo)簽。因此，本節(jié)將對參與者的注意力控制樣本進(jìn)行正例和反例標(biāo)記。因為注意力控制與二語學(xué)習(xí)過程中的在線任務(wù)處理密切關(guān)聯(lián)，因此，可通過即時的在線任務(wù)處理效果來對眼動數(shù)據(jù)進(jìn)行標(biāo)記。

本實驗在19名參與者完成了注意力控制任務(wù)后就立刻對其執(zhí)行長句復(fù)述任務(wù)。長句摘自英語繪本My Loose Tooth，如圖2所示，每句單詞數(shù)為6～7個。長句復(fù)述任務(wù)中的語速同注意力控制實驗中一樣，即音速比原始音頻速度慢15%。本次任務(wù)中涉及的長句見表1。具體的實驗過程：要求參與者先聆聽句子的朗讀，然后再讓他們對句子進(jìn)行復(fù)述。此過程使用電腦自帶的錄音軟件記錄參與者的長句復(fù)述情況。

（二）眼動數(shù)據(jù)圖像化處理

本實驗采集的原始眼動數(shù)據(jù)包含了注視點坐標(biāo)、注視點持續(xù)時間、注視點先后順序等信息。對于機(jī)器學(xué)習(xí)來說，只有特征提取準(zhǔn)確，才能提高模型的模式識別性能，機(jī)器學(xué)習(xí)的效果才能達(dá)到令人滿意的精度。作為機(jī)器學(xué)習(xí)領(lǐng)域一個新的研究方向，深度學(xué)習(xí)和傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)相比，最大的不同在于能夠從訓(xùn)練數(shù)據(jù)里自動抽取學(xué)習(xí)特征，直接避免了人工特征抽取的時間消耗，提高了計算效率，極大地保留數(shù)據(jù)的原始特征和內(nèi)在豐富性。深度學(xué)習(xí)技術(shù)被廣泛用于語音識別、計算機(jī)視覺以及自然語言處理等領(lǐng)域，尤其在圖形圖像處理方面更是取得了巨大的成功。

基于此，首先本實驗對原始眼動數(shù)據(jù)進(jìn)行了預(yù)處理，將其轉(zhuǎn)換成圖片。為了能夠完整地展示眼動軌跡，我們將注視點的坐標(biāo)作為圓心，注視點持續(xù)時間作為半徑，以此用大小不同的圓來展現(xiàn)具有不同時長的注視點，即凝視時間越長，則圓就越大。同時，為了展現(xiàn)注視點的時序特征，我們將注視點出現(xiàn)的先后順序映射為灰度從淺灰色到黑色的漸變過程;此外，為了便于展示每個樣本的注意力轉(zhuǎn)移特征，我們將每個樣本的24張眼動軌跡圖按順序拼接成一張圖片，具體效果如圖3、圖4所示①。

對眼動數(shù)據(jù)進(jìn)行圖像化處理后，接下來就要使用圖形圖像算法對注意力轉(zhuǎn)移模式進(jìn)行識別和預(yù)測。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）是一種包含卷積且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度學(xué)習(xí)的代表算法之一[11]。相比于一般的神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)能較好地適應(yīng)圖像的結(jié)構(gòu)，并且能夠同時進(jìn)行特征提取和分類，使得特征提取有助于特征分類。此外，權(quán)值共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使得神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單、適應(yīng)性更強(qiáng)[12]。因此，卷積神經(jīng)網(wǎng)絡(luò)能很好地解決計算機(jī)視覺領(lǐng)域圖像識別問題，已成為典型的圖形圖像處理算法。

近年來隨著卷積神經(jīng)網(wǎng)絡(luò)研究的深入，已經(jīng)陸續(xù)產(chǎn)生網(wǎng)絡(luò)結(jié)構(gòu)不同的卷積神經(jīng)網(wǎng)絡(luò)模型，其性能也有差異。在選擇卷積神經(jīng)網(wǎng)絡(luò)時，應(yīng)該針對圖片數(shù)據(jù)集本身特點以及應(yīng)用需求去選擇合適的卷積神經(jīng)網(wǎng)絡(luò)模型。由于本實驗的數(shù)據(jù)量不夠巨大，不適合采用VGG（Visual Geometry Group）[13]、GoogLeNet[14]等模型來進(jìn)行數(shù)據(jù)處理。由于這些卷積神經(jīng)網(wǎng)絡(luò)模型層級較多，結(jié)構(gòu)較復(fù)雜，容易對小樣本數(shù)據(jù)產(chǎn)生過擬合。因此，本文采用的卷積神經(jīng)網(wǎng)絡(luò)模型來自于Lenet-5模型[15]。它最初是用于手寫數(shù)字識別和分類的，其網(wǎng)絡(luò)結(jié)構(gòu)相對簡單，非常適合本實驗的圖像特征的提取。由于此模型只能處理灰度圖像，并不支持彩色圖像的處理，因此，本實驗結(jié)合使用文獻(xiàn)[16]中的技術(shù)對模型里的參數(shù)和結(jié)構(gòu)進(jìn)行了調(diào)整，使其最終能夠滿足本實驗的數(shù)據(jù)處理需求以達(dá)到應(yīng)用目的。本文采用的模型主要包括六層網(wǎng)絡(luò)結(jié)構(gòu)：兩個卷積層，兩個下采樣層、一個全連接層和一個輸出層（如圖5所示）。其中，每個卷積層包括卷積、池化和非線性激活三部分，主要用于提取空間特征，而采樣層則是實現(xiàn)平均池化。

本實驗圖像像素數(shù)為620×620，然后逐次傳入網(wǎng)絡(luò)模型。本文中的19個被試一共有45個眼動樣本，其中，隨機(jī)選取30個樣本作為訓(xùn)練數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，其余15個樣本作為測試數(shù)據(jù)以驗證訓(xùn)練后卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確性。經(jīng)過多輪的隨機(jī)采樣訓(xùn)練，卷積神經(jīng)網(wǎng)絡(luò)的平均收斂效果如圖6所示。從圖6可以看出，卷積神經(jīng)網(wǎng)絡(luò)大約經(jīng)過30個epoch后錯誤率收斂。并且，此網(wǎng)絡(luò)對訓(xùn)練樣本的回歸性能大約穩(wěn)定在96%，而對測試樣本的預(yù)測性能則大概穩(wěn)定在64%。

五、利用Grad-CAM技術(shù)產(chǎn)生注意力

轉(zhuǎn)移模式的解釋模型

通過使用卷積神經(jīng)網(wǎng)絡(luò)對眼動圖像進(jìn)行特征識別和預(yù)測，能夠建立起注意力轉(zhuǎn)移模式與二語在線任務(wù)處理能力之間的映射關(guān)系。但是，黑盒技術(shù)的問題在于，雖然可以準(zhǔn)確地將輸入和輸出匹配起來，但是中間的非線性變換很難解釋或說明什么輸入要素如何對結(jié)果產(chǎn)生何種影響。因此，還需要對卷積神經(jīng)網(wǎng)絡(luò)添加一個可解釋模塊，以找出卷積神經(jīng)網(wǎng)絡(luò)對圖像識別作出決策的關(guān)鍵特征。

本文采用熱度圖可視化方法，即通過熱度圖來反映識別這個物體的關(guān)鍵特征。梯度加權(quán)的類激活映射（Grad-CAM）[17]作為一種熱度圖可視化方法，可以對分類結(jié)果的決策依據(jù)進(jìn)行解釋，直觀地對眼動圖像識別中的關(guān)鍵特征進(jìn)行可視化表達(dá)。對于卷積神經(jīng)網(wǎng)絡(luò)而言，經(jīng)過多次的卷積和池化后，網(wǎng)絡(luò)最后一層的卷積層包含了最豐富的空間和語義信息。Grad-CAM取經(jīng)過最后一層卷積操作后的關(guān)鍵特征圖，然后將該特征中的每個通道與該通道相關(guān)類的梯度進(jìn)行加權(quán)。

如圖所示，可視化關(guān)鍵特征眼動圖使用亮度來表示圖像分類特征的重要程度。其中，白色表示圖像分類最重要的特征，而黑色代表最不重要的特征。因此，從兩張圖中可看出，在長句復(fù)述任務(wù)中的表現(xiàn)方面，這些低齡二語（英語）學(xué)習(xí)者均沒有在某個時刻呈現(xiàn)出判斷的關(guān)鍵特征（白色標(biāo)記的部分），反而是亮色點均勻地分布在時間線上（約4分鐘）。并且，越是具有較好長句復(fù)述表現(xiàn)的學(xué)習(xí)者，其線性注意力控制也越均勻，不會出現(xiàn)凝視點丟失的情況。在不規(guī)則區(qū)域（線框內(nèi)區(qū)域）內(nèi)部，反例比正例中代表凝視點的關(guān)鍵特征則少了很多，而且正例關(guān)鍵特征圖中偏白的亮色點比反例關(guān)鍵特征圖中的多。如前所述，圖7和圖8是將所有眼動圖按時序聯(lián)合在一起的關(guān)鍵特征眼動圖，所識別的原始圖不僅帶有時序（由不同顏色標(biāo)記時序）標(biāo)記，還帶有凝視時長（圓圈的半徑）標(biāo)記。也就是說，反例中無法形成統(tǒng)一特征的原因是沒有滿足同步的凝視時長，且沒有相似的注意力移動序列。而正例中的樣本則在這兩個指征上完成統(tǒng)一度較高?；诖?，可得出以下解釋（預(yù)測）：

低齡二語學(xué)習(xí)者若具有較好的注意控制能力，即能夠按照注意力控制要求在收聽到二語刺激的同時，可以跟隨視覺提示進(jìn)行即時的注意力轉(zhuǎn)移，這些學(xué)習(xí)者的即時長句復(fù)述表現(xiàn)會有64%的概率是優(yōu)于平均表現(xiàn)的;反之，則可能以相同的概率差于平均表現(xiàn)。

到目前為止，由卷積神經(jīng)網(wǎng)絡(luò)和Grad-CAM技術(shù)所呈現(xiàn)的二語（英語）學(xué)習(xí)者注意力控制模式對于有標(biāo)記指征的均構(gòu)建了較高準(zhǔn)確率的預(yù)測。但是，雖然已知對注意力控制不好的學(xué)習(xí)者無法較好地完成長句復(fù)述任務(wù)，我們?nèi)匀徊恢⒁饬刂撇缓玫绞裁闯潭葧沟靡粋€學(xué)習(xí)者無法復(fù)述出平均句長。從圖8的不規(guī)則標(biāo)記區(qū)域可看出，具有較差注意力控制的學(xué)習(xí)者在前4張素材上的注意力表現(xiàn)還基本與注意力控制較好的學(xué)習(xí)者保持一致，但是第5～7張素材的注意力控制表現(xiàn)則顯示出了控制差異，然而8～9張素材又呈現(xiàn)了同步的注意力控制特征，第10～18張素材再次呈現(xiàn)了差異，且差異范圍擴(kuò)大。而第19～20張素材又呈現(xiàn)了保持一致的注意力控制模式，第21～24素材的注意力控制再次分散。這就為二語學(xué)習(xí)者對二語視聽刺激的注意力控制模式提供了更為深入的解釋：完成即時在線任務(wù)較好的學(xué)習(xí)者在注意力控制上具有較為一致的趨勢，可以保持視聽注意力的同步。然而完成即時在線任務(wù)較差的學(xué)習(xí)者雖然努力控制注意力，但仍然會產(chǎn)生視聽注意力控制異步的情況。他們基本只能對前4張素材保持較好的注意力控制，注意力分散后，再次集中注意力可維持2張素材的控制模式。

六、研究結(jié)論與未來工作

在本文中，提出了一個使用深度學(xué)習(xí)技術(shù)以及可視化技術(shù)來挖掘低齡二語（英語）學(xué)習(xí)者對二語視聽信息的注意力控制模式的方法。該方法是基于數(shù)據(jù)擬合的，不僅可以獲得較高的回歸/預(yù)測準(zhǔn)確率，同時在標(biāo)記和未標(biāo)記指征上均具有高度可解釋性，因為該方法可同時獲取時序和時刻的特征信息。在標(biāo)記指征上，解釋了凝視時長與和凝視序列所構(gòu)成的注意力控制模式;在未標(biāo)記指征上，則獲得了更細(xì)致的可影響在線任務(wù)整合表現(xiàn)的注意力控制模式。整合了標(biāo)記指征和未標(biāo)記指征的解釋，我們可獲得如下關(guān)于低齡二語學(xué)習(xí)者對二語視聽刺激的注意力控制預(yù)測模型：

低齡二語（英語）學(xué)習(xí)者若具有較好的注意控制能力，即能夠按照注意力控制要求在收聽到二語刺激的同時，可以跟隨視覺提示進(jìn)行即時的注意力轉(zhuǎn)移，并且在注意力控制上可持續(xù)維持（約4分鐘），那么這些學(xué)習(xí)者的即時長句復(fù)述表現(xiàn)會有64%的概率是優(yōu)于平均表現(xiàn)的;反之，若學(xué)習(xí)者在較長時間段內(nèi)對二語刺激的注意力維持能力平均只能達(dá)到2張干預(yù)素材（約13秒）的上限，那么就有可能以相同的概率差于平均表現(xiàn)。

這種注意力控制模式上的巨大差異是傳統(tǒng)手段和白盒機(jī)器學(xué)習(xí)技術(shù)無法獲得的，不僅如此，這個結(jié)論對低齡二語學(xué)習(xí)者的認(rèn)知干預(yù)研究有著重大意義。因為這個結(jié)論意味著學(xué)習(xí)者如果沒有辦法對二語特征的刺激做出正確的注意力控制響應(yīng)，可能會對學(xué)習(xí)效果和效率造成災(zāi)難性的影響。而我國二語學(xué)習(xí)者所處的二語匱乏環(huán)境則會加劇學(xué)習(xí)者對二語刺激的感知力退化。隨著第一語言習(xí)得的發(fā)展，二語學(xué)習(xí)過程中對注意力控制的要求會更高。因此，必須對低齡二語學(xué)習(xí)者開展有針對性的二語特征感知訓(xùn)練或干預(yù)，才能提升其對二語特征的注意力控制能力，進(jìn)而提升對二語特征的整體感知能力。目前，我們的研究團(tuán)隊正在針對同一實驗對象開展以影響學(xué)習(xí)者注意力分配為基礎(chǔ)的二語特征感知和習(xí)得的干預(yù)實驗。

[參考文獻(xiàn)]

[1] DORNYEI Z.The psychology of the language learner：individual differences in second language acquisition[M].New York：Routledge， 2005.

[2] UNSWORTH N，ENGLE R W.On the division of short-term and working memory：an examination of simple and complex span and their relation to higher order abilities [J].Psychological bulletin，2007，133（6）：1038-1066.

[3] SCHMIDT R W.The role of consciousness in second language learning [J].Applied linguistics，1990，11（2）：129-158.

[4] 張琪，武法提.學(xué)習(xí)分析中的生物數(shù)據(jù)表征——眼動與多模態(tài)技術(shù)應(yīng)用前瞻[J].電化教育研究，2016，37（9）：76-81，109.

[5] STICKLER U，SHI L.Eyetracking methodology in SCMC：a tool for empowering learning and teaching [J]. ReCALL，2017，29（2）：160-177.

[6] LIU P L. Using eye tracking to understand the responses of learners to vocabulary learning strategy instruction and use [J].Computer assisted language learning，2014，27（4）：330-343.

[7] DOLGUNSOOZ E. Measuring attention in second language reading using eye-tracking： the case of the noticing hypothesis [J]. Journal of eye movement research，2015，8（5）：1-18.

[8] BARANES A，OUDEYER P Y，GOTTLIEB J.Eye movements reveal epistemic curiosity in human observers[J].Vision research， 2015，117：81-90.

[9] YANG J，QI X F，YAN W W， et al. Attention allocation and transferring pattern mining in Chinese students invoking English [C]// The 19th International CALL Research Conference.Bruges：University of Antwerp，2018：372-376.

[10] 曠小芳，嚴(yán)薇薇，陳玉婷，王青娥，楊娟.小學(xué)生二語認(rèn)知模式發(fā)現(xiàn)及認(rèn)知能力提升研究[J].現(xiàn)代教育技術(shù)，2019，29（2）：72-79.

[11] GU J，WANG Z，KUEN J，et al. Recent advances in convolutional neural networks [J]. Pattern recognition，2018，77（5）：354-377.

[12] 常亮，鄧小明，周明全，等. 圖像理解中的卷積神經(jīng)網(wǎng)絡(luò) [J].自動化學(xué)報，2016，42（9）：1300-1312.

[13] SIMONYAN K，ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].（2015-04-10）[2019-05-15]. https：//arxiv.org/abs/1409.1556.

[14] SZEGEDY C，LIU W，JIA Y，et al. Going deeper with convolutions[C]//The 2015 IEEE Conference on Computer Vision and Pattern Recognition CVPR2015.Boston： IEEE，2015.

[15] LECUN Y，BENGIO Y.Convolutional networks for images， speech， and time series[M].USA： MIT Press Cambridge，1998.

[16] KRIZHEVSKY A，SUTSKEVER I，HINTON G E. Imagenet classification with deep convolutional neural networks[J].Communications of the ACM，2017，60（6）：84-90.

[17] SELVARAJU R R，COGSWELL M，DAS A， et al. Grad-CAM： Visual explanations from deep networks via gradient-based localization [C]//The IEEE International Conference on Computer Vision. Italy：Venice，2017：618-626.

[Abstract] Attention in second language acquisition is claimed to be the necessary and sufficient condition for conversing input to intake， and it is one of the main cognitive factors affecting L2 learning. Currently， most studies focus on attention allocation， and few work on the attention transfer pattern of L2 learners. However， the temporal features of attention transfer can reflect the thinking process of L2 learners more accurately. At present， methods used for discovering attention patterns include descriptive statistical methods and white-box-based regression/prediction techniques. Although the former can obtain statistically significant conclusions and the latter can construct causal relationship models， neither method can directly obtain meaningful indicators from high-latitude feature space. Therefore， it is impossible to establish an explainable model with high accuracy. Based on this， this study uses deep learning technology and visualization techniques to explore the attention transfer pattern of second language（English） learners when they are dealing with online tasks. The heat maps of the positive and negative examples show that the linear attention-control patterns of young second language learners is closely related to their online task performance， which can intuitively explain the influence of their linear attention control on online task completion. The model also has high regression/prediction accuracy.This conclusion is of great significance to the cognitive intervention research on English learning of young children in China.

[Keywords] Second Language Acquisition; Attention Control; Attention Pattern; Attention Transfer; Deep Learning; Convolution Neural Network; Eye-tracking