穆曉靜++張文青
摘 要:在所有學(xué)習(xí)經(jīng)驗中對學(xué)習(xí)內(nèi)容、學(xué)習(xí)過程和學(xué)習(xí)收獲的評價是必要的。新的技術(shù)促進(jìn)了新的內(nèi)容類型的使用,如教育游戲。與傳統(tǒng)活動相比它們有很強(qiáng)的交互性而且對所有形式的評估來說它們都是強(qiáng)有力的數(shù)據(jù)資源。本文討論了以評價為目的運用學(xué)習(xí)分析技術(shù)研究學(xué)生與游戲進(jìn)行交互的方式,并提出了一些評價的方法,希望對后續(xù)研究有借鑒意義。
關(guān)鍵詞:學(xué)習(xí)分析;教育游戲;教育評價
中圖分類號:G40-058.1 文獻(xiàn)標(biāo)志碼:A 文章編號:1673-8454(2015)09-0014-04
一、引言
所有知識領(lǐng)域的教師都在逐漸使用新技術(shù)去提高他們的教學(xué)實踐。其中,他們開始使用基于游戲的學(xué)習(xí)活動區(qū)來探索新的方式去教育他們的學(xué)生。有研究指出,電子游戲的高交互性、契約和挑戰(zhàn)性的特征會影響學(xué)習(xí)過程,增加學(xué)生的動機(jī)和學(xué)業(yè)績效。然而,評估在教育環(huán)境中是處于中心地位的,教學(xué)設(shè)計者必須保證他們方法的正確性,因此教師需要追蹤學(xué)生的進(jìn)度,測量學(xué)生知識和技巧的獲得,這樣就需要使用測試的方法。在游戲中學(xué)生以一種確定的速度不斷地解決問題,這種速度的設(shè)計是為了使游戲有挑戰(zhàn)性而且不讓人失望,但任何形式的測試或者問卷都被認(rèn)為是沉浸氣氛的一種破壞和中斷。[1]在游戲中追蹤學(xué)生的交互和提取過程的總結(jié)將是一種很好的學(xué)習(xí)評估方法。但這樣做,教師就需要工具去分析來自游戲的數(shù)據(jù)。學(xué)習(xí)分析技術(shù)就能作用在學(xué)生與游戲交互的數(shù)據(jù)搜集的可視化上。
二、學(xué)習(xí)分析技術(shù)和教育游戲評價
學(xué)習(xí)分析是近年來教育技術(shù)領(lǐng)域內(nèi)迅速發(fā)展的新熱點,它是運用先進(jìn)的分析方法和工具預(yù)測學(xué)習(xí)結(jié)果、診斷學(xué)習(xí)中發(fā)生的問題、優(yōu)化學(xué)習(xí)效果的一類教學(xué)技術(shù)的集合。雖然傳統(tǒng)教學(xué)過程中為了提高教學(xué)質(zhì)量也評估學(xué)生成績、分析教學(xué)過程,但這些活動中采集的數(shù)據(jù)往往非常有限,而且分析結(jié)果用于干預(yù)教學(xué)的周期過長,效果較差。隨著教學(xué)資源越來越網(wǎng)絡(luò)化,以及基于網(wǎng)絡(luò)的學(xué)習(xí)方式的普及,我們能夠獲取的學(xué)習(xí)行為和學(xué)習(xí)結(jié)果數(shù)據(jù)也更加豐富。這就為學(xué)習(xí)分析技術(shù)的產(chǎn)生和應(yīng)用奠定了物質(zhì)基礎(chǔ),并提出了迫切的需求,使之進(jìn)入人們的視野并迅速發(fā)展。[2]
教育游戲是教育和游戲有效整合的合成物,其目的是促進(jìn)學(xué)生更有效地學(xué)習(xí)。從廣義上來看,教育游戲“是一種競爭性的練習(xí),其目標(biāo)是獲得勝利,同時選手必須運用學(xué)科知識或其它有用的知識促進(jìn)練習(xí)并獲得勝利”。從狹義上看,教育游戲是“能夠培養(yǎng)游戲使用者的知識、技能、智力、情感、態(tài)度、價值觀,并具有一定教育意義的計算機(jī)游戲類軟件。[3]
既然教育游戲?qū)W(xué)習(xí)的促進(jìn)作用如此大,那么我們?nèi)绾沃缹W(xué)習(xí)者在游戲后是否有進(jìn)步呢?這就需要相應(yīng)評價方法的使用。游戲開發(fā)商為了更好地了解用戶怎樣玩游戲、發(fā)現(xiàn)錯誤和提高玩游戲的體驗,就會使用一系列的分析技術(shù)。而且現(xiàn)有的游戲分析技術(shù)的設(shè)計經(jīng)常是只限游戲的,不會包括教育環(huán)境中特殊的要求。這時,我們就可以使用學(xué)習(xí)分析技術(shù)來對教育游戲中學(xué)生產(chǎn)生的數(shù)據(jù)進(jìn)行分析,并且在一個游戲會話中交互是非常強(qiáng)烈的,所以應(yīng)用學(xué)習(xí)分析技術(shù)的潛在的可用數(shù)據(jù)會很大,但這個方法最大障礙中的一個就是游戲多變的種類,流派和類型。這就很難為教育游戲創(chuàng)造一種綜合性的可以被廣泛應(yīng)用的學(xué)習(xí)分析模型。為了維持管理成本,本文提議一種兩步式的方法去應(yīng)用學(xué)習(xí)分析:首先定義一種簡單的通用的可以運用于任何種類游戲的痕跡和報告,然后通過結(jié)合一般痕跡和特殊的痕跡來構(gòu)建更高水平的評估規(guī)則,而不需要為每一個游戲完全重新設(shè)計評估系統(tǒng)。
三、運用學(xué)習(xí)分析技術(shù)進(jìn)行評價的方法
運用學(xué)習(xí)分析技術(shù)對教育游戲的評價過程如下:先是為了促進(jìn)評估而記錄的痕跡的類型和從這些痕跡中得到的信息。然后為了達(dá)到更詳細(xì)的對結(jié)論的推斷,教師需要定義特殊的評估規(guī)則。
1.通用的痕跡
在嚴(yán)肅游戲中運用學(xué)習(xí)分析技術(shù)會有重大的技術(shù)挑戰(zhàn)。教育游戲的種類包括廣泛的游戲派別和類型,需要個別對待。然而,在所有電子游戲中游戲者與游戲的交互都是有意義的。[4]這些交互描繪了發(fā)生在游戲中的每一件事,可以被用于評價。在下面的段落中我們呈現(xiàn)了一系列有意義的交互,稱作痕跡,它可以捕捉所有游戲中出現(xiàn)的相同事件。
(1)開始游戲,結(jié)束游戲,退出游戲
第一步評估教育游戲的一般活動和每個特殊的學(xué)生,就是去鑒定學(xué)生事實上玩了游戲而且是否自己完成,這是特別重要的,為此我們提出三種類型的痕跡:
游戲開始:這個痕跡是當(dāng)學(xué)生開始玩游戲時產(chǎn)生的。我們用這個痕跡去識別用戶通過跟蹤系統(tǒng)中的驗證信息(用戶名和密碼)。如果學(xué)生多次玩游戲,跟蹤系統(tǒng)每次都為玩家產(chǎn)生一個記錄。這個痕跡包括基本的信息(最初的時間戳),還包括完成部分的數(shù)據(jù),如游戲運行的操作系統(tǒng)、瀏覽器的技術(shù)數(shù)據(jù)等。
游戲結(jié)束:這個痕跡是當(dāng)學(xué)生完成了游戲時產(chǎn)生的。這個痕跡包含達(dá)到的最終點的附加信息。(如果游戲有多個結(jié)局)
游戲退出:這個痕跡是學(xué)生退出游戲時產(chǎn)生的。這個痕跡可以包含一些可以識別學(xué)生退出游戲的點(階段或水平,游戲聲明的一部分)和完成狀態(tài)的環(huán)境。由于技術(shù)的限制,有時游戲并不能產(chǎn)生這些痕跡。(如果游戲在一個瀏覽器運行而且用戶關(guān)閉了窗口,游戲就不能發(fā)送“退出游戲”的信號給服務(wù)器)為了處理這個問題(至少部分地)另一種包含環(huán)境信息的痕跡在一個固定頻率的基礎(chǔ)上發(fā)布(每60s),最后收到的痕跡可以被認(rèn)為是游戲退出的痕跡。
(2)游戲階段的改變
大部分電子游戲都以章節(jié)、任務(wù)或者階段的形式構(gòu)造故事。每個階段都和下一個或游戲的中間目標(biāo)有聯(lián)系。如果可能的話,使用時間標(biāo)記記錄的學(xué)生在開始和結(jié)束每一個階段的痕跡都會提供相關(guān)數(shù)據(jù)。[5]我們獲得了關(guān)于學(xué)生在游戲中怎樣分配游戲時間的更詳細(xì)的信息。此外,如果階段探索的序列不是線性的,教師還可以搜集觀察到游戲的每一部分怎樣被訪問。
花費在每一階段的時間可以用來鑒定游戲中消耗大量時間的部分,而且如果結(jié)果是意料之外的時候還可以校正游戲設(shè)計(如重調(diào)難度、適應(yīng)內(nèi)容等)。我們提出兩種類型的痕跡來記錄這些階段怎樣被探索。
階段開始:這個痕跡是當(dāng)階段開始時產(chǎn)生的。這個痕跡包含識別這個階段的一個ID。
階段結(jié)束:這個痕跡是當(dāng)玩家結(jié)束一個階段時產(chǎn)生的。這個痕跡包含關(guān)于完成狀況的額外信息,比如成功或失敗。
(3)游戲中重要的變量
所有的游戲都使用變量去保持一些游戲的狀態(tài)。[6]通過追蹤這些變量,每個學(xué)生的游戲玩法都能重現(xiàn)。一個游戲可以包括數(shù)以千記的變量,但是只有少數(shù)在評估用途上是真正重要的。這些變量包含游戲的分?jǐn)?shù)和完成游戲的機(jī)會等。一個產(chǎn)生的痕跡可以反映這些重要變量的最終價值,或者如果需要,還能反映他們的價值什么時候改變。隨著時間的流逝,變量的更新就代表了玩家的進(jìn)步。通過監(jiān)視,一系列相關(guān)變量隨著時間演變,我們可以觀察到玩家經(jīng)歷的中間狀態(tài)。這個類型的痕跡可以扮演一種通配符去記錄各種類型的痕跡,幾乎游戲中發(fā)生的每一件事在一個變量程度上都能被識別。
(4)交互痕跡
先前在游戲情境中跟蹤的痕跡包含的數(shù)據(jù)與游戲邏輯相關(guān),而且他們是游戲的引擎無意間產(chǎn)生的。但是當(dāng)學(xué)生玩的時候,產(chǎn)生的大量數(shù)據(jù)是從他們與控制游戲的輸入設(shè)備(比如鼠標(biāo)、鍵盤、控制器、操縱桿等)的直接交互中派生出的。
理想上,跟蹤者應(yīng)該能搜集到每一次玩家的點擊,按鍵或者按鈕,并傳輸給后臺為了隨后的處理存儲起來。把所有的痕跡分組,甚至能重現(xiàn)整個游戲會話。
然而,為每一次交互存儲痕跡將消耗一定的資源,要求有效的頻寬和存儲的空間。大部分情況下,跟蹤痕跡的數(shù)量可以被減少到小部分的交互,而且它有足夠的力量去供給學(xué)習(xí)分析系統(tǒng)。因此,我們明確考慮了過濾的可能性,在給數(shù)據(jù)庫提交數(shù)據(jù)之前,不管是在客戶端還是服務(wù)器端,都要對數(shù)據(jù)有一定選擇。
無論如何,所有的輸入痕跡都應(yīng)該包含產(chǎn)生它的設(shè)備(鍵盤、鼠標(biāo)、控制器、操縱桿)、執(zhí)行的活動(按按鈕、移動、點擊)、輸入的相關(guān)數(shù)據(jù)(按鍵代買、鼠標(biāo)位置、控制器按鈕等)信息。
2.對數(shù)據(jù)的分析和報告
第一個問題就是怎樣把簡單的游戲和用戶交互的數(shù)據(jù)轉(zhuǎn)化成與教師相關(guān)并有用的評估信息。在這些痕跡上運用一般的網(wǎng)絡(luò)分析技術(shù)、分析工具可以產(chǎn)生出一般的包含游戲不可知信息的報告。例如:使用游戲痕跡可以知道有多少學(xué)生玩了游戲、多少人完成了、多少人在完成前退出。所有痕跡都包含一個時間戳,我們可以更好地計算一組學(xué)生中平均和最壞的完成時間。在退出游戲痕跡的情境中,我們可以識別用戶在哪一點停止了游戲。這個信息可以幫助推斷他們停止游戲的原因。當(dāng)學(xué)生在同一點周期性地退出游戲,教師就可以指出一個游戲設(shè)計的問題或者一個技術(shù)錯誤,還可以找出一種教育內(nèi)容上的缺陷或者是不能平衡的困難。
運用階段痕跡可以形成可視化的報告(使用圖表)表現(xiàn)玩家是怎樣進(jìn)入游戲結(jié)構(gòu)的(表現(xiàn)在一個有向圖中),使用時間戳顯示在所有階段花費的時間是怎樣分布的。這些報告也允許通過顯示過度消耗時間的階段來識別游戲設(shè)計的缺陷,或者對學(xué)生來說是困難的教育專題。如果玩家可以自由探索階段,也能形成所有階段的完成狀況的報告。
使用有意義變量的痕跡,我們可以為一些有趣的變量列出最后的價值。例如:如果游戲有分?jǐn)?shù)的變量,或者一個追蹤第二目標(biāo)的最后狀態(tài)的變量,每一個玩家的最終價值都將被展現(xiàn)出來。
使用輸入痕跡,我們可以部分地(或完整地、依靠輸入記錄的數(shù)量)重現(xiàn)游戲會話。轉(zhuǎn)而,結(jié)合這些痕跡和被階段痕跡記錄的信息,可以產(chǎn)生每一階段交互如何分布的報告。更具體地說,可以探究每個場景中熱圖的產(chǎn)生:它是通過聚集每一次鼠標(biāo)點擊的坐標(biāo)獲得的,然后在場景背景的上面把它們的位置可視化,這就允許識別屏幕上收到更多用戶注意的那些點。然而,盡管這些信息提供了對學(xué)生和游戲怎樣交互的理解,還提供一些相關(guān)的反饋,但它并不足以支持一個完整的評估過程,需要更特殊的報告來獲得對學(xué)生怎樣與材料進(jìn)行交互和學(xué)習(xí)的理解。
3.特殊的評估規(guī)則
前面的部分是受傳統(tǒng)網(wǎng)絡(luò)分析報告的啟發(fā)而描述了基本的基于簡單分析的報告方法。那些報告在所有的游戲中可以不用特別努力就自動產(chǎn)生。然而,教育評估是特別基于學(xué)生在確定的領(lǐng)域達(dá)到的目標(biāo)。當(dāng)某些條件達(dá)到了,一個目標(biāo)就被認(rèn)為實現(xiàn)了,而且這些條件大多依賴于每一個特定的游戲。然而,設(shè)計和搜集每一個游戲的特殊信息痕跡是不合適的,因為結(jié)果通常會很貴。
總之,追蹤簡單的數(shù)據(jù)是不夠的,而且追蹤增加的數(shù)據(jù)是依賴游戲的,因此代價更高一些。所以,我們提倡在先前描述的一般信息痕跡之上構(gòu)建游戲特定的評估規(guī)則。我們的評估規(guī)則是以這個觀點為基礎(chǔ)的,作為一個起點,運用一系列“通用”的痕跡,我們定義了下列條件的類型:
時間:因為所有的痕跡都包含一個時間戳,可以為每一個階段或整個游戲設(shè)定最高時間閾限,并且通過比較實際完成時間和閾限自動為學(xué)生打分;還可以為游戲設(shè)置最小的閾限,游戲有一些重復(fù)的動作會使學(xué)生忙一陣子,閾限的分?jǐn)?shù)將使學(xué)生提高其極限。例如,要完成游戲時間必須少于10分鐘;要完成“第二階段”必須少于30秒。
變量X的最終價值比Y的高或者低:環(huán)境在游戲的結(jié)尾檢查了一些變量的價值。X可以通過操作兩個或更多的變量被獲得,Y可以是可配置的值或者其他的變量。例如,“死亡次數(shù)”的值必須少于5次;變量“分?jǐn)?shù)”必須大于1000;變量“目標(biāo)1完成”必須是真的。
呈現(xiàn)的痕跡:一個特殊的痕跡生成于玩游戲的過程中,例如,“游戲結(jié)束”。
小組結(jié)果:教師可以為每個游戲定義最小成功率和程序預(yù)警,當(dāng)最低成功率沒有達(dá)到時,他們也能為游戲界定學(xué)生假設(shè)的數(shù)量,且當(dāng)完成任務(wù)的截止期限臨近時,如果這些數(shù)量沒有滿足,會被警告。通過分析小組結(jié)果,教師也能對評價系統(tǒng)進(jìn)行測量。例如,如果獲得好成績的學(xué)生的數(shù)量非常少,時間閾限就可以放寬,并且自動獲得新的評估報告。
更復(fù)雜的條件可以通過結(jié)合這些邏輯運算符“或、與、非”被定義。顯然這些報告規(guī)則不能被一般地制定:特殊的位置(A,B),或者價值(X,Y)都緊緊依賴于每個特殊的游戲。此外,為了匹配游戲的教育目標(biāo)它們都必須仔細(xì)地被調(diào)整。然而,這些評估規(guī)則的信息源就是被一系列通用痕跡所廣泛覆蓋的事件,因此創(chuàng)造可以用于不同游戲的規(guī)則是可能的,并且只需要一點點的調(diào)整。
結(jié)合這些簡單的規(guī)則,可以定義復(fù)雜的目標(biāo)去規(guī)定反映學(xué)生獲得了期望的教育目標(biāo)的情況。教育目標(biāo)可以是個人的,也可以是為小組設(shè)置的。
四、案例研究
文章《Application of Learning Analytics in educational videogames》中Lost in Space
Lost in Space
1.研究計劃
當(dāng)學(xué)生寫真實的XML文件時,我們想讓他們頻繁運用最近學(xué)到的知識,而且這些是評估數(shù)據(jù)的主要來源。我們設(shè)計這個案例來探索實時的可視化數(shù)據(jù)并生成復(fù)雜的分?jǐn)?shù),我們設(shè)置了三種評估的條件:
分?jǐn)?shù)目標(biāo):集中于基于有意義變量的一般痕跡。特別是在可變分?jǐn)?shù)上的變更的游戲報告,如果獲得了大于1000的值(最大分?jǐn)?shù)3000),評估條件就被認(rèn)為是成功的。
有效的XML文件:每一個會話游戲還暴露了一個使用正確的百分比XML片段的變量。如果正確XML片段的百分比最后高于75%這個評估規(guī)則就會被激活。
完成時間:這個規(guī)則用于測量完成整個游戲的時間,從第一階段開始到最后階段結(jié)束,結(jié)果應(yīng)該少于30分鐘。
結(jié)合這些痕跡,教師就能很容易去閱讀報告并很快地驗證個人在游戲中的進(jìn)步。
此外,為了測試這些痕跡怎樣實時地用于評估每一個學(xué)生的進(jìn)步,測試的一個實時可視化工具還要報告當(dāng)下的分?jǐn)?shù)和每個學(xué)生成功完成的最新級別。
2.結(jié)果
我們用來自網(wǎng)絡(luò)程序設(shè)計課程的37個學(xué)生測試了游戲,他們在教師看守下在一個電腦實驗室玩這個游戲,教師通過報告屏幕幫助并留意進(jìn)步。
這個會話是一個對方法可用性和報告工具有效性的開放的測試,因為這個原因它并沒有像真正評估一樣有組織。然而94%的學(xué)生成功完成了游戲(只有兩個沒完成),81%的學(xué)生的分?jǐn)?shù)超過了1000分。但是,只有24%的學(xué)生在30分鐘內(nèi)完成了游戲。
然而,會話真正的目的不是獲得學(xué)生的評估,而是在真實的環(huán)境中嘗試這個評估方法。在這個意義上來說結(jié)果是有趣的,證明實時的可視化對教師的現(xiàn)場管理是一個很有價值的工具。
3.討論和經(jīng)驗教訓(xùn)
通過這個研究案例,我們測試了創(chuàng)造更復(fù)雜的評估工具的可能性。關(guān)于對學(xué)習(xí)的評估,我們已經(jīng)建立了不同的可以運用一般痕跡作為數(shù)據(jù)資源的評估條件和目標(biāo)。這個結(jié)果成功允許教師得到關(guān)于每個學(xué)生在游戲會話中怎樣表現(xiàn)的基本的反饋。然而,需要注意的是這些分?jǐn)?shù)是試探性的,他們并沒有考慮到計算學(xué)生的官方成績。實時的跟蹤屏幕對教師是有用的,顯示學(xué)生的進(jìn)步和識別那些有問題的學(xué)生,補(bǔ)救行動能接近學(xué)生和解釋為什么他們不能成功制定正確的解決方法。
五、總結(jié)和展望
本文中我們提出一種兩步法來應(yīng)用學(xué)習(xí)分析技術(shù)支持教育游戲的評估。我們嘗試處理的主要問題是,當(dāng)學(xué)習(xí)分析技術(shù)看起來有前途時,特別是在游戲中,它們應(yīng)用于嚴(yán)肅游戲中是很難推廣的,規(guī)模是昂貴的而且很難組織。[7]當(dāng)特有的學(xué)習(xí)分析方法集中于測量與網(wǎng)絡(luò)服務(wù)器(在完善的協(xié)議中運行)的交互時,游戲分析需要更復(fù)雜的過程去收集和分析信息,可能會導(dǎo)致很好的結(jié)果,但也會伴隨著高的復(fù)雜性和代價。
兩步法的具體內(nèi)容是:第一層提出適用于大多數(shù)嚴(yán)肅游戲的對一般痕跡的簡單設(shè)置。繼而,一個附加的用來生成更詳盡報告的通過利用這些一般痕跡去洞察學(xué)生是怎樣玩耍和學(xué)習(xí)的評估層產(chǎn)生了。這些報告有三種用途:第一,對痕跡的研究允許開發(fā)者去平衡游戲的設(shè)計,在游戲中準(zhǔn)確找出值得作者緊密關(guān)注的缺點;第二,設(shè)置評估條件和規(guī)則允許對成功指標(biāo)的定義,最終可以被用做一個評分機(jī)制;最后,實時可視化的規(guī)定幫助教師洞察每個學(xué)生進(jìn)步的過程,并提供一個干預(yù)的機(jī)會。
參考文獻(xiàn):
[1]?ngel Serrano-Laguna, Javier Torrente, Pablo Moreno-Ger, Baltasar Fernández-Manjón: Application of Learning Analytics in educational videogames[J]. Entertainment Computing (2014).
[2]李青,王濤.學(xué)習(xí)分析技術(shù)研究與應(yīng)用現(xiàn)狀述評[J].中國電化教育,2012(8):129-133.
[3]張明娟.教育游戲在小學(xué)英語教學(xué)中的應(yīng)用模式研究[D].曲阜師范大學(xué),2009.
[4]?ngel Serrano-Lagunaa, Javier Torrentea, Pablo Moreno-Gera, Baltasar Fernández-Manjóna:Tracing a little for big Improvements: Application of Learning Analytics and Videogames for Student Assessment[J]. Procedia Computer Science 15 (2012)203-209.
[5]I.Garcia,A.Duran,M.Castro,Comparing the effectiveness of evaluatingpractical capabilities through hands-on on-line exercises versus conventionalmethods, in: 2008 38th Annual Frontiers in Education Conference, 2008, pp.F4H-18-F4H-22.
[6]P. Moreno-Ger, J. Torrente, Y.G. Hsieh, W.T. Lester, Usability testing for serious games: making informed design decisions with user data, Adv. Human Comput. Interact. 2012 (2012) 1-13 (article ID 369637).
[7]K.Hullett, N.Nagappan, E.Schuh, J.Hopson, Data analytics for game development, in: Proceeding of the 33rd International Conference on Software Engineering-ICSE, 2011, p. 940.
(編輯:王天鵬)