李靜 高國元

摘 ?要 在綜合分析國內(nèi)外關(guān)于大學(xué)英語聽說網(wǎng)絡(luò)課程評價體系及相關(guān)領(lǐng)域研究成果的基礎(chǔ)上，采用層次分析法（AHP）確定大學(xué)英語聽說網(wǎng)絡(luò)課程質(zhì)量因素的評價指標(biāo)維度，并根據(jù)文獻(xiàn)分析確定各項指標(biāo)的初始權(quán)重。在此研究基礎(chǔ)上，邀請15位國內(nèi)外語及教育技術(shù)專家采用特爾斐法（Delphi Method）進(jìn)一步確定各項指標(biāo)維度及權(quán)重，形成大學(xué)英語聽說網(wǎng)絡(luò)課程的總結(jié)性評價指標(biāo)體系。

關(guān)鍵詞 英語聽說課程;網(wǎng)絡(luò)課程;總結(jié)性評價;評價指標(biāo)維度

中圖分類號：H319.1 ? ?文獻(xiàn)標(biāo)識碼：B

文章編號：1671-489X（2019）16-0005-04

Construction of Summative Evaluation Index System for Web-based University English Listening and Speaking Course//LI Jing， GAO Guoyuan

Abstract Based on the study of domestic and foreign web-based English learning evaluation and its relevant research outcome， a

proposal of a general summative evaluation index system for web-

based university English listening and speaking course is put for-

ward. By means of Analytic Hierarchy Process （AHP）， the delamina-

tion model of English course quality factors and initial weight of each evaluation index is proposed. Then， by Delphi Technique， the rationality of index and index weight design are further analyzed and validated. And finally according to research outcome， a general summative evaluation index system for web-based English listening and speaking course is developed.

Key words English listening and speaking course; Web-based course;

summative evaluation; evaluation index

1 研究背景

我國目前的研究中關(guān)于網(wǎng)絡(luò)教學(xué)的經(jīng)驗性研究比較多，對有效性評估的根本性研究比較少。很多學(xué)者從網(wǎng)絡(luò)課程的特點來探討怎樣提高英語網(wǎng)絡(luò)課程的有效性，如金花漫（2006）認(rèn)為應(yīng)該遵循網(wǎng)絡(luò)課程的特點來進(jìn)行教學(xué)[1];尹振宇（2011）則通過學(xué)校的實證研究來積極地引導(dǎo)學(xué)生，通過網(wǎng)絡(luò)上的學(xué)習(xí)能夠獲得較好的教學(xué)效果[2];還有一些研究者通過教學(xué)實驗來驗證英語學(xué)習(xí)中網(wǎng)絡(luò)教學(xué)的效果，如石萌萌（2010）、鐘宏文（2011）都是利用教學(xué)效果描述來證實網(wǎng)絡(luò)教學(xué)在英語學(xué)科教學(xué)中的有效性[3]。然而，針對英語網(wǎng)絡(luò)教學(xué)的有效性評估和真實效度如何的研究較少。少數(shù)研究者如崔曉霞（2009）對英語網(wǎng)絡(luò)課堂教學(xué)策略教師感知度進(jìn)行了研究[4]，王秀英（2012）研究了現(xiàn)代遠(yuǎn)程教育模式下的成人英語教學(xué)的有效性[5]，這些研究都為英語網(wǎng)絡(luò)教學(xué)的效度研究提供了有益借鑒。

相關(guān)文章中對教的效果關(guān)注較多，而對學(xué)的效果關(guān)注較少，也就是說，多數(shù)研究者探討了網(wǎng)絡(luò)環(huán)境如何促進(jìn)英語課程的教學(xué)，雖然也反映在學(xué)生的學(xué)習(xí)上，但對學(xué)生英語綜合能力的系統(tǒng)性分析較少。關(guān)于效度（Validity）的研究也并不多，在這些研究中，Carol A. Speth（2007）提出應(yīng)用ASSIST量規(guī)進(jìn)行網(wǎng)絡(luò)教學(xué)評價的方法[6]，Kum Leng

Chin（2003）探討了應(yīng)用特爾斐法（Delphi Method）進(jìn)行E-learning效度研究的思路[7]。

2 研究問題

本研究始于對網(wǎng)絡(luò)英語課程評估的關(guān)注，盡管國內(nèi)外學(xué)者對此已有相應(yīng)研究，但研究各有優(yōu)缺點。國外網(wǎng)絡(luò)課程評估指標(biāo)維度較細(xì)化，條目具體，涉及內(nèi)容詳細(xì)，但指標(biāo)維度沒有分級，層次性不強(qiáng)。而且國外課程評估體系很少設(shè)定評價權(quán)重，使得評估者難以給出具體分值。國內(nèi)評價指標(biāo)維度進(jìn)行了分級，而且一般分為三級，并設(shè)定了評價權(quán)重便于評估者打分，但國內(nèi)指標(biāo)維度過于籠統(tǒng)，條目不夠具體。因此，本研究將綜合國內(nèi)外評價指標(biāo)體系的優(yōu)點，重點解決兩大問題：一是建構(gòu)內(nèi)容詳細(xì)的評價指標(biāo)維度并進(jìn)行分級;二是設(shè)定評價權(quán)重。

鑒于英語課程種類繁多，設(shè)計理念不同，評價標(biāo)準(zhǔn)也不同，本研究旨在為大學(xué)英語聽說網(wǎng)絡(luò)課程建構(gòu)評價指標(biāo)體系。

3 研究方法

本研究采用特爾斐法對所制定的英語聽說網(wǎng)絡(luò)課程總結(jié)性評價標(biāo)準(zhǔn)進(jìn)行專家評議，建立共識，以保證標(biāo)準(zhǔn)的合理性、代表性、權(quán)威性。特爾斐法的一般流程為[8]44-60：預(yù)測問題的確定，并選擇專家組;制定與發(fā)送第一輪調(diào)查問

卷;回收第一輪調(diào)查問卷并整理結(jié)果;將第一輪調(diào)查問卷的統(tǒng)計結(jié)果附在第二輪調(diào)查問卷上，發(fā)送給第一輪調(diào)查問卷的專家組;收回第二輪調(diào)查問卷，整理結(jié)果;如果專家的意見差異比較大，則進(jìn)行第三輪、第四輪問卷調(diào)查，在不斷地反饋與修改中使專家意見趨于一致而獲得最終的結(jié)果;處理調(diào)查結(jié)果。

邀請15位專家組成本標(biāo)準(zhǔn)的評議專家組，包括國內(nèi)著名教育技術(shù)學(xué)專家或曾經(jīng)在網(wǎng)絡(luò)課程評價、CAI課程評價上有專門研究的教育技術(shù)專業(yè)研究人員，國內(nèi)著名的語言學(xué)專家。評議專家覆蓋了山東、廣東、上海、浙江、江西等地區(qū)。在評議過程中，專家組成員是非常穩(wěn)定的，這為獲得可靠的調(diào)查結(jié)果提供了保證。

4 研究步驟及結(jié)果

英語聽說網(wǎng)絡(luò)課程總結(jié)性評價指標(biāo)維度的初步確立 ?為了對英語聽說網(wǎng)絡(luò)課程評價成果有客觀評價，充分調(diào)研國內(nèi)外在不同時期從不同角度比較有代表性的課程評價標(biāo)準(zhǔn)。然后，通過對評價標(biāo)準(zhǔn)逐層篩選，根據(jù)中外文化的不同，分析評價指標(biāo)各個選項之間的差異并分析原因，對中外標(biāo)準(zhǔn)中的重復(fù)項、不充分的選項以及矛盾項進(jìn)行重點調(diào)整。還參照K12教育教學(xué)網(wǎng)課程評比標(biāo)準(zhǔn)（2002）、北外英語網(wǎng)絡(luò)課程評比標(biāo)準(zhǔn)等國內(nèi)外數(shù)個網(wǎng)絡(luò)英語課程評比標(biāo)準(zhǔn)，采用層次分析法形成初步的英語聽說課程總結(jié)性評價指標(biāo)體系框架。

層次分析法是一種定性和定量相結(jié)合，系統(tǒng)化和層次化的分析方法，它的目的是建立層次結(jié)構(gòu)模型[9]。根據(jù)層次分析法，初步的評價指標(biāo)體系共分三級，其中一級指標(biāo)四個維度，二級指標(biāo)25個維度，三級指標(biāo)33個維度;一級指標(biāo)是評估的核心，二級、三級指標(biāo)是對一級指標(biāo)的細(xì)化說明。一級指標(biāo)的四個維度分別為教學(xué)內(nèi)容、教學(xué)特征、信息呈現(xiàn)和課程操作。教學(xué)內(nèi)容指的是課程內(nèi)容的組織結(jié)構(gòu)和學(xué)術(shù)質(zhì)量，是決定課程質(zhì)量的關(guān)鍵因素。教學(xué)特征是決定課程質(zhì)量的關(guān)鍵要素，指課程的目標(biāo)、授課過程以及測試方法是否合理。課程操作指技術(shù)的可靠性、穩(wěn)定性，是課程的前提和保障。信息呈現(xiàn)一般指學(xué)習(xí)者在學(xué)習(xí)過程中與課程之間的信息交流設(shè)計方式，簡單順暢的信息交流是另一個決定課程質(zhì)量的要素。在確定了一級指標(biāo)的四個維度的基礎(chǔ)上再對其進(jìn)行細(xì)化，分出二、三級指標(biāo)。各標(biāo)準(zhǔn)的描述方式如表1所示。

專家組對評價指標(biāo)維度進(jìn)行評議 ?本研究的第二階段就是專家組用特爾斐法及主流意見法對初步制定的網(wǎng)絡(luò)英語聽說課程評價指標(biāo)維度進(jìn)行評議，達(dá)成共識，保證制定標(biāo)準(zhǔn)的代表性、合理性以及權(quán)威性。

1）第一輪專家評議。第一輪評議的標(biāo)準(zhǔn)包括兩個方面：①各項評價指標(biāo)描述的明確性，也就是各項評估指標(biāo)的描述是否非常清晰明確，本研究采用李克特的四點量表進(jìn)行評估;②各項評價指標(biāo)的必要性，也就是評議各項評價指標(biāo)是否能體現(xiàn)相應(yīng)評價維度的質(zhì)量特征，是否作為獨立的指標(biāo)被納入英語課程總結(jié)性指標(biāo)體系。各評價指標(biāo)一般有A、B、C、D四個備選項：A—必需，代表這項評價指標(biāo)是必不可少的、不可替代的，作為必需標(biāo)準(zhǔn);B—建議，代表這項評價指標(biāo)并非不可替代，但是它對有效的英語課程評價也是意義重大的，成為建議性標(biāo)準(zhǔn);C—合并，代表本指標(biāo)有一定的意義，但不足以作為獨立標(biāo)準(zhǔn)，可以合并到其他項目中;D—刪除，代表本指標(biāo)很小或者完全沒有必要，可刪

除。此外，如果專家還有別的不同意見，可以填在最后的“添加”欄內(nèi)。第一輪調(diào)查表如表2所示。

2）第一輪評議結(jié)果及修訂。通過分析第一輪專家調(diào)查問卷結(jié)果，發(fā)現(xiàn)從總體上看，專家認(rèn)為各項指標(biāo)維度的描述是很明確的，所有指標(biāo)的明確性都得4分（最高分）;但在評價指標(biāo)必要性這一點上，專家意見不一。為了達(dá)成主要意見，主要應(yīng)用主流意見法，即各個指標(biāo)的同意度達(dá)到60%或者60%以上的為主流意見[10]。結(jié)果顯示，專家對一級指標(biāo)的四個維度100%認(rèn)同，但對二級指標(biāo)的25個維度有不同意見。二級指標(biāo)的25個維度中有包括“科學(xué)性”“準(zhǔn)確性”等在內(nèi)的16個維度得到80%以上的主流意見。同時，70%的專家認(rèn)為應(yīng)刪除維度“先進(jìn)性”;90%的專家認(rèn)為應(yīng)刪除維度“兼容性”;70%的專家認(rèn)為維度“學(xué)習(xí)向?qū)А薄叭蒎e性”可以合并到其他維度;60%的專家認(rèn)為維度“教學(xué)交互”可以合并到其他維度;80%的專家認(rèn)為維度“幫助設(shè)計”可以合并到其他維度;70%的專家認(rèn)為維度“課程內(nèi)容”中應(yīng)添加“語言材料的真實性”等。

3）第二輪專家評議及結(jié)果。根據(jù)第一輪評議結(jié)果，對初步的評價指標(biāo)維度進(jìn)行修改，修改的主要內(nèi)容是關(guān)于指標(biāo)的必要性，即增加、刪除、合并一些指標(biāo)維度。經(jīng)過修改后，評價指標(biāo)體系中的一級指標(biāo)不變，仍是初步建構(gòu)的四個維度;二級指標(biāo)由25個維度縮為23個維度;三級指標(biāo)由33個維度增加到43個維度。

然后，本研究進(jìn)行第二輪問卷調(diào)查，問卷結(jié)果的統(tǒng)計數(shù)據(jù)顯示，專家組對第二輪問卷的評價指標(biāo)維度總體認(rèn)可。專家除了對二級指標(biāo)中的“練習(xí)設(shè)計”“反饋”“媒體選擇”三項的三級指標(biāo)維度有異議外，其他的二級和三級指標(biāo)維度都達(dá)到60%以上的主流意見。結(jié)果顯示，90%的專家認(rèn)為二級指標(biāo)維度“練習(xí)設(shè)計”中的三級指標(biāo)維度“練習(xí)輔助于教學(xué)內(nèi)容”與“提供練習(xí)”應(yīng)合并;90%的專家認(rèn)為二級指標(biāo)維度“反饋”中的三級指標(biāo)維度“學(xué)習(xí)者被禮貌地告知回答正確或錯誤”“學(xué)習(xí)者出錯時進(jìn)行友好提示”與“學(xué)習(xí)者出錯時為學(xué)習(xí)者提供改正答案”應(yīng)合并;70%的專家認(rèn)為二級指標(biāo)維度“媒體選擇”中的三級指標(biāo)維度“合理運用多媒體輔助語言學(xué)習(xí)”與“多媒體使用協(xié)調(diào)”應(yīng)合并。

在第二輪專家評議的基礎(chǔ)上對部分評價指標(biāo)維度進(jìn)行修改，這樣就確定了英語聽說網(wǎng)絡(luò)課程總結(jié)性評價的指標(biāo)維度。該評價指標(biāo)維度共包括三級，一級指標(biāo)四個維度，二級指標(biāo)23個維度，三級指標(biāo)39個維度。

將評價指標(biāo)權(quán)重發(fā)給專家組評議 ?權(quán)重指的是對某一個評價指標(biāo)在網(wǎng)絡(luò)英語聽說課程評價指標(biāo)體系中的地位和作用進(jìn)行衡量的數(shù)值，是評價指標(biāo)體系中各項指標(biāo)在實現(xiàn)、完成整體目標(biāo)中的貢獻(xiàn)程度，也被稱為權(quán)數(shù)[8]60-67。如果評價指標(biāo)的權(quán)重大，那么評價值的變化對結(jié)果的影響也就大，反過來就小。只有科學(xué)地確定各項指標(biāo)的權(quán)重，才能合理地進(jìn)行評價和分析。經(jīng)過反復(fù)研討，各選項（三級指標(biāo)維度）的權(quán)重分配為：分值從1分到4分不等，根據(jù)文獻(xiàn)分析哪個指標(biāo)維度最重要，哪個次之，哪個第三重要;次序確定后，給出每個指標(biāo)維度的權(quán)重值，1≤a≤4，所有39項指標(biāo)維度的權(quán)重總分為100分。

本研究在通過分析檢索到的文章建構(gòu)初步的總結(jié)性評價指標(biāo)維度的同時，還根據(jù)檢索結(jié)果給出各指標(biāo)維度的建議權(quán)重，而后采用特爾斐法（見表3）。專家如果對建議權(quán)重有不同看法，可給出理想權(quán)重。

在統(tǒng)計第一輪權(quán)重調(diào)查表結(jié)果時，要以下面兩個量數(shù)為基準(zhǔn)。

1）求出每一個評價指標(biāo)維度權(quán)重系數(shù)的平均估計值。

Wi=1/n∑Wij

式中，Wij為第j個專家對第i項指標(biāo)維度權(quán)重系數(shù)的估計值（i=1，2，…，m;j=1，2，…，n）。

2）算出每一位專家的權(quán)重估計值Wij與平均估計值Wi的偏差Δij，Δij=Wij-Wi，如果Δij≤0.5，則指標(biāo)維度權(quán)重通過認(rèn)證。

通過第一輪調(diào)查的統(tǒng)計分析，39項指標(biāo)維度中的25項權(quán)重偏差Δij≤0.5，其他如“語言材料的真實性”“語言學(xué)習(xí)目標(biāo)”等14項未通過認(rèn)證。

將統(tǒng)計出的兩個量數(shù)及說明添加在第二輪調(diào)查表中，請專家根據(jù)第一輪的統(tǒng)計結(jié)果和評價體系的初始權(quán)重進(jìn)行第二次評估（見表4）。第二輪結(jié)果顯示所有專家的每項指標(biāo)維度的權(quán)重偏差值Δij≤0.5，即每位專家的權(quán)重估計值與平均估計值的偏差≤0.5。至此，最終確定每位專家的理想權(quán)重值，并演算出每個指標(biāo)維度的平均權(quán)重值，即為最終權(quán)重值。

5 結(jié)語

本研究在國內(nèi)外研究成果的基礎(chǔ)上，通過特爾斐法和層次分析法，為英語聽說網(wǎng)絡(luò)課程建構(gòu)總結(jié)性評價指標(biāo)體系（見附表）。該體系共包含一級指標(biāo)四個維度，二級指標(biāo)23個維度，三級指標(biāo)39個維度。三級指標(biāo)39個維度權(quán)重總分100分，每項最高分4分，最低分1分。本研究為英語聽說網(wǎng)絡(luò)課程的評估提供了科學(xué)依據(jù)和具體操作步驟，避免網(wǎng)絡(luò)課程選擇的隨意性和盲目性;也為英語聽說網(wǎng)絡(luò)課程的研發(fā)機(jī)構(gòu)和廠家提供了一套評價工具，幫助提高課程質(zhì)量。因此，本研究對于助學(xué)型英語聽說網(wǎng)絡(luò)課程的生產(chǎn)者和使用者都具有重要的實踐意義和應(yīng)用價值。

參考文獻(xiàn)

[1]金花漫.從網(wǎng)絡(luò)課程的特點談如何提高大學(xué)英語網(wǎng)絡(luò)課程教學(xué)的有效性問題[J].高教研究：西南科技大學(xué)，

2006（1）：22-23.

[2]尹振宇.網(wǎng)絡(luò)環(huán)境下大學(xué)英語教學(xué)評價模式的有效性探索[J].讀與寫：教育教學(xué)刊，2011（7）：31-32，143.

[3]石萌萌.基于網(wǎng)絡(luò)的大學(xué)英語多媒體技術(shù)教學(xué)模式對培養(yǎng)大學(xué)生自主學(xué)習(xí)英語能力有效性的研究[J].瘋狂英語：教師版，2010（4）：51-52，83.

[4]崔曉霞.英語網(wǎng)絡(luò)課堂教學(xué)策略教師感知度實證研究：對影響英語網(wǎng)絡(luò)課堂教學(xué)及其績效的因素分析[J].外語電化教學(xué)，2009（2）：38-43.

[5]王秀英.成人英語教學(xué)有效性的調(diào)查與研究：以電大開放英語及大學(xué)英語B網(wǎng)絡(luò)統(tǒng)考教學(xué)為例[J].內(nèi)蒙古電大學(xué)刊，2012（3）：92-94.

[6]Speth C A， Namuth-Covert D M， Lee D J. Using the ASSIST Short Form for Evaluating an Information Tech-

nology Application： Validity and Reliability Issues

[J].Informing Science，2007（10）：107.

[7]Chin K L， Kon P N. Key Factors for A Fully Online E-Learning Mode： A DELPHI Study[J]. Interact， 2003.

[8]程書肖.教育評價方法技術(shù)[M].北京：北京師范大學(xué)出版社，2003.

[9]Popham W J. Educational Evaluation[M].USA： Pren-tice Hall，1998：45.

[10]滕霞，段崇江，張建偉，等.網(wǎng)絡(luò)課程評價標(biāo)準(zhǔn)的研制[J].現(xiàn)代教育技術(shù)，2003（1）：5-11.