唐曉君 路瑩 劉娜 王海文 龔文心

摘 要：在線開放課程已經(jīng)成為現(xiàn)代教育的一種重要途徑，目前我國一些地區(qū)對在線開放課程質(zhì)量的評價還停留在以教育部和專家角度上考量的“自上而下”的評價方式上。本文探討一種從學(xué)習(xí)者角度考量的“自下而上”的評價指標(biāo)體系，通過德爾菲方法確定評價指標(biāo)和各指標(biāo)權(quán)重，并開發(fā)開放課程平臺動態(tài)收集各項指標(biāo)，形成對課程的評價，為課程學(xué)習(xí)者選擇課程提供一個客觀的依據(jù)，同時也完善了在線開放課程的評價體系。

關(guān)鍵詞：開放課程；評價指標(biāo)；德爾菲方法；基于學(xué)習(xí)者

中圖分類號：G423.04 文獻標(biāo)志碼：A 文章編號：1673-8454（2018）07-0093-04

引言

2001年4月麻省理工學(xué)院啟動 OCW（Open Course Ware，開放課程計劃）項目，網(wǎng)絡(luò)開放課程的序幕由此拉開。隨后，耶魯、哈佛、劍橋等世界名校陸續(xù)加入，網(wǎng)絡(luò)公開課開始席卷全球，高等教育發(fā)生了翻天覆地的變化。開放課程提供了潛在的更為廣泛的學(xué)習(xí)機會，讓更多的人有機會接受高等教育。[1]

2011年，我國開始啟動精品視頻公開課的建設(shè)。兩年來共有186 門課程向社會免費開放，截至 2012 年，“愛課程”網(wǎng)、中國網(wǎng)絡(luò)電視臺、網(wǎng)易3個網(wǎng)站“中國大學(xué)視頻公開課”首頁面訪問數(shù)量達到62億次，課程總訪問量3569.32 萬次。[2]2013年 6月 26 日，繼中國大學(xué)視頻公開課陸續(xù)上線之后，首批120門中國大學(xué)資源共享課正式通過“愛課程”網(wǎng)向社會大眾免費開放。視頻公開課與資源共享課共同構(gòu)成了我國的精品開放課程。[3]

在線開放課程如一股狂潮席卷全球，但是耗費了大量人力、物力、財力而建起來的這些開放課程是否能保證質(zhì)量，能否達到預(yù)期的教育目的，發(fā)揮教育價值，這需要進行全面、綜合、客觀的評價。我國現(xiàn)有的精品開放課程質(zhì)量評價指標(biāo)主要關(guān)注教師的教，較少關(guān)注學(xué)生的學(xué)。而目前絕大部分研究也集中在對“自上而下”的國家評審指標(biāo)體系的探討，缺少從課程學(xué)習(xí)者角度的“自下而上”的評價機制。

本文主要探討一種基于課程學(xué)習(xí)者的“自下而上”的精品開放課程評價指標(biāo)體系的構(gòu)建方法，該方法通過德爾菲（Delphi）方法選取評價指標(biāo)，確定各指標(biāo)權(quán)重。[4]同時，為實現(xiàn)“自下而上”的開放課程質(zhì)量評價，設(shè)計出能動態(tài)收集指標(biāo)值的開放課程平臺，并按開放課程質(zhì)量評價指標(biāo)體系實時計算出各課程的評價得分，為課程學(xué)習(xí)者選擇課程提供一個客觀的依據(jù)，也為精品開放課程考評體系的完善做出貢獻。[5]

一、研究設(shè)計

在線開放課程“自下而上”評價指標(biāo)體系的構(gòu)建基于德爾菲（Delphi）方法，德爾菲法由美國蘭德公司于20世紀(jì)50年代提出，德爾菲方法又稱為專家法，其特點在于集中專家的知識和經(jīng)驗，確定評價指標(biāo)和各指標(biāo)的權(quán)重，并在不斷的反饋和修改中得到比較滿意的結(jié)果。[6]德爾菲（Delphi）方法既可以用來識別出基于精品開放課程學(xué)習(xí)者的重要評價指標(biāo)，同時也可以確定各指標(biāo)在指標(biāo)體系中所占的權(quán)重。采用該方法進行研究具有一定的優(yōu)勢，首先，多名精品開放課程學(xué)習(xí)者對評價指標(biāo)及權(quán)重的集體意見比少數(shù)學(xué)習(xí)者的個人意見更客觀。其次，所選開放課程學(xué)習(xí)者來自不同地域和不同階層，意見相對獨立，且不受時間和地理位置限制。[7]

1.專家的選取

考慮到本評價指標(biāo)體系具有基于學(xué)習(xí)者的“自下而上”特點，選取30位在線開放課程學(xué)習(xí)者作為專家，其中包括來自于不同高校的20名開放課程學(xué)習(xí)者，以及來自不同城市的各種教育背景的10名開放課程學(xué)習(xí)者。通過電話與郵件的方式與每一位專家聯(lián)系，明確本次研究的內(nèi)容與目的，征得專家本人同意，確保每位專家能自始至終參與本次研究。

2.識別在線開放課程質(zhì)量評價指標(biāo)

以調(diào)查征詢的形式要求選定的專家給出精品開放課程的重要質(zhì)量評價指標(biāo)，同時要為其提出的每一個指標(biāo)給出一個簡短描述，論述其合理性。匯總整理專家意見，每完成一次提問和回答的過程稱為一輪。將上輪咨詢所得意見的一致程度和各位專家的不同觀點等信息，匿名反饋給每一位專家，再次征詢意見。如此反復(fù)，直到意見趨于一致，確定在線開放課程“自下而上”評價指標(biāo)體系中的各項評價指標(biāo)。[8]

3.識別在線開放課程質(zhì)量評價指標(biāo)權(quán)重

對各項指標(biāo)權(quán)重的測定是本研究的關(guān)鍵環(huán)節(jié)。權(quán)重是根據(jù)不同指標(biāo)的地位和作用賦予的不同數(shù)值，它反映了各個指標(biāo)之間客觀存在的不平衡性，揭示了與其相應(yīng)的因素在指標(biāo)體系上的價值差異。[9]德爾菲（Delphi）方法確定指標(biāo)權(quán)重步驟如下：

（1）將待定權(quán)重的指標(biāo)和有關(guān)資料以及統(tǒng)一的確定權(quán)重的規(guī)則發(fā)給選定的各位專家，請他們獨立給出各指標(biāo)的權(quán)重值。

（2）回收結(jié)果并計算各指標(biāo)權(quán)重的概率分布。

（3）根據(jù)概率分布計算各指標(biāo)權(quán)重的期望值、方差和標(biāo)準(zhǔn)差。

（4）將計算的結(jié)果及補充資料返還給各位專家，要求所有專家在新的基礎(chǔ)上重新確定權(quán)重值。

（5）重復(fù)第（2）步和第（4）步，直至各指標(biāo)權(quán)重值與其均值的偏差不超過預(yù)先給定的標(biāo)準(zhǔn)為止，也就是各專家的意見基本趨于一致，以此時各指標(biāo)權(quán)數(shù)的均值作為該指標(biāo)的權(quán)重。[10]

二、主要研究結(jié)果

1.在線開放課程質(zhì)量評價指標(biāo)

2.在線開放課程質(zhì)量評價指標(biāo)權(quán)重

將表1中待定權(quán)重的指標(biāo)和相關(guān)規(guī)則通過郵件形式發(fā)給30位專家，各專家獨立給出每個指標(biāo)的權(quán)數(shù)值，（以主觀評價中的二級指標(biāo)“課程使用”為例）如表2所示。[12]對30位專家填寫的各種權(quán)重的相應(yīng)概率平均，得出權(quán)重的概率分布（以主觀評價中的二級指標(biāo)“課程使用”為例），如表3所示。

根據(jù)表3，計算出“課程使用”指標(biāo)權(quán)重的期望值，算式如下所示：

x=Pixi=13.7%×0.1+26.4%×0.2+20.5%×0.3+21.9%×0.4+17.5%×0.5=0.303

方差是描述變量偏離期望值大小的指標(biāo)，根據(jù)表3和權(quán)重期望值計算出“課程使用”指標(biāo)方差，如下所示：

S2=（xi-x）2Pi=13.7%×（0.1-0.303）2+26.4%×（0.2-0.303）2+20.5%×（0.3-0.303）2+21.9%×（0.4-0.303）2+17.5%×（0.5-0.303）2=0.0135

方差的平方根稱為標(biāo)準(zhǔn)差，“課程使用”指標(biāo)的標(biāo)準(zhǔn)差計算如下：

S==0.116

為了評價結(jié)果更準(zhǔn)確，可將權(quán)重在0.303左右重新設(shè)置，發(fā)給專家進行第二輪征詢，如表4所示。[13]對30位專家第二輪填寫的各種權(quán)重的相應(yīng)概率進行平均，得出權(quán)重的概率分布（以“課程使用”評價指標(biāo)為例），如表5所示。

根據(jù)表5，計算出“課程使用”指標(biāo)權(quán)重第二輪期望值，如下所示：

x==Pixi=20.1%×0.20+21.7%×0.25+22.5%×0.30+19.0%×0.35+16.7%×0.40=0.295

根據(jù)表5和權(quán)重期望值計算出主觀評價指標(biāo)第二輪方差，如下所示：

S2=（xi-x）2Pi=20.1%×（0.20-0.295）2+21.7%×（0.25-0.295）2+22.5%×（0.30-0.295）2+19.0%×（0.35-0.295）2+16.7%×（0.40-0.295）2=0.00468

第二輪“課程使用”指標(biāo)權(quán)重標(biāo)準(zhǔn)差，用如下公式計算：

S==0.068

同理可以計算出其它指標(biāo)的權(quán)重，計算出各因素權(quán)重之后，要按如下進行歸一化處理。[14]

ai=

式中ai為歸一化后的權(quán)重期望值，n為評價指標(biāo)個數(shù)（一級指標(biāo)中n=2，二級指標(biāo)中n=5）。歸一化后計算出各指標(biāo)的權(quán)重，最后形成“自下而上”的精品開放課程質(zhì)量評價指標(biāo)體系，如表6所示。[15]

三、在線開放課程質(zhì)量評價平臺的實現(xiàn)

為實現(xiàn)開放課程質(zhì)量評價，需設(shè)計出能動態(tài)收集指標(biāo)值的在線開放課程平臺，并按開放課程質(zhì)量評價指標(biāo)體系實時計算出各課程的評價得分。[16]

課程平臺采用PHP+MySQL開發(fā)，功能如圖1所示。[17]

四、結(jié)束語

評價指標(biāo)體系研究應(yīng)該成為在線開放課程所關(guān)注的重點，在教學(xué)理論及信息技術(shù)不斷更新的情況下，對在線開放課程評價指標(biāo)體系的內(nèi)容也需要不斷優(yōu)化，使該評價體系更加科學(xué)、完善和適用。[18]

參考文獻：

[1]Huijser， Henk and Bedford， Tas and Bull， David. Open Course Ware， global access and the right to education： real access or marketing ploy？[J].International Review of Research in Open and Distance Learning，2008（1）：1-13.

[2]教育部.教育信息化工作進展情況[EB/OL]. http：//www.moe.gov.cn/publicfiles/business/htmlfiles/moe/s7204/201302/148023.html.

[3]白盈盈，楊現(xiàn)民.精品開放課程高校教學(xué)應(yīng)用模式設(shè)計[J].現(xiàn)代教育技術(shù)，2014（5）：46-47.

[4]岳麗娜，聶懷勇.精品資源共享課交互環(huán)境評價指標(biāo)體系設(shè)計研究[J].上海教育評估研究， 2014（3）：13-14.

[5]化莉，金春霞.基于層次分析法的高校精品課程教學(xué)網(wǎng)站評價研究[J].產(chǎn)業(yè)與科技論壇，2011（15）：142-143.

[6]Dalkey， N. and Helmer， O. An experimental application of the Delphi method to the use of experts[J]. Management Science，1963，9（3）：458-67.

[7]Pierre Hadaya， Luc Cassivi and Chahinaze Chalabi. IT project management resources and capabilities： a Delphi study[J]. International Journal of Managing Projects in Business， 2012， 5（2）：216-229.

[8]邵立周，白春杰.系統(tǒng)綜合評價指標(biāo)體系構(gòu)建方法研究[J].海軍工程大學(xué)學(xué)報，2008（3）：48-52.

[9]孫傳遠，孫少華.專家視野中的開放課程質(zhì)量評價指標(biāo)體系——基于德爾菲法的調(diào)查分析[J].職教論壇，2014（9）：40-45.

[10]Helen Sitlington，Alan Coetzer. Using the Delphi technique to support curriculum development[J]. Education + Training，2015，57（3）：306-321.

[11]Jennifer Banayan， Angela Blood， Yoon Soo Park. A modified Delphi method to create a scoring system for assessing team performance during maternal cardiopulmonary arrest[J]. Hypertension in Pregnancy，2015（34）：314-331.

[12]董艷，黃榮懷，李曉明，申瑞民.《網(wǎng)絡(luò)課程課件質(zhì)量認(rèn)證標(biāo)準(zhǔn)》的研制與修訂[J].電化教育研究，2003（6）：65-70.

[13]魏志慧，陳麗，希建華.網(wǎng)絡(luò)課程教學(xué)交互質(zhì)量評價指標(biāo)體系的研究[J].開放教育研究，2004（6）：34-39.

[14]戰(zhàn)銳，張學(xué)波.精品課程教學(xué)錄像質(zhì)量評價指標(biāo)體系研究[J].現(xiàn)代教育技術(shù)，2010（6）：35-39.

[15]劉呈軍，卓春英.精品資源共享課評價之初探——以人文數(shù)學(xué)課程為例[J].河南農(nóng)業(yè)，2014（14）：8-9.

[16]蔡敏.網(wǎng)絡(luò)教學(xué)的交互性及其評價指標(biāo)研究[J].電化教育研究，2007（11）：40-44.

[17]Okoli C， Pawlowski， S.D.The Delphi method as a research tool： an example， design considerations and applications[J]. Information & Management， 2004，42（1）：15-29.

[18]楊九民，郭曉梅，嚴(yán)莉.MOOC對我國高校精品開放課程建設(shè)的啟示[J].電化教育研究，2013（12）：44-49.

（編輯：王天鵬）