徐 光，劉魯川

（1.山東財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院，山東濟(jì)南 250014；2.齊魯師范學(xué)院經(jīng)濟(jì)與管理學(xué)院，山東濟(jì)南 250200）

基于TOPSIS多屬性決策方法的MOOCs用戶協(xié)作學(xué)習(xí)效果評價研究

徐 光1，2，劉魯川1

（1.山東財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院，山東濟(jì)南 250014；2.齊魯師范學(xué)院經(jīng)濟(jì)與管理學(xué)院，山東濟(jì)南 250200）

文章從MOOCs用戶體驗角度，以協(xié)作學(xué)習(xí)理論為研究視角，提出了MOOCs協(xié)作學(xué)習(xí)效果評價指標(biāo)體系，并應(yīng)用該指標(biāo)體系于實踐，采用逼近理想點(diǎn)法(TOPSIS)多屬性決策方法對齊魯師范學(xué)院6個MOOCs網(wǎng)絡(luò)班級的協(xié)作學(xué)習(xí)效果進(jìn)行了評價。該指標(biāo)體系以發(fā)展性評價理論和群體協(xié)作學(xué)習(xí)理論為基礎(chǔ)，采用過程性評價與總結(jié)性評價、定性評價與定量評價相結(jié)合的評價方案，著重評價協(xié)作學(xué)習(xí)過程中的群體情感表現(xiàn)，不僅豐富了MOOCs評價的理論基礎(chǔ)，也提供了一整套的群體協(xié)作學(xué)習(xí)評價方案及實施步驟；同時，還拓展了TOPSIS方法的應(yīng)用領(lǐng)域，把TOPSIS方法引入MOOCs學(xué)習(xí)效果評價研究中，嘗試為解決MOOCs高輟學(xué)率問題提供新的方向。

MOOCs；評價指標(biāo)體系；協(xié)作學(xué)習(xí)；TOPSIS多屬性決策

0　引 言

“慕課”是MOOCs(或者M(jìn)OOC）的諧音，指的是大規(guī)模、開放、在線課程，已經(jīng)成為現(xiàn)代教育領(lǐng)域的主要研究熱點(diǎn)之一［1］。關(guān)于MOOCs的研究問題，已經(jīng)從當(dāng)初的如何理解、如何接受，到后來的如何應(yīng)用、如何建設(shè)，一直發(fā)展到現(xiàn)在的如何評價、如何改進(jìn)。目前，關(guān)于MOOCs的學(xué)習(xí)評價已經(jīng)成為國際MOOCs領(lǐng)域的熱點(diǎn)話題，關(guān)于MOOCs學(xué)習(xí)模式的評價方法也成為未來研究的主流趨勢之一［2］。做好評價的前提，必須要有一套科學(xué)的評價指標(biāo)體系和評價方法。對于傳統(tǒng)網(wǎng)絡(luò)課程評價的研究較多，但是評價體系過于統(tǒng)一，難以適應(yīng)MOOCs的特質(zhì)。此外，國外學(xué)者嘗試從CSCL(計算機(jī)支持的協(xié)作學(xué)習(xí)）理論角度進(jìn)行網(wǎng)絡(luò)課程的評價研究，比如，Henri［3］最早提出在線交互文本的分析模型，并指出了交互的五個維度:參與、互動、社交、元認(rèn)知和認(rèn)知，并對維度進(jìn)行了細(xì)化。Veldhuise［4］從學(xué)習(xí)活動角度把分析模型分為四類:認(rèn)知活動、元認(rèn)知知識和元認(rèn)知技能、情感活動、其他活動。國內(nèi)不少學(xué)者也提出了基于CSCL的網(wǎng)絡(luò)課程評價指標(biāo)體系［5-6］。雖然對于網(wǎng)絡(luò)課程的評價和CSCL的研究已經(jīng)相對成熟，然而MOOCs的大規(guī)模、開放性、自主性使其與網(wǎng)絡(luò)課程或者是CSCL有一定的區(qū)別性，完全依照網(wǎng)絡(luò)課程或者CSCL評價體系去評價MOOCs是不合適的。關(guān)于MOOCs的評價問題，國外相關(guān)研究已經(jīng)展開，比如歐洲遠(yuǎn)程教育大學(xué)聯(lián)合會的開放教育質(zhì)量標(biāo)簽、西班牙的MOOCs教育質(zhì)量綜合評價指標(biāo)體系、德國的MOOCs設(shè)計質(zhì)量評價標(biāo)準(zhǔn)等［7］。國內(nèi)相關(guān)研究開展較晚，可檢索到的文獻(xiàn)數(shù)量較少。比如有學(xué)者從傳播學(xué)角度研究并建立了MOOCs傳播效果評價指標(biāo)體系［8］。有學(xué)者通過對權(quán)威在線課程評價指標(biāo)的歸納，結(jié)合MOOCs的特性，提出了MOOCs質(zhì)量模型［9］。從搜索到的文獻(xiàn)看，關(guān)于MOOCs評價的研究多側(cè)重于質(zhì)量方面，多集中在MOOCs課程建設(shè)質(zhì)量的評價方面。在教育質(zhì)量評價中最重要的就是教學(xué)效果評價，教學(xué)效果包括教師教和學(xué)生學(xué)兩個方面的效果。在MOOCs環(huán)境里，學(xué)生完全成為學(xué)習(xí)的主導(dǎo)者，教師轉(zhuǎn)換為協(xié)助者角色，所以從MOOCs學(xué)習(xí)者角度分析學(xué)習(xí)效果更符合MOOCs本質(zhì)。MOOCs的重要特質(zhì)是學(xué)習(xí)者的自組織和互動性，由于學(xué)習(xí)者學(xué)習(xí)目標(biāo)不同以及MOOCs學(xué)習(xí)的非強(qiáng)制性，學(xué)習(xí)結(jié)果往往難以完全量化評價，學(xué)習(xí)者良好的學(xué)習(xí)體驗應(yīng)該是衡量一個MOOCs系統(tǒng)是否成功的重要標(biāo)準(zhǔn)。MOOCs擁有的幾個核心學(xué)習(xí)機(jī)制中，學(xué)伴協(xié)作機(jī)制是闡釋MOOCs的核心要素的學(xué)習(xí)機(jī)理和作用機(jī)制之一［10］。通過互動協(xié)作來實現(xiàn)群體學(xué)習(xí)，符合MOOCs這一大規(guī)模的網(wǎng)絡(luò)學(xué)習(xí)行為的本質(zhì)。所以，本文聚焦于學(xué)習(xí)者協(xié)作學(xué)習(xí)體驗，并從協(xié)作學(xué)習(xí)角度來評價MOOCs的學(xué)習(xí)效果，從而給出評價指標(biāo)體系和評價方法。另外，從應(yīng)用角度來看，MOOCs在一定程度上突破了傳統(tǒng)網(wǎng)絡(luò)課程孤立學(xué)習(xí)終端場景下學(xué)習(xí)者難以持續(xù)參與的難題，大量的MOOCs學(xué)習(xí)者通過網(wǎng)絡(luò)協(xié)作，完整地學(xué)完課程并活躍于各種論壇，學(xué)習(xí)共同體發(fā)揮了促進(jìn)學(xué)習(xí)者學(xué)習(xí)的作用［11］。隨著論壇等各種社會化網(wǎng)絡(luò)工具的成熟和普及，從協(xié)作學(xué)習(xí)角度來引導(dǎo)MOOCs的發(fā)展，將會提高M(jìn)OOCs的課程完成率和減少輟學(xué)率。

1　指標(biāo)體系理論基礎(chǔ)

1.1發(fā)展性評價理論

20世紀(jì)80年代初，英國開放大學(xué)教育學(xué)院的納托爾和克利夫特兩人最先提出了發(fā)展性教學(xué)評價思想，與傳統(tǒng)評價方式不同，發(fā)展性教學(xué)評價是一種以促進(jìn)學(xué)習(xí)者的發(fā)展為根本目的的評價方式。它由形成性評價發(fā)展而來，但比形成性評價更加強(qiáng)調(diào)尊重評價對象的人格，更加強(qiáng)調(diào)以人為本的思想。發(fā)展性評價理論具有評價主體多元性、評價內(nèi)容多樣化、評價注重過程性、強(qiáng)調(diào)評價的人文關(guān)懷等特點(diǎn)［12］。評價主體多元性強(qiáng)調(diào)除教師外，學(xué)習(xí)者自己和學(xué)習(xí)同伴都應(yīng)該成為評價的主體。被評價者轉(zhuǎn)化為評價主體，有利于提高被評價者發(fā)揮自我評價、自我反思，同時也便于加強(qiáng)評價過程中各評價主體間的交流溝通以及評價結(jié)果的相互認(rèn)同；評價內(nèi)容的多樣性側(cè)重評價內(nèi)容的全面性和整體性，除了傳統(tǒng)認(rèn)知領(lǐng)域的評價外，更應(yīng)該包括對評價者情感領(lǐng)域的評價。在協(xié)作學(xué)習(xí)中，情感領(lǐng)域的評價內(nèi)容應(yīng)該包括學(xué)習(xí)者的學(xué)習(xí)態(tài)度、溝通風(fēng)格等方面；評價注重過程性克服了傳統(tǒng)評價結(jié)果導(dǎo)向的弊端，注重協(xié)作學(xué)習(xí)過程中學(xué)生的表現(xiàn)，如參與積極性和溝通強(qiáng)度等；人文關(guān)懷強(qiáng)調(diào)綜合評價，評價是手段，促進(jìn)人的全面發(fā)展和綜合素質(zhì)的提高是評價的目的。

目前MOOC可以概況的分為基于行為主義的xMOOC和基于關(guān)聯(lián)主義的cMOOC。前者強(qiáng)調(diào)知識復(fù)制，后者強(qiáng)調(diào)由“聯(lián)通”的學(xué)習(xí)者生成知識［13］。本研究主要關(guān)注cMOOC下的協(xié)作學(xué)習(xí)，cMOOC下的協(xié)作學(xué)習(xí)基于構(gòu)建主義，強(qiáng)調(diào)學(xué)習(xí)者的高級心理機(jī)能來源于外部動作的內(nèi)化，老師傳授只是獲取知識的輔助手段，知識主要依靠學(xué)習(xí)者在一定的情境里，通過與學(xué)習(xí)伙伴的互動與協(xié)作，同時配合一定的學(xué)習(xí)資源，通過意義建構(gòu)的方式獲得。對于cMOOC下協(xié)作學(xué)習(xí)效果評價，有必要借鑒發(fā)展性評價理論，注重評價主體多元性、評價內(nèi)容多樣化，注重協(xié)作學(xué)習(xí)過程，強(qiáng)調(diào)人文關(guān)懷。

1.2Gerlak和Heikkila的群體協(xié)作學(xué)習(xí)理論

MOOC的規(guī)模性、開放性、網(wǎng)絡(luò)化、個性化都是傳統(tǒng)的網(wǎng)絡(luò)課程所無法比擬的，MOOC里的協(xié)作學(xué)習(xí)與CSCL(計算機(jī)支持的協(xié)作學(xué)習(xí)）也有一定的區(qū)別，MOOCs環(huán)境里的協(xié)作學(xué)習(xí)具有自己的特點(diǎn)，是一種超大規(guī)模的群體協(xié)作學(xué)習(xí)。Gerlak和Heikkila［11］在2011年和2013年發(fā)表了兩篇文章提出了群體協(xié)作學(xué)習(xí)包括群體信息處理過程和群體學(xué)習(xí)結(jié)果兩個部分。前者包括通過群體內(nèi)獨(dú)立個體的不斷試錯，產(chǎn)生新的個體知識，通過不斷的在個體間被評估及傳播，形成新的群體知識；后者是信息處理的結(jié)果，通過群體理念、戰(zhàn)略、政策或者規(guī)則等。這種個體學(xué)習(xí)影響群體學(xué)習(xí)，群體學(xué)習(xí)再影響個體學(xué)習(xí)的過程，是個相互交互、螺旋上升的知識提升過程。Gerlak和Heikkila［11］同時提出了群體協(xié)作學(xué)習(xí)理論，并在不同的情景里進(jìn)行了實證檢驗，證明了該理論的通用性。該理論指出大規(guī)模群體學(xué)習(xí)背景下有三個協(xié)作方面的因素會影響學(xué)習(xí)過程以及學(xué)習(xí)結(jié)果:結(jié)構(gòu)性因素(Structure）、社會動態(tài)因素(Social Dynamics）、功能及技術(shù)因素(Technology&Functional Domain）［14］，如圖1所示。

圖1　協(xié)作學(xué)習(xí)概念模型

結(jié)構(gòu)性因素包括任務(wù)結(jié)構(gòu)、知識結(jié)構(gòu)、組織結(jié)構(gòu)等靜態(tài)因素，比如，差異性和分散性的結(jié)構(gòu)會有利于群體內(nèi)個體獲得更多的知識資源。以交流與思考為知識獲取與傳播方式的群體里，分散化的結(jié)構(gòu)更有利于學(xué)習(xí)行為的發(fā)生，包括信息的共享和知識的產(chǎn)生。與之相對，完整性、集中性的結(jié)構(gòu)會阻礙多元化、新鮮知識的獲取。但是在信息傳播、共享的成本和效率方面，集中性的結(jié)構(gòu)更有優(yōu)勢。MOOCs本身就是一個開放的、大規(guī)模學(xué)習(xí)環(huán)境，學(xué)習(xí)的結(jié)構(gòu)必定有很大差異性，有利于新知識的獲取和分享以及學(xué)習(xí)行為的產(chǎn)生，但是傳播效率和成本過大，這就需要MOOCs中要存在學(xué)習(xí)支持者這樣的角色，提升MOOCs信息傳播及分享的效率。

社會動態(tài)因素是學(xué)習(xí)者之間的交流方式和通過互動形成的相互關(guān)系，它們可以促進(jìn)或阻礙學(xué)習(xí)行為的發(fā)生，屬于動態(tài)因素。這種交流方式和互動關(guān)系表現(xiàn)為相互間的信任和沖突水平和對爭論的包容性和開放性，由相互間能否達(dá)成關(guān)于交流的共識決定，比如能否形成共同語言、共同價值觀等。社會動態(tài)因素受到群體規(guī)范和群體文化價值分布的影響。在大規(guī)模群體學(xué)習(xí)環(huán)境下，相互信任和開放的成員關(guān)系有利于獲取和傳播新的知識。對爭論及批評包容的群體會更具有創(chuàng)造性，當(dāng)然這種爭論水平要維持在適度范圍內(nèi)。社會性動態(tài)因素與結(jié)構(gòu)性因素也會相互影響，比如高信任下的成員關(guān)系可以弱化結(jié)構(gòu)因素里角色的劃分，使交流更具有隨意性。另外，群體中的權(quán)威角色可以促進(jìn)建立或影響某種社會動態(tài)模式［15］。

功能及技術(shù)因素指的是互動所借助的各種資源，這種資源包括實質(zhì)的活動(比如有利用互動的各種服務(wù)、產(chǎn)品和產(chǎn)出）和技術(shù)性的資源和工具(比如數(shù)據(jù)庫、信息系統(tǒng)、交流平臺等）。技術(shù)和功能性因素決定了組織所能獲取何種類型的信息以及學(xué)習(xí)過程中信息共享和傳播的頻率和難易度。這里對技術(shù)和功能因素的評價，主要選取使用者主觀感知的界面友好型和平臺易用性來衡量。

2　指標(biāo)體系的構(gòu)建

2.1指標(biāo)的構(gòu)建

指標(biāo)體系的構(gòu)建強(qiáng)調(diào)科學(xué)性、全面性、主導(dǎo)性、可操作性等原則。針對本研究對象和研究情景，提出本指標(biāo)體系的構(gòu)建原則如下:

(1）評價指標(biāo)體系的變量個數(shù)要適度。變量個數(shù)太多會加大測量難度。變量個數(shù)太少則難以涵蓋主要因素。變量個數(shù)的選取要兼顧可行性和全面性原則。本研究中，指標(biāo)體系維度主要提取于Gerlak和Heikkila的協(xié)作學(xué)習(xí)理論。

(2）對學(xué)習(xí)效果的評價，以情感領(lǐng)域的評價為主，主要考察學(xué)習(xí)者在協(xié)作學(xué)習(xí)中表現(xiàn)的個性、態(tài)度、能力等方面，符合發(fā)展性評價理論的要求，也彌補(bǔ)了傳統(tǒng)評價方法完全依靠認(rèn)知領(lǐng)域評價的弊端。情感領(lǐng)域的評價以定性指標(biāo)為主、以定量指標(biāo)為輔。

(3）對學(xué)習(xí)效果的評價，以過程性評價為主、總結(jié)性評價為輔，注意對協(xié)作學(xué)習(xí)過程的整體表現(xiàn)的評價。

(4）MOOC下的協(xié)作學(xué)習(xí)效果評價，包括個人學(xué)習(xí)效果和群體學(xué)習(xí)效果。大多數(shù)協(xié)作學(xué)習(xí)平臺普遍缺少對群體協(xié)作學(xué)習(xí)效果的評價，作為補(bǔ)充，這里主要考察群體協(xié)作學(xué)習(xí)效果的評價。

(5）對于學(xué)習(xí)結(jié)果的直接測量，很多研究者嘗試開發(fā)不同的測量工具和評分方法，但由于這些工具和方法缺乏內(nèi)在一致性，使得這樣的嘗試變得非常困難，而學(xué)習(xí)者主觀的學(xué)習(xí)滿意度常用作反映學(xué)習(xí)的指標(biāo)［16-17］。不管學(xué)習(xí)者的感知是否正確，他們都會根據(jù)自己的主觀判斷，做出是否繼續(xù)學(xué)習(xí)課程的決定［18］。基于此，本研究通過對學(xué)習(xí)結(jié)果的主觀滿意度來評價最終學(xué)習(xí)結(jié)果。

以評價協(xié)作學(xué)習(xí)效果為目標(biāo)，并根據(jù)之前討論的群體協(xié)作學(xué)習(xí)理論和發(fā)展性評價理論，構(gòu)建了指標(biāo)體系的三個維度，分別是協(xié)作學(xué)習(xí)過程影響因素評價、協(xié)作學(xué)習(xí)過程客觀評價和協(xié)作學(xué)習(xí)結(jié)果滿意度評價，在第一個維度又分為協(xié)作學(xué)習(xí)過程結(jié)構(gòu)性因素、社會動態(tài)因素、技術(shù)及功能因素三個一級指標(biāo)，其他兩個維度直接包括二級指標(biāo)，最終共形成包括14個二級指標(biāo)的評價體系。

表1　協(xié)作學(xué)習(xí)角度的教學(xué)效果評價指標(biāo)體系

2.2指標(biāo)權(quán)重的分配

在多指標(biāo)評價中，權(quán)重值的確定非常重要，關(guān)系到評價結(jié)果的有效性。評價指標(biāo)權(quán)重的確定方法主要有主觀賦權(quán)法和客觀賦權(quán)法兩大類。主觀權(quán)重法包括AHP、Delphi等，客觀權(quán)重法包括熵權(quán)法、主成分分析法等。應(yīng)用最為廣泛的是層次分析法，但傳統(tǒng)的層次分析法采用了九標(biāo)度來對指標(biāo)重要性進(jìn)行比較判讀，但是對有些專家來說這種判斷帶有極大的模糊性［19］。德國生理學(xué)家費(fèi)希納推導(dǎo)出刺激的客觀量r與人們的感覺量s之間服從函數(shù)關(guān)系［20］:s=plogr。

本文采用基于費(fèi)希納函數(shù)的改進(jìn)的三標(biāo)度AHP方法來計算權(quán)重，為了提高權(quán)重值的分辨力，通過合適的方法對把三標(biāo)度放大到需要的標(biāo)度(5標(biāo)度）。而且要求判讀矩陣具有完全一致性，可以省略一致性檢驗［21］，同時也兼顧了主觀判斷和客觀差異兩個方面。權(quán)重計算步驟為:專家咨詢建立三標(biāo)度比較矩陣；計算感覺判斷矩陣；計算5標(biāo)度客觀判斷矩陣；對客觀判斷矩陣任何一列進(jìn)行歸一化處理得到權(quán)重結(jié)果。具體計算過程限于篇幅省略。

經(jīng)過對15位專家的問卷咨詢，然后匯總和歸納，建立各級指標(biāo)判斷矩陣，采用改進(jìn)的三標(biāo)度AHP方法計算得到評級指標(biāo)體系的權(quán)重(表1），其中對維度1、2、3建立比較矩陣如表2。

表2　三維度專家主觀判斷矩陣(上三角)

3　基于指標(biāo)體系的TOPSIS決策方法及實驗研究

齊魯師范學(xué)院2015-2016學(xué)年第一學(xué)期采用了超星慕課平臺，針對經(jīng)濟(jì)管理學(xué)院2013級市場營銷2個本科班共120名本科學(xué)生進(jìn)行了《網(wǎng)絡(luò)營銷》課程的MOOCs教學(xué)實驗。把120名學(xué)生隨機(jī)平均分配到6個網(wǎng)絡(luò)班級，每個網(wǎng)絡(luò)班級配備一名教學(xué)經(jīng)驗不同的指導(dǎo)老師負(fù)責(zé)在線答疑。學(xué)習(xí)方式為學(xué)生MOOCs自主學(xué)習(xí)為主、指導(dǎo)教師在線答疑為輔。6個網(wǎng)絡(luò)班級的教學(xué)平臺，分別采用不同的模版生產(chǎn)，每個模版的受歡迎程度平臺根據(jù)歷史數(shù)據(jù)已經(jīng)分類。課程學(xué)習(xí)結(jié)束，由6名在線輔導(dǎo)教師每人推薦1名學(xué)生代表進(jìn)入評價小組，6名指導(dǎo)教師加6名學(xué)生組成12人的評價小組。評價小組先接受了協(xié)作學(xué)習(xí)概念和評價指標(biāo)體系的培訓(xùn)，并仔細(xì)閱讀了每個MOOCs網(wǎng)絡(luò)班級學(xué)生的登陸時間、發(fā)帖數(shù)、上傳附件數(shù)的統(tǒng)計報告(由平臺的統(tǒng)計模塊給出）。在此基礎(chǔ)上，評價小組對6個班級的每一名學(xué)生進(jìn)行了訪談，訪談大約持續(xù)一周。評價小組綜合訪談結(jié)果，進(jìn)行深入分析討論，經(jīng)過討論形成一致意見，確定每個班級對于每個定性指標(biāo)的評價等級(基于五級語言評價），評價對象為6個班級的群體協(xié)作學(xué)習(xí)效果，五級語言評價結(jié)果根據(jù)(表3）轉(zhuǎn)換為三角模糊數(shù)，采用逼近理想點(diǎn)法(TOPSIS法）對各MOOCs網(wǎng)絡(luò)班級進(jìn)行綜合評價。逼近理想點(diǎn)法是經(jīng)典多屬性決策方法之一。這種決策方法基本思想結(jié)合了模糊正、負(fù)理想點(diǎn)的思路:決策者總是希望方案距離正理想點(diǎn)越近越好，距離負(fù)理想點(diǎn)越遠(yuǎn)越好［22-23］。本文給出了基于三角模糊數(shù)型和數(shù)值型的多屬性TOPSIS決策方法的計算步驟［24］。

表3　五級語言評價集轉(zhuǎn)化為三角模糊數(shù)

1.3步驟一

根據(jù)獲取的數(shù)據(jù)，將語言變量轉(zhuǎn)化為三角模糊數(shù)，得到初始決策矩陣R(矩陣行依次代表MOOCs1班、2班、3班、4班、5班、6班的評級數(shù)據(jù)(下面稱為各方案）、矩陣列依次代表B1-B14屬性）:

3.2步驟二

初始屬性指標(biāo)值通常無法直接進(jìn)行評價和排序，先需要消除各屬性的量綱、單位、數(shù)量級以及屬性類型的影響。本研究的三角模糊數(shù)、數(shù)值型屬性值均為效益型，采用向量規(guī)范化方法。

其中，R=［rij］m×n，rij表示對第i個評價方案的第j個指標(biāo)的原始評價值，經(jīng)過規(guī)范化后的矩陣表示為: X=［xij］m×n。

按照上面方法，對R矩陣規(guī)范化得到:

3.3步驟三

如果指標(biāo)j為三角模糊型數(shù)據(jù)，則有:

據(jù)此，本研究得到的理想解和負(fù)理想解為:

3.4步驟四

計算各方案屬性與理想方案v+和負(fù)理想方案v-的距離分別為，計算方法如下。

設(shè)a、b是兩個實數(shù)或三角模糊數(shù)，則a、b之間的距離分別為:

計算得到:

3.5步驟五

方案ai與理想方案v+和負(fù)理想方案v-的廣義加權(quán)距離計算方法為:

計算得到:

3.6步驟六

3.7步驟七

根據(jù)C(ai）的大小，確定各MOOCs班級排序。C(ai）越小，方案越優(yōu)。按C(ai）從小到大排列，得到方案排序:MOOC5＞MOOC2＞MOOC4＞MOOC3＞MOOC1＞MOOC6。

本次評價指標(biāo)和評價方法據(jù)反饋來看較為客觀，為今后如何改善協(xié)作學(xué)習(xí)效果提供了方向。在本次評價基礎(chǔ)上，對學(xué)院今后如何開展網(wǎng)絡(luò)協(xié)作學(xué)習(xí)方面提出了建議，要加強(qiáng)在結(jié)構(gòu)性因素、社會動態(tài)因素和技術(shù)及功能因素三個方面的引導(dǎo)，注重學(xué)生在網(wǎng)絡(luò)協(xié)作學(xué)習(xí)過程中包括學(xué)習(xí)態(tài)度、溝通風(fēng)格等情感體驗的整體評價，從而提高學(xué)生對MOOCs平臺的滿意度，不斷改善學(xué)習(xí)效果。

隨機(jī)形成的網(wǎng)絡(luò)班級在最終群體學(xué)習(xí)效果評價中，結(jié)果存在較為明顯差距。不難發(fā)現(xiàn)在結(jié)構(gòu)性因素、社會動態(tài)因素、功能及技術(shù)因素等定性指標(biāo)得分，會影響到協(xié)作過程定量指標(biāo)和協(xié)作學(xué)習(xí)結(jié)果定性指標(biāo)，內(nèi)部有一定相關(guān)性。通過進(jìn)一步訪談了解到，學(xué)習(xí)目標(biāo)是否清晰、教師的輔助角色能否充分發(fā)揮、討論氛圍、網(wǎng)絡(luò)用語是否得當(dāng)、討論的話題廣泛性、對平臺易用性和界面風(fēng)格的認(rèn)同等都是影響協(xié)作學(xué)習(xí)體驗的重要因素，最終會通過學(xué)習(xí)過程影響學(xué)習(xí)結(jié)果。其中，教師的支持作用、成員的知識結(jié)構(gòu)互補(bǔ)性、網(wǎng)絡(luò)溝通風(fēng)格是訪談提到最多的對小組協(xié)作學(xué)習(xí)效果起作用的三個關(guān)鍵因素。而且無論是老師還是學(xué)生的網(wǎng)絡(luò)行為與現(xiàn)實中的行為存在很大差異。這些都是下一步值得研究的問題。

4　結(jié)論及建議

從學(xué)習(xí)者角度，以協(xié)作學(xué)習(xí)為視角，研究了MOOCs學(xué)習(xí)效果的評價指標(biāo)體系。在社會化網(wǎng)絡(luò)工具高速發(fā)展和普及的今天，希望該研究能改善MOOC輟學(xué)率高、完成率低的現(xiàn)實窘境。在對相關(guān)文獻(xiàn)分析基礎(chǔ)上，基于發(fā)展性評價理論和群體協(xié)作學(xué)習(xí)理論，歸納得到MOOCs用戶學(xué)習(xí)效果的評價指標(biāo)體系，并通過改進(jìn)的三標(biāo)度層次分析法給出了各指標(biāo)權(quán)重?；谠撝笜?biāo)體系，使用逼近理想點(diǎn)法(TOPSIS）的多屬性決策方法，對齊魯師范學(xué)院的MOOCs課程開展情況進(jìn)行了評價，取得了較好的評價效果。本研究視圖從理論和實踐兩方面探索如何從群體協(xié)作學(xué)習(xí)角度評價MOOCs學(xué)習(xí)效果，希望能給今后的深入研究提供借鑒參考作用。同時，由于時間和條件限制，本指標(biāo)體系并沒有在大范圍學(xué)習(xí)者中得到驗證，未來仍需要在實踐中不斷完善。

［1］徐光，劉魯川.MOOCs研究現(xiàn)狀及學(xué)習(xí)科學(xué)視角分析［J］.中國海洋大學(xué)學(xué)報，2015(4）:98-105.

［2］李海峰，王煒.國際MOOC領(lǐng)域熱點(diǎn)主題及發(fā)展趨勢研究——基于共詞分析法的知識可視化圖譜分析［J］.遠(yuǎn)程教育雜志，2015(5）:38-45.

［3］HENRI F.Computer Conferencing and Content Analysis［J］.Springer Berlin Heidelberg，1992(90）:117-136.

［4］VELDHUIS-DIERMANSE A E.CSC Learning？Participation，Learning Activities and Knowledge Construction in Computersupported Collaborative Learning in Higher Education［D］.Netherlands:University of Wageningen，2002.

［5］田華，魏登峰，孟琦.網(wǎng)絡(luò)協(xié)作學(xué)習(xí)評價指標(biāo)體系的開發(fā)與實踐［J］.電化教育研究，2010(7）:73-81.

［6］張潤芝.CSCL評價技術(shù)的新趨勢［J］.中國電化教育，2009(5）:32-37.

［7］劉路，劉志民，羅英姿.歐洲MOOC教育質(zhì)量評價方法及啟示［J］.開放教育研究，2015，21(5）:57-65.

［8］馬瑞，吳曉璇，孫倩君，等.MOOC傳播效果評價指標(biāo)體系構(gòu)建研究［J］.現(xiàn)代教育技術(shù)，2015(6）:71-77.

［9］李青，劉娜.MOOC質(zhì)量保證體系研究［J］.開放教育研究，2015，21(5）:66-73.

［10］王永固，張慶.MOOC:特征與學(xué)習(xí)機(jī)制［J］.教育研究，2014(9）:112-133.

［11］GERLAK A K，HEIKKILA T.Building a Theory of Learning in Collaborative:Evidence from the Everglades Restoration Program［J］.Journal of Public Administration Research and Theory，2011，21(4）:619-644.

［12］何云峰.學(xué)生評價的轉(zhuǎn)向——基于發(fā)展性評價的視角［J］.教育理論與實踐，2009，29(3）:15-17.

［13］SIEMENS G.MOOCs are really a platform［Blog post］［EB/OL］.Elearnspace.(2012）［2016］.http://www.elearnspace.org/ blog/2012/07/25/moocs-are-really-a-platform/.

［14］HEIKKILA T，GERLAK A K.Building a Conceptual Approach to Collective Learning:Lessons for Public Policy Scholars［J］. Policy Studies Journal，2013(3）:484-512.

［15］徐光，劉魯川.慕課背景下學(xué)習(xí)伙伴對在線學(xué)習(xí)者持續(xù)使用行為的影響-基于協(xié)作學(xué)習(xí)視角［J］.山東師范大學(xué)學(xué)報，2015，60(5）:135-142.

［16］BRAY E，AOKI K，DLUGOSH L.Predictors of Learning Satisfaction in Japanese Online Distance Learners［J］.The International Review of Research in Open and Distance Learning，2008，9(3）:1-24.

［17］RICHARDSON J C，SWAN K.Examining social presence in online courses in relation to students’perceived learning and satisfaction［J］.Journal of Asynchronous Learning Networks，2003，7(1）:68-88.

［18］胡勇.在線協(xié)作學(xué)習(xí)對學(xué)習(xí)滿意度的影響［J］.中國電化教育，2013(6）:48-56.

［19］李新運(yùn).我國區(qū)域低碳發(fā)展指標(biāo)體系及定量評估研究［J］.江西財經(jīng)大學(xué)學(xué)報，2013(5）:5-14.

［20］舒康，梁鎮(zhèn)韓.AHP中的指數(shù)標(biāo)度法［J］.系統(tǒng)工程理論與實踐，1990(1）:6-8.

［21］李新運(yùn)，任棟.多目標(biāo)下的投資項目風(fēng)險評價方法與實證研究［J］.科研管理，2012，33(5）:101-106.

［22］孔峰.模糊多屬性決策理論、方法及其應(yīng)用［M］.北京:中國農(nóng)業(yè)科學(xué)技術(shù)出版社，2008:253.

［23］徐澤水.基于語言信息的決策理論與方法［M］.北京:科學(xué)出版社，2008:211.

［24］劉培德.基于模糊多屬性決策的企業(yè)信息化水平評價方法與應(yīng)用研究［D］.北京:北京交通大學(xué)，2010:73.

(責(zé)任編輯 時明芝）

Evaluation of MOOCs User Collaborative Learning Effect——Based on TOPSIS Multiple Attribute Decision

XU Guang1，2，LIU Luchuan1
(1.School of Management Science and Engineering，Shandong University of Finance and Economics，Jinan 250014，China；2.School of Economics and Management，Qilu Normal University，Jinan 250200，China）

From the perspective of MOOCs user experience and collaborative learning theory，this paper puts forward a MOOCs collaborative learning effect evaluation index system and evaluates，by adotping this system and TOPSIS multiple attribute decision method，the collaborative learning effects of the six MOOCs network classes from Qilu Normal University.Based on development evaluation theory and group collaborative learning theory，this index system combines process evaluation vs summative evaluation，qualitative evaluation vs quantitative evaluation，and focuses on evaluating the group emotional expression in collaborative learning process.This study enriches the theoretical basis of MOOCs evaluation，provides a set of evaluation program and implementation steps for group collaborative learning，extends the application field of TOPSIS method，introduces the TOPSIS method into the study of MOOCs learning effect evaluation，and tries to provide a new direction for solving the problem of high MOOCs dropout rate.

MOOCs；evaluation index system；collaborative learning；TOPSIS multiple attribute decision

G434

A

2095-929X(2016)06-0095-09

2016-07-04

國家自然科學(xué)基金項目“社會化閱讀服務(wù)用戶持續(xù)使用的行為機(jī)理研究”(71373144）；教育部人文社會科學(xué)研究規(guī)劃基金項目“移動閱讀系統(tǒng)用戶持續(xù)使用的理論模型:基于情感視角的實證研究”(12YJA860010）；山東省統(tǒng)計科研課題“互聯(lián)網(wǎng)時代高校MOOCS教學(xué)效果評價指標(biāo)體系研究”(KT15179）。

徐光，男，山東濟(jì)南人，山東財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院博士生，齊魯師范學(xué)院經(jīng)濟(jì)與管理學(xué)院講師，研究方向:管理信息系統(tǒng)用戶行為，Email:netmanager@126.com；劉魯川，男，山東青島人，博士，山東財經(jīng)大學(xué)管理科學(xué)與工程學(xué)院教授、博士生導(dǎo)師，研究方向:管理信息系統(tǒng)用戶行為。