李偉長(zhǎng) 李光敏 呂坤 張瀅琪 陳飛燕

湖北師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院 湖北黃石 435002

1 研究背景

2008年，北美的一些公立和頂級(jí)大學(xué)開(kāi)始試運(yùn)營(yíng)大規(guī)模在線開(kāi)放課程（Massive Open Online Course，MOOC，也叫慕課）[1]，2012年，MOOC 作為一種新型的優(yōu)質(zhì)數(shù)字化在線課程資源，開(kāi)始逐步傳入中國(guó)，它適應(yīng)了信息網(wǎng)絡(luò)時(shí)代學(xué)習(xí)者學(xué)習(xí)需求多樣化、學(xué)習(xí)時(shí)間碎片化、學(xué)習(xí)媒體多元化的學(xué)習(xí)新變化[2]，通常由知名教師合作開(kāi)發(fā)，按照碎片化的知識(shí)點(diǎn)，制作8 ～15 分鐘時(shí)長(zhǎng)（每個(gè)知識(shí)點(diǎn)）的微型教學(xué)視頻，并以此作為主體教學(xué)內(nèi)容，配套課后作業(yè)、在線測(cè)試、課外討論等功能模塊，通過(guò)在線學(xué)習(xí)平臺(tái)向全球?qū)W習(xí)者開(kāi)放使用。

MOOC 在數(shù)量激增且廣泛應(yīng)用于混合式教學(xué)和在線學(xué)習(xí)的同時(shí)，其自身存在的質(zhì)量問(wèn)題開(kāi)始受到國(guó)內(nèi)外研究者的關(guān)注。英聯(lián)邦學(xué)習(xí)共同體（Common Wealth of Learning）于2016年發(fā)布的《MOOC 質(zhì)量保障與評(píng)估指南》提出：“MOOC 建設(shè)質(zhì)量已經(jīng)成為制約MOOC 發(fā)展的瓶頸，為了保持MOOC 的生命力，需要MOOC 建設(shè)者采用預(yù)設(shè)性評(píng)價(jià)、過(guò)程性評(píng)價(jià)和總結(jié)性評(píng)價(jià)分別對(duì)通識(shí)型MOOC、實(shí)踐型MOOC和學(xué)術(shù)型MOOC 進(jìn)行分類質(zhì)量評(píng)價(jià)。”2016年，北京師范大學(xué)智慧學(xué)習(xí)研究院對(duì)國(guó)內(nèi)MOOC 平臺(tái)的1 388 門(mén)課程進(jìn)行深度調(diào)研，發(fā)現(xiàn)我國(guó)MOOC 主要通過(guò)新建、改造和引進(jìn)三種方式建設(shè)，其質(zhì)量與學(xué)習(xí)者的理想差距甚遠(yuǎn)。一是新建MOOC 存在使用對(duì)象不明確，課程內(nèi)容機(jī)械照搬教材等問(wèn)題；二是改造的MOOC 是在學(xué)校原有網(wǎng)絡(luò)課程素材和課堂教學(xué)監(jiān)控視頻的基礎(chǔ)上經(jīng)過(guò)二次開(kāi)發(fā)制作而成的，存在資源陳舊，內(nèi)容表現(xiàn)方式簡(jiǎn)單、視頻質(zhì)量不高等問(wèn)題[3]；三是引進(jìn)的國(guó)外MOOC 缺少翻譯或提供必要的學(xué)習(xí)支持服務(wù)，存在學(xué)習(xí)門(mén)檻。這些問(wèn)題導(dǎo)致MOOC 學(xué)習(xí)者使用困難，出現(xiàn)了注冊(cè)率低、選課率低，棄學(xué)率高（兩低一高）的現(xiàn)象[4]。我國(guó)高校在教學(xué)實(shí)踐過(guò)程中發(fā)現(xiàn)，MOOC 質(zhì)量定位不準(zhǔn)確、內(nèi)容不規(guī)范、服務(wù)不到位等問(wèn)題嚴(yán)重影響到在線教學(xué)的質(zhì)量。為了引導(dǎo)高校有序建設(shè)MOOC，確保MOOC等在線開(kāi)放課程的建設(shè)質(zhì)量，教育部早在2015年就發(fā)布了《教育部關(guān)于加強(qiáng)高等學(xué)校在線開(kāi)放課程建設(shè)應(yīng)用與管理的意見(jiàn)》（教高〔2015〕3 號(hào)），2022年又發(fā)布了《教育部等五部門(mén)關(guān)于加強(qiáng)普通高等學(xué)校在線開(kāi)放課程教學(xué)管理的若干意見(jiàn)》（教高〔2022〕1 號(hào)），意見(jiàn)明確指出，要鼓勵(lì)高校間通過(guò)協(xié)同創(chuàng)新和集成創(chuàng)新的方式建設(shè)滿足不同教學(xué)需要、不同學(xué)習(xí)需求的在線開(kāi)放課程或課程群，并制定在線開(kāi)放課程教學(xué)管理辦法，規(guī)范課程選用、教學(xué)、評(píng)價(jià)、督導(dǎo)和學(xué)分認(rèn)定等管理制度，通過(guò)使用評(píng)價(jià)等方式對(duì)在線開(kāi)放課程的在線運(yùn)行、實(shí)際應(yīng)用、教學(xué)效果等進(jìn)行跟蹤監(jiān)測(cè)和綜合評(píng)價(jià)，加強(qiáng)對(duì)在線課程建設(shè)的監(jiān)管。教育部從2019年開(kāi)始組織國(guó)家精品在線開(kāi)放課程持續(xù)開(kāi)放服務(wù)和更新情況督導(dǎo)檢查工作，要求各學(xué)校做好課程認(rèn)定，把好在線課程的入口關(guān)，鼓勵(lì)建立在線課程質(zhì)量評(píng)價(jià)辦法，形成以評(píng)促建的質(zhì)量保障機(jī)制。[5]MOOC 質(zhì)量評(píng)價(jià)與質(zhì)量監(jiān)管已經(jīng)成為各級(jí)教育管理部門(mén)和學(xué)校的一項(xiàng)常規(guī)性任務(wù)。

2 MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系簡(jiǎn)介

本研究對(duì)象來(lái)源于5 個(gè)不同層面的MOOC 評(píng)價(jià)標(biāo)準(zhǔn)，分別是：武漢大學(xué)邱均平教授2015年發(fā)表的論文中所構(gòu)建的“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”；復(fù)旦大學(xué)管理學(xué)院姚凱教授于《復(fù)旦教育論壇》發(fā)表的論文中的“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”；華中師范大學(xué)聶艷嬌2021年發(fā)表的論文中的“MOOC評(píng)價(jià)框架”；美國(guó)普渡大學(xué)5 位學(xué)者于2019年發(fā)表的論文中的“MOOC評(píng)價(jià)指標(biāo)”；奧地利格拉茨大學(xué)3 位學(xué)者于2015年發(fā)表的論文中的“MOOC 評(píng)價(jià)網(wǎng)格”。國(guó)內(nèi)外MOOC評(píng)價(jià)指標(biāo)體系皆出自CCSSCI 以及SSCI層次的文獻(xiàn)中，本研究以這5 套評(píng)價(jià)體系為對(duì)象進(jìn)行研究，具有較強(qiáng)的代表性（見(jiàn)表1）。

表1 MOOC評(píng)價(jià)指標(biāo)體系表

2.1 邱均平“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”

邱均平教授以先進(jìn)、獨(dú)立、全面，具有代表性、可操作性和可比性的原則為指導(dǎo)，在國(guó)內(nèi)外慕課質(zhì)量和在線教育質(zhì)量評(píng)價(jià)指標(biāo)相關(guān)研究的基礎(chǔ)上，征求慕課研究專家、慕課教學(xué)團(tuán)隊(duì)、講師、助教和慕課學(xué)員的意見(jiàn)和建議，并根據(jù)慕課特點(diǎn)設(shè)計(jì)了“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”（見(jiàn)表2）。

表2 邱均平“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”[6]

2.2 姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”

姚凱教授以“MOOC 學(xué)院”社區(qū)論壇為數(shù)據(jù)源，使用文本挖掘技術(shù)對(duì)其進(jìn)行處理和分析，獲取部分課程評(píng)價(jià)指標(biāo)，同時(shí)結(jié)合已有課程評(píng)價(jià)標(biāo)準(zhǔn)，建立了課程內(nèi)容、教學(xué)設(shè)計(jì)、界面設(shè)計(jì)、媒體技術(shù)、課程管理等5 個(gè)一類指標(biāo)，以及課程說(shuō)明、內(nèi)容目標(biāo)一致性等25 個(gè)二類指標(biāo)的“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”，如表3所示。

表3 姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”[7]

2.3 聶艷嬌“MOOC 評(píng)價(jià)框架”

聶艷嬌綜合了文獻(xiàn)綜述的發(fā)現(xiàn)之后，提出了一個(gè)兩級(jí)MOOC 評(píng)估框架。第一級(jí)包括課程計(jì)劃、課程內(nèi)容、教學(xué)過(guò)程和學(xué)習(xí)成果4 個(gè)主要標(biāo)準(zhǔn)。每個(gè)主要標(biāo)準(zhǔn)包括2 到3 個(gè)次要標(biāo)準(zhǔn)[8]。表4 展現(xiàn)了標(biāo)準(zhǔn)的結(jié)構(gòu)及其描述。

表4 聶艷嬌“MOOC 評(píng)價(jià)框架”

2.4 普渡大學(xué)“MOOC評(píng)價(jià)指標(biāo)”

普渡大學(xué)5 位學(xué)者對(duì)來(lái)自EDX，Coursera 或Udacity 教授STEM MOOC 的14 位教職員工進(jìn)行了半結(jié)構(gòu)化訪談。他們從現(xiàn)象學(xué)角度遵循定性方法分析訪談數(shù)據(jù)，以更多地了解教師在教授MOOC 方面的經(jīng)驗(yàn)及哪些信息是對(duì)他們有益的觀點(diǎn)。從MOOC教師的角度獲得了4 個(gè)維度的“MOOC評(píng)價(jià)指標(biāo)”[9]。詳情見(jiàn)表5。

表5 普渡大學(xué)“MOOC評(píng)價(jià)指標(biāo)”

2.5 格拉茨大學(xué)“MOOC 評(píng)價(jià)網(wǎng)格”

格拉茨大學(xué)的3 位學(xué)者研究了XMOOC 的基本要素。他們通過(guò)對(duì)來(lái)自多個(gè)MOOC 提供商的不同XMOOC 的積極觀察，確定XMOOC 基本教學(xué)要素的特征，并且將它們分為子類別并提出標(biāo)準(zhǔn)，以闡明XMOOC 中存在的主要類別。在這項(xiàng)研究中，他們使用不同類型的方法來(lái)揭示和評(píng)估結(jié)果。這些方法是：定性內(nèi)容分析、個(gè)人觀察、文檔分析和專家意見(jiàn)分析。他們總結(jié)出了系統(tǒng)標(biāo)準(zhǔn)、交互標(biāo)準(zhǔn)和內(nèi)容標(biāo)準(zhǔn)的3 個(gè)一級(jí)標(biāo)準(zhǔn)，以及3 個(gè)維度下有針對(duì)性的二級(jí)標(biāo)準(zhǔn)。詳情見(jiàn)表6。

表6 格拉茨大學(xué)“MOOC 評(píng)價(jià)網(wǎng)格”[10]

3 MOOC 評(píng)價(jià)標(biāo)準(zhǔn)對(duì)比分析

3.1 指標(biāo)內(nèi)容涵蓋程度比較分析

以上5 套評(píng)價(jià)體系內(nèi)容有許多相似之處，同時(shí)也存在不同側(cè)重點(diǎn)。除了普渡大學(xué)MOOC評(píng)價(jià)指標(biāo)，其他4 套評(píng)價(jià)體系都強(qiáng)調(diào)了課程內(nèi)容、教學(xué)資源、教學(xué)媒體等因素；而普渡大學(xué)MOOC 評(píng)級(jí)指標(biāo)來(lái)自對(duì)MOOC 教師的訪談，該指標(biāo)和格拉茨大學(xué)MOOC 評(píng)價(jià)網(wǎng)絡(luò)更傾向于與學(xué)習(xí)者交互，獲得學(xué)習(xí)者的數(shù)據(jù)和及時(shí)的反饋。邱均平慕課質(zhì)量評(píng)價(jià)指標(biāo)體系與姚凱MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系關(guān)注了MOOC 的界面設(shè)計(jì)。

3.2 MOOC評(píng)價(jià)指標(biāo)形成方法比較

關(guān)于評(píng)價(jià)指標(biāo)形成的辦法，在文獻(xiàn)中有所提及的情況下進(jìn)行比較。邱均平“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”通過(guò)整合MOOC 質(zhì)量研究和國(guó)內(nèi)在線教育課程評(píng)價(jià)指標(biāo)的辦法而形成；姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”以“MOOC 學(xué)院”社區(qū)論壇為數(shù)據(jù)源，使用文本挖掘技術(shù)對(duì)其進(jìn)行處理和分析，獲取部分課程評(píng)價(jià)指標(biāo)，同時(shí)結(jié)合已有在線教育課程評(píng)價(jià)標(biāo)準(zhǔn)而形成；聶艷嬌“MOOC 評(píng)價(jià)框架”是整合有關(guān)慕課質(zhì)量的相關(guān)研究而形成；普渡大學(xué)“MOOC評(píng)價(jià)指標(biāo)”是對(duì)MOOC 教師進(jìn)行訪談后，通過(guò)定性分析的方式而形成；而格拉茨大學(xué)“MOOC 評(píng)價(jià)網(wǎng)格”形成的辦法是定性內(nèi)容分析、個(gè)人觀察、文檔分析和專家意見(jiàn)分析。

可以發(fā)現(xiàn)國(guó)外2 套MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系都采用了定性分析作為其中的步驟，而國(guó)內(nèi)的3 套MOOC評(píng)價(jià)指標(biāo)體系并沒(méi)有采用定性分析方法；另外，姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”采用了數(shù)據(jù)挖掘的方法來(lái)獲取學(xué)習(xí)者對(duì)MOOC 的關(guān)注點(diǎn)作為MOOC評(píng)價(jià)指標(biāo)；而普渡大學(xué)的5 位學(xué)者則通過(guò)訪談MOOC 教師來(lái)獲取教師對(duì)MOOC 的關(guān)注點(diǎn)作為評(píng)價(jià)指標(biāo)。

3.3 MOOC評(píng)價(jià)指標(biāo)粒度分析

邱均平“慕課質(zhì)量評(píng)價(jià)指標(biāo)體系”結(jié)構(gòu)為5 個(gè)一級(jí)指標(biāo)、14 個(gè)二級(jí)指標(biāo)；姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”為5 個(gè)一級(jí)指標(biāo)、25 個(gè)二級(jí)指標(biāo)；聶艷嬌“MOOC 評(píng)價(jià)框架”為4 個(gè)一級(jí)指標(biāo)、9 個(gè)二級(jí)指標(biāo)；普渡大學(xué)“MOOC評(píng)價(jià)指標(biāo)”是4 個(gè)一級(jí)指標(biāo)；格拉茨大學(xué)“MOOC 評(píng)價(jià)網(wǎng)格”則是3 個(gè)一級(jí)指標(biāo)、22 個(gè)二級(jí)指標(biāo)?？梢?jiàn)姚凱“MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系”和格拉茨大學(xué)“MOOC 評(píng)價(jià)網(wǎng)格”在評(píng)價(jià)指標(biāo)上更細(xì)化，說(shuō)明這2 套MOOC 評(píng)價(jià)系統(tǒng)分析MOOC 教學(xué)環(huán)節(jié)更透徹。

4 中外MOOC 評(píng)價(jià)標(biāo)準(zhǔn)分析對(duì)比對(duì)我國(guó)創(chuàng)建MOOC評(píng)價(jià)指標(biāo)體系的啟示

4.1 避免評(píng)價(jià)內(nèi)容單一性，注重指標(biāo)全面性

MOOC 評(píng)價(jià)內(nèi)容可以反映出建設(shè)團(tuán)隊(duì)對(duì)MOOC 課程建設(shè)的構(gòu)思，同樣也能夠檢測(cè)出一個(gè)MOOC 課程是否符合優(yōu)秀MOOC 課程的標(biāo)準(zhǔn)。所以，評(píng)判MOOC的標(biāo)準(zhǔn)體系是否全面，能否反映出MOOC 的本質(zhì)特征，重點(diǎn)在于MOOC 評(píng)價(jià)內(nèi)容的設(shè)計(jì)。評(píng)價(jià)內(nèi)容體系不全面，評(píng)價(jià)的結(jié)論也會(huì)不正確。通過(guò)以上的比較分析，評(píng)價(jià)指標(biāo)內(nèi)容除應(yīng)具備全面性外，還需要按照MOOC 的特點(diǎn)圍繞某個(gè)主題開(kāi)展，不能過(guò)于分散。但中外5 個(gè)MOOC 評(píng)價(jià)體系綜合性很強(qiáng)，沒(méi)有以一門(mén)MOOC 課程的學(xué)科特點(diǎn)為主題。因此在構(gòu)建MOOC評(píng)價(jià)指標(biāo)體系時(shí)應(yīng)根據(jù)MOOC 課程學(xué)科特點(diǎn)確立一個(gè)主題，并圍繞主題構(gòu)建評(píng)價(jià)體系。

4.2 根據(jù)客觀實(shí)際，調(diào)整硬件評(píng)價(jià)指標(biāo)與軟件評(píng)價(jià)指標(biāo)的比例

由于各MOOC建設(shè)團(tuán)隊(duì)的硬條件和軟條件不同，在建立MOOC評(píng)價(jià)指標(biāo)體系時(shí)，應(yīng)該從實(shí)際情況出發(fā)，根據(jù)一門(mén)MOOC 現(xiàn)有的軟硬件水平建立一個(gè)評(píng)價(jià)指標(biāo)體系，并且評(píng)價(jià)指標(biāo)體系要體現(xiàn)出軟硬件水平的比例的科學(xué)性。只有這樣，它才能發(fā)揮有效的評(píng)價(jià)作用，并在引領(lǐng)MOOC 課程發(fā)展到更高水平方面發(fā)揮作用。例如，MOOC 的硬件設(shè)施建設(shè)并不完善，如果評(píng)價(jià)指標(biāo)體系以軟件標(biāo)準(zhǔn)為主要評(píng)價(jià)依據(jù)，那么這個(gè)體系就會(huì)顯得蒼白和薄弱，不僅起不到評(píng)價(jià)作用，而且也起不到指導(dǎo)作用。

4.3 綜合考量主客觀評(píng)價(jià)因素，科學(xué)平衡主客觀評(píng)價(jià)配比

主觀評(píng)價(jià)指標(biāo)和客觀評(píng)價(jià)指標(biāo)在MOOC評(píng)價(jià)指標(biāo)體系中都非常重要。主觀評(píng)價(jià)指標(biāo)反映了學(xué)習(xí)者在MOOC 課程中的個(gè)人學(xué)習(xí)體驗(yàn)，但由于是個(gè)體差異造成的主觀因素，因此可能無(wú)法正確反映通過(guò)MOOC 課程所達(dá)到的客觀可信度。

客觀指標(biāo)雖然能在一定程度上反映MOOC 的真實(shí)水平，但不能反映MOOC 課程學(xué)習(xí)者對(duì)MOOC 課程本身的滿意度。

另外，如果沒(méi)有學(xué)習(xí)者和MOOC 課程整體的評(píng)價(jià)，那是不正確的，二者能有效地顯示MOOC 課程體系的真實(shí)面貌。因此，評(píng)價(jià)指標(biāo)體系的主觀評(píng)價(jià)和客觀評(píng)價(jià)必須是科學(xué)一致的。

5 結(jié)束語(yǔ)

各評(píng)價(jià)主體對(duì)于MOOC 內(nèi)涵的理解程度有所不同、側(cè)重有所不同，導(dǎo)致了MOOC評(píng)價(jià)指標(biāo)的差異性。具體表現(xiàn)在：與歐美2 套MOOC 評(píng)價(jià)標(biāo)準(zhǔn)體系比較，國(guó)內(nèi)的3 套沒(méi)有采用定性方法來(lái)建立評(píng)估體系；國(guó)內(nèi)MOOC評(píng)價(jià)指標(biāo)體系較多強(qiáng)調(diào)教學(xué)設(shè)計(jì)評(píng)估，而歐美評(píng)價(jià)指標(biāo)體系注重與學(xué)習(xí)者交互的評(píng)估?？偠灾? 套評(píng)價(jià)指標(biāo)體系中有很多優(yōu)點(diǎn)值得我們?cè)谠O(shè)計(jì)國(guó)內(nèi)MOOC 的評(píng)價(jià)指標(biāo)體系前借鑒學(xué)習(xí)。綜上所述，建議根據(jù)MOOC 特點(diǎn)、MOOC 學(xué)科發(fā)展等客觀實(shí)際，量體裁衣，來(lái)建立MOOC評(píng)價(jià)指標(biāo)。