摘要：踐行“以學習者為中心”的理念，從學習者體驗出發(fā)，綜合運用文獻研究、用戶訪談和網絡研究等方法，構建評價維度和指標，通過問卷調查對指標進一步篩選和優(yōu)化，運用層次分析法計算指標權重，并結合相關性分析和信度、效度校驗驗證指標合理性，最后結合具體課程開展實踐應用。從實際應用效果來看，指標評價結果與學習者的直接反饋基本一致，表明指標具有一定的合理性和可操作性。應用該指標體系評價直播課程，可以發(fā)現直播課程的不足，改善學習者的直播學習體驗，提高教學效果。

關鍵詞：學習者體驗；在線直播課程；評價指標；層次分析法

中圖分類號：G642? ? ? 文獻標志碼：A? ? ? 文章編號：1008-4657（2023）02-0082-07

0? ? ? ? 引言

自2019新冠疫情出現，為響應教育部“停課不停學”的要求和部署，各高職院校紛紛建立和運用網絡資源實施在線教學，而在線直播課程因其鮮明的現場感和互動特征，成為在線教學的主要形式。相對于傳統(tǒng)課堂教學，在線直播課程教學不僅僅是教學場地的變化，同時也在教師的教學形式、學生的學習方式和師生互動等方面產生巨大變革。直播課程的教學效果如何，是否滿足學生的需要，直播課程影響因素有哪些，如何評價在線直播課程教學質量等，都是教育教學工作者需要關注的問題。基于此，本文從學習者體驗的角度出發(fā)，探索在線直播課程的評價標準，為提升在線直播課程的教學效果提供思路和參考。

1? ? ? ?研究現狀

自網絡課程開展以來，不少機構、教育教學工作者以及技術工作者進行相關的研究，以期取得更好的教學效果。歐洲遠程教育大學協(xié)會（Europe? Association? of? ?Distance? Teaching? University，EADTU）制定的遠程教育質量標準，設計了35個質量標準和若干觀測指標，覆蓋了課程的設計、課程的傳送和學習者支持等六個維度［ 1 ］。美國“QM質量標準”作為頗具影響力的網絡課程認證標準，從課程介紹、課程活動、學習者支持、評價與測量等八個維度對網絡課程的設計和建設進行指導和評議［ 2 ］。我國早在2003年，教育部教育信息化技術標準委員會發(fā)布《網絡教育服務質量管理體系規(guī)范》（CELTS-24），提出網絡教育服務質量評價參考模型和量表，用以對網絡教育服務質量進行評估和規(guī)范。2018年中國國家標準化管理委員會和國家市場監(jiān)督管理總局發(fā)布《信息技術—學習、教育和培訓在線課程》，提出在線課程的信息模型、評價模型和在線平臺運營的基本要求，用于指導在線課程的設計、建設和評價。2015年教育部印發(fā)《關于加強高等學校在線開放課程建設應用與管理的意見》，從建設、認定、應用和推廣等七個方面，明確在線開放課程的建設任務和要求［ 3 ］。這些標準或規(guī)范為本文的研究提供了一定的理論借鑒和參考，但由于其主要圍繞在線課程的設計、開發(fā)和實施，對直播課程缺乏針對性，且很少從學習者體驗角度出發(fā)，不能反映學習者的直播學習體驗。

學習者是直播課程教學的直接參與者和主要體驗者，學習者體驗是衡量教學質量的一個重要方面［ 4 ］。唐環(huán)環(huán)［ 5 ］基于貝恩特·施密特的五大用戶體驗模型，從感官體驗、行為體驗、情感體驗、內容體驗和關聯體驗五個維度，建立MOOC課程評價指標體系。安哲鋒等［ 6 ］基于學習者體驗視角，從學習內容質量、學習支持質量、學習交互質量、學習期望質量和學習感知質量五個維度，提出MOOC學習質量模型。陳志華［ 7 ］認為網絡課程作為一種教育產品，具有產品的特征，由此基于用戶體驗角度，從網絡課程符合學習者的需求和對學習的支持等六個方面，構建網絡課程有用性評價指標體系。Ding? Gang等［ 8 ］基于模糊綜合評價法，從平臺設計合理性、平臺操作可用性、用戶學習滿意度三方面，建立網絡教學平臺用戶體驗評價體系。這些研究從不同方面、運用不同方法關注學習者體驗，但多是圍繞錄播課程或針對網絡平臺建立評價指標，對于線上直播課程，并不能完全適用。從學習者體驗出發(fā)，緊密結合直播課程的特點，構建符合直播課程特征的評價體系，是本文重點研究的內容。

2? ? ? ? 在線直播課程評價指標體系構建

為構建科學有效的評價指標體系，綜合運用文獻研究法、用戶訪談法和網絡研究法等多種方法，從理論和實踐兩方面確定指標維度和指標要素。采用調查問卷和專家咨詢的方式對指標進行篩選和優(yōu)化，運用層次分析法對指標進行定量分析并計算指標權重。

2.1? ? ? ?構建直播課程評價維度

學習體驗是指學習者對學習過程和結果的感知和體驗，包含學習認知和學習情感雙重內涵，關注學習者的實際感受。也有研究者認為，教學交互、學習環(huán)境和學習支持是學習體驗的重要組成部分［ 9 ］。

運用文獻研究法，以“在線課程”“直播課程”“評價”“用戶體驗”和“學習者體驗”等關鍵詞作為限定條件展開高級檢索，并對所搜集大量文獻中相關的指標要素進行梳理、篩選、分析、比較和匯總。對直播授課的一線教師和直播學習的學生進行有準備的問題訪談，并對教師的授課體驗和學生的學習體驗進行分析和整理。綜合文獻分析結果和直播參與者實際體驗，結合貝恩特·施密特五大用戶體驗模型，從學習者體驗出發(fā)，針對直播課程在線教學的特點，初步構建直播課程評價模型維度和指標要素。

2.1.1? ? ? ?直播內容體驗度

直播內容是直播課程的核心和前提，體現在直播教學內容的選取、設計以及呈現等方面。在課程定位和目標已經明確的前提下，合理選取、設計和組織教學內容，才能從根本上激發(fā)學習者的學習愿望和興趣，滿足其學習需求，讓學習者感受課程學習的價值。參考國內外相關標準，結合直播課程特點，提取準確性、實用性、遞進性、前沿性、多樣性、趣味性和文化性七個指標。

2.1.2? ? ? ?直播課堂體驗度

直播課堂顛覆了傳統(tǒng)線下課堂面對面的互動模式，學生僅以網絡在線的方式參與教學活動，教師也無法直觀地感知學生的課堂反應。高質量的課堂活動可以促進學生主動參與和積極表現的愿望，從而激發(fā)學生的認知和情感。課堂交互形式和教師對課堂活動的組織都是影響課堂的關鍵因素。根據在線直播課堂的特點，提取清晰性、互動性、啟發(fā)性、多元性、及時性、恰當性六個指標。

2.1.3? ? ? ?直播平臺體驗度

直播平臺是直播課程的載體，為直播提供技術支持和服務，是直播課程能否正常開展的基本條件和重要保障。直播平臺的技術性、功能性和可靠性等都對用戶是否愿意、持續(xù)使用平臺軟件產生直接影響。平臺的用戶體驗是直播課程體驗的一部分，從直播平臺的一般性特點和對課程教學的支持角度，提取易操作性、穩(wěn)定性、兼容性、合理性、交互性、可訪問性、及時性、美學性八個指標。

2.1.4? ? ? ?直播情感體驗度

直播情感體驗度是學習者對直播學習的過程和結果情感的綜合體驗。由線下課程轉為直播教學，學習者能否適應直播教學、是否樂于參與直播課程活動以及課程學習的成就感和興趣度，都是直播情感體驗度的關鍵指標，據此本維度提取適應性、參與性、成就感、興趣度四個指標。

2.2? ? ? ? 評價指標的篩選和優(yōu)化

指標的篩選和優(yōu)化采用調查問卷和專家咨詢相結合的方式。問卷方面，為了既保證指標的科學性和合理性，又能充分反應學習者對指標的意見，問卷對象分別選取兼具教研水平和直播教學經驗的高校教師，以及具有直播學習實際經驗的高職學生。針對初定的4個一級指標和24個二級指標，編制“在線直播課程學習者體驗影響因素”調查問卷，對每項指標進行“十分明確”“明確” “不一定”“不明確”和“十分不明確”5個選項的區(qū)分，對應分數分別為5、4、3、2、1。如對指標“不一定”“不明確”或“十分不明確”，需要給出相應的修改意見。問卷結果顯示，一級指標明確度評分均在4分以上，表示基本認同，而對二級指標，結合專家咨詢反饋，提出以下修改意見：

一是刪除針對性不強的指標。如“直播內容體驗度”中的“文化性”指標，具有一定的學科偏向，且屬于不太重要的指標，建議刪除。“直播平臺體驗度”中的“流暢性”指標，一般多用以描述網絡傳輸質量，對直播平臺性能方面表述指代性不強，建議刪除。

二是指標概念劃分太細，需要精簡合并。如“直播平臺體驗度”中“合理性”“交互性”和“可訪問性”均屬于平臺功能方面的展開描述，三者可合并調整為“完備性”。

三是指標描述不當，易引起歧義。如“直播課堂體驗度”中的“多元性”是指對學生進行多元評價，僅用以闡述評價方式多樣性，側重過程，不能反映評價結果，應改為“客觀性”，強調評價結果的公正性。“恰當性”指代的內容范圍太寬泛，語義不明確，改為“調控性”，特指教學過程的有效調控?！爸辈テ脚_體驗度”的“及時性”表述不當，且易混淆，改為“容錯性”，表示平臺對于學習者錯誤操作，能及時給出反饋信息和操作指引。

綜合上述意見，對原有指標體系進行修改和優(yōu)化，確立第二輪指標體系如表1所示。

由上述數據可以看出，在一級指標中，“B1直播內容體驗度”權重最大，即直播內容在直播課程體驗中占據最重要的位置，其次是“B2直播課堂體驗度”。在二級指標中，“B22互動性”占據最重要位置，其次是“B11準確性”“B12實用性”“B31易操作性”和“B21清晰性”。

3? ? 評價指標體系的檢驗和應用

3.1? ? 評價指標體系的相關性分析

Pearson相關性分析用于衡量元素間是相關的還是獨立的［ 11 ］。相關系數為0.6～0.8為強相關，而大于等于0.8，則意味著兩元素存在極強相關性，一般需要修改或刪除。再次運用SPSS對指標數據進行相關性分析得出，“清晰性”與“及時性”（相關系數0.717），“啟發(fā)性”與“趣味性”（相關系數0.621），“完備性”與“美學性”（相關系數0.625），雖然存在重疊部分，但22個指標的相關系數值均小于0.8，說明指標仍具有較好的獨立性。

3.2? ? 評價指標體系的信度和效度檢驗

信度和效度校驗分別檢測指標的可靠性和合理性。使用Cronbachs α系數作為可靠性測試值，值越大，表示指標的內在一致性越高，即越可靠，如果低于0.6，則表示信度不理想，需要修改問題項［ 12 ］。經測試，系數α為0.827，表示指標信度不錯，可以使用。采用因子分析方法進行效度分析，Kaiser-Meyer-Olkin（KMO）值為0.729，大于0.6，符合因子分析要求。Bartlett球形度檢驗顯著值為0.000，小于0.05，22個指標的4個因子累積方差貢獻率為68.331%，問題項與因子的對應關系沒有嚴重偏差，表示指標效度符合要求。

3.3? ? 評價指標體系的應用

3.3.1? ? 評價指標體系的應用過程

為進一步驗證評價指標體系的可操作性，應用該評價指標體系制作問卷，對在線直播課程進行評價。共設計問卷題目23個，前面22個題目運用已構建的22個評價指標，分別從直播內容、直播課堂、直播平臺和直播情感四個方面對直播課程進行相應評價。問卷題目采用客觀單選題方式，選項采用李克特式五級量表，從5到1依次表示“非常滿意”到“非常不滿意”五個等級。將問卷每項指標得分Bij與該指標總層次權重Pn相乘，并將各項指標評價結果相加，得出單份問卷評價得分，即：

Σ指標分值Bij × 指標權重Pn，n = 1，2，3，…，22

問卷最后1題，采用主觀簡答題的方式，要求學習者報告主觀學習體驗并闡述理由，以便驗證學習者的偏好程度與指標結果是否一致，為指標的進一步完善提供依據。

選取問卷對象為本校大一下學期兩個批次班級學生共96名，參與評價的這部分學生該學期因地方突發(fā)疫情，所有課程隨即轉為線上直播，對直播課程學習有直接而深刻的實際體驗。

3.3.2? ? 評價指標體系的應用及分析

首次選取問卷對象為非計算機類專業(yè)班級學習者52名。選取直播平臺為“超星課堂”，選取課程為“信息技術”。向52名學習者發(fā)放試卷，回收有效問卷52份，計算“信息技術”直播課程總體得分為4.012，表示學生對該門直播課程總體是滿意的。由于二級指標的評分數據更能直觀反映優(yōu)缺點，分析二級單項指標項得分發(fā)現，B11準確性、B21清晰性、B33兼容性評分相對較高，表明學習者對課程內容準確性、課堂教學清晰性以及平臺兼容性方面滿意度較高，而B22互動性，B31易操作性和B44興趣度評分相對較低，表明該課程直播課堂互動性不夠，“超星課堂”平臺的易操作性方面體驗欠佳，學生的學習興趣度有待提高，均一定程度地影響了學習者的直播學習體驗。

為進一步驗證指標在不同專業(yè)和不同課程中的合理性和適用范圍，進行第二次問卷發(fā)放，發(fā)放對象為計算機類專業(yè)班級44名學習者，選取直播平臺為“超星課堂”，選取課程為專業(yè)課程“網頁設計與制作”。問卷結果顯示，該直播課程總體得分為4.326。分析二級指標發(fā)現，B12實用性、B22互動性、B41適應性評分較高，表明學生對課程內容實用性、課堂互動性和直播適應性體驗良好，而B32穩(wěn)定性和B34完備性評分相對較低，學生的主觀體驗報告認為直播平臺有遭遇卡頓、操作不流暢情形，且在資源訪問方面不夠便捷。

上述指標評價結果與通過課程訪談、線上調查以及問題報道等途徑收集的學習者關于直播課程的反饋基本一致，表明該評價指標具有一定的可行性和適用性。一級指標四個維度能夠較客觀、全面地反映直播課程不同方面對學習者體驗的影響。而在二級指標上，對于不同的專業(yè)和課程，學習者對于直播課體驗的側重點也會有所不同，如非計算機類專業(yè)學生對直播平臺的易操作性比較關注，而計算機類專業(yè)學生對于直播平臺資源可訪問性要求更高。

4? ? 結語

在疫情防控常態(tài)化形式下，在線直播課程在高職院校數字化教學中得到快速應用和推廣。直播課程不同于MOOC和精品課程類在線課程，其異地同步教學的方式，使其既兼具在線課程和線下課堂的部分特征，又與兩者不完全相同，需要建立符合直播課程特點的課程評價方式。本文基于學習者體驗視角，提出從直播內容、直播課堂、直播平臺和直播情感四個維度，評價在線直播課程質量，突出學習者的主體地位，重視學習者的體驗和需求，更利于提高教學滿意度。應用本文構建的評價指標體系，可以對高職院校直播課程教學進行評價，其不同維度指標能夠直觀體現和描述直播教學效果的影響因素，從而發(fā)現直播課程教學的不足，明確改進和提升的方向。

本文的研究尚存在不足之處：一方面，由于直播課程學習質量評價的研究尚處于探索階段，相關的標準仍在不斷完善，后續(xù)還需結合新的理論和標準進一步完善評價指標。另一方面，在確定權重時，雖然運用層次分析法盡量做到科學，但由于調查范圍和分析方法的有限，指標仍帶有一定的主觀性，可通過擴大調查者范圍并采用德爾菲法和層次分析法相結合的方式，增加指標的科學性。另外，后期可以根據直播課程內容所屬的專業(yè)領域特征進一步完善指標體系，以提高課程評價的針對性。隨著直播課程的普及和推廣，相應的實踐和理論都將更加科學化、規(guī)范化、深入化，學習者的直播課程體驗也將不斷提升。

參考文獻：

［1］ 劉紹英.廣西開放大學教學質量標準構建研究［J］.廣西廣播電視大學學報，2020，31（4）：5-12.

［2］ 潘曉彥，蔣家瓊，莫蘭，等.美國“QM質量標準”與我國“精品在線開放課程”評價指標體系比較研究［J］.湖南師范大學教育科學學報，2019，18（3）：105-110.

［3］ 聶建峰，蔡佳林，徐娜.我國高校在線開放課程建設與應用的問題分析和改進策略［J］.國家教育行政學院學報，2020（4）：60-65.

［4］ 劉斌，張文蘭.在線課程學習體驗的影響因素及其結構研究［J］.現代教育技術，2017，27（9）：107-113.

［5］ 唐環(huán)環(huán).基于用戶體驗的大規(guī)模開放在線課程評價研究［D］.杭州：寧波大學，2017.

［6］ 安哲鋒，張峰峰.MOOC學習質量立體模型的構建研究——基于學習者體驗視角的研究［J］.成人教育，2018，38（6）：18-23.

［7］ 陳志華.基于用戶體驗的網絡課程有用性評價指標體系設計與應用［D］.北京：首都師范大學，2014.

［8］ Ding Gang，Wei Lihong，Cao Danyang，et al. User experience evaluation of service platform for online courses based on fuzzy comprehensive evaluation method——the user experience of “machine principles” as an example［J］. Science Innovation， 2018， 6（2）：97-97.

［9］ 劉妍，張?zhí)扃?設計思維視角下的學習體驗設計［J］.上海教育，2022（6）：12-14.

［10］ 成先娟.不確定型層次分析法排序方法的研究［D］.南寧：廣西大學，2006.

［11］ 程娟娟.高?？蒲信c教學關系實證研究——基于皮爾遜相關系數的分析［J］.中國高?？萍迹?022（10）：46-52.

［12］ 王淑華.漢字應用水平測試信度和效度研究——以上海市2012和2015年測試為例［J］.鹽城工學院學報（社會科學版），2022，35（4）：71-76.

［責任編輯：許立群］

On the Evaluation System of Online Live Courses

Based on Learner Experience

YE? Genmei

（Department of Software Engineering， Ma'anshan Teacher's College， Ma'anshan 243041， China）

Abstract：Practicing the concept of "learner centered"， the evaluation system of live course is constructed based on learner experience. The preliminary evaluation dimensions and indicators are constructed by using literature research， user interviews and network research. Indicators are further screened and optimized through questionnaire investigations. Then the weight of indicators is calculated by using the analytic hierarchy process， and the rationality of indicators is verified by combining correlation analysis and reliability and validity checks. Finally， the practical application is carried out in combination with specific courses. From the practical application effect， the evaluation results of indicators are basically consistent with the direct feedback from learners. It indicates that the indicators are reasonable and operable. By applying this indicator system to evaluate live courses， we can find the shortages of the live courses， improve the learners live learning experience and enhance the teaching effect.

Key words：learner experience；online live course；evaluation indicator；analytic hierarchy process

收稿日期：2022-11-12

基金項目：安徽省高校優(yōu)秀青年人才支持計劃項目（gxyq2021264）；安徽省質量工程項目（2020kfkc541）

作者簡介：葉根梅（1982-），女，安徽桐城人，馬鞍山師范高等?？茖W校副教授，碩士，主要研究方向：軟件技術及教學研究。