王筱綸 許鈺 滕汶松 劉夢(mèng)凡 楊長(zhǎng)荻

摘要：隨著政策引導(dǎo)和MOOC課程興起，雙線融合課程成為高校教學(xué)實(shí)踐新常態(tài)。文章基于CIPP評(píng)價(jià)模式，將定量和定性方法相結(jié)合，收集政策公告、理論文獻(xiàn)、人工智能問(wèn)答3類文本，通過(guò)高頻詞分析和語(yǔ)義網(wǎng)絡(luò)圖提取雙線融合課程質(zhì)量3級(jí)評(píng)價(jià)指標(biāo)。接著，利用信效度檢驗(yàn)和層次分析法計(jì)算指標(biāo)權(quán)重，構(gòu)建系統(tǒng)的教學(xué)質(zhì)量評(píng)價(jià)體系。最后，運(yùn)用多主體問(wèn)卷和模糊綜合評(píng)價(jià)法，針對(duì)線上比重不同的兩門課程進(jìn)行數(shù)據(jù)對(duì)比，提出相應(yīng)改進(jìn)策略。

關(guān)鍵詞：雙線融合課程；CIPP評(píng)價(jià)模式；教學(xué)評(píng)價(jià)指標(biāo)；數(shù)據(jù)驅(qū)動(dòng)

中圖分類號(hào)：G64文獻(xiàn)標(biāo)志碼：A

0引言

雙線融合課程已成為高校教學(xué)實(shí)踐新常態(tài)。國(guó)家發(fā)改委強(qiáng)調(diào)，要構(gòu)建線上線下教育常態(tài)化融合發(fā)展機(jī)制，形成良性互動(dòng)格局。線上教學(xué)打破了傳統(tǒng)線下教學(xué)的時(shí)空限制，實(shí)現(xiàn)優(yōu)質(zhì)教學(xué)資源隨時(shí)隨地共享［1］，但也存在著缺乏師生互動(dòng)等弊端，因而將線上線下教學(xué)有機(jī)結(jié)合、優(yōu)勢(shì)互補(bǔ)，是當(dāng)下高等教育的必然趨勢(shì)［2］。

目前，關(guān)于雙線融合課程的研究，多集中于教學(xué)設(shè)計(jì)和實(shí)施等操作細(xì)節(jié)［3］，課程評(píng)價(jià)體系研究還未受到重視。其原因有：（1）雖然已有基于線上或線下課程單獨(dú)構(gòu)建的評(píng)價(jià)指標(biāo)，但考慮到兩類課程的差異，兩套指標(biāo)的關(guān)注點(diǎn)不同亦不能通用。（2）部分學(xué)者提出利用線上教學(xué)平臺(tái)監(jiān)測(cè)數(shù)據(jù)來(lái)量化教師和學(xué)生的行為數(shù)據(jù)，但僅依賴于線上數(shù)據(jù)會(huì)忽視教師教學(xué)的系統(tǒng)性和學(xué)生學(xué)習(xí)的主體性，導(dǎo)致測(cè)量結(jié)果偏差［3］。（3）過(guò)往以定性研究為主的課程評(píng)價(jià)方法趨于主觀，無(wú)法將線上線下課程的相關(guān)指標(biāo)有機(jī)結(jié)合，而科學(xué)的定量和統(tǒng)計(jì)方法能幫助學(xué)者提煉更為客觀有效的課程評(píng)價(jià)體系［4］。因此，結(jié)合線上線下教學(xué)模式特點(diǎn)，以大數(shù)據(jù)驅(qū)動(dòng)的定量數(shù)據(jù)為主，定性分析為輔，構(gòu)建一套科學(xué)有效的雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)體系已迫在眉睫。

本文將結(jié)合政策文本的專業(yè)生成內(nèi)容（Professional Generated Content，PGC）、理論文獻(xiàn)的用戶生成內(nèi)容（User Generated Content，UGC）以及ChatGPT問(wèn)答的人工智能生成內(nèi)容（Artificial Intelligence Generated Content，AIGC）進(jìn)行高頻詞分析并構(gòu)建語(yǔ)義網(wǎng)絡(luò)圖，通過(guò)定量定性相結(jié)合的方法甄選雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)體系指標(biāo)。由于CIPP模式的過(guò)程性、反饋性和全程性特征與線上課程的“過(guò)程”監(jiān)督特征和線下課程的“效果”反饋優(yōu)勢(shì)十分契合。筆者借鑒該模式將3類文本中提取的指標(biāo)按照背景、輸入、過(guò)程及結(jié)果4個(gè)一級(jí)指標(biāo)整合歸納，構(gòu)建針對(duì)教學(xué)全過(guò)程的質(zhì)量評(píng)價(jià)指標(biāo)體系。通過(guò)信效度檢驗(yàn)和層次分析法確定每一層次的指標(biāo)權(quán)重。最后，采用多主體問(wèn)卷調(diào)查和模糊綜合評(píng)價(jià)法對(duì)比兩門線上程度有顯著差異的雙線融合課程教學(xué)情況，提出改進(jìn)建議，進(jìn)而提升雙線融合課程教學(xué)效果。

1大數(shù)據(jù)驅(qū)動(dòng)的雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)提取與構(gòu)建

1.1政策文本（PGC）采集與挖掘

教育行政管理部門在高校教育中扮演著頂層規(guī)劃的角色。本文整理近5年國(guó)務(wù)院和教育部頒布的與高校線上線下教育相關(guān)的法律法規(guī)資料，如2021年，針對(duì)線下課程，教育部發(fā)布《普通高等學(xué)校本科教育教學(xué)審核評(píng)估指標(biāo)體系（2021—2025年）》；2022年，教育部五部門發(fā)布《關(guān)于加強(qiáng)普通高等學(xué)校在線開(kāi)放課程教學(xué)管理的若干意見(jiàn)》。通過(guò)關(guān)鍵詞抽取的方法進(jìn)行詞頻分析，挖掘目前課程教學(xué)的側(cè)重點(diǎn)。然而，單純的詞頻無(wú)法顯示詞語(yǔ)間的關(guān)系，因此利用ROST CM 6內(nèi)容分析軟件進(jìn)行語(yǔ)義網(wǎng)絡(luò)構(gòu)建。通過(guò)提取高頻詞（301個(gè)）、過(guò)濾無(wú)意義詞、提取行特征詞、得到行特征詞共詞矩陣和構(gòu)建語(yǔ)義網(wǎng)絡(luò)5個(gè)步驟，本文基于政策文本構(gòu)建語(yǔ)義網(wǎng)絡(luò)圖（見(jiàn)圖1）。最后，回溯到原始文本，用人工閱讀方式進(jìn)行分類篩選后提取出13項(xiàng)評(píng)價(jià)指標(biāo)，劃分為5個(gè)類目（見(jiàn)表1）。

1.2理論文獻(xiàn)（UGC）搜索與分析

國(guó)內(nèi)外學(xué)者已針對(duì)線上或線下課程的教學(xué)質(zhì)量評(píng)價(jià)展開(kāi)研究，但關(guān)于雙線融合課程的綜合評(píng)價(jià)研究較少。本文從理論文獻(xiàn)入手，以“教學(xué)評(píng)價(jià)指標(biāo)”為關(guān)鍵詞，在中國(guó)知網(wǎng)搜索近5年的337篇中文核心期刊論文，通過(guò)人工篩查去除不相關(guān)論文后保留256篇論文，通過(guò)關(guān)鍵詞抽取法進(jìn)行詞頻分析，挖掘評(píng)價(jià)重點(diǎn)。利用ROST CM 6從文獻(xiàn)文本中提取1432個(gè)高頻詞條，構(gòu)建語(yǔ)義網(wǎng)絡(luò)圖（見(jiàn)圖2）。最后，回溯到原始文獻(xiàn)，分類篩選后提煉出27項(xiàng)評(píng)價(jià)指標(biāo)，歸并為11個(gè)類目（見(jiàn)表2）。

1.3人工智能問(wèn)答（AIGC）運(yùn)用與優(yōu)化

隨著人工智能技術(shù)發(fā)展，ChatGPT因具備強(qiáng)大的語(yǔ)言處理能力而引起教育領(lǐng)域的關(guān)注。本文從人工智能問(wèn)答入手，結(jié)合從前2類文本中提煉的指標(biāo)內(nèi)容，與ChatGPT進(jìn)行對(duì)話探討，諸如“線上課程教學(xué)資源評(píng)價(jià)指標(biāo)包括哪些”等問(wèn)題。最終，對(duì)收集到的文本進(jìn)行歸納梳理，進(jìn)一步完善指標(biāo)體系。

1.4基于CIPP模式的雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)初建

CIPP評(píng)價(jià)模式由Stufflebeam［5］提出，涵蓋教學(xué)背景（Context）、輸入（Input）、過(guò)程（Process）與結(jié)果（Product）4部分。由于CIPP模式的過(guò)程性、反饋性和全程性特征與雙線融合課程十分契合，本文選用該模式對(duì)教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行歸納和重組。首先，將CIPP模式的4項(xiàng)內(nèi)容作為一級(jí)指標(biāo)；其次，基于上述多來(lái)源數(shù)據(jù)提取的高頻詞條所屬類目構(gòu)建13項(xiàng)二級(jí)指標(biāo)；最后，根據(jù)回溯的高頻詞關(guān)聯(lián)文本分析，提煉40項(xiàng)三級(jí)指標(biāo)，初步構(gòu)建雙線融合課程教學(xué)質(zhì)量指標(biāo)體系（見(jiàn)表3）。

2雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系優(yōu)化與應(yīng)用

2.1問(wèn)卷分析法確定評(píng)價(jià)指標(biāo)信效度

根據(jù)表3，本文設(shè)計(jì)包含40道題項(xiàng)的預(yù)調(diào)查問(wèn)卷，要求被試對(duì)其重要程度打分。最終，回收120份有效問(wèn)卷，通過(guò)信效度檢驗(yàn)方法優(yōu)化指標(biāo)體系。信度分析用來(lái)檢驗(yàn)題項(xiàng)設(shè)計(jì)的可靠性，當(dāng)克隆巴赫Alpha系數(shù)在0.8～1.0間且修正后的相關(guān)性大于0.5時(shí)，表明信度較高。效度分析旨在檢驗(yàn)題項(xiàng)與測(cè)量?jī)?nèi)容的準(zhǔn)確程度，當(dāng)KMO值大于0.7，巴特利球形度檢驗(yàn)顯著性低于0.05時(shí)，表明問(wèn)卷設(shè)計(jì)結(jié)構(gòu)效度好。筆者運(yùn)用SPSS 25.0分析軟件獲得分析結(jié)果。其中，觀測(cè)點(diǎn)D14由于修正后的相關(guān)性為0.473小于0.5，故被刪除。

2.2層次分析法確定評(píng)價(jià)指標(biāo)權(quán)重

層次分析法（Analytic Hierarchy Process，AHP）是一種多準(zhǔn)則決策分析方法，它將問(wèn)題分解后基于專家的經(jīng)驗(yàn)判斷，通過(guò)兩兩比較來(lái)確定不同要素的相對(duì)重要性。本文依據(jù)AHP，基于表3、構(gòu)造判斷矩陣，邀請(qǐng)12名具有雙線教學(xué)經(jīng)歷的專家參與問(wèn)卷調(diào)查。然后，使用Yaahp軟件進(jìn)行權(quán)重計(jì)算，對(duì)一致性比率CR≥0.1的矩陣進(jìn)行調(diào)整，直到所有判斷矩陣通過(guò)一致性檢驗(yàn)。最終，計(jì)算出最大特征值，獲得向量歸一化后的評(píng)價(jià)指標(biāo)權(quán)重（見(jiàn)表3）。

2.3模糊綜合評(píng)價(jià)法進(jìn)行實(shí)例應(yīng)用

本文選擇由同一位教師在不同學(xué)期講授的同一門課程“管理信息系統(tǒng)”，采用模糊綜合評(píng)價(jià)法對(duì)雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系進(jìn)行實(shí)例應(yīng)用。由于疫情原因，兩次課程線上授課的比重分別為80%和20%。因此，在其它條件相同的前提下，唯一區(qū)別為課程雙線融合的程度差異。調(diào)研過(guò)程中，邀請(qǐng)上課學(xué)生、授課教師及聽(tīng)課教師三類群體進(jìn)行教學(xué)質(zhì)量打分，每位被試需對(duì)38項(xiàng)評(píng)價(jià)指標(biāo)給予評(píng)分（1～5）。此外，“線上課程的資源共享互通程度”并非通過(guò)問(wèn)卷測(cè)量，是基于線上平臺(tái)中學(xué)生的資源下載量計(jì)算。最終，將權(quán)重投入模糊隸屬矩陣，采用矩陣乘法得出模糊綜合評(píng)價(jià)值。該課程教學(xué)質(zhì)量滿意度總體而言較高，如表4所示。然而，線上比重高的課程質(zhì)量整體評(píng)價(jià)（4.59）顯著低于線上比重低的同樣課程（4.97），尤其體現(xiàn)在教學(xué)背景闡述不清（4.40），教學(xué)過(guò)程更加難以集中精力（4.50）。

3結(jié)語(yǔ)

隨著雙線融合課程的興起，構(gòu)建一套科學(xué)有效的課程質(zhì)量評(píng)價(jià)指標(biāo)體系已是大勢(shì)所趨。本文將定量與定性方法相結(jié)合，通過(guò)對(duì)政策文本、理論文獻(xiàn)和ChatGPT問(wèn)答3類文本進(jìn)行高頻詞提取和語(yǔ)義網(wǎng)構(gòu)建，再結(jié)合CIPP模式甄選出三級(jí)評(píng)價(jià)指標(biāo)，輔以信效度檢驗(yàn)加以優(yōu)化，最終構(gòu)建一套雙線融合課程教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系。在實(shí)例運(yùn)用中，采用多主體問(wèn)卷調(diào)查和模糊綜合評(píng)價(jià)法對(duì)比兩門線上課程比重不同的雙線融合課程教學(xué)情況，針對(duì)數(shù)據(jù)結(jié)果提出改進(jìn)策略。本研究有利于優(yōu)化線上線下教學(xué)資源配置，提升雙線融合課程教學(xué)效果。

參考文獻(xiàn)

［1］王月芬.線上線下融合教學(xué)：內(nèi)涵、實(shí)施與建議［J］.教育發(fā)展研究，2021（6）：19-25.

［2］蔣鴻玲，王曉敏，周全.高校雙線教育融合研究的熱點(diǎn)與前沿：基于CNKI核心期刊論文的知識(shí)圖譜分析［J］.教育信息技術(shù)，2023（增刊2）：95-99.

［3］吳爽，陽(yáng)戀雨.基于CIPP模型的線上線下混合式教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系構(gòu)建［J］.科教文匯，2023（3）：11-14.

［4］姚凱，李思志，李艷紅，等.MOOC評(píng)價(jià)模型研究［J］.復(fù)旦教育論壇，2017（3）：65-71.

［5］STUFFLEBEAM D S. The use and abuse of evaluation in title III［J］. Theory into Practice，1967（5）：126-133.

（編輯姚鑫）

Data-driven construction of teaching quality evaluation system for online-offline blended courses

Wang ?Xiaolun， Xu ?Yu， Teng ?Wensong， Liu ?Mengfan， Yang ?Changdi

（College of Economics & Management， Nanjing University of Aeronautics and Astronautics， Nanjing 211106， China）

Abstract： ?With policy guidance and rise of MOOC courses， online-offline blended courses become the new trend of teaching practices in universities. Based on CIPP evaluation model， this paper combines quantitative and qualitative methods by collecting three types of texts， policy announcement， theoretical literature and AI-enabled Q&A， and extracting three-level quality evaluation indicator of online-offline blended courses through high-frequency word analysis and semantic network graph. Then， using reliability， validity tests and analytic hierarchy process to calculate the weight of indicators， it constructs the teaching quality evaluation system. Finally， multi-subject survey and fuzzy comprehensive evaluation method were adopted to compare the data of two courses with different online proportions， and proposes improvement strategies.

Key words： online-offline blended course; CIPP evaluation model; teaching evaluation indicator; data-driven analysis

基金項(xiàng)目：國(guó)家自然科學(xué)基金面上項(xiàng)目；項(xiàng)目名稱：技能共享平臺(tái)負(fù)面跨邊網(wǎng)絡(luò)效應(yīng)內(nèi)在機(jī)理及治理策略研究：基于信息不確定性視角；項(xiàng)目編號(hào)：72372075。南京航空航天大學(xué)研究生教育教學(xué)改革研究項(xiàng)目；項(xiàng)目名稱：基于CIPP模式的雙線融合研究生課程教學(xué)質(zhì)量評(píng)價(jià)體系研究；項(xiàng)目編號(hào)：2022YJXGG30。

作者簡(jiǎn)介：王筱綸（1988—），女，副教授，博士；研究方向：用戶行為分析，教學(xué)評(píng)價(jià)。