陶槊,魏東東,徐光明
(合肥科技職業(yè)學院經(jīng)濟管理系,安徽合肥 231201)
教學是高校的中心工作,如何用客觀有效的方法衡量高校教學水平、發(fā)現(xiàn)問題、提高質(zhì)量,可以通過教學評價方法指標體系建設來實現(xiàn). 2018 年《中國教育現(xiàn)代化2035》提出了構(gòu)建中國特色具有國際影響的教育評估體系;“十四五”規(guī)劃把推動教育評估體系作為加速高質(zhì)量教育體系發(fā)展的重要手段[1].
美國高等教育教學評價方法有用于學科評估的“學位項目”和“能力評測”的2 個認證體系[2],從2013 年起又建立COPUS(The Classroom Observation Protocol for Undergraduate)課堂教學評價標準和STEM(Science, Technology,Engineering, Mathematics)教學量化指標體系[3].歐盟有“教育質(zhì)量指標”,以及由經(jīng)合組織(OECD)發(fā)起,包括65 個國家和地區(qū)參加的“PISA 國際學生質(zhì)量評價項目體系”(The Program for International Student Assessment)[4].世界各國都在有組織地量化與標準化教學質(zhì)量監(jiān)控與評價體系.
自2004 年以來,我國教育部多次更新《學位授予和人才培養(yǎng)學科目錄》和《普通高等學校本科教學工作水平評估方案(試行)》[5],對高等學校學科、專業(yè)、課程等水平和質(zhì)量評估內(nèi)容做了詳細規(guī)定.同時在教學評價方法研究上也取得了多項成果,如針對實踐教學診斷和過程評價的CIPP 模式[6]和教學能力評估的PMPI 體系[7],特點是集中于教學決策導向、分類描述等方面,不足之處在于缺少教學量化分析,難以反映高校教育質(zhì)量的整體情況與內(nèi)在關聯(lián).在算法設計上,主要有成分分析[8]、模糊層次、神經(jīng)網(wǎng)絡、機器學習等[9],可以反映教學層次水平,但數(shù)據(jù)獲取手段繁瑣,計算復雜.根據(jù)以上情況,本研究:(1)以當前廣泛開展的智慧高校建設為背景,依托高校智能化教學平臺,建立高校教學評價模型,設計綜合教學評價體系;(2)利用高校各信息系統(tǒng)生成的海量數(shù)據(jù),轉(zhuǎn)換為評價數(shù)據(jù).研究高效算法,獲得復合權(quán)重,計算教學評價綜合成績;(3)用指標評分衡量教學成果與教育質(zhì)量,客觀反映教學水平,并為高校教學建設提供指導.
傳統(tǒng)的教學評價模式主要是指標單一量化疊加,難以反映指標間層次化與系統(tǒng)性的特征.為了全面綜合地評估高校教學水平與教育成果,幫助院系與教師提高教學水平、發(fā)現(xiàn)問題,首先需要根據(jù)評估流程與工作要求,建立體系化的教學評價模型(見圖1).
圖1 教學評估處理流程圖
依據(jù)教育部2018 年頒發(fā)的《普通高等學校本科教學工作合格評估指標體系(修訂版)》(教督局函[2018]1 號)和2020 年3 月《高等學校數(shù)字校園建設規(guī)范(試行)》(教科信函[2020]14號)及2019 年安徽省教育廳印發(fā)的《安徽省技能型高水平大學建設標準》(皖教高[2019]1 號)要求,編制針對智慧高校的7 維度3 級的教學指標體系(見表1,限于篇幅3級指標明細略).以此為藍本,制作調(diào)查項目.
從高校存儲大數(shù)據(jù)獲得評價數(shù)據(jù),必須先理清教學業(yè)務流程及相互間的關聯(lián),即先研究一般高校的基本教育、教學活動與構(gòu)成要素關系,再根據(jù)教學評價目的,參照指標要求選取數(shù)據(jù)項、類型與格式.按照表1 指標體系要求獲取評價數(shù)據(jù),可以從4 個方面采集(見表2).
表1 教學評估指標說明
表2 評價數(shù)據(jù)的獲取
部署第三方大數(shù)據(jù)管理平臺如Spark/Hadoop,利用工具集收集與處理各種數(shù)據(jù),實現(xiàn)平臺生成評價數(shù)據(jù)與指標體系要求內(nèi)容對應(見圖2).
圖2 評價數(shù)據(jù)收集處理架構(gòu)圖
以智慧課堂為例,用教室監(jiān)控(基礎實施)捕捉到的所有人臉(OpenCV-人臉識別開發(fā)組件[10])累計時長/學生簽到(教學系統(tǒng))總時長,獲得課堂質(zhì)量的1 個分量值,配合提問、作答、評價等一系列數(shù)據(jù)作為學生聽課、教師授課評分,計入“教學管理I4-課程情況I4-1-課堂質(zhì)量I4-1-7”指標得分項.以此類推,完成教學水平各項評價的分值統(tǒng)計工作.對無法直接用評分表達的指標項目,如辦學路線(領導力、培養(yǎng)模式、方案構(gòu)建)等,在業(yè)務系統(tǒng)、教學平臺上,用意見反饋、學術(shù)調(diào)研、調(diào)查問卷、積分表的形式獲得評價統(tǒng)計,然后分別進行等級層次劃分、鏈式分析、邏輯回歸映射(logistic regression mapping)實現(xiàn)指標評分的量化[11],過程見圖3.其他的評價數(shù)據(jù)按照教育部《指標體系》要求打分.
圖3 Spark 框架大數(shù)據(jù)評價數(shù)據(jù)計算模型
由于評價大數(shù)據(jù)來自各信息平臺經(jīng)轉(zhuǎn)換的主觀評估與客觀教務評分,之間存在各種潛在關聯(lián)或隨機性,尤其是從相同平臺根據(jù)不同規(guī)則獲取的不同評價數(shù)據(jù)相互影響更為明顯.對某些指標來說也不是單純的線性關系,因此為表達綜合評價結(jié)果,本文采用復合算法來強化關鍵指標,并用優(yōu)化的權(quán)值比例來制約指標間的相互影響.
CRITIC 賦權(quán)法[12]能客觀表達指標Ii的m個評價的差異性或關聯(lián)性,它的物理意義是標準差S越大則該指標作用越大;用相關系數(shù)反映指標間的沖突性,相關性越高表示指標沖突性越低.為加速大數(shù)據(jù)運算,用等價Pearson系數(shù)[13](pearson correlation)計算關聯(lián)強度:
熵值(Entropy)可以反映指標承載的信息量,它越大表示相關指標間的變化性越高,也顯示某個指標在整個評價體系內(nèi)比重越大,作用也越大.于是Ii項權(quán)重計算過程:
計算熵值ei(0 ≤ei≤1):
如果pij=0,則pijlnpij=0,接著計算差異度:
獲得熵權(quán)重:
但大眾的主觀不確定性造成的打分隨意性,會對熵值造成偏差.因此需要引入專家賦權(quán)0.125,0.135,0.145})[15],用以改善總體熵權(quán)重:
為了能在評價中綜合客觀反映教學水平與當事人的主觀評判,利用最小二乘法計算最接近的組合權(quán)重wi.已知Z+,計算到w’i,w”i,之間的最短距離,則存在:
當f(wi)函數(shù)連續(xù)可微,為簡化大數(shù)據(jù)權(quán)重計算,直接求wi的導數(shù)f’(wi)=0,得到最優(yōu)組合權(quán)重:
從某校數(shù)據(jù)中心平臺采集到的1041 份樣本中,先做可信度分析,引入Cronbash's 因子[16]以檢驗收集到的1 級教學評價可信度:
其中樣本數(shù)n=1041,Si2為第i份樣本的得分方差,S2為總分方差,得到表3.一般α在0.1~0.6 表示不可信,0.7~0.9 表示可信,大于0.9 則表示非??尚?從表3 可以看出樣本數(shù)據(jù)計算結(jié)果可以滿足指標精度要求,這樣大數(shù)據(jù)采樣有了可信度保證.同時,表3 的權(quán)值分布情況與上級教育部《指標體系》要求沒有明顯偏差,也證明了本文算法的可信度.
表3 高校教學評分指標權(quán)值與可信度計算表
根據(jù)高校數(shù)字校園建設規(guī)范體系要求,重點建設順序為辦學路線>師資隊伍>教學條件>專業(yè)與課程建設>教學管理>學風建設>素質(zhì)培養(yǎng),分別選取主流的權(quán)值評估算法進行比較,著名的有FAHP+TOPSIS 組合評估[17]、優(yōu)序圖法[18]、遺傳算法賦權(quán)[19]等,用統(tǒng)一樣本與指標系數(shù),計算各個指標權(quán)重,根據(jù)計算結(jié)果得到圖4.
從圖4 可知,單一的優(yōu)序圖權(quán)值計算準確性不足,算法FAHP+TOPSIS 和遺傳算法具有很好的評估精度,但是經(jīng)典的FAHP+TOPSIS算法需要做大量的比較運算,且算法復雜度高,隨著指標數(shù)量增加耗時巨大,不適用于做大數(shù)據(jù)評估.而遺傳算法首先需要提供訓練樣本,對操作者要求高,并且隨著高校評估條件的變化,還需要重新訓練,時效性不足.本文算法是立足大數(shù)據(jù)環(huán)境要求,根據(jù)算法特點改進公
圖4 各種權(quán)重算法對比圖
式簡便計算;并使用變異參數(shù)來控制誤差.實驗證明與FAHP+TOPSIS 和遺傳算法相比,僅有較小誤差,因此可以認為是一套有效的評估算法.
根據(jù)表2 的信息收集模式,從某校數(shù)據(jù)中心運行的業(yè)務平臺收集處理4 年來累計的信息數(shù)據(jù),通過復合算法,獲得教學評價項目的各項成績(見圖5).結(jié)合某校歷年的教學評建工作已知結(jié)論,其計算結(jié)果基本符合評價要求.并且從各項成績分布變化可以看出:(1)辦學路線、教學管理因受公眾的限制,變化不大,說明教學模式的調(diào)整需要整個院校的參與改進,才能獲得明顯變化;(2)專業(yè)課程建設因與教務申報系統(tǒng)后臺數(shù)據(jù)變化呈同步趨勢,說明對相關系統(tǒng)數(shù)據(jù)的關注有助于及時掌握課程專業(yè)情況;(3)從智慧課堂、各業(yè)務系統(tǒng)采集的師資、教學管理等數(shù)據(jù),對評價結(jié)果有直接影響;(4)以問卷形式獲得的學風與素質(zhì)培養(yǎng)評價數(shù)據(jù),從權(quán)值變化趨勢反映出學工工作的不斷進步.
圖5 2017—2020 年某校教學綜合評估圖
為了進一步驗證該評價模式的可靠性與實效性,按教育部《指標體系》和《安徽省技能型高水平大學建設標準》的量化指標規(guī)范,統(tǒng)計某校4 年來的考核評分(見表4),對比權(quán)重算法成績,從中可以看出,其分值分布與變化趨勢與考核成績基本匹配,證明了該算法的有效性.總之,該評價模式與方法證明是能滿足現(xiàn)代高校新教學評價體系要求,特別是利用智慧校園信息處理技術(shù),提高了教學評估效率,并能幫助指導教學工作.
表4 教學評價直接指標評分與大數(shù)據(jù)權(quán)值計算得分統(tǒng)計表
在我國智慧高校建設快速推進的背景下,原有的教學評價模式亟需改進.本文的工作就是利用大數(shù)據(jù)技術(shù)建立一套有用的教學評價模型;通過梳理高校教育教學業(yè)務流程,參照教育部門權(quán)威文件制定3 級評價指標體系;然后借助智慧高校建設成果,從各種業(yè)務平臺采集整理生成評價大數(shù)據(jù);進一步通過研究與設計組合優(yōu)化權(quán)值算法來求取教學評價綜合成績,以便全面客觀地反映高校實際教學水平.最后通過一系列實驗驗證該系統(tǒng)與算法的準確性與功效,測試表明該系統(tǒng)具備了良好的便捷性與實用性.