国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

大數(shù)據(jù)下高校教學評價方法研究與設計

2022-06-07 12:52:32陶槊魏東東徐光明
福建技術(shù)師范學院學報 2022年2期
關鍵詞:指標體系評估指標

陶槊,魏東東,徐光明

(合肥科技職業(yè)學院經(jīng)濟管理系,安徽合肥 231201)

教學是高校的中心工作,如何用客觀有效的方法衡量高校教學水平、發(fā)現(xiàn)問題、提高質(zhì)量,可以通過教學評價方法指標體系建設來實現(xiàn). 2018 年《中國教育現(xiàn)代化2035》提出了構(gòu)建中國特色具有國際影響的教育評估體系;“十四五”規(guī)劃把推動教育評估體系作為加速高質(zhì)量教育體系發(fā)展的重要手段[1].

美國高等教育教學評價方法有用于學科評估的“學位項目”和“能力評測”的2 個認證體系[2],從2013 年起又建立COPUS(The Classroom Observation Protocol for Undergraduate)課堂教學評價標準和STEM(Science, Technology,Engineering, Mathematics)教學量化指標體系[3].歐盟有“教育質(zhì)量指標”,以及由經(jīng)合組織(OECD)發(fā)起,包括65 個國家和地區(qū)參加的“PISA 國際學生質(zhì)量評價項目體系”(The Program for International Student Assessment)[4].世界各國都在有組織地量化與標準化教學質(zhì)量監(jiān)控與評價體系.

自2004 年以來,我國教育部多次更新《學位授予和人才培養(yǎng)學科目錄》和《普通高等學校本科教學工作水平評估方案(試行)》[5],對高等學校學科、專業(yè)、課程等水平和質(zhì)量評估內(nèi)容做了詳細規(guī)定.同時在教學評價方法研究上也取得了多項成果,如針對實踐教學診斷和過程評價的CIPP 模式[6]和教學能力評估的PMPI 體系[7],特點是集中于教學決策導向、分類描述等方面,不足之處在于缺少教學量化分析,難以反映高校教育質(zhì)量的整體情況與內(nèi)在關聯(lián).在算法設計上,主要有成分分析[8]、模糊層次、神經(jīng)網(wǎng)絡、機器學習等[9],可以反映教學層次水平,但數(shù)據(jù)獲取手段繁瑣,計算復雜.根據(jù)以上情況,本研究:(1)以當前廣泛開展的智慧高校建設為背景,依托高校智能化教學平臺,建立高校教學評價模型,設計綜合教學評價體系;(2)利用高校各信息系統(tǒng)生成的海量數(shù)據(jù),轉(zhuǎn)換為評價數(shù)據(jù).研究高效算法,獲得復合權(quán)重,計算教學評價綜合成績;(3)用指標評分衡量教學成果與教育質(zhì)量,客觀反映教學水平,并為高校教學建設提供指導.

1 教學評價體系構(gòu)建

1.1 評估模型

傳統(tǒng)的教學評價模式主要是指標單一量化疊加,難以反映指標間層次化與系統(tǒng)性的特征.為了全面綜合地評估高校教學水平與教育成果,幫助院系與教師提高教學水平、發(fā)現(xiàn)問題,首先需要根據(jù)評估流程與工作要求,建立體系化的教學評價模型(見圖1).

圖1 教學評估處理流程圖

1.2 評價指標體系

依據(jù)教育部2018 年頒發(fā)的《普通高等學校本科教學工作合格評估指標體系(修訂版)》(教督局函[2018]1 號)和2020 年3 月《高等學校數(shù)字校園建設規(guī)范(試行)》(教科信函[2020]14號)及2019 年安徽省教育廳印發(fā)的《安徽省技能型高水平大學建設標準》(皖教高[2019]1 號)要求,編制針對智慧高校的7 維度3 級的教學指標體系(見表1,限于篇幅3級指標明細略).以此為藍本,制作調(diào)查項目.

2 數(shù)據(jù)的獲取與處理

2.1 數(shù)據(jù)的獲取

從高校存儲大數(shù)據(jù)獲得評價數(shù)據(jù),必須先理清教學業(yè)務流程及相互間的關聯(lián),即先研究一般高校的基本教育、教學活動與構(gòu)成要素關系,再根據(jù)教學評價目的,參照指標要求選取數(shù)據(jù)項、類型與格式.按照表1 指標體系要求獲取評價數(shù)據(jù),可以從4 個方面采集(見表2).

表1 教學評估指標說明

表2 評價數(shù)據(jù)的獲取

2.2 評價數(shù)據(jù)的整合

部署第三方大數(shù)據(jù)管理平臺如Spark/Hadoop,利用工具集收集與處理各種數(shù)據(jù),實現(xiàn)平臺生成評價數(shù)據(jù)與指標體系要求內(nèi)容對應(見圖2).

圖2 評價數(shù)據(jù)收集處理架構(gòu)圖

以智慧課堂為例,用教室監(jiān)控(基礎實施)捕捉到的所有人臉(OpenCV-人臉識別開發(fā)組件[10])累計時長/學生簽到(教學系統(tǒng))總時長,獲得課堂質(zhì)量的1 個分量值,配合提問、作答、評價等一系列數(shù)據(jù)作為學生聽課、教師授課評分,計入“教學管理I4-課程情況I4-1-課堂質(zhì)量I4-1-7”指標得分項.以此類推,完成教學水平各項評價的分值統(tǒng)計工作.對無法直接用評分表達的指標項目,如辦學路線(領導力、培養(yǎng)模式、方案構(gòu)建)等,在業(yè)務系統(tǒng)、教學平臺上,用意見反饋、學術(shù)調(diào)研、調(diào)查問卷、積分表的形式獲得評價統(tǒng)計,然后分別進行等級層次劃分、鏈式分析、邏輯回歸映射(logistic regression mapping)實現(xiàn)指標評分的量化[11],過程見圖3.其他的評價數(shù)據(jù)按照教育部《指標體系》要求打分.

圖3 Spark 框架大數(shù)據(jù)評價數(shù)據(jù)計算模型

2.3 數(shù)據(jù)預處理

3 評價算法

由于評價大數(shù)據(jù)來自各信息平臺經(jīng)轉(zhuǎn)換的主觀評估與客觀教務評分,之間存在各種潛在關聯(lián)或隨機性,尤其是從相同平臺根據(jù)不同規(guī)則獲取的不同評價數(shù)據(jù)相互影響更為明顯.對某些指標來說也不是單純的線性關系,因此為表達綜合評價結(jié)果,本文采用復合算法來強化關鍵指標,并用優(yōu)化的權(quán)值比例來制約指標間的相互影響.

3.1 變異CRITIC 賦權(quán)法

CRITIC 賦權(quán)法[12]能客觀表達指標Ii的m個評價的差異性或關聯(lián)性,它的物理意義是標準差S越大則該指標作用越大;用相關系數(shù)反映指標間的沖突性,相關性越高表示指標沖突性越低.為加速大數(shù)據(jù)運算,用等價Pearson系數(shù)[13](pearson correlation)計算關聯(lián)強度:

3.2 改進熵權(quán)法[14]

熵值(Entropy)可以反映指標承載的信息量,它越大表示相關指標間的變化性越高,也顯示某個指標在整個評價體系內(nèi)比重越大,作用也越大.于是Ii項權(quán)重計算過程:

計算熵值ei(0 ≤ei≤1):

如果pij=0,則pijlnpij=0,接著計算差異度:

獲得熵權(quán)重:

但大眾的主觀不確定性造成的打分隨意性,會對熵值造成偏差.因此需要引入專家賦權(quán)0.125,0.135,0.145})[15],用以改善總體熵權(quán)重:

3.3 復合權(quán)重

為了能在評價中綜合客觀反映教學水平與當事人的主觀評判,利用最小二乘法計算最接近的組合權(quán)重wi.已知Z+,計算到w’i,w”i,之間的最短距離,則存在:

當f(wi)函數(shù)連續(xù)可微,為簡化大數(shù)據(jù)權(quán)重計算,直接求wi的導數(shù)f’(wi)=0,得到最優(yōu)組合權(quán)重:

4 實驗與分析

4.1 可信度測試

從某校數(shù)據(jù)中心平臺采集到的1041 份樣本中,先做可信度分析,引入Cronbash's 因子[16]以檢驗收集到的1 級教學評價可信度:

其中樣本數(shù)n=1041,Si2為第i份樣本的得分方差,S2為總分方差,得到表3.一般α在0.1~0.6 表示不可信,0.7~0.9 表示可信,大于0.9 則表示非??尚?從表3 可以看出樣本數(shù)據(jù)計算結(jié)果可以滿足指標精度要求,這樣大數(shù)據(jù)采樣有了可信度保證.同時,表3 的權(quán)值分布情況與上級教育部《指標體系》要求沒有明顯偏差,也證明了本文算法的可信度.

表3 高校教學評分指標權(quán)值與可信度計算表

4.2 算法比較

根據(jù)高校數(shù)字校園建設規(guī)范體系要求,重點建設順序為辦學路線>師資隊伍>教學條件>專業(yè)與課程建設>教學管理>學風建設>素質(zhì)培養(yǎng),分別選取主流的權(quán)值評估算法進行比較,著名的有FAHP+TOPSIS 組合評估[17]、優(yōu)序圖法[18]、遺傳算法賦權(quán)[19]等,用統(tǒng)一樣本與指標系數(shù),計算各個指標權(quán)重,根據(jù)計算結(jié)果得到圖4.

從圖4 可知,單一的優(yōu)序圖權(quán)值計算準確性不足,算法FAHP+TOPSIS 和遺傳算法具有很好的評估精度,但是經(jīng)典的FAHP+TOPSIS算法需要做大量的比較運算,且算法復雜度高,隨著指標數(shù)量增加耗時巨大,不適用于做大數(shù)據(jù)評估.而遺傳算法首先需要提供訓練樣本,對操作者要求高,并且隨著高校評估條件的變化,還需要重新訓練,時效性不足.本文算法是立足大數(shù)據(jù)環(huán)境要求,根據(jù)算法特點改進公

圖4 各種權(quán)重算法對比圖

式簡便計算;并使用變異參數(shù)來控制誤差.實驗證明與FAHP+TOPSIS 和遺傳算法相比,僅有較小誤差,因此可以認為是一套有效的評估算法.

4.3 綜合測評

根據(jù)表2 的信息收集模式,從某校數(shù)據(jù)中心運行的業(yè)務平臺收集處理4 年來累計的信息數(shù)據(jù),通過復合算法,獲得教學評價項目的各項成績(見圖5).結(jié)合某校歷年的教學評建工作已知結(jié)論,其計算結(jié)果基本符合評價要求.并且從各項成績分布變化可以看出:(1)辦學路線、教學管理因受公眾的限制,變化不大,說明教學模式的調(diào)整需要整個院校的參與改進,才能獲得明顯變化;(2)專業(yè)課程建設因與教務申報系統(tǒng)后臺數(shù)據(jù)變化呈同步趨勢,說明對相關系統(tǒng)數(shù)據(jù)的關注有助于及時掌握課程專業(yè)情況;(3)從智慧課堂、各業(yè)務系統(tǒng)采集的師資、教學管理等數(shù)據(jù),對評價結(jié)果有直接影響;(4)以問卷形式獲得的學風與素質(zhì)培養(yǎng)評價數(shù)據(jù),從權(quán)值變化趨勢反映出學工工作的不斷進步.

圖5 2017—2020 年某校教學綜合評估圖

為了進一步驗證該評價模式的可靠性與實效性,按教育部《指標體系》和《安徽省技能型高水平大學建設標準》的量化指標規(guī)范,統(tǒng)計某校4 年來的考核評分(見表4),對比權(quán)重算法成績,從中可以看出,其分值分布與變化趨勢與考核成績基本匹配,證明了該算法的有效性.總之,該評價模式與方法證明是能滿足現(xiàn)代高校新教學評價體系要求,特別是利用智慧校園信息處理技術(shù),提高了教學評估效率,并能幫助指導教學工作.

表4 教學評價直接指標評分與大數(shù)據(jù)權(quán)值計算得分統(tǒng)計表

5 結(jié)語

在我國智慧高校建設快速推進的背景下,原有的教學評價模式亟需改進.本文的工作就是利用大數(shù)據(jù)技術(shù)建立一套有用的教學評價模型;通過梳理高校教育教學業(yè)務流程,參照教育部門權(quán)威文件制定3 級評價指標體系;然后借助智慧高校建設成果,從各種業(yè)務平臺采集整理生成評價大數(shù)據(jù);進一步通過研究與設計組合優(yōu)化權(quán)值算法來求取教學評價綜合成績,以便全面客觀地反映高校實際教學水平.最后通過一系列實驗驗證該系統(tǒng)與算法的準確性與功效,測試表明該系統(tǒng)具備了良好的便捷性與實用性.

猜你喜歡
指標體系評估指標
最新引用指標
莫讓指標改變初衷
商周刊(2018年26期)2018-12-29 12:56:00
層次分析法在生態(tài)系統(tǒng)健康評價指標體系中的應用
供給側(cè)改革指標體系初探
評估依據(jù)
Double圖的Kirchhoff指標
立法后評估:且行且盡善
浙江人大(2014年5期)2014-03-20 16:20:25
最終評估
世界科學(2013年11期)2013-03-11 18:09:46
KPI與指標選擇
測土配方施肥指標體系建立中‘3414
五指山市| 胶南市| 穆棱市| 开原市| 宝丰县| 岑巩县| 吴堡县| 武夷山市| 吐鲁番市| 蓬溪县| 新绛县| 福安市| 桑日县| 军事| 昌平区| 呼玛县| 长葛市| 治县。| 连城县| 邳州市| 满洲里市| 大安市| 内丘县| 工布江达县| 铜山县| 宁陕县| 常熟市| 噶尔县| 二手房| 资溪县| 清原| 莱阳市| 梓潼县| 日喀则市| 葫芦岛市| 榆林市| 视频| 中宁县| 保亭| 大关县| 大英县|