張喜生，王 璐

（1. 深圳職業(yè)技術(shù)學(xué)院 質(zhì)量保障中心；2. 深圳職業(yè)技術(shù)學(xué)院 技術(shù)與職業(yè)教育研究所，廣東 深圳 518055）

大數(shù)據(jù)時(shí)代的到來(lái)，使“數(shù)據(jù)”普及到社會(huì)生活各個(gè)領(lǐng)域，極大地影響和改變著人們的生活，教育領(lǐng)域亦不例外，大數(shù)據(jù)對(duì)高等教育的影響與變革是宏大而深刻的．與此同時(shí)，在“建設(shè)質(zhì)量強(qiáng)國(guó)，邁向質(zhì)量時(shí)代”的背景下，伴隨著高職教育發(fā)展從規(guī)模擴(kuò)張向質(zhì)量提升轉(zhuǎn)向，質(zhì)量管理成為研判高職教育發(fā)展動(dòng)向、衡量發(fā)展水平、評(píng)估發(fā)展問(wèn)題、決策發(fā)展策略的核心依據(jù)，人才培養(yǎng)質(zhì)量測(cè)評(píng)作為質(zhì)量管理中發(fā)現(xiàn)問(wèn)題、挖掘歸因、反饋問(wèn)題的核心環(huán)節(jié)，其精準(zhǔn)度、效度、信度均成為影響質(zhì)量管理水平的核心指標(biāo)．傳統(tǒng)教學(xué)質(zhì)量測(cè)評(píng)手段的落后使質(zhì)量評(píng)價(jià)走向“流于形式”、師生參與積極性不高、評(píng)價(jià)結(jié)果缺乏有效度和區(qū)分度、評(píng)價(jià)結(jié)果缺乏分析及反饋等問(wèn)題已成為制約人才培養(yǎng)質(zhì)量測(cè)評(píng)的瓶頸．現(xiàn)有研究對(duì)我國(guó)職業(yè)教育的質(zhì)量管理、“診斷與改進(jìn)”等進(jìn)行了多種有益的探索與實(shí)踐[1-9]，但其中的困惑與問(wèn)題仍然很多．本文從高職院校教學(xué)質(zhì)量評(píng)價(jià)大數(shù)據(jù)分析的背景出發(fā)，提出高職院校教學(xué)質(zhì)量評(píng)價(jià)大數(shù)據(jù)分析的建構(gòu)思路，并進(jìn)行了實(shí)踐．

1 高職院校教學(xué)質(zhì)量評(píng)價(jià)大數(shù)據(jù)分析的背景

隨著《關(guān)于建立職業(yè)院校教學(xué)工作診斷與改進(jìn)制度的通知》（教職成廳〔2015〕2號(hào)）、《高等職業(yè)院校內(nèi)部質(zhì)量保證體系診斷與改進(jìn)指導(dǎo)方案（試行）》（教職成司〔2015〕168號(hào)）、《關(guān)于全面推進(jìn)職業(yè)院校教學(xué)工作診斷與改進(jìn)制度建設(shè)的通知》（教職成司〔2017〕56號(hào)）等文件的頒布與實(shí)施，教學(xué)工作診斷與改進(jìn)制度逐步在全國(guó)職業(yè)院校推進(jìn)建立，教學(xué)質(zhì)量測(cè)評(píng)數(shù)據(jù)的獲取與采集、數(shù)據(jù)處理與分析成為診改推進(jìn)的基礎(chǔ)與依據(jù)．人才培養(yǎng)質(zhì)量是質(zhì)量管理的核心，教學(xué)測(cè)評(píng)則是窺視質(zhì)量水平、分析內(nèi)涵發(fā)展問(wèn)題、反饋問(wèn)題歸因、設(shè)計(jì)改進(jìn)路徑的窗口，質(zhì)量管理成為高校內(nèi)涵發(fā)展的核心訴求．大數(shù)據(jù)分析引發(fā)高校教學(xué)質(zhì)量評(píng)價(jià)的震蕩與變革，為教學(xué)質(zhì)量評(píng)價(jià)的采集與分析提供新路徑，同時(shí)高校處于科技第一生產(chǎn)力、人才第一資源、創(chuàng)新第一動(dòng)力的結(jié)合點(diǎn)，以精準(zhǔn)教學(xué)質(zhì)量評(píng)價(jià)為起點(diǎn)，對(duì)人才培養(yǎng)、科學(xué)研究、社會(huì)服務(wù)的促進(jìn)與提升作用又為數(shù)據(jù)的更新與應(yīng)用提供了場(chǎng)域．面對(duì)自帶“互聯(lián)網(wǎng)基因”的學(xué)生群體，通過(guò)校園網(wǎng)絡(luò)進(jìn)行教學(xué)反饋信息的收集、處理、分析，與傳統(tǒng)的教學(xué)信息反饋機(jī)制相比，采集效率高、分析耗時(shí)少、信息損耗低[10]．具體而言，教學(xué)質(zhì)量評(píng)價(jià)結(jié)果以客觀數(shù)據(jù)為主要構(gòu)成，當(dāng)前大數(shù)據(jù)應(yīng)用技術(shù)、云計(jì)算技術(shù)等的成熟與運(yùn)用為客觀數(shù)據(jù)分析提供了較好的分析工具．伴隨自上而下、層級(jí)督導(dǎo)制度的完善，各高職院校教學(xué)質(zhì)量測(cè)評(píng)數(shù)據(jù)獲取與采集、數(shù)據(jù)處理與分析成為診改推進(jìn)的基礎(chǔ)與依據(jù)．高校作為質(zhì)量自治主體，人才培養(yǎng)質(zhì)量是質(zhì)量管理的核心，教學(xué)數(shù)據(jù)測(cè)評(píng)與分析則是窺視質(zhì)量水平、分析內(nèi)涵發(fā)展問(wèn)題、反饋問(wèn)題歸因、設(shè)計(jì)改進(jìn)路徑的窗口．

2 高職院校教學(xué)質(zhì)量評(píng)價(jià)大數(shù)據(jù)分析的建構(gòu)思路

教學(xué)運(yùn)行過(guò)程中會(huì)產(chǎn)生大量客觀數(shù)據(jù)，教學(xué)質(zhì)量管理過(guò)程中也可以獲得海量的測(cè)評(píng)數(shù)據(jù)，隨著大數(shù)據(jù)時(shí)代的到來(lái)，數(shù)據(jù)采集、數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)校驗(yàn)已成為問(wèn)題導(dǎo)向的教學(xué)質(zhì)量管理與診斷機(jī)制構(gòu)建的重要抓手．學(xué)校應(yīng)如何利用大數(shù)據(jù)手段構(gòu)建教學(xué)質(zhì)量自主監(jiān)管機(jī)制、盤活診斷與改進(jìn)的質(zhì)量螺旋呢？從教學(xué)質(zhì)量數(shù)據(jù)的采集、分析、篩選、應(yīng)用，到反饋，需要依托明晰精細(xì)的業(yè)務(wù)流程、科學(xué)設(shè)計(jì)的數(shù)據(jù)分析模型，亦即以數(shù)據(jù)分析模式的構(gòu)建為基礎(chǔ)．基于以上流程，遵循數(shù)據(jù)分析系統(tǒng)開發(fā)的“原型—數(shù)據(jù)喂養(yǎng)—優(yōu)化迭代—新一版原型”的研究思路，在實(shí)踐中不斷迭代優(yōu)化，教學(xué)質(zhì)量管理的總體業(yè)務(wù)模型如圖1所示．在此基礎(chǔ)上，以對(duì)教師和課程為數(shù)據(jù)采集起點(diǎn)，進(jìn)一步抽象數(shù)據(jù)流圖如圖2所示．

圖1 教學(xué)質(zhì)量管理業(yè)務(wù)模型圖

圖2 教學(xué)質(zhì)量評(píng)價(jià)數(shù)據(jù)流圖

3 需求導(dǎo)向的教學(xué)質(zhì)量大數(shù)據(jù)分析實(shí)踐運(yùn)用

如何有目標(biāo)地獲取客觀數(shù)據(jù)、高效地分析數(shù)據(jù)，發(fā)現(xiàn)教學(xué)運(yùn)行中學(xué)校、專業(yè)、課程、教師、學(xué)生的問(wèn)題，并將結(jié)果反饋到教學(xué)主體—專業(yè)和教師，就成為診斷與改進(jìn)工作中最重要的問(wèn)題，也是難點(diǎn)問(wèn)題．教學(xué)質(zhì)量的診斷與改進(jìn)是高職院校內(nèi)部質(zhì)量診斷與改進(jìn)工作的核心，教學(xué)質(zhì)量管理與診斷改進(jìn)的體系設(shè)計(jì)以學(xué)校、專業(yè)、課程、教師、學(xué)生的實(shí)際需求為導(dǎo)向，注重過(guò)程管理，以教學(xué)質(zhì)量過(guò)程性監(jiān)控、狀態(tài)數(shù)據(jù)診斷點(diǎn)監(jiān)控以及專業(yè)與課程的專項(xiàng)診改結(jié)合的方式實(shí)現(xiàn)．從教學(xué)質(zhì)量數(shù)據(jù)的采集、分析、篩選、應(yīng)用，到反饋，需要依托明晰精細(xì)的業(yè)務(wù)流程、科學(xué)設(shè)計(jì)的數(shù)據(jù)分析模型，亦即以數(shù)據(jù)分析模式的構(gòu)建為基礎(chǔ)．大數(shù)據(jù)環(huán)境下教學(xué)質(zhì)量過(guò)程性診斷與改進(jìn)的完整流程如下：頂層設(shè)計(jì)—指標(biāo)體系設(shè)計(jì)—規(guī)范化操作流程—大數(shù)據(jù)采集與反饋—數(shù)據(jù)分析—診斷與改進(jìn)．

3.1 頂層設(shè)計(jì)

由學(xué)生、督導(dǎo)、教學(xué)部門“點(diǎn)線面”三方參與測(cè)評(píng)，其中以過(guò)程性學(xué)生評(píng)價(jià)為主，即時(shí)反饋采集數(shù)據(jù)信息，數(shù)據(jù)結(jié)果導(dǎo)出2個(gè)分支：一是績(jī)效考核的依據(jù)；二是缺陷發(fā)現(xiàn)、診斷分析、改進(jìn)任務(wù)下達(dá)及改進(jìn)跟蹤．

3.2 指標(biāo)體系設(shè)計(jì)

1）圍繞“專業(yè)、課程、教師、學(xué)生”進(jìn)行指標(biāo)體系設(shè)計(jì)，以便對(duì)不同測(cè)評(píng)層面進(jìn)行診斷．

2）構(gòu)建定制化指標(biāo)體系，針對(duì)督導(dǎo)評(píng)價(jià)、同行或者部門評(píng)價(jià)設(shè)計(jì)不同的測(cè)評(píng)方式；針對(duì)學(xué)生評(píng)價(jià)不同測(cè)評(píng)方以及不同測(cè)評(píng)對(duì)象，設(shè)計(jì)不同的測(cè)評(píng)內(nèi)容與問(wèn)題；針對(duì)理論課、實(shí)訓(xùn)課等不同課種的差異，設(shè)計(jì)不同的測(cè)評(píng)指標(biāo)；針對(duì)學(xué)生期中測(cè)評(píng)、期末測(cè)評(píng)，設(shè)計(jì)不同的測(cè)評(píng)方式與數(shù)據(jù)運(yùn)用范圍．

3）構(gòu)建可評(píng)判度清晰、選項(xiàng)區(qū)分度明顯、梯度構(gòu)建合理的指標(biāo)體系，測(cè)評(píng)指標(biāo)的文字表述匹配不同測(cè)評(píng)方的認(rèn)知度．

4）對(duì)指標(biāo)的權(quán)重、分?jǐn)?shù)、等級(jí)等給予合理的賦值．

3.3 規(guī)范操作流程

建章立制，完善各級(jí)各類測(cè)評(píng)制度和標(biāo)準(zhǔn)：包括督導(dǎo)測(cè)評(píng)細(xì)則、同行測(cè)評(píng)操作細(xì)則、學(xué)生測(cè)評(píng)操作細(xì)則、教師獲取反饋信息操作方法、學(xué)院質(zhì)量匯總報(bào)表標(biāo)準(zhǔn)格式、學(xué)校數(shù)據(jù)分析報(bào)告題例格式、學(xué)院數(shù)據(jù)分析報(bào)告題例格式、課程數(shù)據(jù)分析報(bào)告題例格式、診改建議書管理辦法、診改任務(wù)單標(biāo)準(zhǔn)格式、診改任務(wù)跟蹤及管理實(shí)施細(xì)則等．

3.4 大數(shù)據(jù)采集方式

數(shù)據(jù)采集以移動(dòng)端與PC端同時(shí)獲取，推廣運(yùn)用移動(dòng)端測(cè)評(píng)的數(shù)據(jù)獲取方式．移動(dòng)端采集注重與移動(dòng)社交工具的無(wú)感嵌入，使數(shù)據(jù)采集能夠無(wú)感進(jìn)行．通過(guò)信息化手段靈活迅速發(fā)布過(guò)程性測(cè)評(píng)、監(jiān)控測(cè)評(píng)過(guò)程、監(jiān)控教師自定義測(cè)評(píng)、查看師生互動(dòng)情況、獲得海量數(shù)據(jù)，再通過(guò)大數(shù)據(jù)分析的方法，高效地指出教學(xué)過(guò)程中存在的問(wèn)題，及時(shí)通過(guò)微信手段反饋給教師、專業(yè)，實(shí)現(xiàn)教學(xué)質(zhì)量的診斷與改進(jìn)，極大提高診改工作效率．

3.5 大數(shù)據(jù)分析方法

大數(shù)據(jù)的分析視角“按需”轉(zhuǎn)換，主要有橫向比較法、縱向比較法、雷達(dá)圖比較、綜合分析法．具體而言，橫向比較法可分為同部門不同指標(biāo)項(xiàng)之間的比較、同指標(biāo)不同部門之間的比較；縱向比較法可分為同部門同指標(biāo)不同學(xué)期變化的比較、本部門與上下部門之間的比較；雷達(dá)圖比較可分為同一指標(biāo)體系不同部門或教師之間的雷達(dá)圖比較；綜合分析法是指分?jǐn)?shù)、指標(biāo)比較與學(xué)生評(píng)語(yǔ)結(jié)合的綜合分析比較．

3.6 診斷與改進(jìn)

在學(xué)校層面，通過(guò)大數(shù)據(jù)關(guān)聯(lián)分析查看全校關(guān)鍵指標(biāo)的實(shí)現(xiàn)度；專業(yè)層面，通過(guò)大數(shù)據(jù)的分析比較，確定專業(yè)弱項(xiàng)，進(jìn)而有針對(duì)性地下達(dá)專業(yè)診改建議書；課程層面，可以分析教學(xué)效果差的課程的原因是什么；教師層面，可以分析教師的教學(xué)能力、教學(xué)態(tài)度、教學(xué)方法、教學(xué)效果；學(xué)生層面，可以分析不同教學(xué)單位學(xué)生的收獲度和滿意度．

4 教學(xué)質(zhì)量大數(shù)據(jù)分析運(yùn)用成效

通過(guò)“遞歸模型定制-數(shù)據(jù)采集-數(shù)據(jù)分析-數(shù)據(jù)反饋-結(jié)果評(píng)價(jià)-缺陷診斷-診斷跟蹤—質(zhì)量螺旋改進(jìn)”的整體過(guò)程，解決了教學(xué)質(zhì)量信息化管理閉環(huán)問(wèn)題，保證了教學(xué)質(zhì)量的控制．教學(xué)質(zhì)量大數(shù)據(jù)分析運(yùn)用成效如下：

1）以某校為例，建立了督導(dǎo)、同行、學(xué)生、領(lǐng)導(dǎo)四方多元測(cè)評(píng)模型，每年獲取督導(dǎo)和部門測(cè)評(píng)記錄1000條以上，獲取學(xué)生測(cè)評(píng)數(shù)據(jù)60萬(wàn)條左右，測(cè)評(píng)指標(biāo)項(xiàng)500萬(wàn)個(gè)，生成各類數(shù)據(jù)報(bào)告20篇以上；數(shù)據(jù)結(jié)果應(yīng)用于各二級(jí)部門績(jī)效考核以及學(xué)校、專業(yè)、課程、教師和學(xué)生的診斷改進(jìn)，應(yīng)用于教育部人才培養(yǎng)狀態(tài)數(shù)據(jù)、人才培養(yǎng)質(zhì)量年報(bào)以及國(guó)務(wù)院督導(dǎo)辦公室的高基報(bào)表．

2）通過(guò)“PDCA反饋平臺(tái)”，解決了教學(xué)質(zhì)量測(cè)評(píng)結(jié)果和評(píng)價(jià)建議快速反饋的問(wèn)題，及時(shí)促進(jìn)教學(xué)改進(jìn)．通過(guò)微信客戶端或者微信小程序，教師可以即時(shí)獲取每一門課每一項(xiàng)指標(biāo)的學(xué)生測(cè)評(píng)反饋和總體雷達(dá)圖比較反饋，如表1，圖3所示，在教學(xué)過(guò)程中即可了解不足，加以改進(jìn)．

表1 對(duì)教師教學(xué)滿意度分析表（樣本總數(shù)163017）

圖3 數(shù)據(jù)分析雷達(dá)圖

3）通過(guò)大數(shù)據(jù)獲取與概率統(tǒng)計(jì)學(xué)計(jì)算模型，解決了教學(xué)質(zhì)量、人才培養(yǎng)效果由模糊評(píng)價(jià)轉(zhuǎn)化為精確評(píng)價(jià)的問(wèn)題，為績(jī)效管理奠定了基礎(chǔ)．教學(xué)質(zhì)量、人才培養(yǎng)評(píng)價(jià)的難題之一就是屬于模糊評(píng)價(jià)、可信度低；通過(guò)對(duì)大量數(shù)據(jù)的獲取、概率統(tǒng)計(jì)學(xué)方法，使得模糊評(píng)價(jià)趨于精確．

5 結(jié) 語(yǔ)

質(zhì)量管理體系的構(gòu)建是職業(yè)院校自主保證人才培養(yǎng)質(zhì)量的基礎(chǔ)，是全面開展教學(xué)診斷與改進(jìn)工作的組織建制．同時(shí)，教學(xué)質(zhì)量作為衡量人才培養(yǎng)質(zhì)量的核心標(biāo)尺，是發(fā)現(xiàn)教學(xué)問(wèn)題、診斷教學(xué)問(wèn)題、改進(jìn)教學(xué)問(wèn)題的核心向度．教學(xué)質(zhì)量評(píng)價(jià)結(jié)果以客觀數(shù)據(jù)與主觀評(píng)語(yǔ)為主要構(gòu)成，當(dāng)前大數(shù)據(jù)應(yīng)用技術(shù)、云計(jì)算技術(shù)等的成熟與運(yùn)用為客觀數(shù)據(jù)分析提供了較好的分析工具，與之相較，海量的主觀評(píng)語(yǔ)資源卻只能個(gè)別反饋，無(wú)法宏觀上定量自動(dòng)分析，使得教學(xué)質(zhì)量測(cè)評(píng)中一些真實(shí)想法、情感表達(dá)、現(xiàn)實(shí)問(wèn)題較難通過(guò)數(shù)據(jù)篩查反映出來(lái)，而人工智能的發(fā)展恰恰彌補(bǔ)了這一缺陷，為海量主觀評(píng)語(yǔ)的分析提供了實(shí)現(xiàn)路徑．AI與高校教學(xué)質(zhì)量評(píng)價(jià)的結(jié)合主要通過(guò)情感傾向分析和評(píng)論觀點(diǎn)抽取2種渠道實(shí)現(xiàn)，情感傾向分析即基于深度學(xué)習(xí)技術(shù)和百度大數(shù)據(jù)，針對(duì)帶有主觀描述的中文文本，自動(dòng)判斷該文本的情感極性類別并給出相應(yīng)的置信度．評(píng)論觀點(diǎn)抽取則通過(guò)自動(dòng)分析評(píng)論關(guān)注點(diǎn)和評(píng)論觀點(diǎn)，并輸出評(píng)論觀點(diǎn)標(biāo)簽及評(píng)論觀點(diǎn)極性，從而彌補(bǔ)教學(xué)質(zhì)量評(píng)價(jià)的短板與不足，這是教育質(zhì)量大數(shù)據(jù)分析下一步延伸的方向．此外，質(zhì)量管理必須依托數(shù)字化校園大數(shù)據(jù)平臺(tái)，平臺(tái)設(shè)計(jì)應(yīng)根據(jù)校情學(xué)情、分階段分批次分系統(tǒng)逐步實(shí)現(xiàn)，不能一蹴而就，要特別注重平臺(tái)各子系統(tǒng)是否能夠滿足職能部門日常工作需求．同時(shí)，為避免數(shù)字化校園中的“數(shù)據(jù)孤島”，質(zhì)量管理與診改平臺(tái)可通過(guò)ETL工具“建橋”，與校園內(nèi)教務(wù)系統(tǒng)、校務(wù)系統(tǒng)、學(xué)生管理系統(tǒng)等其他子系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)共享互通，這也是高職院校信息化建設(shè)中需努力的方向．