林健 陳百利

一、引言

隨著高等職業(yè)教育的快速發(fā)展，學(xué)生評(píng)價(jià)已成為教育質(zhì)量保障的重要手段之一，因其客觀、公正和專(zhuān)業(yè)的特點(diǎn)，日益受到關(guān)注。數(shù)字化轉(zhuǎn)型是當(dāng)前全球經(jīng)濟(jì)和社會(huì)發(fā)展的主要趨勢(shì)，它已經(jīng)深入到各個(gè)領(lǐng)域，也給職業(yè)教育帶來(lái)了新的機(jī)遇和挑戰(zhàn)。第三方客觀評(píng)價(jià)系統(tǒng)是數(shù)字化轉(zhuǎn)型在職業(yè)教育領(lǐng)域的一個(gè)重要應(yīng)用，其可以為職業(yè)教育機(jī)構(gòu)提供公正、可用的評(píng)價(jià)，幫助其發(fā)現(xiàn)問(wèn)題、改進(jìn)教學(xué)、提高人才培養(yǎng)質(zhì)量。

本文探討了數(shù)字化轉(zhuǎn)型背景下高職教育第三方評(píng)價(jià)體系的現(xiàn)狀、問(wèn)題及優(yōu)缺點(diǎn)，為設(shè)計(jì)和實(shí)現(xiàn)高職教育第三方客觀評(píng)價(jià)系統(tǒng)提供參考，并給出了基于云計(jì)算和大數(shù)據(jù)分析技術(shù)的第三方客觀評(píng)價(jià)系統(tǒng)的設(shè)計(jì)和實(shí)施方法，意圖借助這套系統(tǒng)更加科學(xué)地匯總分析教育評(píng)價(jià)數(shù)據(jù)，為教學(xué)整改提供數(shù)據(jù)依據(jù)。

二、第三方評(píng)價(jià)體系現(xiàn)狀分析

（一）專(zhuān)門(mén)的評(píng)價(jià)研究機(jī)構(gòu)

麥可思是專(zhuān)門(mén)的評(píng)價(jià)研究機(jī)構(gòu)的代表，是中國(guó)最早從事教育評(píng)估、人才培養(yǎng)質(zhì)量評(píng)價(jià)等項(xiàng)目的專(zhuān)業(yè)研究機(jī)構(gòu)之一，其評(píng)價(jià)結(jié)果在國(guó)內(nèi)外具有較高的認(rèn)可度和影響力。優(yōu)點(diǎn)是評(píng)價(jià)指標(biāo)較為全面，數(shù)據(jù)來(lái)源較豐富，評(píng)價(jià)結(jié)果普遍受各大高校認(rèn)可。其評(píng)價(jià)主要關(guān)注就業(yè)情況和授課效果等方面，忽略了諸如學(xué)生綜合素質(zhì)、用人單位的反饋等。

（二）官方綜合性教育研究機(jī)構(gòu)

以中國(guó)教育科學(xué)研究院、中國(guó)職業(yè)教育研究中心為首的官方機(jī)構(gòu)，是中國(guó)教育科學(xué)的高端研究機(jī)構(gòu)，在教育決策咨詢(xún)、教師教育、基礎(chǔ)教育、高等教育、學(xué)前教育、職業(yè)教育、特殊教育等領(lǐng)域擁有豐富的研究經(jīng)驗(yàn)和成果。其優(yōu)點(diǎn)是有足夠的權(quán)威性和專(zhuān)業(yè)性，其主要評(píng)價(jià)方式是量化評(píng)價(jià)，缺乏對(duì)教育過(guò)程中人文因素和主觀體驗(yàn)的評(píng)價(jià)，同時(shí)其評(píng)價(jià)存在一定的滯后，無(wú)法及時(shí)反映教育現(xiàn)實(shí)的變遷和需求。

（三）在線(xiàn)教育平臺(tái)

智慧樹(shù)、超星、網(wǎng)易云課堂等在線(xiàn)教育平臺(tái)，除能夠提供在線(xiàn)學(xué)習(xí)平臺(tái)和課程資源外，還提供課程評(píng)價(jià)、學(xué)習(xí)成果認(rèn)證等服務(wù)，能夠滿(mǎn)足不同類(lèi)型和層次的學(xué)習(xí)需求。優(yōu)點(diǎn)是評(píng)價(jià)方式較為靈活，能夠根據(jù)不同學(xué)校和專(zhuān)業(yè)的需求進(jìn)行個(gè)性化評(píng)價(jià)，并且包括在線(xiàn)測(cè)試、作業(yè)評(píng)價(jià)、課堂互動(dòng)等，能夠靈活地適應(yīng)不同的學(xué)習(xí)需求和課程要求，并提供數(shù)據(jù)統(tǒng)計(jì)和分析功能，及時(shí)收集并分析學(xué)習(xí)數(shù)據(jù)，為教師和學(xué)生提供反饋和指導(dǎo)。這些平臺(tái)也存在數(shù)據(jù)質(zhì)量參差不齊、統(tǒng)計(jì)誤差等問(wèn)題，需要進(jìn)一步優(yōu)化數(shù)據(jù)采集和統(tǒng)計(jì)的流程，提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，同時(shí)評(píng)價(jià)結(jié)果和反饋比較概括和籠統(tǒng)，難以針對(duì)不同學(xué)生和課程的具體情況提供個(gè)性化的指導(dǎo)和反饋。

根據(jù)上述對(duì)第三方評(píng)價(jià)機(jī)構(gòu)的綜合分析，本系統(tǒng)設(shè)計(jì)意在將評(píng)價(jià)的對(duì)象聚焦在學(xué)生、課程及教學(xué)上，作為對(duì)于現(xiàn)有評(píng)價(jià)體系的有益補(bǔ)充和拓展。同時(shí)針對(duì)現(xiàn)有機(jī)構(gòu)及平臺(tái)所采集的數(shù)據(jù)，提供數(shù)據(jù)導(dǎo)入的接口，進(jìn)行二次統(tǒng)計(jì)和分析，深挖數(shù)據(jù)價(jià)值。

三、系統(tǒng)設(shè)計(jì)

（一）指標(biāo)體系設(shè)計(jì)

指標(biāo)體系是客觀評(píng)價(jià)系統(tǒng)的重要組成部分，它需要涵蓋教育質(zhì)量的各個(gè)方面，包括教學(xué)內(nèi)容、教學(xué)方法、教師水平、學(xué)生能力等。在設(shè)計(jì)指標(biāo)體系時(shí)，需要考慮全面、科學(xué)、客觀、公正等原則，確保評(píng)價(jià)結(jié)果的真實(shí)性和可信度。但目前對(duì)于評(píng)價(jià)維度的設(shè)計(jì)尚未有行業(yè)公認(rèn)的標(biāo)準(zhǔn)，本系統(tǒng)的指標(biāo)體系設(shè)計(jì)為可定制、可維護(hù)的，以適應(yīng)不同場(chǎng)景、不同課程的評(píng)價(jià)要求。

（二）系統(tǒng)數(shù)據(jù)流程設(shè)計(jì)

系統(tǒng)總體的數(shù)據(jù)流程如圖1所示。

1.數(shù)據(jù)來(lái)源

通過(guò)用戶(hù)錄入、外部接口傳入等手段，采集教育過(guò)程中的各種數(shù)據(jù)。目前教學(xué)過(guò)程數(shù)據(jù)主要包括：考勤簽到次數(shù)、學(xué)習(xí)視頻完成度、平時(shí)作業(yè)評(píng)分、提問(wèn)次數(shù)、回答次數(shù)、考試成績(jī)、第三方評(píng)價(jià)等。

2.數(shù)據(jù)處理

對(duì)采集的原始數(shù)據(jù)進(jìn)行清洗、標(biāo)準(zhǔn)化處理、分析等操作，提取有用的信息。這里使用Min-Max標(biāo)準(zhǔn)化的算法進(jìn)行數(shù)據(jù)處理，但有些時(shí)候，我們采集到的數(shù)據(jù)里面，最小值不為零的，人工給予一個(gè)零值作為最小值。另外，在這些原始數(shù)據(jù)中，第三方評(píng)語(yǔ)的原始數(shù)據(jù)大多以文字方式呈現(xiàn)，故我們需要利用自然語(yǔ)言處理（NLP）技術(shù)將其感情色彩進(jìn)行分析，從而得出一個(gè)可量化的百分制的分值。標(biāo)準(zhǔn)化后的數(shù)值，將乘以一個(gè)權(quán)重系數(shù)來(lái)構(gòu)成學(xué)生的其中一個(gè)指標(biāo)維度，比如學(xué)生的“學(xué)習(xí)積極性”可以由“提問(wèn)次數(shù)”“回答次數(shù)”分別占50%的權(quán)重來(lái)構(gòu)成，具體的權(quán)重設(shè)定，可以視乎每個(gè)課程的需要進(jìn)行調(diào)整。數(shù)據(jù)具有時(shí)效性，隨著時(shí)間的推移，可以看到學(xué)生的能力是否有提升。

3.評(píng)價(jià)模型

根據(jù)設(shè)計(jì)的指標(biāo)體系，建立評(píng)價(jià)模型，進(jìn)行客觀評(píng)價(jià)。學(xué)生一旦匹配到某個(gè)典型的模型，或者某項(xiàng)能力指標(biāo)偏低，能夠提供預(yù)警和改進(jìn)建議。

4.結(jié)果呈現(xiàn)

將評(píng)價(jià)結(jié)果以圖表、報(bào)告等形式呈現(xiàn)給用戶(hù)，方便用戶(hù)了解教育質(zhì)量的真實(shí)情況。而對(duì)于文字類(lèi)的第三方評(píng)價(jià)數(shù)據(jù)，除了標(biāo)準(zhǔn)化后的數(shù)值以外，還提取評(píng)語(yǔ)關(guān)鍵詞，并根據(jù)這些關(guān)鍵詞的出現(xiàn)頻率，分別生成用于描繪學(xué)生個(gè)人畫(huà)像和群體畫(huà)像的評(píng)價(jià)詞云。

（三）系統(tǒng)架構(gòu)設(shè)計(jì)

1.系統(tǒng)后端設(shè)計(jì)

系統(tǒng)服務(wù)后端使用了基于Uni-App的云開(kāi)發(fā)技術(shù)進(jìn)行開(kāi)發(fā)，數(shù)據(jù)庫(kù)的元結(jié)構(gòu)由一系列的DBSchema json文件進(jìn)行維護(hù)管理，服務(wù)器的MongoDB數(shù)據(jù)表會(huì)根據(jù)設(shè)計(jì)好的DBSchema結(jié)構(gòu)進(jìn)行動(dòng)態(tài)更新，同時(shí)前端頁(yè)面和服務(wù)端都能以同樣的DBSchema標(biāo)準(zhǔn)文件進(jìn)行統(tǒng)一的對(duì)象操作。服務(wù)后端使用基于Node.js語(yǔ)法的“云函數(shù)”實(shí)現(xiàn)。

2.數(shù)據(jù)庫(kù)設(shè)計(jì)

本系統(tǒng)底層使用的是阿里云提供的非關(guān)系型數(shù)據(jù)庫(kù)MongoDB，系統(tǒng)的幾個(gè)數(shù)據(jù)表之間沒(méi)有實(shí)際的外鍵約束，但邏輯上也是一一關(guān)聯(lián)的，具體的數(shù)據(jù)庫(kù)設(shè)計(jì)（部分）如圖2所示。

3.功能模塊設(shè)計(jì)

系統(tǒng)主要分為三個(gè)主要功能模塊：學(xué)生端、AI助教、系統(tǒng)管理后臺(tái)。

學(xué)生端是面向?qū)W生個(gè)人用戶(hù)使用的，能看到學(xué)生自己實(shí)時(shí)的教學(xué)指標(biāo)數(shù)據(jù)，也能參與群體排名，具有激勵(lì)自我成長(zhǎng)的功能。

AI助教是當(dāng)學(xué)生在學(xué)習(xí)上遇到困難時(shí)，可以在本系統(tǒng)發(fā)起答疑對(duì)話(huà)。目前其核心數(shù)據(jù)主要來(lái)源于兩個(gè)部分：一是利用AI平臺(tái)的智能對(duì)話(huà)UNIT來(lái)實(shí)現(xiàn)的AI對(duì)話(huà)，AI平臺(tái)可以根據(jù)需要進(jìn)行替換；二是由教師預(yù)先設(shè)定好知識(shí)庫(kù)，一旦學(xué)生對(duì)話(huà)命中預(yù)設(shè)關(guān)鍵字，則會(huì)提供相應(yīng)知識(shí)內(nèi)容反饋。因目前AI對(duì)話(huà)在知識(shí)庫(kù)方面的廣泛性有余，專(zhuān)業(yè)性略顯不足，其不足部分由教師預(yù)設(shè)的知識(shí)庫(kù)提供，以保證知識(shí)的專(zhuān)業(yè)性和準(zhǔn)確性。

系統(tǒng)管理后臺(tái)是針對(duì)每個(gè)不同的數(shù)據(jù)表進(jìn)行數(shù)據(jù)查詢(xún)和維護(hù)的入口。

4.系統(tǒng)前端及界面設(shè)計(jì)

系統(tǒng)界面設(shè)計(jì)遵循大方、美觀、便捷等原則。前端使用基于Vue.js的Uni-App進(jìn)行開(kāi)發(fā)，代碼簡(jiǎn)潔易于維護(hù)。

（四）系統(tǒng)關(guān)鍵技術(shù)及特點(diǎn)

1.數(shù)據(jù)存儲(chǔ)

采用OSS云存儲(chǔ)技術(shù)及Serverless服務(wù)端技術(shù)，存儲(chǔ)教育數(shù)據(jù)和評(píng)價(jià)結(jié)果。可以隨時(shí)進(jìn)行升降配置，支持大規(guī)模的數(shù)據(jù)處理和分析。具有很好的可維護(hù)性及可拓展性。

2.數(shù)據(jù)處理

采用大數(shù)據(jù)處理技術(shù)，如Min-Max Normalization標(biāo)準(zhǔn)化處理等，對(duì)數(shù)據(jù)進(jìn)行清洗、預(yù)處理、分析等操作，并使用自然語(yǔ)言處理（NLP）中的感情色彩分析、分詞、關(guān)鍵字提取等技術(shù)。把文字評(píng)價(jià)數(shù)據(jù)以量化的方式統(tǒng)計(jì)呈現(xiàn)出來(lái)。

3.評(píng)價(jià)模型

根據(jù)設(shè)計(jì)的指標(biāo)體系，初步建立評(píng)價(jià)模型，在系統(tǒng)使用過(guò)程中，根據(jù)實(shí)際數(shù)據(jù)可進(jìn)行模型的動(dòng)態(tài)優(yōu)化調(diào)整。理論上該模型經(jīng)過(guò)長(zhǎng)期調(diào)整后會(huì)愈發(fā)趨于客觀公正。

4.結(jié)果呈現(xiàn)

采用數(shù)據(jù)可視化技術(shù)，如ECharts、詞云等，將評(píng)價(jià)結(jié)果以圖表、報(bào)告等形式直觀地呈現(xiàn)給用戶(hù)。

四、系統(tǒng)實(shí)施成效

目前，系統(tǒng)通過(guò)數(shù)據(jù)導(dǎo)入的方式，建立了新媒體營(yíng)銷(xiāo)課程的數(shù)據(jù)，學(xué)生通過(guò)本系統(tǒng)，利用雷達(dá)圖能夠?qū)崟r(shí)看到自己能力的優(yōu)劣，如圖3所示。

圖3系統(tǒng)個(gè)人能力變遷雷達(dá)圖其中所有的數(shù)據(jù)都可溯源，保證了數(shù)據(jù)的客觀公正。教師通過(guò)本系統(tǒng)也能快速掌握學(xué)生個(gè)體乃至群體的學(xué)情，更有利于開(kāi)展輔導(dǎo)工作。

五、總結(jié)

本系統(tǒng)基于對(duì)第三方評(píng)價(jià)體系的現(xiàn)狀分析，以及教師的實(shí)際需求進(jìn)行設(shè)計(jì)和研發(fā)，歷時(shí)一年，不斷整改及加入新功能而形成了一套可進(jìn)行推廣的客觀評(píng)價(jià)系統(tǒng)。該系統(tǒng)可以作為超星等在線(xiàn)平臺(tái)的有益拓展。第三方評(píng)論數(shù)據(jù)可以來(lái)自實(shí)習(xí)管理系統(tǒng)，或者直接以本系統(tǒng)作為實(shí)習(xí)評(píng)價(jià)系統(tǒng)來(lái)使用?？傮w來(lái)說(shuō)，本系統(tǒng)具備數(shù)據(jù)可溯源、評(píng)價(jià)標(biāo)準(zhǔn)可調(diào)整、評(píng)價(jià)結(jié)果相對(duì)客觀等優(yōu)點(diǎn)。

但也存在著一些問(wèn)題和不足，在數(shù)據(jù)標(biāo)準(zhǔn)化批量處理的過(guò)程中，云數(shù)據(jù)庫(kù)可能會(huì)由于網(wǎng)絡(luò)原因出現(xiàn)計(jì)算中斷的情況。可以先將數(shù)據(jù)全部或者分批下載到本地，計(jì)算完畢后再一次性更新到服務(wù)器，這樣就可以避免多次請(qǐng)求可能出現(xiàn)的網(wǎng)絡(luò)通信失敗的情況。

目前的數(shù)據(jù)來(lái)源大多通過(guò)導(dǎo)入的方式加載到系統(tǒng)中，后續(xù)可申請(qǐng)一些在線(xiàn)平臺(tái)的API接口權(quán)限，直接進(jìn)行數(shù)據(jù)的高效對(duì)接。作為一個(gè)第三方評(píng)價(jià)分析系統(tǒng)，可將其他一些評(píng)價(jià)要素加入，如實(shí)習(xí)評(píng)價(jià)數(shù)據(jù)等，從而更好地支撐學(xué)生的實(shí)習(xí)評(píng)價(jià)工作。

參考文獻(xiàn)：

[1]薛利晨，米靖.2011—2021年我國(guó)職業(yè)教育第三方評(píng)價(jià)研究現(xiàn)狀考察與思考[J].教育與職業(yè)，2023（07）：90-97.

[2]侯敬芹，呂志敏.職業(yè)教育第三方評(píng)價(jià)：?jiǎn)栴}與對(duì)策優(yōu)化[J].職教論壇，2021，37（08）：163-168.

[項(xiàng)目來(lái)源：全國(guó)工業(yè)和信息化職業(yè)教育教學(xué)指導(dǎo)委員會(huì)課題：數(shù)字化轉(zhuǎn)型下校行企共建職業(yè)教育第三方客觀評(píng)價(jià)機(jī)制研究（GXHZWC44826）。]

責(zé)任編輯陳春陽(yáng)