張瓊　丁鐳　鄭竹娟

職業(yè)技術(shù)教育援外項目是我國援外項目的主要形式之一，也是高職院校主要承擔的項目類型之一。但是大數(shù)據(jù)時代下的援外培訓在培訓形式、培訓內(nèi)容上有較大變化，尤其疫情以來，職業(yè)技術(shù)援外項目轉(zhuǎn)化為線上培訓，項目培訓評價模式的轉(zhuǎn)型勢在必行。本文通過分析現(xiàn)有的線上援外培訓的評價方式的現(xiàn)實困境，創(chuàng)新設(shè)計大數(shù)據(jù)賦能的5M（多元化主體評價Multi-subjects、多維度評價標準Multi-dimensions、多模態(tài)評價內(nèi)容Multi-modes、多渠道評價方式Multi-channels、多指標評價模型Multi-indicators）評價模型，提出援外項目評價轉(zhuǎn)型的實現(xiàn)路徑。

1 研究背景

高職院校援外培訓項目內(nèi)容豐富，涉及汽車與檢測、機電維修、港口管理、職業(yè)教育宏觀政策等；覆蓋面廣，主要服務“一帶一路”沿線及非洲國家；形式多樣，后疫情時代，援外培訓項目由線下轉(zhuǎn)為線上。但目前的援外培訓項目研究主要集中在課程設(shè)計、跨文化適應等項目內(nèi)容的研究上。對援外項目評價模式的研究較少，集中在評價指標構(gòu)建、課堂教學質(zhì)量評價、受訓學員滿意度調(diào)查等。項目評價主要采用結(jié)構(gòu)化問卷的方式。針對項目評價的開展主要以外部評價為主，僅用“他者”視角將評價作為滿意度測評工具，忽視了評價作為規(guī)劃工具、監(jiān)測工具的作用，對項目全程、全面的評價并不完善。隨著信息技術(shù)的不斷發(fā)展，援外項目的數(shù)字化轉(zhuǎn)型迎來新的機遇和挑戰(zhàn)。如王勇等（2019）運用數(shù)據(jù)挖掘技術(shù)對受訓學員的評價反饋信息進行分析，整合教學資源，促進教學設(shè)計供給側(cè)改革。在大數(shù)據(jù)時代，利用信息技術(shù)，更新數(shù)據(jù)采集、挖掘、關(guān)聯(lián)、分析的技術(shù)，加強學員跟蹤回訪，轉(zhuǎn)型評價模式，能夠更好地改進培訓內(nèi)容，發(fā)揮項目評價對項目可持續(xù)創(chuàng)新發(fā)展的助推作用。

2 援外項目評價的現(xiàn)狀分析

為了進一步了解現(xiàn)有援外項目評價模式的運行情況，筆者通過網(wǎng)站搜索、咨詢調(diào)研等形式，得出以下表格內(nèi)容（見表1）。

2.1 評價模式相對單一，數(shù)據(jù)類型不夠豐富

培訓效果評價主要有定性評價、定量評價、分層次評價和分階段評價等幾種模式。根據(jù)調(diào)研發(fā)現(xiàn)，目前高職院校援外項目評價形式主要以問卷形式為主，鮮少對受訓學員開展一對一采訪或小組訪談，因此項目評價收集到的數(shù)據(jù)主要以量化數(shù)據(jù)為主。受到語言、技術(shù)支持有限等因素的影響，近三年評價形式主要以線上問卷為主，采用英語調(diào)研為主，問卷內(nèi)容主要集中在培訓內(nèi)容。因此，從培訓評價的數(shù)據(jù)類型來說，量化數(shù)據(jù)多，質(zhì)性數(shù)據(jù)少；從培訓數(shù)據(jù)的語種來看，英文相對比較集中，而小語種調(diào)研比較匱乏，因此對援外項目的可持續(xù)發(fā)展模型的構(gòu)建有一定限制，也不利于項目創(chuàng)新性發(fā)展。

2.2 評價主體相對集中，學員反饋信息為主

援外項目評價的主體主要是受訓學員，由于培訓項目的評價指標不夠具體、系統(tǒng)，主要的評價指標為滿意度調(diào)查。問卷的設(shè)計主要針對管理服務能力、培訓內(nèi)容、翻譯服務、后勤保障等進行滿意度評價，學員主觀判斷為主。但援外培訓項目評價主體應包括項目主管部門、參訓學員派出機構(gòu)、項目承辦單位、學員及授課教師等一系列相關(guān)人員，因此單純從學員角度進行評價不夠全面。評價主體的拓展能夠刻畫援外項目從策劃、實施到收尾工作的全貌。學員反饋信息能夠?qū)Ω倪M培訓內(nèi)容、提升培訓效率有一定的作用，但對援外培訓項目的整體評價、項目的可持續(xù)發(fā)展不能提供足夠的支撐。

2.3 評價程序不夠全面，數(shù)據(jù)倫理意識不強

數(shù)據(jù)收集的倫理程序決定數(shù)據(jù)使用范圍以及項目拓展的領(lǐng)域內(nèi)容，HAKIMI（2021）提出了教育大數(shù)據(jù)的四大主要倫理問題類別：隱私、知情同意和數(shù)據(jù)所有權(quán)；數(shù)據(jù)和算法的有效性和完整性；道德決策和采取行動的義務；以及治理和問責制。目前，在收集數(shù)據(jù)的過程中，倫理程序的不完整是數(shù)據(jù)使用范圍受限的重要原因之一。我國援外項目的范式在向國外推廣的過程中會因為數(shù)據(jù)倫理而承擔一定的風險，尤其在大數(shù)據(jù)背景下，數(shù)據(jù)來源的合理、合法是后續(xù)開展研究的重要前提之一。

2.4 過程評價不夠系統(tǒng)，培訓效果較難體現(xiàn)

援外培訓項目考慮到大部分受訓學員為發(fā)展中國家官員，因此，職業(yè)教育培訓的評價形式大多為終結(jié)性評價。比如，電氣自動化項目的培訓一般以最后的項目作品作為考核內(nèi)容，其實踐結(jié)果、實踐能力的提升作為終結(jié)性評價成為受訓學員培訓效果的主要來源。但項目的評價應該是全過程、全方位、全員的評價，目前的評價形式不能夠體現(xiàn)培訓的全過程，在一定程度上降低學員受訓情況的及時反饋和實時監(jiān)測，為形成學員的個人成長檔案、定制國別化特色項目造成了一定的困難。

高職院?，F(xiàn)有的援外培訓評價模式相對靜態(tài)，數(shù)據(jù)不夠全面，不能有效跟蹤學員的學習情況，未有效進行大數(shù)據(jù)技術(shù)與項目評價的融合，對項目的客制化創(chuàng)新、可持續(xù)發(fā)展的指導意義不強。

3 大數(shù)據(jù)賦能援外5M項目評價的創(chuàng)新轉(zhuǎn)型

提升援外培訓項目的評價模式的現(xiàn)狀，全面了解援外培訓項目的培訓效果，需要通過擴大項目數(shù)據(jù)的來源，突破時空限制，挖掘不同的數(shù)據(jù)形態(tài)，明確評價指標，來提升援外培訓項目的評價效果。隨著信息技術(shù)的不斷改進，上述數(shù)據(jù)的收集、分析、處理、呈現(xiàn)方式都能得以實現(xiàn)，因此，大數(shù)據(jù)賦能援外培訓項目的5M評價方式的轉(zhuǎn)型具有重要意義。

援外培訓項目的5M評價模式是在大數(shù)據(jù)技術(shù)支持下，由受訓學員、學員派出機構(gòu)、項目主管部門、項目承擔單位的管理人員、授課教師等共同參與，在明確的培訓效果、滿意度評價的具體指標下，通過多種渠道收集即時、非即時數(shù)據(jù)收集資源，運用數(shù)據(jù)相關(guān)性統(tǒng)計方法分析結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)的創(chuàng)新評價轉(zhuǎn)型模式。

3.1 過程評價更全面，實現(xiàn)多元化主體評價Multi-subjects

過程性評價主要是指在培訓項目開展過程中多次、連續(xù)對學員進行非認知因素的調(diào)研，對項目的開展效果進行評價。過程性評價在教育領(lǐng)域的應用主要關(guān)注學員的學習效果，體現(xiàn)以學員為中心的理念。一般情況下，過程性評價主要由授課教師在課堂過程中通過課程反饋等記錄學員參與的積極和反饋效果，判斷學員在培訓過程中的接受情況。但是僅從授課教師的隨堂反饋及課堂問答，很難整理每位學員的過程性學習材料，其功能發(fā)揮也很有限。同時，職業(yè)技術(shù)援外項目的實踐性的特點對過程性評價的定義不僅體現(xiàn)在培訓過程期間學員的學習狀態(tài)及學習效果，也涵蓋了培訓結(jié)束后的實踐、應用環(huán)節(jié)。因此，培訓效果的評價應包含自評與他評兩種角度，評價主體包括項目主辦方、承辦部門、受訓學員、派出機構(gòu)等，實現(xiàn)對援外項目培訓效果的全方位觀測。因此，運用大數(shù)據(jù)的設(shè)備，如通過線上課程的錄制或者實錄教室的實時信息反饋，盡可能擴大過程性評價的收集范圍。大數(shù)據(jù)應用能夠一定程度上提升過程性評價的效率，一方面通過平臺課程或線上直播數(shù)據(jù)的整理、統(tǒng)計，學員過程性學習資料更全面，更好地為每位學員提供培訓指導。另一方面，信息技術(shù)的發(fā)展能夠?qū)⒏嘣u價主體納入，通過信息化手段獲取來自項目主管部門、參訓者派出機構(gòu)等的反饋評價。

大數(shù)據(jù)的數(shù)據(jù)監(jiān)測能夠?qū)崟r記錄和反饋學員培訓過程中的互動情況，通過不同角度、不同層面三角驗證學員的指標評價結(jié)果，指導援外培訓項目的開發(fā)更貼合學員需求，提升培訓項目質(zhì)量。數(shù)據(jù)平臺也能夠為授課講師、管理團隊提供自評標準，針對不同培訓項目、不同培訓階段、不同培訓對象進行自評，反思總結(jié)改進評價標準。

3.2 數(shù)據(jù)收集更多元，形成多維度評價標準Multi-dimensions

全面、系統(tǒng)、科學的援外培訓項目評價指標體系對提升培訓質(zhì)量起著至關(guān)重要的作用?；贑IPP模型，尹春潔等（2021）將援外培訓評價指標分為項目條件、項目準備、項目實施和項目效果四個大項，12個二級指標及32個三級指標，細致考查受訓學員在授課、管理兩部分的評價信息。針對培訓內(nèi)容的適配度、豐富度，授課講師的培訓方法、培訓手段等，輔以對管理人員的服務、信息溝通的及時性等已經(jīng)形成較為成熟的評價指標。但對國別化、個性化的學員反饋評價梳理得較少，多維度的評價標準可以監(jiān)測培訓前、培訓中、培訓后的各項活動開展情況，對培訓的前期調(diào)研、項目設(shè)計、課程開展、管理服務、后勤服務、訓后回訪等進行評價。

要確定評價標準的維度，需要從評價的目標、范圍、指標著手。明確援外培訓項目的目標和范圍，包括教學效果、管理服務、師生滿意度、社會影響等方面。同時，為每個評價指標設(shè)定相應的權(quán)重。這可以通過專家評估、層次分析等方法來確定。邀請相關(guān)領(lǐng)域的專家、項目主管、教師和學員參與權(quán)重的確定過程，確保權(quán)重的客觀性和可靠性。根據(jù)不同的權(quán)重組織成評價體系。評價體系應該是層次化的，包括一級指標和二級指標。一級指標代表評價體系的主要維度，二級指標則進一步細分一級指標。評價體系的設(shè)計應該合理、清晰，能夠全面、綜合地評估援外培訓項目的效果。

3.3 效果評價更具體，提升多模態(tài)評價內(nèi)容Multi-modes

大數(shù)據(jù)賦能評價方式的轉(zhuǎn)型能夠推進多模態(tài)數(shù)據(jù)的推進，便利學員后續(xù)培訓效果的跟蹤、調(diào)研。目前的學員的滿意度調(diào)查主要以問卷的形式收集，較少開展個人訪談、焦點小組的調(diào)研，因此形成定量與定性的分析難度較大。由于援外培訓項目的受訓學員相較其他教育對象比較特殊，為官員、專業(yè)人員等。線上培訓階段也很難開展筆試等評價手段，因此有效衡量培訓效果是援外培訓項目創(chuàng)新的重要環(huán)節(jié)。多模態(tài)評價內(nèi)容涵蓋了培訓過程中的數(shù)字資源的使用情況、培訓課程的視頻、音頻記錄等。此外，受訓學員的教學資源使用率、社交數(shù)據(jù)等能夠被捕捉到的數(shù)據(jù)都能夠印證學員的培訓效果。大數(shù)據(jù)平臺在采集、收集和存儲多模態(tài)評價內(nèi)容中都體現(xiàn)出其體量大、搜索便利等優(yōu)勢。

因此，結(jié)合現(xiàn)代技術(shù)手段和工具，例如使用視頻錄像、音頻記錄、學員自主制作的多媒體作品等，更直觀地展示學員的學習成果和能力發(fā)展，增加評價的準確性和可信度。

3.4 數(shù)據(jù)形式更充分，形成多渠道評價方式Multi-channels

大數(shù)據(jù)技術(shù)的發(fā)展能夠提供線上線下大規(guī)模、集成式的數(shù)據(jù)收集。傳統(tǒng)的評價表格，如問卷的填寫形式能夠?qū)崿F(xiàn)線上、線下的渠道填寫，課堂實錄資料、錄音資料、培訓資料的下載量、瀏覽時間等都可以通過大數(shù)據(jù)技術(shù)采集。大數(shù)據(jù)技術(shù)采集的數(shù)據(jù)有一定的優(yōu)勢：在時間上，連續(xù)性、全程、完整的培訓數(shù)據(jù)；在空間上，自然狀態(tài)的培訓狀態(tài)能夠被記錄。大數(shù)據(jù)支持下能夠借助數(shù)據(jù)分析軟件，根據(jù)具體的情況將多渠道數(shù)據(jù)進行關(guān)聯(lián)性分析，以證據(jù)鏈的方式展現(xiàn)受訓學員的發(fā)展，有利于形成受訓學員的個人學習檔案。

多渠道的數(shù)據(jù)收集便于數(shù)據(jù)整合和處理。利用數(shù)據(jù)分析軟件進行數(shù)據(jù)整理和關(guān)聯(lián)性分析，可以將學員的學習成果、教學效果、師生互動等不同數(shù)據(jù)進行關(guān)聯(lián)，形成更全面和準確的學員學習檔案。也可以利用數(shù)據(jù)分析工具和可視化技術(shù)對援外培訓項目的大數(shù)據(jù)進行分析和展示。通過數(shù)據(jù)分析算法和模型，提取出有價值的信息和洞察。將數(shù)據(jù)結(jié)果以可視化的方式呈現(xiàn)，如圖表、圖形、儀表盤等，使數(shù)據(jù)更易于理解和應用。

3.5 增值評價更豐富，打造多指標評價模型Multi-indicators

“大數(shù)據(jù)”之“大”不僅體現(xiàn)在體量上，更體現(xiàn)在數(shù)據(jù)內(nèi)部的相關(guān)性和復雜性。增值評價是一種基于大數(shù)據(jù)的發(fā)展性評價模式，通過對不同數(shù)據(jù)的處理，能夠通過評價模式轉(zhuǎn)型引領(lǐng)評價思路轉(zhuǎn)型。尋找數(shù)據(jù)之間的相關(guān)關(guān)系，發(fā)掘項目的研究重點、難點，突破實踐中產(chǎn)生的問題，拓寬援外培訓項目的研究思路，充分運用大數(shù)據(jù)分析培訓項目的發(fā)展方向、特色及效果等。在設(shè)計5M評價模式的評價指標的過程中，需要提前規(guī)劃、設(shè)計收集數(shù)據(jù)的可行性、延展性。5M評價模型涵蓋項目的完成度、國別化特色、學員滿意度及實踐轉(zhuǎn)化情況等，通過關(guān)聯(lián)性充分考慮援外培訓項目效果的影響因素分析。

由此，增強數(shù)據(jù)倫理概念有助于后續(xù)數(shù)據(jù)的使用、研究的發(fā)展。數(shù)據(jù)倫理要求在數(shù)據(jù)采集、分析等各個環(huán)節(jié)都必須合理合法，采集到的數(shù)據(jù)可用于項目反思、總結(jié)、研究、發(fā)表等，能夠保證項目研究工作的順利開展。

4 援外培訓項目5M評價模式的實現(xiàn)路徑

根據(jù)《中共中央關(guān)于制定國民經(jīng)濟和社會發(fā)展第十四個五年規(guī)劃和二〇三五年遠景目標的建議》的文件精神，大數(shù)據(jù)的重要功能被高度肯定，隨著數(shù)據(jù)治理和數(shù)據(jù)要素潛能的釋放，大數(shù)據(jù)與各行各業(yè)融合是符合發(fā)展的必然選擇。5M評價模式是大數(shù)據(jù)采集、存儲、統(tǒng)計、分析技術(shù)支持下改進培訓項目的評價技術(shù)手段，納入更多主體、實現(xiàn)更多評價指標的具體操作方式。設(shè)計實施大數(shù)據(jù)賦能援外培訓項目的評價轉(zhuǎn)型仍然需要明確其實現(xiàn)路徑。

4.1 強化數(shù)據(jù)思維，搭建采集平臺

大數(shù)據(jù)規(guī)模宏大、數(shù)據(jù)源廣闊，能開展全方位要素采集和全程性數(shù)據(jù)收集，準確反映援外培訓項目的變化趨勢，推動評價結(jié)果從經(jīng)驗型走向科學化。數(shù)據(jù)來源是培訓準備階段、實施階段、總結(jié)階段的各類材料。項目主管部門及承辦單位作為數(shù)據(jù)采集方，應當強化數(shù)據(jù)思維，明確數(shù)據(jù)收集的倫理程序，確保數(shù)據(jù)的適用范圍。項目主管部門發(fā)揮主導作用，依靠大數(shù)據(jù)技術(shù)，搭建數(shù)據(jù)采集平臺，指導承辦單位及時采集受訓學員的學習行為、過程數(shù)據(jù)，拓展培訓資源，加強訓后跟蹤指導，保留大量有助于培訓效果評價的有價值的數(shù)據(jù)信息。

4.2 改進評價指標，提升數(shù)據(jù)效用

大數(shù)據(jù)支持下的評價指標體系能夠兼顧過程性評價與終結(jié)性評價，將受訓學員的反應、學習、行為、滿意度、訓后實踐轉(zhuǎn)化等有機結(jié)合，形成更完善、更細致的援外培訓項目的評價依據(jù)。評價過程中，樣本容量的豐富度決定了評價的科學性。大數(shù)據(jù)采集能夠根據(jù)不同的評價指標匯集培訓過程中碎片化的信息，嘗試開展全樣本、全過程采集。盡管大數(shù)據(jù)的應用能夠擴大采集數(shù)據(jù)的范圍，但也應根據(jù)數(shù)據(jù)采集的必要性適當調(diào)整數(shù)據(jù)采集范圍。

改進健全援外項目評價指標體系，為充分挖掘大數(shù)據(jù)提供基礎(chǔ)。在評價指標的改進過程中，做好前期規(guī)劃，充分考慮數(shù)據(jù)間的相關(guān)性聯(lián)系能夠提高數(shù)據(jù)的效用，通過數(shù)據(jù)分析、問題診斷、反思改進等過程，將數(shù)據(jù)分析的主要結(jié)果落實在項目的創(chuàng)新、發(fā)展實踐中，逐步形成常態(tài)化機制。

4.3 完善數(shù)據(jù)保障，服務評價轉(zhuǎn)型

保障數(shù)據(jù)的安全性、科學性、標準化也是數(shù)據(jù)挖掘、分析、反思、改進的全過程順利實施的重要環(huán)節(jié)。要提升數(shù)據(jù)安全保障，首先要加強主管部門和承辦單位相關(guān)人員的信息化能力，通過宣傳、培訓等途徑加強各個主體對數(shù)據(jù)的重視。其次，通過對數(shù)據(jù)的挖掘、分析，開展進一步的研究工作，吸引更多的學者專家關(guān)注到援外項目的需求調(diào)研、創(chuàng)新發(fā)展等研究中來。最后，由于援外培訓項目國際化的特色，評價數(shù)據(jù)的倫理標準及合法化程序能夠加深國際合作，學習其他國家數(shù)據(jù)驅(qū)動教育評價的經(jīng)驗，提升評價數(shù)據(jù)的精準度。也通過國際科研合作，邀請不同國家的專家、學者共同關(guān)注援外培訓項目的發(fā)展，更好地服務援外項目的創(chuàng)新性、可持續(xù)發(fā)展。

5 結(jié)語

援外培訓項目的評價模式是項目的重要組成部分，對項目開展的效果做出評判。5M評價模式是大數(shù)據(jù)賦能援外培訓評價模式的創(chuàng)新探索。通過多元化主體評價Multi-subjects、多維度評價標準Multi-dimensions、多模態(tài)評價內(nèi)容Multi-modes、多渠道評價方式Multi-channels、多指標評價模型Multi-indicators的設(shè)計與實施，將信息化、智能化貫穿培訓的每個環(huán)節(jié)，充分挖掘培訓數(shù)據(jù)，強化數(shù)據(jù)思維，發(fā)揮導向、調(diào)控、反饋、創(chuàng)新等功能。

通過大數(shù)據(jù)技術(shù)的應用，援外培訓項目可以獲得全面而客觀的評價結(jié)果。大數(shù)據(jù)收集和整合多渠道的數(shù)據(jù)，從而減少主觀性和片面性的評價偏差，提供更準確的評估。同時，在數(shù)據(jù)倫理合法的情況下，實現(xiàn)實時監(jiān)測與反饋，教師和項目組織可以及時獲得學生的數(shù)據(jù)反饋，并根據(jù)評價結(jié)果提供指導和支持。大數(shù)據(jù)分析也能夠發(fā)現(xiàn)援外培訓項目的問題和優(yōu)化機會，為持續(xù)改進提供支持。大數(shù)據(jù)分析可以提供定量、定性的數(shù)據(jù)支持，用于評估援外培訓項目的效果和影響力，為項目的申報、開展和合作伙伴的選擇提供有力證據(jù)。通過提前規(guī)劃，挖掘、分析數(shù)據(jù)，為援外培訓項目的研究提供更廣闊的平臺，更好地服務職業(yè)教育國際化進程。

本文系2022年度寧波市職業(yè)教育“一帶一路”專項課題（2022YGHZJ018）：“‘一帶一路倡議下高職院校援外項目多元評價模式的構(gòu)建與研究——以寧波職業(yè)技術(shù)學院為例”；2022年浙江省教育科學規(guī)劃課題“后疫情時代來華留學生中國國家形象認同的提升機制研究——以寧波高校留學生為例”（2022SCG139）研究成果。

（作者單位：寧波職業(yè)技術(shù)學院國際交流合作處）