李昱 郭廣軍
[摘要]以第一輪“雙高計劃”建設(shè)56所高水平學(xué)校463個典型案例為樣本,借助Nvivo12.0質(zhì)性研究軟件進(jìn)行文本內(nèi)容分析,全面梳理典型案例的內(nèi)在結(jié)構(gòu)、規(guī)范樣式、成效表現(xiàn)等基本問題,分析檢驗各建設(shè)單位的典型案例與實現(xiàn)預(yù)期建設(shè)目標(biāo)達(dá)成度。為全面做好“雙高計劃”建設(shè)成效評價工作,建議將典型案例評價作為成效評價的重要觀測點,進(jìn)一步提高典型案例在終期評價中的考核權(quán)重,進(jìn)一步明確典型案例的內(nèi)在結(jié)構(gòu)與評價標(biāo)準(zhǔn),進(jìn)一步重視典型案例的日??偨Y(jié)、培訓(xùn)與研究工作,進(jìn)一步加強(qiáng)典型案例社會影響力的宣傳推廣工作。
[關(guān)鍵詞]典型案例;“雙高計劃”;成效評價;質(zhì)性分析;56所高水平學(xué)校
[作者簡介]李昱(1989- ),女,湖南岳陽人,長沙民政職業(yè)技術(shù)學(xué)院高等職業(yè)教育研究所,助理研究員;郭廣軍(1971- ),男,湖南雙峰人,湖南省職業(yè)教育研究基地首席專家,長沙民政職業(yè)技術(shù)學(xué)院,教授,廈門大學(xué)教育研究院在讀博士。(湖南? 長沙? 410004)
[基金項目]本文系2023年度湖南省社會科學(xué)成果評審委員會課題“高質(zhì)量視域下‘雙高計劃’績效評價‘剛’與‘柔’并行路徑研究”(項目編號:XSP2023JYC084,項目主持人:李昱)和2020年度國家社會科學(xué)基金教育學(xué)一般課題“高等教育產(chǎn)教融合質(zhì)量協(xié)同治理體系研究”(項目編號:BJA200105,項目主持人:郭廣軍)的研究成果。
[中圖分類號]G717? ? [文獻(xiàn)標(biāo)識碼]A? ? [文章編號]1004-3985(2024)01-0050-08
中國特色高水平高職學(xué)校和專業(yè)建設(shè)計劃(以下簡稱“雙高計劃”)已開展四次績效評價工作。其中,要求“雙高計劃”建設(shè)各單位需提供5個左右反映學(xué)校和專業(yè)群建設(shè)任務(wù)的案例。典型案例既是完整、全面描述建設(shè)任務(wù)水平及成效的文本中介,也是兼顧過程與結(jié)果、定量與定性相結(jié)合的綜合評價手段。目前,第一輪“雙高計劃”建設(shè)已臨近終期驗收評價階段,評價重點將由績效評價轉(zhuǎn)向成效評價,由實踐走向?qū)嵭?,看“雙高計劃”建設(shè)特色經(jīng)驗與社會貢獻(xiàn)程度[1]。為此,運(yùn)用質(zhì)性研究方法,明確典型案例評價內(nèi)在結(jié)構(gòu)、規(guī)范樣式、成效表現(xiàn)等基本問題,對改善以往評價中“重量輕質(zhì)”現(xiàn)象,有效指導(dǎo)各建設(shè)單位及時總結(jié)、提煉創(chuàng)新舉措、主要做法,形成可供借鑒推廣的辦學(xué)經(jīng)驗與特色模式等具有積極指導(dǎo)意義。
一、問題提出
(一)典型案例在高等教育評價中已經(jīng)得到廣泛應(yīng)用
國內(nèi)外高等教育評價實踐中案例已是重要指標(biāo)之一。英國高等教育機(jī)構(gòu)研究質(zhì)量評估系統(tǒng)(Research Excellence Framework,REF)在2014年首次使用案例評價取代研究評估考核(Research Assessment Exercise,RAE)[2]。英國高等教育基金委員會認(rèn)為,案例可公平、恰當(dāng)?shù)胤从吃u價周期內(nèi)高??蒲薪ㄔO(shè)實力。澳大利亞卓越科研評估(Excellence in Research for Australia,ERA)在2018年基于分類評估理念進(jìn)一步完善典型案例在高??蒲杏绊懥υu價中的運(yùn)用,增加了高校與校外多方互動與合作能力、社會影響力等評價要素,并在全國范圍內(nèi)進(jìn)行第四輪評估,其結(jié)果也是政府對高校進(jìn)行科研資金分配的有力指揮棒。[3]
2016年我國在高等教育第四輪學(xué)科評估工作中已開始將典型案例納入評價體系,將“社會服務(wù)貢獻(xiàn)”指標(biāo)采取“寫實情況+代表性案例”的方式呈現(xiàn)。2020年教育部在《全國第五輪學(xué)科評估方案》中提出大力改革傳統(tǒng)的評價形式,克服“一把尺”評價的弊端,重視學(xué)科建設(shè)服務(wù)經(jīng)濟(jì)社會建設(shè)總體情況的典型做法與案例。這是深化新時代教育評價改革的具體要求,落實了全方位、全過程評價,體現(xiàn)了“質(zhì)量、成效、特色、貢獻(xiàn)”的價值導(dǎo)向[4]。同時,這對推動高校更加關(guān)注學(xué)科特色和內(nèi)涵建設(shè)、遵循教育規(guī)律、突出質(zhì)量導(dǎo)向,肯定不同地區(qū)、不同類型單位服務(wù)社會的特色與貢獻(xiàn)具有重要意義。
關(guān)于案例標(biāo)準(zhǔn)化評價理論框架,國內(nèi)學(xué)者朱軍文、邵玲芝指出,案例體例由基本信息、主要內(nèi)容、實際影響、證據(jù)支撐等要素構(gòu)成;案例內(nèi)容包括解決的問題及采取的關(guān)鍵舉措、最終結(jié)果等;案例成效及影響包括呈現(xiàn)形式、影響力范圍、受益群體等;案例證據(jù)及其來源包括以數(shù)據(jù)呈現(xiàn)的證據(jù)和寫實性證據(jù)。[5]
(二)典型案例在“雙高計劃”建設(shè)前半程評價中作用不明顯
“雙高計劃”建設(shè)成效評價中典型案例的作用包括:一是更好地發(fā)揮綜合評價的作用。避免過去重量輕質(zhì)、重結(jié)果輕過程的短板,加強(qiáng)定性文本描述與量化數(shù)據(jù)的結(jié)合,全面體現(xiàn)建設(shè)成效。二是更易于看到建設(shè)項目的軟性實力。通過案例文本內(nèi)容真切看到創(chuàng)新機(jī)制措施的實施過程,以及產(chǎn)出標(biāo)志性成果所帶來的良好社會效益和經(jīng)濟(jì)效益。三是更利于從“支撐、引領(lǐng)、推動”三個層面看建設(shè)實效[6],即通過典型案例的綜合描述,看各單位在支撐國家與地方經(jīng)濟(jì)社會發(fā)展需求、引領(lǐng)職業(yè)教育改革和人才培養(yǎng)等方面的建設(shè)成效。
事實上,在等級評價、評價問責(zé)機(jī)制下,典型案例在“雙高計劃”建設(shè)前半程評價中作用不明顯,仍以可量化評價為主,質(zhì)性評價不足,導(dǎo)致各級評價環(huán)節(jié)中“重量輕質(zhì)、單一化、同質(zhì)化”的問題依然存在。例如,現(xiàn)有評價體系中雖有典型案例,但僅在“數(shù)量”上有要求,未有標(biāo)準(zhǔn)化的評價規(guī)則或要求,對案例體例、框架、行文規(guī)范、范圍等未有明確規(guī)定。而且許多地區(qū)或建設(shè)單位時常忽略案例評價工作的審核把關(guān),導(dǎo)致案例質(zhì)量差、體例不科學(xué),以及特色經(jīng)驗做法、建設(shè)成效提煉水平不高。長此以往會使外部問責(zé)與自我發(fā)展的價值對立,類型多樣與標(biāo)準(zhǔn)統(tǒng)一的固有矛盾突出,量化指標(biāo)、評價碎片化與整體發(fā)展沖突[7]。
為此,“雙高計劃”建設(shè)后半程評價中需加強(qiáng)典型案例評價。本文明確典型案例評價內(nèi)涵與有效性觀測維度,運(yùn)用Nvivo12.0質(zhì)性研究軟件(以下簡稱Nvivo12.0)①,對56所高水平學(xué)校的典型案例內(nèi)在結(jié)構(gòu)、規(guī)范樣式、成效表現(xiàn)等基本問題進(jìn)行全面梳理;再結(jié)合綜合評價原則,提出完善案例評價相關(guān)建議,以切實發(fā)揮典型案例在“雙高計劃”建設(shè)成效評價中的作用。
二、研究方法
以《關(guān)于深化現(xiàn)代職業(yè)教育體系建設(shè)改革的意見》(以下簡稱《意見》)中“一體、兩翼、五重點”工作部署和首輪“雙高計劃”建設(shè)目標(biāo)為導(dǎo)向,[8]明確典型案例評價內(nèi)涵與有效性觀測維度,再通過Nvivo12.0進(jìn)行文本內(nèi)容分析。
(一)典型案例評價內(nèi)涵與有效性觀測維度
典型案例是“雙高計劃”建設(shè)單位開展的具有代表性、引領(lǐng)示范性工作成效的完整呈現(xiàn);是按照一定結(jié)構(gòu)要素闡述目標(biāo)任務(wù)的實施背景、典型做法或主要措施、建設(shè)成效、創(chuàng)新經(jīng)驗或結(jié)論啟示的“文字+數(shù)據(jù)+圖片”組合。[9]
典型案例不僅需要生動、精練的文字提煉,還要有一定的標(biāo)準(zhǔn)化結(jié)構(gòu),并作為案例評價的效度[10]。根據(jù)建設(shè)評價管理實踐,建議從以下三個維度進(jìn)行效度觀測:一是結(jié)構(gòu)化形式維度。典型案例闡述的是一項建設(shè)任務(wù)從低到高、從無到有不斷完善與發(fā)展的過程。在體例框架上需包含實施背景、革新舉措與做法、特色與亮點、成效與經(jīng)驗、反思與展望等;在案例文字上需精簡且有一定字?jǐn)?shù)要求,為體現(xiàn)真實性、觀賞性可按需嵌入量化數(shù)據(jù)與圖片等形式。二是主體內(nèi)容要素維度。典型案例是反映建設(shè)任務(wù)水平的主要部分。需按照構(gòu)建現(xiàn)代職業(yè)教育體系新要求和“雙高計劃”建設(shè)目標(biāo),突出高職院校主動適應(yīng)產(chǎn)業(yè)優(yōu)化升級、解決社會民生熱點問題、產(chǎn)科教融合、內(nèi)部治理機(jī)制創(chuàng)新等內(nèi)容,確保在同類院校中的引領(lǐng)性。三是形成可復(fù)制、可推廣的經(jīng)驗維度。典型案例是建設(shè)任務(wù)成效落地的文本中介,旨在充分展示發(fā)展實效,尤其是建設(shè)中形成“一批有效的職業(yè)教育高質(zhì)量發(fā)展政策、制度、標(biāo)準(zhǔn)”等,如國家及地方政府支持院校發(fā)展的具體做法,校企、校地共同辦學(xué)的政策制度、創(chuàng)新思路等,能夠?qū)ν愒盒0l(fā)展產(chǎn)生可復(fù)制、可參考的經(jīng)驗。
(二)研究樣本來源與清理
遵循示范性、引領(lǐng)性、推廣性原則,本研究以56所“雙高計劃”高水平學(xué)校在建設(shè)期間的463個典型案例為樣本來源。案例渠道主要來源于各建設(shè)單位的“雙高計劃”建設(shè)專題網(wǎng)站、現(xiàn)代高等職業(yè)技術(shù)教育網(wǎng)、《中國教育報》、學(xué)校官微等主流官網(wǎng)平臺。
為便于導(dǎo)入Nvivo12.0進(jìn)行內(nèi)容分析,所有案例文本根據(jù)“雙高計劃”建設(shè)監(jiān)測平臺典型案例填報要求,保留案例名稱、案例關(guān)鍵詞,統(tǒng)一案例結(jié)構(gòu),隱藏學(xué)校及姓名信息。正文字?jǐn)?shù)低于500字進(jìn)行樣本清理。經(jīng)同質(zhì)化和差異化的篩選過程,有2所學(xué)校僅收集到5個及以下典型案例,18所收集到6個,11所收集到7個,9所收集到8個,8所收集到9個,5所收集到10個,3所收集到11個及以上典型案例。56所高水平學(xué)校共獲得463個案例樣本,平均每個學(xué)校8.3個。
三、研究過程
本研究借助Nvivo12.0的詞頻、編碼、聚類、交叉分析四個主要功能對463個案例文本內(nèi)容進(jìn)行質(zhì)性分析。研究過程分為編碼過程和信效度檢驗兩個階段,其中編碼過程包括文本導(dǎo)入、建構(gòu)類目、分析主題、導(dǎo)出數(shù)據(jù)四個環(huán)節(jié)。
(一)編碼過程
1.文本導(dǎo)入。先通讀463個案例文本,并導(dǎo)入Nvivo12.0,通過詞頻分析功能來識別核心概念,標(biāo)記各類案例體例范式,對案例內(nèi)容與形式形成初步認(rèn)知。
2.建構(gòu)類目。依托Nvivo12.0構(gòu)建463個案例文本的類目體系。以“雙高計劃”建設(shè)任務(wù)為依據(jù),對每一案例文本進(jìn)行提煉、歸納并整合其特征和屬性,擬以“加強(qiáng)黨的建設(shè)、人才培養(yǎng)高地、創(chuàng)新科研服務(wù)平臺、高水平專業(yè)群、高水平雙師隊伍,校企合作水平、服務(wù)發(fā)展水平、現(xiàn)代治理水平、信息化水平、國際化水平”[11]作為一級條目。再根據(jù)一級條目相關(guān)屬性和特征,形成節(jié)點和參考點,生成子類目編碼過程。
3.分析主題?;趧?chuàng)建的十項一級條目進(jìn)行推論式分析。按照典型案例評價內(nèi)涵與效度做不同主題的文本內(nèi)容分析,如根據(jù)案例結(jié)構(gòu)推論出五項主題分類:任務(wù)實施背景與目標(biāo)、典型做法、主要成效、創(chuàng)新經(jīng)驗、下一步計劃與展望。分析過程是以每個一級條目的案例文本作為單元數(shù)據(jù)庫,依次進(jìn)行主題交叉分析、創(chuàng)建標(biāo)簽、形成節(jié)點。再將節(jié)點屬性和特征進(jìn)行逐級分析,設(shè)置參考點,通過聚類編碼的方式納入十個一級條目當(dāng)中。對于一個案例有多個屬性特征的可劃分至不同主題下,這需要根據(jù)文本內(nèi)容進(jìn)行推論,即一個案例文本可能同時被劃分在多個主題當(dāng)中。
4.導(dǎo)出數(shù)據(jù)。Nvivo12.0共有8種分類導(dǎo)出數(shù)據(jù)功能。本研究依據(jù)文本內(nèi)容分析的過程和要點,按文件列出的編碼匯總、案例節(jié)點,分類匯總導(dǎo)出數(shù)據(jù)進(jìn)行分析。
(二)信效度檢驗
案例編碼是基于屬性聚類的文本分析過程,是人為判定一個案例歸屬于某個單一領(lǐng)域類型,存在一定的主觀性和片面性,為此選取“雙高計劃”建設(shè)高水平學(xué)校A、B、C檔3類典型案例進(jìn)行有效性檢驗。同時,采取三角檢驗法②,即多人多角度進(jìn)行編碼類比,編碼過程中產(chǎn)生分歧先相互討論,若無法確定再咨詢專家建議,直至達(dá)成一致編碼意見。最后,本研究三組編碼人員,通過對研究結(jié)果的兩兩比較,運(yùn)行Nvivo12.0監(jiān)測功能,獲得編碼信度系數(shù)分別為93%、92%、95%,具有相對穩(wěn)定性和有效性。
四、研究結(jié)論
通過對56所“雙高計劃”高水平學(xué)校在建設(shè)期間的463個典型案例進(jìn)行編碼、歸類發(fā)現(xiàn),目前典型案例還難以真實、客觀地反映建設(shè)成效。
(一)典型案例并不能完全覆蓋或完整體現(xiàn)十項改革任務(wù)的建設(shè)目標(biāo)
運(yùn)用熱頻詞檢索功能,檢索出頻率最高的45個關(guān)鍵詞(包含同義詞在內(nèi)的3~5個字符),并通過聚類分析歸納至十項改革任務(wù)中,發(fā)現(xiàn)已有典型案例覆蓋面不完整、不均衡。而且各項改革任務(wù)的案例熱頻詞差異較大,占比從高至低依次為:人才培養(yǎng)高地(42.86%)、校企合作水平(35.71%)、創(chuàng)新科研服務(wù)平臺(25%)、高水平專業(yè)群(21.43%)、國際化水平(17.86%)、信息化水平(17.86%)、加強(qiáng)黨的建設(shè)(14.29%)、高水平“雙師”隊伍(14.29%)、現(xiàn)代治理水平(7.14%)、服務(wù)發(fā)展水平(3.57%)。
據(jù)Nvivo12.0詞語云統(tǒng)計情況看,“雙高計劃”建設(shè)十項改革任務(wù)是緊跟國家深化現(xiàn)代職業(yè)教育體系建設(shè)改革的發(fā)展步伐?!皵?shù)字化、信息化、互聯(lián)網(wǎng)、機(jī)器人、人工智能、有限公司、留學(xué)生、畢業(yè)生就業(yè)、一等獎、產(chǎn)業(yè)鏈、共同體、職業(yè)道德、現(xiàn)代化、國際化”等關(guān)鍵詞出現(xiàn)頻率較高。在人才培育,深化產(chǎn)教融合、校企合作,提升國際化水平等方面進(jìn)行了系列探索且形成了機(jī)制舉措與建設(shè)經(jīng)驗。但仍有不足之處,如現(xiàn)代治理水平(7.14%)和服務(wù)發(fā)展水平(3.57%)兩個一級條目典型案例比例偏少,與人才培養(yǎng)高地(42.86%)、校企合作水平(35.71%)等形成鮮明對比。而且這兩項任務(wù)的熱頻詞顯示,已有建設(shè)并不全面?,F(xiàn)代治理水平方面?zhèn)戎赜凇靶畔⒒芾怼薄敖∪裰鞴芾碇贫取钡葻犷l詞,而探索“混合所有制”“院系管理自主權(quán)”等方面改革難點缺乏介紹或提煉不足,項目內(nèi)部發(fā)展不平衡。服務(wù)發(fā)展水平方面的熱頻詞以“社會培訓(xùn)、職業(yè)培訓(xùn)、鄉(xiāng)村振興”為主,“服務(wù)中小企業(yè)”“產(chǎn)品升級”“成果轉(zhuǎn)化”等熱頻詞不多,可見,對切實提高企業(yè)生產(chǎn)效率,直接產(chǎn)生經(jīng)濟(jì)效益、社會效益方面的具體做法與經(jīng)驗提煉不多。
(二)典型案例完全沒有規(guī)范樣式的較少,但結(jié)構(gòu)要素不完整的較多
案例撰寫并沒有絕對統(tǒng)一標(biāo)準(zhǔn),但為了充分展現(xiàn)建設(shè)任務(wù)成效,不少學(xué)校對典型案例的內(nèi)在結(jié)構(gòu)有所要求,基本包括建設(shè)任務(wù)的實施背景、革新做法與舉措、成效與經(jīng)驗、反思與展望等要素。可仍有一些學(xué)校因未足夠重視或?qū)徍税殃P(guān)不嚴(yán),導(dǎo)致案例結(jié)構(gòu)單一或不完整。
56所高水平學(xué)校463個典型案例中,結(jié)構(gòu)要素完整的案例占案例總數(shù)的40.39%,占高水平學(xué)校總數(shù)的35.71%;有結(jié)構(gòu)要素但不完整的案例占案例總數(shù)的50.97%,占高水平學(xué)校總數(shù)的55.36%;完全無規(guī)范樣式的案例占案例總數(shù)的8.64%,占高水平學(xué)??倲?shù)的19.64%。其中,少數(shù)學(xué)校提供的典型案例中既有結(jié)構(gòu)完整的案例,也有結(jié)構(gòu)不完整的案例。
據(jù)編碼標(biāo)識的主題結(jié)構(gòu)統(tǒng)計,10個一級條目中,“人才培養(yǎng)高地”結(jié)構(gòu)要素完整的案例有41個,有結(jié)構(gòu)要素但不完整的案例有53個,完全無規(guī)范樣式的有9個;“校企合作水平”結(jié)構(gòu)要素完整的案例有18個,有結(jié)構(gòu)要素但不完整的案例有23個,完全無規(guī)范樣式的有8個;“創(chuàng)新科研服務(wù)平臺”結(jié)構(gòu)要素完整的案例有10個,有結(jié)構(gòu)要素但不完整的案例有26個,完全無規(guī)范樣式的有7個;“高水平專業(yè)群”結(jié)構(gòu)完整的案例有7個,有結(jié)構(gòu)但不完整的案例有58個,完全無規(guī)范樣式的有4個;“國際化水平”結(jié)構(gòu)要素完整的案例有25個,有結(jié)構(gòu)要素但不完整的案例有27個,完全無規(guī)范樣式的有5個;“信息化水平”結(jié)構(gòu)要素完整的案例有14個,有結(jié)構(gòu)要素但不完整的案例有19個,完全無規(guī)范樣式的有2個;“加強(qiáng)黨的建設(shè)”結(jié)構(gòu)要素完整的案例有13個,有結(jié)構(gòu)要素但不完整的案例有32個,完全無規(guī)范樣式的有6個;“高水平雙師隊伍”結(jié)構(gòu)要素完整的案例有2個,有結(jié)構(gòu)要素但不完整的案例有15個,完全無規(guī)范樣式的有5個;“現(xiàn)代治理水平”結(jié)構(gòu)要素完整的案例有3個,有結(jié)構(gòu)要素但不完整的案例有12個,完全無規(guī)范樣式的有3個;“服務(wù)發(fā)展水平”結(jié)構(gòu)完整的案例有2個,有結(jié)構(gòu)但不完整的案例有11個,完全無規(guī)范樣式的有3個。比較而言,國際化水平、信息化水平等項目的典型案例內(nèi)容結(jié)構(gòu)要素完整度較高;高水平“雙師”隊伍項目的典型案例內(nèi)容結(jié)構(gòu)要素明顯不齊,將教師隊伍建設(shè)與能力提升的典型案例寫成教師個人成果或履歷介紹的情況仍然存在。
(三)典型案例經(jīng)驗分享與成效表現(xiàn)力度明顯不充分
典型案例是各建設(shè)單位充分展現(xiàn)“支撐、引領(lǐng)、推動”三個層面的經(jīng)驗分享與主要成效的重要載體。依據(jù)內(nèi)容文本分析要求,一是清晰表明經(jīng)驗總結(jié)、實際成效的獲益領(lǐng)域,建立自由節(jié)點;二是明確獲益領(lǐng)域內(nèi)可產(chǎn)生的影響范疇,建立參考點。一般而言,每一典型案例都有明確獲益領(lǐng)域及其實際影響范疇,也有一些案例可以指向多個獲益領(lǐng)域,同時在多個范疇內(nèi)產(chǎn)生實際影響(詳見下頁表1)。
從案例文本分析情況看,56所高水平學(xué)校的建設(shè)改革任務(wù)的工作重點與方向(獲益領(lǐng)域)均有明確所指,每一個獲益領(lǐng)域的實際影響范疇也有一個或多個,而且范疇內(nèi)的側(cè)重點也有所不同。
典型案例呈現(xiàn)出的經(jīng)驗做法、主要成效及社會貢獻(xiàn)是評價案例質(zhì)量的關(guān)鍵[12]。從案例文本內(nèi)容上看,部分學(xué)校離“雙高計劃”建設(shè)目標(biāo)的要求還有一定差距,如建設(shè)“高水平專業(yè)群”目的在于立足國家及地方經(jīng)濟(jì)需求,優(yōu)化專業(yè)(群)建設(shè),推動產(chǎn)業(yè)布局協(xié)調(diào)發(fā)展,但75.5%的案例參考點中這部分描述并不明顯。專業(yè)群建設(shè)視角多停留在專業(yè)群內(nèi)部發(fā)展、服務(wù)面向單一,沒有體現(xiàn)校內(nèi)正在建設(shè)的專業(yè)群是如何帶動和輻射其他專業(yè)發(fā)展,更沒有體現(xiàn)校際之間、政校行企之間的合作共建模式探索。因此,“高水平專業(yè)群”建設(shè)難以全面覆蓋或服務(wù)某一產(chǎn)業(yè)鏈,暫達(dá)不到立足國家及區(qū)域經(jīng)濟(jì)社會發(fā)展需要的站位高度。
部分學(xué)校在陳述主要成效時,喜歡以獲得可量化的成果數(shù)為其顯著成效。在463個案例中,有417個案例有用到量化數(shù)據(jù)來驗證案例主題成效表現(xiàn),占比90.06%,其中羅列師生競賽獲獎、各級各類榮譽(yù)稱號、論文課題項目、專利著作、基地或中心等量化成果最為常見。例如,“創(chuàng)新科研服務(wù)平臺”中創(chuàng)新科研體制機(jī)制、共建科研創(chuàng)新平臺和科研創(chuàng)新中心雖然有85.2%的案例參考點,但其中對于技術(shù)創(chuàng)新平臺的運(yùn)行管理體制,聯(lián)合政校行企開展科技攻關(guān)、技術(shù)服務(wù)、科研項目的機(jī)制舉措等內(nèi)涵建設(shè)經(jīng)驗描述并不多,多數(shù)陳述與企業(yè)共建或自建多少個科研中心等。這些數(shù)據(jù)可以反映建設(shè)任務(wù)的完成情況,但對任務(wù)完成后的院校影響力、社會成效、下一步思考等展望性內(nèi)容欠缺提煉,難以形成向外推廣、學(xué)習(xí)參考的經(jīng)驗。
五、反思與改進(jìn)
為全面做好“雙高計劃”建設(shè)成效評價工作,建議將典型案例評價作為成效評價的重要觀測點,突出各項目建設(shè)的特色經(jīng)驗做法、社會貢獻(xiàn)度及影響力。
1.進(jìn)一步提高典型案例在終期評價中的考核權(quán)重。根據(jù)《意見》要求,統(tǒng)籌部署第一輪“雙高計劃”建設(shè)終期驗收工作,落實定量與定性相結(jié)合的綜合評價原則,推進(jìn)引領(lǐng)職業(yè)教育“雙高計劃”建設(shè)項目出成效。建議通過研制《“雙高計劃”建設(shè)成效評價典型案例實施細(xì)則或方案》,明確評價范圍與要求,切實提高典型案例權(quán)重。
一是擴(kuò)大重點項目典型案例的權(quán)重占比。以往典型案例對應(yīng)的建設(shè)任務(wù)、數(shù)量、字?jǐn)?shù)均是統(tǒng)一要求、但未納入考評要素。根據(jù)“一體、兩翼、五重點”工作部署,評價中要對典型案例對應(yīng)的建設(shè)任務(wù)、數(shù)量進(jìn)行權(quán)重劃分。例如,擴(kuò)大“現(xiàn)代治理水平、高水平雙師隊伍、服務(wù)發(fā)展水平、國際化水平”重點任務(wù)的典型案例占比,有利于形成各單位在提升學(xué)校關(guān)鍵辦學(xué)能力等方面的典型案例。當(dāng)然,十項改革任務(wù)建設(shè)成效的典型案例都要有一定數(shù)量要求,并對其合理性進(jìn)行加權(quán)分?jǐn)?shù)賦值,允許重點任務(wù)提交多個層面和視角的案例,觀測其建設(shè)成效真實落地情況,對于其他任務(wù)則提交最能反映建設(shè)成效的1~2個案例進(jìn)行觀測。二是擴(kuò)大典型案例規(guī)范樣式的權(quán)重占比。典型案例要突出重點、看到成效,則需有一個完整體例框架,建議對案例規(guī)范樣式予以相應(yīng)分值占比。例如,對結(jié)構(gòu)要素完整的案例賦全部分值,對有結(jié)構(gòu)要素但不完整的案例賦85%的分值,對完全無規(guī)范樣式的案例賦50%及以下的分值。三是擴(kuò)大典型案例建設(shè)過程做法的權(quán)重占比。加強(qiáng)過程評價,關(guān)注典型案例中解決難點、堵點的具體做法、經(jīng)驗總結(jié)的評價維度,而不是把重點放在介紹產(chǎn)出多少成果或榮譽(yù)上。建議案例撰寫時按照2∶5∶3的篇幅介紹項目建設(shè)情況,即20%用于介紹項目實施背景與存在問題,50%用于介紹解決問題的過程做法、經(jīng)驗、創(chuàng)新機(jī)制舉措等,30%用于提煉建設(shè)成果的社會影響力和對經(jīng)濟(jì)社會發(fā)展的實際貢獻(xiàn)。同時,對案例文字語言精練度、“文字+圖片+數(shù)據(jù)”等多個組合成效證據(jù)鏈進(jìn)行加權(quán)賦分。
2.進(jìn)一步明確典型案例的內(nèi)在結(jié)構(gòu)與評價標(biāo)準(zhǔn)。目前,典型案例的內(nèi)在結(jié)構(gòu)與評價標(biāo)準(zhǔn)還未形成統(tǒng)一共識,本研究基于Nvivo12.0質(zhì)性分析結(jié)果,建議在進(jìn)行案例成效評價時需考慮以下兩點因素:
一是典型案例聚焦任務(wù)、主題不宜過多,內(nèi)在結(jié)構(gòu)不宜復(fù)雜。有的案例所聚焦領(lǐng)域包括了十項建設(shè)任務(wù),每一任務(wù)一段文字,建設(shè)做法、舉措均無法完整概述,且相互之間的關(guān)聯(lián)性不大,難以看出其在“支撐、引領(lǐng)、推動”發(fā)揮了何種作用,沒有體現(xiàn)項目建設(shè)服務(wù)地方經(jīng)濟(jì)社會發(fā)展、助力行業(yè)產(chǎn)業(yè)發(fā)展和“職教出?!钡确矫娴木唧w經(jīng)驗做法。建議一個案例緊扣一項任務(wù)深入提煉,切入點更聚焦,更易于厘清工作思路。典型案例的內(nèi)在結(jié)構(gòu)有其基本范式,不宜復(fù)雜。根據(jù)Nvivo12.0分析,建議學(xué)習(xí)其中20所學(xué)校提供的187個案例,具備完整規(guī)范樣式,主要分為三段式、四段式、五段式,基本模塊包括建設(shè)背景、典型做法、特色與亮點(反思與啟示)等。二是“雙高計劃”建設(shè)目標(biāo)是典型案例成效評價的根本標(biāo)準(zhǔn)。從案例展示的獲益領(lǐng)域和實際影響范疇上看,對標(biāo)“雙高計劃”建設(shè)目標(biāo)和《意見》要求,一些項目聚焦領(lǐng)域有所偏離或避重就輕。例如,“創(chuàng)新科研服務(wù)平臺”中對如何助力企業(yè)解決生產(chǎn)技術(shù)難題、提高生產(chǎn)效率、創(chuàng)造經(jīng)濟(jì)效益的建設(shè)舉措描述不多,且缺乏具體事例支撐,社會貢獻(xiàn)度表述并不突出;“高水平雙師隊伍”中對教師分類分層評價體系改革相關(guān)的制度建設(shè)與激勵機(jī)制創(chuàng)新描述不夠。建議緊扣深化現(xiàn)代化職業(yè)教育體系建設(shè)改革的目標(biāo),思考由“點”到“面”的典型案例成效表現(xiàn),如某項標(biāo)志性成果背后的機(jī)制創(chuàng)新做法與經(jīng)驗;某項決策咨詢建議被有關(guān)主管部門采納,得到相關(guān)行業(yè)、企業(yè)的社會認(rèn)可;某項教學(xué)或科研成果起到地方區(qū)域性示范引領(lǐng)作用;某項發(fā)明專利、科技成果為企業(yè)帶來一定的社會效益和經(jīng)濟(jì)效益;某項理論研究成果的引用率高,輻射學(xué)科、專業(yè)發(fā)展;某項建設(shè)成果被主流媒體爭相報道,得到兄弟院校的借鑒與應(yīng)用實踐。
3.進(jìn)一步重視典型案例的日??偨Y(jié)、培訓(xùn)與研究工作。第一輪“雙高計劃”建設(shè)已進(jìn)入收尾階段,及時提煉建設(shè)經(jīng)驗、主要做法與成效有助于做好“回頭看”“向前看”的各項工作。
一是建設(shè)與提煉總結(jié)同步落實。據(jù)悉一些高職院校在建設(shè)過程中已經(jīng)產(chǎn)生了不少可供借鑒、可供復(fù)制的產(chǎn)教融合、科教融匯的經(jīng)驗做法、創(chuàng)新機(jī)制,但因沒有及時提煉、歸納總結(jié),行之有效的經(jīng)驗未能形成典型。為此,建議提高認(rèn)識、站位高遠(yuǎn),在日常工作中主動發(fā)現(xiàn)建設(shè)亮點、特色,及時反思與總結(jié),對做得好的項目要能敏銳察覺到可以形成案例的切入點,尤其是在引領(lǐng)職業(yè)教育發(fā)展、推動區(qū)域經(jīng)濟(jì)社會發(fā)展、加快產(chǎn)業(yè)轉(zhuǎn)型升級、提升國際影響力等方面的突出貢獻(xiàn)與成效。二是加強(qiáng)重點項目的案例培訓(xùn)與研究工作。建議由院校統(tǒng)籌,在年度教學(xué)工作目標(biāo)考核管理辦法中設(shè)置“雙高計劃”典型案例成效評選、培訓(xùn)、研究的項目機(jī)制。以項目促案例,注重過程引導(dǎo)、方法指導(dǎo),定期組織專家指導(dǎo)與培訓(xùn)。系統(tǒng)分析黨的二十大以后國家對于深化現(xiàn)代化職業(yè)教育體系建設(shè)改革提出的新政策,把握新動向、新要求,將研究心得貫徹落實到典型案例成效總結(jié)與評價工作當(dāng)中。
4.進(jìn)一步加強(qiáng)典型案例社會影響力的宣傳推廣工作。面對社會“低看”職業(yè)教育的現(xiàn)象,讓社會大眾多渠道、多形式、多視角地了解職業(yè)教育這幾年的發(fā)展成效,加大典型案例的宣傳推廣是一件非常有意義的事情。目前56所高水平學(xué)校中,有專門進(jìn)行“雙高計劃”建設(shè)典型案例宣傳推廣活動的院校。例如,深圳信息職業(yè)技術(shù)學(xué)院、順德職業(yè)技術(shù)學(xué)院、楊凌職業(yè)技術(shù)學(xué)院、南京信息職業(yè)技術(shù)學(xué)院在學(xué)校官網(wǎng)中設(shè)置專欄對典型案例進(jìn)行專題介紹,或在學(xué)校微信公眾號中做典型案例宣傳推廣活動。金華職業(yè)技術(shù)學(xué)院、浙江金融職業(yè)技術(shù)學(xué)院、長沙民政職業(yè)技術(shù)學(xué)院在《中國教育報》、現(xiàn)代高等職業(yè)技術(shù)教育網(wǎng)等官方媒體平臺進(jìn)行建設(shè)典型案例宣傳報道。為此,建議各建設(shè)單位以積極宣傳推廣“雙高計劃”建設(shè)典型案例為契機(jī),承擔(dān)起提升職業(yè)教育形象的重要使命。
一是采取形式多樣的宣傳方式,建立典型案例宣傳推廣機(jī)制。加強(qiáng)正式與非正式相結(jié)合的形式,除媒體報道、職業(yè)教育活動周外,廣泛開展社區(qū)宣傳、企業(yè)推廣活動等,讓學(xué)校各項目建設(shè)成果、成效案例走進(jìn)人民心中。同時,加強(qiáng)典型案例文本匯編工作,可將五年建設(shè)期內(nèi)的典型案例匯編成集并作為出版物向全社會發(fā)行。二是宣傳推廣重點工作典型案例,擴(kuò)大“雙高計劃”建設(shè)的社會影響力。目前,國家正在積極營造崇尚技能、尊重技能、成就技能的良好社會氛圍?!半p高計劃”建設(shè)單位需緊跟步伐,充分挖掘《意見》中五項重點工作的顯著成果、主要成效,結(jié)合社會對職業(yè)教育發(fā)展的殷切期盼,加強(qiáng)宣傳推廣,將提升關(guān)鍵辦學(xué)能力方面的主要做法、舉措、經(jīng)驗廣而告之,改變社會對職業(yè)教育的偏見,擴(kuò)大“雙高計劃”建設(shè)的社會影響力。
[注釋]
①Nvivo12.0軟件是一款以編碼為基礎(chǔ)(Code-Based)的質(zhì)性分析軟件,可協(xié)助研究者處理非結(jié)構(gòu)化、零散性的內(nèi)容文本材料。該軟件可對大量文本內(nèi)容進(jìn)行標(biāo)識、檢索、注釋、詞頻或文本查詢、聚類分類等編碼過程,通過代碼節(jié)點對已編碼的文本進(jìn)行矩陣和交叉分析,編碼結(jié)果可按照節(jié)點分類、編碼結(jié)構(gòu)、代碼匯總、文件匯總及分類等形式輸出。
②三角檢驗法是質(zhì)性研究中保證信效度的常用方法,它的主要特點是采用兩種或兩種以上的研究策略來驗證同一性。在本文中主要是通過找不同研究者進(jìn)行同一工作,比較不同來源下的研究結(jié)論,以確定它們是否相互證實、了解結(jié)論的真實性和多面性。
[參考文獻(xiàn)]
[1]劉曉.“雙高計劃”后半程:怎么建?怎么評?[N].中國教育報,2023-03-14(5).
[2]Bandola-Gill J,Smith K E.Governing by narratives:REF impact case studies and restrictive storytelling in performance measurement[J].Studies in Higher Education,2022(9):1857-1871.
[3]ARC.EI 2018 Framework[EB/OL].(2018-05-16)[2023-06-22].https://www.arc.gov.au/engagement-and-impact-assessment/ei-key-documents.
[4]王軍.高職院校實施代表性成果評價的內(nèi)涵特征、實然困境與紓困之策[J].教育與職業(yè),2021(20):53-57.
[5]朱軍文,邵玲芝.高等教育評價中的案例指標(biāo)及其標(biāo)準(zhǔn)化[J].高等教育研究,2021(1):33-38.
[6]陳正江.“雙高計劃”建設(shè)案例:從政策到實踐[J].開發(fā)區(qū)職教發(fā)展研究,2022(4):6-15.
[7]陳子季.深化現(xiàn)代職業(yè)教育體系建設(shè)改革,不斷優(yōu)化職業(yè)教育類型定位[J].中國職業(yè)技術(shù)教育,2023(1):8-13.
[8]劉曉,錢鑒楠.“雙高計劃”中期建設(shè)績效與評價的若干思考[J].中國高教研究,2023(3):84-90.
[9]楊院,劉文君.“雙高計劃”績效評價的時代價值、體系解析與發(fā)展展望[J].職業(yè)技術(shù)教育,2022(27):8-11.
[10]朱軍文,邵玲芝.“雙一流”建設(shè)成效評價中案例指標(biāo)的特征、問題與反思[J].教育研究,2022(12):91-100.
[11]周建松,陳正江.基于“雙高”績效管理的高職教育高質(zhì)量發(fā)展研究[J].江蘇高教,2021(11):28-32.
[12]任占營.新時代深化職業(yè)教育評價改革的現(xiàn)實意義、政策路徑和成效表征[J].職教論壇,2021(8):14-20.