李艷燕　董笑男　李新　張媛

摘要：STEM教育因其融合多學科知識、培養(yǎng)創(chuàng)新精神和實踐能力的特點受到廣大研究者和實踐者的關注。當前國外真正聚焦到STEM教育質量評價并具有較強可操作性的研究較少，而國內(nèi)少量相關研究主要是介紹國外STEM教育評價的研究進展。嚴重缺乏成熟可行且適用于我國STEM教育發(fā)展的評價工具，很大程度上制約了我國STEM教育的可持續(xù)發(fā)展。經(jīng)過德爾菲法兩輪專家意見征詢以及層次分析法確定評價指標權重后構建的STEM教育教學質量評價工具，既綜合考慮了STEM的本質特征、已有STEM教育評價工具及指標維度，又直接聚焦于課堂教學，最終包含課堂環(huán)境、課程結構、教學內(nèi)容以及學生表現(xiàn)4個一級指標和22個二級指標。該指標體系形式與我國教育教學中教師所用的教研表、評課表等類似，有助于教師更好地理解與使用;且經(jīng)過初步試用，具有較高的信度，能夠比較全面地評價STEM教育中的各方面要素，有助于促進STEM教育的健康有序發(fā)展。

關鍵詞：STEM教育;質量評價;指標體系;德爾菲法;層次分析法

中圖分類號：G434? ?文獻標識碼：A? ? 文章編號：1009-5195（2020）02-0048-09? doi10.3969/j.issn.1009-5195.2020.02.006

*基金項目：北京市教育科學“十三五”規(guī)劃2016年度重點課題“STEM教育視角下中小學科學教學模式創(chuàng)新實踐研究”（CADA16038）。

作者簡介：李艷燕，博士，教授，博士生導師，北京師范大學智慧學習研究院（北京 100875）;董笑男（通訊作者），碩士，北大附中天津東麗湖學校（天津 300309）;李新，碩士，北京師范大學互聯(lián)網(wǎng)教育智能技術及應用國家工程實驗室（北京 100875）;張媛，碩士，國網(wǎng)大學國家電網(wǎng)公司高級培訓中心（北京? 100192）。

一、引言

科學技術與教育教學的深度融合促進了多樣化學習需求的快速增長，傳統(tǒng)教學模式與組織形式已無法滿足創(chuàng)造性與個性化的學習需求。STEM教育作為具有跨學科性、真實情境性、基于項目式學習等特征的新型教育模式，對培養(yǎng)學生的創(chuàng)新能力與核心素養(yǎng)，滿足學生的個性化學習需求等具有重要價值（余勝泉等，2015）。STEM教育實踐環(huán)節(jié)中，如何科學有效地評價STEM教育的教學效果已經(jīng)成為領域的研究重點。文獻分析發(fā)現(xiàn)，已有部分學者基于STEM教育系統(tǒng)及其特征等開發(fā)了STEM教育評價工具。如Lin等（2015）基于計算機理論模型以協(xié)同問題解決矩陣開發(fā)了評價學生協(xié)作問題解決能力的STEM評價系統(tǒng);Bicer等（2017）將STEM教育中科學與數(shù)學相結合，設計了評價高中生在STEM課堂中科學與數(shù)學成就的STEM教育評價指標體系。然而，這些研究大多只關注STEM課堂中的學生表現(xiàn)或教師教學等單一方面，缺乏對師生以及教學效果的整體評價。STEM教育評價作為促進STEM教育健康有序發(fā)展的關鍵，具有多元化、多角度、過程性、全方位等特征。開發(fā)適合我國STEM教育發(fā)展、符合國內(nèi)教學目標與教學理念的STEM教育評價工具，是當前我國STEM教育研究領域亟待解決的問題。本研究基于國內(nèi)外STEM教育評價工具、指標體系以及本質特征等，利用德爾菲法與層次分析法構建STEM教育質量評價體系，期望能為STEM教育評價提供支持，促進我國STEM教育的科學發(fā)展。

二、STEM教育評價綜述

1.國外STEM教育評價工具

評價工具與維度指標是評價STEM教育的關鍵。Kier等（2014）在職業(yè)意識背景下通過文獻分析、指標初選、量表測試、結構分析、驗證性因素分析以及生成量表6個步驟開發(fā)了用來評價中學生STEM職業(yè)興趣的STEM-CIS評價工具。Milner等（2014）采用5點李克特量表開發(fā)了評價學生STEM興趣以及自我效能感的測試工具。Harwell等（2015）在借鑒已有評價工具的基礎上，針對4～8年級的學生，開發(fā)了包含科學、數(shù)學、工程三大領域的7個課程模塊，用來評價STEM課程對學生學習概念影響的評價工具。實踐證明該評價工具可以為學校STEM課程開展提供借鑒意義。Corlu（2013）以STEM社區(qū)、STEM教育以及STEM評估因素為基礎，采用形成性、總結性、真實性和自我調(diào)節(jié)四種評價方式，開發(fā)了用來評價STEM教學實踐的高校STEM課程評價工具。研究發(fā)現(xiàn)該課程評價結果能夠有效促進STEM課程的高質量發(fā)展以及STEM教師的專業(yè)成長。此外，Lee等（2013）以5點李克特量表的形式開發(fā)了用來評價學生STEM概念發(fā)展情況的STEM教育評價工具——COSA（Conceptions of Science Assessment），該評價工具的評價維度包括前概念、學習影響、問題解決、批判性判斷等。Eddy等（2015）開發(fā)的幫助教師促進學生主動學習的STEM課堂觀察工具——主動學習評價量表（Practical Observation Rubric To Assess Active Learning，PORTAAL），包含教學實踐、邏輯、責任、減少負荷四個維度的21個觀察要點，可用于評價25節(jié)STEM課程。

系統(tǒng)梳理國外STEM教育評價工具（見表1），可以發(fā)現(xiàn)其主要評價對象聚焦在課堂、教師以及學生三方面，評價方法主要包括課堂觀察和問卷調(diào)查，評價內(nèi)容可以概括為課程內(nèi)容和教師教學兩方面。從研究方向和研究成果來看，國外在STEM教育評價方面開發(fā)了較多的評價工具，評價內(nèi)容也相對全面。其中UTOP（UTeach Observation Protocol）評價工具由美國國家自然科學基金會組織開發(fā)，是面向STEM教師培養(yǎng)、提升教師專業(yè)發(fā)展而開發(fā)的課堂觀察工具，關注教師是否考慮學生的前概念、教學設計，以及學生的學習投入，被廣泛應用于STEM教育評價（Gee，2008）。該評價體系包含27個評分要點，從教學實踐角度出發(fā)，涉及環(huán)境、課程、效果和內(nèi)容四個方面，具有較高的借鑒價值（Walkington et al.，2018）。但是UTOP工具是基于美國教育教學特征而開發(fā)的，主要適用于數(shù)學和自然科學兩門學科的教師，對課堂教學氛圍以及學生間的互動關注較少，在缺乏普適性的同時也忽略了對學生的關注與評價。

2.國內(nèi)STEM教育評價工具

與國外STEM教育評價研究相比，我國學者圍繞STEM教育的研究大多聚焦在STEM教學活動的設計、實踐以及教師專業(yè)發(fā)展等方面。關于STEM教育評價方面的研究，相關研究也僅是在介紹國外STEM教育評價的研究進展（曾寧等，2018）。從近兩年僅有的少數(shù)研究來看，樊雅琴等（2018）將小學生參與度劃分為認知參與度、情感參與度、行為參與度以及社交參與度四個維度，基于此來開發(fā)STEM學生參與度評價工具，并將年齡、性別等作為評價要素，根據(jù)評價結果提出項目式STEM教學中學生參與度的提高策略。吳忭等（2018）提出了利用認知網(wǎng)絡分析法對STEM教育開展評價的新思路。綜上可以看出，近年來我國雖然圍繞STEM教育理論、模式、應用實踐等進行了大量的探討，但是針對STEM教育評價的研究相對較少，而且僅有的相關研究大多數(shù)都在介紹美國、芬蘭等發(fā)達國家的STEM教育評價的實踐進展，缺乏成熟可行且適用于我國STEM教育發(fā)展的評價工具，這在很大程度上制約了我國STEM教育的可持續(xù)發(fā)展，因此亟待研發(fā)能夠滿足我國STEM教育發(fā)展需求的評價工具，推進我國STEM教育的健康有序發(fā)展。

三、STEM教育質量評價指標體系的設計與完善

1.評價指標體系設計

STEM教育質量評價指標的初步構建主要包括兩個步驟：一是對STEM教育本質特征進行分析，二是基于STEM教育特征以及對國內(nèi)外STEM教育評價工具的比較分析初步確定STEM教育質量評價指標體系。

（1）STEM教育特征分析

STEM教育是一種以真實問題解決為任務驅動、立足學習過程、多技術交叉融合的跨學科教育，以培養(yǎng)具有全面科學素養(yǎng)和創(chuàng)新實踐能力的人才為根本目標（秦瑾若等，2017）。余勝泉等（2015）將STEM教育的特征概括為跨學科、趣味性、體驗性、情境性、協(xié)作性、設計性、藝術性、實證性、技術增強性9個核心特征。本研究綜合余勝泉等的觀點，認為STEM教育具有跨學科性、真實情境性、基于項目的學習以及協(xié)作交流四個特征。

跨學科性?？鐚W科性是STEM教育區(qū)別于傳統(tǒng)教育的最大特征，是指教師不再將重點放在某個特定學科或者關注學科界限，而是將重心放在特定問題上，強調(diào)利用科學、技術、工程或數(shù)學等學科相互關聯(lián)的知識解決問題，實現(xiàn)跨越學科界限、從多學科知識綜合應用的角度提高學生解決實際問題能力的教育目標（余勝泉等，2015）。STEM的跨學科屬性倡導學生在多學科交叉中開展學習，不再僅關注某一個學科內(nèi)部的知識，而是強調(diào)不同學科之間的聯(lián)系及其相互影響。這樣不僅能夠提高學生各方面的素質與能力，同時也有利于避免教育教學中的重復性與單一性。

真實情境性。STEM教育強調(diào)知識是學習者通過與學習環(huán)境、生活案例相互建構的產(chǎn)物，而非來自教師等外部資源的灌輸，因此STEM教育的真實情境性主要體現(xiàn)在通過技術手段再現(xiàn)生活場景中的實際問題與真實案例來激發(fā)學生的學習興趣，刺激其回憶與之匹配的先前知識，在此基礎上建立新的知識體系。這有助于培養(yǎng)學生將所學知識進行情境化應用的能力，幫助學生理解和辨識不同情境的知識表現(xiàn)，進而根據(jù)所學知識與背景信息發(fā)現(xiàn)問題本質并靈活解決現(xiàn)實問題?？梢哉f，STEM教育的真實情境性不僅能使學生獲得知識，還能進一步掌握知識的社會性、情境性以及遷移運用的能力，進而培養(yǎng)其創(chuàng)新精神與動手能力。

基于項目的學習?；陧椖康膶W習（PBL）是較為典型的STEM教學模式，廣泛應用于STEM教學中。項目式學習活動一般包括問題提出、項目設計、工作計劃、作品展示以及反饋評價等環(huán)節(jié)，具體包括內(nèi)容、活動、情境以及結果，在真實生活情境中讓學生積極探索、決策，提升學生的綜合能力與科學素養(yǎng)。具體來看，基于項目的教學模式通常以問題提出為出發(fā)點，在此基礎上強調(diào)組建學習小組，進行合作探究，小組內(nèi)確定學習目標與小組分工，在協(xié)作探究中完成學習任務（李王偉等，2018），具有開放性、實踐性、可行性等特點。

協(xié)作交流。協(xié)作交流包括“協(xié)作”和“對話”兩個要素，“協(xié)作”是指學習者共同完成學習任務，“對話”是指學習者間的言語交流。STEM教育強調(diào)群體間的交流、協(xié)作以及共同完成知識建構的學習任務。STEM教育中涉及到的學習任務往往來自真實情境，大多數(shù)任務需要同伴或老師的協(xié)助才能完成，因此在任務完成過程中，學生以小組為單位，共同分析問題、收集資料、討論交流、展示成果等，強調(diào)學生間的協(xié)作交流，評價環(huán)節(jié)也著重考慮小組成員的共同表現(xiàn)和小組間的協(xié)作情況，而不是個人表現(xiàn)（余勝泉等，2015）。

（2）初步確定STEM教育質量評價指標

在STEM教育實際開展過程中，需要將形成性評價和總結性評價相結合，制定全面完備的評價工具，將學生的表現(xiàn)外顯為操作化的評價指標，從而對STEM課堂、教師、學生等進行全面評價。本研究主要參照UTOP評價工具的環(huán)境、課程、內(nèi)容評價維度，并在此基礎上從課堂環(huán)境、課程結構、教學內(nèi)容以及執(zhí)行效果四個方面進行評價。由于UTOP評價工具在普適性和關注學生成長等方面存在一定的局限性，因此本研究構建的STEM教育評價工具在借鑒UTOP評價工具優(yōu)勢的基礎上，兼顧了我國STEM教育的基本特征。其中跨學科性強調(diào)不同學科知識的交叉應用，全面提升學生的綜合素質，因此在教學內(nèi)容指標下強調(diào)了對課程內(nèi)容相關性、交互性等跨學科屬性的評價;真實情境性強調(diào)STEM教育知識體系來源于生活并應用于生活，因此在課程結構維度下突出課程探索、課程資源等二級指標，關注教師是否能夠基于生活實際情況提出探索性問題，以及教師是否能夠利用視頻、音頻、模型等工具展示生活化的教學內(nèi)容;基于項目的學習強調(diào)問題意識與小組間的協(xié)作，因此特意設計了執(zhí)行效果這一維度，具體包括明確問題、明確方案、創(chuàng)建模型、交流結果等二級指標，完全匹配基于項目的學習基本理念;協(xié)作交流強調(diào)學生間的合作探究精神，因此在執(zhí)行效果中強調(diào)考察學生的協(xié)作精神與交互性，并鼓勵小組進行展示匯報?；诖?，本研究初步設計了包含課堂環(huán)境、課程結構、教學內(nèi)容以及執(zhí)行效果4個一級指標維度以及28個二級指標的STEM教育質量評價指標體系（見表2）。

2.評價指標體系修訂

為了驗證評價指標的科學性以及可行性，研究采用德爾菲法，編制了專家意見征詢表，將維度重要性劃分為5個級別，選取20位STEM教育研究專家，采用發(fā)送郵件的方式進行意見征詢。意見征詢的專家分為三類：第一類，STEM教育標準研究專家，從理論研究的視角修訂評價指標體系;第二類，STEM教育教學研究專家，從教育教學的視角修訂評價指標體系;第三類，STEM教育實踐專家，從教學應用的視角修訂評價指標體系。20位最終提供意見的研究專家，既有來自高校和科研機構的教授，也有來自一線教學的高級教師。

（1）第一輪專家意見征詢

第一輪專家意見征詢的目的是征求專家對評價指標劃分、語言表述的意見，并對重要性進行打分。為了確保專家咨詢結果的可靠性，研究首先采用專家權威程度系數(shù)Cr對專家評分的可靠性進行分析，Cr的值取決于專家熟悉程度系數(shù)值Cs和所有判斷系數(shù)和Ca，當Cr>0.7時，說明信度較高。本研究Cr=0.825（Cr≥0.7）表明第一輪專家咨詢結果的可信度較高。專家們對于評價指標體系的反饋意見可以概括為“修改指標名稱”“修改指標表述”“增加/刪除指標”“指標從屬領域變更”四大類。具體修改情況為：刪除“A1課堂參與”，該指標與“課堂互動”重復;“A3課堂對話”改為“課堂指引”，突出教師的指導性;刪除“A4學生專注”，該指標不應在課堂環(huán)境維度下。“B1課程順序”改為“課程結構”，表述更加準確;“B2重點突出”移動到教學內(nèi)容維度，增加“課程設計”;“B6課程反思”改為“課程總結”，反思通過課堂觀察不易測量?！癈1意義”改為“教學意義”，表述更加準確;“C2水平流暢性”改為“教學表達”，表述更加專業(yè);“C3準確性”改為“教學準確”，表述更加準確;增加“重點突出”指標;“C7交互性”改為“跨學科性”;刪除“C4評價”“C5抽象”“C6相關性”“C8社會影響”?！癉1確定問題”改為“明確問題”，表述更加準確;“D2限定條件”改為“尋找限定條件”。與此同時，對各指標的具體表述進行了較為仔細的修改，使具體表述更加準確且通俗易懂。

（2）第二輪專家意見征詢

第二輪專家意見征詢的步驟與第一輪相同，繼續(xù)對第一輪修訂后的評價指標體系征詢專家意見。第二輪只有5位專家提出修改意見，主要集中在指標的描述上，建議指標表述更加清晰，避免指標之間的重復。主要對“D執(zhí)行效果”這一指標進行了重點修改，將其改為“學生表現(xiàn)”;并將“D1確定問題”改為“問題理解”，含義更加廣泛;將“D2限定條件”改為“活動探究”，更加有助于師生理解其含義;“D3明確方案”改為“方案設計”，表述更加準確;“D4創(chuàng)建模型”改為“模型創(chuàng)建”;“D6交流結果”改為“結果交流”，統(tǒng)一表述;“D7修改與再設計”改為“迭代設計”，表述更加準確專業(yè)。此外還對各指標的具體描述進行了修改，使其更加準確簡潔。

3.評價指標體系解讀

經(jīng)過兩輪德爾菲法，指標項平均值逐漸變大，變異系數(shù)逐漸縮小，表明指標項逐漸趨于合理，專家意見達成一致。在指標內(nèi)容層面，第一輪德爾菲法專家咨詢后，對指標的結構、維度和具體表述進行了調(diào)整與修改，形成了比較科學、標準的評價指標框架。在第一輪數(shù)據(jù)回收及專家意見的基礎上，第二輪專家咨詢數(shù)據(jù)均已達到標準水平，僅對少部分指標的描述、順序進行了調(diào)整與修改，以提升指標的準確性、科學性。綜上所述，經(jīng)過兩輪的德爾菲法專家咨詢后，本研究最終構建了包含4個一級指標、22個二級指標的STEM教育評價工具（見表3）。與國外STEM教育評價工具相比，本研究構建的STEM教育質量評價工具直接聚焦于課堂教學，涵蓋課堂物理環(huán)境、課程體系、教學內(nèi)容以及學生表現(xiàn)四個方面，能夠比較全面地評價STEM教育的課堂情況。此外，各級指標的設計以及指標項的說明等形式與我國教育教學中教師所用教研表、評課表等類似，有助于教師更好地理解與使用該評價工具。

課堂

環(huán)境＼&A1空間布局＼&STEM課堂物理環(huán)境舒適，座位布局能夠滿足學生STEM協(xié)作學習及實踐需求，具有合理性＼&A2 STEM設備＼&STEM課堂中含有各類科學、技術、工程、數(shù)學類教具、儀器等教學設備，能夠滿足學生開展STEM活動需求＼&A3教學引導＼&STEM課堂中，教師通過分析學生的對話與表現(xiàn)，能夠引導學生進行積極深入地思考與討論＼&A4課堂管理＼&教師能夠根據(jù)學生學習表現(xiàn)與效果，合理把控課堂進程，調(diào)整課堂內(nèi)容，創(chuàng)建良好的課堂環(huán)境＼&A5公平性＼&在STEM課堂中，教師對每個學生提供均等的學習機會＼&B

課程

結構＼&B1課程目標＼&STEM課程目標包含科學知識、科學探究、科學態(tài)度以及科學、技術、社會與環(huán)境目標，能夠促進學生的STEM知識、STEM素養(yǎng)以及培養(yǎng)學生解決實際生活中問題的能力＼&B2課程內(nèi)容＼&STEM課程內(nèi)容明確，能夠培養(yǎng)學生的STEM興趣與技能，學生有清晰的學習目標和學習成果＼&B3課程資源＼&視頻、音頻、模型、工具等課程資源豐富，學生能夠充分利用課程資源進行學習＼&B4課程評價＼&教師能夠根據(jù)學生的課堂表現(xiàn)與理解程度，合理對課程內(nèi)容進行評價與調(diào)整＼&B5課程總結＼&教師能夠在課程結束時，總結學生的課堂表現(xiàn)與學習成果，培養(yǎng)學生的創(chuàng)造性意識與提高學生的學習興趣＼&C

教學

內(nèi)容＼&C1教學價值＼&STEM教學內(nèi)容能夠培養(yǎng)與提高學生的科學、技術、工程、數(shù)學思維與素養(yǎng)，具有教學價值與意義，符合學生的認知發(fā)展水平＼&C2教學準確性＼&STEM教師對STEM概念的理解以及展示內(nèi)容具有準確性與科學性，對學生探究的指導有效且流暢＼&C3內(nèi)容跨學科性＼&STEM教學內(nèi)容不僅僅局限于單一學科，注重學科之間的聯(lián)系，全面培養(yǎng)學生的STEM素養(yǎng)，具有跨學科性＼&C4重點突出＼&有限的課堂時間內(nèi)，教師能夠突出重要的STEM教學內(nèi)容，教學重點突出＼&C5內(nèi)容連貫性＼&提問、測試、任務、作業(yè)等內(nèi)容與教學目標緊密結合，具有連貫性＼&D

學生

表現(xiàn)＼&D1問題理解＼&學生能夠在教師的指導下或協(xié)作學習中進行積極思考與討論，明確要解決的問題＼&D2活動探究＼&學生能夠積極思考或參與到小組活動中，根據(jù)探究問題尋找限定條件＼&D3方案設計＼&學生能夠通過思考與協(xié)作學習尋找解決問題的方案，并確定最佳方案＼&D4模型創(chuàng)建＼&學生能夠在教師預留的探究時間內(nèi)，積極思考創(chuàng)建模型＼&D5測試與檢驗＼&學生能夠利用以往的知識與經(jīng)驗收集信息與數(shù)據(jù)，開展多次試驗＼&D6結果交流＼&學生能夠將協(xié)作學習的成果進行展示與匯報，教師進行評價與總結＼&D7迭代設計＼&學生能夠根據(jù)教師意見、反饋，進行交流與迭代設計，完善設計方案＼&]

（1）課堂環(huán)境

課堂環(huán)境包含空間布局、STEM設備、教學引導、課堂管理、公平性5個二級指標。新興的學習技術和智能學習環(huán)境正逐漸融入STEM教育，基于項目的學習注重學習空間的建設。因此，本研究將空間布局、STEM設備作為評價課堂環(huán)境的重要指標。教師的教學引導、課堂有效管理以及是否為每位學生提供均等的學習機會，均會對課堂環(huán)境產(chǎn)生影響。

（2）課程結構

課程結構包含課程目標、課程內(nèi)容、課程資源、課程評價、課程總結5個二級指標。所謂課程結構，就是課程實施活動順利開展的依據(jù)，是課程各部分的協(xié)調(diào)與組織。在此維度下設立的評價指標能夠評價教師對課程目標的確定是否符合STEM教育培養(yǎng)目標，課程內(nèi)容是否符合學生的認知發(fā)展，以及教學資源是否應用得當?shù)取?/p>

（3）教學內(nèi)容

教學內(nèi)容包含教學價值、教學準確性、內(nèi)容跨學科性、重點突出、內(nèi)容連貫性5個二級指標。該維度重點評價教師的教學表現(xiàn)，其中教學價值是STEM教學內(nèi)容的基本要求，而教學準確性則體現(xiàn)了STEM教師的專業(yè)素養(yǎng)，是評價STEM教師的重要指標。內(nèi)容跨學科性、連貫性體現(xiàn)了STEM教師是否具有清晰的思路，以及對教學內(nèi)容的掌握情況和教學嚴謹性。重點突出是衡量教師能否在有限的時間內(nèi)，突出教學內(nèi)容的重點部分，評價教師對教學內(nèi)容的整體把握。

（4）學生表現(xiàn)

學生表現(xiàn)包含問題理解、活動探究、方案設計、模型創(chuàng)建、測試與檢驗、結果交流、迭代設計7個二級指標。學生表現(xiàn)是指學生在STEM課堂中的學習投入與情感體驗等。該維度下的指標項是對學生STEM活動表現(xiàn)的綜合評價，從協(xié)作學習中的表現(xiàn)到最終的成果展示均是對學生進行表現(xiàn)型評價，以更好地掌握學生的學習情況，為教師提供教學參考。

本研究在具體操作中將評價指標采用等級量表的形式劃分為A、B、C、D、E、F 6個評價等級，分別對應100分、80分、60分、40分、20分、0分。A等級表示完全符合指標評價標準;B等級表示符合指標評價標準;C等級表示較為符合指標評價標準;D等級表示一般符合評價評價標準;E等級表示不太符合指標評價標準;F等級表示完全不符合指標評價標準。評價者在進行評價時，只需根據(jù)指標項符合程度評定等級打分，之后根據(jù)等級值折合成分數(shù)，實行二次量化。

四、STEM教育質量評價指標體系權重計算

經(jīng)過兩輪專家意見征詢，評價指標體系最終由4個一級指標、22個二級指標以及具體說明構成。為了增加指標體系的可操作性，需要對指標權重進行計算。本研究利用層次分析法設計了AHP問卷，并采用群體決策的方式判斷指標權重，以避免指標權重的局限性與片面性。本研究以“在 STEM 研究領域中，理論與實踐經(jīng)驗豐富且研究時長為3年及以上”為標準，在德爾菲法專家咨詢名單中選取10位STEM教學經(jīng)驗豐富、擁有豐碩研究成果的專家參加層次分析法決策，共回收9份有效問卷，問卷回收率為90%。

1.指標權重值計算

針對回收后問卷，計算一級指標的相對重要程度。為了有效得出各級指標的相對權重值，本研究采用層次分析法軟件Yaahp 進行分析，通過一致性檢驗后，可得出各項評價指標最終權重值。表4為其中一位專家的相對重要程度的判斷矩陣。分析判斷矩陣能夠確定專家打分的一致性，將判斷矩陣的賦值進行2次歸一化處理，最終將得到一級指標的初始權重值。

2.指標一致性檢驗

研究采用指標的一致性CI值來檢驗評分結果是否具有一致性。在進行數(shù)據(jù)分析時，各專家的評分一致性均低于0.1，說明專家判斷結果具有內(nèi)部一致性，結果科學可行。研究使用 Yaahp層次分析軟件進行處理分析，不一致矩陣通過“判斷矩陣一致性自動調(diào)整”功能來實現(xiàn)。本研究在分析9位專家判斷矩陣一致性時，采用分別求出9個判斷矩陣的權重，再根據(jù)結果進行加權平均的方式進行處理，這種方法可以保存專家的原始意見，最終得出各個指標的權重值，其中一級指標的權重值如表5所示，二級指標的權重值文中不再呈現(xiàn)。

3.指標權重的確定

根據(jù)上述步驟，研究獲得了評價工具的一級指標、二級指標單層次的權重值。為了計算二級指標相對于總目標的權重，需要根據(jù)一級指標、二級指標相應權重計算各項指標的組合權重，最終計算結果如表6所示。

五、STEM教育質量評價指標體系試用

為更好地驗證評價工具的有效性和可信性，本研究邀請兩位 STEM 教育專家對北京市某小學二年級的兩堂 STEM 課進行試評，評價等級 A、B、C、D、E、F分別賦值 6、5、4、3、2、1，通過 Cronabach α系數(shù)檢驗評價工具可信度。在第一堂課 K1中，Cronabach α系數(shù)值為 0.8350>0.8，第二堂課K2中，Cronabach α系數(shù)值為 0.7240>0.6，說明在兩堂課的評價中，兩位評價者評分可信度較高。因此，本研究構建的STEM教育質量評價指標體系各指標內(nèi)部一致性較好，信度較高，評價結果具有較高的可信度。

在試用指標體系的同時，研究也收集了教師的反饋意見。從整體的評價維度來說，兩位教師一致認為該評價工具維度完整，能夠比較全面系統(tǒng)地評價 STEM 教育質量，各二級維度的具體指標內(nèi)容也比較全面，對于師生的評價比較豐富，符合 STEM 教育的特征。從具體評價指標來說，教師 A 認為有些評價指標在課堂觀察中難以判定，比如“課程總結”，不是通過一節(jié) STEM課就能觀測到的，建議對評價指標標準等級進行細化;教師 B 認為，雖然評價指標較為全面，但仍有部分反應STEM教學特色與特點的指標沒有囊括，建議在評價工具中補充“加分項”以及“評語欄”，評分者可以全面地表達自己的意見，凸顯每堂STEM課的特點。同時，教師可以在評價STEM課堂的基礎上，衍生出學生自評、小組互評等工具，也可將評價工具與學生學習單結合，開展多樣化評價。從工具整體性上來說，教師 B 認為該評價工具建立在STEM教學課堂基礎之上，評價工具較為完善，能夠對STEM課堂的發(fā)展水平，尤其是教師的教與學生的學進行觀察與量化。

六、總結

本研究通過對國內(nèi)外STEM教育評價工具的系統(tǒng)綜述，在分析STEM教育特征、評價方式、評價工具的基礎上，初步構建了STEM教育質量評價工具，并運用德爾菲法、層次分析法對指標的合理性、科學性進行優(yōu)化，最終形成一套可行的STEM教育質量評價工具。該評價工具包含課堂環(huán)境、課程結構、教學內(nèi)容、學生表現(xiàn)4個一級維度以及22個二級評價指標和指標項說明。從一級指標的權重來看，其權重順序很好地反映了指標維度的重要程度，與理論意義與實踐操作都較為契合。在各個二級分類指標中，內(nèi)容跨學科性、重點突出、模型創(chuàng)建、教學準確性、課程內(nèi)容排在指標項前5位，而這5項基本內(nèi)容正是STEM課堂教學的關鍵因素，也是進行STEM教育評價時最為關注的幾個方面，同時更是STEM教師應該具備的專業(yè)素養(yǎng)以及學生STEM活動的中心環(huán)節(jié)。

整體來看，該評價工具能夠較為全面地評價STEM教育中的各方面要素，同時也填補了我國STEM教育在評價方面的研究缺失，對我國STEM教育的科學評價具有重要的參考價值。但同時，本研究也存在一些不足。在初步應用評價工具時，選擇的評價樣本過少，評價課程單一、專家數(shù)量有限、未能開展大量的STEM教育評價，其信效度也只是從內(nèi)容以及評分者角度分析的，需要進一步地研究與驗證。接下來，為了更好地驗證評價工具的信效度，本研究將評價工具應用于STEM課堂教學中進行課堂觀察評價，實現(xiàn)對評價指標體系的迭代優(yōu)化，最終形成完整、成熟的STEM教育評價指標體系。

參考文獻：

[1]樊雅琴，周東岱，楊君輝等（2018）.項目式STEM教學中學生參與度測量研究[J].現(xiàn)代教育技術，28（1）：121-126.

[2]李王偉，徐曉東（2018）.作為一種學習方式存在的STEAM教育：路徑何為[J].電化教育研究， 39（9）：28-36.

[3]秦瑾若，傅鋼善（2017）.STEM教育：基于真實問題情景的跨學科式教育[J].中國電化教育， （4）：67-74.

[4]吳忭，王戈，盛海曦（2018）.認知網(wǎng)絡分析法：STEM教育中的學習評價新思路[J].遠程教育雜志， 36（6）：3-10.

[5]余勝泉，胡翔（2015）.STEM教育理念與跨學科整合模式[J].開放教育研究， 21（4）：13-22.

[6]曾寧，張寶輝，王群利（2018）.近十年國內(nèi)外STEM教育研究的對比分析——基于內(nèi)容分析法[J].現(xiàn)代遠距離教育， （5）：27-38.

[7]Bicer， A.， Capraro， R. M.， & Capraro， M. M. （2017）. Integrated STEM Assessment Model.[J]. Eurasia Journal of Mathematics Science & Technology Education， 13（7）：3959-3968.

[8]Corlu， M. S.（2013） . Insights into STEM Education Praxis： An Assessment Scheme for Course Syllabi[J]. Educational Sciences： Theory and Practice， 13（4）：1-9.

[9]Eddy， S. L.， Converse， M.， & Wenderoth， M. P.（2015）.Portaal： A Classroom Observation Tool Assessing Evidence-Based Teaching Practices for Active Learning in Large Science， Technology， Engineering， and Mathematics Classes[J]. CBE Life Sciences Education， 14（2）：14-23.

[10]Gee， J. P.（2008）. A Sociocultural Perspective on Opportunity to Learn[M]// Assessment， Equity， and Opportunity to Learn： Cambridge University Press： 76-108.

[11]Harwell， M.， Moreno， M.， & Phillips， A.， et al.（2015）. A Study of STEM Assessments in Engineering， Science， and Mathematics for Elementary and Middle School Students[J]. School Science and Mathematics，115（2）：66-74.

[12]Kier， M. W.， Blanchard， M. R.， & Osborne， J. W.， et al.（2014）. The Development of the STEM Career Interest Survey （STEM-CIS）[J]. Research in Science Education， 44（3）：461-481.

[13]Lee， M. H.， Lin， T. J.， & Tsai， C. C.（2013）. Proving or Improving Science Learning？ Understanding High School Students Conceptions of Science Assessment in Taiwan[J]. Science Education， 97（2）：244-270.

[14]Lin， K. Y.， Yu， K. C.， & Hsiao， H. S.， et al.（2015）. Design of an Assessment System for Collaborative Problem Solving in STEM Education[J]. Journal of Computers in Education， 2（3）：301-322.

[15]Milner， D. I.， Horan， J. J.， & Tracey， T. J. G. （2014）. Development and Evaluation of STEM Interest and Self-Efficacy Tests[J]. Journal of Career Assessment，22（4）： 642-653.

[16]Walkington， C.， & Marder， M.（2018）. Using the UTeach Observation Protocol （UTOP） to Understand the Quality of Mathematics Instruction[J]. Mathematics Education， （2）：1-13.

收稿日期 2019-12-25責任編輯 汪燕