龍 璇 段 斌,2 柯其聰

基于學情混雜控制的課程質(zhì)量評價持續(xù)改進模式研究

龍 璇1段 斌1,2柯其聰1

（1. 湘潭大學自動化與電子信息學院，湖南 湘潭 411105；2. 湘潭大學專業(yè)認證指導中心，湖南 湘潭 411105）

持續(xù)改進能長期監(jiān)測和提高高校的教學質(zhì)量，如何基于評價結(jié)果進行科學有效的課程教學持續(xù)改進已經(jīng)成為當下的熱點課題。本文引入因果推斷科學的“后門調(diào)整法”，分析了學情混雜控制對于教學因果推斷具有的重要作用，從機理上解釋了為什么需要加強包括學習動機、策略、情感、態(tài)度和價值觀等多元化內(nèi)容的過程性評價，提出了基于學情混雜控制的持續(xù)改進模式。首先基于多元化評價內(nèi)容分析存在的學情混雜因子，構(gòu)建課程教學因果圖，并引入后門調(diào)整法控制混雜變量，計算教學方法對學習成果的因果效應；其次，提出消除混雜干擾的改進措施，并通過因果圖分析改進的理由以及干預效果；最后，在教學中進行實施，并依據(jù)新的評價結(jié)果制定未來改進計劃。實踐結(jié)果表明該模式具有科學性和有效性。

課程質(zhì)量評價；持續(xù)改進；過程性評價；因果推斷；后門調(diào)整法

0 引言

工程教育專業(yè)認證是提高人才培養(yǎng)質(zhì)量、推動教育改革的重要途徑，其倡導以學生為中心、產(chǎn)出導向（outcome-based education, OBE）、持續(xù)改進的基本理念。中國工程教育專業(yè)認證標準第4.1條標準項要求建立教學過程質(zhì)量監(jiān)控機制，定期開展課程質(zhì)量評價[1]，指導書要求自評報告的“持續(xù)改進”部分提供2門課程的課程目標達成情況評價報告[2]。評價不僅是為了反映學生的學習效果，也是實現(xiàn)教學持續(xù)改進的關(guān)鍵反饋信息[3]。美國工程技術(shù)評審委員會（ABET）專業(yè)認證標準自評報告指導書要求：在持續(xù)改進環(huán)節(jié)描述上一年的改進建議如何用作持續(xù)改進的輸入；對改進情況進行評估，無論是否有效，都應描述更改的結(jié)果；根據(jù)最近的評估為下一次課程提供改進建議；為每一個改進計劃提供簡要的理由，指出改進的動機[4]。

在傳統(tǒng)教學中，課程設計缺少個性化和針對性，常與學生實際需求和發(fā)展意向相偏離[5]。同時，常規(guī)的改進過程具有較強的主觀性、隨機性，需要引入更加科學先進的方法進行指導[6-7]。因果推斷近年來得到快速發(fā)展，在生物醫(yī)學、經(jīng)濟學等領(lǐng)域獲得廣泛應用[8-10]。Judea Pearl教授提出因果圖模型，將科學、知識、數(shù)據(jù)等概念納入到一個具體的背景框架[11]。通過構(gòu)建課程教學因果圖，能更深刻地認識教學方法與學習成果之間的內(nèi)在聯(lián)系，消除混雜偏誤，從而科學有效地進行課程教學的持續(xù)改進。

本文提出基于學情混雜控制的持續(xù)改進模式，以某高校通信工程專業(yè)開設的“信息安全”課程為例，首先通過多元化評價內(nèi)容，挖掘出初始績點和發(fā)展預期這兩個混雜因子，并進行分層分析；然后構(gòu)建因果圖，引入后門調(diào)整法控制混雜因子，計算教學方法對學習成果的因果效應；接下來提出相應的改進措施，并運用因果圖分析改進的理由；最后，在下一學年進行教學設計及學習效果評價，由此提出未來的改進計劃。

1 持續(xù)改進模式

1.1 持續(xù)改進現(xiàn)狀及問題

某高校的課程質(zhì)量報告模板包括三部分內(nèi)容，即上一輪課程質(zhì)量持續(xù)改進措施和實施情況、本學期課程目標達成情況評價分析，及下一輪課程質(zhì)量持續(xù)改進措施。由此可見，專業(yè)認證標準要求的持續(xù)改進理念已得到落實。常規(guī)持續(xù)改進模式如圖1所示，開展課程目標達成情況評價，并將評價結(jié)果切實用于課程教學各環(huán)節(jié)的持續(xù)改進。

圖1 常規(guī)持續(xù)改進模式

對課程目標進行達成評價，是開展畢業(yè)要求達成評價的基礎(chǔ)，也是基層教師實施教學改進的基礎(chǔ)性工作。當前國內(nèi)普遍采用的平均分算分法和15%分位法，都可以在一定程度上用于發(fā)現(xiàn)問題和持續(xù)改進，例如多個課程目標達成情況的橫向比較，同一課程目標歷年達成情況的縱向比較。但是，要做好個性化教學和持續(xù)改進，仍存在以下問題：①評價內(nèi)容單一化，主要評價學生對知識的掌握情況，忽視了學習策略、心理活動和情感等方面的評價；②達成情況分析僅考慮數(shù)據(jù)，沒有注意數(shù)據(jù)生成的過程，難以得出初始數(shù)據(jù)不包含的內(nèi)容，發(fā)現(xiàn)的問題缺乏數(shù)據(jù)支撐；③改進意見基本上只是定性的、顯而易見的直覺和假設，對問題的針對性不足，且沒有進行簡要的分析，難以保證改進措施的科學性。

1.2 基于學情混雜控制的持續(xù)改進模式

基于學情混雜控制的持續(xù)改進模式如圖2所示，由學習效果分析、因果效應計算、改進措施提出、課堂實施構(gòu)成閉環(huán)。在階段課程質(zhì)量評價時，首先尋找混雜因子，通過分層控制進行學習效果分析，構(gòu)建課程教學因果圖；隨后運用后門調(diào)整法，計算教學方法對學習成果的因果效應；最后通過因果圖提出針對性的干預措施，消除混雜因子的影響，改進課程教學。在+1階段進行課堂實施，通過改進措施優(yōu)化教學設計，并評價改進效果。針對+1階段存在的問題，采用上述方法進行分析，提出未來+2階段的改進措施。

圖2 基于學情混雜控制的持續(xù)改進模式

2 學習效果分析

2.1 基于考核結(jié)果的學習效果分析

某高校通信工程專業(yè)2020年“信息安全”課程以比特幣及其私鑰保護方案的設計、風電場通信網(wǎng)絡安全的現(xiàn)狀與改進等為課題，要求學生進行作品設計及成果展示。本文收集課程中108名同學的參與度和考核成績的量化分，其中參與度量化值反映學生在課程中的積極參與情況，包括調(diào)查問卷取得的學生周平均投入時間、是否撰寫實驗指南、是否挑戰(zhàn)其他小組、是否申請擔任組長、是否發(fā)布作品短視頻等，按照各項權(quán)重計算所得。完成課程的學生參與度量化值基礎(chǔ)分數(shù)為40，上限為100?？己顺煽冇沙晒麢n案袋評價得分和期末考試分值共同決定，成果檔案袋評價得分按照團隊評分和隊內(nèi)評分的方式，獲得不同的初始分值和計分系數(shù)，最終計算得到考核成績的量化值。

以參與度為自變量，考核成績?yōu)橐蜃兞?，繪制學習效果散點圖如圖3所示?？梢钥吹剑瑢W生參與度較低，且參與度和考核成績兩者并不直接呈現(xiàn)正相關(guān)的關(guān)系。這與數(shù)據(jù)預期相悖，表明存在混雜因子的干擾，較低的參與度也難以真實反映課程教學效果。然而算分法僅能得到孤立的數(shù)據(jù)，不能回溯數(shù)據(jù)生成過程，因此引入因果推斷的方法挖掘數(shù)據(jù)間的內(nèi)在聯(lián)系，進行混雜控制及持續(xù)改進。

圖3 2020年學習效果散點圖

2.2 混雜因子分層分析

通過問卷和座談會等形式與學生交流，初步發(fā)現(xiàn)存在初始績點和發(fā)展預期兩個混雜因子。初始績點指學生大三進入本課程時的綜合績點，初始績點不同的學生往往在學習熱情、自我驅(qū)動能力和學習方法上有較大差異。學生的發(fā)展預期可以簡單分為考研、保研、擇業(yè)三個大類，根據(jù)實際教學情況可以有更為細致的分類。不同的發(fā)展預期決定了學生在參與課程時迥然不同的學習態(tài)度，尤其在大三的課程中，這三類學生在專業(yè)課程上投入的精力和時間有較大的差別。為了分析混雜因子對參與度與考核成績的影響，需要分層進行觀測。將初始績點和發(fā)展預期綜合為學情個性化變量，通過調(diào)查問卷收集學生的職業(yè)發(fā)展期望等因素，對變量進行分層，受保研和升學政策影響，“低績點保研”分組實際不會出現(xiàn)，因此分為5層，分別為高績點保研型、高績點就業(yè)型、高績點考研型、低績點就業(yè)型、低績點考研型，依照調(diào)查數(shù)據(jù)，該課程每層人數(shù)分別為11人、20人、23人、29人、25人。

通過上述數(shù)據(jù)處理，得到分層后的學習效果散點圖如圖4所示。學生數(shù)據(jù)在每層內(nèi)均具有整體向上的趨勢，這進一步說明了學生個人能力成長與課程參與度呈正相關(guān)。分析可知，高績點保研型學生約占10%，這部分學生綜合素質(zhì)較強，期望課程能給自己帶來新的能力增長點，在激烈的保研競爭中獲得更強的競爭力，因此參與度和考核成績都處于相對高位?？佳行蛯W生約占45%，這部分學生的參與度相對較低，考核成績也較差，他們傾向于付出較少的時間以通過考核獲取學分，將主要精力投入考研學習中。預期就業(yè)的學生情況最為復雜，既有工程能力突出的實驗室成員，也有雄心勃勃的創(chuàng)業(yè)者，他們的時間相對充裕，參與度整體居于中層，往往希望課題更加個性化和有趣味性，以增強參與者的綜合素養(yǎng)。

圖4 2020年分層后的學習效果散點圖

2.3 課程教學因果圖

因果圖作為因果關(guān)系的圖形化表示，便于概括變量之間的內(nèi)在聯(lián)系。它是一個有向無環(huán)圖（directed acyclic graph, DAG）結(jié)構(gòu)，由節(jié)點和箭頭組成，節(jié)點代表變量，箭頭由因指向果。圖5為課程教學因果圖模型，其中參與度表征課程教學方法，考核成績表征學生學習成果。顯然，在學習過程中，學生對課程的投入精力直接影響學習效果[12]，因此是的父節(jié)點。為學情個性化變量，由初始績點和發(fā)展預期綜合而來，同時對變量和變量產(chǎn)生影響，是與因果關(guān)系中的混雜因子。

圖5 2020年課程教學因果圖

綜上可知，在“信息安全”課程教學中選題難度過于均衡，對于綜合素質(zhì)優(yōu)秀者過于簡單，存在邊際效應遞減現(xiàn)象；對于基礎(chǔ)較差的學生而言難度偏高，即使花費較多的精力也難以在小組競爭中取得優(yōu)勢。另一方面，選題范圍過窄，展示渠道較少，不利于發(fā)揮學生的個人優(yōu)勢和調(diào)動學生的積極性。

2.4 因果效應分析

將和的數(shù)值分為有限且數(shù)目可控的類別，根據(jù)2020年課程教學中和的情況，將參與度分為三個區(qū)間：參與度低為0、參與度中為1、參與度高為2。將考核成績分為五個區(qū)間：40～60分為0、60～70分為1、70～80分為2、80～90分為3、90～100分為4。由式（1）計算觀測數(shù)據(jù)，得到對的真實因果效應。2020年教學方法對學習成果的因果效應見表1。

結(jié)合圖4的散點圖和表1的數(shù)據(jù)分布可以看出，參與度低的人數(shù)較多，參與度高的人數(shù)明顯不足，而且參與度低的學生，獲得較好成績的概率較高，參與度高的學生，獲得好成績的概率優(yōu)勢不顯著。表明教學方法X與學習成果Y之間的因果關(guān)系不夠明確，受到了較強的混雜干擾。

表1 2020年教學方法對學習成果的因果效應 單位: %

3 持續(xù)改進策略

基于上述學習效果的分析結(jié)果，為了消除初始績點和發(fā)展預期的影響，主動控制教學，提出以下三種干預措施：

1）提供多維度選題。例如，提供科教融合類選題，突出學生科研能力的基礎(chǔ)建立和提前培養(yǎng)；提供產(chǎn)教融合類選題，培養(yǎng)解決復雜工程問題的能力；提供管理能力類選題，著重于全局意識、責任意識、管理能力的培養(yǎng)，以充分發(fā)揮學生長處，滿足個人職業(yè)期待。

2）提供多個展示渠道。充分發(fā)揮教師和平臺的力量，有的作品長于創(chuàng)意，體現(xiàn)綜合素質(zhì)，適合向校內(nèi)外教師展示，有利于提高升學學生的參與度；有的作品面向?qū)嶋H工程問題，適合向企業(yè)專家展示，有利于提高就業(yè)學生的參與度；而更多的純技術(shù)性作品，工程針對性不明顯，更適合課堂展示或開發(fā)實驗供學生學習，通過成就感的回饋提高參與者的積極性。

3）提供多層級考核。綜合難度和知識域，將題目進行分類并給出不同的難度系數(shù)，以適應學生個人素質(zhì)的差異，使初始狀態(tài)較弱的學生付出一定的努力，也能較好地完成課程考核。

2021年改進措施因果圖如圖6所示，將三種干預措施綜合為因材施教因子，聽從于學情個性化變量，通過個性化教學模式影響學生參與度，變量和變量在變量處形成對撞，阻斷了←→這一后門路徑，抵消了混雜因子的影響。綜合上述措施，可以充分調(diào)動學生的積極性，發(fā)揮學生所長，達到更好的學習效果。

圖6 2021年改進措施因果圖

4 課堂實施情況

4.1 教學設計

在2021年“信息安全”課程中，按照上一學年提出的改進措施，對課程教學進行了優(yōu)化，圖7為改進后的課程教學框架。

圖7 改進后的課程教學框架

在“信息安全”課程的7個課程模塊中，設置9種教學情境任務，以適應各學生的初始狀態(tài)和發(fā)展預期。教學情境任務如圖8所示。學生根據(jù)自己的能力和興趣，選擇合適的情境任務進行實踐。實踐過程中采用小組合作（group-work, GW）的學習模式，強化學習者間的互動交流。

圖8 教學情境任務

小組學習成果采用PPT、短視頻、網(wǎng)頁等多樣化的展示形式，形成長期可查的作品檔案，并向同學、高校教授、企業(yè)技術(shù)專家等展示作品并征求改進意見，提供多樣化的展示渠道。

每個情境任務均制定評價觀測點證據(jù)評估表，在進行相應情境任務之前發(fā)布。以情境任務S6為例，其評價觀測點證據(jù)評估表見表2，其中相關(guān)性指作品與該評價觀測點所列證據(jù)的相關(guān)強度，可靠性指作品對該評價觀測點所列證據(jù)是否真實可靠，按強度由低到高給出1～5分。課堂上針對作品的相關(guān)性和可靠性，經(jīng)由自評、互評、教師評價，對作品進行考核評分。根據(jù)評價結(jié)果，挑選出優(yōu)秀作品在學校流媒體平臺上發(fā)布。

表2 情境任務S6評價觀測點證據(jù)評估表

課程最終考核成績由成果檔案袋評價情況和期末考試分數(shù)共同決定。一輪成果檔案袋展示后，挑選出幾個最優(yōu)秀的作為課程學習成果，要求全體同學都達到該成果的認知層級。在期末考試時，以此認知平臺為基礎(chǔ)出考核題目。題目依據(jù)難度分為三類，成績難度系數(shù)分別為1、0.9和0.8。

4.2 改進效果評價

取2021年“信息安全”課程中108名同學的參與度和考核成績，以參與度為自變量，以考核成績?yōu)橐蜃兞浚瑓⑴c度和考核成績的度量方式與2.1節(jié)一致，得到改進后的學習效果散點圖如圖9所示。與圖4相比，圖9中與的關(guān)系接近一次函數(shù)，且散點簇集中在中高區(qū)域，表明學生參與度明顯提高，考核成績大幅上升。圖10展示了改進前后學生的參與度分布，的取值眾數(shù)由0變?yōu)?，說明在教學改進后多數(shù)學生表現(xiàn)出較強的學習積極性。表3為2020年和2021年學生的成績數(shù)據(jù)統(tǒng)計，可以看出2021年學生成績的均值比2020年的提高了9分左右，改進后能取得更好的學習效果。

圖9 2021年分層學習效果散點圖

圖10 改進前后學生參與度分布

表3 2020年和2021年學生成績數(shù)據(jù)統(tǒng)計

表4為實際改進之后對的真實因果效應，將表1與表4的概率分布數(shù)據(jù)按的取值分組進行對比如圖11所示?？梢钥吹?，改進后不僅參與度低的人數(shù)顯著減少，參與度高的人數(shù)顯著增加，而且參與度低的學生獲得較好考核成績的概率明顯降低，參與度高的學生獲得高分的概率明顯提升。因此，改進后教學方法（干預）對學習成果的因果效應顯著增強。

表4 2021年教學方法對學習成果的因果效應 單位: %

圖11 表1與表4概率分布對比

以上數(shù)據(jù)均表明干預取得良好的成效，基于學情混雜控制的持續(xù)改進模式具有科學性和有效性。

4.3 下一輪改進措施

從圖9可以看到，仍有少數(shù)學生參與度較低但考核成績較高。通過問卷和座談會了解到，部分學生只關(guān)注自己的課堂表現(xiàn)和課程成績，不愿意與同學合作和分享。全球持續(xù)發(fā)展目標提出全方位要求，教育工作者的責任在于，引導學生實現(xiàn)自我成長，能夠適應持續(xù)快速發(fā)展的社會、技術(shù)環(huán)境，包括多元化與包容性團隊合作與溝通能力的培養(yǎng)。運用因果圖分析，教學方法（處理）除參與度外，還具有“分享動力”屬性，作為新的度量值，亦受混雜因子“學情個性化變量”影響。2021年課程教學因果圖如圖12所示。

圖12 2021年課程教學因果圖

2022年改進措施因果圖如圖13所示，通過“因材施教因子”節(jié)點改進評分標準，增設“合作共享”考核項，合作共享的評價標準見表5，節(jié)點與混雜因子在處形成對撞，分析認為可有效改進學情個性化變量相應分層對象對的影響，從而提高的分享動力值，改進對的因果效應。該改進措施將在2022年的教學中進行課堂實施。

圖13 2022年改進措施因果圖

表5 合作共享的評價標準

5 結(jié)論

采用信息化技術(shù)為教學改進提供指導，是教育科學的發(fā)展趨勢。本文提出了基于學情混雜控制的持續(xù)改進模式，挖掘出初始績點和發(fā)展預期這兩個混雜因子，構(gòu)建因果圖并采用后門調(diào)整法計算因果效應，從而提出針對性改進措施。通過優(yōu)化教學設計，有效增強了教學方法對學習成果的因果效應，驗證了本文所述改進模式切實有效，對教育改革具有重要參考價值。然而本文在因果效應計算中，弱化了實際情況下不同干預措施對“參與度”、“考核成績”等關(guān)鍵變量的相關(guān)性差異，在后續(xù)的工作中，如何更準確地評估不同干預措施與各關(guān)鍵變量之間的相關(guān)度，是需要進一步研究的內(nèi)容。

[1] 中國工程教育專業(yè)認證協(xié)會. 工程教育認證標準[EB/OL]. [201711]. http://www.ceeaa.org.cn/.

[2] 工程教育認證自評報告指導書[Z]. 中國工程教育專業(yè)認證協(xié)會, 2022.

[3] 李志義. 解析工程教育專業(yè)認證的持續(xù)改進理念[J].中國高等教育, 2015(增刊3): 33-35.

[4] ABET. Self-study questionnaire: template for the rngin- eering self-study report[EB/OL]. https://www.abet.org/ accreditation/accreditation-criteria/self-study-templates/.

[5] 白艷紅. 工程教育專業(yè)認證背景下課程目標的形成性評價研究與實踐[J]. 中國高教研究, 2019(12): 60-64.

[6] 李擎, 崔家瑞, 楊旭, 等. 面向工程教育專業(yè)認證的自動化專業(yè)持續(xù)改進[J]. 高等工程教育研究, 2019(5): 76-80, 96.

[7] 史博, 許體文, 班建峰, 等. 高分子材料與工程專業(yè)課程體系持續(xù)改進探索與實踐[J]. 高分子通報, 2022(1): 103-110.

[8] HU Hengyi, KERSCHBERG L. Evolving medical ontologies based on causal inference[C]//2018 IEEE International Conference on Advances in Social Net- works Analysis and Mining, Barcelona, Spain, 2018: 954-957.

[9] NUGROHO F A, EDERVEEN T H A, WIBOWO A, et al. Application of a causal discovery model to study the effect of iron supplementation in children with iron deficiency anemia[C]//2019 3rd International Con- ference on Informatics and Computational Sciences (ICICoS), Semarang, Indonesia, 2019: 1-5.

[10] HUYNH V N, KREINOVICH V, SRIBOONCHITTA S. Causal inference in econometrics[M]. Cham: Springer International Publishing, 2016.

[11] PEARL J, MACK D. The book of why: the new science of cause and effect[M]. New York: Basic Books, 2018.

[12] MAZUMDER Q, SULTANA S, MAZUMDER F. Correlation between classroom engagement and academic performance of engineering students[J]. International Journal of Higher Education, 2020, 9(3): 240-247.

[13] GLYNN A N, KASHIN K. Front-door versus back- door adjustment with unmeasured confounding: bias formulas for front-door and hybrid adjustments with application to a job training program[J]. Journal of the American Statistical Association, 2018, 113(523): 1040-1049.

Research on continuous improvement model of course quality evaluation based on learning confounding control

LONG Xuan1DUAN Bin1,2KE Qicong1

(1. School of Automation and Electronic Information, Xiangtan University, Xiangtan, Hu’nan 411105;2. Accreditation Guidance Center, Xiangtan University, Xiangtan, Hu’nan 411105)

Continuous improvement can monitor and improve the teaching quality of colleges and universities for a long time. How to carry out scientific and effective continuous improvement of course teaching based on the evaluation results has become a hot topic at present. This paper introduces the “back-door adjustment” of causal inference science, analyzes the importance of learning confounding control in teaching causal inference, and explains from the mechanism why it is necessary to strengthen the process evaluation of diversified contents including learning motivation, strategies, emotions, attitudes, and values, and proposes a continuous improvement model based on the control of learning confounding. Firstly, analyze the existing learning confounding factors based on diversified evaluation contents, construct a causal diagram of course teaching and control the confounding variables by back-door adjustment, to calculate the causal effect of teaching methods on the learning outcomes. Secondly, propose improvement measures to eliminate the interference of confounding, and analyze the reasons for the improvement and the effects of the interventionthrough the causal diagram.Finally, it is implemented in teaching, and plans for future improvement are developed based on the new evaluation results. The practical results show that the model is scientific and effective.

course quality evaluation; continuous improvement; process evaluation; causal inference; back-door adjustment

湖南省學位與研究生教育教改研究重大項目（2020JGSZ016）

湖南省新工科研究與實踐項目（202012）

2022-07-01

2022-08-31

龍 璇（1998—），女，湖南省常德市人，碩士研究生，主要研究方向為人工智能。