顏敏 白棲凡 韓麗平 付東
【摘要】依據(jù)布魯姆修訂分類法、國(guó)際21世紀(jì)教育委員會(huì)的“四大支柱說”, 遵循成果導(dǎo)向教育理念, 從課程內(nèi)容和課程目標(biāo)分類兩個(gè)維度構(gòu)建會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)分類框架。 在此基礎(chǔ)上, 以四所本科高校的會(huì)計(jì)學(xué)專業(yè)核心課程為例, 結(jié)合Webb一致性分析范式、Achieve一致性分析范式和SEC一致性分析范式, 從評(píng)價(jià)工具和評(píng)價(jià)結(jié)果兩方面對(duì)面向產(chǎn)出的會(huì)計(jì)課程教學(xué)評(píng)價(jià)與目標(biāo)的一致性進(jìn)行專門化研究, 研究發(fā)現(xiàn): 四所高校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試試題的技術(shù)性、知識(shí)種類一致性、知識(shí)分布平衡性均表現(xiàn)出與課程目標(biāo)較高的一致性, 但知識(shí)深度一致性水平偏低, 普遍缺乏對(duì)“分析、評(píng)價(jià)、創(chuàng)造”等高階能力的測(cè)試; 新建本科高校A校的期末考試低階能力題型占比較高, 基于高階能力目標(biāo)的核心課程學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試與課程目標(biāo)不完全一致, 其中財(cái)務(wù)會(huì)計(jì)課程一致性最低。
【關(guān)鍵詞】一致性分析;目標(biāo)分類框架;評(píng)價(jià)工具;評(píng)價(jià)結(jié)果
【中圖分類號(hào)】 F276.1? ? ?【文獻(xiàn)標(biāo)識(shí)碼】A? ? ? 【文章編號(hào)】1004-0994(2021)07-0052-10
一、引言
高校會(huì)計(jì)課程一致性源自課程設(shè)計(jì)理論中的一項(xiàng)基本原則——課程一致性(Curriculum Alignment)。 課程一致性是指確保評(píng)價(jià)與教學(xué)、目標(biāo)相一致的設(shè)計(jì)原則, 最早由布魯姆在其教育目標(biāo)分類學(xué)中提出[1,2] 。 確保目標(biāo)、教學(xué)和評(píng)價(jià)彼此一致是逆向教學(xué)設(shè)計(jì)(Backward Design)的主旨[3] 。 作為研究課程領(lǐng)域重大理論問題和檢視教學(xué)運(yùn)行狀況的一項(xiàng)專業(yè)評(píng)價(jià)手段, 課程一致性分析可以為教學(xué)目標(biāo)的達(dá)成情況提供專業(yè)判斷, 因此日益受到教育教學(xué)理論研究者與實(shí)踐者的重視。 Eastman[4] 的研究表明, 教師通過參與一致性研究, 對(duì)認(rèn)知水平的理解更為深刻, 對(duì)于所任教班級(jí)的學(xué)習(xí)要求更為明確, 在教學(xué)過程中更為自信, 測(cè)驗(yàn)設(shè)計(jì)的質(zhì)量也得到了明顯的提升。
美國(guó)是課程一致性分析的先行者, 1994年美國(guó)組建課程與評(píng)價(jià)一致性分析協(xié)會(huì), 旨在建構(gòu)判斷“一致性”的程序和工具, 關(guān)注點(diǎn)是課程教學(xué)目標(biāo)(簡(jiǎn)稱“課程目標(biāo)”)與學(xué)業(yè)評(píng)價(jià)之間的一致性關(guān)系。 隨著研究的推進(jìn), 一致性研究范圍拓展到教材、課堂教學(xué)及作業(yè)等其他課程組成要素方面, 研究范式主要包括三種經(jīng)典范式, 即Webb一致性分析范式(課程系統(tǒng)各個(gè)組成要素之間一致性程度的分析方法之總和)[5] 、Achieve一致性分析范式[6] 和SEC(Survey of the Enacted Curriculum, 課程實(shí)施調(diào)查)一致性分析范式[7] 。 從一致性分析的三大要素(目標(biāo)、教學(xué)和評(píng)價(jià))來看, 學(xué)業(yè)評(píng)價(jià)與課程目標(biāo)的一致性是一致性分析的起點(diǎn)。 根據(jù)評(píng)價(jià)在一致性建構(gòu)中的位置和逆向教學(xué)設(shè)計(jì)的一般步驟, 評(píng)價(jià)既是分析與課程目標(biāo)一致性的必備要件, 又是影響教師教學(xué)策略開發(fā)積極性的重要因素。 若評(píng)價(jià)與課程目標(biāo)具有高度一致性, 則能夠引導(dǎo)教師教學(xué)回歸課程目標(biāo)的內(nèi)在要求, 保證教學(xué)活動(dòng)達(dá)成課程目標(biāo)。
國(guó)內(nèi)課程目標(biāo)與評(píng)價(jià)一致性分析主要聚焦于基礎(chǔ)教育中課程標(biāo)準(zhǔn)與學(xué)業(yè)評(píng)價(jià)的一致性分析, 且學(xué)業(yè)評(píng)價(jià)集中于中考和高考兩類, 針對(duì)高校課程的一致性研究極少, 且主要是定性研究[8] 。 從目標(biāo)、教學(xué)和評(píng)價(jià)這三大要素來看, 高校會(huì)計(jì)課程除正常開展教學(xué)活動(dòng)、期末考試和平時(shí)考核之外, 課程目標(biāo)分類框架的構(gòu)建和學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試均有待進(jìn)一步完善。 由于高等教育的學(xué)科多樣性, 需要根據(jù)高校會(huì)計(jì)課程目標(biāo)和實(shí)際教學(xué)運(yùn)行情況, 進(jìn)行高校會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)一致性的專門化設(shè)計(jì)與分析。 本文首先對(duì)高校會(huì)計(jì)課程目標(biāo)分類框架進(jìn)行建構(gòu), 在此基礎(chǔ)上, 從評(píng)價(jià)工具和評(píng)價(jià)結(jié)果兩方面進(jìn)行會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)的一致性分析。
二、會(huì)計(jì)課程目標(biāo)分類框架
課程目標(biāo)是一致性分析的基礎(chǔ)。 由于學(xué)生學(xué)習(xí)成果評(píng)價(jià)要基于一定的課程目標(biāo)來進(jìn)行, 美國(guó)學(xué)者Webb[9] 最早將一致性定義為評(píng)價(jià)和目標(biāo)達(dá)成一致及其相互匹配的程度。 Herman等[10] 將一致性描述為:考試衡量學(xué)生知道什么、能做什么, 應(yīng)該緊密地與標(biāo)準(zhǔn)規(guī)定了學(xué)生應(yīng)該學(xué)什么、學(xué)得怎么樣同步實(shí)現(xiàn)。 Bhola等[11] 認(rèn)為, 對(duì)于特定學(xué)科來說, 一致性是指特定學(xué)科領(lǐng)域的內(nèi)容目標(biāo)與評(píng)價(jià)之間的一致性程度。
課程目標(biāo)由專業(yè)培養(yǎng)目標(biāo)和畢業(yè)要求決定。 從成果導(dǎo)向教育(Outcome-Based Education, OBE)三循環(huán)評(píng)價(jià)與改進(jìn)模型來看, 課程目標(biāo)既是保證培養(yǎng)目標(biāo)和畢業(yè)要求達(dá)成的關(guān)鍵內(nèi)容, 又決定著學(xué)習(xí)成果的評(píng)價(jià)方式[12] 。 現(xiàn)有的國(guó)際商科認(rèn)證, 如國(guó)際精英商學(xué)院協(xié)會(huì)(Association to Advance Collegiate Schools of Business, AACSB)會(huì)計(jì)項(xiàng)目認(rèn)證標(biāo)準(zhǔn)雖然對(duì)課程目標(biāo)進(jìn)行了說明[13] , 但對(duì)課程目標(biāo)與專業(yè)培養(yǎng)目標(biāo)及畢業(yè)要求的關(guān)系未作明確要求。 因此, 可以借鑒工程教育專業(yè)認(rèn)證的三個(gè)關(guān)系(培養(yǎng)目標(biāo)與畢業(yè)要求的關(guān)系、畢業(yè)要求與課程體系的關(guān)系、課程目標(biāo)與畢業(yè)要求的關(guān)系)和三個(gè)機(jī)制(培養(yǎng)目標(biāo)合理性及達(dá)成情況評(píng)價(jià)與改進(jìn)機(jī)制、畢業(yè)要求達(dá)成度評(píng)價(jià)與改進(jìn)機(jī)制、面向產(chǎn)出的課程教學(xué)評(píng)價(jià)與改進(jìn)機(jī)制)[13] , 依據(jù)會(huì)計(jì)學(xué)專業(yè)培養(yǎng)目標(biāo)和畢業(yè)要求來構(gòu)建會(huì)計(jì)課程目標(biāo)。 由于課程目標(biāo)由主講教師建構(gòu)并實(shí)現(xiàn), 因而還體現(xiàn)了全體教師對(duì)OBE的理解與把握。 目標(biāo)是靈魂, 是課程邏輯的起點(diǎn)和終點(diǎn), 課程思維本來就需要一致性地思考在目標(biāo)統(tǒng)領(lǐng)下的教學(xué)、學(xué)習(xí)和評(píng)價(jià)等問題。
就高校會(huì)計(jì)課程目標(biāo)分類框架構(gòu)建來說, 與國(guó)外高等教育研究中布魯姆教育目標(biāo)分類研究的深入開展不同, 我國(guó)雖有部分學(xué)者對(duì)高校會(huì)計(jì)課程目標(biāo), 會(huì)計(jì)高等教育培養(yǎng)目標(biāo), 以及學(xué)校、專業(yè)與課程三層次目標(biāo)之間的關(guān)系等進(jìn)行了研究[14-16] , 但在實(shí)際會(huì)計(jì)課堂教學(xué)中仍存在課程目標(biāo)分類模糊和認(rèn)知水平低階等問題, 缺乏一個(gè)分類框架來細(xì)分會(huì)計(jì)課程目標(biāo), 以提高會(huì)計(jì)課程目標(biāo)含義的準(zhǔn)確性、增進(jìn)理解并提升會(huì)計(jì)課堂認(rèn)知水平。 因此, 對(duì)會(huì)計(jì)課程目標(biāo)進(jìn)行細(xì)分, 確定會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)層次定位, 將有助于會(huì)計(jì)學(xué)專業(yè)核心課程教學(xué)策略的改進(jìn)和目標(biāo)與評(píng)價(jià)一致性的提高。
(一)已有目標(biāo)分類框架借鑒
1. 布魯姆教育目標(biāo)分類法。 布魯姆于1956年提出了布魯姆教育目標(biāo)分類法, 其按認(rèn)知發(fā)展水平將學(xué)習(xí)分為六類:知識(shí)(Knowledge)、理解(Comprehension)、應(yīng)用(Application)、分析(Analysis)、綜合(Synthesis)和評(píng)估(Evaluation), 這一分類呈現(xiàn)出從低階目標(biāo)到高階目標(biāo)發(fā)展的階段性特征[1] 。 布魯姆指出, 傳統(tǒng)教學(xué)模式的缺點(diǎn)是把教育目標(biāo)主要放在低階目標(biāo)上, 故未能充分挖掘?qū)W生的認(rèn)知潛力。 2001年修訂后的布魯姆教育目標(biāo)分類法(簡(jiǎn)稱“布魯姆修訂分類法”)將教育目標(biāo)分為認(rèn)知過程和知識(shí)兩個(gè)維度。 其中, 認(rèn)知過程維度分為記憶(Remember)、理解(Understand)、應(yīng)用(Apply)、分析(Analyze)、評(píng)價(jià)(Evaluate)和創(chuàng)造(Create)六類, 新增的“創(chuàng)造”作為高級(jí)思維能力被凸顯出來。 六類學(xué)習(xí)分別培養(yǎng)出不同水平的認(rèn)知能力, 高階目標(biāo)要以低階目標(biāo)為基礎(chǔ), 低階目標(biāo)要向高階目標(biāo)發(fā)展。 知識(shí)維度由事實(shí)性知識(shí)、概念性知識(shí)、程序性知識(shí)和元認(rèn)知知識(shí)四類組成。
布魯姆修訂分類法可能是唯一以通用術(shù)語(以不同類型的知識(shí))定義內(nèi)容的模型[17] , 其提供了一個(gè)二維分類表, 包含4×6=24個(gè)單元(見表1), 為目標(biāo)與評(píng)價(jià)、教學(xué)的一致性分析提供了一條重要的途徑。 基于布魯姆修訂分類法, 可以根據(jù)兩個(gè)維度對(duì)目標(biāo)進(jìn)行分類, 并將其放在分類表的某個(gè)單元格中。 特定的內(nèi)容主題可以由處于不同認(rèn)知水平的學(xué)生掌握, 這也是布魯姆修訂分類法被定性為由內(nèi)容主題和水平組成的二維空間的原因[17] 。
2. 芬克有意義學(xué)習(xí)分類法。 芬克[3] 認(rèn)為, 布魯姆教育目標(biāo)分類法不能體現(xiàn)新的社會(huì)需求, 如學(xué)會(huì)學(xué)習(xí)、領(lǐng)導(dǎo)才能、人際交往能力、道德品質(zhì)、應(yīng)變能力等, 因此創(chuàng)建了一個(gè)新的學(xué)習(xí)目標(biāo)分類法, 將學(xué)習(xí)目標(biāo)分為基礎(chǔ)知識(shí)、應(yīng)用、綜合、人文維度、關(guān)心和學(xué)會(huì)學(xué)習(xí)六類。 其中, 基礎(chǔ)知識(shí)、應(yīng)用和綜合三類目標(biāo)涵蓋了布魯姆修訂分類法中的記憶、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造等全部目標(biāo), 這些都是與知識(shí)有關(guān)的目標(biāo);人文維度、關(guān)心和學(xué)會(huì)學(xué)習(xí)則是為適應(yīng)新的學(xué)習(xí)需求而增加的目標(biāo)。 1996年, 由國(guó)際21世紀(jì)教育委員會(huì)向聯(lián)合國(guó)教科文組織提交的一份教育研究報(bào)告《教育——財(cái)富蘊(yùn)藏其中》(Learning:The Treasure Within)中提出了21世紀(jì)教育的四大支柱:學(xué)會(huì)學(xué)習(xí)(Learning to Know)、學(xué)會(huì)做事(Learning to Do)、學(xué)會(huì)做人(Learning to Be)、學(xué)會(huì)共處(Learning to Live Together)。 因此, 芬克有意義學(xué)習(xí)分類法與國(guó)際21世紀(jì)教育委員會(huì)的“四大支柱說”[12] 相吻合。 近年來, 大多數(shù)國(guó)家的教育發(fā)展都借鑒了這一現(xiàn)代教育思想。 《華盛頓協(xié)議》也完全接受了這種教育思想, 并據(jù)此構(gòu)建了畢業(yè)要求框架。 會(huì)計(jì)課程目標(biāo)也應(yīng)該按照“學(xué)會(huì)學(xué)習(xí)、學(xué)會(huì)做事、學(xué)會(huì)做人和學(xué)會(huì)共處”的邏輯結(jié)構(gòu)來構(gòu)建。
3. 波特分類法及其他。 SEC分析范式中的波特分類法確定的認(rèn)知水平曾使用了九個(gè)類別[18] , 后改為七個(gè)類別[19] , 排序分別為:①記住事實(shí)、定義和公式;②了解概念;③執(zhí)行程序;④產(chǎn)生問題/假設(shè);⑤收集數(shù)據(jù);⑥分析和解釋信息;⑦使用信息進(jìn)行連接。 除此之外, 還有Marzano[20] 的教育目標(biāo)分類法、Merrill[21] 的績(jī)效—內(nèi)容矩陣等分類方法。
Nasstrom和Henriksson[22] 的實(shí)證研究發(fā)現(xiàn), 布魯姆修訂分類法和波特分類法是最合適的認(rèn)知水平分類模型, 二者的認(rèn)知復(fù)雜性處于連續(xù)范圍內(nèi), 即分類是有序的;且布魯姆修訂分類法比波特分類法更有用, 更具包容性和排他性。 與波特分類法相比, 布魯姆修訂分類法的標(biāo)準(zhǔn)間評(píng)級(jí)可靠性水平更高、一致性更適度, 使用的類別比例也更大。 波特分類法曾經(jīng)使用過九個(gè)類別, 有學(xué)者研究發(fā)現(xiàn), 類別增加會(huì)帶來風(fēng)險(xiǎn), 分類學(xué)中類別的數(shù)量增加到七個(gè)時(shí), 就可能導(dǎo)致評(píng)分者之間的可靠性下降[23] 。 因此, 可以借鑒布魯姆修訂分類法和“四大支柱說”, 構(gòu)建會(huì)計(jì)課程目標(biāo)分類框架, 作為會(huì)計(jì)課程一致性分析的比較基礎(chǔ)。
(二)會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)分類框架設(shè)計(jì)
依據(jù)教育部于2018年發(fā)布的《普通高等學(xué)校本科專業(yè)類教學(xué)質(zhì)量國(guó)家標(biāo)準(zhǔn)》(簡(jiǎn)稱《國(guó)標(biāo)》)中的會(huì)計(jì)學(xué)專業(yè)培養(yǎng)目標(biāo)——“應(yīng)用型、復(fù)合型、外向型和創(chuàng)新型專門人才”及培養(yǎng)規(guī)格, 結(jié)合“四大支柱說”, 將會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)分為四大類——學(xué)會(huì)做人、學(xué)會(huì)做事、學(xué)會(huì)相處和學(xué)會(huì)學(xué)習(xí)。 其中, “學(xué)會(huì)做事”一類借鑒布魯姆修訂分類法中認(rèn)知水平維度的分類, 分為識(shí)記、理解、應(yīng)用、分析、評(píng)價(jià)、創(chuàng)造六個(gè)認(rèn)知層級(jí)。 每一門核心課程都將被歸入四大類中的某一類或幾類和認(rèn)知水平中的一個(gè)或多個(gè)層級(jí); 進(jìn)一步地, 認(rèn)知水平的每個(gè)層級(jí)可以被賦予權(quán)重。 對(duì)認(rèn)知水平六個(gè)層級(jí)具體含義的理解和歸類, 將影響到對(duì)實(shí)際測(cè)試和教學(xué)、目標(biāo)的一致性分析, 因?yàn)橥瑯拥谋憩F(xiàn)可能會(huì)因理解不同而被歸類到不同的認(rèn)知層級(jí)中, 因此對(duì)認(rèn)知水平六個(gè)層級(jí)具體含義的準(zhǔn)確把握非常重要。
表2為一所新建本科高校A校依據(jù)《國(guó)標(biāo)》、布魯姆修訂分類法、“四大支柱說”以及自身辦學(xué)定位和人才培養(yǎng)總目標(biāo), 遵循成果導(dǎo)向教育理念設(shè)計(jì)的會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)分類框架。
該目標(biāo)分類框架包括課程內(nèi)容和課程目標(biāo)分類兩個(gè)維度。 由于布魯姆修訂分類法中的知識(shí)維度分類是從具體的實(shí)際知識(shí)到抽象的元認(rèn)知知識(shí), 概念性知識(shí)和程序性知識(shí)方面有一些重疊內(nèi)容[22] , 因而表2中的課程內(nèi)容維度并沒有采用布魯姆修訂分類法的知識(shí)維度分類, 而是按照會(huì)計(jì)學(xué)專業(yè)核心課程名稱直接表達(dá), 簡(jiǎn)明清晰, 通俗易懂。 此外, 課程內(nèi)容涉及會(huì)計(jì)課程體系的重構(gòu), 在適應(yīng)新技術(shù)變革的“新文科”建設(shè)過程中, 會(huì)計(jì)課程體系正在發(fā)生天翻地覆的變化[24] , 因此課程內(nèi)容需要通過教學(xué)大綱進(jìn)行具體規(guī)劃和創(chuàng)建。 有學(xué)者認(rèn)為, 會(huì)計(jì)類專業(yè)核心課程應(yīng)包括會(huì)計(jì)學(xué)(基礎(chǔ)會(huì)計(jì)學(xué)+財(cái)務(wù)會(huì)計(jì))、公司理財(cái)、成本與管理會(huì)計(jì)、會(huì)計(jì)智能化[25] 、現(xiàn)代審計(jì)學(xué);也有學(xué)者認(rèn)為還應(yīng)包括政府會(huì)計(jì)課程, 該課程具有與企業(yè)會(huì)計(jì)不同的思維體系, 對(duì)學(xué)生建構(gòu)全面的會(huì)計(jì)知識(shí)體系和會(huì)計(jì)思維邏輯具有重要影響[26] 。
三、會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)一致性分析
會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)一致性分析按照分析對(duì)象的不同, 分為評(píng)價(jià)工具一致性分析和評(píng)價(jià)結(jié)果一致性分析。 前者是對(duì)命題與目標(biāo)一致性進(jìn)行分析, 是對(duì)命題質(zhì)量的檢驗(yàn)和評(píng)價(jià);后者是對(duì)學(xué)生測(cè)試結(jié)果與目標(biāo)一致性進(jìn)行分析, 是對(duì)學(xué)生學(xué)習(xí)結(jié)果的評(píng)價(jià)。 評(píng)價(jià)結(jié)果一致性受評(píng)價(jià)工具一致性的影響, 當(dāng)評(píng)價(jià)工具與目標(biāo)一致性程度(效度)偏低時(shí), 用該評(píng)價(jià)工具檢測(cè)出的評(píng)價(jià)結(jié)果與目標(biāo)的一致性(信度)也會(huì)受到影響。 因此, 評(píng)價(jià)工具一致性更應(yīng)當(dāng)引起高校管理者和教師的重視。 目前國(guó)際上三種經(jīng)典的一致性分析范式中, Webb一致性分析范式與Achieve一致性分析范式主要用于評(píng)價(jià)工具一致性分析, SEC一致性分析范式主要用于評(píng)價(jià)結(jié)果一致性分析。 下文將結(jié)合這三種一致性分析范式對(duì)會(huì)計(jì)課程評(píng)價(jià)工具一致性和評(píng)價(jià)結(jié)果一致性進(jìn)行分析。
(一)評(píng)價(jià)工具一致性分析
1. 會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)工具的對(duì)應(yīng)關(guān)系。 從現(xiàn)有高校會(huì)計(jì)學(xué)專業(yè)核心課程學(xué)習(xí)成果評(píng)價(jià)工具開展的時(shí)機(jī)來看, 主要有平時(shí)考核和期末考試, 尚缺乏學(xué)生畢業(yè)時(shí)的學(xué)業(yè)水平測(cè)試。 平時(shí)考核、期末考試和學(xué)業(yè)水平測(cè)試可以作為三種互補(bǔ)的學(xué)習(xí)成果評(píng)價(jià)工具, 共同實(shí)現(xiàn)對(duì)會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)的一致性分析。 平時(shí)考核即形成性評(píng)價(jià), 可以對(duì)學(xué)會(huì)做人、學(xué)會(huì)做事、學(xué)會(huì)相處和學(xué)會(huì)學(xué)習(xí)四大類課程目標(biāo)進(jìn)行考查, 評(píng)價(jià)方式包括作業(yè)、日常測(cè)驗(yàn)、考勤、行為觀察、問卷調(diào)查等;期末考試和學(xué)業(yè)水平測(cè)試屬于終結(jié)性評(píng)價(jià), 主要考核學(xué)生認(rèn)知水平的發(fā)展情況。 A校會(huì)計(jì)學(xué)專業(yè)核心課程目標(biāo)與評(píng)價(jià)工具的對(duì)應(yīng)關(guān)系如表3所示。
2. 評(píng)價(jià)工具一致性分析維度與水平設(shè)定。 借鑒Webb一致性分析范式和Achieve一致性分析范式, 會(huì)計(jì)課程評(píng)價(jià)工具一致性可以按照知識(shí)種類一致性、知識(shí)深度一致性、知識(shí)分布平衡性[5] 和試題技術(shù)性[6] 四個(gè)維度進(jìn)行分析。
(1)知識(shí)種類一致性。 即評(píng)價(jià)和目標(biāo)的內(nèi)容主題之間的匹配程度, 課程目標(biāo)和評(píng)價(jià)之間保持知識(shí)種類一致性是指兩者都涵蓋了相同內(nèi)容類別。 可以通過確定評(píng)價(jià)所包含的項(xiàng)目是否覆蓋了每個(gè)目標(biāo)的內(nèi)容領(lǐng)域來判斷該一致性程度, 具體地, 通過對(duì)課程目標(biāo)和評(píng)價(jià)項(xiàng)目進(jìn)行分層編碼, 然后將評(píng)價(jià)項(xiàng)目與目標(biāo)體系逐層進(jìn)行匹配, 若評(píng)價(jià)過程中考查的知識(shí)種類與相應(yīng)課程目標(biāo)一一對(duì)應(yīng), 即課程目標(biāo)中每一具體目標(biāo)都得到了檢測(cè), 則說明兩者完全一致。
(2)知識(shí)深度一致性。 即評(píng)價(jià)中知識(shí)對(duì)學(xué)生認(rèn)知水平的要求與課程目標(biāo)中對(duì)學(xué)生學(xué)習(xí)目標(biāo)期望的要求保持一致。 會(huì)計(jì)課程評(píng)價(jià)工具知識(shí)深度的劃分應(yīng)與會(huì)計(jì)課程目標(biāo)分類框架中認(rèn)知水平的劃分一致, 針對(duì)知識(shí)深度一致性設(shè)置臨界指標(biāo), 以判斷一致性程度。 依據(jù)評(píng)價(jià)工具與課程目標(biāo)的匹配程度, 可以設(shè)置三種不同的知識(shí)深度一致性水平:2級(jí)表示完全一致, 1級(jí)表示不完全一致, 0級(jí)表示不一致。
(3)知識(shí)分布平衡性。 即評(píng)價(jià)工具要有適量的試題對(duì)應(yīng)于各內(nèi)容領(lǐng)域, 不能局限于內(nèi)容領(lǐng)域中個(gè)別類別或?qū)蛹?jí)的課程目標(biāo), 必須考查盡可能多的類別或?qū)蛹?jí)的課程目標(biāo), 在各級(jí)各類課程目標(biāo)之間達(dá)到一種平衡[27] 。
(4)試題技術(shù)性。 即試題是否出現(xiàn)了描述錯(cuò)誤、圖表錯(cuò)誤、無答案或多個(gè)答案等問題。 試題技術(shù)性應(yīng)是最基本的、更低層次的一致性要求。
3. 四所高校期末考試一致性分析。 鑒于期末考試為絕大多數(shù)高校會(huì)計(jì)課程主要的學(xué)習(xí)成果評(píng)價(jià)工具, 且在學(xué)生課程成績(jī)計(jì)量中所占比重較大, 對(duì)最終學(xué)習(xí)成果評(píng)價(jià)的影響重大, 本文以四所本科高校(A校、B校、C校、D校)會(huì)計(jì)學(xué)專業(yè)核心課程期末考試為例, 進(jìn)行評(píng)價(jià)工具一致性分析。
首先, 以新建本科高校A校的會(huì)計(jì)學(xué)專業(yè)核心課程期末考試試卷命題為例, 對(duì)上述四個(gè)維度進(jìn)行具體解剖和分析:
(1)試題技術(shù)性分析。 通過對(duì)A校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試命題的技術(shù)性進(jìn)行分析, 發(fā)現(xiàn)沒有出現(xiàn)其他學(xué)科課程期末考試題型名稱欠規(guī)范等問題, 一致性程度較高, 比較恰當(dāng), 說明試題在技術(shù)層面(如描述錯(cuò)誤、圖表錯(cuò)誤、無答案或有多個(gè)答案等)問題很少。
(2)知識(shí)種類一致性和知識(shí)分布平衡性分析。 通過對(duì)A校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試知識(shí)種類和知識(shí)分布進(jìn)行分析, 發(fā)現(xiàn)其與課程目標(biāo)表現(xiàn)出較高的一致性, 沒有出現(xiàn)其他學(xué)科課程期末考試試卷因題型題量過少、單類題型占比過高而導(dǎo)致的考查內(nèi)容不全面、不均衡等問題。
(3)知識(shí)深度一致性分析。 通過對(duì)A校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試知識(shí)深度一致性進(jìn)行分析, 發(fā)現(xiàn)其知識(shí)深度一致性水平偏低, 大多數(shù)具有挑戰(zhàn)性的課程目標(biāo)并未得到充分反映, 說明試卷所考查的知識(shí)過于集中在識(shí)記等低階認(rèn)知水平上。 從基于期末考試題型的評(píng)價(jià)與目標(biāo)一致性分析結(jié)果(見表4)來看, A校的低階能力測(cè)試題型(單項(xiàng)選擇題、多項(xiàng)選擇題、判斷題、填空題、名詞解釋、簡(jiǎn)述題)比重過大, 缺乏綜合應(yīng)用題型(覆蓋3個(gè)以上知識(shí)點(diǎn), 需要綜合應(yīng)用基本理論、基本方法和基本技能解決問題的試題), 因而僅能評(píng)價(jià)“識(shí)記”層次的目標(biāo), 無法支撐“系統(tǒng)掌握”的畢業(yè)要求(見表2)。
其次, 對(duì)四所本科高校近兩年會(huì)計(jì)學(xué)專業(yè)核心課程期末試卷從命題內(nèi)容上進(jìn)行知識(shí)深度一致性分析, 結(jié)果如表5所示。
由表5可知, 期末考試主要測(cè)試的認(rèn)知水平為“識(shí)記、理解、應(yīng)用”三個(gè)層級(jí), 每個(gè)層級(jí)的比例分布在30%上下;而“分析”層級(jí)所占比例驟減, 平均為9.48%;“評(píng)價(jià)”層級(jí)只出現(xiàn)在基礎(chǔ)會(huì)計(jì)學(xué)、財(cái)務(wù)會(huì)計(jì)學(xué)、管理會(huì)計(jì)學(xué)、高級(jí)會(huì)計(jì)學(xué)、財(cái)務(wù)管理學(xué)等課程中, 且比例極小, 成本會(huì)計(jì)學(xué)和審計(jì)學(xué)中均無;“創(chuàng)造”層級(jí)在各門課程中均為零。 因此, 從命題內(nèi)容來看, 期末考試試題普遍缺乏對(duì)“分析、評(píng)價(jià)、創(chuàng)造”等高階能力的測(cè)試。 通過對(duì)認(rèn)知水平的細(xì)分, 凸顯出現(xiàn)有會(huì)計(jì)課程目標(biāo)和評(píng)價(jià)定位偏低的缺陷, 這應(yīng)是布魯姆教育目標(biāo)分類學(xué)對(duì)高校會(huì)計(jì)課程的最大貢獻(xiàn)。
綜上所述, 四所本科高校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試命題僅實(shí)現(xiàn)了“識(shí)記”和“理解”兩個(gè)層級(jí)的認(rèn)知水平, “應(yīng)用”層級(jí)的畢業(yè)要求(見表2)很難實(shí)現(xiàn), “分析、評(píng)價(jià)、創(chuàng)造”三個(gè)層級(jí)畢業(yè)要求(見表2)的實(shí)現(xiàn)則更加少見;其中A校在知識(shí)深度一致性方面尤其缺乏。 “越來越清楚的是, 知識(shí)深度是學(xué)生在給定評(píng)估中取得成功的一個(gè)重要因素”[19] , 只有當(dāng)會(huì)計(jì)課程目標(biāo)與評(píng)價(jià)達(dá)到了高階性、創(chuàng)新性和挑戰(zhàn)度的要求, 才能引領(lǐng)會(huì)計(jì)課堂教學(xué)真正實(shí)現(xiàn)培養(yǎng)具有創(chuàng)新精神和實(shí)踐能力的高素質(zhì)復(fù)合型應(yīng)用人才的目標(biāo), 才能使畢業(yè)生在當(dāng)下人工智能、大數(shù)據(jù)、云計(jì)算等信息技術(shù)革命對(duì)傳統(tǒng)會(huì)計(jì)職業(yè)造成巨大沖擊的時(shí)代中不被淘汰。 因此, 新建本科高校在課程期末考試之外, 于學(xué)生畢業(yè)時(shí)適時(shí)開展學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試可能是快速提高其課程目標(biāo)與評(píng)價(jià)一致性的有效舉措。
(二)評(píng)價(jià)結(jié)果一致性分析
1. 組織標(biāo)準(zhǔn)化測(cè)試。 進(jìn)行專門的標(biāo)準(zhǔn)化測(cè)試可以保證評(píng)價(jià)工具與課程目標(biāo)較高的一致性, 此時(shí)可著重對(duì)評(píng)價(jià)結(jié)果一致性進(jìn)行分析。 但是, 高等教育缺乏像中考和高考那樣反映畢業(yè)生學(xué)業(yè)水平的標(biāo)準(zhǔn)化測(cè)試。 隨著高等教育評(píng)價(jià)模式從“教師的教學(xué)評(píng)價(jià)”轉(zhuǎn)向“學(xué)生的學(xué)習(xí)結(jié)果評(píng)價(jià)”[28] , 近年來陸續(xù)出現(xiàn)了多種大學(xué)生學(xué)習(xí)成果評(píng)價(jià)模型, 如經(jīng)濟(jì)合作與發(fā)展組織(OECD)的“高等教育學(xué)習(xí)成果評(píng)價(jià)”(Assessment of Higher Education Learning Outcomes, AHELO)、美國(guó)全國(guó)大學(xué)生學(xué)習(xí)投入調(diào)查(NSSE)和清華大學(xué)“中國(guó)大學(xué)生學(xué)習(xí)與發(fā)展追蹤問卷調(diào)查”(CCSS)等。
OECD于2016年啟動(dòng)的AHELO項(xiàng)目包括通用能力測(cè)試組件和學(xué)科—專業(yè)測(cè)試組件兩部分。 其中, 通用能力測(cè)試組件主要涉及批判性思維、分析推理、解決問題和書面表達(dá)能力, 學(xué)科—專業(yè)測(cè)試組件包括“經(jīng)濟(jì)學(xué)”測(cè)試組件、“工程學(xué)”測(cè)試組件以及增值測(cè)評(píng)組件。 “經(jīng)濟(jì)學(xué)”測(cè)試組件(Economic Strand)重點(diǎn)考查學(xué)生用“經(jīng)濟(jì)學(xué)語言”解決實(shí)際問題的能力[29] , 重點(diǎn)關(guān)注學(xué)科知識(shí)和認(rèn)識(shí)(占比25%)、學(xué)科知識(shí)在現(xiàn)實(shí)問題中的應(yīng)用(45%)、有效利用相關(guān)數(shù)據(jù)和定量分析方法的能力(20%)、與專業(yè)人士和非專業(yè)人士溝通的能力(5%)、獲取獨(dú)立學(xué)習(xí)技能的能力(5%)等五個(gè)方面的學(xué)習(xí)成果, 測(cè)評(píng)時(shí)長(zhǎng)為90分鐘。
“經(jīng)濟(jì)學(xué)”測(cè)試組件并沒有細(xì)化到專業(yè), 而我國(guó)高校本科人才培養(yǎng)運(yùn)行模式主要是以專業(yè)為單元進(jìn)行教學(xué)、招生和就業(yè)管理, 因此有必要進(jìn)行專業(yè)核心課程學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試, 以了解各個(gè)專業(yè)的教學(xué)質(zhì)量和辦學(xué)水平。 開發(fā)基于會(huì)計(jì)學(xué)專業(yè)的核心課程學(xué)業(yè)水平評(píng)價(jià)工具并組織測(cè)試, 對(duì)評(píng)價(jià)結(jié)果與課程目標(biāo)的一致性進(jìn)行分析, 對(duì)于推進(jìn)會(huì)計(jì)核心課程期末考試命題改革, 反促會(huì)計(jì)課堂教學(xué)水平的提升意義非凡。 尤其是對(duì)于新建本科高校來說, 會(huì)計(jì)學(xué)專業(yè)培養(yǎng)的首屆本科生或前幾屆本科生的質(zhì)量如何、是否具有真正本科院校學(xué)生的水平, 是高校的師生、管理者都關(guān)心的問題。 如果依托成熟高水平本科院校會(huì)計(jì)學(xué)專業(yè)資深專家教授的力量, 結(jié)合新建本科高校的人才培養(yǎng)總目標(biāo), 開展畢業(yè)生學(xué)習(xí)成果評(píng)價(jià)測(cè)試, 則既可以了解新建本科高校學(xué)生培養(yǎng)的質(zhì)量, 又可以使教師通過測(cè)試盡快掌握與本科課程目標(biāo)相適應(yīng)的評(píng)價(jià)難度和方式, 達(dá)到以評(píng)價(jià)反哺教學(xué)、以評(píng)促教, 以及提升課堂教學(xué)高階性、創(chuàng)新性和挑戰(zhàn)度的目的。 成熟本科高校也可以通過聘請(qǐng)實(shí)務(wù)界專業(yè)人士命題來考查學(xué)生學(xué)習(xí)成果的有用性和教師教學(xué)內(nèi)容與現(xiàn)實(shí)結(jié)合的緊密度。
學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試的命題深度應(yīng)以布魯姆修訂分類法中的三個(gè)高階能力——“分析、評(píng)價(jià)、創(chuàng)造”為主, 因?yàn)椤白R(shí)記、理解、應(yīng)用”三個(gè)低階認(rèn)知目標(biāo)在日常課程期末考試時(shí)都已涉及, 因此在專門組織的為提高課程目標(biāo)與評(píng)價(jià)一致性水平的學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試中, 對(duì)這三個(gè)低階認(rèn)知目標(biāo)可不再予以考慮。 也就是說, 學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試命題必須以適當(dāng)?shù)纳疃瘸浞指采w課程目標(biāo), 反映重點(diǎn), 讓所有學(xué)生都有機(jī)會(huì)證明自己對(duì)知識(shí)掌握的熟練程度, 且能清晰地區(qū)分學(xué)生熟練程度。 正如La Marca等[30] 所說:該評(píng)價(jià)要能使學(xué)生根據(jù)課程目標(biāo)設(shè)定的期望展示其所掌握的知識(shí)和技能, 以便對(duì)他們的表現(xiàn)作出正確解釋。 評(píng)價(jià)內(nèi)容可以以會(huì)計(jì)學(xué)專業(yè)核心課程內(nèi)容(見表2)為主進(jìn)行測(cè)試。
“新課改”確定的基礎(chǔ)教育教學(xué)目標(biāo)是:認(rèn)知和技能, 過程和方法, 情感、態(tài)度和價(jià)值觀。 例如, 1992年國(guó)家教育委員會(huì)制定的《初級(jí)中學(xué)數(shù)學(xué)教學(xué)大綱》根據(jù)布魯姆修訂分類法, 將認(rèn)知領(lǐng)域的教學(xué)目標(biāo)劃分為“了解、理解、掌握、靈活運(yùn)用”四個(gè)層次。 與基礎(chǔ)教育側(cè)重于傳承知識(shí)(主要是記憶、理解)相區(qū)別, 高等教育側(cè)重于知識(shí)生產(chǎn)和創(chuàng)新功能, 因而學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試的評(píng)價(jià)深度對(duì)應(yīng)布魯姆修訂分類法中“分析、評(píng)價(jià)、創(chuàng)造”三個(gè)高階認(rèn)知層級(jí), 既與基礎(chǔ)教育的知識(shí)應(yīng)用相銜接, 又體現(xiàn)高等教育對(duì)“分析、評(píng)價(jià)、創(chuàng)造”的側(cè)重。
不同的認(rèn)知水平對(duì)應(yīng)不同的測(cè)評(píng)題型, 學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試需要通過設(shè)置綜合分析題來評(píng)價(jià)學(xué)生的高階認(rèn)知水平。 日常會(huì)計(jì)課程教學(xué)中的期末考試常采用的選擇題、判斷題、填空題、簡(jiǎn)述題僅能實(shí)現(xiàn)對(duì)“識(shí)記”和“理解”層級(jí)認(rèn)知水平的測(cè)試, 計(jì)算題、計(jì)算分析題或案例分析題可用于“應(yīng)用”層級(jí)認(rèn)知水平的測(cè)試, 論述題和綜合分析題可用于“分析”層級(jí)認(rèn)知水平的測(cè)試。 “評(píng)價(jià)”層級(jí)認(rèn)知水平的測(cè)試需要基于一個(gè)企業(yè)案例、管理模式、理論假設(shè)等的大型綜合分析題或通過一個(gè)綜合性、設(shè)計(jì)性實(shí)驗(yàn)來實(shí)現(xiàn)。 “創(chuàng)造”層級(jí)認(rèn)知水平的測(cè)試則需要通過設(shè)計(jì)題, 如學(xué)科競(jìng)賽作業(yè)或畢業(yè)論文(設(shè)計(jì))來實(shí)現(xiàn)。 在常規(guī)的時(shí)長(zhǎng)為120分鐘的一項(xiàng)考試中, 實(shí)現(xiàn)對(duì)“創(chuàng)造”認(rèn)知水平的測(cè)試難度較大, 因而其分值占比較低。 因此, A校根據(jù)其會(huì)計(jì)學(xué)專業(yè)培養(yǎng)目標(biāo), 設(shè)計(jì)了核心課程學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試能力大綱, 如表6所示, 專家實(shí)際命題結(jié)果如表7所示。 其中, 評(píng)價(jià)內(nèi)容按專業(yè)核心課程名稱列示, 命題專家需要給出每門課程所出試題考查“分析、評(píng)價(jià)、創(chuàng)造”三種能力的權(quán)重, 三種能力權(quán)重合計(jì)為100%。
比較表6和表7中的評(píng)價(jià)目標(biāo)和評(píng)價(jià)內(nèi)容可以發(fā)現(xiàn), 基礎(chǔ)會(huì)計(jì)學(xué)、財(cái)務(wù)會(huì)計(jì)(中級(jí)+高級(jí))、財(cái)務(wù)管理課程試題在“應(yīng)用”能力方面遠(yuǎn)遠(yuǎn)超出了能力大綱標(biāo)準(zhǔn), 而對(duì)“分析、創(chuàng)造”能力的體現(xiàn)較為不足, 財(cái)務(wù)管理課程尤其如此。 成本與管理會(huì)計(jì)、審計(jì)學(xué)課程試題在“分析、評(píng)價(jià)、創(chuàng)造”能力方面與能力大綱標(biāo)準(zhǔn)相同。
一致性研究均起始于試題的微觀分析, 該階段需要由數(shù)量不等的經(jīng)過培訓(xùn)的評(píng)定專家獨(dú)立展開試題分析與匹配, 因而一致性研究實(shí)施過程的主觀性特征非常明顯。 會(huì)計(jì)教育研究人員應(yīng)當(dāng)具備以課程目標(biāo)為依據(jù)設(shè)計(jì)測(cè)試題目進(jìn)行測(cè)評(píng)的能力, 這對(duì)于會(huì)計(jì)教育教學(xué)質(zhì)量的提高至關(guān)重要。 管理部門亦應(yīng)注重對(duì)評(píng)價(jià)方法的研究和評(píng)價(jià)人員的專業(yè)培訓(xùn)。 有研究表明, 即使經(jīng)過相同的培訓(xùn), 不同類型的專家對(duì)于目標(biāo)、評(píng)價(jià)及教學(xué)的分析仍然存在非常明顯的差異[31] 。 在實(shí)際操作過程中, 為縮小專家認(rèn)知差異引起的分析誤差, 可以擴(kuò)大專家的選擇范圍, 例如: 既可以選擇本校教師, 亦可以選擇外校教師甚或?qū)崉?wù)界專業(yè)人士作為命題專家, 新建本科高校還可以選擇成熟的高水平本科院校會(huì)計(jì)類專業(yè)資深專家教授作為命題專家。
2. 測(cè)試結(jié)果分析。
(1)基于Porter一致性指數(shù)的一致性分析。 在評(píng)價(jià)工具一致性得到基本保障的前提下, 一致性分析主要聚焦于評(píng)價(jià)結(jié)果, SEC一致性分析范式可以重點(diǎn)對(duì)期末考試所發(fā)現(xiàn)的學(xué)生在認(rèn)知水平上與課程目標(biāo)一致性偏低或缺乏的問題進(jìn)行矯正[32] 。 Porter和Smithson創(chuàng)造的SEC一致性分析范式[19] 不僅可以測(cè)量評(píng)價(jià)和標(biāo)準(zhǔn)之間的一致性, 還可以用來衡量教學(xué)和評(píng)價(jià)、內(nèi)容標(biāo)準(zhǔn)的一致性[33,34] 。 該分析范式能夠定量分析課程系統(tǒng)內(nèi)如課堂教學(xué)、課程標(biāo)準(zhǔn)、學(xué)業(yè)評(píng)價(jià)、教材等各個(gè)要素之間的吻合程度[7] 。 因此, SEC一致性分析范式是一種可以進(jìn)入課堂教學(xué)“黑匣子”并可借此考察課堂教學(xué)改革成效[34] 的方法。 Blank等[35] 使用SEC一致性分析范式研究了美國(guó)六個(gè)州的教學(xué)與評(píng)估之間的一致性程度; Liu等[36] 將該分析范式應(yīng)用于學(xué)業(yè)評(píng)價(jià)與課程標(biāo)準(zhǔn)的一致性程度研究, 并對(duì)不同國(guó)家和不同學(xué)科之間的一致性進(jìn)行了比較。 SEC一致性分析范式的普適性得益于Porter一致性指數(shù)。 Porter[34] 借鑒布魯姆教育目標(biāo)分類學(xué), 構(gòu)建了由內(nèi)容領(lǐng)域和認(rèn)知水平要求共同組成的二維矩陣, 并創(chuàng)造出一致性指數(shù)(Alignment Index)來計(jì)算一致性程度, Porter一致性指數(shù)的計(jì)算公式如下:
[P=1-i=1n|Xi-Yi|2]
式中: n表示矩陣表格中單元格的總數(shù); i表示表格中一個(gè)特定的值, 范圍從1到n; Xi表示表格X(標(biāo)準(zhǔn)化測(cè)試結(jié)果表)的第i個(gè)值; Yi表示表格Y(標(biāo)準(zhǔn)化測(cè)試大綱表, 見表7)中的第i個(gè)值; Xi-Yi表示測(cè)試結(jié)果表與測(cè)試大綱表的第i個(gè)單元格之間的差異。 對(duì)所有單元格值進(jìn)行標(biāo)準(zhǔn)化處理后, 可以計(jì)算出Porter一致性指數(shù)(P), 該指數(shù)表示標(biāo)準(zhǔn)化測(cè)試結(jié)果和測(cè)試大綱之間的一致性程度, 范圍為0 ~ 1, 1表示完全一致, 0表示不一致。 該指數(shù)的提高說明學(xué)生學(xué)習(xí)成績(jī)提高了。 Porter一致性指數(shù)提升了評(píng)價(jià)的科學(xué)性, 使得不同樣本之間整體的一致性判斷與比較成為可能。 同時(shí), 該范式下的二維矩陣可以自主構(gòu)建, 因而增強(qiáng)了SEC一致性分析范式的包容性, 使其適用范圍擴(kuò)大, 不僅可用于標(biāo)準(zhǔn)、教材、教學(xué)評(píng)價(jià)等教育要素之間的一致性分析, 還可用于不同教育體系下一致性的國(guó)際比較[27] 。
盡管Porter一致性指數(shù)使用了所有單元格上的標(biāo)準(zhǔn)化總差異, 但就內(nèi)容主題和認(rèn)知水平來講, 邊際差異(即每一行和每一列的小計(jì))也可以提供有關(guān)各門課程目標(biāo)和測(cè)試結(jié)果在內(nèi)容主題和認(rèn)知水平之間差異的信息[36] , 可用于進(jìn)行不同課程一致性或不同認(rèn)知能力一致性的分析與評(píng)價(jià), 為后續(xù)課堂教學(xué)的改進(jìn)提供參考。 A校對(duì)278名會(huì)計(jì)學(xué)專業(yè)畢業(yè)生進(jìn)行了學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試, 測(cè)試結(jié)果能力分布如表8所示。
依據(jù)Porter一致性指數(shù)計(jì)算公式和表7、表8中的數(shù)值, 可計(jì)算出A校會(huì)計(jì)學(xué)專業(yè)核心課程學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試與課程目標(biāo)的一致性程度:
P=1-|35.6%-100%|/2=0.68
Porter一致性指數(shù)為0.68, 說明A校會(huì)計(jì)學(xué)專業(yè)學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試結(jié)果與目標(biāo)不完全一致。
進(jìn)一步分析各門課程一致性和各種能力的一致性, 結(jié)果如表9所示。 以基礎(chǔ)會(huì)計(jì)學(xué)一致性、應(yīng)用能力一致性和基礎(chǔ)會(huì)計(jì)學(xué)應(yīng)用能力一致性為例, 其計(jì)算過程如下:
基礎(chǔ)會(huì)計(jì)學(xué)一致性=1-(|8.32%-20%|/2)/20%=0.71
應(yīng)用能力一致性=1-(|11.76%-29%|/2)/29%=0.70
基礎(chǔ)會(huì)計(jì)學(xué)應(yīng)用能力一致性=1-(|4.12%-10%|/2)/10%=0.71
從評(píng)價(jià)內(nèi)容來看, 財(cái)務(wù)會(huì)計(jì)(中級(jí)+高級(jí))一致性最低, 其次是成本與管理會(huì)計(jì);從評(píng)價(jià)目標(biāo)來看, 創(chuàng)造能力一致性最低, 其次是分析能力和評(píng)價(jià)能力一致性, 應(yīng)用能力一致性超出目標(biāo), 說明會(huì)計(jì)學(xué)專業(yè)核心課程的學(xué)習(xí)結(jié)果從知識(shí)深度來看與要求還有較大差距。
(2)基于達(dá)成度的補(bǔ)充分析。 借鑒工程教育專業(yè)認(rèn)證目標(biāo)達(dá)成度的計(jì)算來作進(jìn)一步分析。? A校會(huì)計(jì)學(xué)專業(yè)核心課程不同評(píng)價(jià)目標(biāo)和內(nèi)容的達(dá)成度(測(cè)試結(jié)果實(shí)現(xiàn)測(cè)試大綱的占比=測(cè)試結(jié)果/測(cè)試大綱)如表10所示。
由表10可知, 總體達(dá)成度為35.6%。 在評(píng)價(jià)目標(biāo)方面, 應(yīng)用能力達(dá)成度最高, 為40.55%, 分析、評(píng)價(jià)和創(chuàng)造能力達(dá)成度在33.18% ~ 34.2%之間。 在評(píng)價(jià)內(nèi)容方面, 財(cái)務(wù)管理達(dá)成度最高, 為54.05%, 這與財(cái)務(wù)管理試題所測(cè)試的能力水平偏重于“應(yīng)用”能力有關(guān);基礎(chǔ)會(huì)計(jì)學(xué)、審計(jì)學(xué)試題達(dá)成度分別為41.6%、39%, 較為均衡;成本與管理會(huì)計(jì)達(dá)成度為29.45%;財(cái)務(wù)會(huì)計(jì)(中級(jí)+高級(jí))達(dá)成度最低, 僅為13.9%。 可見, A校會(huì)計(jì)學(xué)專業(yè)核心課程無論是評(píng)價(jià)目標(biāo)還是評(píng)價(jià)內(nèi)容, 總體達(dá)成度不高, 尤其應(yīng)重視財(cái)務(wù)會(huì)計(jì)(中級(jí)+高級(jí))和成本與管理會(huì)計(jì)課程教學(xué)水平的提升, 該分析結(jié)果與Porter一致性指數(shù)分析結(jié)果一致。
四、總結(jié)
通過借鑒布魯姆教育目標(biāo)分類學(xué)和國(guó)際上三種經(jīng)典的課程一致性分析范式, 在構(gòu)建會(huì)計(jì)課程教學(xué)目標(biāo)分類框架的基礎(chǔ)上, 從評(píng)價(jià)工具和評(píng)價(jià)結(jié)果兩方面對(duì)四所本科高校會(huì)計(jì)學(xué)專業(yè)核心課程教學(xué)評(píng)價(jià)與目標(biāo)的一致性進(jìn)行研究, 發(fā)現(xiàn)四所高校會(huì)計(jì)學(xué)專業(yè)核心課程期末考試試題的技術(shù)性、知識(shí)種類一致性、知識(shí)分布平衡性均表現(xiàn)出與課程目標(biāo)較高的一致性, 但知識(shí)深度一致性水平偏低, 普遍缺乏對(duì)“分析、評(píng)價(jià)、創(chuàng)造”等高階能力的測(cè)試。 其中, 新建本科高校A校期末考試低階能力題型占比達(dá)45% ~ 80%, 基于高階能力目標(biāo)的核心課程學(xué)業(yè)水平標(biāo)準(zhǔn)化測(cè)試結(jié)果顯示, Porter一致性指數(shù)僅為0.68, 達(dá)成度為35.6%, 財(cái)務(wù)會(huì)計(jì)(中級(jí)+高級(jí))課程一致性水平最低。 因此, 我國(guó)本科高校會(huì)計(jì)課堂教學(xué)應(yīng)尤其重視學(xué)生高階能力的培養(yǎng)和知識(shí)深度一致性水平的提高, 同時(shí)應(yīng)注重高校學(xué)習(xí)成果評(píng)價(jià)工具的開發(fā)和利用。
【 主 要 參 考 文 獻(xiàn) 】
[1] Bloom Benjamin S.. Taxonomy of educational objectives:Cognitive domain[M].New York:McKay,1956:20 ~ 24.
[2] 段戴平,李廣洲,倪娟.課程一致性:方法比較、問題反思與本土化探尋[ J].中國(guó)教育學(xué)刊,2015(6):73 ~ 78.
[3] L.迪·芬克著.胡美馨,劉穎譯.創(chuàng)造有意義的學(xué)習(xí)經(jīng)歷:綜合性大學(xué)課程設(shè)計(jì)原則[M].杭州:浙江大學(xué)出版社,2006:1 ~ 245.
[4] Eastman C.. Case study:A district using SEC: A vital part of the comprehensive cata analysis process[EB/OL].http://www.ccsso.org/projects/surveys_of_enacted_curriculum/SEC_Resources.,2010-03-10.
[5] Webb N.. Alignment of science and mathematics standards and assessments in four states (Research Monograph No. 18)[Z].Washington,DC: Council of Chief State School Officers,1999.
[6] Rothman R., J. Slattery, J. L. Vranek, L. B. Resnick. Benchmarking and alignment of standards and testing[ J].Educational Assessment,2014(1-2):1 ~ 27.
[7] Porter A. C., Smithson J., Blank R., Zeidner T.. Alignment as a teacher variable[ J].Applied Measurement in Education, 2007(1):27 ~ 51.
[8] 張紅峰.從建構(gòu)到一致:學(xué)習(xí)理論在高等教育領(lǐng)域的發(fā)展與實(shí)踐[ J].中國(guó)高教研究,2012(3):15 ~ 20.
[9] Webb N. L.. Criteria for alignment of expectations and assessments in mathematics and science education[ J].Academic Achievement,1997(11):46.
[10] Herman J. L., Noreen W., Zuniga S.. Alignment and college admissions: The match of expectations, assessments, and educator perspectives(CSE technical report)[ J].Genes & Development, 2003(1):227 ~ 231.
[11] Bhola D. S., Impara J. C., Buckendahl C. W.. Alignment tests with states' content standards:Methods and issues[ J].Educational Measurement Issues and Practice,2003(3):21 ~ 29.
[12] 李志義.中國(guó)工程教育專業(yè)認(rèn)證的“最后一公里”[ J].高教發(fā)展與評(píng)估,2020(3):1 ~ 14.
[13] 高利芳,李慶華,張麗英.會(huì)計(jì)學(xué)專業(yè)發(fā)展的戰(zhàn)略思考——基于AACSB會(huì)計(jì)項(xiàng)目認(rèn)證標(biāo)準(zhǔn)的解讀[ J].財(cái)會(huì)月刊,2017(12):73 ~ 78.
[14] 劉永澤,孫光國(guó).我國(guó)會(huì)計(jì)教育及會(huì)計(jì)教育研究的現(xiàn)狀與對(duì)策[ J].會(huì)計(jì)研究,2004(4):77 ~ 81.
[15] 孫錚,李增泉.會(huì)計(jì)高等教育的改革趨勢(shì)與路徑[ J].會(huì)計(jì)研究,2014(11):3 ~ 15.
[16] 張多蕾,劉永澤,池國(guó)華,況玉書.中國(guó)會(huì)計(jì)教育改革40年:成就、挑戰(zhàn)與對(duì)策[ J].會(huì)計(jì)研究,2019(2):18 ~ 25.
[17] Anderson L. W., Krathwohl D. R., Bloom B. S.. A taxonomy for learning, teaching, and assessing:A revision of Bloom's taxonomy of educational objectives[M].Boston:Allyn & Bacon,2001:1 ~ 384.
[18] Porter A. C., Smithson J. L.. Are content standards being implemented in the classroom? A methodology and some tentative answers. In:S. H. Fuhrmans (ed.), from the capitol to the classroom:Standards-based reform in the States[M].Chicago:National Society for the Study of Education, University of Chicago Press,2001:60 ~ 80.
[19] Porter A. C., Smithson J. L.. Defining, developing, and using curriculum indicators(CPRE research report series)[M].Philadelphia:Consortium for Policy Research in Education,2001:1 ~ 44.
[20] Marzano R. J.. Designing a new taxonomy of educational objectives[M].Thousand Oaks:Corwin Press,2001:1 ~ 163.
[21] Merrill M. D.. Instructional design theory[M].Englewood Cliffs:Educational Technology Publications,1994:1 ~ 97.
[22] Nasstrom G., Henriksson W.. Alignment of standards and assessment:A theoretical and empirical study of methods for alignment[ J].Electronic Journal of Research in Educational Psychology,2008(3):667 ~ 690.
[23] J. P. Keeves. Educational research,methodology, and measurement:An international handbook[M].Cambridge:Pergamon,1997:958 ~ 965.
[24] 何瑛,楊琳,張宇揚(yáng).新經(jīng)濟(jì)時(shí)代跨學(xué)科交叉融合與財(cái)務(wù)管理理論創(chuàng)新[ J].會(huì)計(jì)研究,2020(3):19 ~ 33.
[25] 周守亮,唐大鵬.智能化時(shí)代會(huì)計(jì)教育的轉(zhuǎn)型與發(fā)展[ J].會(huì)計(jì)研究,2019(12):92 ~ 94.
[26] 周達(dá)勇,耿燁,徐穎,徐捍軍.國(guó)家治理視角下的政府會(huì)計(jì)發(fā)展:理論、實(shí)踐與人才培養(yǎng)——第八屆 “政府會(huì)計(jì)改革理論與實(shí)務(wù)研討會(huì)”綜述[ J].會(huì)計(jì)研究,2017(9):93 ~ 95.
[27] 楊玉琴,王祖浩,張新宇.美國(guó)課程一致性研究的演進(jìn)與啟示[ J].外國(guó)教育研究,2012(1):113 ~ 121.
[28] 徐靜.從教學(xué)評(píng)價(jià)走向?qū)W習(xí)結(jié)果評(píng)價(jià)——OECD國(guó)際高等教育學(xué)習(xí)結(jié)果測(cè)評(píng)項(xiàng)目述評(píng)[ J].比較教育研究,2015(10):92 ~ 97.
[29] 吳洪富,韓紅敏.學(xué)生學(xué)習(xí)評(píng)價(jià)的國(guó)際性嘗試:“高等教育學(xué)習(xí)結(jié)果評(píng)價(jià)”解讀[ J].現(xiàn)代教育管理,2016(9):97 ~ 101.
[30] La Marca P. M., Redfield D., Winter P. C., Despriet L.. State standards and state assessment systems:A guide to alignment(Series on standards and assessments)[Z].Washington,DC:Council of Chief State School Officers,2000.
[31] Herman J. J., N. Webb, S. Zuniga. Measurement issues in the alignment of standards and assessments:A case study[ J].Applied Measurement in Education,2007(20):101 ~ 126.
[32] Martone A., S. Sireci. Evaluating alignment between curri-
culum, assessment, and instruction[ J].Review of Educational Research,2009(4):1332 ~ 1361.
[33] Porter A., M. Polikoff, T. Zeidner, J. Smithson. The quality of content analysis of state student achievement tests and content standards[ J].Educational Measurement:Issues and Practice, 2008(4):2 ~ 14.
[34] Porter A. C.. Measuring the content of instruction:Uses in research and practice[ J].Educational Researcher,2002(7):3 ~ 14.
[35] Blank R., Porter A.. New tools for analyzing teaching,? curriculum and standards in mathematics and science[Z].Washington, DC:Council of Chief State School Officers,2001.
[36] Liu X., Fulmer G.. Alignment between the science curriculum and assessment in selected NY state regents exams[ J].Journal of Science Education and Technology,2008(4):373 ~ 383.