嚴(yán)和平 徐世娟 張舉成 茍高章

摘要：采用SEC分析模式，從主題內(nèi)容和認(rèn)知水平兩個(gè)維度分析2018年初中化學(xué)學(xué)業(yè)水平考試試題與《義務(wù)教育化學(xué)課程標(biāo)準(zhǔn)（2011年版）》的一致性。數(shù)據(jù)表明：2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題P值為0.7659，小于參考值0.8530。結(jié)果表明：作為本研究樣本的2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題與課程標(biāo)準(zhǔn)之間不具有統(tǒng)計(jì)學(xué)意義上的顯著一致性，且兩者在主題內(nèi)容和認(rèn)知水平上的分布吻合程度均較低。最后對(duì)影響一致性研究的因素進(jìn)行了討論。

關(guān)鍵詞：一致性;課程標(biāo)準(zhǔn);SEC模式;初中化學(xué)學(xué)業(yè)水平考試

文章編號(hào)：1008-0546（2019）10-0031-05 中圖分類號(hào)：G632.41 文獻(xiàn)標(biāo)識(shí)碼：B

doi：10.3969/j.issn.1008-0546.2019.10.008

近年來(lái)，世界各國(guó)普遍推行基于標(biāo)準(zhǔn)的教育改革，我國(guó)于2011年完成了義務(wù)教育化學(xué)課程標(biāo)準(zhǔn)的修訂?！读x務(wù)教育化學(xué)課程標(biāo)準(zhǔn)（2011年版）》（以下簡(jiǎn)稱“課標(biāo)”）是義務(wù)教育階段九年級(jí)化學(xué)課程實(shí)施的指導(dǎo)性文件，它不僅規(guī)定了化學(xué)學(xué)科的課程性質(zhì)、課程基本理念、課程設(shè)計(jì)思路、課程目標(biāo)、課程內(nèi)容、課程實(shí)施建議，而且是教材編寫、教學(xué)、評(píng)估和考試命題的依據(jù)。因此，在新課程改革理念的指導(dǎo)下，作為我國(guó)學(xué)業(yè)評(píng)價(jià)主要體現(xiàn)方式的學(xué)業(yè)水平考試，則必須要以課程標(biāo)準(zhǔn)作為導(dǎo)向與重要依據(jù)，可見(jiàn)“基于課程標(biāo)準(zhǔn)”的教學(xué)研究勢(shì)在必行。在這一改革運(yùn)動(dòng)中，評(píng)價(jià)和課程標(biāo)準(zhǔn)的一致性問(wèn)題引起了廣泛關(guān)注。目前，關(guān)于初中化學(xué)學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性研究論文中，沒(méi)有關(guān)于云南省初中化學(xué)學(xué)業(yè)水平考試與課程標(biāo)準(zhǔn)的一致性研究。筆者選擇從定量的角度對(duì)2018年云南省初中化學(xué)學(xué)業(yè)水平考試試題（以下簡(jiǎn)稱“試題”）與“課標(biāo)”吻合程度進(jìn)行分析，揭示兩者的一致性水平，為命題改進(jìn)提供參考依據(jù)，同時(shí)為云南省初中化學(xué)學(xué)業(yè)水平考試的評(píng)價(jià)工作提供參考依據(jù)。

一、研究對(duì)象和研究工具

1.研究對(duì)象

以云南省2018年初中化學(xué)學(xué)業(yè)水平考試試題為研究對(duì)象，該試卷總分為100，考試時(shí)間90min。全卷四個(gè)大題，共28個(gè)小題，共8頁(yè)。第1卷為選擇題，45分;第Ⅱ卷為非選擇題，55分。第Ⅱ卷設(shè)置填空與簡(jiǎn)答33分、實(shí)驗(yàn)與探究16分、分析與計(jì)算6分，全部試題列入統(tǒng)計(jì)范圍。

2.研究工具

本研究采用美國(guó)威斯康辛教育研究中心研究人員安德魯·波特（Andrew Poter）和約翰·史密森（JohnSmithson）等人研制的Surveys of Enacted Curriculum（以下簡(jiǎn)稱“SEC”）分析模式。

二、研究過(guò)程

1.主題內(nèi)容的確定

主題內(nèi)容的確定與分類主要根據(jù)課標(biāo)和相關(guān)文獻(xiàn)，課標(biāo)將主題內(nèi)容劃分為五大領(lǐng)域，分別是“科學(xué)探究”“身邊的化學(xué)物質(zhì)”“物質(zhì)構(gòu)成的奧秘”“物質(zhì)的化學(xué)變化”和“化學(xué)與社會(huì)發(fā)展”，本研究的“科學(xué)探究”僅包含“學(xué)習(xí)基本的實(shí)驗(yàn)技能”。

2.認(rèn)知水平的確定

參照文獻(xiàn)[9]、[10]，認(rèn)知水平的層次從低到高劃分為“知道”“認(rèn)識(shí)”“理解”三個(gè)層級(jí)。

3.二維矩陣表的構(gòu)建

根據(jù)對(duì)主題內(nèi)容和認(rèn)知水平所做出的標(biāo)準(zhǔn)規(guī)劃，構(gòu)建得到本研究“SEC”分析模式“主題內(nèi)容×認(rèn)知水平”的二維矩陣表，然后對(duì)試題和課標(biāo)分別編碼。

4.研究編碼

（1）課程標(biāo)準(zhǔn)編碼

對(duì)“身邊的化學(xué)物質(zhì)”“物質(zhì)構(gòu)成的奧秘”“物質(zhì)的化學(xué)變化”和“化學(xué)與社會(huì)發(fā)展”“科學(xué)探究”等五個(gè)一級(jí)主題用i進(jìn)行編碼，其中i=1，2，3，4，5;依據(jù)在一級(jí)主題中出現(xiàn)的順序，用i對(duì)二級(jí)主題進(jìn)行編碼，其中i=1，2，3……依據(jù)在二級(jí)主題中出現(xiàn)的順序，用k對(duì)具體目標(biāo)進(jìn)行分編碼，其中k=1，2，3……由此形成課程標(biāo)準(zhǔn)的編碼，例如，“身邊的化學(xué)物質(zhì)”主題中的第二個(gè)二級(jí)主題“水與常見(jiàn)的溶液”下的第9個(gè)具體目標(biāo)“能說(shuō)出一些常見(jiàn)的乳化現(xiàn)象”編碼為1.2.9。同時(shí)，用I、Ⅱ、Ⅲ對(duì)認(rèn)知水平按從低到高的順序進(jìn)行編碼，即I、Ⅱ、Ⅲ分別對(duì)應(yīng)“知道”“認(rèn)識(shí)”和“理解”三個(gè)水平層級(jí)，例如，具體目標(biāo)“能說(shuō)出一些常見(jiàn)的乳化現(xiàn)象”的行為動(dòng)詞為“說(shuō)出”，屬于“知道”水平，故認(rèn)知水平編碼為I。依據(jù)以上編碼原則，編碼者為一位化學(xué)副教授和一位從事中學(xué)化學(xué)教學(xué)十九年的中學(xué)一級(jí)教師，二人對(duì)課程標(biāo)準(zhǔn)獨(dú)立進(jìn)行編碼，編碼得到的數(shù)據(jù)用SPSS軟件處理，計(jì)算皮爾遜（pearson）相關(guān)系數(shù)，結(jié)果見(jiàn)表1。

相關(guān)系數(shù)表明本研究的編碼數(shù)據(jù)具有很好的穩(wěn)定性和可靠性，然后二人對(duì)雙方存在的分歧點(diǎn)一一討論，從而得到最終的編碼數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，結(jié)果見(jiàn)表2。

（2）試卷編碼

依據(jù)文獻(xiàn)[9]、[10]的編碼原則，對(duì)試題按照“主題內(nèi)容×認(rèn)知水平”二維矩陣進(jìn)行編碼，利用sPSs統(tǒng)計(jì)軟件進(jìn)行統(tǒng)計(jì)分析，計(jì)算出皮爾遜（Pearson）相關(guān)系數(shù)，結(jié)果見(jiàn)表3。兩位對(duì)雙方存在的分歧點(diǎn)一一討論，從而得到最終的試卷編碼數(shù)據(jù)，同時(shí)對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，結(jié)果見(jiàn)表4。

5.數(shù)據(jù)統(tǒng)計(jì)分析方法

利用Excel 2007進(jìn)行數(shù)據(jù)統(tǒng)計(jì)分析、SPSS 19.0軟件計(jì)算皮爾遜（Pearson）相關(guān)系數(shù)，采用Matlab軟件進(jìn)行波特（Porter）一致性系數(shù)的計(jì)算。

三、結(jié)果與分析

1.試題與課標(biāo)一致性系數(shù)參考P值計(jì)算

參考Gavin的研究思路，根據(jù)劉恩山等的研究方法，使用Matlab軟件將86個(gè)課程標(biāo)準(zhǔn)主題隨機(jī)賦值到5x3的矩陣中，同樣將試卷總分隨機(jī)賦值到另一5x3的矩陣中，通過(guò)標(biāo)準(zhǔn)化處理得到P值，再對(duì)該程序重復(fù)20000次操作，得到正態(tài)分布P值均值以及95%水平參考P值，如表5所示：

在此正態(tài)分布曲線中，要達(dá)到0.05水平的統(tǒng)計(jì)顯著性：當(dāng)試卷總分為100分時(shí)，需要P大于或等于0.8530;即當(dāng)試卷面總分為100分時(shí)，兩矩陣的波特一致性系數(shù)大于或等于0.8530時(shí)，說(shuō)明它們具有統(tǒng)計(jì)學(xué)意義上的顯著一致性。

2.試題與課標(biāo)一致性P值

把表2和表4中的數(shù)據(jù)代人Porter一致性系數(shù)公式中計(jì)算，得到試題JP值為0.7659，小于參考值0.8530，數(shù)據(jù)表明，作為本研究樣本的試題與課標(biāo)之間不具有統(tǒng)計(jì)學(xué)意義上的顯著一致性。

3.試題內(nèi)容主題的考查情況分析

用表2和表4中各主題內(nèi)容分布比率作圖，結(jié)果見(jiàn)圖1。

圖1表明，試題對(duì)各主題內(nèi)容考查分?jǐn)?shù)的權(quán)重為：身邊的化學(xué)物質(zhì)40.5%、物質(zhì)構(gòu)成的奧秘21.0%、物質(zhì)的化學(xué)變化20.0%、化學(xué)與社會(huì)發(fā)展11.75%、科學(xué)探究6.75%。身邊的化學(xué)物質(zhì)、物質(zhì)的化學(xué)變化這兩個(gè)主題內(nèi)容在“課標(biāo)”中所占權(quán)重分別為37.2%、11.6%，試題對(duì)這兩個(gè)主題內(nèi)容的考查權(quán)重明顯高于課標(biāo)的要求;對(duì)于化學(xué)與社會(huì)發(fā)展和科學(xué)探究這兩個(gè)主題內(nèi)容，在課標(biāo)中所占權(quán)重分別為18.6%和11.6%，試題對(duì)這兩個(gè)主題內(nèi)容的考查權(quán)重明顯低于課標(biāo)的要求;在物質(zhì)構(gòu)成的奧秘這一主題內(nèi)容，試題對(duì)其考查權(quán)重與課標(biāo)的要求基本一致?？傮w來(lái)看，試題對(duì)課標(biāo)中要求的五個(gè)主題內(nèi)容都有所考查，但對(duì)身邊的化學(xué)物質(zhì)這個(gè)主題內(nèi)容的考查明顯高于其他四個(gè)主題內(nèi)容，是學(xué)業(yè)水平考試的重點(diǎn)內(nèi)容。

4.試題認(rèn)知水平的考查情況分析

用表2和表4中各認(rèn)知水平分布比率作圖，結(jié)果見(jiàn).圖2。

從圖2可知，試題對(duì)各認(rèn)知水平考查分?jǐn)?shù)的權(quán)重是：知道43.75%、認(rèn)識(shí)40.0%、理解16.25%。課標(biāo)對(duì)認(rèn)識(shí)水平的要求權(quán)重最大，其次是知道，對(duì)理解水平的要求最小。在認(rèn)知水平的設(shè)置上，試題和課標(biāo)對(duì)理解水平的權(quán)重都是最小的，對(duì)知道和認(rèn)識(shí)水平的權(quán)重都較大。在知道和理解水平上，試題分布比率明顯大于課標(biāo)，而在認(rèn)識(shí)水平上，試題分布比率小于課標(biāo)。總體來(lái)看，試題對(duì)知識(shí)點(diǎn)的考查主要集中在知道和認(rèn)識(shí)水平的較低層級(jí)上。

5.試題差異性分析

（1）試題主題內(nèi)容上的差異性分析

以試題表4與課標(biāo)表2的各主題內(nèi)容比率差值為縱坐標(biāo)，各主題內(nèi)容為橫坐標(biāo)作圖，得到試題和課標(biāo)在各主題內(nèi)容的比率差值柱狀圖，如圖3所示。

從圖3可以看出，與課標(biāo)比較，試題對(duì)各主題內(nèi)容的考查有偏差。試卷與課標(biāo)在各主題內(nèi)容的比率絕對(duì)差值在0.001-0.084區(qū)間。其中，對(duì)物質(zhì)的化學(xué)變化和身邊的化學(xué)物質(zhì)兩個(gè)主題內(nèi)容的考查要求超過(guò)課標(biāo)，對(duì)化學(xué)與社會(huì)發(fā)展和科學(xué)探究?jī)蓚€(gè)主題內(nèi)容的考查低于課標(biāo)，物質(zhì)構(gòu)成的奧秘主題內(nèi)容的考查與課標(biāo)要求相對(duì)吻合。在吻合度低的四個(gè)主題內(nèi)容中，物質(zhì)的化學(xué)變化這個(gè)主題內(nèi)容的考查超標(biāo)8.4%，化學(xué)與社會(huì)發(fā)展主題內(nèi)容的考查降低6.85%，是導(dǎo)致試題與課標(biāo)一致性不夠的主要因素。

（2）試題認(rèn)知水平上的差異性分析

以試題表4與課標(biāo)表2的認(rèn)知水平比率差值為縱坐標(biāo)，各認(rèn)知水平為橫坐標(biāo)作圖，得到試題和課標(biāo)在各認(rèn)知水平的比率差值柱狀圖，如圖4所示。

從圖4可以看出，與課標(biāo)比較，試題對(duì)各認(rèn)知水平的考查有偏差。試卷與課標(biāo)在各認(rèn)知水平的比率絕對(duì)差值在0.0305-0.077區(qū)間。其中，對(duì)知道和理解水平的考查超過(guò)課標(biāo)要求，對(duì)認(rèn)識(shí)水平的考查低于課標(biāo)要求，且在三個(gè)認(rèn)知水平中，認(rèn)識(shí)水平的考查降低了7.7%，是三個(gè)認(rèn)知水平中差異絕對(duì)值最大的一個(gè)，也是導(dǎo)致試題與課標(biāo)一致性不夠的主要因素。

四、結(jié)論與討論

1.結(jié)論

（1）試題和課標(biāo)不具有統(tǒng)計(jì)學(xué)意義上的顯著一致性。

利用“SEC”分析模式對(duì)試題與課標(biāo)的一致性進(jìn)行分析和統(tǒng)計(jì)，結(jié)果顯示試題P值為0.7659，小于參考值0.8530，表明試題與課標(biāo)之間不具有統(tǒng)計(jì)學(xué)意義上的顯著一致性。

（2）試題與課標(biāo)在主題內(nèi)容上的分布吻合程度較低。

試題與課標(biāo)在主題內(nèi)容一致性水平上有一定差異。主要特征為：試題加大了對(duì)物質(zhì)的化學(xué)變化和身邊的化學(xué)物質(zhì)兩個(gè)主題的考查力度，降低了對(duì)化學(xué)與社會(huì)發(fā)展和科學(xué)探究?jī)蓚€(gè)主題的考查力度。

（3）試題與課標(biāo)在認(rèn)知水平上的分布吻合程度較低。

試題與課標(biāo)在認(rèn)知水平上的分布上有一定差異。主要特征為：試題加大了對(duì)知道和理解兩個(gè)水平的考查力度，降低了對(duì)認(rèn)識(shí)水平的考查力度。

2.討論

影響試題與課標(biāo)一致性的因素是多方面的，筆者結(jié)合自己的研究經(jīng)歷、相關(guān)文獻(xiàn)，將影響一致性的因素歸納如下：

（1）課程標(biāo)準(zhǔn)的主題內(nèi)容表述因素

部分試題在課標(biāo)中不能找到很好的主題內(nèi)容歸屬。例如：試題第II卷（非選擇題）中的第22題的第①小題，題目如下：

本題在課本上的出處屬于第六單元《碳和碳的氧化物》中課題1“金剛石、石墨和C60”，第107頁(yè)明確書寫“石墨可用于制鉛筆芯”。當(dāng)筆者把本題考查的知識(shí)點(diǎn)歸入課標(biāo)的主題內(nèi)容時(shí)，在課標(biāo)中，“金剛石、石墨和C60”的學(xué)習(xí)情境素材在“三、物質(zhì)構(gòu)成的奧秘”中“（一）化學(xué)物質(zhì)的多樣性”，標(biāo)準(zhǔn)表述如圖6所示：

在標(biāo)準(zhǔn)中，從1-4條的敘述可以看出，要把試題第22題中的第①小題歸人“物質(zhì)構(gòu)成的奧秘”主題內(nèi)容中是不妥的。筆者翻閱了課標(biāo)所有的主題內(nèi)容，把試題歸入其他主題內(nèi)容也頗為不妥，因此，有待于對(duì)課標(biāo)的表述進(jìn)行細(xì)化。

（2）構(gòu)建二維矩陣分析表的原則性

不同的研究人員對(duì)科學(xué)探究主題內(nèi)容的劃分不盡相同。科學(xué)探究主題中的“（一）增進(jìn)對(duì)科學(xué)探究的理解”主要是體驗(yàn)性目標(biāo)，由于體驗(yàn)性目標(biāo)更適合用表現(xiàn)性評(píng)價(jià)等方式進(jìn)行檢測(cè)，紙筆測(cè)驗(yàn)難以對(duì)其進(jìn)行檢測(cè)，所以對(duì)體驗(yàn)性目標(biāo)不予考慮。文獻(xiàn)[9]認(rèn)為：科學(xué)探究主題中的“（一）增進(jìn)對(duì)科學(xué)探究的理解、（二）發(fā)展科學(xué)探究能力”所包含的目標(biāo)內(nèi)容在課標(biāo)中沒(méi)有明確的行為動(dòng)詞分類指標(biāo)，所以對(duì)于科學(xué)探究這個(gè)一級(jí)主題只把“學(xué)習(xí)基本的實(shí)驗(yàn)技能”和“完成基礎(chǔ)的學(xué)生實(shí)驗(yàn)”這兩個(gè)二級(jí)主題納入二維分析表的主題內(nèi)容這個(gè)維度里。文獻(xiàn)[10]指出，身邊的化學(xué)物質(zhì)、物質(zhì)構(gòu)成的奧秘、物質(zhì)的化學(xué)變化和化學(xué)與社會(huì)發(fā)展四個(gè)主題或多或少包含著與實(shí)驗(yàn)相關(guān)的具體目標(biāo)，科學(xué)探究主題則集中了大部分有關(guān)實(shí)驗(yàn)的具體目標(biāo)，所以將“與實(shí)驗(yàn)基礎(chǔ)相關(guān)的具體目標(biāo)”納入科學(xué)探究主題，并重新命名為科學(xué)探究與實(shí)驗(yàn)基礎(chǔ)?？茖W(xué)探究與實(shí)驗(yàn)基礎(chǔ)中“增進(jìn)對(duì)科學(xué)探究的理解”主要是體驗(yàn)性目標(biāo)，“完成基礎(chǔ)的學(xué)生實(shí)驗(yàn)”目標(biāo)缺乏行為動(dòng)詞修飾，且過(guò)于籠統(tǒng)，故文獻(xiàn)[10]對(duì)科學(xué)探究與實(shí)驗(yàn)基礎(chǔ)主題中的“增進(jìn)對(duì)科學(xué)探究的理解”和“完成基礎(chǔ)的學(xué)生實(shí)驗(yàn)”兩個(gè)二級(jí)主題不予考慮。

筆者依據(jù)對(duì)課標(biāo)和教材內(nèi)容的理解，結(jié)合參考文獻(xiàn)[9]、[10]的觀點(diǎn)，將與“（四）完成基礎(chǔ)的學(xué)生實(shí)驗(yàn)”相關(guān)的具體目標(biāo)納入其余四個(gè)主題，科學(xué)探究主題僅僅包含“（三）學(xué)習(xí)基本的實(shí)驗(yàn)技能”，將科學(xué)探究主題的內(nèi)容分列如表6：

從表6可以看出，在構(gòu)建二維矩陣分析表時(shí)，不同的研究者對(duì)科學(xué)探究主題的處理是不相同的，這將會(huì)影響試題在歸屬時(shí)各主題內(nèi)容的分值，也就會(huì)影響試題與課標(biāo)的一致性。

運(yùn)用sEc分析模式，通過(guò)構(gòu)建二維矩陣分析表，使用Porter一致性系數(shù)作為衡量依據(jù)，以量化的方法從統(tǒng)計(jì)學(xué)的角度順利完成了試題與課標(biāo)的一致性研究。當(dāng)然，本研究也有不夠完善之處，從上述討論中可以看出，細(xì)化課程標(biāo)準(zhǔn)、構(gòu)建針對(duì)我國(guó)初中義務(wù)教育化學(xué)學(xué)科的本土化一致性分析工具，都具有重要的意義。