馬雪　胡象嶺　鮑建中　王亭亭

摘 要：運用SEC一致性分析方法對2014年濟寧市中考物理試卷與《義務教育物理課程標準（2011年版）》中課程內(nèi)容之間的一致性進行分析。結果表明，物理試卷與課程標準之間的Porter一致性系數(shù)為0.56，低于對應的參考值，兩者的地形圖的分布存在一定差異。從內(nèi)容主題上看，物理試卷并沒有完全覆蓋14個內(nèi)容主題，且在部分內(nèi)容主題上的分布情況與課程標準的要求差距較大。從認知水平上來看，加大了要求達到理解水平的知識在試卷中的比例。總體來看，物理試卷與課程標準兩者之間的一致性程度不夠高。

關鍵詞：中考；物理試卷；課程標準；一致性；SEC一致性分析模式

中圖分類號：G633.7 文獻標識碼：A 文章編號：1003-6148（2015）7-0004-6

1 引 言

課程標準規(guī)定了學生在一段時間之后的學習結果，體現(xiàn)了標準制定者對學生學業(yè)成就的期望。這種期望應當成為學生學習的目標，因此，也應成為評價學生學業(yè)成就狀況的最重要的依據(jù)，也就是說，對學生學業(yè)成就的評價應基于課程標準。而基于課程標準的學業(yè)成就評價的核心在于學業(yè)成就評價與課程標準的一致性。所謂評價與標準的一致性，就是指兩者之間的吻合程度。評價必須與標準保持一致，以保證評價反映課程標準的要求，評價結果能夠體現(xiàn)學生達成課程標準規(guī)定的期望的狀況。那么，如何判斷某一評價（如，初中學業(yè)水平考試）與課程標準的一致性呢？這需要借助關于一致性的分析框架來解決。

20世紀90年代以來，美國全面啟動基于標準的教育改革。在這一背景下，探究學業(yè)評價與課程標準之間的一致性關系，成為美國教育領域重要的研究課題，研究者們提出了眾多評價與課程標準一致性的分析框架，安德魯·波特（Andrew Porter）和約翰·史密森（John Smithson）等人研制的SEC（Surveys of Enacted Curriculum）一致性分析模式[1-3]便是其中的一種，它已成為美國分析學業(yè)評價與課程標準一致性的重要程序和方法。

近年來，SEC模式被介紹到國內(nèi)，并在分析中小學學業(yè)成就評價與課程標準的一致性方面得到運用，如，陳嫻、張寧波等人采用SEC模式分析了中考物理試卷與初中物理課程標準之間的一致性[4，5]。采用該分析模式的首要任務是對內(nèi)容主題與認知水平進行分類，建構合理的分析框架。陳嫻、張寧波等人將內(nèi)容主題劃分為5個：能量、運動和力、電、波、物質的特性，將認知水平按照布盧姆教育目標分類方法劃分為記憶、理解、應用、分析、評價、創(chuàng)造。我們認為，對考試與課程標準一致性進行分析，應以課程標準對內(nèi)容主題、認知水平的劃分為依據(jù)。因此，我們采用課程標準中界定的二級主題和認知水平將初中物理內(nèi)容劃分為14個主題，將認知水平劃分為3個水平，形成了“14×3”的分析框架，并運用到2011—2013年濟寧市中考物理試卷與課程標準一致性的分析中[6]。

本文運用SEC一致性分析模式，采用“14×3”的分析框架對2014年濟寧市中考物理試卷（以下簡稱“物理試卷”）與《義務教育物理課程標準（2011年版）》（以下簡稱“課程標準”）中的“科學內(nèi)容”（以下簡稱“課程內(nèi)容”）的一致性進行分析，期望能對基于標準的中考物理命題提供參考。

2 研究方法

2.1 一致性分析方法

SEC一致性分析模式是從內(nèi)容主題和認知水平兩個維度構建一個分析框架，運用該框架分別對課程標準與試卷進行內(nèi)容分析，形成兩個結構相同的表格。為了便于比較兩個表格，將表格中所有單元格內(nèi)的值都轉化為總和為1的比率值，形成兩個比率表格。這樣，就可根據(jù)兩個比率表格的匹配程度來衡量試卷與課程標準之間的一致性。

衡量試卷與標準的一致性量化指標可用Porter一致性系數(shù)（P），其計算公式如下[1]：

P=1-■（1）

其中，n為單元格的總數(shù)，i代表某個特定的單元格，其取值范圍為從1到n。Xi和Yi分別是兩個比率表格對應的第i個單元格中的數(shù)值，它們都是從0到1的比率值。X1到Xn的總和為1，Y1到Yn的總和也為1。Porter一致性系數(shù)的數(shù)值介于0到1之間，當P=0時表示試卷和課程標準之間的差異最大；當P=1時表示二者之間沒有差異，完全一致。

2.2 研究樣本

本研究選取的樣本是山東省濟寧市2014年高中階段學校招生考試物理試卷，該試卷包括四種題型：選擇題、填空題、實驗與作圖題、計算題，總分是60分。該試卷包含考查實驗探究的題目，這些題目既包括對純粹的實驗性知識（如，滑動變阻器的結構、實驗數(shù)據(jù)是否有效等）的考查，也包括對物理概念、規(guī)律等知識的考查，我們將這類題目中考查物理概念、規(guī)律的部分列入統(tǒng)計范圍，考查實驗性知識的部分未列入統(tǒng)計。該試卷中的個別題目（考查環(huán)保措施），無需任何物理知識就可以解答，這種題目也沒有統(tǒng)計。剔除少量純粹的實驗性知識題目、無物理知識載體的題目后，列入統(tǒng)計范圍內(nèi)的題目總分為53分。

2.3 研究過程

1）首先，對內(nèi)容主題與認知水平進行分類，構建“內(nèi)容主題×認知水平”的二維表格。

在課程標準中，課程內(nèi)容包括“科學探究”和“科學內(nèi)容”兩部分，本研究對內(nèi)容主題進行劃分時只考慮課程內(nèi)容中的“科學內(nèi)容”部分。對內(nèi)容主題的分類采用課程標準中的14個二級主題，這14個主題的序號與名稱見表1。

對認知水平的分類采用課程標準中的分類方法，劃分為3個層次：了解、認識和理解。

由此，得到一個“14×3”的分析框架，構建成“內(nèi)容主題×認知水平”的“14×3”的二維表格。

2）其次，對課程標準中的“科學內(nèi)容”進行內(nèi)容分析，形成課程標準的“內(nèi)容主題×認知水平”的二維表格。

由4名全日制研究生首先各自對課程標準中的“科學內(nèi)容”進行內(nèi)容分析，確定各知識點所屬的內(nèi)容主題和要求達到的認知水平；然后，對于有分歧的地方通過討論、協(xié)商達成共識。

課程內(nèi)容的每個二級主題下都包含若干條“內(nèi)容要求”條目，每個“內(nèi)容要求”條目都規(guī)定了學生需要掌握的知識點和學習該知識點需要達到的認知水平。分析課程內(nèi)容時，將課程標準中的每一條“內(nèi)容要求”條目根據(jù)其包含的內(nèi)容分解成只包含單個知識點的細目，根據(jù)行為動詞判斷其要求達到的認知水平；若同一個知識點的“內(nèi)容要求”條目中有高低不同層次的要求，要分別統(tǒng)計。經(jīng)分析統(tǒng)計得到課程內(nèi)容共有124個知識點，每一個知識點對應不同的認知水平。課程標準中各認知水平的知識點數(shù)目及比率如表1所示，其中，比率值由知識點數(shù)目除以知識點總數(shù)（124）得到。

3）再次，對物理試卷及其評分標準進行內(nèi)容分析，形成物理試卷的“內(nèi)容主題×認知水平”的 二維表格。

由2名全日制研究生和1名初中高級教師獨立分析物理試卷中每一道題目所考查的知識點，確定其對應的內(nèi)容主題、所占的分值以及學生完成該題目時需要達到的認知水平，然后對于有分歧的地方通過討論、協(xié)商達成一致。

對試卷進行內(nèi)容分析時，首先，要確定每個題目考查的知識點、認知水平及所占分值，然后，再確定所考查的知識點所屬的內(nèi)容主題。對于選擇題，如果題干中明確指出了考查的知識點，可根據(jù)題干確定其考查的知識點；如果題干沒有給出所考查的知識點，就要對每一個選項進行分析，確定其所考查的知識點和學生完成該題需要達到的認知水平。例如，該試卷選擇題中的第二題：“小夢從山東省第23屆運動會籌委會獲悉，帆船比賽項目將在美麗的徽山湖舉行。圖1為本屆省運會吉祥物寧寧參加帆船比賽項目的宣傳畫。下列說法中正確的是……”對于填空題，根據(jù)評分標準確定每個空所考查的知識點以及學生完成該空需要達到的認知水平。對于實驗與作圖、計算等綜合性題目，根據(jù)評分標準確定每個小問題或每個解題步驟所考查的知識點、相應的分值以及學生完成該小問題或步驟需要達到的認知水平；有些實驗題或某個實驗題中的一部分實際上是以實驗為背景考查相關的知識，根據(jù)其考查的知識內(nèi)容確定其考查的知識點和認知水平。

物理試卷中各內(nèi)容主題的分值及其比率如表2所示，其中，比率值由分值除以總分（53）得到。

4）在以上工作的基礎上，計算Porter一致性系數(shù)，繪制地形圖比較試卷與課程標準的一致性，繪制直條圖分別從內(nèi)容主題、認知水平兩方面進一步比較試卷與課程標準的一致性。

3 研究結果

3.1 一致性系數(shù)

將表1和表2中的數(shù)據(jù)錄入Excel表格，運用該軟件的函數(shù)功能將Porter一致性指數(shù)的計算公式編輯出來，就可以直接用此公式計算出物理試卷與課程標準之間的一致性系數(shù)。計算得到物理試卷與課程標準的Porter一致性系數(shù)P為0.56。

當波特系數(shù)達到什么范圍，才能說兩者具有統(tǒng)計意義上的顯著的一致性？本文采用美國學者Gavin的思路[7]，利用matlab軟件里的unidrnd函數(shù)[8]，將124個知識點隨機賦值到一個矩陣中，將53分隨機賦值到另一個矩陣中，對兩個矩陣標準化處理后計算出一個值，將這樣的過程重復20000次，就可以得到關于P的正態(tài)分布（見表3）。

表3 關于P的正態(tài)分布的均值、

標準差和95%水平的參考值

■

在這個正態(tài)分布曲線下，要達到0.05水平的統(tǒng)計顯著性，需要P≥0.6605。本研究計算得到的Porter一致性系數(shù)低于95%水平的參考值0.6605，說明物理試卷和課程標準之間不存在統(tǒng)計學意義上的顯著一致性。

3.2 地形圖

用地形圖來表示課程標準（圖1）和物理試卷（圖2）在不同內(nèi)容主題和認知水平上的權重。圖中的1.1～3.6分別表示從“1.1物質的形態(tài)和變化”到“3.6能源與可持續(xù)發(fā)展”14個內(nèi)容主題；白色區(qū)域表示權重小于0.02，黑點區(qū)域表示權重在0.02和0.04之間，水平虛線區(qū)域表示權重在0.04和0.06之間，左斜線區(qū)域表示權重在0.06和0.08之間，右斜線區(qū)域表示權重在0.08和0.10之間，網(wǎng)格區(qū)域表示權重在0.10和0.12之間，橫線區(qū)域表示權重在0.12和0.14之間，豎線區(qū)域表示權重在0.14和0.16之間，黑色區(qū)域表示權重在0.16和0.18之間。

■

圖1 課程標準地形圖

■

圖2 物理試卷地形圖

把圖1和表1聯(lián)系起來，可以說明地形圖是如何表示物理內(nèi)容主題和認知水平的相對權重的。在表1中，我們可以看到，比率值落在0.08和0.10之間的是“1.1物質的形態(tài)和變化”“2.4電和磁”“3.2機械能”“3.4電磁能”四個二級主題里的“了解”水平，因此，圖1中的右斜線區(qū)域就位于“1.1物質的形態(tài)和變化”“2.4電和磁”“3.2機械能”“3.4電磁能”四個二級主題和“了解”的交界處。

從圖1和圖2可以看出，僅有“2.2機械運動和力”“2.3聲和光”“3.3內(nèi)能”三個內(nèi)容主題在“了解”水平上的比例與課程標準基本保持一致，兩個地形圖的總體分布存在較大差異，表明二者之間的一致性程度不夠。

3.3 內(nèi)容主題方面的比較

物理試卷與課程標準在內(nèi)容主題方面的比較結果如圖3所示。

■

圖3 內(nèi)容主題方面的比較

由圖3可知，物理試卷對“2.3聲和光”“3.3內(nèi)能”“3.6能源與可持續(xù)發(fā)展”3個內(nèi)容主題的考查與課程標準的要求基本吻合；對“1.3物質的結構與物體的尺度”“1.4新材料及其應用”“3.5能量守恒”這3個內(nèi)容主題沒有考查；“1.2物質的屬性”“2.2機械運動和力”“3.1能量、能量的轉化和轉移”“3.4電磁能”這4個內(nèi)容主題在試卷中所占的比例均高于課程標準中要求的比例，試卷強化了對這4個內(nèi)容主題的考察； “1.1物質的形態(tài)和變化”“2.1多種多樣的運動”“2.4電和磁”“3.2機械能”4個內(nèi)容主題在試卷中所占的比例均低于其在課程標準中的比例，試卷弱化了對這4個內(nèi)容主題的考察。

3.4 認知水平方面的比較

物理試卷與課程標準在認知水平方面的比較如圖4所示。

■

圖4 認知水平方面的比較

在課程標準中，要求認知層次為“了解”的知識點數(shù)目所占比例最大，其次是“認識”層次，“理解”這一最高層次所占的比例最小。而在物理試卷中，各認知層次所占的比例由大到小依次是“了解”“理解”“認識”。

由圖4可知，試卷中考查到“了解”和“認識”水平的知識點的分值比例均低于物理課程標準的要求；而試卷中考查到“理解”水平的知識點的分值比例明顯高于課程標準要求的比例。由此看來，在認知水平上，物理試卷與課程標準的一致性也不夠。

4 結 論

本研究結果表明，濟寧市2014年中考物理試卷和《義務教育物理課程標準（2011年版）》中的內(nèi)容要求的一致性不夠。二者的Porter一致性系數(shù)為0.56，低于對應的參考值0.6605；物理試卷地形圖和課程標準地形圖的分布存在一定的差異；二者在內(nèi)容主題和認知水平上的側重也有所不同。

一致性是衡量評價與課程標準匹配程度的依據(jù)，是體現(xiàn)國家課程標準執(zhí)行力的指標，評價與課程標準具有高度的一致性，不僅能夠引導評價目標回歸課程標準的內(nèi)在要求，保證評價活動指向學習內(nèi)容標準，還能夠引導教師努力遵循新課程所倡導的基本理念并實施教學。評價與標準一致性的高低是關乎國家課程標準能否得到落實，課程改革能否順利推進的大問題，理應引起中考命題人員與考試管理部門的高度重視。之前的研究表明濟寧市2011—2013年3年中考物理試卷與課程標準中課程內(nèi)容之間的一致性系數(shù)分別為0.590、0.546、0.577[6]，兩者的一致性不高。本研究結果顯示2014年該市中考物理試卷與課程標準的一致性系數(shù)為0.56，一致性依然不高。我們期望這些研究結果引起有關部門、人士的注意，提高該市物理試卷的設計水平。本研究為今后基于課程標準的中考物理命題提供了基于研究的證據(jù)和參考。

課程標準自身是影響評價與課程標準一致性的重要因素。當前，我國義務教育物理課程標準未能發(fā)揮課程標準應有的作用，具體原因可能不少，但課程標準自身存在的問題恐怕也難辭其咎。如，在物理課程標準中把認知水平劃分為“了解”“認識”與“理解”三個層次，課程標準實驗稿對“認識”是這樣規(guī)定的：位于“了解”與“理解”之間。試問“認識”到底是什么？課程標準2011年修訂版索性刪除了對各個學習水平含義的界定。課程標準應包括內(nèi)容標準與表現(xiàn)標準，內(nèi)容標準規(guī)定的內(nèi)容領域應該是具體、清晰的，表現(xiàn)標準應該是具體、明確、合理的，否則，課程標準就喪失了作為評價依據(jù)的作用?！盎跇藴实脑u價”的實現(xiàn)，其先決條件是課程標準應對課程內(nèi)容加以具體化的目標描述。這一點應引起課程標準制定者的足夠重視，我們期待課程標準盡快得到完善。

應該說明的是，本研究結果只具有參考價值。這是因為，首先，盡管一致性是評估試卷是否達到課程標準要求的重要指標，但是，一致性分析只是學業(yè)水平考試質量分析的一個視角，本文并不是對該市物理試卷質量的全面評價。其次，影響評價與課程標準一致性的因素很多[9]，毫無疑問，評價自身的完善程度直接制約一致性，課程標準的合理性、明確性對一致性產(chǎn)生重大影響。除此之外，教育政策、課堂教學、學生成就也是重要影響因素。在研究過程中，我們深深體驗到，課程標準是否“標準”是影響一致性的很重要的因素，課程標準的不明確性給我們的分析造成困擾。如前所述，課程標準中對“認識”這一認知水平并沒有給出明確具體的界定，這就導致在分析試卷時難以確定某知識點考查到什么程度才可以判定為“認識”水平。課程標準中對知識點的描述過于籠統(tǒng)，導致在分析試卷的過程中難以確定一些知識點是否在課程標準所描述的內(nèi)容范疇內(nèi)。再次，SEC一致性分析方法存在一定的局限性。比如，對課程標準進行內(nèi)容分析時，平權地看待內(nèi)容標準的每一個條目（知識點），這樣做未必合理；使用Porter一致性指數(shù)的計算公式只考察了兩個比率表格的匹配程度，而沒有判斷試卷考查的每個具體知識點跟課程標準要求的認知水平的一致性；再如，本研究中對內(nèi)容主題、認知水平的劃分是否合理，剔除試卷中部分考查實驗知識題目的做法對一致性會產(chǎn)生怎樣的影響等，都有待進一步研究。還有，研究者對試卷進行內(nèi)容分析時有一定的主觀性。不同的分析者對同一題目所考查認知水平的確定，受分析者經(jīng)驗和水平的影響而有所差異。

參考文獻：

[1]Porter， A. C. Measuring the content of instruction： Uses in research and practice[J].Educational Researcher，2002，（7）：3.

[2]Porter， A. C.， Smithson， J.， Blank， R. K.， Zeidner， T.. Alignment as a teacher variable[J].Applied Measurement in Education， 2007，（1）： 27.

[3]Liu，X.F.， Zhang， B.H.， Ling， L.L.， Fulmer， G.， Kim， B.， Yuan，H.Q.. Alignment between the physics content standard and the standardized test： A comparison among the United States-New York State， Singapore， and China-Jiangsu[J]. Science Education，2009，（5）：777.

[4]陳嫻，郟璨璨，陳寧.物理內(nèi)容標準與考試之間的一致性研究[J].課程·教材·教法，2010，（7）：67.

[5]張寧波.物理中考試題與內(nèi)容標準的一致性研究[J].物理教師，2012，（8）：1.

[6]孫永超，胡象嶺，張永慶.濟寧市2011—2013年中考物理試卷與課程標準的一致性分析[J].物理教師，2015，（2）：7.

[7]Fulmer，G.W..Estimating critical values for strength of alignment among curriculum， assessments， and instruction[J]. Journal of Educational and Behavioral Statistics. 2011，（6）：381.

[8]劉恩山，盧群，張穎之.2010年高考生物試卷與課程標準的一致性分析[J].基礎教育課程，2010，（9）：61.

[9]崔允漷，王少偉，夏雪梅.基于標準的學生學業(yè)成就評價[M].上海：華東師范大學出版社，2008.

（欄目編輯 趙保鋼）