朱晨菲 孫 浩 鮑建生

(華東師范大學(xué)數(shù)學(xué)科學(xué)學(xué)院 200241)

1 問題提出

近年來，數(shù)學(xué)問題解決一直是國(guó)際測(cè)試項(xiàng)目中最重要的命題趨向，我國(guó)國(guó)家和省級(jí)學(xué)業(yè)水平測(cè)試中這類試題也在逐步加入.關(guān)于問題解決能力的評(píng)價(jià)，各類國(guó)際測(cè)試項(xiàng)目大多是通過同時(shí)對(duì)解答結(jié)果正確程度的判斷和解答過程涉及能力成分的評(píng)價(jià)來進(jìn)行綜合評(píng)估[1].隨著我國(guó)《普通高中數(shù)學(xué)課程標(biāo)準(zhǔn)(2017年版)》(下稱“《標(biāo)準(zhǔn)》”)的頒布，數(shù)學(xué)學(xué)科核心素養(yǎng)的內(nèi)涵和水平體系被確定.《標(biāo)準(zhǔn)》同時(shí)指出，“要開發(fā)合理的評(píng)價(jià)工具，將知識(shí)技能的掌握與數(shù)學(xué)學(xué)科核心素養(yǎng)的達(dá)成有機(jī)結(jié)合”并以案例的形式表明了核心素養(yǎng)在問題解決中的可測(cè)性[2].所以，建立指向數(shù)學(xué)核心素養(yǎng)測(cè)評(píng)并兼顧雙基達(dá)成的問題解決評(píng)價(jià)方案是當(dāng)前的重要任務(wù).

2 評(píng)價(jià)方案的國(guó)際經(jīng)驗(yàn)述評(píng)

本研究中的問題解決特指?jìng)€(gè)體學(xué)生在某一較短時(shí)間內(nèi)展開的、需連續(xù)完成的、不參考其他資料的問題解決.這類試題的評(píng)價(jià)方案通常同時(shí)包括對(duì)題目本身特征的編碼方法和對(duì)學(xué)生解答的評(píng)價(jià)方法.

2.1 題目特征的編碼方法

在大規(guī)模測(cè)試中，題目特征的編碼由對(duì)題目本身特征的客觀標(biāo)記和經(jīng)專家確定的標(biāo)記組成.客觀特征的標(biāo)記便于將題目恰當(dāng)放入題庫(kù)的對(duì)應(yīng)位置及快速提?。粚＜掖_定的標(biāo)記便于將學(xué)生的解答水平與專家確定的期望水平對(duì)照.對(duì)于指定年級(jí)的題目，PISA2012標(biāo)記的維度最多，包括：作答方式、考查形式、內(nèi)容、認(rèn)知過程、情境、期望難度六個(gè)[3]；TIMSS2015標(biāo)記了上述的第二至四項(xiàng)[4]；NAEP2015則標(biāo)記了后四項(xiàng)[5].值得一提的是，三項(xiàng)測(cè)試在認(rèn)知過程上的分類差異較大，PISA2012分為數(shù)學(xué)化、應(yīng)用、闡釋；TIMSS2015分為知道、應(yīng)用和推理，并在各類別中又進(jìn)行了層次由低到高的若干二級(jí)分類；NAEP2015則分為了概念理解、操作性知識(shí)、問題解決三類.

2.2 學(xué)生解答的評(píng)價(jià)方法

2.2.1分析方式

評(píng)價(jià)學(xué)生的解答之前需要規(guī)定對(duì)解答的分析方式，從不同項(xiàng)目的操作過程來看，主要有三種類型：作為常規(guī)解答題最常見評(píng)價(jià)方式的分步計(jì)分法易于操作且不容易產(chǎn)生評(píng)分者偏差.但因過于強(qiáng)調(diào)各結(jié)論出現(xiàn)的順序性和完整性，從而忽略了解答策略的差異性和思維過程的曲折性.等級(jí)描述法[6]的本質(zhì)是質(zhì)性評(píng)價(jià)，它將可能產(chǎn)生的解答分為若干水平并描述各水平的表現(xiàn)特征再將學(xué)生解答匹配至最接近的水平.這樣做改變了單一的量化模式，彰顯了不同解答的內(nèi)在意義和思維層次，但常會(huì)因描述的不夠清晰而影響評(píng)分者的判斷.維度分析法目前使用廣泛，尤其是在開放性問題解決上.它先將正確解答劃分為若干維度，再由專家評(píng)定各維度權(quán)重并設(shè)計(jì)得分量表，繼而給學(xué)生的解答評(píng)分[7].該方法既評(píng)價(jià)了解答本身也挖掘了背后的思維意義，但由于依賴于專家的認(rèn)知進(jìn)行規(guī)定，常遭到不夠客觀的批評(píng).

2.2.2評(píng)價(jià)維度

在近年來的大規(guī)模測(cè)試中，有的項(xiàng)目通過依次評(píng)價(jià)學(xué)生對(duì)所有題目的解答來判別問題解決能力的總體水平，有的僅評(píng)估學(xué)生對(duì)于單個(gè)題目的解答表現(xiàn).

(1)總體評(píng)價(jià)型

這種類型的操作方式是將學(xué)生的解答按正確程度和達(dá)到的能力水平逐題評(píng)分，得出解答總分后確定個(gè)體問題解決能力的綜合水平.各類測(cè)試中能力水平的劃分有所區(qū)別：PISA2012劃分為溝通、表征、數(shù)學(xué)化、推理和論證、分析和解決問題、使用數(shù)學(xué)語言并運(yùn)算、使用數(shù)學(xué)工具七類[8]；TIMSS2015劃分為知道、應(yīng)用、推理三類[9]；NAEP2015則是推理、聯(lián)結(jié)、交流[5].由上可知，這幾項(xiàng)測(cè)試都認(rèn)為問題解決能力的高低與特定問題中所涉及能力的表現(xiàn)水平有關(guān).換句話說，它們都有兩個(gè)基本假設(shè)：其一，在特定問題的解決過程中，學(xué)生能夠表現(xiàn)出能力成分的不同水平；其二，由若干能力的表現(xiàn)水平可以建構(gòu)出學(xué)生整體的問題解決能力.

(2)單題評(píng)價(jià)型

這類評(píng)價(jià)的目的是按不同維度對(duì)學(xué)生單題的解答情況進(jìn)行全面洞察，力求盡可能多地挖掘關(guān)于解答的結(jié)果和過程的意義.從維度劃分上說，QUASAR用數(shù)學(xué)內(nèi)容、認(rèn)知過程和表征類型三個(gè)維度將解答進(jìn)行劃分[10]；KOM重點(diǎn)關(guān)注解答過程使用通用能力的覆蓋度、行動(dòng)半徑和技術(shù)水平[11]；匈菲爾德著重用策略的使用頻率與數(shù)目、程度、成功度來刻畫評(píng)價(jià)解答過程中的思維傾向及程度[10].從水平劃分的依據(jù)來說，除匈菲爾德關(guān)于數(shù)量多少的編碼是量化的以外，其他的都是將解答與質(zhì)性描述相匹配.

2.2.3編碼方法

隨著對(duì)評(píng)價(jià)研究的深入，在對(duì)學(xué)生解答的記錄上，近年來的大規(guī)模測(cè)試通常采用雙位編碼制[12].雙位編碼的首位數(shù)字一般是對(duì)解答正確性的判斷，有時(shí)還包括對(duì)思維傾向或能力層次的判斷，這個(gè)編碼可以直接代表得分也可以后期轉(zhuǎn)化為得分.次位的診斷性編碼是對(duì)學(xué)生解答方法或錯(cuò)誤類型的標(biāo)記，不用于計(jì)分，而是用于確定解答過程的特征以便進(jìn)行分析與比較.這種編碼方法力求全面刻畫解答特征的理念，為精準(zhǔn)評(píng)價(jià)問題解決的過程帶來了革新，擴(kuò)展了評(píng)價(jià)的功能，部分地實(shí)現(xiàn)了過程性評(píng)價(jià).但是，它也存在著一些力所不能及.其一，“雙位”仍不足以區(qū)分某些本質(zhì)不同的解答情形.比如，00常被用于表示所有未被具體編碼的答案，既適用于完全錯(cuò)誤的答案，也適用于方法正確但計(jì)算完全錯(cuò)誤的情況，還用于標(biāo)識(shí)學(xué)生寫下“這道題太難了”等的情況.其二，“雙位”無法獨(dú)立定位能力的不同水平.盡管在維度中有對(duì)于能力及其層次的劃分，但編碼時(shí)由于數(shù)位限制卻只能將之與解答的正確程度并行考慮.其三，“雙位”不能評(píng)估具有同樣正確程度但使用不同思維層次解題策略的解答.綜上，盡管雙位編碼制的確是評(píng)價(jià)研究上的進(jìn)步，但是仍可以基于其理念進(jìn)一步擴(kuò)展其實(shí)施方法.

3 評(píng)價(jià)方案的構(gòu)建與分析

基于以上論述，在汲取了已有方案的可取之處、舍棄了其中的不完善方面后，嘗試規(guī)避日常評(píng)價(jià)中的若干問題，考慮到可操作性與評(píng)價(jià)效率，結(jié)合《標(biāo)準(zhǔn)》的要求與案例，設(shè)計(jì)了指向于數(shù)學(xué)核心素養(yǎng)測(cè)評(píng)的評(píng)價(jià)方案.接著，開展了多次的小范圍實(shí)驗(yàn)，在梳理實(shí)驗(yàn)結(jié)果并聽取多位專家意見后對(duì)初期方案進(jìn)行了修正，得到了如下的方案：

3.1 題目特征的編碼框架及其操作方法

表1 題目特征的編碼框架

本部分的編碼方案分為客觀編碼與專家編碼.客觀編碼共分為四位，只需要識(shí)別題目包含內(nèi)容的大致領(lǐng)域和問題的可能取向就能夠進(jìn)行劃分，各位次的不同數(shù)字只表示不同類別.這部分編碼的意義在于對(duì)題目進(jìn)行定位和歸類，即：一是通過讀取此編碼就可以了解題目的基本特征；二是將題目按此編碼后放入試題庫(kù)的恰當(dāng)位置，當(dāng)需要某類題目時(shí)就能快速提?。蝗强梢詫?duì)編碼相同的題目進(jìn)行聚類研究.

專家編碼需要學(xué)科專業(yè)研究和評(píng)價(jià)人員在對(duì)與思維層次有關(guān)理論和對(duì)《標(biāo)準(zhǔn)》中核心素養(yǎng)體系理解的基礎(chǔ)上，結(jié)合對(duì)不同解答方法的把握來給出本題關(guān)于方法表現(xiàn)和素養(yǎng)表現(xiàn)的描述.具體地，方法水平需要專家針對(duì)每個(gè)題目綜合考慮不同因素具體地描述三個(gè)水平在本題的表現(xiàn)并給出期望水平；各素養(yǎng)的水平參照《標(biāo)準(zhǔn)》中的描述，專家只需給出本題的期望水平及對(duì)應(yīng)理由.另外，因?qū)λ仞B(yǎng)的考查本質(zhì)上不是一個(gè)量化研究，因此四個(gè)權(quán)重等級(jí)的劃分不具有嚴(yán)格的數(shù)學(xué)意義，而是對(duì)涉及程度多少的等級(jí)描述，可理解為“全部、較多、一般、較少”.專家編碼除了與客觀編碼一樣具備定位和歸類的功能以外，主要指向?qū)W生問題解決的過程性評(píng)價(jià).因?yàn)閷W(xué)生的解答可視作是由各能力成分綜合而得的外顯性表現(xiàn)，故通過對(duì)過程中相關(guān)能力成分的分析來尋找影響學(xué)生問題解決能力的潛在因素是可行的.在上文中，曾得到這樣的基本假設(shè)：數(shù)學(xué)核心素養(yǎng)的高低影響著問題解決能力，方法水平的高低反映了問題解決能力，因此本方案需要專家確定的兩個(gè)維度是方法水平和素養(yǎng)水平.之所以沒有以建模階段為序來逐段評(píng)價(jià)，一是因?yàn)楸狙芯恐薪缍ǖ膯栴}解決不完全等同于數(shù)學(xué)建模；二是因?yàn)閷W(xué)生問題解決的過程不是線性的，依序模式忽視了思維的曲折性及元認(rèn)知的作用，某階段所規(guī)定的某個(gè)指標(biāo)可能因個(gè)體差異而在其他階段出現(xiàn)；三是依序模式無法對(duì)學(xué)習(xí)指導(dǎo)提供有針對(duì)性的導(dǎo)向，造成某階段表現(xiàn)不佳的因素可能有很多，不聚焦于某個(gè)因素將降低教學(xué)補(bǔ)償?shù)挠行?

3.2 學(xué)生解答的評(píng)價(jià)框架及其操作方法

表2 學(xué)生解答的評(píng)價(jià)框架

注：“計(jì)分”中單題總分以10分計(jì)，其他總分按此比例換算.

本部分分為評(píng)分方法與診斷方法兩個(gè)類別.前者一方面用于評(píng)估學(xué)生解答的實(shí)際表現(xiàn)并計(jì)分；另一方面用于揭示學(xué)生解答過程中思維和素養(yǎng)的特征，從而有助于個(gè)體能力建模和群體能力聚類.后者采用雙位編碼制的理念標(biāo)識(shí)解答方法的類型，不僅是對(duì)前者的補(bǔ)充，也是對(duì)同類題目解答特點(diǎn)的歸類，可供給進(jìn)一步的研究分析和展開指向明確的學(xué)習(xí)指導(dǎo).

評(píng)分方法在維度劃分上分為方法表現(xiàn)、素養(yǎng)表現(xiàn)、雙基表現(xiàn)三個(gè)部分，前兩項(xiàng)與題目特征編碼方法中專家編碼的兩個(gè)維度一致，水平中增加了“低于復(fù)制”和“低于水平一”是用于標(biāo)識(shí)未達(dá)到最低水平的情形.雙基表現(xiàn)指對(duì)基礎(chǔ)知識(shí)和基本技能的表現(xiàn)，這一維度的加入是因?yàn)楹侠斫獯鸱桨傅墨@得以對(duì)數(shù)學(xué)知識(shí)的正確理解為基礎(chǔ)，以技能的正確操作為保障.在方法表現(xiàn)水平與素養(yǎng)表現(xiàn)水平的確定上，以專家制定的等級(jí)描述為依據(jù)，通過學(xué)生實(shí)際表現(xiàn)與各水平描述的比較，找到最匹配的一項(xiàng)從而判定學(xué)生解答的水平.本方案中，對(duì)解答正確程度的考查分布在了方法表現(xiàn)與雙基表現(xiàn)兩個(gè)維度中：在方法表現(xiàn)中只考慮其所代表思考方案本身的正確程度，而將思考方案付諸實(shí)施時(shí)的實(shí)際成功程度屬于雙基表現(xiàn)的范疇.分離方法與雙基兩個(gè)成分對(duì)解答正確程度的影響，一方面是為了明確學(xué)生產(chǎn)生錯(cuò)誤的原因從而使教學(xué)補(bǔ)償更為精準(zhǔn)，另一方面是由于方法的正確程度比雙基的正確程度更能體現(xiàn)學(xué)生的問題解決能力，二者的分離使得能力高低的指示更為清晰.

當(dāng)將評(píng)分編碼轉(zhuǎn)換為具體得分時(shí)，本方案力求使得所得總分的高低盡量能表明學(xué)生問題解決能力的高低.計(jì)分方法制定的原則有三條：其一，基于上文假設(shè)，學(xué)生的方法表現(xiàn)和素養(yǎng)表現(xiàn)比雙基表現(xiàn)更能夠測(cè)評(píng)學(xué)生的問題解決能力；其二，對(duì)于素養(yǎng)和方法的計(jì)分，需符合《標(biāo)準(zhǔn)》中案例的滿意原則和加分原則；其三，需考慮到不同素養(yǎng)在解答中的權(quán)重.于是，在分值的分配上就體現(xiàn)出三個(gè)特點(diǎn)：第一，前兩維度分值大于第三個(gè)維度；第二，按0、1、2、3分分別賦值給方法表現(xiàn)和素養(yǎng)表現(xiàn)中的四種情形；第三，對(duì)素養(yǎng)表現(xiàn)計(jì)分時(shí)，將權(quán)重量化計(jì)分.

4 評(píng)價(jià)方案的實(shí)施案例

4.1 試題呈現(xiàn)

某地規(guī)定未設(shè)電梯的多層既有住宅可增設(shè)電梯.在增設(shè)前，全體住戶需就增設(shè)電梯工程費(fèi)用分?jǐn)偡桨高_(dá)成書面協(xié)議.小明家所住樓房總共七層，每層兩戶，每戶都有人居住.

以下是一些相關(guān)信息：

(1)工程費(fèi)用：除去政府補(bǔ)貼，增設(shè)一部電梯還需44萬元，此費(fèi)用由住戶承擔(dān).

(2)住戶差異：①低層住戶無需或較少使用電梯，且安裝電梯后會(huì)不同程度影響其生活；②同一樓層的兩套房屋中，一套90m2，一套60m2.

(3)房屋均價(jià)：①未安裝電梯時(shí)，該樓房均價(jià)3萬元/m2；②增設(shè)電梯后，房?jī)r(jià)會(huì)有升有降，但比相同情況下的非電梯房最多上升10%.

請(qǐng)選擇合適信息，結(jié)合可能存在的其他因素，為該樓房設(shè)計(jì)增設(shè)電梯工程費(fèi)用分?jǐn)偡桨覆㈥U述方案的合理性.

4.2 評(píng)價(jià)方案呈現(xiàn)

本題命題后經(jīng)多位專業(yè)人員(教授、教研員、中考命題人、教師)修改并確定了采用上文所構(gòu)建方案制定的本題評(píng)價(jià)方法，之后在南京市城市、農(nóng)村各一所學(xué)校的初二年級(jí)實(shí)施了共計(jì)267個(gè)樣本的測(cè)試并評(píng)價(jià)了每份答卷.現(xiàn)將本題評(píng)價(jià)的實(shí)施方法呈現(xiàn)如下：

4.2.1題目特征的編碼方法

表3 案例中題目特征的編碼方法

續(xù)表

4.2.2學(xué)生解答的評(píng)價(jià)示例

以下通過幾則示例來部分地呈現(xiàn)對(duì)具體學(xué)生解答的評(píng)價(jià)方法及其實(shí)施.因診斷編碼只包含序號(hào)，故此處未呈現(xiàn).

(1)示例一

表4 示例一的評(píng)價(jià)方法

(2)示例二

表5 示例二的評(píng)價(jià)方法

續(xù)表

(3)示例三

表6 示例三的評(píng)價(jià)方法

5 討論與展望

5.1 討論

本方案指向于評(píng)價(jià)學(xué)生的問題解決能力，評(píng)價(jià)目標(biāo)多元、評(píng)價(jià)方式多樣，既考查了素養(yǎng)水平，也診斷了思維層次，還分析了雙基能力、定位了方法類型，能夠?qū)崿F(xiàn)對(duì)問題解決結(jié)果與過程的綜合評(píng)價(jià)，并力求借此評(píng)價(jià)個(gè)體學(xué)習(xí)者在以雙基能力為底部支撐、核心素養(yǎng)為中堅(jiān)力量、思維能力為最高層次的數(shù)學(xué)能力體系中的不同表現(xiàn)水平.

本方案吸收了PISA、TIMSS等測(cè)試項(xiàng)目中對(duì)于數(shù)學(xué)能力、思維水平、問題解決能力之間關(guān)系的假設(shè)并有選擇地參考了它們?cè)诳陀^編碼、方法水平方面的劃分，依據(jù)了《標(biāo)準(zhǔn)》中數(shù)學(xué)學(xué)科核心素養(yǎng)體系進(jìn)行了素養(yǎng)水平的匹配，適當(dāng)保留了傳統(tǒng)評(píng)分方法中的部分操作，基于雙位編碼制的理念分離了解題過程中方法層次與類型、素養(yǎng)水平、雙基能力三種成分對(duì)于獲取完善解答的影響并嘗試量化了這些影響.

上述基于方案的案例，一方面通過方法水平在個(gè)體題目中的描述和核心素養(yǎng)的測(cè)評(píng)應(yīng)用于實(shí)際情境時(shí)的細(xì)化方式指示了本方案的具體操作方法，從而進(jìn)一步闡釋了方案的合理性；另一方面用三個(gè)不同水平的評(píng)價(jià)示例展現(xiàn)了具體評(píng)價(jià)過程，由此說明了方案實(shí)施的可行性與公平閱卷的可能性.

5.2 展望

本方案對(duì)不同群體都有意義，有利于達(dá)成教、學(xué)、評(píng)的一致性.對(duì)學(xué)生而言，此方案分析了影響學(xué)生問題解決因素的不同程度，承認(rèn)他們思維的正確傾向以及閃光點(diǎn)，以一種積極的態(tài)度鼓勵(lì)學(xué)生學(xué)會(huì)在習(xí)得數(shù)學(xué)核心素養(yǎng)的過程中使用數(shù)學(xué).對(duì)教師而言，此方案診斷了不同學(xué)生在不同能力類別及具體成分上的差異，能同時(shí)得到以學(xué)定教的依據(jù)和教學(xué)效果評(píng)價(jià)的證據(jù).對(duì)研究者而言，此方案產(chǎn)生了大量可供研究的素材，從素養(yǎng)、思維、雙基的不同到期望水平與表現(xiàn)水平的差異再到方法使用的傾向性都可以由方案得到的結(jié)果比較差異、尋找證據(jù)、實(shí)施干預(yù)、評(píng)價(jià)效果.

盡管本方案嘗試將問題解決能力的評(píng)價(jià)全面化、具體化，也盡量注意了可操作性和實(shí)施效率，并規(guī)避了已有其他方式中的不完善、不便利之處，但仍然存在一些可能的改進(jìn)之處.其一，題目特征的編碼稍顯冗長(zhǎng).盡管這既是出于對(duì)題目客觀特征和專家擬定標(biāo)準(zhǔn)進(jìn)行明確標(biāo)識(shí)的考慮，也是為了提高方案本身的科學(xué)性與完整性、計(jì)分的便捷性，還是簡(jiǎn)化學(xué)生解答編碼的有效方式.但是，仍可以嘗試在保證上述三項(xiàng)優(yōu)點(diǎn)的情況下尋找更合適的編碼方法.其二，目前的計(jì)分方式停留在將表現(xiàn)水平與專家標(biāo)準(zhǔn)進(jìn)行匹配的情形，如果能夠?qū)崿F(xiàn)基于期望水平與表現(xiàn)水平的差異來計(jì)分則能更明確地體現(xiàn)不同分?jǐn)?shù)所代表的能力差別.其三，專家確定的能力描述和期望水平以及評(píng)分者的評(píng)分信度是方案實(shí)施的重要保障，因此在不同題目的評(píng)價(jià)過程中，需要盡量保證專家編碼的準(zhǔn)確性并進(jìn)行評(píng)分者培訓(xùn)以減小評(píng)分者差異帶來的影響.