李金波 朱玉玲
高考生知識(shí)掌握水平的診斷研究
李金波 朱玉玲
運(yùn)用認(rèn)知診斷技術(shù),對(duì)高考生在理科數(shù)學(xué)知識(shí)上的掌握狀況進(jìn)行診斷。發(fā)現(xiàn)考生在函數(shù)、概率統(tǒng)計(jì)、不等式和數(shù)列等知識(shí)上掌握較好,導(dǎo)數(shù)掌握最差;女生在函數(shù)、導(dǎo)數(shù)、三角函數(shù)和不等式上的掌握情況優(yōu)于男生,男生在立體幾何、解析幾何、概率統(tǒng)計(jì)、數(shù)列和其他知識(shí)上的掌握情況優(yōu)于女生;城鎮(zhèn)考生在各項(xiàng)知識(shí)上的掌握情況均優(yōu)于農(nóng)村考生;省會(huì)城市所在地考生的知識(shí)掌握情況優(yōu)于地市所在地考生,地市所在地考生優(yōu)于鄉(xiāng)鎮(zhèn)考生。
知識(shí);高考;認(rèn)知診斷;規(guī)則空間模型;診斷
目前對(duì)學(xué)生知識(shí)掌握水平的評(píng)估主要還是通過(guò)考試的方式。而考試往往只是提供一個(gè)分?jǐn)?shù)(或分?jǐn)?shù)等級(jí))來(lái)反映學(xué)生的知識(shí)水平;從中很難看出學(xué)生掌握了哪些知識(shí),還未掌握哪些知識(shí),他們的知識(shí)掌握究竟達(dá)到了何種水平。如果能在分?jǐn)?shù)的基礎(chǔ)上對(duì)學(xué)生的知識(shí)掌握狀況作進(jìn)一步的診斷,則可以為學(xué)生、教師和學(xué)校提供更多的反饋信息,促進(jìn)學(xué)生學(xué)習(xí)和教師教學(xué)質(zhì)量的提高。另外,新課改首次將評(píng)價(jià)改革列為改革目標(biāo)之一,希望建立評(píng)價(jià)學(xué)生全面發(fā)展的指標(biāo)體系。如果能在考試的基礎(chǔ)上對(duì)學(xué)生的知識(shí)結(jié)構(gòu)進(jìn)行診斷,則無(wú)疑對(duì)“改變課程評(píng)價(jià)過(guò)分強(qiáng)調(diào)甄別與選拔的功能,發(fā)揮評(píng)價(jià)促進(jìn)學(xué)生發(fā)展、教師提高和改進(jìn)教學(xué)實(shí)踐的功能”具有重要的促進(jìn)作用。
為了對(duì)學(xué)生進(jìn)行更全面、客觀、深入的評(píng)價(jià),考察隱藏在分?jǐn)?shù)背后的內(nèi)部認(rèn)知過(guò)程,在傳統(tǒng)測(cè)量理論的基礎(chǔ)上,人們將認(rèn)知科學(xué)與教育測(cè)量理論相結(jié)合,開(kāi)發(fā)出許多認(rèn)知診斷模型。通過(guò)這些模型,將認(rèn)知變量直接融合進(jìn)測(cè)量模型之中,對(duì)學(xué)生在解題過(guò)程中的認(rèn)知加工過(guò)程進(jìn)行研究,診斷出學(xué)生實(shí)際掌握了哪些知識(shí)技能,推測(cè)學(xué)生的各種具體知識(shí)技能達(dá)到了何種水平,還存在哪些認(rèn)知缺陷,從而可以為學(xué)生提供更為有效的診斷和評(píng)價(jià)。目前,認(rèn)知診斷模型在一些領(lǐng)域已經(jīng)得到了成功的運(yùn)用。在國(guó)外,學(xué)者們將認(rèn)知診斷模型運(yùn)用于數(shù)學(xué)、醫(yī)學(xué)、建筑學(xué)和語(yǔ)言學(xué)等學(xué)科的認(rèn)知錯(cuò)誤診斷及計(jì)算機(jī)自適應(yīng)測(cè)驗(yàn)。例如,Birenbaum等(1993)應(yīng)用規(guī)則空間模型診斷學(xué)生在帶指數(shù)的數(shù)的乘除方面的知識(shí)狀態(tài),將學(xué)生歸入了25種屬性掌握模式,為學(xué)生提供了很多診斷信息[1]。Tatsuoka等(2004)探索了規(guī)則空間模型在TIMSS-R中的應(yīng)用,比較了20多個(gè)國(guó)家的8年級(jí)學(xué)生參加TIMSS-R數(shù)學(xué)考試的情況,為學(xué)生作出診斷性評(píng)價(jià),發(fā)現(xiàn)不同國(guó)家的學(xué)生在技能掌握和認(rèn)知方面存在很大差異[2]。在國(guó)內(nèi),余嘉元(1995)運(yùn)用規(guī)則空間模型對(duì)初中學(xué)生在解不等式中存在的認(rèn)知錯(cuò)誤進(jìn)行識(shí)別,確定了學(xué)生解不等式18種典型錯(cuò)誤反應(yīng)模式,證實(shí)了學(xué)生在解不等式中所犯的認(rèn)知錯(cuò)誤[3]。戴海琦,張青華(2004)運(yùn)用規(guī)則空間模型對(duì)文科大學(xué)生統(tǒng)計(jì)學(xué)學(xué)習(xí)的掌握模式進(jìn)行診斷,分析其在哪些知識(shí)點(diǎn)上掌握的比較好,哪些知識(shí)點(diǎn)上掌握的不夠好,并對(duì)學(xué)生和教師提出了補(bǔ)救意見(jiàn)[4]。劉啟亮(2008)運(yùn)用規(guī)則空間模型對(duì)學(xué)生初三化學(xué)化合物有關(guān)知識(shí)掌握情況進(jìn)行了診斷[5]。但綜觀國(guó)內(nèi)外已有的關(guān)于認(rèn)知診斷應(yīng)用的研究,大多還是集中在屬性層級(jí)簡(jiǎn)單的小規(guī)模應(yīng)用領(lǐng)域。在我國(guó)的大規(guī)模教育考試(如中考、高考)中,還未見(jiàn)認(rèn)知診斷應(yīng)用的相關(guān)報(bào)道。基于此,本研究以高考為研究對(duì)象,選取某省高考理科數(shù)學(xué)試卷和部分?jǐn)?shù)據(jù),利用認(rèn)知診斷中的規(guī)則空間模型,對(duì)高考生在數(shù)學(xué)知識(shí)上的掌握狀況進(jìn)行診斷,以推廣認(rèn)知診斷技術(shù)在大規(guī)??荚囍械膽?yīng)用。
組織學(xué)科專(zhuān)家組對(duì)試卷所考查的知識(shí)屬性進(jìn)行分類(lèi),確定立體幾何、解析幾何、函數(shù)初步、統(tǒng)計(jì)與概率、導(dǎo)數(shù)、三角函數(shù)、不等式、數(shù)列和其他知識(shí)共9項(xiàng)知識(shí)屬性,其中其他知識(shí)項(xiàng)包括集合、簡(jiǎn)易邏輯、記數(shù)原理、復(fù)數(shù)、算法初步、向量等知識(shí)。并對(duì)這9項(xiàng)知識(shí)屬性間的關(guān)系進(jìn)行邏輯分析,確定它們之間的層級(jí)關(guān)系(見(jiàn)圖1)。
圖1 知識(shí)屬性的層級(jí)關(guān)系
由學(xué)科專(zhuān)家組對(duì)試卷每道試題(項(xiàng)目)所考查的知識(shí)屬性進(jìn)行分析,結(jié)果見(jiàn)表1。
表1 項(xiàng)目知識(shí)屬性
由表1可知,第1題主要考查不等式和集合等其他知識(shí),第22題主要考查函數(shù)初步、導(dǎo)數(shù)、數(shù)列等知識(shí)。
根據(jù)表1和圖1標(biāo)定的9項(xiàng)知識(shí)屬性之間的層級(jí)關(guān)系,可以得到各項(xiàng)知識(shí)屬性的鄰接矩陣(見(jiàn)表2)和可達(dá)矩陣(見(jiàn)表3)。
表2 各項(xiàng)知識(shí)屬性之間的鄰接矩陣
表3 各項(xiàng)知識(shí)屬性之間的可達(dá)矩陣
知識(shí)屬性共9項(xiàng),屬性組合的可能項(xiàng)目集(即事件矩陣Q)的項(xiàng)目類(lèi)型數(shù)應(yīng)有29-1種(由于數(shù)目較大,不在此列出),但由于這些屬性之間存在一定的層級(jí)關(guān)系,所以根據(jù)屬性間的層級(jí)關(guān)系,可獲得9×271的縮減事件矩陣(見(jiàn)表4,其中1表示該項(xiàng)目含有該屬性,0表示該項(xiàng)目不含有該屬性)。
表4 縮減事件矩陣
對(duì)縮減事件矩陣進(jìn)行轉(zhuǎn)置可以得到典型屬性矩陣(見(jiàn)表5),加上考生知識(shí)屬性掌握全為0的情況,共272種可能的考生典型知識(shí)屬性掌握模式。
表5 典型知識(shí)屬性掌握模式矩陣
根據(jù)考生所有可能的典型知識(shí)屬性掌握模式和項(xiàng)目的知識(shí)屬性可得到與其相對(duì)應(yīng)的在沒(méi)有失誤情況下17道客觀題的理想項(xiàng)目反應(yīng)模式(見(jiàn)表6)。
數(shù)學(xué)試卷的主觀題部分(第18至22題)為多級(jí)評(píng)分試題。對(duì)多級(jí)評(píng)分的認(rèn)知診斷研究,參考羅歡,丁樹(shù)良(2009)關(guān)于屬性不等權(quán)重時(shí)的屬性分?jǐn)?shù)權(quán)重的計(jì)算方法[6]??蛇M(jìn)一步確定多級(jí)評(píng)分的期望項(xiàng)目反應(yīng)模式(見(jiàn)表7)。
表6 客觀題理想項(xiàng)目反應(yīng)模式
表7 主觀題期望項(xiàng)目反應(yīng)模式
關(guān)于認(rèn)知診斷的分類(lèi)方法,傳統(tǒng)多通過(guò)計(jì)算馬氏距離,根據(jù)馬氏距離的大小來(lái)將考生的知識(shí)掌握模式進(jìn)行歸類(lèi)。近年來(lái)國(guó)內(nèi)外在此基礎(chǔ)上也開(kāi)發(fā)了其它一些分類(lèi)方法。例如,曹慧媛,丁樹(shù)良(2009)使用神經(jīng)網(wǎng)絡(luò)進(jìn)行認(rèn)知診斷分類(lèi),通過(guò)仿真實(shí)驗(yàn)表明,與以往的模式分類(lèi)方法相比,神經(jīng)網(wǎng)絡(luò)方法不僅具有較高的歸準(zhǔn)率而且更具有自適應(yīng)性和魯棒性[7]。因此,本研究隨機(jī)抽取10 000名考生作為樣本,利用BP神經(jīng)網(wǎng)絡(luò)建模方法對(duì)樣本考生的知識(shí)掌握模式進(jìn)行識(shí)別,其中,典型屬性掌握模式人數(shù)(比例)較大(取比例大于1.5%)的見(jiàn)表8。
由表8可見(jiàn),在所有的10 000個(gè)考生樣本中,成功將考生進(jìn)行掌握模式歸類(lèi)的有9 643名,比率為96.43%。這個(gè)比例大于一般認(rèn)為的90%成功分類(lèi)比例的標(biāo)準(zhǔn),意味著神經(jīng)網(wǎng)絡(luò)技術(shù)在模式識(shí)別中得到了成功的運(yùn)用。
從表中可以看出,考生的知識(shí)屬性掌握模式比例較高的有第209、245、267種等屬性模式。這幾種模式對(duì)應(yīng)的知識(shí)屬性分別為(101100111)、(111100111)、(111110111)。也就是說(shuō),屬于第209種典型模式的考生較好掌握了立體幾何、函數(shù)初步、概率統(tǒng)計(jì)、三角函數(shù)、不等式和數(shù)列,但解析幾何、導(dǎo)數(shù)和其他知識(shí)掌握不理想。其他模式可以以此類(lèi)推。其中,比例最高的是第267種屬性模式,該部分考生除對(duì)導(dǎo)數(shù)部分掌握不夠理想外,對(duì)其他部分知識(shí)屬性掌握均比較好。
表8 高考生的知識(shí)屬性掌握模式
表9 考生在各項(xiàng)知識(shí)屬性的平均掌握情況
如果對(duì)考生的各項(xiàng)知識(shí)屬性的平均掌握情況進(jìn)行統(tǒng)計(jì),結(jié)果見(jiàn)表9。從表9可以看出,考生在9項(xiàng)知識(shí)屬性上的掌握比例從93.47%到9.34%不等。其中,掌握程度最高的是函數(shù)初步,掌握程度最低的是導(dǎo)數(shù)部分,其他7種屬性在56%~78%。
按照相同的診斷方法,可對(duì)不同考生群體的知識(shí)掌握模式進(jìn)行比較分析。
隨機(jī)抽取城鎮(zhèn)和農(nóng)村(按戶(hù)口所在地劃分)考生各5 000名,分析其知識(shí)掌握模式,其與整體相對(duì)應(yīng)的部分結(jié)果見(jiàn)表10。
由表10可見(jiàn),城鎮(zhèn)、農(nóng)村考生成功歸類(lèi)的比例比較接近,分別為96.8%和96.6%。均達(dá)到較高的水平。再對(duì)比各種典型知識(shí)屬性的考生比例,無(wú)論是城鎮(zhèn)考生還是農(nóng)村考生,考生的知識(shí)屬性掌握模式比例較高的均為第209、245、267種等屬性模式。但城鎮(zhèn)考生與農(nóng)村考生在具體知識(shí)屬性掌握上還是存在一定的差異。例如,在第272種典型模式(111111111)上,城鎮(zhèn)考生的比例要高于農(nóng)村考生(分別為2.6%和1.6%),即掌握所有知識(shí)的考生人數(shù)城鎮(zhèn)多于農(nóng)村;而在第99種典型模式(001100011)上,則是農(nóng)村考生人數(shù)多于城鎮(zhèn)考生(分別為2.2%和2.3%),即農(nóng)村考生中掌握函數(shù)初步、概率統(tǒng)計(jì)、不等式和數(shù)列理想人數(shù)多于非城鎮(zhèn)考生,而在立體幾何、解析幾何、導(dǎo)數(shù)、三角函數(shù)和其他知識(shí)上掌握不理想的人數(shù)要高于城鎮(zhèn)考生。即在低端知識(shí)掌握屬性,農(nóng)村考生的比例要高于城鎮(zhèn)考生。
如果對(duì)城鄉(xiāng)考生的各項(xiàng)知識(shí)屬性平均掌握情況進(jìn)行統(tǒng)計(jì),結(jié)果見(jiàn)表11。
從表11可以看出,無(wú)論是城鎮(zhèn)考生還是農(nóng)村考生,掌握比例最高的是函數(shù)初步,而導(dǎo)數(shù)部分的掌握比例最低。在9種知識(shí)屬性中,城鎮(zhèn)考生在所有知識(shí)屬性上的掌握比例均高于農(nóng)村考生。
表10 城鄉(xiāng)考生的知識(shí)掌握模式比較
表11 城鄉(xiāng)考生在各項(xiàng)知識(shí)屬性上的平均掌握情況
隨機(jī)抽取省會(huì)所在地、地市所在地和鄉(xiāng)鎮(zhèn)所在地考生各5 000名,分析其知識(shí)掌握模式,結(jié)果見(jiàn)表12。
由表12可見(jiàn),不同地域考生成功歸類(lèi)的比例總體上比較接近,省會(huì)所在地考生的歸類(lèi)率稍高于地市所在地和鄉(xiāng)鎮(zhèn)所在地考生。再對(duì)比各種典型知識(shí)屬性的考生比例,無(wú)論是城鎮(zhèn)考生還是農(nóng)村考生,考生的知識(shí)屬性模式比例較高的同樣是第209、245、267種等屬性模式。但不同地域考生在具體知識(shí)屬性上還是存在一定的差異。例如,在第272種典型模式(111111111)上,省會(huì)所在地考生的比例要高于地市所在地和鄉(xiāng)鎮(zhèn)考生(分別為2.8%、2.0%和2.0%),即掌握所有知識(shí)的考生人數(shù)省會(huì)所在地考生比例最高,地市所在考生和鄉(xiāng)鎮(zhèn)考生較低。而在低端掌握模式,如第99種典型模式(001100011)上,則是地市所在地考生和鄉(xiāng)鎮(zhèn)考生人數(shù)比例較高。
如果對(duì)不同地域考生的各項(xiàng)知識(shí)屬性平均掌握情況進(jìn)行統(tǒng)計(jì),結(jié)果見(jiàn)表13。
從表13可以看出,無(wú)論是省會(huì)所在地考生還是鄉(xiāng)鎮(zhèn)考生,掌握比例最高的同樣是函數(shù)初步,而導(dǎo)數(shù)的掌握比例最低。省會(huì)所在地考生在各項(xiàng)知識(shí)屬性上的掌握比例均高于地市所在地和鄉(xiāng)鎮(zhèn)考生,而地市所在地考生則高于鄉(xiāng)鎮(zhèn)考生。
分別抽取男生和女生各5 000名,分析其知識(shí)掌握模式,結(jié)果見(jiàn)表14。
由表14可見(jiàn),男女考生成功歸類(lèi)的比例比較接近,分別為96.02%和97.40%。均達(dá)到較高的水平。再對(duì)比各種典型知識(shí)屬性的考生比例,無(wú)論是男生還是女生,考生的知識(shí)屬性模式比例較高的均為第209、245、267種等屬性模式。但男生與女生在具體知識(shí)屬性上還是存在一定的差異。例如,在第272種典型模式(111111111)上,男生的比例要高于女生(分別為2.4%和1.7%),即掌握所有知識(shí)屬性的考生人數(shù)男生多于女生;而在第99種典型模式(001100011)上,則是女生人數(shù)多于男生。
表12 不同地域考生的知識(shí)掌握模式比較
表13 不同地域考生各項(xiàng)知識(shí)屬性的平均掌握情況
如果對(duì)男女考生的各項(xiàng)知識(shí)屬性平均掌握情況進(jìn)行統(tǒng)計(jì),結(jié)果見(jiàn)表15。
從表15可以看出,無(wú)論是男生還是女生,掌握比例最高的還是函數(shù)初步,最低的是導(dǎo)數(shù)。在9項(xiàng)知識(shí)屬性中,男生在立體幾何、解析幾何、概率統(tǒng)計(jì)、數(shù)列和其他知識(shí)上的掌握比例高于女生,而在函數(shù)初步、導(dǎo)數(shù)、三角函數(shù)、不等式上則是女生高于男生。
通過(guò)建立規(guī)則空間模型,對(duì)高考生整體及不同高考生群體的知識(shí)掌握模式進(jìn)行診斷,可得到以下一些初步的結(jié)果。
考生的典型知識(shí)掌握模式共有272種,96%以上的高考生可以歸屬于相應(yīng)的典型知識(shí)掌握模式,并且不同典型知識(shí)掌握模式的人數(shù)比例從0到16%不等。從整體來(lái)看,考生掌握程度最高的是函數(shù)初步部分(93%以上),掌握程度最低的是導(dǎo)數(shù)部分(不到10%),其他7項(xiàng)知識(shí)屬性的掌握率在56%~78%。全面掌握各項(xiàng)知識(shí)的考生比例約為1.7%。分析導(dǎo)數(shù)部分掌握情況較低的原因,可能與導(dǎo)數(shù)所考查的最后22題有一定的關(guān)系。
城鎮(zhèn)考生在高端知識(shí)掌握模式(如掌握所有知識(shí))上的比例高于農(nóng)村考生,而在低端知識(shí)掌握模式上則是農(nóng)村考生的比例高于城鎮(zhèn)考生;并且在所有9項(xiàng)知識(shí)屬性中,城鎮(zhèn)考生的掌握比例均高于農(nóng)村考生。
省會(huì)所在地考生在高端知識(shí)掌握模式(如掌握所有知識(shí))的比例要高于地市所在地考生和鄉(xiāng)鎮(zhèn)考生,而在低端知識(shí)掌握模式,則是地市所在地考生和鄉(xiāng)鎮(zhèn)考生人數(shù)比例較高;省會(huì)所在地考生在各項(xiàng)知識(shí)屬性上的掌握比例均高于地市所在地和鄉(xiāng)鎮(zhèn)考生,而地市所在地考生則高于鄉(xiāng)鎮(zhèn)考生。
表14 男女考生的知識(shí)掌握模式比較
表15 男女考生在各項(xiàng)知識(shí)屬性上的平均掌握情況
男生掌握所有知識(shí)屬性的人數(shù)比例多于女生;在9項(xiàng)知識(shí)屬性中,男生在立體幾何、解析幾何、概率統(tǒng)計(jì)、數(shù)列和其他知識(shí)上的掌握比例高于女生,而在函數(shù)、導(dǎo)數(shù)、三角函數(shù)、不等式上則是女生高于男生。
總之,根據(jù)高考生知識(shí)掌握模式的分析結(jié)果,我們可以了解高考生掌握的和未掌握的知識(shí)屬性。據(jù)此可以幫助考生認(rèn)識(shí)到自己的學(xué)習(xí)情況,可為學(xué)生填報(bào)高考志愿和高校錄取新生提供有效的參考。
[1]Birenbaum M,Kelly A E&Tatsuoka K K.Applying an IRT-based cognitive diagnostic model to diagnose students’knowledge states in multiplication and division with exponents.Applied Measure?ment in Education.1993,4:328-342.
[2]Tatsuoka K K,Comer J E&Tatsuoka C.Patterns of diagnosed mathematical content and process skill in TIMSS-R across a sam?ple of 20 countries.American Educational Research Journal.2004,4:901-926.
[3]余嘉元.運(yùn)用規(guī)則空間模型識(shí)別解題中的認(rèn)知錯(cuò)誤[J].心理學(xué)報(bào),1995(2):196-203.
[4]戴海崎,張青華.規(guī)則空間模型在描述統(tǒng)計(jì)學(xué)習(xí)模式識(shí)別中的應(yīng)用研究[J].心理科學(xué),2004,27(4):949-951.
[5]劉啟亮.規(guī)則空間模型在初中生化學(xué)知識(shí)學(xué)習(xí)診斷與補(bǔ)救中的應(yīng)用研究[碩士論文][D].南昌:江西師范大學(xué),2008.
[6]羅歡,丁樹(shù)良.認(rèn)知診斷中屬性權(quán)重的研究——以多級(jí)評(píng)分AHM為例[碩士論文][D].南昌:江西師范大學(xué),2009.
[7]曹慧媛,丁樹(shù)良.人工神經(jīng)網(wǎng)絡(luò)在認(rèn)知診斷中的應(yīng)用研究[碩士論文][D].南昌:江西師范大學(xué),2009.
The Research of Diagnosing High School Candidates’Knowledge-mastery Level
LI Jinbo and ZHU Yuling
Using cognitive diagnosis technology to diagnose high school candidates’mastery situations on science mathematics knowledge.And find that the candidates are better at function,probability statistics,inequality,series,etc.among them derivative come the worst.Female candidates do better than male candidates on function,derivative,triangle function and inequality,while male candidates do better than female candidates on solid geometry,analytic geometry,probability statistics,series and other intellectual.The grasp of knowledge attributes of the town candidates are superior to the rural students.Candidates who come from capital cities do better than those from district cities,and candidates who come from district cities do better than those from townships.
Knowledge;College Entrance Examination;Cognitive Diagnosis;Rule Space Model;Diagnosis
G405
A
1005-8427(2012)02-0014-8
本文為全國(guó)教育考試“十一五”科研規(guī)劃重點(diǎn)課題(編號(hào):2009JKS2070)部分成果。
浙江省教育考試院
杭州師范大學(xué)