北京師范大學(xué)(珠海)附屬高級(jí)中學(xué)(519080) 黃嘉鵬

1 S-P 表理論簡(jiǎn)介

隨著基礎(chǔ)教育的快速發(fā)展和國(guó)內(nèi)外教育交流的廣泛進(jìn)行,教育測(cè)量和考試評(píng)價(jià)日益成為教育關(guān)注的重點(diǎn)問題,大型考試的試題質(zhì)量評(píng)價(jià)和考試結(jié)果對(duì)于評(píng)價(jià)學(xué)生的有效性等問題也漸漸進(jìn)入公眾視野.S-P 表理論作為上世紀(jì)70年代興起的教育測(cè)量理論,以其圖形直觀、信息量大的特點(diǎn),迅速成為了教育者研究試題和學(xué)生的重要工具.

S-P 表即學(xué)生(Student)與學(xué)生所作答的問題(Problem)之間的關(guān)系表,由日本學(xué)者佐藤隆博于1970年提出,它以試題質(zhì)量與學(xué)生能力的非獨(dú)立性作為理論基礎(chǔ),利用視覺化的圖表進(jìn)行結(jié)構(gòu)分析,進(jìn)而研究并評(píng)價(jià)試題的質(zhì)量和學(xué)生整體的學(xué)習(xí)特征及應(yīng)試穩(wěn)定性.相比于經(jīng)典測(cè)量理論,S-P 表具有如下優(yōu)點(diǎn):(1)能為教師教學(xué)改進(jìn)、學(xué)生的個(gè)性化輔導(dǎo)、試題甄選等提供有效數(shù)據(jù)支撐;(2) 視覺化的圖表結(jié)構(gòu)令S-P 表的判讀一目了然,使用者既可以掌握整個(gè)班級(jí)的情況,也能對(duì)某個(gè)學(xué)生和某個(gè)問題作出個(gè)性化的判讀;(3) 在評(píng)價(jià)試題質(zhì)量和學(xué)生學(xué)習(xí)類型時(shí),可從“量”和“質(zhì)”多個(gè)角度進(jìn)行分析;(4) 能對(duì)習(xí)題前測(cè)、后測(cè)進(jìn)行有效分析.

2 S-P 表的制作程序

設(shè)某次考試有m個(gè)學(xué)生參加,共測(cè)驗(yàn)了n個(gè)題目.

首先，如圖1,將學(xué)生i在問題j上的得分用{0,1}中的數(shù)賦值,記為xi,j.

圖1 賦值

具體賦值方式如下:

(1)對(duì)于二元計(jì)分的試題,即非對(duì)即錯(cuò)的選擇題或填空題,模型為:

(2)對(duì)于主觀題的分析,國(guó)內(nèi)外研究使用的常用模型主要為：

然而單一的劃界方式顯然難以滿足不同類型考試分析的需要,容易令分析結(jié)果產(chǎn)生較大誤差,從而降低其對(duì)教育教學(xué)的指導(dǎo)作用.筆者所在的研究小組從國(guó)內(nèi)教育教學(xué)和考試選拔的實(shí)際出發(fā),針對(duì)不同需求的考試和考生作答情況提出了其他的賦值劃界方式:

①針對(duì)課堂小測(cè)和階段性考試,教師可以根據(jù)課標(biāo)要求,按題目滿分值的一定比例設(shè)定劃界分?jǐn)?shù),以此檢驗(yàn)學(xué)生學(xué)習(xí)情況與課標(biāo)要求的吻合程度.具體常用模型有如下3 類:

·利用項(xiàng)目反應(yīng)理論或其他數(shù)據(jù)庫(kù)提供的參數(shù),明確試題難度參數(shù)(記為b).若試題的滿分值為N,則賦值劃界模型為:

·若題目本身沒有現(xiàn)成的難度參數(shù),教師可對(duì)照2017版課標(biāo)要求,將題目與質(zhì)量描述中的水平一、水平二、水平三進(jìn)行對(duì)應(yīng),并設(shè)定相應(yīng)且合理的題目難度系數(shù)b1,b2,b3,若試題的滿分值為N,則賦值劃界模型如下:

·作為階段性考試,國(guó)內(nèi)最常見的做法是利用60%作為學(xué)生的合格標(biāo)準(zhǔn).在這樣的原則基礎(chǔ)上,若我們希望對(duì)學(xué)生知識(shí)結(jié)構(gòu)進(jìn)行整體評(píng)價(jià),則可以使用賦值劃界模型如下(試題的滿分值為N):

②針對(duì)選拔類和競(jìng)賽類的考試,教師可按照平均得分或?qū)W生排位分?jǐn)?shù)設(shè)定劃界分?jǐn)?shù),以此檢驗(yàn)學(xué)生是否達(dá)到選拔標(biāo)準(zhǔn).若某一場(chǎng)競(jìng)賽考試的取獎(jiǎng)率為a,第j道試題的滿分值為N,難度系數(shù)為bj,則可以使用計(jì)分劃界模型如下:

其次，如圖2,計(jì)算考生i的總得分并將所有考生按Xi從大到小排列; 計(jì)算問題j做對(duì)的人數(shù)并將所有問題按Yj從大到小排列.

圖2 排序

最后，如圖3,在學(xué)生i所在的那一行第Xi列右邊畫豎線,并用橫線將不同位置的豎線連起來(lái),得到S線;在問題j所在的那一列第Yj行下邊畫橫線,并用豎線將不同位置的橫線連起來(lái),得到P線.(圖中實(shí)線為S線,虛線為P線)

圖3 畫S 線和P 線

3 基于S-P 表的試題質(zhì)量分析

在理想的情況下,我們?cè)敢饨邮苓@樣的假設(shè):每一個(gè)學(xué)生更有可能做對(duì)相對(duì)簡(jiǎn)單的題目,然而答錯(cuò)相對(duì)困難的題目;而每一道題目,答對(duì)的學(xué)生應(yīng)該會(huì)比答錯(cuò)的學(xué)生有更強(qiáng)的學(xué)習(xí)和考試能力.如果某次考試真的符合這種理想狀態(tài),那么所有的1 都將出現(xiàn)在S 線的左邊和P 線的上邊,從而S線和P線會(huì)剛好完全重合.現(xiàn)實(shí)中,絕大部分的考試并不會(huì)出現(xiàn)這種理想狀況,而現(xiàn)實(shí)結(jié)果和理想假設(shè)的差異,就是我們可以研究的內(nèi)容.

3.1 差異系數(shù)

差異系數(shù)體現(xiàn)的是S 線和P 線的不一致性.一般來(lái)講,課程練習(xí)的差異系數(shù)在0.4 以內(nèi)是比較合理的.如果是大型考試,考慮到考生的臨場(chǎng)發(fā)揮等因素,差異系數(shù)在0.5 以內(nèi)均可接受.但如果超過(guò)了這個(gè)范圍,教師就要考慮試題可能存在如下問題:(1)測(cè)試內(nèi)容與學(xué)習(xí)內(nèi)容可能并不對(duì)應(yīng);(2)試題的排列、表達(dá)、提示等信息可能存在錯(cuò)誤或者誤導(dǎo);(3)試題難度與學(xué)生水平可能并不匹配;(4)評(píng)分標(biāo)準(zhǔn)可能不統(tǒng)一,甚至可能存在錯(cuò)判的情況.

3.2 問題警告系數(shù)

問題警告系數(shù)是衡量單個(gè)問題實(shí)際的被作答結(jié)果與理想狀態(tài)之間的偏離程度.第j個(gè)試題的問題警告系數(shù):

當(dāng)問題警告系數(shù)小于0.5 時(shí),說(shuō)明試題對(duì)于評(píng)價(jià)這個(gè)學(xué)生群體是相當(dāng)適宜的.結(jié)合試題難度,我們可以利用試題對(duì)不同水平的學(xué)生進(jìn)行有效區(qū)分與評(píng)價(jià).當(dāng)問題警告系數(shù)超過(guò)0.5 且小于0.75 時(shí),教師應(yīng)注意試題內(nèi)容和質(zhì)量是否存在問題.當(dāng)問題警告系數(shù)超過(guò)0.75 時(shí),說(shuō)明使用這個(gè)問題來(lái)評(píng)價(jià)這批學(xué)生非常不合適,可能試題中含有異質(zhì)成分,也可能含有拙劣的選項(xiàng),或者題意含糊不清.

3.3 穩(wěn)定性系數(shù)

穩(wěn)定性系數(shù)是用來(lái)判定測(cè)驗(yàn)穩(wěn)定程度的指標(biāo),可用于研究試題的難易程度和閱卷人的寬嚴(yán)程度.魏超群、羅才忠等人給出的計(jì)算公式為:

雷新勇給出的計(jì)算公式為:

利用公式①算出的結(jié)果,若不小于0.75,則認(rèn)為測(cè)試的穩(wěn)定性很高,否則需注意.利用公式②算出的結(jié)果,若不小于0.2,則認(rèn)為測(cè)試的穩(wěn)定性較好;若高于0.4,則認(rèn)為測(cè)試非常穩(wěn)定;若低于0.2,則需檢查原因.

3.4 適宜性系數(shù)

適應(yīng)性系數(shù)描述的是問題是否能正確評(píng)價(jià)學(xué)生水平的指標(biāo),研究的是問題的適宜程度,包括問題的選題和排序是否合理等方面.魏超群、羅才忠等人給出的計(jì)算公式為:雷新勇給出的計(jì)算公式為:利用公式③算出的結(jié)果,若不小于0.5,則認(rèn)為測(cè)試的穩(wěn)定性很高,否則需注意.利用公式④算出的結(jié)果,若不小于0.2,則認(rèn)為測(cè)試的適宜性較好;若高于0.4,則認(rèn)為測(cè)試與學(xué)生水平和教學(xué)目標(biāo)的一致程度相當(dāng)高;若低于0.2,則需檢查原因.

3.5 難度、區(qū)分度、信度、效度

S-P 表理論中定義的難度、區(qū)分度、信度、效度與經(jīng)典測(cè)量理論基本一致,但由于S-P 表的特殊性,其計(jì)算公式略有差別,分別定義如下:

(1)難度:問題j的難度

(2)區(qū)分度:問題j的區(qū)分度

(4)效度:試題效度,其中wj和rj分別表示問題的權(quán)重和區(qū)分度.

難度、區(qū)分度、信度、效度評(píng)價(jià)試題時(shí)的標(biāo)準(zhǔn)劃界在經(jīng)典測(cè)量理論中已有深入研究,大量一線教師對(duì)其也早有一定的認(rèn)識(shí)和理解,此處我們不再贅述.

4 基于S-P 表的學(xué)生學(xué)習(xí)類型診斷

4.1 差異系數(shù)

差異系數(shù)不僅可以用來(lái)評(píng)價(jià)試題質(zhì)量,還可以用于研究學(xué)生的學(xué)習(xí)類型.與評(píng)價(jià)試題的標(biāo)準(zhǔn)類似,對(duì)于平時(shí)測(cè)驗(yàn)和大型考試我們分別以0.4 和0.5 為界,若超過(guò)這個(gè)標(biāo)準(zhǔn),則要考慮學(xué)生群體可能存在如下問題:(1)教學(xué)和測(cè)試時(shí)間間隔過(guò)長(zhǎng); (2)對(duì)知識(shí)和能力的掌握效果不佳; (3)整體學(xué)習(xí)意愿低下;(4)學(xué)習(xí)或考試狀態(tài)不穩(wěn)定.

4.2 學(xué)生警告系數(shù)

學(xué)生警告系數(shù)是衡量某個(gè)學(xué)生實(shí)際的作答結(jié)果與理想狀態(tài)之間的偏離程度.第i個(gè)試題的問題警告系數(shù)

當(dāng)學(xué)生警告系數(shù)小于0.5 時(shí),說(shuō)明學(xué)生能較好地掌握本次測(cè)驗(yàn)涉及的知識(shí)與能力,且發(fā)揮較穩(wěn)定.當(dāng)學(xué)生警告系數(shù)超過(guò)0.5 且小于0.75 時(shí),教師應(yīng)注意學(xué)生的學(xué)習(xí)或者考試是否存在問題.當(dāng)問題警告系數(shù)超過(guò)0.75 時(shí),說(shuō)明學(xué)生的成績(jī)和他的真實(shí)水平之間存在較大誤差,該生可能存在如下問題:(1)對(duì)測(cè)試問題所涉及的知識(shí)掌握不全面,或者對(duì)問題的理解和掌握與其他學(xué)生有明顯的差別;(2)學(xué)習(xí)意愿不強(qiáng)或?qū)W力不足;(3)緊張導(dǎo)致失誤;(4)作答時(shí)可能出現(xiàn)了隨機(jī)作答(瞎蒙)或者作弊的情況.

結(jié)合學(xué)生總得分,我們可以對(duì)不同學(xué)生進(jìn)行有效診斷,具體標(biāo)準(zhǔn)如圖4.

圖4 學(xué)生學(xué)習(xí)類型分類

5 S-P 表理論在實(shí)際教學(xué)中的具體應(yīng)用

S-P 表分析法雖然理論并不算特別復(fù)雜,但算法復(fù)雜,計(jì)算量大.若想使用該方法,須借助計(jì)算機(jī)程序方可實(shí)現(xiàn),但業(yè)界缺乏S-P 表的通用軟件,教師錄入、分析考試數(shù)據(jù)的工作量過(guò)大,把計(jì)算結(jié)果對(duì)照理論分析下結(jié)論難度也比較大.筆者所在單位的研究小組將完善后的S-P 表理論及S-P 表分析法中復(fù)雜的算法、繁瑣的公式計(jì)算編制成軟件——S-P 表分析分析軟件.用戶只需把考試數(shù)據(jù)直接導(dǎo)入后,軟件自動(dòng)切分班級(jí),選擇需要的功能點(diǎn)擊按鍵,即可得到:①試題評(píng)價(jià)的各項(xiàng)參數(shù); ②學(xué)生考試成績(jī)和試題情況一覽表; ③學(xué)生警告系數(shù)和學(xué)習(xí)類型; ④試題警告系數(shù)和試題質(zhì)量診斷結(jié)果.

在本節(jié)中,我們隨機(jī)抽取本校50 名學(xué)生,使用珠海市期末統(tǒng)考的理科數(shù)學(xué)試題,基于S-P 表理論,運(yùn)用S-P 表分析軟件0.5,對(duì)試題和學(xué)生進(jìn)行分析評(píng)價(jià).

5.1 宏觀分析

(1)S-P 表

從圖5中可以看出,S 線和P 線均沒有明顯斷層,說(shuō)明學(xué)生樣本分布比較合理,各個(gè)水平的學(xué)生都能占到一定比例,中間層學(xué)生較多,高分學(xué)生較少.試題難度分布比較均勻,各種難度的題目比例相當(dāng),其中最后兩題難度較大且分值較高,所以學(xué)生考取高分的難度較大.整份試題用于鑒別不同能力水平的學(xué)生是比較有效的.

圖5 樣本S-P 表

(2)差異系數(shù)

整份試題的差異系數(shù)為0.39;穩(wěn)定性系數(shù)(由公式②得到)為0.595,測(cè)試的穩(wěn)定性較高; 適宜性系數(shù)(由公式④得到)為0.511,適宜程度較高.

這些參數(shù)說(shuō)明試題的內(nèi)容、敘述、編排都是比較合理的;教師閱卷的認(rèn)真程度和一致性較高,使用的評(píng)分標(biāo)準(zhǔn)也比較可靠;學(xué)生整體考試狀態(tài)也比較穩(wěn)定.這場(chǎng)考試整體試題質(zhì)量較高,對(duì)于評(píng)價(jià)學(xué)生有較大參考價(jià)值.

5.2 微觀分析

(1)學(xué)生學(xué)習(xí)類型診斷

圖6 學(xué)生樣本學(xué)習(xí)類型診斷結(jié)果

學(xué)生1 和4 成績(jī)高且警告系數(shù)低.這兩位學(xué)生學(xué)習(xí)效果良好,穩(wěn)定性高,他們的學(xué)習(xí)態(tài)度和學(xué)習(xí)方法很有可能都比較得當(dāng).這類學(xué)生若想進(jìn)一步提高,應(yīng)該在知識(shí)的深度和廣度上下功夫.

學(xué)生2 和3 成績(jī)高且警告系數(shù)高.這兩位學(xué)生考試中很可能粗心大意,在做對(duì)了大量難題的情況下卻做錯(cuò)了簡(jiǎn)單題,他們的基礎(chǔ)應(yīng)該比較好,但應(yīng)試狀態(tài)不穩(wěn)定.教師針對(duì)這類學(xué)生的應(yīng)試心里和應(yīng)試技巧稍作訓(xùn)練,對(duì)他們的成績(jī)提高將非常有幫助.

圖7 學(xué)生樣本學(xué)習(xí)類型分類

共31 名同學(xué)成績(jī)處于中游,其中2 名警告系數(shù)偏高.這批學(xué)生知識(shí)結(jié)構(gòu)中可能存在個(gè)別漏洞,針對(duì)考試結(jié)果進(jìn)行查缺補(bǔ)漏是他們提高成績(jī)的有效做法.另外,教師需關(guān)注學(xué)生29 和9 是否有粗心或者作弊的可能.有15 名同學(xué)(圖7左下角)成績(jī)偏低且警告系數(shù)低.這些學(xué)生本次考試狀態(tài)較穩(wěn)定,成績(jī)較真實(shí),有較大參考價(jià)值.他們基礎(chǔ)較薄弱,學(xué)習(xí)上可能不夠用功.一些最基礎(chǔ)的訓(xùn)練對(duì)于他們來(lái)說(shuō)是非常有必要的,這種訓(xùn)練能幫他們提振信心并強(qiáng)化基礎(chǔ)知識(shí)和能力.

很幸運(yùn)的,這次考試沒有出現(xiàn)低分且警告系數(shù)高的學(xué)生.這類學(xué)生作答正確率很低,做對(duì)的題目是蒙對(duì)的可能性也較高.他們往往學(xué)習(xí)動(dòng)機(jī)不足,對(duì)考試內(nèi)容也沒有充分準(zhǔn)備.如果班級(jí)存在這樣的學(xué)生,教師除了要幫他們補(bǔ)習(xí)基礎(chǔ),還需要多關(guān)注他們的生理和心理健康,幫助他們找到學(xué)習(xí)的樂趣,重振信心.

(2)試題質(zhì)量評(píng)價(jià)

圖8 試題質(zhì)量評(píng)價(jià)結(jié)果

根據(jù)分析結(jié)果,可以發(fā)現(xiàn),題目1、5、3、9、25、17、23 質(zhì)量較佳,作答結(jié)果穩(wěn)定,可以很好地區(qū)分低水平和中等水平學(xué)生;題目22、15、11、18、20 難度較大,但警告系數(shù)低,可以用來(lái)區(qū)分高水平學(xué)生;題目8、7、24、6、13、10、14、19、12、16 警告系數(shù)稍大,教師需注意是學(xué)生應(yīng)試出了問題還是題目本身有不妥之處;題目2、21、4 警告系數(shù)很高,題目較拙劣,教師應(yīng)注意其中是否有表述不清的地方,或是含有不合適的選項(xiàng),這幾個(gè)題目對(duì)于甄別學(xué)生的可靠性較低,用于課堂練習(xí)尚可,但不適用于選拔性考試.

6 結(jié)束語(yǔ)

美國(guó)著名教育評(píng)價(jià)專家斯塔弗爾比姆(Daniel.Stufflebeam)說(shuō)過(guò):“評(píng)價(jià)最重要的意圖不是為了證明,而是為了改進(jìn).”運(yùn)用各種現(xiàn)代化的教育測(cè)量理論(包括S-P 表理論、項(xiàng)目反應(yīng)理論、概化分析理論、認(rèn)知診斷理論等)對(duì)學(xué)生和考試進(jìn)行分析評(píng)價(jià),具有經(jīng)典測(cè)量理論等傳統(tǒng)理論所不具備的優(yōu)越性,但其理論普遍較為艱深,數(shù)據(jù)計(jì)算也比較繁雜,給一線老師的使用造成了不便.幸運(yùn)的是,現(xiàn)在的一線教師普遍具備一定的計(jì)算機(jī)水平,而網(wǎng)絡(luò)上也已經(jīng)有了專業(yè)軟件公司研發(fā)或一線教育者自主開發(fā)的各種教育測(cè)量軟件(S-P 表分析軟件、IRTPRO、PARSCALE 等),我們學(xué)習(xí)一下基本的操作,就可以對(duì)數(shù)據(jù)進(jìn)行分析解讀,這為我們?cè)u(píng)價(jià)和改進(jìn)教學(xué)帶來(lái)了很大的便利.