丁慧明

PISA抽樣方法簡介與PISA2015中國抽樣實踐

丁慧明

學(xué)生能力國際評價（PISA）是由經(jīng)濟合作與發(fā)展組織發(fā)起的大規(guī)模國際教育評價項目，抽樣對評價結(jié)果的國際可比性至為關(guān)鍵。本文對PISA的抽樣方法與理念、抽樣的各個環(huán)節(jié)與技術(shù)標(biāo)準(zhǔn)進行介紹，并簡要介紹PISA2015中國抽樣的實踐情況，基于PISA的抽樣經(jīng)驗，對我國國內(nèi)大型教育測評項目未來抽樣的數(shù)據(jù)收集等環(huán)節(jié)提出一些設(shè)想與展望。

PISA；抽樣；教育測評

1 引言

學(xué)生能力國際評價（Programme of International Students Assessment,PISA）是迄今為止全球最具影響力的教育評價項目之一，通過考察15歲學(xué)生在數(shù)學(xué)、閱讀、科學(xué)、協(xié)作問題解決領(lǐng)域中的表現(xiàn)，了解義務(wù)教育結(jié)束階段學(xué)生運用知識與技能適應(yīng)未來社會的能力，通過國際比較為各國的教育決策提供數(shù)據(jù)依據(jù)。自PISA2000開始，PISA每三年舉行一次，PISA2015中國以國家身份正式參加。

PISA針對抽樣的各環(huán)節(jié)都制定了嚴(yán)格的技術(shù)標(biāo)準(zhǔn)，所有參加國家或地區(qū)均需依據(jù)此標(biāo)準(zhǔn)完成PISA抽樣任務(wù)，其科學(xué)的抽樣方法與嚴(yán)謹(jǐn)?shù)某闃映绦驗槠鋽?shù)據(jù)的有效收集以及結(jié)果的國際可比提供了重要的前提保障。本文簡要介紹PISA的抽樣設(shè)計、抽樣各個環(huán)節(jié)以及PISA2015中國抽樣實踐經(jīng)驗。

2 PISA抽樣方法簡介

2.1 概述

PISA抽樣綜合采用多種方法。從PISA2000至今，絕大多數(shù)參加國家（或地區(qū)）均采用兩階段抽樣。第一階段采用按規(guī)模大小成比例系統(tǒng)抽樣方法（Probability Proportional to Size，簡稱PPS）抽取學(xué)校。當(dāng)所要研究的變量在總體中變異較大時，PPS方法往往能夠提高抽樣的效率。該方法通常借助一個輔助測度（auxiliary measure），使得每個抽樣單元都有按其規(guī)模成比例被抽中的概率。在PISA中，每所學(xué)校的15歲學(xué)生估計值（ENR）則作為抽樣的輔助測度。抽取學(xué)校前，由依據(jù)學(xué)校屬性選定的外顯分層變量將學(xué)校劃分到不同分層中，對每層獨立抽取學(xué)校。在抽樣設(shè)計中，影響抽樣誤差的因素主要有兩個，一是樣本容量，二是總體內(nèi)部的同質(zhì)性程度。分層抽樣便是基于第二因素的方法，確保樣本是從總體內(nèi)每個同質(zhì)次級集合中抽取適當(dāng)數(shù)量的要素，而非直接隨意在總體中抽取。[1]PISA使用分層抽樣是為了提高抽樣設(shè)計的效率，從而確保獲得可信的調(diào)查結(jié)果；確保樣本涵蓋總體的各個部分，對總體具有良好代表性；同時，可滿足特定群體能夠采用不同抽樣設(shè)計的需求。[2]其他一些大型教育測量項目如 TIMSS（Trends in International Mathematics and Science Study）和 PIRLS（Progress in International Reading Literacy Study）等也都是對學(xué)校進行分層，在各外顯層內(nèi)采用PPS方法對學(xué)校進行系統(tǒng)抽樣。[3]第二階段是在樣本校內(nèi)隨機抽取學(xué)生，同一所學(xué)校內(nèi)，每個符合PISA條件的學(xué)生被抽中的概率相同。而對于俄羅斯聯(lián)邦等極少數(shù)采用三階段抽樣的國家，第一階段則是用PPS方法抽取地理區(qū)域，第二、三階段再在抽中的區(qū)域中逐步抽取學(xué)校、學(xué)生。

為了確保樣本能夠有效估計學(xué)生的總體表現(xiàn)，PISA通過技術(shù)標(biāo)準(zhǔn)、抽樣指南等規(guī)則與材料嚴(yán)格把控參加國家或地區(qū)的抽樣質(zhì)量，主要包括以下三個方面：對PISA國際目標(biāo)群體的覆蓋；準(zhǔn)確性和精度；學(xué)校和學(xué)生的應(yīng)答率。[4]PISA抽樣的質(zhì)量控制具體體現(xiàn)在抽樣的各個環(huán)節(jié)。

2.2 抽樣環(huán)節(jié)

2.2.1 確定目標(biāo)總體

PISA的調(diào)查對象為就讀于各級各類教育機構(gòu)7年級及以上的15歲在校生，包括普通教育與職業(yè)教育、全日制與非全日制等。PISA是在確定測試日期之后，根據(jù)測試日期以及“15歲”的年齡要求來確定學(xué)生目標(biāo)群體的出生日期范圍，因北半球國家大多在4月開展測試，目標(biāo)總體的“15歲”年齡要求便略作調(diào)整為15周歲3個月至16周歲2個月。如計劃在2015年4月開展PISA2015正式測試，則正式測試的目標(biāo)總體為1999年1月1日至1999年12月31日之間出生的所有在校生。PISA將通過樣本的表現(xiàn)來推斷此總體情況。

2.2.2 確定抽樣方案

以PISA2015為例，每個國家需至少抽150所學(xué)校，每校抽42名15歲學(xué)生，共6 300名學(xué)生。若出于本國研究需要，在擬定抽樣方案時也可提出增加樣本學(xué)校抽取數(shù)量。為事先了解學(xué)生可能參加測試的情況，確保施測后能獲得足夠的有效樣本量，各個國家或地區(qū)需要根據(jù)以往經(jīng)驗提交期望評估率，此評估率指在考慮了無應(yīng)答、校內(nèi)排除等之后參加測試學(xué)生占樣本學(xué)生的比例。對于多次參加PISA的國家，可用以往PISA輪次中的評估率；對于首次參加的國家則可根據(jù)本國內(nèi)的測試經(jīng)驗給出一個預(yù)估值。樣本容量是影響抽樣誤差大小最直接、最有效的因素。[5]按照PISA抽樣標(biāo)準(zhǔn)要求，6 300名樣本學(xué)生中至少需有5 400名參加測試。從統(tǒng)計測量角度來看，理想狀態(tài)是所有6 300名學(xué)生均參加測試。而當(dāng)期望評估率較低時，參測國家則需考慮增加樣本學(xué)校的數(shù)量來保證參加測試學(xué)生的總量。

通常情況下，PISA的初級抽樣單元是學(xué)校。在擬定抽樣方案時，各個國家或地區(qū)需從PISA學(xué)生分布情況、本國實際研究需要以及提高抽樣效率等角度來選擇分層變量，如選擇學(xué)校地理位置變量將學(xué)校分為城市學(xué)校、縣鎮(zhèn)學(xué)校、農(nóng)村學(xué)校等。PISA的分層變量包括外顯和內(nèi)隱兩種。外顯分層變量用于將學(xué)校分組，即分到不同的外顯層，抽樣將在每個外顯層獨立進行；內(nèi)隱分層變量用于對外顯層內(nèi)的學(xué)校進行排序，方便在所有內(nèi)隱層能夠嚴(yán)格成比例抽樣，從而進一步提高結(jié)果的信度。[6]為了防止抽中過多的超級大?；蚴切⌒?，PISA默認(rèn)將學(xué)校規(guī)模也作為內(nèi)隱分層變量。[7]

2.2.3 收集抽樣框

抽樣框（sampling frame）是目標(biāo)總體中所有初級抽樣單元的完整列表。以兩階段抽樣為例，PISA抽樣框中需列出測試期間所有可能含15歲在校生的學(xué)校。抽樣框是學(xué)校抽樣的基礎(chǔ)，為保證樣本的良好代表性，抽樣框需基于抽樣方案，按各個分層將所有符合條件的學(xué)校逐條列出。抽樣框中含有的信息包括學(xué)校編號、學(xué)校所屬分層、15歲學(xué)生數(shù)量估計值（ENR）等。ENR將作為PPS抽樣的輔助參考變量，越接近測試時的真實數(shù)量值越好。

考慮到測試實際操作的可行性，PISA允許在一定范圍內(nèi)排除極個別學(xué)?；?qū)W生。排除分為兩種，一種是學(xué)校層面的排除，對于存在地理位置不通達(dá)、難以實施PISA等情況的學(xué)校，可排除整校的PISA學(xué)生，被排除的學(xué)校不置入抽樣框中，不參加抽樣；另一種是校內(nèi)排除，即在學(xué)校內(nèi)部排除有較為嚴(yán)重的生理障礙或認(rèn)知障礙的PISA學(xué)生，測試所用語言非母語、水平極為有限且接受該語言授課不足一年的學(xué)生也可在校內(nèi)排除。作為校內(nèi)排除的學(xué)生仍需納入抽樣框統(tǒng)計，若被抽取到，在測試時再作排除。[8]為保證最終樣本結(jié)果對總體的代表性且可進行國際比較，PISA技術(shù)標(biāo)準(zhǔn)嚴(yán)格控制學(xué)校層面排除與校內(nèi)排除的總比率，最高不得超過目標(biāo)總體的5%。[9]

2.2.4 抽取學(xué)校

PISA正式測試的樣本學(xué)校由負(fù)責(zé)PISA抽樣技術(shù)工作的國際承包商在各個國家或地區(qū)提交的抽樣框基礎(chǔ)上進行統(tǒng)一抽取。在抽樣開始之前，PISA的抽樣框經(jīng)過縝密處理，每個外顯層內(nèi)的學(xué)校均按內(nèi)隱變量進行排序，進而根據(jù)PISA學(xué)生在各外顯層的分布比例為各外顯層分配樣本學(xué)校初始數(shù)額，并根據(jù)各層的小學(xué)校（以PISA2015為例，小學(xué)校指PISA學(xué)生人數(shù)不足42人的學(xué)校）數(shù)量、統(tǒng)計技術(shù)要求、參測國家研究訴求等因素對初始配額進行調(diào)整，經(jīng)參測國家審核確認(rèn)后形成最終的樣本容量分配。

外顯層內(nèi)的樣本學(xué)校等距抽取，每個外顯層抽樣間距為該層的PISA學(xué)生總數(shù)與待抽樣本校數(shù)目之比。當(dāng)有超級大校的PISA學(xué)生人數(shù)等于或超過其所在層的抽樣間距時，該校則從所在層抽離出，作為必抽學(xué)校入樣，該層的抽樣間距則重新計算。

為防止測試實施時有學(xué)校不愿參加PISA，抽樣時通常為每所樣本學(xué)校配備2所替補學(xué)校，抽樣框中位置緊鄰樣本學(xué)校上下的學(xué)校為替補校，以確保替補在各個屬性參數(shù)上同樣本學(xué)校最為相似。

2.2.5 抽取學(xué)生

學(xué)生樣本由PISA國家中心采用PISA國際統(tǒng)一專用抽樣軟件KeyQuest（簡稱KQ）隨機抽取。國家中心在抽樣前收集參加測試學(xué)校所有符合PISA條件的學(xué)生名單，將名單導(dǎo)入KQ進行抽樣。以PISA2015為例，KQ為每校抽取42名學(xué)生，對于不足42人的學(xué)校，軟件將自動抽取名單中的全部學(xué)生。使用統(tǒng)一抽樣軟件可使得各個國家或地區(qū)的抽樣流程嚴(yán)格一致，此外，可便于測試實施后學(xué)校、學(xué)生等參加情況的更新與數(shù)據(jù)的最后校驗。

無論是紙筆模式還是機考模式，PISA測試均有多個試題版本。版本的多樣化覆蓋了各測評領(lǐng)域所要考察的維度，并平衡了試題的順序效應(yīng)。每個學(xué)生只接受一個版本的測試，KQ在抽取學(xué)生的同時就基于PISA的整體設(shè)計為每個樣本學(xué)生分配完成測試版本號，對于參加機考模式的國家，學(xué)生機考登錄賬號及密碼也同時生成。KQ還可生成統(tǒng)一格式的學(xué)生信息、測試與問卷環(huán)節(jié)出席情況表格等，方便PISA在學(xué)校內(nèi)的組織安排、測試實施以及考場記錄。

2.2.6 樣本參加情況及應(yīng)答率控制

科學(xué)抽樣是獲得學(xué)生表現(xiàn)有效估計值的前提保障，但若要估計值更為精確，且能夠參與國際比較，則需極力調(diào)動樣本參加測試的積極性。根據(jù)PISA技術(shù)標(biāo)準(zhǔn)要求，樣本學(xué)校的應(yīng)答率不得低于85%。若在85%～65%之間，在使用替補學(xué)校后的應(yīng)答率需在可接受的范圍值內(nèi)；所有樣本學(xué)生的總應(yīng)答率需達(dá)到80%。[10]如果應(yīng)答率過低，調(diào)查結(jié)果將不足以有力說明學(xué)生總體表現(xiàn)，不能參加國際比較。

3 PISA2015中國抽樣實踐

在PISA2006、PISA2009、PISA2012中國獨立研究的經(jīng)驗探索基礎(chǔ)上，PISA2015中國以國家身份正式參加。本著自愿原則，PISA2015中國參加省份為北京、上海、江蘇、廣東，這4省（市）作為整體抽取樣本，樣本參加測試的結(jié)果將用來說明4?。ㄊ校┱w15歲學(xué)生的表現(xiàn)情況。

我國除參與標(biāo)準(zhǔn)的學(xué)生測試、學(xué)生問卷調(diào)查之外，還參加了學(xué)生財經(jīng)素養(yǎng)測試以及教師問卷調(diào)查這兩個可選項。抽樣各個環(huán)節(jié)均嚴(yán)格按照PISA國際統(tǒng)一要求與技術(shù)標(biāo)準(zhǔn)。我國采用兩階段分層抽樣，所有基礎(chǔ)抽樣信息如15歲總?cè)丝凇⒊闃涌蛐畔?、學(xué)生與教師名單等由PISA國家中心協(xié)同4?。ㄊ校┦占３闃映邪桃訮PS系統(tǒng)抽樣方法在抽樣框中抽取學(xué)校，繼而國家中心在4?。ㄊ校┨峤坏膶W(xué)生教師名單基礎(chǔ)上使用KQ為每所參測學(xué)校隨機抽取學(xué)生和教師，財經(jīng)子樣本也通過KQ在學(xué)生樣本基礎(chǔ)上抽取。

PISA2015中國的分層變量在參加省（市）的建議基礎(chǔ)上確定為：外顯分層變量是學(xué)校地理位置（城市、縣鎮(zhèn)、農(nóng)村）、學(xué)校類型（普通、職業(yè)）、學(xué)段（初中、高中、完全中學(xué)）。根據(jù)這些變量將所有符合條件的學(xué)校分列在學(xué)校抽樣框的各外顯層；內(nèi)隱分層變量是學(xué)生入學(xué)成績等級或?qū)W校質(zhì)量（一般、實驗性示范性、不適用）、學(xué)校性質(zhì)（公辦、民辦）。參加?。ㄊ校└鶕?jù)所能獲得的最新數(shù)值或估計值提供15歲人口信息以及抽樣框中的學(xué)校名單信息，抽樣框共有9 178所學(xué)校、1 448 879名15歲學(xué)生。考慮到測試的有效實施，學(xué)校層面排除了特殊教育學(xué)校、科學(xué)課程①PISA每個輪次以一個領(lǐng)域為主要測試領(lǐng)域，其他領(lǐng)域為次要測試領(lǐng)域。PISA2015以科學(xué)領(lǐng)域為主要測試領(lǐng)域。以非漢語授課的學(xué)校。此外，多數(shù)地區(qū)由于技工學(xué)校不歸教育部門直管，不便組織測試，經(jīng)與抽樣承包商溝通，技工學(xué)校也在學(xué)校層面排除②上海市含15歲學(xué)生的技工學(xué)校納入到了抽樣框，未排除。；具有嚴(yán)重生理障礙或智力障礙，以及漢語非母語且漢語水平不足以參加測試的學(xué)生作為校內(nèi)排除類別在測試時排除?？偱懦始s占4?。ㄊ校?5歲在校生總體的4%，在抽樣技術(shù)標(biāo)準(zhǔn)要求之內(nèi)。

抽樣承包商基于我國4?。ㄊ校┨顖蟮某闃涌虺槿颖緦W(xué)校共270所。其中20所樣本學(xué)校因自身設(shè)備條件不足或有其他任務(wù)安排等原因表示不參加測試，使用了相應(yīng)替補學(xué)校。另外，1所樣本學(xué)校在測試期間無15歲在校生，1所樣本學(xué)校測試期間將與其他學(xué)校合并，學(xué)生教師將分流，這2所學(xué)校不參加測試，因不符合使用替補學(xué)校的條件，因而也未用替補。PISA2015中國4省（市）共有268所學(xué)校參加了正式測試，在使用了替補后的學(xué)校應(yīng)答率為100%。4?。ㄊ校┏闃涌蚣皩W(xué)生樣本情況如表1所示。

因4省（市）的PISA學(xué)生主要分布在9年級和10年級，因此9年級和10年級稱為“典型年級”。PISA2015以科學(xué)素養(yǎng)為主要測評領(lǐng)域，教師問卷的調(diào)查對象為能夠教授典型年級的科學(xué)學(xué)科教師和其他學(xué)科教師。我國4?。ㄊ校┑?68所學(xué)校共抽取6 423名教師，其中科學(xué)學(xué)科2 456名，其他學(xué)科3 967名③每校抽取10名科學(xué)學(xué)科教師、15名其他學(xué)科教師，在教師人數(shù)不足的學(xué)校則抽取全部。。測試實施與數(shù)據(jù)初步清理后，實際獲得的學(xué)生有效樣本大小逾9 800人，教師有效樣本大小約6 300人。

4 啟示與展望

PISA抽樣不僅方法科學(xué)，而且程序嚴(yán)謹(jǐn)，可資借鑒。PISA抽樣綜合采用了多階段、分層、PPS等多種抽樣方法，這些是目前國際上大型測評項目普遍使用的方法，具有較為成熟的研究基礎(chǔ)，可較為經(jīng)濟有效地實現(xiàn)樣本對總體的代表性，同時也可靈活適應(yīng)國家內(nèi)部研究的需要。PISA每個輪次通過國際招標(biāo)確定負(fù)責(zé)抽樣各個環(huán)節(jié)的承包商，承包商依據(jù)PISA技術(shù)標(biāo)準(zhǔn)統(tǒng)籌抽樣各項任務(wù)，審核抽樣數(shù)據(jù)質(zhì)量，為各個國家或地區(qū)提供全面的抽樣技術(shù)支持，確保各個國家或地區(qū)在每個時間節(jié)點內(nèi)有質(zhì)量地按時完成抽樣任務(wù)。從方法和程序上保證所有國家或地區(qū)在整個抽樣工作環(huán)節(jié)上的標(biāo)準(zhǔn)一致，為結(jié)果的國際可比性提供保障。

表1 PISA2015中國抽樣框及樣本情況

建立與完善兼顧以教育測評為目的的全國統(tǒng)一學(xué)生信息庫十分必要。抽樣結(jié)果的精度很大程度上依賴于抽樣數(shù)據(jù)收集的有效性與精確性。以PISA 15歲學(xué)生估計值為例，其精確度直接關(guān)系到PPS抽樣結(jié)果。教育部2013年已在全國32個省份安裝完成中小學(xué)生學(xué)籍信息管理系統(tǒng)，多數(shù)省份數(shù)據(jù)已進入全國數(shù)據(jù)系統(tǒng)。[11]若數(shù)據(jù)庫中能夠增加學(xué)校地理位置等當(dāng)前大型教育測評項目普遍關(guān)心的變量，勢必今后不僅能服務(wù)于學(xué)籍管理與招生，同樣可服務(wù)于教育測評。大型測評項目如PISA、全國基礎(chǔ)教育質(zhì)量監(jiān)測等可從同一完備數(shù)據(jù)庫中收集抽樣基礎(chǔ)信息，如此可大大節(jié)省抽樣準(zhǔn)備環(huán)節(jié)的人力與時間，同時可減少數(shù)據(jù)收集過程中的誤差引入，也便于實現(xiàn)多個測評結(jié)果的相互參照研究與跟蹤研究。

大型教育質(zhì)量評估需借助于多部門的合作。以技工學(xué)校為例，除上海之外，其他?。ㄊ校┑募脊W(xué)校因不便組織開展PISA準(zhǔn)備與實施工作而作為排除類別置入抽樣框。技工學(xué)校15歲學(xué)生雖僅占15歲在校生總?cè)丝诘妮^小比例，但卻是我國中等職業(yè)教育的重要組成部分。如在PISA等面向中等教育學(xué)生群體的大型測評項目中，教育部門、人社部門等實現(xiàn)多部門協(xié)同合作，樣本覆蓋技工學(xué)校學(xué)生，測評結(jié)果將能更細(xì)致有力地刻畫技工學(xué)校等中等職業(yè)教育學(xué)生的表現(xiàn)，更為全面地說明中等職業(yè)教育的總體教育質(zhì)量狀況。

[1]艾爾·巴比.社會研究方法（第十一版）[M].邱澤奇，譯.北京：華夏出版社，2009:206.

[2][4][7]OECD PISA.PISA2012 Technical Report[R].OECD,2014.

[3]Martin,M.O.&Mullis,I.V.S.（Eds.）.Methods and procedures in TIMSS and PIRLS 2011[R].Chestnut Hill,MA:TIMSS&PIRLS International Study Center,Boston College,2012.

[5]李金昌.應(yīng)用抽樣技術(shù)[M].北京:科學(xué)出版社，2010:32.

[6]Westat.PISA2015 FT Sampling Guidelines[R].Rockville,MD, 2013.

[8]Westat.School Sampling Preparation Manual:PISA2015 Main Sur?vey[R].Rockville,MD,2014.

[9][10]OECD PISA.PISA 2015 Technical Standards[R].OECD,2012.

[11]教育部.全國32個省份全部裝完中小學(xué)生學(xué)籍信息管理系統(tǒng)[EB/OL].（2013-11-20）[2015-09-01].http://www.moe.gov.cn/ publicfiles/business/htmlfiles/moe/s5987/201310/158559.html.

An Introduction to the Sampling Methods for PISA and Sampling Practice of China in PISA2015

DING Huiming

The Programme for International Student Assessment（PISA）,launched by Organization for Economic Co-operation and Development,is an international survey which aims to evaluate education systems worldwide.To provide reliable and comparable results across countries,sampling is critical for PISA.In this paper,an introduction of sampling methods and procedures in PISA are given.Sampling practice of China in PISA2015 is elaborated as well.And then the assumption and prospect of the process for educational assessment in China are discussed.

PISA;Sampling;Educational Assessment

G405

A

1005-8427（2015）10-0046-5

丁慧明，女，PISA2015國家中心（北京 100084）