許世紅 張偉民

PISA2015試測在廣東抽樣的實踐與啟示

許世紅 張偉民

廣東省在首次參加PISA研究、進行2014年試測抽樣的過程中，通過明確抽樣范圍和抽樣流程、摸查PISA學生分布的基本信息、完成學校抽樣和學生抽樣任務，對進一步做好該項研究提出意見和建議。

PISA；試測；抽樣；啟示

PISA是國際上頗具影響力的大規(guī)模教育評價項目，其測評對象是15歲在校學生，測評目標是了解在終身學習的背景下，年青一代在閱讀、數(shù)學、科學等領域面向未來生活的知識和技能的準備程度。自2000年誕生以來，每三年開展一次的PISA已經(jīng)進行了五次測評。中國上海參加了PISA2009和PISA2012，由于表現(xiàn)突出，測試結果在國際上引起廣泛關注。

PISA2015自2013年啟動到2016年發(fā)布測評結果，將持續(xù)4年。為更好地組織這項研究，教育部成立PISA2015國家中心（設在教育部考試中心，以下簡稱“國家中心”）。在國家中心的部署下，于2014年4月中旬實施了PISA2015試測。

廣東省是第一次參加PISA，省教育廳對此高度重視，成立了以分管基礎教育的副廳長掛帥、相關處室（部門）主要負責人為成員的測試工作領導小組，統(tǒng)籌解決測試工作的重大問題；領導小組下設實施小組，負責測試組織實施的具體工作。工作推進過程中，堅持方法、技術與相關要求科學規(guī)范的原則。通過開展試測抽樣工作，廣東省現(xiàn)有教育信息平臺接受了全面檢核，教育統(tǒng)計與測評研究人員也得到極大鍛煉。

1 PISA2015試測的抽樣范圍和抽樣流程

為了確保PISA結果能夠反映出參與國（地區(qū)）15歲學生的能力，不僅學生樣本的規(guī)模和參與率都有嚴格標準，而且測試工具和組織工作也必須經(jīng)過試測檢驗。PISA2015試測的主要目的有四個：一是評估PISA前幾輪測試之間以及PISA2015兩種模式（計算機測試模式與紙筆測試模式）之間的題目參數(shù)不變性；二是獲得新科學素養(yǎng)、財經(jīng)素養(yǎng)和協(xié)作問題解決的初始題目參數(shù)；三是評估抽樣和測試的操作實施情況；四是評估新計算機平臺在參與國內部和各參與國之間的功能是否良好。

1.1 抽樣范圍

根據(jù)PISA要求，只要有15歲3個月到16歲2個月在校學生的各類教育機構都必須納入PISA抽樣范圍（抽樣框）。其中，各類教育機構是指單軌、雙軌或者多軌系統(tǒng)下的所有全日制、半日制，職業(yè)、特殊、普通等類別，分年級或者不分年級教學，公辦或民辦等各類性質的所有學校。目前國情下，需要特別說明的是，不論學校是否屬于當?shù)亟逃姓块T直接管理，都應該列入抽樣框。一般來講，特殊教育學校以及隨班就讀的殘疾兒童（無法正常參加PI?SA）不參加抽樣，為了節(jié)省成本，一些特別邊遠的小學校也可以從最后的抽樣范圍中排除；但是，最后所有排除在抽樣范圍外的學生總數(shù)不可以超過15歲在校學生總數(shù)的5%。

國家中心最后確定，我國試測時間安排在2014年3月28日至4月15日之間的某天，抽樣對象為1998年1月至12月出生、國內各類教育機構上學、7年級至12年級、國籍為中國、全日制或者非全日制的所有學生。

1.2 抽樣流程

根據(jù)國際統(tǒng)一要求，為了保證有效達成試測目標，國家中心制定了試測抽樣工作流程時間表（見表1），以指導和協(xié)調5?。ㄊ校┕餐瓿沙闃尤蝿?。

表1 PISA試測抽樣工作流程時間表

2 PISA2015試測抽樣實施

為了確保試測抽樣的科學性、典型性和代表性，廣東省的試測抽樣的實施分三階段進行。第一階段是摸查基本信息，首先統(tǒng)計廣東省符合PISA條件的學生在不同類型學校中分布情況、分年級分布情況、符合PISA條件的學生人數(shù)規(guī)模達到92人以上的各類學校的數(shù)量，再明確試測需要排除的情況，并說明排除原因。第二階段是學校抽樣，先將廣東省含有PISA學生的學校根據(jù)確定的分層變量進行分類，然后按照PISA學生的規(guī)模排序，結合珠三角、粵東、粵西、粵北等區(qū)域，進行樣本學校和替補學校抽樣，并根據(jù)分層要求對樣本學校和替補學校的抽樣結果進行檢驗。第三階段是學生和教師抽樣，國家中心采用國際專用抽樣軟件在樣本學校中隨機抽取學生樣本和教師樣本。

2.1 基本信息摸查

根據(jù)OECD抽樣承包商2013年7月15日公布的試測抽樣統(tǒng)計表（見表2），依照廣東省教育信息平臺2012學年度的相關數(shù)據(jù)，測試工作組統(tǒng)計并填寫廣東省各學校2012學年在10個分類變量下不同類別學校中15歲學生數(shù)占全省15歲學生總數(shù)的百分比。其中，在每一個分類變量下，各類別15歲學生百分比之和為100%。需要指出的是，廣東省教育信息平臺2012學年度的15歲學生并非嚴格意義上的PISA學生，但可用于估算PISA學生的分布狀況。由于管理體制問題，廣東省教育信息平臺不包含技工學校數(shù)據(jù)，因此在涉及技工學校時先采用類比中職學校PISA學生數(shù)的方式估算技工學校各個分類變量中的15歲學生數(shù)，來完成表格填寫任務。另外，對于分類變量“符合PISA條件的學校規(guī)?！?，廣東省少于3名PISA學生的各類學校中的PISA學生數(shù)占PISA學生總數(shù)的0.005%，但少于3名PISA學生的各類學校數(shù)占所有含PISA學生的學?？倲?shù)的15.86%（不含技工學校信息）；一方面，0.005%說明學校抽樣時可以剔除少于3名PISA學生的各類學校；另一方面，15.86%說明這類學校分布較廣，不容忽視；用怎樣的數(shù)據(jù)呈現(xiàn)形式更客觀準確地反映PISA學生和PISA學生所在學校之間的關系，有待進一步探討。

在進行PISA學生所在學校的分布情況的摸查過程中，不僅需要了解PISA學生在7年級至12年級的分布情況（見表3），還需要了解PISA學生不少于92人的學校分布情況（見表4）。廣東省2012學年度共有243所技工學校，其中絕大多數(shù)學校都包含PISA學生，PISA后續(xù)的研究工作不能僅僅借助估算完成。因此，測試工作組積極聯(lián)系廣東省人力資源與保障廳，取得其技工教育處的支持，完成了表3～表5的填寫（不含特殊教育學校信息）。

廣東省PISA學生不足92人的學校僅占含PISA學生的學?？倲?shù)的4.06%，在試測階段可以排除，不作為抽樣對象。PISA 2015中國選擇漢語作為測試語言，而廣東省7年級至12年級的課程以非漢語為授課語言的學生占極少數(shù)，因此，這類學生可以排除，不作為抽樣對象。另外，廣東省特殊教育學校（主要包括智障生、聽障生、視障生等）缺少分年齡統(tǒng)計的學生數(shù)據(jù)，以初二至高一的在校生數(shù)來估算15歲學生數(shù)①鑒于PISA學生主要分布在初三、高一，而特殊教育學校學生普遍年齡略大，因此我們以初二至高一的學生數(shù)來估算15歲學生數(shù)。，僅占PISA學生總數(shù)的0.05%，因此，這類學生可以排除，不作為抽樣對象。

2.2 學校抽樣

為了保證抽樣的典型性和代表性，PISA抽樣先采用外顯分層和內隱分層兩個維度確定抽樣分層變量（廣東省試測抽樣分層變量情況見表4），然后依據(jù)外顯分層變量將符合條件的學校進行整群分類，再在各個類別中按照內隱分層變量進行學校抽樣。

測試工作組根據(jù)外顯分層變量先統(tǒng)計出PISA學生人數(shù)不小于92人的12類學校數(shù)目（見表5）。根據(jù)PISA要求，試測階段至少抽取25所樣本學校，廣東省最終確定抽取26所樣本學校。由于每個外顯分層變量都是一個獨立的抽樣范圍，因此根據(jù)12類學校占學?？倲?shù)目的比例確定各個類別試測學校的樣本數(shù)量。

在確定了12個類別試測學校的樣本數(shù)量后，再考慮內隱分層變量的要求共抽取26所樣本學校和26所匹配的替補學校。具體抽樣時，22所普通初高中的樣本學校（和替補學校）覆蓋21個地級以上市，全部樣本學校（和替補學校）涵蓋4個內隱分層變量的相關類別，以確保樣本學校（和替補學校）的典型性和代表性。

2.3 學生和教師抽樣

試測階段，PISA學生抽樣不是從PISA學生總體中直接抽取，而是綜合采用了多階段抽樣、整群抽樣、等距抽樣和分層抽樣等多種方法。抽樣時，首先確定第一階段的抽樣單元是學校；然后將學校分成12個大類，根據(jù)樣本數(shù)量以學校為集合單位分別在12個大類中整群抽?。粚W校入樣后，根據(jù)樣本容量（92名PISA學生，10名科學學科教師，15名其他學科教師）的要求和PISA學生年級分布情況確定抽樣間距，隨機確定起點，每隔一定的間距抽取一個樣本，共抽取2 392名PISA學生和650名教師，完成抽樣任務。

表2 廣東省2012學年PISA學生分布情況初步統(tǒng)計表

表3 廣東省2012學年PISA學生的年級分布情況表

表4 廣東省試測抽樣分層變量表

表5 廣東省PISA大學校分布與抽樣要求統(tǒng)計表

3 廣東PISA2015試測抽樣遇到的主要問題

廣東省首次參加PISA，許多工作邊學習、邊摸索、邊完善?？傮w而言，廣東省在根據(jù)PISA技術規(guī)范完成試測抽樣任務的過程中，主要存在著部分PI?SA信息的統(tǒng)計內容、統(tǒng)計標準和統(tǒng)計要求與我國現(xiàn)行的教育統(tǒng)計不一致，導致現(xiàn)有教育統(tǒng)計成果無法充分利用，需要根據(jù)PISA的要求重新設計，再進行統(tǒng)計、分析與整理。

例如，關于PISA學生的年齡統(tǒng)計口徑。根據(jù)試測要求，參加2014年PISA2015試測的學生是在1998年1月至12月期間出生（簡稱PISA學生）。抽樣前，需要摸查PISA學生在全省分布狀況的各種基本信息。而現(xiàn)有的教育統(tǒng)計信息，學生年齡是按入學時點統(tǒng)計，即統(tǒng)計當年9月至次年8月期間出生的學生。

又如，關于包含PISA學生的學校分類標準。PISA要求分為職業(yè)初中、技工學校、農(nóng)業(yè)學校、其他職業(yè)學校、普通學校、混合學校共6個類別，但目前的教育統(tǒng)計未將農(nóng)業(yè)學校作為中職學校的單獨類別進行統(tǒng)計。而在以學生國籍為主導的學校分類中，PISA要求分為本國學生主導的學校、國際學生主導的學校、混合學校共3個類別，目前也沒有這個統(tǒng)計口徑。另外，在以科學課程教學語言為主導的學校分類中，包含PISA學生的學校被分為母語教學學校、小語種教學的國內學校、小語種教學的國際學校、雙語教學學校、浸入式語言教學學校、混合學校共6個類別，這個統(tǒng)計口徑也缺乏。

再如，關于任教科學學科的教師問題。在PI?SA2015測試框架中，“科學”包括以單獨的學科授課或以“綜合科學”的名義教授的物理、化學、生物、地理科學、空間科學或天文學以及應用科學與技術等課程，但不包括數(shù)學、心理學、經(jīng)濟學或地理課程中的地球科學等相關科目，而中職學校和技工學校的課程開設與普通初高中的課程開設方式不同，導致他們在上報任教科學學科的教師數(shù)時出現(xiàn)標準不一致現(xiàn)象。

4 廣東省參加PISA2015試測抽樣工作的體會和啟示

4.1 做好PISA有關工作，有利于提升廣東省基礎教育乃至教育事業(yè)整體發(fā)展水平

在當前統(tǒng)籌國際謀合作、國內謀發(fā)展的格局下，各地必須沿著繼續(xù)擴大教育開放、深化教育改革、加快教育發(fā)展、促進教育質量提高的思路前進。參加PISA，能有效地加強橫向交流合作和自身縱向比較，發(fā)揮測評診斷功能，將在教育改革與發(fā)展某些方面贏得先機，爭取主動權。

PISA提供的評價結果，不只是簡單的成績排序，它還向各參與方提供詳盡的分析報告，內容涉及學生成績與性別、學習態(tài)度和興趣、家庭背景、學校人力物力投入等的關系。通過PISA，可以了解廣東省教育質量的現(xiàn)狀、存在的深層次問題及其原因，為政策、決策的修訂和完善提供依據(jù)；通過對教育質量做出的深入分析和準確判斷，對整體的教育質量做出評判，對未來的趨勢做出預測，引導各級政府和決策部門把教育資源和學校工作的重點集中到強化教育關鍵、提高教育質量上來，對政策的執(zhí)行進行調整。同時，通過PISA，引進先進的教育質量觀念，為政府評價學校的教育質量提供科學標準，切實改變違背素質教育要求的評價學校質量的觀念和做法。

通過參加PISA，既能對廣東省現(xiàn)有的教育信息平臺進行全面檢核，又培養(yǎng)了教育測評專業(yè)隊伍，還能對廣東省組織開展的各級各類教育質量監(jiān)測工作提供有益借鑒。

4.2 做好PISA有關工作，必須加強組織領導和學習交流

PISA是一項系統(tǒng)性強、復雜度高、工作量大、時間跨度長的國家級重大工程。做好此項工作，一是必須積極主動與國家中心進行溝通聯(lián)系，在其統(tǒng)籌部署和指導下開展有關工作。二是必須成立省級層面的專項工作領導小組和工作小組，由省政府分管省領導或省教育行政部門主要負責人擔任領導小組組長，省直有關部門和省教育行政部門有關職能機構負責人擔任成員。領導小組負責統(tǒng)籌協(xié)調解決測試工作中的重大問題，建立完善工作機制，落實工作經(jīng)費。工作小組由省教育行政部門有關職能機構牽頭，各地市教育行政部門參與，負責測試工作的具體組織實施。三是必須積極主動地和有PISA實施經(jīng)驗的兄弟省市加強聯(lián)系，向他們虛心求教，獲取他們的寶貴經(jīng)驗，共同探討和解決測試工作中出現(xiàn)的問題和困難。

4.3 做好PISA有關工作，必須根據(jù)PISA統(tǒng)計規(guī)范完善有關教育統(tǒng)計信息

PISA被喻為“教育界的世界杯”，其指標已經(jīng)過五輪測試實踐檢驗，具有較強的科學性。為使我國的測試結果盡量減少誤差，建議國家中心協(xié)商教育部有關司局，在我國現(xiàn)有的教育信息的統(tǒng)計內容、統(tǒng)計標準和統(tǒng)計要求上，與PISA充分結合起來，按照PISA規(guī)范增補相關統(tǒng)計指標，明確統(tǒng)計要求，指導各參測?。ㄊ校┳ゾo完善相關信息，以便更好地推進PISA2015的進行。

[1]陸璟.PISA測評的理論和實踐[M].上海：華東師范大學出版社，2013，5：48-51.

[2]王蕾，景安磊.我們從PISA學到了什么——基于PISA中國試測的研究[J].北京大學教育評論，2013（1）：172-180.

[3]任春榮.PISA抽樣方法的理論與實踐——以PISA2006中國試測研究為例[J].統(tǒng)計教育，2007（11）：11-14.

（責任編輯 吳四伍）

Sampling and Enlightenment of PISA2015 Field Trial in Guangdong Province

XU Shihong and ZHANG Weimin

Guangdong Province participates in PISA for the first time.During 2014 Field Trial,we understand the sampling range and sampling process firstly,count the basic information on PISA students distribution secondly,and complete the sampling of PISA schools and students finally.After fulfilling the sampling tasks,We put forward some reasonable proposals to perfect this research work.

PISA;Field Trial;Sampling;Enlightenment

G405

A

1005-8427(2014)09-0058-7

本文系國家教育體制改革領導小組研究項目“研提OECD組織PISA測試項目經(jīng)驗啟示”的研究成果之一。

許世紅，女，廣東省教育研究院教育評估室，博士（廣州 510035）

張偉民，男，廣東省教育研究院教育評估室，主任（廣州 510035）