齊宇歆

摘要：當(dāng)前國際上，一種以場耦合、整體論和自然生成為旨趣的自然人文主義教育思潮漸成主流。在學(xué)習(xí)評(píng)價(jià)領(lǐng)域，OECD的PISA模式可謂個(gè)中翹楚。為此，該文首先從詞源學(xué)視角解讀了PISA中“Literacy”的社會(huì)文化功能，接著從認(rèn)知與進(jìn)化層面探討了學(xué)習(xí)的發(fā)生與本質(zhì)，對(duì)“學(xué)習(xí)素養(yǎng)”給出了一個(gè)描述性定義，提出了形成模型，最后，構(gòu)建了評(píng)價(jià)指標(biāo)體系，運(yùn)用基于計(jì)算機(jī)的項(xiàng)目反應(yīng)理論測試方法在鄭州E中學(xué)開展了實(shí)證研究。結(jié)論如下：（1）學(xué)習(xí)素養(yǎng)有三個(gè)公因子，它們分別是顯著影響學(xué)習(xí)素養(yǎng)形成的素養(yǎng)因子、反映考試成績高低的成績因子和能否積極利用身邊各種學(xué)習(xí)資源的資源利用因子，其中素養(yǎng)因子對(duì)學(xué)習(xí)素養(yǎng)的影響最為顯著；（2）就總體而言，學(xué)生表現(xiàn)最出色的是交流合作和記憶策略，最差的是信息資源利用情況；（3）成績優(yōu)異的學(xué)生和絕大部分學(xué)生主要采用記憶策略，而成績中上者則常用精致策略；（4）在所有指標(biāo)中，學(xué)科成績的標(biāo)準(zhǔn)差最大；（5）精致策略等四個(gè)指標(biāo)都會(huì)顯著影響知識(shí)遷移水平。在當(dāng)前背景下，學(xué)生的學(xué)習(xí)參與度普遍偏低，活學(xué)活用能力明顯欠缺，兩極分化現(xiàn)象嚴(yán)重，這些問題不能不引起業(yè)界關(guān)注。

關(guān)鍵詞：PISA；Literacy；學(xué)習(xí)素養(yǎng)模型；評(píng)價(jià)指標(biāo)體系；項(xiàng)目反應(yīng)理論；實(shí)證研究

中圖分類號(hào)：G434 文獻(xiàn)標(biāo)識(shí)碼：A

PISA（Program for International Students Assessment）是美、英等國在知識(shí)經(jīng)濟(jì)背景下針對(duì)自身基礎(chǔ)教育質(zhì)量連續(xù)下滑而進(jìn)行反思后的產(chǎn)物。自上海2009年作為我國第一個(gè)大陸地區(qū)參加OECD的PISA評(píng)估項(xiàng)目并兩次同時(shí)在閱讀、數(shù)學(xué)和科學(xué)三個(gè)領(lǐng)域獲得第一之后，PISA得到了全社會(huì)有識(shí)之士的共同關(guān)注，在我國教育界也涌起了一股PISA研究熱。如何借鑒PISA的精髓來扎實(shí)推進(jìn)我國處于瓶頸狀態(tài)的素質(zhì)教育改革是擺在業(yè)界同仁面前一項(xiàng)嶄新的課題。從宏觀層面來看，要將PISA移植于素質(zhì)教育評(píng)價(jià)必須考慮三個(gè)因素。首先，PISA的研究對(duì)象是即將結(jié)束義務(wù)教育的十五歲初中生，它屬于一種基于常模參照測試的相對(duì)性評(píng)價(jià)。這種評(píng)測方式主要是通過各樣本在常模中的相對(duì)位置來判斷樣本間的差異，看重的是對(duì)樣本的區(qū)分能力，這對(duì)于從宏觀層面依據(jù)總體分布特征來制定教育政策、預(yù)測各參與國的創(chuàng)新型人才儲(chǔ)備和經(jīng)濟(jì)、社會(huì)發(fā)展后勁的相對(duì)優(yōu)劣狀況無疑是合適的，但是，對(duì)于通過一系列教學(xué)活動(dòng)后，重在判定被試是否掌握了該目標(biāo)領(lǐng)域中最重要的概念群、基本命題和基本技能，被試是否存在結(jié)構(gòu)性缺陷以及怎樣有針對(duì)性地進(jìn)行補(bǔ)救的絕對(duì)性評(píng)價(jià)，即基于某一標(biāo)準(zhǔn)、理念的學(xué)業(yè)水平達(dá)成度評(píng)價(jià)則是不合適的。其次，我國于2001年頒布了基礎(chǔ)教育各學(xué)科的課程標(biāo)準(zhǔn)。這些課程標(biāo)準(zhǔn)在課程性質(zhì)、目標(biāo)和知識(shí)點(diǎn)上都做出了詳細(xì)規(guī)定，而且具有強(qiáng)制性，因此，在進(jìn)行具體實(shí)踐時(shí)有必要將二者結(jié)合起來。最后，雖說有必要借鑒PISA評(píng)價(jià)模式來進(jìn)行全國性或跨地區(qū)的專業(yè)調(diào)查，但考慮到我國地域廣闊，東、西部地區(qū)之間經(jīng)濟(jì)、文化差異較大，在現(xiàn)階段，以學(xué)生個(gè)體、班級(jí)、學(xué)校甚至較小地區(qū)進(jìn)行學(xué)習(xí)狀況的自我監(jiān)測和自我評(píng)價(jià)，更能有的放矢地改進(jìn)自身教學(xué)過程中的不足以實(shí)現(xiàn)內(nèi)涵式提升。概言之，我們不能簡單地因襲PISA評(píng)價(jià)模式，必須充分考慮評(píng)價(jià)目標(biāo)上的差異、國情制約和學(xué)校、學(xué)生個(gè)體的自身實(shí)際需要，才能在實(shí)踐中逐步探索出一種真正意義上的本土化學(xué)習(xí)評(píng)價(jià)模式。六年來，筆者以我國現(xiàn)階段的課程標(biāo)準(zhǔn)為基本依據(jù)，借鑒PISA評(píng)價(jià)的基本思想，增設(shè)部分能充分反映被試現(xiàn)實(shí)表現(xiàn)的真實(shí)性評(píng)價(jià)指標(biāo)，突出個(gè)體和小規(guī)模團(tuán)隊(duì)的學(xué)習(xí)狀態(tài)自診斷，并先后在鄭州、廈門的多所初、高中進(jìn)行了實(shí)證研究，現(xiàn)將研究結(jié)果進(jìn)行整理論述。

一、“Literacy”的功能分析

自O(shè)ECD設(shè)立PISA評(píng)估項(xiàng)目以來，我國為什么會(huì)有如此多的人群聚焦該項(xiàng)目呢？在筆者看來，除了人們的求新求異心理，這一現(xiàn)象更多地是承載了人們對(duì)徘徊在十字路口的素質(zhì)教育評(píng)價(jià)能否得到根本性突破的一種期待。客觀地說，PISA一改過去評(píng)價(jià)的鑒定性質(zhì)，轉(zhuǎn)而以促進(jìn)發(fā)展為己任，具有其獨(dú)特的社會(huì)文化功能。在宏觀層面，PISA以即將完成義務(wù)教育的初中畢業(yè)生為觀察對(duì)象，以各參與國學(xué)習(xí)質(zhì)量的橫向比較為手段，以學(xué)習(xí)有效內(nèi)化和學(xué)習(xí)持續(xù)性為紐帶，其初衷是教育質(zhì)量的持續(xù)改善，創(chuàng)新型人才與合格公民的培養(yǎng)是其雙重任務(wù)，最終目標(biāo)則是實(shí)現(xiàn)經(jīng)濟(jì)、社會(huì)的可持續(xù)性發(fā)展和培養(yǎng)能有效溝通、合作的社會(huì)公民。在微觀層面，PISA制定了嚴(yán)格而詳盡的技術(shù)標(biāo)準(zhǔn)以確保流程的規(guī)范性，采用項(xiàng)目反應(yīng)理論（Item Response Theory，IRT）以確保測試具有更好的效度；利用分層隨機(jī)抽樣和問卷調(diào)查法從學(xué)生、學(xué)校、家庭等方面全方位地收集原始信息。另外一個(gè)最為突出的原因就在于其別具一格的學(xué)習(xí)評(píng)價(jià)理念——“Literacy”。

從詞源學(xué)的角度考察，“Literacy”由詞根“Liter”和后綴“-acy”兩個(gè)詞素構(gòu)成。其中，“Liter”來源于拉丁語“Littera”，構(gòu)成了該詞的核心義，意為“字母”“文字”；后綴“-acy”是一個(gè)表示“過程”“狀態(tài)”的抽象名詞后綴。因此，“Literacy”也就表示“能識(shí)字”“有文化”的狀態(tài)。時(shí)至今日，“Literacy”的文化功能又有了新的拓展。如圖1所示，PISA中的“Literacy”由六部分構(gòu)成。它以個(gè)體生存為基點(diǎn)，沿著兩條線索發(fā)展：一條是認(rèn)知→情境問題解決→批判性反思；另一條是人際交流、合作→哈格公民，可分別稱為認(rèn)知主線和社會(huì)化主線。該外延整合了知識(shí)、能力和態(tài)度，打破了原有的“學(xué)科中心”桎梏，突出知識(shí)必須面向生活、回歸社會(huì)。該理念的提出有利于突出基本活動(dòng)經(jīng)驗(yàn)中的真切感受和在此基礎(chǔ)上通過歸納、概括、轉(zhuǎn)換、推衍、抽象而習(xí)得的概念框架和詮釋體系，使學(xué)習(xí)者將凝固的知識(shí)和經(jīng)驗(yàn)升華到開放、動(dòng)態(tài)的智慧層次。

二、學(xué)習(xí)素養(yǎng)形成探微

學(xué)習(xí)與學(xué)習(xí)素養(yǎng)形成的動(dòng)因是什么呢？進(jìn)化心理學(xué)認(rèn)為：（1）在漫長的進(jìn)化過程中，人類自身逐步形成了一套獨(dú)特的環(huán)境適應(yīng)系統(tǒng)；（2）大腦與心理是上述系統(tǒng)的兩個(gè)不同層次，前者主要受物理、化學(xué)定律支配，而后者則按照一定的邏輯序列負(fù)責(zé)進(jìn)行信息加工，彼此以互補(bǔ)方式來協(xié)同工作；（3）人類并不能意識(shí)到自己的全部活動(dòng)，大多數(shù)適應(yīng)問題仍然依靠潛意識(shí)甚至本能來解決。

按照上述理論，在這一復(fù)雜的自適應(yīng)系統(tǒng)中，大腦大致相當(dāng)于電腦硬件，而心理則可視作軟件。事實(shí)上，兩個(gè)神經(jīng)元之間是通過突觸（Synapse）并依賴于神經(jīng)遞質(zhì)、神經(jīng)調(diào)質(zhì)來實(shí)現(xiàn)連接的。由于一個(gè)突觸后神經(jīng)元有上千條樹突同時(shí)在接收信息，因此，每一神經(jīng)元都是一個(gè)多路輸入系統(tǒng)。面對(duì)不同的環(huán)境刺激，每一個(gè)突觸后神經(jīng)元都能依據(jù)信號(hào)強(qiáng)弱來靈活地選擇并傳遞來自不同軸突上的神經(jīng)沖動(dòng)。不過，信號(hào)能被選擇并傳遞的前提是該信號(hào)疊加后的強(qiáng)度必須達(dá)到某一閾值，因此，編碼上只有“全”或者“無”。假如某一個(gè)體長期接受同一或類似環(huán)境的刺激，突觸上將合成新的蛋白質(zhì)，在某些神經(jīng)回路中形成某種相對(duì)固定的行為模式，這種類似本能的模式化行為就是反射（Reflex）的前身。長時(shí)間以來，這些既準(zhǔn)確又快速的反射機(jī)能進(jìn)化成了自身不可或缺的生理性適應(yīng)機(jī)能，而且可通過基因形式遺傳給后代。其中，那些直接而具體的刺激物就是巴甫洛夫所說的“第一信號(hào)系統(tǒng)”，它為人類和動(dòng)物所共有。然而，學(xué)習(xí)是一種特殊的反射，它具有目標(biāo)性，并且是以語言、文字這種“信號(hào)的信號(hào)”即概念化符號(hào)為媒介來進(jìn)行的，其最大特點(diǎn)間接性與抽象性，也就是說人類能將各感覺器官所收集到的環(huán)境信息依據(jù)時(shí)間接近律在大腦的不同功能中樞中加以分析與整合，形成了以特征為基礎(chǔ)的框架性記憶和表象，再依據(jù)相似原則將同類刺激物加以總括，形成字、詞并賦予一定的意義。然而，這種符號(hào)化的作用是雙重的：一方面，它拓展了人類進(jìn)行條件反射、認(rèn)識(shí)的廣度和深度；另一方面，由于個(gè)體的經(jīng)歷存在差異，其觀察、統(tǒng)合、類比、概括化的程度常常不一致，而且人們可以在明確指稱某一具體事物的“指示義”或帶有自身情感寄托、影射的“引申義”上進(jìn)行選擇性使用，這樣就容易造成“能指”（形式）和“所指”（內(nèi)容）的脫節(jié)。解決這一問題的辦法是運(yùn)用“思維場”，即聯(lián)系上下文或情境進(jìn)行邏輯推斷。如果把“學(xué)習(xí)”看作為個(gè)體因“思維場”所引起的某種行為或行為潛能相對(duì)穩(wěn)定的改變，那么，學(xué)習(xí)的本質(zhì)是改變，而改變的目的是適應(yīng)。當(dāng)然，這種改變的結(jié)果有兩種：一種是同一層次上的水平增長，另一種是從較低層次到較高層次的縱向躍遷。從這個(gè)意義上來說，學(xué)習(xí)素養(yǎng)是一種高階思維能力，是“互聯(lián)網(wǎng)+”時(shí)代的“五大核心素養(yǎng)”之一。

上述命題只是對(duì)學(xué)習(xí)素養(yǎng)的一種初步判斷，內(nèi)涵尚不清晰，筆者通過“描述性定義”法為其下一個(gè)初步定義，即：學(xué)習(xí)素養(yǎng)是學(xué)習(xí)者在長期的學(xué)習(xí)活動(dòng)中，以生活中的靈活運(yùn)用為目標(biāo)，以深度探索和透徹理解為途徑，將前后學(xué)習(xí)活動(dòng)進(jìn)行內(nèi)容、方法和意義上的整合之后所形成的一種個(gè)性化認(rèn)知習(xí)慣與品質(zhì)。其主要特點(diǎn)是認(rèn)知情境化、內(nèi)化深刻性、學(xué)用一致性和個(gè)體獨(dú)特性。

在系統(tǒng)論看來，事物的結(jié)構(gòu)及其所處環(huán)境共同決定了系統(tǒng)的功能，一切事物皆可從環(huán)境、功能、結(jié)構(gòu)、層次、運(yùn)行機(jī)制等方面加以考察，因此，學(xué)習(xí)素養(yǎng)也是由許多功能模塊和要素構(gòu)成的有序存在，其子系統(tǒng)均具備一定的子功能。它們?cè)谙嗷ゼ?lì)、相互補(bǔ)充、相互制約的耦合關(guān)系中形成了一種動(dòng)態(tài)的心理機(jī)制與行為模式，并呈現(xiàn)出具有一定結(jié)構(gòu)的“分布式認(rèn)知”格局，共同完成了學(xué)習(xí)素養(yǎng)所預(yù)設(shè)的全部功能。在如圖2所示的模型中，動(dòng)力部分是統(tǒng)括了學(xué)習(xí)動(dòng)機(jī)、學(xué)習(xí)興趣、學(xué)習(xí)態(tài)度在內(nèi)的“學(xué)習(xí)參與度”。內(nèi)容部分是“知識(shí)技能”，它通過課程以“概念”“命題”為基本形式，服務(wù)于特定培養(yǎng)目標(biāo)，內(nèi)容經(jīng)過精選，各知識(shí)點(diǎn)之間具有嚴(yán)密邏輯性。方法部分是“學(xué)習(xí)策略”，它是指學(xué)習(xí)者對(duì)具體學(xué)習(xí)內(nèi)容的加工方法選擇、加工路線安排與所需資源的調(diào)配使用情況，因此，它包括了認(rèn)知和調(diào)控兩部分。其中，“認(rèn)知策略”又包括“記憶策略”和“精致策略”?！皩W(xué)習(xí)調(diào)控策略”主要涉及學(xué)習(xí)對(duì)象選擇、時(shí)間分配與調(diào)整、環(huán)境選擇、自我激勵(lì)、尋求他人支持等資源組織能力?？紤]到互聯(lián)網(wǎng)資源的日益豐富和當(dāng)代協(xié)同創(chuàng)新活動(dòng)的日趨頻繁，健全人格在未來社會(huì)中的作用日益重要，筆者提出了“信息資源運(yùn)用”能力和“人際交流合作”能力兩個(gè)概念模塊。調(diào)節(jié)部分是個(gè)體運(yùn)用自身所學(xué)知識(shí)和技能去解決情境化問題的反饋情況，這種反饋有正向和負(fù)向之分?！爸R(shí)遷移”是一種將所學(xué)知識(shí)技能予以靈活運(yùn)用的能力，注重在記憶中針對(duì)原型（Prototype）的多側(cè)面、多層次信息進(jìn)行模型、概念、原理等的最大相似性（Similarity）概括及其類比推理能力。

三、評(píng)價(jià)指標(biāo)體系的構(gòu)建

通過評(píng)價(jià)，人們可發(fā)現(xiàn)當(dāng)前或過去的活動(dòng)能在多大程度上能滿足自身需要，并對(duì)未來情況進(jìn)行預(yù)測，將不利因素予以控制或排除，或者從眾多方案中找出最有價(jià)值的一種，進(jìn)行有效決策。如果說評(píng)價(jià)就是一種基于行為方式層面的質(zhì)的描述或量的測量之上的價(jià)值判斷活，那么，每一評(píng)價(jià)指標(biāo)都必須清晰而典型地從某一側(cè)面或環(huán)節(jié)反映出該系統(tǒng)的某一狀態(tài)或過程。此外，指標(biāo)體系除了層次清晰、同一層次的指標(biāo)在外延上不能有交叉重疊現(xiàn)象之外，還要使每一層次、側(cè)面或環(huán)節(jié)都有恰當(dāng)數(shù)量的指標(biāo)作為代表，也就是說，只有在符合完備性原則時(shí)，整個(gè)評(píng)價(jià)指標(biāo)體系才能在既相互獨(dú)立標(biāo)識(shí)，又相互補(bǔ)充、相互制衡的動(dòng)態(tài)關(guān)系中立體化、多層次地反映出被評(píng)價(jià)對(duì)象的總體特征與功能狀態(tài)。當(dāng)然，指標(biāo)體系的最后一級(jí)指標(biāo)還必須是外顯化行為或狀態(tài)，這樣才有可能依據(jù)某種規(guī)則對(duì)終極指標(biāo)進(jìn)行賦值并做數(shù)據(jù)處理。總之，評(píng)價(jià)指標(biāo)體系建立必須遵守典型性原則、完備性原則、終極指標(biāo)外顯化原則。在實(shí)際操作中有三個(gè)關(guān)鍵問題也需引起注意。

（一）指標(biāo)的層次與數(shù)量問題

有學(xué)者認(rèn)為：在對(duì)影響評(píng)價(jià)目標(biāo)的因素進(jìn)行篩選與歸并時(shí)，除了要遵守層次性與典型性原則，同時(shí)也要遵守簡約性原則，評(píng)價(jià)體系通常以不超過三層為宜，這樣，評(píng)價(jià)指標(biāo)體系更便于操作。圖2的形成模型提出了學(xué)習(xí)素養(yǎng)的評(píng)價(jià)要素集，它屬于一個(gè)多目標(biāo)系統(tǒng)，而評(píng)價(jià)指標(biāo)體系則是它們與評(píng)價(jià)要素集之間的一種映射，二者之間存在一對(duì)一、一對(duì)多，多對(duì)一和多對(duì)多四種可能映射關(guān)系。其中，一對(duì)一關(guān)系最為理想，但不具備普遍現(xiàn)實(shí)性；其次是一對(duì)多關(guān)系，它們不存在交叉與重疊；多對(duì)一和多對(duì)多情況下存在交叉與重疊，應(yīng)該盡量避免。因此，筆者將學(xué)習(xí)素養(yǎng)分解為學(xué)習(xí)活動(dòng)組織、學(xué)習(xí)結(jié)果情境化應(yīng)用、學(xué)習(xí)過程的元評(píng)價(jià)及其優(yōu)化三個(gè)遞進(jìn)層次。在學(xué)習(xí)活動(dòng)組織方面，保留了PISA中的學(xué)習(xí)參與度和學(xué)習(xí)調(diào)控策略，將認(rèn)知策略細(xì)化為記憶策略和精致策略，同時(shí)將模型中的“知識(shí)技能”明確為教材上的“學(xué)科知識(shí)”，以便今后在評(píng)價(jià)中用課程的考試分?jǐn)?shù)來進(jìn)行具體表征；在學(xué)習(xí)結(jié)果的情境化應(yīng)用層次，依然保持了PISA中的知識(shí)遷移和（人際）交流合作；在元評(píng)價(jià)及其優(yōu)化層次，重點(diǎn)描述學(xué)生的反思與創(chuàng)新能力、將信息化資源運(yùn)用于學(xué)習(xí)過程和具體問題解決的能力。指標(biāo)的層次體系如圖3所示。

（二）各評(píng)價(jià)指標(biāo)的權(quán)重問題

指標(biāo)權(quán)重，又稱權(quán)系數(shù)，它表征了該指標(biāo)在整個(gè)指標(biāo)體系中的相對(duì)重要性，它通常用一個(gè)[0，1]之間的小數(shù)來表示。目前，確定權(quán)重最有效的辦法仍是依賴于專業(yè)判斷。因此，筆者采用了較為常見的Delphi法，即專家調(diào)查法。在確定權(quán)重的過程中，首先由研究人員提供專家調(diào)查表，在調(diào)查表上簡要描述指標(biāo)內(nèi)容和可以備選的相對(duì)重要性等級(jí)；然后交由一組互不見面的專家憑借自己的專業(yè)經(jīng)驗(yàn)進(jìn)行判斷，勾選一個(gè)他認(rèn)為最切合的數(shù)值；經(jīng)回收與統(tǒng)計(jì)后再將平均數(shù)、眾數(shù)等趨同性數(shù)值、持有異議的少數(shù)專家態(tài)度及其理由反饋給各個(gè)專家，再次征詢專家們的意見；經(jīng)過數(shù)輪咨詢后，專家結(jié)果會(huì)趨向于穩(wěn)定與收斂，最終獲得了具有統(tǒng)計(jì)意義的專家小組意見。專家代表的遴選與無預(yù)設(shè)導(dǎo)向性評(píng)判意見是Delphi法成功的關(guān)鍵。在兩輪的調(diào)查研究中，筆者選擇了來自9所高校、分布在8個(gè)不同省份的31名長期研究學(xué)習(xí)理論或?qū)W習(xí)評(píng)價(jià)的專家，他們長期從事一線教學(xué)、科研工作，均具有博士學(xué)位或副教授以上職稱。專家的專業(yè)權(quán)威性、地域代表性和人數(shù)規(guī)模都符合Delphi法的要求，鑒于筆者已另外撰文介紹了這一研究的詳細(xì)過程，故在此從略。各指標(biāo)內(nèi)容及經(jīng)歸一化等計(jì)算后所得到的各指標(biāo)權(quán)重如表1所示。

（三）各指標(biāo)的量表設(shè)計(jì)

前述的指標(biāo)體系只是解決了具體評(píng)價(jià)什么的問題，接下來就要確定評(píng)價(jià)標(biāo)準(zhǔn)，即如何圍繞評(píng)價(jià)指標(biāo)來精準(zhǔn)地選擇并度量各指標(biāo)，它實(shí)質(zhì)上是一組行為樣本的合理選擇與規(guī)范化賦值。通常，它要解決三個(gè)基本問題：（1）究竟該從評(píng)價(jià)對(duì)象上選擇哪些最為典型而又便于測量的行為或狀態(tài)作為各指標(biāo)的行為樣本；（2）行為樣本的可能取值范圍如何以及根據(jù)什么標(biāo)準(zhǔn)在上述取值范圍內(nèi)劃分等級(jí)；（3）各個(gè)指標(biāo)行為樣本的不同等級(jí)、程度該如何分派一組合適的數(shù)字或代號(hào)。對(duì)于第一個(gè)問題，行為樣本的選擇必須符合完備性原則，即這組行為樣本的集合最好能包含該指標(biāo)全部內(nèi)容，最起碼也能包含該指標(biāo)的全部重要特征。在實(shí)際操作中，根據(jù)評(píng)價(jià)對(duì)象性質(zhì)的不同，可選擇使用某些時(shí)空條件下的行為頻率去定量描述，無法進(jìn)行定量描述時(shí)一般選擇能典型代表內(nèi)心感受的某些強(qiáng)度指標(biāo)去作定性描述。至于第二、第三個(gè)問題，必須結(jié)合行為樣本的特征、性質(zhì)并依據(jù)量化水平就高不就低的原則分別從類別量表、等級(jí)量表、等距量表、比率量表中加以選擇。學(xué)習(xí)素養(yǎng)評(píng)價(jià)各指標(biāo)的量化和賦值情況如表2所示。

在表2中，F(xiàn)1（學(xué)科知識(shí)）并不是嚴(yán)格意義上的等距量表，而是一種介于等級(jí)量表和等距量表之間的量化形式。和PISA一樣，它的測量是基于項(xiàng)目反應(yīng)理論（IRT）進(jìn)行的，因此，必須借助計(jì)算機(jī)和某些專門軟件來完成。與經(jīng)典測試?yán)碚摚–TT）只考慮隨機(jī)誤差、假定每次測量都是互不影響的做法不同，IRT一方面通過數(shù)學(xué)模型把項(xiàng)目得分與項(xiàng)目自身性質(zhì)、被試的潛在特質(zhì)（Latent Trait）聯(lián)系起來，從而使測試項(xiàng)目的難度特性與被試的能力特質(zhì)處于同一張量表之上；另一方面，通過使用信息函數(shù)而非方差來估測每個(gè)項(xiàng)目或試卷的效度，也不存在樣本依賴性問題。此外，項(xiàng)目參數(shù)的估計(jì)可獨(dú)立于被試進(jìn)行，便于編制試題庫。鑒于IRT的以上特點(diǎn)，有國內(nèi)學(xué)者明確指出：除了適合于編排各種較大規(guī)模能力水平的精細(xì)量化考試外，IRT還可有效應(yīng)用于學(xué)習(xí)者以學(xué)習(xí)品質(zhì)的自我檢查為目的的自適應(yīng)測試（CAT）中，或者與認(rèn)知科學(xué)結(jié)合起來，以便開發(fā)具有認(rèn)知特點(diǎn)、認(rèn)知結(jié)構(gòu)分析功能的學(xué)習(xí)品質(zhì)診斷系統(tǒng)。

在具體操作上，考慮到方法的成熟性，筆者選擇單維性假設(shè)下雙值計(jì)分方式的邏輯斯蒂三參數(shù)模型（見式（1），式中a、b、c分別為區(qū)分度、難度和猜測度，p為正答率），測試項(xiàng)目庫的建設(shè)經(jīng)歷了項(xiàng)目試測、模型四假設(shè)驗(yàn)證、篩選項(xiàng)目、項(xiàng)目的等值化處理、依據(jù)雙向細(xì)目表和信息函數(shù)大小編制試卷等主要過程。其余8個(gè)指標(biāo)都是采用五級(jí)計(jì)分制的總加評(píng)分式李克特（Likert）量表，每一個(gè)指標(biāo)同時(shí)從四個(gè)不同側(cè)面進(jìn)行提問，以便相互印證，及時(shí)淘汰不合理答案；每一個(gè)提問都力求措辭清晰、明確，而且都是采用很贊成/同意、贊成/同意、不一定/無所謂、不贊成/同意、很不贊成/同意的無導(dǎo)向陳述模式。對(duì)此，有學(xué)者指出：當(dāng)量表中的測試項(xiàng)目不少于50個(gè)時(shí)，同樣能具有令人滿意的信度。

四、實(shí)證研究

根據(jù)以上設(shè)計(jì)的評(píng)價(jià)指標(biāo)體系，筆者圍繞數(shù)學(xué)素養(yǎng)、閱讀素養(yǎng)先后在鄭州E中學(xué)、廈門L中學(xué)開展了多次實(shí)證研究，現(xiàn)將于鄭州E中學(xué)進(jìn)行的研究過程進(jìn)行簡要論述。

（一）研究對(duì)象的選擇

與PISA一樣，此次研究對(duì)象是初三學(xué)生。而PISA之所以選擇他們，一方面是考慮到他們中有一少部分人從此就要離開學(xué)校，獨(dú)立地走上了社會(huì)舞臺(tái)，即將成為所在參與國中的一名普通公民；而另一方面，現(xiàn)在的知識(shí)更新周期不足三個(gè)月，以學(xué)習(xí)興趣、學(xué)習(xí)習(xí)慣、學(xué)習(xí)結(jié)果靈活運(yùn)用為基本內(nèi)容的終身學(xué)習(xí)能力又是個(gè)體是否具備良好學(xué)習(xí)素養(yǎng)的表征。因此，通過調(diào)查他們?cè)陂喿x、數(shù)學(xué)和科學(xué)領(lǐng)域的學(xué)習(xí)素養(yǎng)水平，就能大體上判斷該參與國的創(chuàng)新人才儲(chǔ)備情況?？紤]到數(shù)學(xué)領(lǐng)域不僅是三個(gè)基礎(chǔ)性領(lǐng)域之一，更有抽象性、嚴(yán)謹(jǐn)性與廣泛應(yīng)用性的顯著特征，而且已有比較成熟的認(rèn)知目標(biāo)分類標(biāo)準(zhǔn)，故筆者在研究中選擇了初三的數(shù)學(xué)作為測試領(lǐng)域。

（二）基本研究過程

本實(shí)證研究過程主要從兩個(gè)方面來收集原始數(shù)據(jù)：一是圍繞“學(xué)科知識(shí)”即初三（上）數(shù)學(xué)，依據(jù)IRT測試的要點(diǎn)與程序?qū)ι鲜鲅芯繉?duì)象進(jìn)行試測，然后篩選出難度、區(qū)分度等指標(biāo)都合格的試題，依據(jù)雙向細(xì)目表要求再次編制一套試卷，擇機(jī)返回現(xiàn)場正式施測；二是在測試結(jié)束時(shí)，馬上組織對(duì)其余8個(gè)指標(biāo)的問卷調(diào)查。

1.項(xiàng)目篩選

在基于IRT的測試中，為了確保效度，必須進(jìn)行單維性驗(yàn)證、特征曲線形狀檢查、模型擬合度驗(yàn)證以及最后的項(xiàng)目難度、項(xiàng)目區(qū)分度、項(xiàng)目猜測度的具體數(shù)值計(jì)算等過程。

（1）單維性驗(yàn)證：其目的既要保證試卷中所有項(xiàng)目之間具有良好的相關(guān)性，同時(shí)每次測試又只測量一個(gè)主要因素。判斷辦法是：查看因子分析中因子載荷矩陣的第一個(gè)公因子的方差貢獻(xiàn)率是否達(dá)到了20%。然而，進(jìn)行因子分析也需符合兩個(gè)條件：一是KMO值≥0.7；二是Bartlett球形檢驗(yàn)的顯著水平≤0.01。其中，第一個(gè)條件保證了皮爾遜相關(guān)系數(shù)的平方和遠(yuǎn)大于其偏相關(guān)系數(shù)的平方和，即項(xiàng)目之間具有較大的關(guān)聯(lián)性；第二個(gè)條件則保證了因子載荷矩陣近似于單位矩陣，各項(xiàng)目之間又相對(duì)獨(dú)立。在此次測試中，通過SPSS 20.0計(jì)算發(fā)現(xiàn)：A、B卷的KMO值分別為0.81和0.85，Sig.值都是0.00，并且第一個(gè)公因子的方差貢獻(xiàn)率分別為21.69%和26.89%，因此完全符合單維性假設(shè)。

（2）特征曲線形狀檢查：每一個(gè)項(xiàng)目的難度應(yīng)適中，不能過難或過易，這樣項(xiàng)目才具有一定的辨識(shí)力。這一要求反映在三參數(shù)邏輯斯蒂模型中就是項(xiàng)目難度一正確率的關(guān)系必須近似于一條“S”形曲線，對(duì)于那些近似于直線的題項(xiàng)則直接予以剔除。在此次檢查中，A、B卷各刪除了兩道題。

（3）模型擬合度驗(yàn)證：在這一過程中，主要考察測試數(shù)據(jù)分布是否符合三參數(shù)邏輯斯蒂模型的理論分布。它屬于離散型非參數(shù)檢驗(yàn)，主要考慮樣本實(shí)際頻數(shù)與總體理論頻數(shù)的差異大小，故一般采用卡方檢驗(yàn)。考慮到即使樣本很大時(shí)X²檢驗(yàn)也可能拒絕零假設(shè)，故此次模擬度檢查采用服從n-k的X²分布的楊統(tǒng)計(jì)量（Yen Statistic）檢驗(yàn)，其最大特點(diǎn)是當(dāng)樣本數(shù)在500-1000之間時(shí)擬合效果最佳。通過專業(yè)軟件ANOTE 1.6計(jì)算后，如果其X²檢驗(yàn)的楊統(tǒng)計(jì)量超出了顯著水平，則將該項(xiàng)目予以剔除，如A卷中的第10題和B卷中的第6題。

（4）項(xiàng)目的參數(shù)計(jì)算：由于項(xiàng)目參數(shù)和能力參數(shù)均為未知，故一般采用聯(lián)合極大似然估計(jì)法，這實(shí)際是一個(gè)先給定初值，然后雙向交替迭代直至收斂的過程。在ANOTE 1.6軟件上，通過選定項(xiàng)目反應(yīng)理論程序模塊上的“二級(jí)評(píng)分三參數(shù)項(xiàng)目估計(jì)”即可得到各項(xiàng)目的難度、區(qū)分度和猜測度參數(shù)。此外，對(duì)于項(xiàng)目的參數(shù)還要進(jìn)行閾值檢查，即區(qū)分度、難度、猜測度分別在[0.3，2.0]、[-3.0，3.0]、[0，0.25]之間。超過閾值的項(xiàng)目也要予以剔除。如果要實(shí)現(xiàn)隨機(jī)組卷功能，還要在A、B卷中設(shè)置錨點(diǎn)，這樣才能進(jìn)行等值化處理。

2.組卷

一份高質(zhì)量的試卷不僅要涉及所學(xué)課程的全部知識(shí)與技能，還應(yīng)重點(diǎn)突出、比例恰當(dāng)。為此，筆者首先運(yùn)用ISM法（Interpretive Structural Modeling Method）對(duì)教材的知識(shí)點(diǎn)進(jìn)行結(jié)構(gòu)關(guān)聯(lián)性分析，這樣便于從宏觀上依據(jù)知識(shí)點(diǎn)之間的相關(guān)性大小去把握教材的內(nèi)容比例與難度；接著緊密結(jié)合義務(wù)教育數(shù)學(xué)課程標(biāo)準(zhǔn)中的內(nèi)容——目標(biāo)要求，重點(diǎn)考察學(xué)生對(duì)相關(guān)知識(shí)點(diǎn)的理解程度和進(jìn)行應(yīng)用時(shí)所表現(xiàn)出來的思維深度，具體劃分為識(shí)記、理解、應(yīng)用、分析與探究五個(gè)精熟度水準(zhǔn)，其中識(shí)記、理解題的分值約總分?jǐn)?shù)的50%，而應(yīng)用分析類、探究類所占分值分別是總分?jǐn)?shù)的35%和15%。整個(gè)試卷由25道題組成，具體說明試卷中各章節(jié)知識(shí)點(diǎn)、考核目標(biāo)、內(nèi)容比例、難易性質(zhì)的雙向細(xì)目表如表3所示。

3.施測

整個(gè)測試分為試測和正式施測兩個(gè)階段。在第一輪的項(xiàng)目試測中，被測人數(shù)和測試項(xiàng)目理論上都是越多越好，故從E中學(xué)初三年段的全部10班中隨機(jī)選擇了6個(gè)班，合計(jì)332人，其中三個(gè)班用A卷測試，另外三個(gè)班用B卷測試。在第二輪的正式施測中，筆者從剩余的4個(gè)班中隨機(jī)抽取了1個(gè)學(xué)習(xí)狀況處于中間水平的班級(jí)，該班有學(xué)生57人，除去因病事假學(xué)生，實(shí)際參測人數(shù)為54人，去掉無效問卷3份，實(shí)際有效樣本為51個(gè)。

（三）主要指標(biāo)分析

1.學(xué)習(xí)素養(yǎng)的因子分析

以表1中的F1-F9分別作為縱軸和橫軸，以彼此間的相關(guān)系數(shù)構(gòu)造因子載荷矩陣，經(jīng)SPSS 20.0計(jì)算后，發(fā)現(xiàn)其KMO=0.816≥0.7，且Sig.=0.000≤0.01，故適合進(jìn)行因子分析。主成分分析后的各變量方差解釋結(jié)果如表4所示。由表4可看出：前三個(gè)公因子合計(jì)解釋了方差貢獻(xiàn)率的74.9%，故提取這三個(gè)公因子就可以較好地解釋原來9個(gè)變量的變化情況。

經(jīng)坐標(biāo)旋轉(zhuǎn)后的因子載荷矩陣如表5所示，表中數(shù)值是該變量與所在公因子之間的相關(guān)系數(shù)。為了清晰起見，將相關(guān)系數(shù)在0.5以上的指標(biāo)在表中以方框標(biāo)注。由表5可見：公因子1以精致策略為代表，還受到記憶策略、知識(shí)遷移、交流合作、學(xué)習(xí)調(diào)控策略、反思與創(chuàng)新、學(xué)習(xí)參與度的影響，但它們的相關(guān)系數(shù)漸次減小，而且它幾乎不受學(xué)科成績（F1）和信息資源利用（F9）兩個(gè)指標(biāo)的影響。由于它對(duì)學(xué)習(xí)素養(yǎng)的方差貢獻(xiàn)率達(dá)到了近一半，能較好地代表了學(xué)習(xí)素養(yǎng)水平，故可以將其稱為素養(yǎng)因子。同理，與第一公因子相互獨(dú)立的第二公因子和第三公因子則分別反映了學(xué)生的考試得分情況和信息資源利用情況，因此，可分別命名為成績因子和資源利用因子。

2.認(rèn)知策略的使用分析

如前所述，認(rèn)知策略包括傳統(tǒng)的記憶策略和以知識(shí)點(diǎn)的深度理解與整合為基礎(chǔ)的精致策略。為了統(tǒng)一量綱，筆者將學(xué)生的測試成績按照[0，20]，[21，40]，…，[81，100]五個(gè)間隔轉(zhuǎn)換為五級(jí)計(jì)分制。不同成績水平的學(xué)生使用記憶策略與精致策略的情況如圖4所示。

從圖4可以看出：不同成績水平的學(xué)生使用記憶策略和精致策略的情況是不同的。在當(dāng)前狀況下，成績優(yōu)秀的學(xué)生更多使用記憶策略，而中等成績的學(xué)生反而更注意使用精致策略，由于他們的知識(shí)得到了較好的理解和整合，反而使得他們?cè)谌蘸蟮墓ぷ鳌⑸钪芯哂休^高的情商和創(chuàng)新意識(shí)。這也與在當(dāng)前的教育背景下成績最優(yōu)秀的學(xué)生往往很難成為各行業(yè)的領(lǐng)軍人物這一社會(huì)現(xiàn)象相符合。

3.知識(shí)遷移水平

知識(shí)遷移反映了學(xué)生學(xué)習(xí)后是否獲得了觸類旁通的情境問題解決能力，這與學(xué)習(xí)后所形成的語義知識(shí)網(wǎng)絡(luò)的規(guī)模大小和層次有關(guān)?？紤]到指標(biāo)數(shù)據(jù)主要是非連續(xù)型的等級(jí)數(shù)據(jù)，故采用的是Spearman相關(guān)檢驗(yàn)。在樣本數(shù)N=51時(shí)，各評(píng)價(jià)指標(biāo)對(duì)知識(shí)遷移水平的影響程度如表6所示。在該表中，精致策略F4、交流合作F7、反思與創(chuàng)新F8和學(xué)習(xí)參與度F2都會(huì)明顯影響知識(shí)遷移水平，而學(xué)科成績F1和信息資源利用F9則對(duì)知識(shí)遷移水平幾乎沒有影響。

如按照對(duì)因變量貢獻(xiàn)最大且符合判斷條件：F≤0.05時(shí)進(jìn)入，F(xiàn)≥0.1時(shí)予以刪除的規(guī)則逐一引進(jìn)各自變量，還可得到知識(shí)遷移水平預(yù)測的回歸方程：

4.各指標(biāo)均值與標(biāo)準(zhǔn)差比較

指標(biāo)的集中量和差異量往往可以通過其均值和標(biāo)準(zhǔn)差來加以刻畫。經(jīng)計(jì)算，9個(gè)指標(biāo)的平均值為3.29。各指標(biāo)的均值和標(biāo)準(zhǔn)差如圖5所示，均值最大的為交流合作指標(biāo)F7，其次是記憶策略F3，最小的是信息資源利用F9，其數(shù)值分別為3.59、3.44和2.76。這一現(xiàn)象與學(xué)習(xí)是一種社會(huì)活動(dòng)、具有很強(qiáng)的互動(dòng)性這一特點(diǎn)有關(guān)。不過，被試的學(xué)習(xí)目的重在獲取比較理想的分?jǐn)?shù)，認(rèn)知方法主要是機(jī)械記憶，這不利于形成自己的立體化語義知識(shí)網(wǎng)絡(luò)，從而間接影響了日后創(chuàng)新能力和知識(shí)遷移能力的提高。此外，信息資源利用F9的均值最小，這也在一定程度上說明在當(dāng)今學(xué)習(xí)背景下，學(xué)生普遍還沒有養(yǎng)成充分利用萬維網(wǎng)上的各種數(shù)字化學(xué)習(xí)資源作為學(xué)習(xí)手段有效補(bǔ)充的習(xí)慣。在差異量方面，學(xué)科知識(shí)（成績）F1的標(biāo)準(zhǔn)差為0.934，是9個(gè)指標(biāo)中最大的一個(gè)，而標(biāo)準(zhǔn)差最小的是反思與創(chuàng)新F8，這說明初中生學(xué)習(xí)中的兩極分化現(xiàn)象比較嚴(yán)重，而反思與創(chuàng)新能力都在較低水平徘徊，不具有明顯差異。

5.反思與創(chuàng)新等四個(gè)指標(biāo)的橫向比較

學(xué)生通過學(xué)習(xí)活動(dòng)汲取知識(shí)，但其根本目的還是要解決自身所面臨的問題。能否在應(yīng)用中收獲創(chuàng)新與效率是判斷教育成敗的關(guān)鍵指標(biāo)之一。從研究結(jié)果看，學(xué)科成績F1、學(xué)習(xí)參與度F2、知識(shí)遷移F6和反思與創(chuàng)新F8這四個(gè)指標(biāo)的均值依次是3.35、3.24、3.39和3.28，只有學(xué)科知識(shí)F1在平均值3.29之上，而學(xué)習(xí)參與度F2和反思與創(chuàng)新F8均沒有達(dá)到平均水平。上述四個(gè)指標(biāo)在不同成績水準(zhǔn)學(xué)生的頻數(shù)分布如圖6所示。從該圖可以看出，四條曲線都呈準(zhǔn)正態(tài)分布，但它們的峰度和偏度明顯不同，眾數(shù)所在區(qū)間也不同。反思與創(chuàng)新F8和學(xué)科成績F1較為同步，知識(shí)遷移水平最高的那部分學(xué)生成績表現(xiàn)為中等和中等偏上，學(xué)習(xí)參與度F2則呈現(xiàn)明顯的負(fù)偏態(tài)。

（四）研究的效度

本研究通過雙向細(xì)目表來保證了內(nèi)容效度，但在此次測試與調(diào)查中，學(xué)生能力是否得到了穩(wěn)定發(fā)揮尚不得而知。為此，本研究將此次測試成績分別與該班期中考試和上一次月考的平均成績進(jìn)行了t檢驗(yàn)，按式（3）進(jìn)行計(jì)算并查表得知：在顯著性水平α=0.05、自由度df=51條件下均接納了測試樣本總體的平均分μ與假設(shè)總體平均分μ₀之間沒有區(qū)別的零假設(shè)。

五、反思與展望

概括地說，價(jià)值是活動(dòng)對(duì)象的客體屬性、功能與主體需要的一種關(guān)系表征。學(xué)習(xí)評(píng)價(jià)是一種對(duì)學(xué)習(xí)活動(dòng)能在多大程度上滿足主體需要的價(jià)值判斷活動(dòng)。因此，評(píng)價(jià)研究中特別注重三個(gè)基本問題，即為什么而評(píng)、評(píng)什么、怎么評(píng)、從本質(zhì)上來說，學(xué)習(xí)評(píng)價(jià)歸根結(jié)底是一個(gè)認(rèn)識(shí)問題，更確切地說，是一個(gè)由點(diǎn)及面、由淺入深、由現(xiàn)象到本質(zhì)的認(rèn)識(shí)過程。

首先是取樣規(guī)模問題。模型驗(yàn)證的樣本來源越廣，項(xiàng)目參數(shù)的適應(yīng)范圍也就越廣。如果考慮到數(shù)據(jù)處理的工作量大小，也可嚴(yán)格按比例進(jìn)行隨機(jī)抽樣。在類別差異較為顯著時(shí)還可采用分層隨機(jī)抽樣的方式。受時(shí)間、精力所限，本研究的樣本都來自于同一所學(xué)校，同一年級(jí)的學(xué)生規(guī)模不超過1000人，因此，研究結(jié)論屬于個(gè)案性質(zhì)。當(dāng)然，從鄭州E中學(xué)所處的地理位置和生源結(jié)構(gòu)來看，其結(jié)論也有較強(qiáng)的普適性。

其次是擬合模型的選擇問題。對(duì)于IRT來說，不同性質(zhì)的測試會(huì)有不同的最佳適應(yīng)模型，因此，在模型擬合階段可以嘗試使用不同的數(shù)學(xué)模型。由于數(shù)學(xué)和科學(xué)領(lǐng)域往往具有客觀性和精確計(jì)量的特點(diǎn)，可選擇二值計(jì)分模型。但是，對(duì)于重在捕捉信息和意義的閱讀領(lǐng)域來說，答案往往是基于情感和意義的選擇，具有一定的主觀性，此時(shí)選擇多級(jí)計(jì)分模型更為合適。因此，筆者在對(duì)廈門L中學(xué)高一學(xué)生閱讀策略的評(píng)價(jià)研究中改用了五級(jí)計(jì)分的等級(jí)反應(yīng)模型（Graded Response Model）。

再次是信息函數(shù)的使用問題。信息函數(shù)I（θ）反映了某一項(xiàng)目對(duì)某被試能力的分辨程度。因此，只有在測試中找出那些難度與被試能力最為接近的項(xiàng)目（此時(shí)項(xiàng)目的信息函數(shù)值最大），才能保證測量誤差最小。具體來說，在組卷時(shí)，如果一套試卷的信息量達(dá)到25，其標(biāo)準(zhǔn)誤差將小于0.2。在進(jìn)行自適應(yīng)測試時(shí)，如何圍繞最大信息量設(shè)計(jì)一種快速而有效的算法也是一個(gè)值得研究的問題。對(duì)于CAT，筆者嘗試將所有項(xiàng)目按照難度大小分成數(shù)層，然后依據(jù)信息量不斷增大的原則進(jìn)行試測，直到前后兩次信息量之差小于某一可接受的誤差之后才停止。為充分利用第一手項(xiàng)目測試數(shù)據(jù)和減少調(diào)試工作量，整個(gè)選題流程在經(jīng)過蒙特卡羅（Monte Carlo）模擬實(shí)驗(yàn)予以證實(shí)并且取得滿意效果后才正式形成算法，編寫代碼。

最后是該評(píng)價(jià)模式的應(yīng)用前景問題。歷經(jīng)六年多的探索驗(yàn)證，該評(píng)價(jià)模式已相對(duì)成熟。預(yù)計(jì)在未來一段時(shí)間內(nèi)，研究將從目前以初中生為研究主體，逐步擴(kuò)展到小學(xué)五、六年級(jí)和高中一、二年級(jí)學(xué)生，內(nèi)容涉及閱讀、數(shù)學(xué)和科學(xué)三個(gè)領(lǐng)域，建設(shè)一個(gè)中等規(guī)模的多媒體試題庫，在學(xué)習(xí)素養(yǎng)評(píng)估專題網(wǎng)站中采用實(shí)時(shí)問卷調(diào)查和基于IRT測試相結(jié)合的辦法，以本研究中的指標(biāo)權(quán)重為基礎(chǔ)，轉(zhuǎn)換成一個(gè)百分制數(shù)值，將結(jié)果解釋和未來完善建議一并即時(shí)反饋給該網(wǎng)站用戶。這些用戶可能是廣大學(xué)習(xí)愛好者或?qū)W校教師和教育研究人員，甚至可以是家長。