徐顯龍 張琦慧 張昱瑾 申皓寧
摘要:信息素養(yǎng)作為一種復(fù)雜的綜合能力素養(yǎng),對其進(jìn)行科學(xué)、有效的測評一直是研究者關(guān)注的焦點。然而,當(dāng)前國內(nèi)的中小學(xué)生信息素養(yǎng)測評大多采用基于主觀的自陳式問卷或剝離真實情境的標(biāo)準(zhǔn)化測試,無法準(zhǔn)確評價學(xué)生應(yīng)用信息素養(yǎng)解決現(xiàn)實問題的能力。情境化測評是以真實情境為基礎(chǔ)構(gòu)建具有高連續(xù)性及關(guān)聯(lián)度的測評試題,能夠深入考查學(xué)生在信息社會靈活、合理運(yùn)用信息與信息技術(shù)的能力。中小學(xué)生信息素養(yǎng)情境化測評的設(shè)計需遵循一定思路:首先,需要通過界定學(xué)生信息素養(yǎng)的內(nèi)涵及構(gòu)成要素來明確評估目的;其次,根據(jù)評估目的及學(xué)生特征選取恰當(dāng)?shù)那榫常⑵滢D(zhuǎn)化為測評情境;最后,根據(jù)情境任務(wù)及信息素養(yǎng)關(guān)鍵能力命制具體問題,形成整合的情境化測評試題。需要特別注意的是,情境的設(shè)計應(yīng)當(dāng)具有代表性、趣味性并避免過度追求真實性,問題的命制要注意測評目標(biāo)的單一性、解決方案的唯一性與問題表述的情境化。面向小學(xué)中高段學(xué)生的信息素養(yǎng)情境化測評實踐應(yīng)用結(jié)果表明,該測評思路具有可行性且測評工具具有有效性。
關(guān)鍵詞:信息素養(yǎng);信息素養(yǎng)測評;情境化測評;問題命制
中圖分類號:G434? ?文獻(xiàn)標(biāo)識碼:A? ? 文章編號:1009-5195(2023)03-0022-10? doi10.3969/j.issn.1009-5195.2023.03.003
基金項目:華東青少年教育研究發(fā)展中心委托課題“中小學(xué)生信息素養(yǎng)評估框架與應(yīng)用研究”(14108-412321-20002)。
作者簡介:徐顯龍,博士,副研究員,碩士生導(dǎo)師,華東師范大學(xué)教育信息技術(shù)學(xué)系(上海 200062);張琦慧,碩士研究生,華東師范大學(xué)教育信息技術(shù)學(xué)系(上海 200062);張昱瑾,中國福利會兒童教育傳媒中心(上海 200040);申皓寧,二級教師,南京市江寧區(qū)淳化中心小學(xué)(江蘇南京 211122)。
一、引言
信息素養(yǎng)是21世紀(jì)核心素養(yǎng)的重要組成部分,是融合信息意識、能力、態(tài)度的綜合素養(yǎng)。隨著信息技術(shù)與線上教育的蓬勃發(fā)展,僅具備基本的信息技術(shù)操作技能已不能滿足當(dāng)下學(xué)習(xí)的需求,只有將信息素養(yǎng)內(nèi)化為自身的一種品格和能力,才能靈活應(yīng)對學(xué)習(xí)和生活中各種錯綜復(fù)雜的問題。2020年10月,中共中央、國務(wù)院印發(fā)的《深化新時代教育評價改革總體方案》指出要加強(qiáng)學(xué)生綜合素質(zhì)評價,建立中國特色的教育評價體系(新華社,2020)。信息素養(yǎng)作為綜合素質(zhì)的重要一環(huán),亟需評價體系和評估工具的建立。對學(xué)生的信息素養(yǎng)水平進(jìn)行準(zhǔn)確測評不僅是提升學(xué)生信息素養(yǎng)水平的前提,也對我國創(chuàng)新人才培養(yǎng)、貫徹落實教育信息化相關(guān)政策具有重要意義。
當(dāng)前學(xué)生信息素養(yǎng)測評大多采用傳統(tǒng)的自陳式量表測試,往往存在測評效度低、準(zhǔn)確性難以保障的問題(Samson,2010)。這種測評方式與個體自我評估能力相關(guān)(Kruger et al.,1999),不適合中小學(xué)段的學(xué)生測評,且往往存在社會贊許性效應(yīng),即受測者的自我報告易受外界期望影響,從而導(dǎo)致測評結(jié)果與實際能力之間存在一定偏差(Barger,2002)。部分研究使用基于客觀題的標(biāo)準(zhǔn)化測試,最典型的如美國肯特大學(xué)TRAILS測評(Blevens,2012)和德國NEPS的ICT測評(Senkbeil et al.,2017),有效地克服了自我評估不準(zhǔn)確的問題,但標(biāo)準(zhǔn)化測試更多關(guān)注純粹的陳述性知識,題目之間互相獨立,且缺乏與現(xiàn)實世界的聯(lián)系,無法考查學(xué)生在面對真實問題時的能力表現(xiàn),因此也并不適用于信息素養(yǎng)這一高階綜合能力的測評。信息素養(yǎng)考查的是學(xué)生應(yīng)對各種復(fù)雜現(xiàn)實情境、利用信息解決現(xiàn)實任務(wù)的能力,情境在其中起到連結(jié)和承載的作用,是在知識領(lǐng)域和現(xiàn)實領(lǐng)域建立聯(lián)系的重要橋梁(Siddiq et al.,2016)。知識建構(gòu)于情境之中,又應(yīng)用于現(xiàn)實情境。基于情境進(jìn)行信息素養(yǎng)的測評將學(xué)習(xí)者返還于現(xiàn)實的信息社會,不僅能夠較為真實地反映學(xué)習(xí)者應(yīng)用信息素養(yǎng)解決問題的能力,也可以在一定程度上幫助學(xué)習(xí)者理解抽象概念與現(xiàn)實環(huán)境之間的距離,從而促進(jìn)自我反思與素養(yǎng)能力的提升(Bellocchi et al.,2016)。
情境化的測評設(shè)計在許多國家都受到了重視并取得了較好的效果,而國內(nèi)的信息素養(yǎng)測評大多采用自陳式問卷,基于情境的測評較少,且缺乏系統(tǒng)的方法思路,在情境設(shè)定上也存在一定問題。因此,本研究在廣泛了解當(dāng)前信息素養(yǎng)測評方法的基礎(chǔ)上,基于情境化命題思想,提出了中小學(xué)生信息素養(yǎng)情境化測評設(shè)計思路,并以小學(xué)中高段學(xué)生為例進(jìn)行了測評試題設(shè)計和實踐應(yīng)用,以驗證思路的可行性與測評試題的有效性。
二、文獻(xiàn)綜述
情境一般指一個人或一群人進(jìn)行某種活動所處的特定背景、環(huán)境,它能夠激發(fā)人的心理活動和情感的產(chǎn)生。比利時著名教育家羅日葉將情境的架構(gòu)引入教育當(dāng)中,指出情境可以用于特定學(xué)習(xí)內(nèi)容的教學(xué)及學(xué)習(xí)者所學(xué)知識的整合,基于情境實施測評更有助于學(xué)習(xí)者能力的綜合性評估(易克薩維耶·羅日葉,2010,p.68)。情境化測評就是通過提供具有一定綜合性、情境性、復(fù)雜性信息的試題,來激發(fā)學(xué)習(xí)者表現(xiàn)出潛在的心理特質(zhì)的評價方式(賈林芝,2020)。
1.國際信息素養(yǎng)情境化測評項目
國際知名的PISA測評非常重視情境在測評中的應(yīng)用,認(rèn)為個體需要基于特定的環(huán)境展示特定的能力,情境是測評賴以發(fā)生的背景,因此不論是閱讀、數(shù)學(xué)還是科學(xué)素養(yǎng)的測評,情境都是PISA測評的基本要素(OECD,2017)。PISA2015年的科學(xué)素養(yǎng)測評從個人、國家和全球三個維度,列舉了健康與疾病、自然資源、環(huán)境質(zhì)量、危害和科學(xué)技術(shù)前沿5個方面可供選擇的測評情境(OECD,2017)。這些情境的融入使測評不再局限于機(jī)械的書本知識,而著眼于現(xiàn)實世界的實際問題,不僅考查學(xué)習(xí)者的知識、技能,也激發(fā)學(xué)習(xí)者將知識遷移運(yùn)用到生活場景中的素養(yǎng)能力。
在信息素養(yǎng)測評領(lǐng)域,美國“國家教育進(jìn)步評價”(National Assessment of Educational Progress,NAEP)中的ICT(Information and Communications? Technology)評估是最為典型的信息素養(yǎng)評估項目,從信息檢索、建構(gòu)、交流、道德、應(yīng)用以及基本數(shù)字工具使用能力等方面分別對4、8、12年級的學(xué)生制定了能力目標(biāo)要求,并在2018年對大約15,400名8年級學(xué)生進(jìn)行了評估。NAEP與PISA一樣,關(guān)注情境在測評中的運(yùn)用,它使用電腦文本、視頻、動畫等多媒體形式呈現(xiàn)測評情境,并且通過故事線逐步展開測評任務(wù)(楊玉琴,2017)。其情境分為長、中、短三種類型,一般具備明確的主題和任務(wù)目的,通過學(xué)習(xí)者的問題作答和一系列交互行為評估其ICT水平。例如“創(chuàng)建青少年娛樂中心的宣傳網(wǎng)站”,學(xué)生需要完成從選擇創(chuàng)意到規(guī)劃視頻、挑選音樂、評估視頻的一系列任務(wù),在這個過程中了解學(xué)生是如何將其知識技能應(yīng)用于現(xiàn)實情境的。澳大利亞國家評估項目(National Assessment Program,NAP)中的ICT素養(yǎng)評估同樣使用了情境化的測評方式,強(qiáng)調(diào)在虛擬的現(xiàn)實情境中完成日常生活中的校內(nèi)外任務(wù)(National Assessment Program,2018)。NAP開發(fā)了專門的測試軟件,所有的測試題目均通過情境任務(wù)方式呈現(xiàn),如計算機(jī)游戲、幻燈片放映等。
目前國際上較為權(quán)威的信息素養(yǎng)評估項目中,美國NAEP測評和澳大利亞的NAP測評是較為典型的情境化測評項目,其他的信息素養(yǎng)測評仍采用的是標(biāo)準(zhǔn)化測試或問卷調(diào)查的方式,可見當(dāng)前信息素養(yǎng)測評領(lǐng)域情境的應(yīng)用和實踐仍然十分有限。
2.國內(nèi)信息素養(yǎng)情境化測評現(xiàn)狀
在國內(nèi),情境化測評思想主要基于學(xué)科核心素養(yǎng)測評的目的提出?!镀胀ǜ咧姓n程方案》要求關(guān)注學(xué)生的“真實性學(xué)業(yè)成就”,以及綜合運(yùn)用已學(xué)知識創(chuàng)造性解決問題的能力,而對這種綜合能力的測評,需要基于整合真實情境、課程內(nèi)容和學(xué)科核心素養(yǎng)的評價體系(楊向東,2018)。國內(nèi)不少學(xué)者面向基礎(chǔ)教育、職業(yè)教育,對各學(xué)科的情境測評方法、情境化試題的編制進(jìn)行了研究,其中也包括對信息技術(shù)學(xué)科核心素養(yǎng)評價的研究(魏雄鷹等,2017)。
在信息素養(yǎng)測評領(lǐng)域,國內(nèi)尚未有權(quán)威的信息素養(yǎng)測評項目,“情境”在信息素養(yǎng)測評中的應(yīng)用仍處于探索階段。王楊春曉(2019)在進(jìn)行測評工具開發(fā)時基于受測者常見生活情境進(jìn)行試題設(shè)計,余麗芹等(2021)開發(fā)的小學(xué)中高段學(xué)生信息素養(yǎng)測評試題也同樣融入了情境素材。然而這類試題雖然為每個題目都提供了情境,但各個題目之間獨立封閉且沒有聯(lián)系,因此常被認(rèn)為是偽情境化的,無法為受測者創(chuàng)設(shè)具有過程體驗的自然情境。劉亞男(2015)對基于場景的信息素養(yǎng)測評進(jìn)行了初步探索,在測試題設(shè)計時融入了情境測評方式,而后通過學(xué)生的問題解決情況以及信息行為表現(xiàn)和規(guī)律來判斷其信息素養(yǎng)水平,但是在測評場景和試題的設(shè)計上較為主觀,缺乏相應(yīng)的理論支撐或方法指引。
由此可見,國內(nèi)信息素養(yǎng)情境化測評還存在較大的研究空間。雖然部分學(xué)者已經(jīng)開始關(guān)注情境在測評中的作用,也進(jìn)行了一些融入情境的試題設(shè)計探索,但是沒有將情境化測評作為一種新的測評方式來提出系統(tǒng)的方法論,在情境的選擇、設(shè)計以及試題的編制上缺乏相關(guān)理論的支持,較為主觀;同時缺乏具體的設(shè)計過程,對于其適用場景和群體的描述較為模糊,對實際應(yīng)用的指導(dǎo)意義不夠。除此之外,現(xiàn)有研究對“情境”的理解和應(yīng)用存在偏差。不少學(xué)者認(rèn)為所謂情境化測評就是在測評試題中融入一些與生活相關(guān)的元素,并未考慮情境的適用群體以及新穎程度,往往導(dǎo)致試題僅披有一層情境外衣,很容易將問題從所謂情境中剝離開來,成為純粹的知識應(yīng)答,削弱了對學(xué)生思維和能力的挑戰(zhàn)。還有一些基于情境的命題往往呈現(xiàn)出題目情境互相獨立、知識點分散的特點,并不利于學(xué)習(xí)者綜合素養(yǎng)能力的體現(xiàn)。
三、信息素養(yǎng)情境化測評設(shè)計的思路與方法
1.設(shè)計思路
基于上述分析,研究提出信息素養(yǎng)情境化測評的設(shè)計思路,如圖1所示。學(xué)生信息素養(yǎng)的培養(yǎng)源于生活情境,對學(xué)生信息素養(yǎng)水平的測評也應(yīng)當(dāng)基于情境。信息素養(yǎng)作為個體內(nèi)在的品質(zhì)特征不易直接觀測,而情境可以作為有效載體,在評估目的與學(xué)生真實信息素養(yǎng)水平之間建立聯(lián)系,通過學(xué)生在情境中的反應(yīng)表征其信息素養(yǎng)的特征和水平。
評估目的是對學(xué)生在測評中即將展現(xiàn)的能力、素養(yǎng)的要求,是測評設(shè)計的前提和出發(fā)點。在理解信息素養(yǎng)內(nèi)涵及構(gòu)成要素的基礎(chǔ)上,本研究對信息素養(yǎng)的能力維度進(jìn)行劃分,從意識、態(tài)度、知識技能、應(yīng)用、創(chuàng)新等方面概括出目標(biāo)關(guān)鍵能力,建立信息素養(yǎng)能力評估框架,并結(jié)合學(xué)習(xí)者學(xué)段特征和認(rèn)知水平,設(shè)定每個能力維度所需達(dá)到的級別要求。
在評估目的的指導(dǎo)下,基于情境主義學(xué)習(xí)理論和項目反應(yīng)理論進(jìn)行情境化測評試題的設(shè)計。知識具有情境性,依賴于活動與語境背景而存在(Brown et al.,1989),因此信息素養(yǎng)的測評不是碎片化的知識測試,而要強(qiáng)調(diào)各能力之間的結(jié)構(gòu)性和關(guān)聯(lián)性,突出在情境中對相關(guān)知識、技能和態(tài)度的綜合運(yùn)用。在進(jìn)行試題設(shè)計時,需要將這些能力測評點放還到現(xiàn)實生活中,尋找契合的“情境”,運(yùn)用不同的情境凸顯個體在不同維度的素養(yǎng)能力;具體情境下的任務(wù)設(shè)計則需要關(guān)注信息素養(yǎng)本身,使學(xué)習(xí)者在解決問題時能夠喚醒相關(guān)認(rèn)知,抽象出相關(guān)素養(yǎng)能力,并遷移到特定情境下進(jìn)行應(yīng)用。
而后基于項目反應(yīng)理論對情境任務(wù)下具體問題進(jìn)行編制。在情境化測評試題中,測評情境和具體問題是最為重要的組成部分(易克薩維耶·羅日葉,2010,pp.6-7)。情境和問題之間存在緊密的聯(lián)系,情境催生問題的產(chǎn)生,問題推動情境的發(fā)展。而學(xué)習(xí)者個體作為問題解決者在情境和問題之間建立起有機(jī)關(guān)聯(lián)。測評本身是基于證據(jù)推理的過程(Mislevy,1996),通過真實情境的再現(xiàn),關(guān)注學(xué)習(xí)者在解決情境問題時的表現(xiàn),實現(xiàn)對其內(nèi)在素養(yǎng)能力的綜合評價。
2.評估目的
開展信息素養(yǎng)測評的首要環(huán)節(jié)是明確測評目的。在明確測評框架之后,需要結(jié)合學(xué)生學(xué)段、群體情況等現(xiàn)實因素對框架中能力維度的具體表現(xiàn)水平進(jìn)行細(xì)化與明確。這一方面能夠更為清晰地指導(dǎo)試題的方向和難度;另一方面便于在設(shè)計任務(wù)情境時能夠準(zhǔn)確對應(yīng)素養(yǎng)能力的核心點和實質(zhì)內(nèi)涵,使所要考查的信息素養(yǎng)能力點能夠放還到情境任務(wù)中,從而使學(xué)習(xí)者在完成測評任務(wù)時能夠喚醒相關(guān)認(rèn)知,抽象出信息素養(yǎng)相關(guān)能力,實現(xiàn)測評目的與測評試題的相互對應(yīng)。
本研究基于對國內(nèi)外權(quán)威的信息素養(yǎng)評估框架的研究和國內(nèi)中小學(xué)生現(xiàn)實情況的分析,提出中小學(xué)生信息素養(yǎng)評估框架(申皓寧,2022),包含4項一級指標(biāo)、9項二級指標(biāo)和28項三級指標(biāo),如表1所示。其中信息意識主要考查學(xué)習(xí)者對信息及信息技術(shù)基本概念和作用的掌握以及在使用信息時產(chǎn)生的心理傾向;基本技能指學(xué)習(xí)者使用信息和信息技術(shù)的基本能力,分為操作技能和使用技能;數(shù)字化學(xué)習(xí)與創(chuàng)新是指學(xué)習(xí)者利用信息和信息技術(shù)開展學(xué)習(xí)、交流,進(jìn)行問題解決和發(fā)展創(chuàng)新的能力;數(shù)字公民考查的是學(xué)習(xí)者對數(shù)字互聯(lián)網(wǎng)時代個體在生活、學(xué)習(xí)、工作等各方面的權(quán)力、責(zé)任和機(jī)會的了解,以及確保自身行為安全合法、合乎道德的能力。
3.測評情境設(shè)計
(1)測評情境的類型與選擇
用于信息素養(yǎng)測評的情境不應(yīng)局限于普通意義上的場景,而應(yīng)當(dāng)指向?qū)W習(xí)者形成和應(yīng)用其信息素養(yǎng)的情境,要能夠反映真實生活中可能遇到的復(fù)雜問題和情況。但真實的情境不一定是真正存在的情境。根據(jù)羅日葉對“情境”與“真實”之間關(guān)系的闡釋,教學(xué)中的情境可以分為四種,如圖2所示(易克薩維耶·羅日葉,2010,pp.43-47)。其中,第一種和第二種情境源于真實生活需求,第三種和第四種情境為測評者人為建構(gòu);“真正解決”意味著學(xué)習(xí)者做出的成果能夠在實際中加以應(yīng)用,“模擬解決”則只是以練習(xí)和測試為目的,任務(wù)結(jié)果不實際應(yīng)用??梢钥闯?,從第一種到第四種,情境的真實性在降低,模擬性在增強(qiáng),但從測評目的來看,四種情境都能夠調(diào)動學(xué)習(xí)者投入到問題解決中去,展現(xiàn)其信息素養(yǎng)水平,因此都可以認(rèn)為是真實有效的測評情境。而從可行性上看,第四種情境是最適合用于測評試題制作的類型。
為構(gòu)建真實、富有意義的測評情境,本研究參考PISA測評情境的分類以及我國中小學(xué)生學(xué)習(xí)環(huán)境特征,構(gòu)建了信息素養(yǎng)情境化測評的四大情境分類,如表2所示。情境類別的劃分從個人和社會兩個角度出發(fā),其中個人相關(guān)情境分為學(xué)習(xí)和生活情境,社會相關(guān)情境分為公共服務(wù)和社會問題情境。
“個人學(xué)習(xí)”情境主要指與學(xué)生線上學(xué)習(xí)、網(wǎng)絡(luò)學(xué)習(xí)相關(guān)的情境。線上學(xué)習(xí)現(xiàn)已成為常見的學(xué)習(xí)形式,尤其是在新冠疫情期間,幾乎每個學(xué)生都有線上學(xué)習(xí)的經(jīng)歷,而是否具備良好的信息素養(yǎng)決定了其能否順利完成線上學(xué)習(xí)任務(wù)?!皞€人生活”情境主要指與學(xué)生日常生活、出行等相關(guān)的情境,比如開展線上調(diào)研、解決生活中遇到的問題、進(jìn)行出行規(guī)劃等。這類情境貼近生活,易于代入。社會相關(guān)情境將學(xué)生個人與社會發(fā)展聯(lián)系,將需要測評的信息素養(yǎng)能力放還到個體所處的社會環(huán)境中,凸顯學(xué)生作為社會群體一員的綜合素養(yǎng)能力?!肮卜?wù)”情境將學(xué)生定位為普通市民,涉及參與社會公益項目和公共場所建設(shè)等。“社會問題”情境聯(lián)系社會焦點問題,引領(lǐng)學(xué)生關(guān)注社會可持續(xù)發(fā)展,讓學(xué)生在完成情境任務(wù)的同時逐漸樹立為社會貢獻(xiàn)力量的理想信念與責(zé)任擔(dān)當(dāng)。
(2)從情境到測評情境
從上述分析可以看出,情境的選擇是非常多元的,關(guān)鍵在于如何把這些情境轉(zhuǎn)化為測評情境。首先在情境范圍的選擇上,需要考慮學(xué)生群體的特征,選取其日常生活中能接觸到的情境,避免因為不熟悉而造成額外困難。從選定的情境類別到測評情境的轉(zhuǎn)化,重點在于信息素養(yǎng)作用的融入。根據(jù)需要考查的信息素養(yǎng)關(guān)鍵能力,挖掘情境可能引發(fā)學(xué)生調(diào)用其信息素養(yǎng)的行為,在情境的發(fā)展和能力的考查之間尋找可能的對應(yīng)關(guān)系,從而對原有情境進(jìn)行拓展,進(jìn)一步設(shè)定情境所涉及的各個環(huán)節(jié),最后將各環(huán)節(jié)綜合形成完整的測評情境。
為幫助理解信息素養(yǎng)測評情境的設(shè)計過程,以小學(xué)中高段學(xué)生為測評對象進(jìn)行設(shè)計示例,圖3詳細(xì)展示了測評情境的設(shè)計過程。首先結(jié)合小學(xué)生的年齡特點和日常學(xué)習(xí)生活環(huán)境,研究模擬建構(gòu)了兩個用于測評的情境。情境1結(jié)合了“公共服務(wù)”和“社會問題”兩個話題類別,定位于城市大氣污染相關(guān)的環(huán)保宣傳網(wǎng)站制作。將這一情境特征與信息素養(yǎng)關(guān)鍵能力對照,可以發(fā)現(xiàn)該情境下網(wǎng)站的制作主要可以考查學(xué)生的信息意識、基本技能與數(shù)字公民等維度的部分能力。根據(jù)需要考查的能力和情境的可能發(fā)展方向,對情境的具體環(huán)節(jié)進(jìn)行設(shè)計,將情境劃分為制作準(zhǔn)備、網(wǎng)站制作、參加比賽、結(jié)果公布四個環(huán)節(jié),最終綜合形成測評情境1,完成情境到測評情境的轉(zhuǎn)換。情境2的設(shè)計過程與情境1相同,關(guān)注“個人學(xué)習(xí)”話題,以日益普及的線上課程為背景展開,主要考查學(xué)生在基本技能、數(shù)字化學(xué)習(xí)與創(chuàng)新,以及數(shù)字公民等維度的操作技能、使用技能、自主學(xué)習(xí)、協(xié)作交流和法律道德等方面的能力。
(3)測評情境設(shè)計注意要點
在情境化測評中,好的情境需要能夠喚醒學(xué)生的圖式思維,使學(xué)生將經(jīng)歷過的情境中的問題解決思路遷移到新的情境中(Ahmed et al.,2007)。為了確保所設(shè)計情境的有效性,需注意以下四方面:
第一,選取具有代表性的情境。為確保測評結(jié)果的有效性,需選取具有典型性和代表性的情境,確保能夠激發(fā)學(xué)生運(yùn)用相關(guān)信息素養(yǎng)能力。首先,可以從學(xué)生生活常見情境出發(fā)進(jìn)行選擇,這樣不僅容易激發(fā)學(xué)生解決問題的動力,也能在一定程度上避免陌生情境所帶來的額外困難(National Research Council,2001)。其次,需要謹(jǐn)慎審視所選情境與信息素養(yǎng)關(guān)鍵能力之間的關(guān)聯(lián),確保所設(shè)定的情境任務(wù)是所要推斷的目標(biāo)情境或任務(wù)范圍的代表性樣本(楊向東,2015)。
第二,避免過度追求情境的真實。真實不意味著完全的現(xiàn)實,過度關(guān)注情境的現(xiàn)實性反而容易忽略情境測評本身的目的,導(dǎo)致測評效度的降低。評判一個測評情境是否具有意義,關(guān)鍵在于其能否為學(xué)生相關(guān)知識的運(yùn)用提供活動場景和背景條件,是否能夠調(diào)動學(xué)生內(nèi)在的綜合性和復(fù)雜性能力,而不是單純考慮其現(xiàn)實性程度(蔣遠(yuǎn)橋,2021)。只要能夠喚起學(xué)生類似的構(gòu)念,達(dá)到信息素養(yǎng)測評的目的,就可以作為信息素養(yǎng)測評的有效情境。
第三,合理把握情境的趣味性。為了讓學(xué)生能夠積極參與到測評情境任務(wù)中,需要確保情境具有一定的趣味性和新穎性,不能是學(xué)生已經(jīng)解決過的相同問題。一個具有吸引力的情境能夠使學(xué)生更快進(jìn)入角色,投入到問題解決中,避免傳統(tǒng)測評中“為了答題而答題”情況的出現(xiàn)。同時,也要把握情境的趣味程度,過于復(fù)雜或有趣的情境容易引起學(xué)生的關(guān)注重點失衡,尤其是針對低年齡段的學(xué)生進(jìn)行情境設(shè)計時更加需要注意這一問題。
第四,避免過多的額外信息。研究表明過多的額外信息容易占用認(rèn)知資源,導(dǎo)致注意力的分散和下降(Crisp et al.,2008)。由于信息素養(yǎng)測評是對學(xué)生內(nèi)在素養(yǎng)能力的考查,需要激發(fā)學(xué)生在現(xiàn)實情境下的真實反應(yīng),因此情境設(shè)計時需要保留一定程度的雜亂信息,來營造真實的氛圍。這些信息大多與解題不相關(guān),它們能夠幫助學(xué)生融入情境,獲取信息,但同時也對題目作答造成一定的負(fù)擔(dān)。因此,在描述情境時也需要注意無關(guān)信息的數(shù)量,避免對學(xué)生答題產(chǎn)生過度的干擾。
4.具體問題命制
(1)命制思路
如果說情境將學(xué)生帶入到一個特定的環(huán)境中去,那么具體問題則是驅(qū)動情境發(fā)展、指引學(xué)生完成情境任務(wù)的必要支撐。情境只是一個環(huán)境,而具體問題才能明確指出要做什么,從而為學(xué)生指明行動方向,激發(fā)他們的興趣并投入到測評中。結(jié)合具體問題與測評目標(biāo)、測評情境的聯(lián)系,研究提出如圖4所示的命制思路。問題的命制首先應(yīng)當(dāng)從測評情境出發(fā),順應(yīng)情境任務(wù)的發(fā)展來合理提問,并尋找與關(guān)鍵能力指標(biāo)之間的契合點。進(jìn)而從具體問題出發(fā)尋求可能考查的能力指標(biāo),再從能力指標(biāo)出發(fā)規(guī)范具體問題的命制,通過學(xué)生在具體問題上的作答反映其在各能力維度上的表現(xiàn)情況。
除此之外,在命制具體問題時還需要把握橫向的整合性與縱向的過程性。情境之所以對于測評具有重要意義,是因為情境是一個有機(jī)的整體,其中蘊(yùn)含著復(fù)雜多樣的信息和關(guān)系,需要學(xué)生對知識技能的綜合運(yùn)用才能解決問題。其復(fù)雜性和整體性要求具體問題與情境發(fā)展之間存在緊密聯(lián)系,各個問題需要整合于同一情境任務(wù)而不能脫離情境獨立存在(OECD,2019)。與橫向的整合性相對應(yīng)的是縱向的過程性,學(xué)生在測評情境中作答的過程就是他們進(jìn)行思考和做出行為的過程(葉麗新,2019),因此,需要通過具體問題之間承上啟下的關(guān)系幫助學(xué)生融入情境的自然發(fā)展,使其獲得完整的問題解決體驗。具體問題應(yīng)當(dāng)圍繞測評情境展開,在測評任務(wù)的驅(qū)動下進(jìn)行命制,源于情境而又推動情境的發(fā)展,使測評情境與具體問題融合成為有機(jī)的整體。
以圖3中情境1的部分環(huán)節(jié)為例來闡述具體問題的命制,如圖5所示。該環(huán)節(jié)的主要任務(wù)為制作環(huán)保宣傳網(wǎng)站所需資料的搜集,根據(jù)這一任務(wù)可以設(shè)置信息檢索和處理的相關(guān)問題,主要考查學(xué)生的使用技能,同時也可引出對信息安全能力的考查。Q9通過讓學(xué)生從檢索結(jié)果列表中識別有用信息,考查其信息識別能力;Q10測試學(xué)生能否識別結(jié)果中不安全的鏈接,對應(yīng)網(wǎng)絡(luò)安全意識能力指標(biāo);Q11關(guān)注了在使用網(wǎng)站時經(jīng)常會碰到的彈窗廣告,考查學(xué)生對于虛假廣告網(wǎng)站的安全意識;Q12承接上題,考查學(xué)生對網(wǎng)站瀏覽記錄的認(rèn)知。從橫向來看,四個問題均從“環(huán)保宣傳網(wǎng)站制作”大情境出發(fā),將情境元素融入具體問題中,達(dá)到問題與情境的整合;從縱向來看,在該部分情境“資料搜集”任務(wù)的驅(qū)動下,問題之間聯(lián)系緊密、環(huán)環(huán)相扣,帶動情境向前發(fā)展,讓學(xué)生在解題中獲得資料搜集的過程體驗,契合情境任務(wù)驅(qū)動下具體問題解決的過程性。
(2)命制要點
為使測評具體問題更好地契合測評情境,提升測評的有效性,在命制問題時需要注意以下三方面:
第一,測評目標(biāo)單一性。一般情況下,信息素養(yǎng)單個能力指標(biāo)的測評可以由多個問題表征,但每個問題只指向單一能力指標(biāo)。問題測評目標(biāo)的單一性主要是為了確保考核的能力點明確,避免一個問題中多個能力作用占比不均衡的問題,難以判定學(xué)生在不同能力指標(biāo)上的得分,對結(jié)果統(tǒng)計造成不必要的困難。
第二,解決方案唯一性。對于復(fù)雜的測評情境,往往存在多元的解決方法,如果問題的限定過于寬泛,則很難使學(xué)生回答出施測者希望看到的結(jié)果。因此必須對問題的表述加以限定,引導(dǎo)學(xué)生采取唯一的解決方式,從而使學(xué)生能夠表現(xiàn)出問題本身需要考查的能力。
第三,問題表述情境化。問題表述要考慮情境的作用,應(yīng)當(dāng)是背景化的、復(fù)雜的、有趣的。以考查信息獲取能力為例,傳統(tǒng)試題一般采用簡單直接的提問方式,如“獲取信息都有哪些途徑?”其反映的是脫離情境的機(jī)械知識記憶。而采用情境化方式則可以表述為“為了制作宣傳手冊,志愿隊需要搜集一些有關(guān)飲食健康的圖片資料,你可以從哪些渠道獲取?”這既能激發(fā)學(xué)生興趣,也能推動情境發(fā)展。
四、情境化測評實踐
1.研究工具
研究工具為本研究開發(fā)的“小學(xué)中高段學(xué)生信息素養(yǎng)情境化測評試題”。試題基于中小學(xué)信息素養(yǎng)評估框架體系設(shè)計,并參考了國外TRAILS、NAEP等知名信息素養(yǎng)評估項目,分為前文所述的兩大情境。為確保試題能夠有效評估學(xué)生的信息素養(yǎng),研究邀請6名信息素養(yǎng)領(lǐng)域?qū)<壹?名一線教師對試題中每個題目的質(zhì)量進(jìn)行打分,包括對題目與能力維度的契合度以及難度適宜程度的評估。經(jīng)反饋和修訂,形成小學(xué)中高段學(xué)生信息素養(yǎng)測評試題1.0版本,共計56題,均為4個選項的選擇題,涵蓋28個三級指標(biāo),每個三級指標(biāo)均有1~2個問題與之對應(yīng)。使用試題1.0版本對南京市C小學(xué)124名小學(xué)生(四年級35人,五年級89人)進(jìn)行預(yù)測試,測試結(jié)果表明試題總體克隆巴赫系數(shù)為0.91,具備較好的信度(Ebel,1965)。
此外,試題的難度和區(qū)分度也是衡量試題質(zhì)量的重要指標(biāo)。研究采用通過率(答對題目人數(shù)/總?cè)藬?shù))表示試題難度,對難度低于0.2或高于0.95的題目進(jìn)行了刪除或修改;采用極端分組法(前27%為高分組、后27%為低分組)計算試題的區(qū)分度,一般來說0.3以上表示區(qū)分度良好,0.4以上表示區(qū)分度很好,根據(jù)計算結(jié)果對試題進(jìn)行了刪改。經(jīng)修正形成小學(xué)中高段學(xué)生信息素養(yǎng)測評試題2.0版本,共計32題,涵蓋所有三級指標(biāo)。
2.研究對象與實施流程
研究以南京市C小學(xué)四五年級的學(xué)生作為研究對象開展正式測評,不包含已參加過預(yù)測試的學(xué)生。參與測試的學(xué)生群體共137人,其中四年級90人,五年級47人;男生 69人,女生68人;平均年齡11歲。數(shù)據(jù)回收后再次檢驗試題的信度、難度、區(qū)分度,然后依據(jù)所確定的指標(biāo)權(quán)重計算每個學(xué)生在信息素養(yǎng)各維度能力指標(biāo)上的得分和信息素養(yǎng)總體水平。
3.效果分析
測試結(jié)果顯示試題整體信度為0.99,難度為0.57,區(qū)分度為0.62,均達(dá)到可接受水平。
根據(jù)測評結(jié)果,該群體的信息素養(yǎng)平均得分為54.61(總分100分),信息意識維度平均得分43.89,基本技能維度平均得分57.41,數(shù)字化學(xué)習(xí)與創(chuàng)新維度平均得分58.69,數(shù)字公民維度平均得分58.72,信息意識維度得分略低于其他三個維度,整體上表現(xiàn)情況較為平均。這與信息科技學(xué)科教師訪談中提到的“基于課堂觀察和學(xué)習(xí)表現(xiàn),學(xué)生具有一定的基本技能和數(shù)字化學(xué)習(xí)與創(chuàng)新能力,也對使用信息及信息技術(shù)時相關(guān)的安全、版權(quán)和法律道德有一些認(rèn)知且基本能自覺遵守,但對信息的認(rèn)知和態(tài)度較為薄弱”表述一致。從年級來看,四年級平均得分52.34,五年級平均得分59.94。將分?jǐn)?shù)劃分為四個等級,兩個年級在每個等級的分布情況如表3所示。四年級學(xué)生的測試得分處在較差和一般水平,良好以上的較少;五年級學(xué)生的測試得分大部分處于一般水平,較差和良好水平的分布相當(dāng),整體上優(yōu)于四年級得分情況。 這也與教師訪談中提到的“五年級學(xué)生信息素養(yǎng)整體表現(xiàn)要好于四年級學(xué)生”表述一致。
五、總結(jié)
信息素養(yǎng)作為一種復(fù)雜的綜合能力素養(yǎng),對其進(jìn)行科學(xué)、有效的測評一直是研究者探索的方向。針對當(dāng)前國內(nèi)中小學(xué)生信息素養(yǎng)測評存在的脫離真實情境、測評效度低等問題,研究將情境主義學(xué)習(xí)理論應(yīng)用于信息素養(yǎng)測評,試圖構(gòu)建信息素養(yǎng)情境化測評的新型測評范式,以真實情境為基礎(chǔ)構(gòu)建具有高連續(xù)性和關(guān)聯(lián)度的測評試題,深入考查學(xué)生在信息社會靈活、合理運(yùn)用各種數(shù)字化平臺和資源,合理管理、科學(xué)規(guī)劃、問題解決及創(chuàng)新實踐等方面的信息素養(yǎng)能力。研究以中高段小學(xué)生為例進(jìn)行了測評工具的開發(fā),通過在南京C小學(xué)的實踐應(yīng)用初步驗證了測評工具的有效性以及本文測評思路的可行性,從而為情境測評的研究與實踐提供參考借鑒。
由于條件及時間限制,研究仍存在一些不足之處。一是研究重點關(guān)注了測評試題本身的設(shè)計,對于后續(xù)實施及結(jié)果統(tǒng)計環(huán)節(jié)缺乏理論層面的闡述;二是研究僅在小學(xué)階段進(jìn)行了情境化測評試題的開發(fā)和應(yīng)用,尚不足以發(fā)現(xiàn)測評存在的問題,需要更大范圍的實踐來完善測評思路框架及測評試題;三是出于對小學(xué)生能力水平情況及現(xiàn)實因素的考慮,研究開發(fā)的測評試題僅采用了選擇題題型,對于某些關(guān)鍵能力的考查可能存在缺陷。
未來的信息素養(yǎng)測評可加強(qiáng)對情境的關(guān)注,在測評方法和測評工具的開發(fā)上進(jìn)行更多的創(chuàng)新和實踐。情境化測評不僅僅適用于基礎(chǔ)教育,也適用于高等教育和職業(yè)教育,可以對不同學(xué)段、不同教育場景下的信息素養(yǎng)測評進(jìn)行設(shè)計探索,并加強(qiáng)測評工具的實踐應(yīng)用研究和迭代設(shè)計,豐富和拓展信息素養(yǎng)情境化測評的范式。在試題的命制上需更加體現(xiàn)真實性、情境性、生活性,加強(qiáng)相關(guān)理論對試題命制的指導(dǎo),挖掘各類題型在激發(fā)學(xué)生內(nèi)在素養(yǎng)的優(yōu)劣之處,同時可以考慮使用信息技術(shù)平臺支持測評的實施,開發(fā)基于計算機(jī)的測評系統(tǒng),豐富情境主題、題目類型以及試題的響應(yīng)形式,為受測者提供更沉浸的測評體驗,從而更加深入和準(zhǔn)確地評價其信息素養(yǎng)水平。
參考文獻(xiàn):
[1][比]易克薩維耶·羅日葉(2010).為了整合學(xué)業(yè)獲得:情境設(shè)計與開發(fā)[M].汪淩.上海:華東師范大學(xué)出版社.
[2]賈林芝(2020).核心素養(yǎng)測評中“真實情境”與“真實問題”的特征分析——以生物科目為例[J].上海教育科研,(9):77-81.
[3]蔣遠(yuǎn)橋(2021).效度視域下的情境測評——以高考為核心[J].語文建設(shè),(13):15-20.
[4]劉亞男(2015).基于情景測試的大學(xué)生信息素養(yǎng)評價實證研究[D].濟(jì)南:山東大學(xué):29-33.
[5]申皓寧(2022).中小學(xué)生信息素養(yǎng)測評的設(shè)計與實踐[D].上海:華東師范大學(xué):27-28.
[6]王楊春曉(2019).小學(xué)中高段學(xué)生信息素養(yǎng)測評工具的開發(fā)研究[D].武漢:華中師范大學(xué):27-28.
[7]魏雄鷹,肖廣德,李偉(2017).面向?qū)W科核心素養(yǎng)的高中信息技術(shù)測評方式探析[J].中國電化教育,(5):15-18,61.
[8]新華社(2020).中共中央 國務(wù)院印發(fā)《深化新時代教育評價改革總體方案》[EB/OL].[2022-10-13].http://www.gov.cn/zhengce/2020-10/13/content_5551032.htm.
[9]楊向東(2015).“真實性評價”之辨[J].全球教育展望,44(5):36-49.
[10]楊向東(2018).指向?qū)W科核心素養(yǎng)的考試命題[J].全球教育展望,47(10):39-51.
[11]楊玉琴(2017).美國NAEP技術(shù)與工程素養(yǎng)評估述評[J].外國教育研究,44(8):22-35.
[12]葉麗新(2019).“情境”的理解維度與“情境化試題”的設(shè)計框架——以語文學(xué)科為例[J].課程·教材·教法,39(5):107-113.
[13]余麗芹,索峰,朱莎等(2021).小學(xué)中高段學(xué)生信息素養(yǎng)測評模型構(gòu)建與應(yīng)用研究——以四,五年級學(xué)生為例[J].中國電化教育,(5):63-69,101.
[14]Ahmed, A., & Pollitt, A. (2007). Improving the Quality of Contextualized Questions: An Experimental Investigation of Focus[J]. Assessment in Education Principles Policy & Practice, 14(2):201-232.
[15]Barger, S. D. (2002). The Marlowe-Crowne Affair: Short Forms, Psychometric Structure, and Social Desirability[J]. Journal of Personality Assessment, 79(2):286-305.
[16]Bellocchi, A., King, D. T., & Ritchie, S. M. (2016). Context-Based Assessment: Creating Opportunities for Resonance Between Classroom Fields and Societal Fields[J]. International Journal of Science Education, 38(8):1304-1342.
[17]Blevens, C. L. (2012). Catching Up with Information Literacy Assessment: Resources for Program Evaluation[J]. College & Research Libraries News, 73(4):202-206.
[18]Brown, J. S., Collins, A., & Duguid, P. (1989). Situated Cognition and the Culture of Learning[J]. Educational Researcher, 18(1):32-42.
[19]Crisp, V., Sweiry, E., & Ahmed, A. et al. (2008). Tales of the Expected: The Influence of StudentsExpectations on Question Validity and Implications for Writing Exam Questions[J]. Educational Research, 50(1):95-115.
[20]Ebel, R. L. (1965). Confidence Weighting and Test Reliability[J]. Journal of Educational Measurement, 2(1):49-57.
[21]Kruger, J., & Dunning, D. (1999). Unskilled and Unaware of It: How Difficulties in Recognizing Ones Own Incompetence Lead to Inflated Self-Assessments[J]. Journal of Personality and Social Psychology, 77(6):1121-1134.
[22]Mislevy, R. J. (1996). Test Theory Reconceived[J]. Journal of Educational Measurement, 33(4):379-416.
[23]National Assessment Program (2018). NAP Sample Assessment ICT Literacy Technical Report[EB/OL]. [2022-10-13]. https://www.nap.edu.au/docs/default-source/default-document-library/nap-ictl17_tr_final.pdf.
[24]National Research Council (2001). Knowing What Students Know: The Science and Design of Educational Assessment[M]. Washington, American: National Academies Press:275.
[25]OECD (2017). PISA 2015 Assessment and Analytical Framework[EB/OL]. [2022-10-13]. https://www.oecd-ilibrary.org/education/pisa-2015-assessment-and-analytical-framework_9789264281820-en.
[26]OECD (2019). PISA 2018 Assessment and Analytical Framework[EB/OL]. [2022-10-13]. https://www.oecd-ilibrary.org/education/pisa-2018-assessment-and-analytical-framework_b25efab8-en.
[27]Samson, S. (2010). Information Literacy Learning Outcomes and Student Success[J]. Journal of Academic Librarianship, 36(3):202-210.
[28]Senkbeil, M., & Ihme, J. M. (2017). NEPS Technical Report for Computer Literacy: Scaling Results of Starting Cohort 3 for Grade 9[EB/OL]. [2022-10-13]. https://www.neps-data.de/Portals/0/Survey%20Papers/SP_XXIX.pdf.
[29]Siddiq, F., Hatlevik, O. E., & Olsen, R. V. et al. (2016). Taking a Future Perspective by Learning from the Past-A Systematic Review of Assessment Instruments that Aim to Measure Primary and Secondary School StudentsICT Literacy[J]. Educational Research Review, 19:58-84.
收稿日期 2022-11-26責(zé)任編輯 李鑫
Abstract: Information literacy, as a kind of complex and comprehensive competency literacy, has been the focus of researchersattention to assess it scientifically and effectively. However, most of the current information literacy assessments for primary and secondary school students are performed based on subjective self-reported questionnaires or standardized tests stripped from real situations, which cannot evaluate studentsability to apply information literacy to solve real problems accurately. Contextualized assessment is based on real situations to construct test questions with high continuity and relevance, which can deeply investigate studentsability to use information and information technology flexibly and rationally in the information society. Some aspects should be followed in the design of the contextualized assessment of information literacy for students in primary and secondary schools. First, the purpose of the assessment needs to be clarified by defining the connotation and constituent elements of studentsinformation literacy. Second, appropriate situations should be selected according to the purpose of assessment and studentscharacteristics, and then transformed into assessment situations. Finally, specific questions are formulated according to contextual tasks and key competencies of information literacy to form integrated questions of contextualized assessment. Particularly, the design of the situation should be representative, interesting and avoid excessive pursuit of authenticity, and the formulation of questions should pay attention to the singleness of the assessment objective, the uniqueness of the solution and the contextualization of the question expression. According to these aspects, the application results of information literacy contextualized assessment for students in primary and middle schools indicated the feasibility of the assessment method and the effectiveness of the assessment tool.
Keywords: Information Literacy; Information Literacy Assessment; Contextualized Assessment; Question Formulating