邢博特
【摘要】組卷策略是題庫系統(tǒng)的重要環(huán)節(jié),而使用命題細目表進行組卷則可以有效克服組卷的主觀隨意性,優(yōu)化試卷結(jié)構(gòu)。通過計算機系統(tǒng)自動生成命題細目表,再根據(jù)細目表進行組卷是基于命題細目表的二階段組卷策略的核心思想。
【關(guān)鍵詞】命題細目表;組卷策略;二階段
【中圖分類號】G40-057【文獻標(biāo)識碼】A【論文編號】1009-8097(2012)09-0097-04
題庫通常是指大量試題的集合,這些試題分類有序地存放,便于構(gòu)造某種考試所用的試題或試卷。在教育測量學(xué)理論中,題庫被定義為是在某種測量理論指導(dǎo)下,試題經(jīng)過試測計算出相關(guān)的統(tǒng)計參數(shù),試題參數(shù)經(jīng)過等值并建立在同一量表上,按照一定原則組織起來的能夠滿足某種考試需要的大量優(yōu)良試題的組合。建設(shè)優(yōu)良題庫是一種命題方式的變革,是提高命題效率和試卷組配質(zhì)量的基礎(chǔ),有利于實現(xiàn)命題工作的日?;?/p>
以題庫方式進行命題,可以組織更多的專家和命題教師參與命題,便于廣泛征集試題,使編制試題工作成為一種經(jīng)常性的活動,命題人員有較充裕的時間研磨和審查試題,從而有利于提高試題質(zhì)量。建立題庫后,命題人員可以集中精力設(shè)計好試卷藍圖,使試卷結(jié)構(gòu)更科學(xué)、更合理,并且選擇題庫中的優(yōu)良試題組配試卷,有利于提高組配效率和試卷質(zhì)量。通過題庫方式命題,有利于組配平行試卷,堅持考試標(biāo)準(zhǔn)的一致性。以題庫方式組織命題,還有利于提高考試的信度和效度,有利于做好保密工作。
一常見組卷策略分析
題庫系統(tǒng)的核心是智能組卷系統(tǒng),它可以在題庫中選擇合適的試題,自動完成組卷任務(wù)。它是數(shù)據(jù)庫理論、教育測量理論和人工智能理論相結(jié)合的產(chǎn)物,是從傳統(tǒng)教育向現(xiàn)代教育發(fā)展的一種新型教育考評體系,是我國教育考試體系的重要組成部分。目前的研究及應(yīng)用中,各類組卷策略大致可以分為基于經(jīng)典考試?yán)碚摰慕M卷策略和基于項目反應(yīng)理論的組卷策略兩種類型。其中,基于經(jīng)典考試?yán)碚摰慕M卷策略又包括基于隨機算法的組卷策略、基于深度與廣度搜索算法的組卷策略和基于遺傳算法的組卷策略等幾大類。
1、基于隨機算法的組卷策略
基于隨機算法的組卷策略是最直觀的一種組卷策略。在題庫中隨機抽取試題,然后判斷其是否符合試卷要求,如果符合,則將其加入到試卷中,如果不符合,則將其放入題庫重新抽取試題。不斷重復(fù)這一過程,直至組卷完畢或無法從題庫中抽選合適的試題為止。
該算法優(yōu)勢在于結(jié)構(gòu)簡單,單次選題過程運行速度較快,但如果組卷的約束條件較復(fù)雜,完成組卷方案的時間復(fù)雜度較大,而且試卷往往不能滿足某些約束條件。因此,該算法只適用于組卷約束條件較少的小型試題庫系統(tǒng)的組卷。
2、基于深度與廣度優(yōu)先搜索算法的組卷策略
深度優(yōu)先搜索算法和廣度優(yōu)先搜索算法都是圖論的遍歷圖算法。在題庫組卷策略中,回溯組卷算法就是一種最常見的基于深度與廣度優(yōu)先的搜索算法,它對隨機算法有很大的改進,可遍歷所有狀態(tài)組合。其主要思想是從題庫中隨機抽取試題,但在抽取過程中通過驗證所選擇的試題是否滿足系統(tǒng)給定的目標(biāo)條件確定是否抽取該試題,當(dāng)發(fā)現(xiàn)目前沒有任何試題滿足約束時,廢棄前一步或幾步操作后重新組卷,通過回溯試探的方法遍歷所有可能的組卷方式,完成組卷任務(wù)。
回溯算法組卷成功率高,理論上可以遍歷所有可能狀態(tài)組合,但當(dāng)題庫題量或試卷總題量較大時,搜索空間變大,實現(xiàn)過程的時間開銷也會隨之變大,組卷效率較低。加之所選試題缺乏隨機性,因此在實際應(yīng)用中單純的基于回溯試探算法應(yīng)用受到制約。
3、基于遺傳算法的組卷策略
遺傳算法(GeneticAlgorithms,GA)通過模擬自然生態(tài)進化過程,采用迭代式搜索算法,根據(jù)一定的標(biāo)準(zhǔn),在保持種群穩(wěn)定的基礎(chǔ)上,激勵好的結(jié)果,淘汰劣質(zhì)結(jié)果,最終搜索到理想的最優(yōu)解或次優(yōu)解。遺傳算法與其他算法不同的是,除去“染色體”的編碼規(guī)則,求解問題的本身對算法的影響并不大。當(dāng)按照適當(dāng)?shù)木幋a將待解問題的解表示成“染色體”形式后,每個個體就成為問題的一個解。建立一定規(guī)模的這種個體后,就可構(gòu)成一個種群,根據(jù)計算種群中個體的適應(yīng)度函數(shù)值,可以評價個體的優(yōu)劣,在保持一定種群規(guī)模的前提下,按適者生存的原則執(zhí)行選擇、交叉和變異等操作,得到更適應(yīng)環(huán)境的下一代種群。反復(fù)迭代這一過程,直到得到符合要求的最優(yōu)解,或者次優(yōu)解為止。將遺傳算法應(yīng)用于組卷策略,是近年來組卷策略研究的熱點之一。
遺傳算法的計算復(fù)雜度只與編碼規(guī)則、種群規(guī)模及迭代次數(shù)等條件有關(guān),與問題本身的復(fù)雜度無關(guān),而且可同時并行計算,因此更適合大規(guī)模復(fù)雜問題的優(yōu)化求解;同時,遺傳算法是在所有解空間中使用多點隨機搜索最優(yōu)解,因此能夠一定程度上避免局部最優(yōu)的缺點;而遺傳算法的交叉、變異等操作有利于保持種群多樣性。但是,使用遺傳算法處理多目標(biāo)優(yōu)化問題時,需要將多目標(biāo)優(yōu)化問題轉(zhuǎn)化為單目標(biāo)優(yōu)化問題,因此求得的最優(yōu)解(或次優(yōu)解)有可能并非一份理想的試卷,而且,如果題庫規(guī)模較大,容易導(dǎo)致染色體過長,時間開銷呈非線性增長趨勢,從而降低算法的運算效率。
4、基于項目反應(yīng)理論的組卷策略
基于項目反應(yīng)理論的組卷算法最早是由自適應(yīng)考試發(fā)展而來的。其具體操作為:開始時選取中等難度試題作為初始試題,當(dāng)考生回答完成一道試題后,系統(tǒng)立即對其評分并重新估計學(xué)生能力,然后從題庫中選取下一道試題,直至對考生能力的測量精度達到指定的水平。
使用基于項目反應(yīng)理論的策略對考生進行心理測量,優(yōu)勢在于測量結(jié)果與考試試題樣本無關(guān),突破了經(jīng)典測量理論的局限性,具有題目參數(shù)估計更為準(zhǔn)確、全面解決考試等值問題、適用于大規(guī)模自適應(yīng)考試系統(tǒng)等優(yōu)勢。但由于入庫試題需要進行試測以確定試題參數(shù),而我國的各類大規(guī)??荚囍袩o法進行試測,因此使用這一策略仍有一定困難。此外,該算法需要在考試過程中實施組卷策略,對考試系統(tǒng)的壓力也較大。
二基于命題細目表的兩階段組卷策略的構(gòu)想與實現(xiàn)
一份合格的試卷需要多方面的衡量,難度分布、評價目標(biāo)分布、知識內(nèi)容分布等各項指標(biāo)都需要控制在合理范圍之內(nèi)。盡管上述幾種智能組卷策略都有其自身的優(yōu)勢,而且近年在計算機等級考試、廣播電視大學(xué)等教育考試系統(tǒng)中有所應(yīng)用,但這些策略都屬于單目標(biāo)約束問題,實際操作過程中很難達到預(yù)期的組卷效果,因此需要命題細目表協(xié)助進行組卷。
命題細目表相當(dāng)于試卷藍圖,它是試卷試題的考核內(nèi)容、評價目標(biāo)、難度、題型、分值等屬性的數(shù)量化表格,是命題、審題和組卷的直接操作依據(jù)。編制命題細目表是克服命題、組卷的主觀隨意性、保證試卷結(jié)構(gòu)合理規(guī)范、有效提高試卷內(nèi)容效度的關(guān)鍵步驟,也是聯(lián)結(jié)考試大綱與實際命題工作的紐帶,代表考試機構(gòu)對命題工作的具體要求。同時,命題細目表是試卷平行性控制的重要依據(jù)。
本文提出了一種基于命題細目表的組卷方法,其主體思想是計算機自動生成滿足用戶需求的命題細目表,然后題庫系統(tǒng)根據(jù)該細目表從題庫中抽取滿足要求的試題,經(jīng)過篩選,最終將這些試題組合成卷。因此本策略將組卷過程分為兩階段進行,分別為制作細目表階段和組卷階段。
1、組卷策略控制參數(shù)的約定
為實現(xiàn)上述組卷策略,需要建立一系列試題參數(shù)及試卷參數(shù),作為題庫與組卷策略之間的橋梁。
(1)總體參數(shù)
總體參數(shù)是試卷的整體屬性,包括考試科目、試卷名稱、考試時間、考核知識點、滿分、及格分等。
(2)題型分布
題型分布是試卷的組成結(jié)構(gòu),即試卷使用的題型、題量及各題分?jǐn)?shù)等。
(3)考核內(nèi)容分布
考核內(nèi)容分布是指試卷包含的各部分考核內(nèi)容的比例,好的分布可以保證考核知識的覆蓋面,突出考核知識的重點。
(4)難度分布
難度分布是試卷中各類型難度題目分值的比例。一般可將難度分為易、較易、較難、難等四個等級,可分別使用A、B、c和D標(biāo)記。較好的難度分布可以提高試卷的區(qū)分度和信度,是組卷過程中重要的指標(biāo)。
(5)評價目標(biāo)分布
根據(jù)布魯姆認知領(lǐng)域教育目標(biāo)分類學(xué),試題的評價目標(biāo)可以分為記憶、理解、運用、分析、評價和創(chuàng)造,可以使用Ⅰ、Ⅱ、Ⅲ、Ⅳ、Ⅴ和Ⅵ表示(本文僅列出Ⅰ、Ⅱ、Ⅲ、Ⅳ)。評價目標(biāo)分布是試卷中各題考查各類認知層次的比例分布,好的分布可以提高考試的效度。
2、生成細目表階段
當(dāng)用戶給定試卷各項參數(shù)及目標(biāo)分布后,進入到生成細目表階段。由于本文細目表涉及四個維度的分布,因此編制合格細目表的工作量很大,即使使用計算機進行協(xié)助,其計算量也相當(dāng)龐大,因此本文將采用降維調(diào)整算法構(gòu)建命題細目表。
(1)相關(guān)術(shù)語及解釋
降維調(diào)整算法的核心思想就是首先將四維的命題細目表降低成二維的“考核內(nèi)容一題型”細目表,再根據(jù)難度分布與評價目標(biāo)分布構(gòu)建完整細目表。為完成上述操作,首先需要介紹相關(guān)術(shù)語及解釋。
塊:在僅以考核內(nèi)容與題型構(gòu)建的二維表格中,每個單元稱為一個塊,見表1。每個塊中的數(shù)字表示每個題型中各考核內(nèi)容的題目數(shù)量。
塊分配:是指根據(jù)一定算法將試題分配到各個塊中的過程,其結(jié)果是形成滿足題型分布和考核內(nèi)容分布的“考核內(nèi)容一題型”二維表格。選擇1題分布在相應(yīng)塊內(nèi),同時TNum[]數(shù)組相應(yīng)位置數(shù)值-1,PAC[]數(shù)組相應(yīng)位置減去相應(yīng)題目的TSco[]數(shù)值。
第三步:重復(fù)上述操作,直至某題型相應(yīng)位置的TNum[]數(shù)值變?yōu)榱恪?/p>
第四步:對前一道大題執(zhí)行第二步及第三步的操作。
第五步:當(dāng)TNum[]數(shù)組中的所有數(shù)值均為零時,算法完成。
格點:在以題型、考核內(nèi)容、難度和評價目標(biāo)而構(gòu)建的細目表中,每個單元格稱為一個格點,見表2。
格點分配:是指根據(jù)塊分配結(jié)果,將相應(yīng)數(shù)量的題目按照一定算法分配到細目表的各個格點中,其結(jié)果是形成基本滿足難度分布和評價目標(biāo)分布的命題細目表。
(2)塊分配算法
塊分配算法只考慮在“考核內(nèi)容一題型”表格中的分配。這一過程中不考慮試題的難度和評價目標(biāo),從而把四維的命題細目表問題降為二維情況處理,大大簡化了操作復(fù)雜度。分配的原則是大題盡量分布在考核內(nèi)容的重點部分,小題則盡量平均分布,這樣既可以保證試卷對知識點的覆蓋面,又可以突出對重點內(nèi)容的考核。操作步驟如下:
第一步:設(shè)定相關(guān)參數(shù):
數(shù)組TNum[]為各題型中未分配的小題數(shù)量,初始值為試卷中各大題中包含的小題數(shù)量;
數(shù)組TSco[]為各題型中每小題的分值,此為常數(shù)數(shù)組;
數(shù)組PAC[]為考核內(nèi)容分布概率,其初始值為考核內(nèi)容的目標(biāo)分布。
第二步:從最后一道大題開始,按照PAC[]的概率分布,
(3)格點分配算法
格點分配算法則是根據(jù)塊分配構(gòu)建的“考核內(nèi)容,題型”分布表,在塊內(nèi)的格點中分配試題。分配過程不會改變塊分布,同時需要同時滿足難度分布和評價目標(biāo)分布的要求。具體操作如下:
第一步:設(shè)定相關(guān)參數(shù):
數(shù)組TBlock[]為各塊中未分配的小題數(shù)量,初始值為塊分配中構(gòu)建的“考核內(nèi)容,題型”分布表。
數(shù)組TSco[]仍為各題型中每小題的分值,此為常數(shù)數(shù)組;
數(shù)組PDif[]為難度分布概率,其初始值為難度的目標(biāo)分布:
數(shù)組PAO[]為評價目標(biāo)分布概率,其初始值為評價目標(biāo)的目標(biāo)分布。
第二步:從最后一個塊開始,分別按照PDif[]和PAO[]的概率分布,隨機分配塊內(nèi)題目,同時TBlock[]數(shù)組相應(yīng)位置數(shù)值-1,PDif[]數(shù)組和PAO[]數(shù)組相應(yīng)位置減去相應(yīng)題目的TSeo[]數(shù)值。
第三步:重復(fù)上述操作,直至某塊對應(yīng)的TBlock[]單元的數(shù)值為零。
第四步:對前一個塊執(zhí)行第二步和第三步的操作。
第五步:當(dāng)TBlock[]數(shù)組中的所有數(shù)值均為零時,算法完成。
執(zhí)行上述步驟后,可以得到一份符合題型分布、考核內(nèi)容分布、難度分布和評價目標(biāo)分布的四維命題細目表,此時可以進入組卷階段。
3按照細目表組卷階段
制作命題細目表是本組卷策略十分重要的一環(huán),組卷階段的任務(wù)就是按照編制好的細目表抽取試題組卷。抽取方法可采用查詢后抽取的方式進行操作,即組卷系統(tǒng)從題庫中查詢符合細目表要求的試題作為備選,以不重復(fù)考核知識點為原則隨機抽取試題組卷。當(dāng)題庫按照細目表完成試題抽取任務(wù)后,輸出并打印試卷,組卷完成。如果在抽取試題過程中發(fā)現(xiàn)沒有滿足某些屬性要求的試題,可以局部調(diào)整細目表后重新組卷。
三總結(jié)
基于命題細目表的二階段組卷策略有效地降低了隨機搜索組卷策略和回溯算法組卷策略在搜索試題時的盲目性,大幅度提高了組卷的成功率;同時,該算法還可以根據(jù)命題細目表快速搜索試題并組卷,有利于大規(guī)模計算機化考試和網(wǎng)絡(luò)考試,這是遺傳算法組卷策略所不能做到的,因為其需要進行大規(guī)模的并行計算工作。
本組卷策略的優(yōu)勢在于,它是基于多維命題細目表構(gòu)建而成的,可以很好地保證試卷的難度控制和考核目標(biāo)分布,有利于提高試卷的效度,只要保證了題庫試題的容量和多樣性,完全可以命制出具有較高專家水平的試卷。而且,第一階段制作的細目表可以重復(fù)利用,使用同一雙向細目表可以命制不同的試卷,因此可以提高題庫的使用效率。同時,對不同的課程,可定制不同的細目表要求,滿足用戶多樣化需求。總之,該組卷策略符合現(xiàn)代考試的特點,是一種非常實用的組卷技術(shù)。
本組卷策略在計算機技術(shù)方面的優(yōu)勢在于,抽取題目過程與制作細目表過程可同時進行,提高計算機的并行效率。同時,在計算機的空閑時間也可執(zhí)行制作細目表的操作,提高了計算機的使用效率。最后,本組卷策略僅需使用重復(fù)查詢的算法即可實現(xiàn)滿意的組卷結(jié)果,有效縮短了組卷時間,有利于實現(xiàn)大規(guī)模計算機化考試和網(wǎng)絡(luò)考試。
但是,執(zhí)行本組卷策略時還應(yīng)注意,其對題庫中題目多樣性的要求較高,理論上,命題細目表中的任意位置都需有符合屬性要求的試題才可較好地完成組卷過程。此外,由于目前國家大型考試中無法施行試測,因此對試題的難度只能使用專家估計的方式進行,避免入庫試題屬性的主觀性是比較困難的,如果某些試題的預(yù)估屬性不夠客觀,組卷的合理性就會受到影響,因此在實際操作中,采用多位專家獨立預(yù)估并取平均值的方式可以盡量減少這種主觀性。最后,本組卷策略仍有改進的余地,例如,由于分值較高的題目具有難度相對較大、考核目標(biāo)相對較高等特點,對難度、考核目標(biāo)的分布概率可以進行相應(yīng)調(diào)整,可使組卷更加科學(xué)、合理等。