毛秀珍

(四川師范大學(xué) 教育科學(xué)學(xué)院, 四川 成都 610066)

1 預(yù)備知識

認(rèn)知診斷理論是基于項(xiàng)目反應(yīng)理論的新一代測量理論.它通過分析學(xué)生的作答反應(yīng)獲得學(xué)生知識結(jié)構(gòu)中優(yōu)勢與不足的診斷信息,在教育實(shí)踐中發(fā)揮著重要作用.一方面,根據(jù)認(rèn)知診斷理論分析的屬性層級關(guān)系編制測驗(yàn)?zāi)艽蟠筇岣邷y驗(yàn)的信度和效度；另一方面,根據(jù)屬性層級關(guān)系分析的學(xué)習(xí)之路能為選取快速有效的學(xué)習(xí)方法和教學(xué)策略提供指導(dǎo).因此,認(rèn)知診斷理論得到了大量的研究與實(shí)踐[1-4].一般而言,認(rèn)知診斷評估包含以下2個步驟.第一,從認(rèn)知心理學(xué)角度分析學(xué)生作答項(xiàng)目時采用的知識和技能.第二,根據(jù)心理計(jì)量學(xué)模型擬合測驗(yàn)反應(yīng),據(jù)此推論被試的知識狀態(tài)和項(xiàng)目特征.由此可見,認(rèn)知診斷模型是認(rèn)知診斷研究與應(yīng)用的基礎(chǔ).

到目前為止,研究者提出了大量認(rèn)知診斷模型.D. Bolt[5]將認(rèn)知診斷方法劃分為4個廣義的類別：潛在類別模型、連續(xù)潛在特質(zhì)模型、基于貝葉斯網(wǎng)絡(luò)的認(rèn)知診斷模型、規(guī)則空間方法及其變式:屬性層級方法.特別地,“確定性輸入,噪音‘與’門”模型(DINA)模型和“噪音輸入,確定性‘與’門”模型(NIDA)模型屬于潛在類別模型[6].首先,DINA模型假設(shè)測驗(yàn)要求的屬性之間不具有補(bǔ)償關(guān)系,并用猜測和失誤參數(shù)模擬作答過程的隨機(jī)因素,即si表示當(dāng)被試掌握項(xiàng)目i考查的所有屬性時錯誤作答項(xiàng)目的概率;表示當(dāng)被試至少有一個項(xiàng)目i考查的屬性沒有掌握時正確作答項(xiàng)目i的概率.于是,其項(xiàng)目反應(yīng)函數(shù)表示為

P(Xij=1|αj,si,gi)=

(1)

(1)式中αj=(αj1,αj2,…,αjK)為被試j的知識狀態(tài)或稱為屬性掌握模式.如果他(她)掌握屬性i,則αji=1,否則αji=0.另外

qik(i=1,2,….N,k=1,2,…,K)為QN×K矩陣的元素,N為測驗(yàn)包含的項(xiàng)目個數(shù),K等于測驗(yàn)考查的屬性個數(shù).qik只取1或0,如果項(xiàng)目i考查屬性k,則qik=1,否則qik=0.DINA模型可以區(qū)分同一被試在包含相同屬性的不同項(xiàng)目上的反應(yīng).然而對每個項(xiàng)目,它只能將所有被試的作答情況分為兩類.當(dāng)被試掌握項(xiàng)目i考查的所有屬性時ηij=1,其正確作答項(xiàng)目的概率為1-si;如果被試j至少有一個項(xiàng)目i考查的屬性沒有掌握,則其正確作答項(xiàng)目i的概率為gi.因而,DINA模型不能精細(xì)地區(qū)分不同屬性掌握模式的被試正確作答同一項(xiàng)目的概率,降低了項(xiàng)目的區(qū)分度[7].

其次,NIDA模型通過對每一屬性k分別定義猜測參數(shù)gk和失誤參數(shù)sk,并假設(shè)屬性運(yùn)用滿足局部獨(dú)立性,建立項(xiàng)目反應(yīng)函數(shù)如下

P(Xij=1|αj,sk,gk)=

(2)

于是,NIDA模型能區(qū)分不同屬性掌握模式的被試對同一項(xiàng)目的作答概率,提高了項(xiàng)目的區(qū)分能力.但是,NIDA模型假設(shè)項(xiàng)目特征完全決定于其所考察的屬性,忽視了包含相同屬性的不同項(xiàng)目之間的差異[7],從而使得同一被試正確作答包含相同屬性的不同項(xiàng)目的概率相等.

另外,文獻(xiàn)[8]介紹了規(guī)則空間方法(RSM).該方法分為特征提取和統(tǒng)計(jì)分類2個階段[8].第一階段包括以下5個步驟：首先,領(lǐng)域?qū)＜彝ㄟ^分析解題過程中的認(rèn)知結(jié)構(gòu)形成關(guān)于屬性的假設(shè)；其次,根據(jù)屬性的定義對題目考查的屬性進(jìn)行編碼,建立屬性與題目之間對應(yīng)關(guān)系的Q矩陣；再次,運(yùn)用Q矩陣分析鄰接矩陣A、可達(dá)矩陣R和理想知識狀態(tài)矩陣E；第四,根據(jù)矩陣E和Q計(jì)算理想作答反應(yīng)模式；最后,建立規(guī)則空間并將理想作答反應(yīng)和實(shí)際作答反應(yīng)映射為規(guī)則空間的點(diǎn).第二階段借助多元統(tǒng)計(jì)或貝葉斯方法實(shí)現(xiàn)被試知識狀態(tài)的診斷分類.該方法有嚴(yán)密的理論基礎(chǔ),涉及項(xiàng)目反應(yīng)理論(IRT)和多元統(tǒng)計(jì)理論.但它需要多個步驟才能完成對屬性掌握概率的分析,同時每一步的結(jié)果都會影響下一步運(yùn)算和最終結(jié)果,從而增加診斷誤差.

鑒于上述常用認(rèn)知診斷方法的不足,本文將在模型擴(kuò)展、模型求解和模型效能3個方面做一些探索.

2 屬性掌握概率認(rèn)知診斷模型的建立和參數(shù)估計(jì)方法

2.1屬性掌握概率認(rèn)知診斷模型(AMPM) 本文定義屬性掌握概率為：對考察屬性k的N個項(xiàng)目,假設(shè)被試正確作答項(xiàng)目中該屬性部分的項(xiàng)目個數(shù)為n,則他正確作答屬性k的頻率為n/N.當(dāng)項(xiàng)目個數(shù)N趨于無限大時,頻率的穩(wěn)定值定義為屬性k的掌握概率,它在測驗(yàn)中體現(xiàn)為正確作答屬性k的概率.

假設(shè)測驗(yàn)一共考察K個屬性,則被試j的屬性掌握概率模式表示為K維向量

MPj=(MPj1,MPj2,…,MPjk,…MPjK),

其中MPjk(k=1,2,…,K)取值于[0,1],表示被試j掌握第k個屬性的概率.在Q矩陣前提下,定義失誤參數(shù)si表示被試因失誤錯誤作答項(xiàng)目i的概率,即

猜測參數(shù)gi為被試因猜測等因素正確作答項(xiàng)目i的概率,即

si和gi不隨被試的不同而發(fā)生變化.假設(shè)屬性運(yùn)用滿足局部獨(dú)立性,AMPM模型表示為

(3)

該模型綜合了被試的知識結(jié)構(gòu)、項(xiàng)目特征和作答過程等信息擬合項(xiàng)目反應(yīng).當(dāng)屬性掌握概率取1或0時,AMPM和DINA模型一致.與DINA、NIDA和RSM相比,AMPM具有以下幾個優(yōu)點(diǎn)：1) 它能區(qū)別考察相同屬性的不同項(xiàng)目的特征；2) 它能區(qū)分不同屬性水平的被試對同一項(xiàng)目的作答概率；3) 屬性掌握概率取值于區(qū)間[0,1],能恰當(dāng)表征應(yīng)用知識的能力；4) 它以DINA模型為基礎(chǔ),不增加模型參數(shù)的情況下,直接分析屬性掌握概率,為分析被試的知識狀態(tài)提供了一種新的視角和方法；5) 參數(shù)估計(jì)方法簡單,具有實(shí)踐可行性.

2.2參數(shù)估計(jì)

2.2.1方法和工具 馬爾科夫鏈蒙特卡洛(MCMC)算法簡單,不僅能描述具有隨機(jī)性質(zhì)事物的特點(diǎn),而且收斂速度與問題的維數(shù)無關(guān),從而在估計(jì)心理計(jì)量模型參數(shù)中得到了廣泛運(yùn)用[9-10].于是,本文運(yùn)用MCMC方法并采用M-H吉布斯算法[9]模擬抽樣,以MATLAB為工具,自編程序進(jìn)行參數(shù)估計(jì).

2.2.2模型參數(shù)的先驗(yàn)分布 文獻(xiàn)[10]在估計(jì)模型參數(shù)時均假設(shè)項(xiàng)目參數(shù)服從貝塔分布[11].另外,當(dāng)樣本量很大時,先驗(yàn)分布的選擇不會對結(jié)果產(chǎn)生很大影響.于是,本文假設(shè)項(xiàng)目參數(shù)的先驗(yàn)分布服從4-Beta(γ,η,a,b)分布,即si～4-Beta(γs,ηs,as,bs)和gi～4-Beta(γg,ηg,ag,bg).

借鑒文獻(xiàn)[12-13],本文假設(shè)屬性掌握概率向量服從多變量廣義貝塔(MGB)分布.假設(shè)X0,X1,…,XΓ是獨(dú)立取自伽馬分布的隨機(jī)變量,即

Xi～Γ(αi,βi),i=0,1,2,…Γ.

通過變換Y0=X0,

Yi=Xi/(X0+Xi),i=0,1,2,…,Γ,

得到一組隨機(jī)變量Y0,Y1,…,YΓ.文獻(xiàn)[12]證明,隨機(jī)變量(Y0,Y1,…,YΓ)服從參數(shù)為α0,α1,λ1,…,αi,λi,…,αΓ,λΓ的MGB分布,即

(Y0,Y1,…,YΓ)～

其中λi=βi/β0,i=1,2,…,Γ.(Y0,Y1,…,YΓ)的聯(lián)合概率密度函數(shù)為

0≤yi≤1.

(4)

2.2.3MCMC算法 將各被試參數(shù)和項(xiàng)目參數(shù)分別組塊,按(MP1,MP2,…,MPJ,s1,g1,s2,g2,…,sI,gI)順序抽取參數(shù).具體地,第t次迭代的MCMC算法如下.

(5)

以及

去的路上，四個人說說笑笑，回來的路上，四個人都有點(diǎn)沉默。之前，只是對未來很茫然，這一刻，卻切切實(shí)實(shí)全轉(zhuǎn)化成了壓力。

項(xiàng)目參數(shù)的接受概率為

(6)

3 模擬研究

模擬研究的目的是驗(yàn)證MCMC方法估計(jì)模型參數(shù)的準(zhǔn)確性和穩(wěn)定性.

3.1方法

3.1.1反應(yīng)數(shù)據(jù)的產(chǎn)生 首先,根據(jù)文獻(xiàn)[4]中20個包含8個屬性的分?jǐn)?shù)減法項(xiàng)目,確定模擬研究的Q矩陣,見表1.其次,根據(jù)文獻(xiàn)[10],確定項(xiàng)目參數(shù)服從4-Beta(1,2,0,0.25)分布.相應(yīng)地,產(chǎn)生20組隨機(jī)數(shù)作為項(xiàng)目參數(shù),見表2中s和g對應(yīng)的列.

然后,隨機(jī)確定MGB(2,7.5,1,5,1,8,1,7,1,5.5,1,6,1,13,1,9,1)作為屬性掌握概率向量的分布,產(chǎn)生1 000個被試的屬性掌握概率向量.

最后,固定Q矩陣、項(xiàng)目參數(shù)以及被試參數(shù)的分布,一共模擬生成26個數(shù)據(jù)集.每個數(shù)據(jù)集包含1 000名被試在考察8個屬性的20個項(xiàng)目上的反應(yīng).

3.1.2參數(shù)估計(jì) 隨機(jī)產(chǎn)生均勻分布的隨機(jī)數(shù)作為模型參數(shù)的初始值.每次估計(jì)迭代5 000次,采用M-H吉布斯算法模擬抽樣,計(jì)算最后3 500次抽樣的平均數(shù)作為參數(shù)的估計(jì)值.

表 1 模擬研究的項(xiàng)目結(jié)構(gòu)Q矩陣

3.2結(jié)果

表 2 模擬研究中項(xiàng)目參數(shù)的結(jié)果

當(dāng)參數(shù)取值于[0,1]且MAD小于0.1時,估計(jì)結(jié)果較好[15].因此,從表3可知,被試能力估計(jì)的準(zhǔn)確性和穩(wěn)定性較好.另外,被試參數(shù)中估計(jì)最好的是屬性a7,較差的是屬性a6、a2和a5.分析Q矩陣,發(fā)現(xiàn)考察屬性a7的項(xiàng)目最多,并且有2個項(xiàng)目只考察屬性a7.考察屬性a6的項(xiàng)目最少,涉及屬性a6的2個項(xiàng)目分別考察了3個和4個屬性,且包含了屬性a2、a5和a4.可見,項(xiàng)目考察的屬性個數(shù)和考察每個屬性的項(xiàng)目個數(shù)會影響屬性估計(jì)的準(zhǔn)確性.

4 實(shí)證研究

4.1數(shù)據(jù)描述實(shí)證研究采用文獻(xiàn)[16]中40個分?jǐn)?shù)減法項(xiàng)目的反應(yīng)數(shù)據(jù),Q矩陣見表4.他們將40個項(xiàng)目對等地分成2組平行測驗(yàn),各有536名學(xué)生參加測驗(yàn).然后,他們根據(jù)A、B的2種解題策略,分別對2組學(xué)生的反應(yīng)做了分析.根據(jù)方法B,文獻(xiàn)[16]表明2組中分別有20名和14名學(xué)生沒有被分類到任何一個理想屬性掌握模式.因此2個數(shù)據(jù)集分別包含516名和522名學(xué)生的屬性掌握概率.

表 3 模擬研究中被試參數(shù)的結(jié)果

表 4 20個分?jǐn)?shù)減法項(xiàng)目的Q矩陣

本文利用AMPM分析其中516名學(xué)生的屬性掌握概率.

4.2參數(shù)估計(jì)除了屬性掌握概率分布的超參數(shù)外,參數(shù)估計(jì)的方法和步驟與模擬研究一致.根據(jù)多變量廣義貝塔分布的特點(diǎn)和數(shù)學(xué)教師對這8個知識屬性的先驗(yàn)判斷假設(shè)屬性掌握概率的先驗(yàn)分布為MP～MGB(0.5,0.6,0.9,1.5,1.3,1.1,0.8,0.6,0.2,1,0.7,1.1,0.6,0.9,1.4,1.7).

4.3結(jié)果10次獨(dú)立估計(jì)的項(xiàng)目參數(shù)的平均值和標(biāo)準(zhǔn)差,見表5.項(xiàng)目參數(shù)取值都小于或等于0.23,模型擬合較好.參數(shù)估計(jì)與文獻(xiàn)[10]的結(jié)果一致.幾乎所有的標(biāo)準(zhǔn)差都小于0.01,結(jié)構(gòu)參數(shù)的估計(jì)穩(wěn)定.

對被試參數(shù),采用2個指標(biāo)考察AMPM與文獻(xiàn)[16]中運(yùn)用RSM方法所得結(jié)果的一致性,見表6.第一,對每個屬性掌握概率,計(jì)算AMPM和RSM分析結(jié)果的相關(guān)系數(shù)r.第二,根據(jù)AMPM的估計(jì)結(jié)果,以0.5作為臨界值將被試屬性掌握概率劃分為掌握和未掌握.計(jì)算AMPM與RSM在每個屬性上的分類一致比率p,即對所有被試在各個屬性上同時被判斷為掌握和未掌握的人數(shù)比率.

實(shí)證分析表明,AMPM和RSM有關(guān)屬性掌握概率和屬性掌握與否的結(jié)果都具有較高的一致性.對每個屬性,屬性掌握概率的相關(guān)系數(shù)和屬性分類一致比率都大于0.82,其中,屬性a6和a7的分類一致性稍低于其它屬性.根據(jù)項(xiàng)目Q矩陣,平均每個項(xiàng)目考察3.25個屬性.分別有3個項(xiàng)目考察屬性a6和a7,并且這些項(xiàng)目都考察了3個以上的屬性.而考察其它屬性的項(xiàng)目都多于3個.可見,項(xiàng)目考察屬性的個數(shù)與考察各屬性的項(xiàng)目個數(shù)都會影響2種方法分析結(jié)果的一致性.這與模擬研究結(jié)論一致.

5 結(jié)論與討論

表 5 分?jǐn)?shù)減法數(shù)據(jù)中項(xiàng)目參數(shù)的估計(jì)值和標(biāo)準(zhǔn)差

表 6 AMPM和RSM在各屬性上的相關(guān)和分類一致性

5.1研究結(jié)論已有診斷方法大都假設(shè)知識的掌握和應(yīng)用之間是確定性關(guān)系,即一旦掌握某知識,就能正確作答該知識.實(shí)際上,掌握一個知識點(diǎn)比正確應(yīng)用該知識點(diǎn)更容易.正確應(yīng)用知識與掌握知識的熟練程度相關(guān).因此,本文從分析屬性掌握概率出發(fā),擴(kuò)展了診斷模型的研究.

首先,基于RSM和DINA模型,建構(gòu)了屬性掌握概率的認(rèn)知診斷模型.該模型形式簡潔,符合實(shí)際.它不僅能區(qū)別考察相同屬性的不同項(xiàng)目的特征,還能區(qū)分所有被試對同一項(xiàng)目的作答概率,克服了已有模型的不足.另外,根據(jù)屬性掌握概率,依據(jù)一定標(biāo)準(zhǔn)還能獲得被試的知識結(jié)構(gòu).但該模型還存在一些不足之處,例如,作答概率的估計(jì)容易受到結(jié)構(gòu)參數(shù)的影響；當(dāng)項(xiàng)目包含的屬性過多時,模型擬合度降低.其次,模擬研究表明,MCMC方法估計(jì)項(xiàng)目參數(shù)的準(zhǔn)確性和穩(wěn)定性較好.最后,實(shí)證研究表明AMPM與RSM的結(jié)論比較一致,從而為模型的信度和效度提供了依據(jù).

5.2討論

5.2.1模型比較 認(rèn)知診斷通過對測驗(yàn)結(jié)構(gòu)和作答反應(yīng)的分析,不僅獲得每個學(xué)生整體能力的高低,而且能把握他們具備的知識結(jié)構(gòu)和能力水平,并建構(gòu)知識獲得的最佳途徑.隨著認(rèn)知診斷理論的興起,以模型為基礎(chǔ)的認(rèn)知診斷方法層出不窮.診斷模型在追求形式簡潔和高診斷性能的平衡中得到豐富和發(fā)展.實(shí)際上,模型與數(shù)據(jù)的擬合程度是選擇與應(yīng)用模型的關(guān)鍵問題.因此,不同模型的比較是今后研究的一個方向.

5.2.2探索多級計(jì)分項(xiàng)目的認(rèn)知診斷模型 目前大部分診斷模型均基于二級計(jì)分項(xiàng)目,適用于多級計(jì)分項(xiàng)目的認(rèn)知診斷模型還比較少.實(shí)際上,各類型考試均基于多種形式的項(xiàng)目并且大部分屬于多級計(jì)分項(xiàng)目.因此,探索適用于多級計(jì)分項(xiàng)目的認(rèn)知診斷模型或在已有模型的基礎(chǔ)上擴(kuò)展適合多級計(jì)分項(xiàng)目的認(rèn)知診斷模型具有重要意義.

5.2.3認(rèn)知診斷模型的實(shí)踐應(yīng)用 目前已發(fā)展了多種認(rèn)知診斷方法,國外還開展了廣泛的實(shí)踐研究.針對國內(nèi)壞境,大部分研究都將規(guī)則空間方法用于分析實(shí)際問題并得到比較滿意的結(jié)果.因此,未來研究有必要檢驗(yàn)其它認(rèn)知診斷模型的實(shí)踐效應(yīng).

[1] Embretson S E. A multidimensional latent trait model for measuring learning and change[J]. Psychometrika,1991,56(3):495-515.

[2] Gierl M J, Zheng Y, Cui Y. Using the attribute hierarchy method to identify and interpret cognitive skills that produce group differences[J]. J Educational Measurement,2008,45(1):65-89.

[3] Henson R, Roussos L, Douglas J, et al. Cognitive diagnostic attribute-level discrimination indices[J]. Applied Psychological Measurement,2008,32(4):275-288.

[4] Tatsuoka K K. Cognitive Assessment: an Introduction to the Rule Space Method[M]. New York:Taylor & Francis Group,2009.

[5] Bolt D. The present and future of IRT-based cognitive diagnostic models (ICDMs) and related methods[J]. J Educational Measurement,2007,44(4):377-383.

[6] Junker B W, Sijtsma K. Cognitive assessment models with few assumptions, and connections with nonparametric item response theory[J]. Applied Psychological Measurement,2001,25(3):258-272.

[7] Templin J L, Henson R A, Templin S E. Robustness of hierarchical modeling of skill association in cognitive diagnosis models[J]. Applied Psychological Measurement,2008,32(7):559-574.

[8] 余娜,辛濤. 規(guī)則空間模型的簡介與述評[J]. 考試研究,2007(9):14-19.

[9] Patz R J, Junker B W. A straightforward approach to Markov Chain Monte Carlo methods for item response models[J]. J Educational and Behavioral Statistics,1999,24(2):146-178.

[10] de la Torre J, Douglas J. Higher-order latent trait models for cognitive diagnosis[J]. Psychometrika,2004,69(3):333-353.

[11] 張普能,李亮. 多線性分?jǐn)?shù)次積分算子在Herz型Hardy空間中的有界性[J]. 四川師范大學(xué)學(xué)報(bào):自然科學(xué)版,2013,36(5):721-725.

[12] 任靜靜,徐艷艷,陳廣貴. 學(xué)習(xí)理論中的MLP方法[J]. 四川師范大學(xué)學(xué)報(bào):自然科學(xué)版,2013,36(2):247-251.

[13] Tatsuoka C. Data analytic methods for latent partially ordered classification models[J]. J Royal Statistical Society,2002,C51(3):337-350.

[14] Gleman A, Rubin D B. Inference from iterative simulation using multiple sequences[J]. Statistical Science,1992,7(4) 457-511.

[15] 李峰. 無錨題測驗(yàn)的鏈接-規(guī)則空間模型的途徑[D]. 北京:北京師范大學(xué),2009.

[16] Tatsuoka K K. Architecture of knowledge structures and cognitive diagnosis: a statistical pattern recognition and classification approach[C]//Nichols P D, Chipman S F, Brennan R L. Cognitively Diagnostic Assessment. Hillsdale:Erlbaum,1995:327-359.