(江西師范大學心理學院, 江西省心理與認知科學重點實驗室, 南昌 330022)

1 引言

認知診斷理論(Cognitive diagnosis theory)是認知心理學與心理計量學相結(jié)合的產(chǎn)物, 通常是在心理計量學模型中融合了相關認知變量來實現(xiàn)對被試的診斷及分類。目前心理測量學者們開發(fā)了 60多種認知診斷計量模型(Fu & Li, 2007), 比較成熟的有 Tatsuoka (1995, 2009) 的規(guī)則空間模型(Rule Space Model), Junker和 Sijtsma (2001)的 DINA 模型, Leighton, Gierl和Hunka (2004)以及Leighton和Gierl (2007)的屬性層次模型(Attribute Hierarchy Model), Hartz, Roussos和Stout (2002)的融合模型(Fusion Model), von Davier (2005)的GDM (general diagnosis model)等等。

在實現(xiàn)診斷的過程中, 有的認知診斷模型需要用到屬性層級關系(attribute hierarchy, Leighton,Gierl & Hunka, 2004), 如RSM、AHM等, 本文將這一類模型稱為“含層級關系的認知診斷模型”; 還有許多模型在實現(xiàn)診斷過程中無需用到屬性層級關系, 如DINA模型、Fusion模型、GDM等, 將之稱為“不含層級關系的認知診斷模型”?！昂瑢蛹夑P系的認知診斷模型”由于充分利用了認知屬性間的邏輯關系, 從而大大簡化(減少)了可能的屬性掌握模式, 但前提是要能準確界定屬性間的層級關系;“不含層級關系的認知診斷模型”在實現(xiàn)診斷時并不考慮屬性間的關系, 而是把所有可能的屬性掌握模式均囊括在內(nèi), 算法上顯得相對復雜, 但優(yōu)點是無需構(gòu)建屬性間的層級關系。

在北京、天津和深圳的基礎教育階段學科認知診斷實踐中, 我們發(fā)現(xiàn)認知屬性(cognitive attribute)間的層級關系界定比較困難, 有時甚至是有豐富教學經(jīng)驗的專家對屬性間層級關系的認定也存在較大分歧(甚至專門從事心理測量的專家也是如此),尤其是在文科領域中(如語文、政治、歷史等), 認知屬性間的關系往往是錯綜復雜。因此, 在實踐中,由于認知診斷工作的高度復雜性, 在很多領域中,人們很難對屬性層級關系做出科學的標定(也很難判斷所標定的屬性層級關系的科學性程度到底有多高), 那么在這種情況下, 人們該如何在眾多的認知診斷模型中來進行選擇呢？如果屬性層級關系認定較難或拿不準時, 該如何選用模型呢？屬性層級關系如果被錯誤界定, 它對診斷的影響如何？各認知診斷模型對屬性層級關系的依賴程度如何？等一系列涉及認知診斷模型比較與選用的基礎性研究問題是本研究擬探討的問題。

查閱國內(nèi)外相關文獻, 我們發(fā)現(xiàn), 關于認知診斷模型的比較及選用的基礎性研究國內(nèi)外均非常薄弱。并且對于認知診斷模型的比較研究一般均是假設屬性層級關系無誤情況下進行的(如陳德枝,戴海琦, 趙頂位, 2009; 孫佳楠, 張淑梅, 辛濤, 包玨, 2011; 等), 但關于屬性層級關系有誤(即屬性層級關系被錯誤界定)情況下, 不同認知診斷模型的比較研究國內(nèi)外均未見報道。在實際工作中, 由于屬性間的關系錯綜復雜, 屬性層級關系的認定也比較困難, 從而導致屬性間層級關系被錯誤界定的現(xiàn)象時有發(fā)生(Tatsuoka, 2009)。因此, 本研究以屬性層級關系為切入點, 重點考察不同認知診斷模型對屬性層級關系的依賴程度以及屬性層級關系的錯誤界定對認知診斷模型診斷正確率的影響, 這對于實際運用者在認知診斷模型比較及選用上具有重要的參考價值。

2 研究設計

2.1 研究內(nèi)容

本研究主要開展了三項研究：研究一是考察屬性層級關系正確界定情況下, 各認知診斷模型診斷正確率的比較; 研究二主要考察屬性層級關系錯誤界定情況下, 各認知診斷模型診斷正確率的比較;研究三是屬性層級關系正、誤兩種情況下各認知診斷模型的判準率的變化/降幅比較, 以充分考察各認知診斷模型對屬性層級關系的依賴程度, 從而為實際應用者選用模型提供參考。

2.2 涉及的認知診斷模型

DINA模型是當前應用較為廣泛的認知診斷模型(DeCarlo, 2011), 大量研究(Cheng, 2008; Rupp &Templin, 2008)表明該模型具有較高的診斷正確率,因此本研究中“不含層級關系的認知診斷模型”主要考察DINA模型; “含層級關系的認知診斷模型”主要涉及RSM、AHM (本研究采用AHM中的A方法, 簡記為 AHM_A)、孫佳楠等(2011)的廣義距離法(GDD)、以及我們在DINA模型基礎上改進的含階層關系的 DINA模型, 稱為 DINA_HC。DINA_HC模型是在DINA模型的EM算法參數(shù)估計的過程中, 將所有不符合屬性階層關系的掌握模式的先驗概率設定為 0即可, 這樣在EM迭代過程中被試的掌握模式均符合屬性層級關系, 因此DINA_HC模型也需事先界定屬性間的層級關系。

本文之所以選取以上五種認知診斷模型進行比較, 一是這幾個模型具有相似的數(shù)理結(jié)構(gòu), 均屬于非補償(noncompensatory)、連接型(disjunctive)的認知診斷模型; 二是國內(nèi)外關于這些模型的討論較多。當然對于其它更多類型認知診斷模型的比較還有待未來進一步探討。

2.3 涉及的屬性層級關系類型

本研究采用Leighton等人(2004)提出的四種基本的屬性層級關系結(jié)構(gòu)—— 線型、收斂型、分支型和無結(jié)構(gòu)型, 詳見附錄1。

2.4 評價指標

采用屬性邊際判準率(Average Attribute Match Ratio, AAMR)、模式判準率(Pattern Match Ration,PMR)二個指標為評價指標：

其中

N

為被試總數(shù)，

N

表示被試

i

的整個屬性掌握模式是否判對, 判對為1, 判錯為0;

K

為屬性個數(shù),

N

表示被試

i

的屬性

k

是否判對,判對為1, 判錯為0。

3 研究一：屬性層級關系正確情況下各認知診斷模型的屬性判準率比較

3.1 測驗Q矩陣的設計

分別模擬附錄1中四種屬性層級關系的測驗結(jié)構(gòu), 根據(jù)屬性間的層級關系, 我們可以導出每種層級關系下所有可能的測驗項目考核模式(即簡化 Q矩陣), 它們分別為6種、7種、15種和32種項目考核模式, 見圖1。

為了盡量保證不同屬性層級關系測驗項目數(shù)基本一致, 我們讓四種簡化Q矩陣分別在測驗中重復出現(xiàn)5次、5次、2次和1次, 這樣四種結(jié)構(gòu)的屬性層級關系的測驗長度分別30、35、30和32題, 被試樣本容量為1000人。

3.2 被式作答反應矩陣模擬

(1)被試屬性掌握模式真值。根據(jù)屬性層級關系,可以得出四種基本結(jié)構(gòu)層級關系下被試掌握模式的種類分別為7種、8種、16種和33種(均比項目考核模式多了一個全為 0的模式), 分別將這幾種掌握模式平均分配給 1000名被試, 對于不能均分的, 隨機指派給被試。

(2)被試作答反應矩陣。根據(jù)被試掌握模式真值及2.1部分中的測驗Q矩陣設計, 在沒有任何猜測及失誤的情況下, 模擬被試在測驗項目上的理想作答; 然后采用 Leighton等人(2004)的模擬方法,在理想作答基礎上, 模擬作答反應失誤概率(即slip)分別為 2%, 5%, 10%的情況下被試的作答反應矩陣。

(3)每種測驗情景均實驗30次。

圖1 四種屬性層級關系所對應的簡化Q矩陣

表1 五個認知診斷模型的屬性判準率(30次實驗平均)

3.3 研究結(jié)果

表1和圖2是在不同屬性層級關系和不同失誤概率(Slip)下, 五個認知診斷模型的屬性邊際判準率(AAMR)和模式判率(PMR)結(jié)果。

從表1可知, 五個認知診斷模型中, 不論是屬性邊際判準率(AAM)還是模式判準率(PMR), RSM和AHM兩個模型相對較差(尤其是RSM); GDD、DINA_HC和DINA三個模型的判準率較高, AAMR和PMR基本上在95%和90%以上, 這三個模型相比較而言, DINA_HC和DINA較GDD稍好一些。同時, 加了層級關系的 DINA模型(即 DINA_HC)與不加層級關系的 DINA模型對屬性判準率(含AAMR和PMR)并無本質(zhì)上改善。表1中還可知, 被試作答的失誤率(slip)越大, 五種模型的診斷正確率越低。

圖2說明, 四種層級關系中, 線型層級關系下模型的判準率最高, 其次分別是收斂型、分支型和無結(jié)構(gòu)性。這說明屬性間存在層級關系的診斷正確率比無層級關系的要高, 屬性間層級關系越密切的,其診斷正確率也越高。

綜上, 研究者在實際選用模型時, 如果屬性階級關系能正確界定(或?qū)傩蚤g層級關系比較容易界定), 且要保證診斷正確率(含 AAMR和 PMR)在90%以上, 建議采用DINA、DINA_HC或GDD三個認知診斷模型進行診斷分析, 而不宜采用 RSM和AHM。

圖2 不同屬性層級關系下認知診斷模型判準率比較(平均的slip)

4 研究二：屬性層級關系錯誤界定情況下各認知診斷模型的判準率比較

為了更為細致分析屬性層級關系對各認知診斷模型判準率的影響, 我們在研究二中重點討論當屬性間的層級關系被錯誤界定的情況下, 各認知診斷模型判準率, 從而為實際應用者在模型選用上進一步提供參考和借鑒。

研究二中, 被試得分矩陣、測驗Q矩陣和被試掌握模式的模擬均與研究一相同, 但在實現(xiàn)對被試的認知診斷過程中, RSM、AHM、GDD和DINA_HC均采用被錯誤界定的屬性層級關系進行診斷分析(DINA模型在診斷中未用到層級關系), 從而進一步考察屬性層級關系被錯誤界定對這幾類模型診斷正確率的影響。

4.1 測驗Q矩陣的設計與被試作答反應矩陣模擬

與研究一相一致。但在模擬作答時, 為便于說明問題及簡化實驗, 研究二中的失誤的概率Slip只討論一種情況, 即Slip=0.05的情況。

4.2 屬性層級關系錯誤的類型及模擬

主要模擬分支型、收斂型及線性三種屬性層級關系被錯誤界定。為便于說明問題, 研究中屬性層級關系的錯誤類型主要有“屬性間的層級關系被顛倒”、“有層級關系的變有無層級關系”, “無層級關系的變?yōu)橛袑蛹夑P系”, 以及“屬性層級關系錯亂”等幾種常見錯誤類型(見附錄 1); 同時模擬時, 并不改變原屬性層級關系的類型：即原來是線性的屬性層級關系, 模擬有誤的屬性層級關系仍為線性; 原來是分支型的屬性層級關系, 模擬有誤的屬性層級關系仍為分支型, 以此類推?，F(xiàn)對附錄1中“線型”和“分支型”為例加以說明：(1)線型：A1至A6共6個屬性呈線型關系, “錯誤A型”中的錯誤發(fā)生在A5和A6上, “A5以A6為先決條件(即只有掌握A5才有可能掌握A6)”被錯誤地界定為“A6以A5為先決條件”, 其余屬性間的關系無誤; “錯誤B型”中的錯誤發(fā)生在A4和A5上, “A4以A5為先決條件”被錯誤的界定為“A5以A4為先決條件”, 其余屬性間的關系無誤。(2)分支型：A1至 A6共6個屬性呈分支型關系, “錯誤E型”中屬性A2與屬性A4有層級關系, 但被錯誤的界定為無層級關系且呈并列型,屬性A1與A4本無直接的層級關系, 被錯誤的界定為有直接的層級關系; “錯誤F型”是屬性A2與A4有層級關系, 與 A5和 A6無層級關系, 同時屬性A3與A5和A6有層級關系。但被錯誤的界定為：A2與A4無直接層級關系, 與A5和A6有層級關系, 屬性A3與A5和A6無層級關系。

由于不含層級關系的認知診斷模型在實現(xiàn)診斷過程中無需用到屬性層級關系, 而含層級關系的認知診斷模型則離不開屬性層級關系, 因此這些被錯誤界定的屬性層級關系被用于含層級關系的認知診斷模型的診斷過程中。比如：RSM、AHM、GDD及DINA_HC模型, 其理想掌握模式和反應模式均由錯誤界定的屬性層級關系導出/模擬, 并用于實現(xiàn)對被試的認知診斷。

4.3 研究結(jié)果

表2是屬性層級關系被錯誤界定情況下五個模型的判準率。表2中, 當屬性間層級關系被錯誤界定時, RSM、AHM和GDD三種診斷方法屬性判準率均非常不理想, AAMR不到80%, 而PMR也不到70%, 三種認知診斷模型的診斷正確率受層級關系準確性的影響較大; 相比較而言, DINA_HC模型的AAMR在95%以上, 而PMR也高達85%以上, 這說明 DINA_HC模型受屬性層級關系的影響不如RSM、AHM和GDD三個模型大。由于DINA模型在診斷過程中, 未應用到屬性間的層級關系, 因此它的判準率與研究一基本一致, AAMR和PMR均在95%以上。

表2還表明, 對于 RSM、AHM、GDD和DINA_HC四個模型, 屬性間層級關系被錯誤界定時, 線型層級關系下模型的診斷正確率最低, 其次是收斂型, 最后是分支型, 這一結(jié)果與研究一(即屬性間層級關系無誤情況下)完全相反, 這說明在錯誤界定層級關系前提下, 不同層級關系類型對模型的診斷正確率也有影響, 屬性間關系越為密切,則影響也顯得越大。

5 研究三：屬性層級關系正、誤情況下各認知診斷模型的判準率降幅比較

為了進一步細致分析屬性層級關系正誤對模型診斷正確率影響程度, 我們在研究一和研究二的基礎上, 比較了屬性層級關系正確情況下和錯誤情況下, 五個模型診斷正確率的降幅比較(見表 3及圖 3)。表 3和圖 3表明, GDD模型的降幅最大(AAMR的降幅最高達 47%, PMR最大降幅高達84%), RSM 和 AHM 其次(AAMR的最大降幅約44%, PMR最大降幅約70%), DINA_HC模型的降幅相對較小(AAMR的最大降幅約3%, PMR最大降幅約 14%), 這進一步表明 RSM、AHM、GDD和DINA_HC四個模型的診斷正確率均不程度地受屬性層級關系準確性的影響, 但對前三者的影響非常大, 對 DINA_HC的影響相對比較小, 而 DINA模型由于未使用屬性層級關系從而未受影響。

圖3還表明, 模型判準率的降幅還受屬性層級關系類型的影響, 即線型層級關系判準率的降幅(含AAMR和PMR)最大, 其次為收斂型, 最后為分支型。進一步說明, 在屬性層級關系正誤兩種情況下, 屬性間層級關系越密切, 其診斷正確率的降幅也越大。

綜上, 我們可看出, RSM、AHM、GDD和DINA_HC四個模型由于在實現(xiàn)診斷過程中均應用到了屬性間的層級關系, 因此它們的診斷正確率均會受屬性層級關系準確性的影響, 其中影響最大的是GDD、RSM和AHM三個模型, DINA_HC模型的影響相對比較小。而DINA模型由于在實現(xiàn)診斷過程中未應用到屬性層級關系, 因此它的診斷正確率未受影響。

因此研究者在實際應用時, 如果屬性層級關系難于界定(或懷疑被錯誤界定)時, 建議首選 DINA模型, 當然DINA_HC也可又進一步考慮使用。

6 研究結(jié)論

本研究主要是從屬性層級關系入手, 重點比較了幾種常用非補償型認知診斷模型的計量學特征(即診斷正確率), 研究發(fā)現(xiàn)：

6.1 當屬性層級關系無錯誤時

(1) RSM 和 AHM 兩個模型的診斷正確率(含AAMR和 PMR)相對較低, GDD、DINA_HC和DINA三個模型的診斷正確率(含 AAMR和 PMR)較高; 而 GDD、DINA_HC和 DINA三個模型中,DINA_HC和DINA較GDD稍好一些。

(2)被試作答的失誤率(slip)越大, 五個模型的診斷正確率均越低。

(3)四種基本的層級關系中, 線型層級關系下五個模型的判準率最高, 其次分別是收斂型、分支型和無結(jié)構(gòu)性。屬性間有層級關系的診斷正確率比無層級關系的要高, 屬性間層級關系越密切的, 其診斷正確率也越高。

6.2 當屬性層級關系有錯誤時

(1) RSM、AHM和GDD三種診斷方法屬性判準率均非常不理想, 且與屬性層級關系無錯誤情況下相比, 診斷正確率的降幅非常大, 這三個認知診斷受屬性層級關系的準確性的影響較大;DINA_HC模型受屬性層級關系的影響相對較小;而 DINA模型由于在診斷過程中未使用屬性層級關系, 因此DINA模型不受其影響。

(2)相比較而言, 線型層級關系下, RSM、AHM、GDD和DINA_HC四個模型的診斷正確率最低, 其次是收斂型, 最后是分支型, 這一結(jié)果與“屬性間層級關系無誤情況下”完全相反, 這表明在層級關系有誤的情況下, 不同的層級關系對模型的診斷正確率也有影響。

表2 屬性層級關系被錯誤界定情況下五個模型的判準率(Slip=0.05)

表3 屬性層級關系正、誤情況下模型判準率降幅比較(Slip=0.05)

圖3 屬性層級關系正誤兩種情況下判準率的降幅比較(Slip=0.05)

7 討論

7.1 關于本研究開發(fā)的DINA_HC模型

由于DINA模型在實現(xiàn)認知診斷的過程中未充分考慮認知屬性(cognitive attribute)間的邏輯關系即屬性層級關系(attribute hierarchy, Leighton, Gierl& Hunka, 2004), 因而有時會估計出不符合屬性邏輯關系的知識狀態(tài)(knowledge states), 從而進一步影響了該模型的可解釋性。本研究針對當前DINA模型的這一不足, 將DINA模型與屬性層級關系相結(jié)合, 開發(fā)了含屬性層級關系的 DINA模型, 即DINA_HC模型, 研究發(fā)現(xiàn)在屬性層級關系無誤情況下, DINA_HC模型具有較高的診斷正確率(優(yōu)于RSM和AHM, 略優(yōu)于GDD, 與DINA基本相當),且不會出現(xiàn)不符合屬性邏輯關系的知識狀態(tài)(knowledge states), 值得借鑒。

7.2 模型選用的討論

對于眾多的認知診斷模型, 實踐應用者該如何來選用模型呢？本文通過 Monte Carlo模擬研究,以屬性層級關系為視角, 對這一問題進行了初步探討。具體模擬了兩種實驗條件下(屬性層級關系的正與誤), 對五個認知診斷模型進行了比較, 從而為應用者提供參考與借鑒。我們認為一個診斷正確率低的認知診斷模型(CDM)不能被認為是一個優(yōu)良的模型, 即從計量學本身而言, 模型就不具備優(yōu)良性能; 實際應用者應盡量選用具有優(yōu)良性能的CDM。通過研究我們認為：對于本文所討論的幾種非補償、連接型的認知診斷模型, 研究者在實際使用時, 如果屬性階級關系能正確界定(或?qū)傩蚤g層級關系比較容易界定), 且要保證診斷正確率(含AAMR 和 PMR)在 90%以上, 建議首選 GDD、DINA_HC或 DINA等認知診斷模; 而如果屬性層級關系難于界定(或懷疑被錯誤界定)時, 則建議首選DINA模型, 當然本研究開發(fā)的DINA_HC也可又進一步考慮使用。

7.3 認知診斷中認知分析的必要性

本研究討論的五種模型中, DINA模型在實現(xiàn)診斷時可以不構(gòu)建屬性間的層級關系(即將所有可能的知識狀態(tài)均囊括其中), 且模型的診斷正確較高(Cheng, 2008; Rupp & Templin, 2008), 因此就這幾種模型比較而言, DINA模型在實踐中顯得更為靈活。但這是否就意味著研究者或應用者在實踐中就不必去探討屬性間的關系呢？我們的回答是否定的。在認知診斷中, 除了要選好恰當?shù)恼J知診斷模型以外, 編制科學的診斷工具—— 認知診斷測驗也是不可或缺的。認知診斷測驗的編制不同于傳統(tǒng)能力測驗編制, 它更多強調(diào)心理學理論尤其是認知心理學理論對測驗編制的指導作用(Leighton &Gierl, 2007)。因此對欲診斷的目標進行科學的認知分析、探清認知屬性間的關系(不一定是層級關系)顯得十分必要, 它對認知診斷測驗的項目設計(item design)、試題開發(fā)、保證診斷功能的實現(xiàn)具有重要意義, 從而為開發(fā)科學的認知診斷測驗提供基礎。因此, 在開展認知診斷工作時, 對診斷目標采用一定的心理學方法(如認知心理學研究范式)進行科學的認知分析顯得十分重要。當然, 在認知診斷實踐中, 研究者或應用者既要開發(fā)/編制科學的診斷工具—— 認知診斷測驗, 又要選好恰當?shù)挠嬃糠治瞿Ｐ汀?認知診斷模型, 兩者兩樣重要, 它們都是保證診斷效果的基礎。

7.4 RSM、AHM等模型受屬性層級關系影響的機制

RSM、AHM和GDD三個模型在實現(xiàn)對被試診斷分類的過程中, 均需根據(jù)屬性層級關系將所有可能的知識狀態(tài)的全集進行壓縮(即剔除不合屬性層級關系的知識狀態(tài)), 然后采用一定方法(如馬氏距離、相似度等)將被試判為“壓縮后的知識狀態(tài)”的某一種。在這個過程中, 如果屬性層級關系錯誤, 則會導致壓縮后的知識狀態(tài)有誤, 從而影響模型的診斷正確率, 因此這三模型的判準率顯然會受到屬性階層關系正確性的影響; 對于 DINA 模型(還有Fusion model、GDM等), 在實現(xiàn)對被試的診斷的過程中, 將所有可能的知識狀態(tài)均囊括其中(即共 2種知識狀態(tài)), 不對知識狀態(tài)進行壓縮, 并采用參數(shù)估計的方法(如EM算法、MCMC算法)實現(xiàn)對被試知識狀態(tài)的估計, 因而對屬性層級關系的依賴程度不如RSM、AHM和GDD三個模型。

7.5 本研究結(jié)論的適用范圍

本研究僅以屬性層級關系為切入點, 從計量學的角度出發(fā), 根據(jù)模型的診斷正確率, 對幾種常用非補償型認知診斷模型進行比較與選擇。我們認為：一個診斷正確率低的CDM不能被認為是一個優(yōu)良的模型, 即從計量學本身而言, 模型就不具備優(yōu)良性能。實際應用者應盡量選用計量特性好的CDM。正是基于此考慮, 所以本研究從模型計量特征入手, 重點分析CDM的屬性判準率(即診斷正確率)。當然本研究并沒有解決模型選擇/比較的所有問題, 因為模型選擇除了要考慮模型計量特征外,還涉及到具體測驗情景、試題特征、測驗內(nèi)容、測驗形式、測驗數(shù)據(jù)的計分方式、資料-模型的擬合情況等等多種因素, 當然這些問題也不可能在一個研究中能得到所有回答。因此本研究只是在一定條件下(即不考慮或固定其它因素條件下), 以屬性層級關系為切入點, 從模型判準率這一個計量因素來進行模型比較與選用研究。

7.6 本研究存在的不足

當然, 限于文章篇幅、時間及能力, 本研究還存在一些不足：本研究只是從屬性層級關系角度來比較認知診斷模型, 未來研究還可以從更多的角度(如模型的認知假設、模型與數(shù)據(jù)的擬合等)進行比較; 本文主要討論了五種非補償、連接型認知診斷模型, 其它還更多類型的認知診斷模型(如補償型認知診斷模型、多策略認知診斷模型等等)還有待未來進一步探討; 同時, 認知屬性層級關系的錯誤類型還可以進一步豐富等等。我們也非常希望通過本文的研究, 能起到拋磚引玉的作用, 讓更多研究者投入到“認知診斷模型比較與選用”這一基礎性領域研究中來, 從而為實際工作者和應用者為提供更多的指導和借鑒。

Chen, D.Z., Dai, H.Q., & Zhao, D.W.(2009).Comparing the diagnostic accuracy between the rule space approach and attribute hierarchy method.

Psychological Science, 32

(2),414–416.[陳德枝, 戴海琦, 趙頂位.(2009).規(guī)則空間方法與屬性層次方法的診斷準確性比較.

心理科學, 32

(2), 414–416.]Cheng, Y.(2008).

Computerized adaptive testing: New development and applications

.Unpublished doctoral dissertation, University of Illinois at Urbana-Champaign.DeCarlo, L.T.(2011).On the analysis of fraction subtraction data: The DINA model, classification, latent class sizes,and Q-matrix.,

Applied Psychological Measurement, 3

5(1),8–24.Fu, J., & Li, Y.(2007, Apirl).

Cognitively diagnostic psychometric models: An integrative review

.Paper presented at the National Council on Measurement in Education, Chicago, IL.

Hartz, S., Roussos, L., & Stout, W.(2002).A bayesian framework for the unified model for assessing cognitive abilities: Blending theory with practicality.Unpublished doctoral dissertation, University of Illinois at Urbana-Champaign.

Junker, B., & Sijtsma, K.(2001).Cognitive assessment models with few assumptions, and connections with nonparametric item response theory.

Applied Psychological Measurement

,

25

(3), 258–272.

Leighton, J.P., & Gierl, M.(2007).Cognitive diagnostic assessment for education: Theory and Applications.Cambridge (pp242–274), UK: Cambridge uUniversity Press.

Leighton, J.P., Gierl M., & Hunka, S.M.(2004).The attribute hierarchy method for cognitive assessment: A variation on Tatsuoka’s rule-space approach.

Journal of eEducational mMeasurement, 41

(3), 205–236.Rupp, A.A., & Templin, J.(2008).The effects of Q-Matrix misspecification on parameter estimates and classification accuracy in DINA model.

Educational and Psychological Measurement, 68

(1), 78–96.Sun J.N., & Zhang, S.M., & Xin, T., & Bao, Y.(2011).A cognitive diagnosis method on Q-Matrix and generalized distance.

Acta Psychology Sinica, 43

(9), 1095–1102.[孫佳楠, 張淑梅, 辛濤, 包玨.(2011).基于 Q 矩陣和廣義距離的認知診斷方法.

心理學報, 43

(9), 1095–1102.]Tatsuoka, K.K.(1995).Architecture of knowledge structure and cognitive diagnosis: A statistical pattern recognition and classification approach.In P.D.Nichols, S.F.Chipman& R.L.Brennan (Eds.),

Cognitively Diagnostic Assessment

(pp.327–361).Hillsdale, NJ: Erlbaum.Tatsuoka, K.K.(2009).

Cognitive Assessment: An introduction of the rule space method

.New York: Routledge: Taylor &Francis Group.von Davier, M.(2005).

A general diagnostic model applied to language testing data.

ETS Research Report( No.RR-05-16), Princeton, NJ: ETS.