張健 任杰 周成林

（北京語(yǔ)言大學(xué)，北京 100083）

中國(guó)少數(shù)民族漢語(yǔ)水平考試三級(jí)筆試效標(biāo)證據(jù)的效度研究
——基于Toulmin 論證模型

張健 任杰 周成林

（北京語(yǔ)言大學(xué)，北京 100083）

Toulmin效度論證是一個(gè)從考生表現(xiàn)到測(cè)驗(yàn)使用的系統(tǒng)化的過(guò)程,內(nèi)部包含多個(gè)論證，前一個(gè)論證的終點(diǎn)同時(shí)又是下一個(gè)論證的起點(diǎn)，環(huán)環(huán)相扣，使效度論證對(duì)分?jǐn)?shù)的解釋更加合理，其中測(cè)驗(yàn)的外部效標(biāo)證據(jù)主要適用于外推階段的效度論證。本文首先從Toulmin效度論證模型的基本內(nèi)容展開(kāi)，結(jié)合新托?？荚?，介紹該模型的效度論證框架。其次，以某高校參加2016年5月少數(shù)民族漢語(yǔ)水平考試（MHK）三級(jí)筆試的261名考生的入學(xué)分班考試結(jié)果和學(xué)期期末成績(jī)（漢語(yǔ)寫作、漢語(yǔ)精讀、漢語(yǔ)聽(tīng)力、數(shù)學(xué)）為效標(biāo)證據(jù)，從不同角度對(duì)該證據(jù)進(jìn)行分析。最后，將上述分析結(jié)果作為論證支撐，以Toulmin效度論證模型為理論框架，從實(shí)證角度對(duì)MHK三級(jí)筆試的外推階段進(jìn)行效度論證。

效度論證；MHK；效標(biāo)證據(jù)；Toulmin模型

1 引言

關(guān)于效度（validity）和效度論證（validation），《教育與心理測(cè)量標(biāo)準(zhǔn)》開(kāi)明宗義：效度指的是證據(jù)和理論支持測(cè)驗(yàn)的意向性用途所必然要求的測(cè)驗(yàn)分?jǐn)?shù)解釋的程度。因此，開(kāi)發(fā)和評(píng)估測(cè)驗(yàn)時(shí)，效度是最根本的考量。效度論證過(guò)程涉及累積證據(jù)，為的是給意向性分?jǐn)?shù)解釋提供一個(gè)合理、科學(xué)的基礎(chǔ)[1]。因此，如何為效度論證累積證據(jù)，如何為目標(biāo)分?jǐn)?shù)提供合理的解釋是效度研究必須面對(duì)的問(wèn)題。自20世紀(jì)80年代起，語(yǔ)言測(cè)試進(jìn)入效度整體觀的時(shí)代，在這一背景下，Kane提出的基于論證的效度驗(yàn)證模型將Toulmin邏輯論證模型引入效度論證研究，為解決上述問(wèn)題提供了一個(gè)科學(xué)的論證框架，Chapelle等人將這一框架應(yīng)用于實(shí)踐，利用Toulmin模型率先為新托?？荚囘M(jìn)行效度論證[2]。在這一方面，我國(guó)國(guó)內(nèi)研究目前還處于理論引進(jìn)和探索階段，如謝小慶、陳寧、孫曉敏、胥云、李智、鄧杰等詳細(xì)介紹和分析了基于論證的Toulmin效度論證模型，但尚無(wú)實(shí)證研究[3-8]。本文將以Toulmin效度論證模型為基礎(chǔ)，對(duì)收集的少數(shù)民族漢語(yǔ)水平考試（MHK）三級(jí)筆試的效標(biāo)證據(jù)進(jìn)行效度論證，以期為目標(biāo)分?jǐn)?shù)提供合理解釋。

2 Toulmin效度論證模型的基本內(nèi)容

2.1 Toulmin邏輯模型

Toulmin在其著作《論證的使用》一書中提出了一個(gè)由主張（claim）、資料（data）、理?yè)?jù)（warrants）、支撐（backing）、限定詞（qualifier）和反駁（rebut?tal）6個(gè)要素所組成的論證模式[9]。6個(gè)要素的具體關(guān)系如下：

圖1 Toulmin邏輯論證模型

圖2 Kane的基于論證的效度驗(yàn)證模型[10]

其中，主張是說(shuō)話者試圖在論證中證明為正當(dāng)?shù)慕Y(jié)論；資料是提出“主張”的事實(shí)依據(jù)；理?yè)?jù)是從“資料”過(guò)渡到“主張”提供的“保障”。當(dāng)由“資料”到“主張”的推論收到質(zhì)疑時(shí)，需要用“理?yè)?jù)”來(lái)證明由“資料”到“主張”的推論是合法的。支撐是對(duì)理?yè)?jù)的支援性陳述，這種支援可以是一個(gè)事實(shí)性的陳述，也可以是一個(gè)包含、主張和理?yè)?jù)的完整論證。限定詞是理?yè)?jù)能夠在多大程度上保證從資料到達(dá)主張的合理程度。反駁從資料順利到達(dá)主張的不能成立特殊的情況。

2.2 基于Toulmin模型的效度論證框架

Kane在1992年提出了基于論證的效度論證方法，后來(lái)該方法被不斷地完善，逐漸形成了一種比較成熟的基于論證的效度論證模型。在Kane提出的效度論證方法中，區(qū)分了兩種不同的論證，即解釋性論證和效度論證。效度論證是在解釋性論證基礎(chǔ)上進(jìn)一步累積搜集證據(jù)，檢驗(yàn)解釋性論證結(jié)論的合理性。其模型結(jié)構(gòu)如圖2。

通過(guò)觀察考生測(cè)驗(yàn)表現(xiàn)得到考生的觀察分?jǐn)?shù)，即考生的考試分?jǐn)?shù)，這一過(guò)程稱為評(píng)估，評(píng)估的結(jié)果作為下一個(gè)推論的起點(diǎn)；第二輪推論將考生的觀察分?jǐn)?shù)作為起點(diǎn)，進(jìn)一步概化得到期望分?jǐn)?shù)，所謂期望分?jǐn)?shù)，就是根據(jù)考生這一次的表現(xiàn)，來(lái)推導(dǎo)出考生在不同時(shí)間、地點(diǎn)，且評(píng)分人員不同時(shí)做相似測(cè)試應(yīng)該得到的分?jǐn)?shù)；第三輪推論以期望分?jǐn)?shù)為起點(diǎn)，通過(guò)外推得到考生在目標(biāo)情景或者非考試情景中的目標(biāo)分?jǐn)?shù)。經(jīng)過(guò)層層推論，將考生的考試成績(jī)這一資料和考生日后在目標(biāo)情景中能否順利完成目標(biāo)任務(wù)的主張聯(lián)系了起來(lái)，每一個(gè)論證的終點(diǎn)又作為下一個(gè)論證的起點(diǎn)，環(huán)環(huán)相扣，形成完整的效度論證框架。

Chapelle等人把這一理論應(yīng)用于新托?？荚?，從實(shí)證角度對(duì)新托?？荚囘M(jìn)行效度論證。Chapelle進(jìn)行效度論證時(shí)，增加了目標(biāo)域和構(gòu)念兩個(gè)環(huán)節(jié)（目標(biāo)域指測(cè)驗(yàn)的測(cè)試范圍和領(lǐng)域，構(gòu)念主要回答測(cè)試“測(cè)什么”的問(wèn)題），相應(yīng)地也增加了“領(lǐng)域描述”和“解釋”兩個(gè)推論[11]。這一框架的主要貢獻(xiàn)：一方面明確了測(cè)驗(yàn)的測(cè)量領(lǐng)域，保證效度論證不偏離測(cè)驗(yàn)欲測(cè)量的目標(biāo)領(lǐng)域；另一方面，把構(gòu)念作為連接期望分?jǐn)?shù)和目標(biāo)分?jǐn)?shù)的橋梁，既回答了測(cè)驗(yàn)主要測(cè)什么的問(wèn)題，也回答了期望分?jǐn)?shù)能夠被外推到目標(biāo)分?jǐn)?shù)的根本原因所在。

Chapelle等人運(yùn)用Toulmin效度論證模型對(duì)新托?？荚囘M(jìn)行的效度論證在學(xué)界影響巨大，其原因不僅在于他是將新效度研究范式應(yīng)用于大型標(biāo)準(zhǔn)化考試的先鋒，還在于他對(duì)這一模型的完善和發(fā)展，更在于他從多方面搜集效度證據(jù)，用充分的實(shí)證數(shù)據(jù)驗(yàn)證理論，發(fā)展理論。在眾多效度證據(jù)中，外部效標(biāo)證據(jù)最為明顯，通過(guò)搜集考生參加和新托?？荚囅嗨茦?gòu)念的其他測(cè)驗(yàn)成績(jī)、考生的自我評(píng)價(jià)、教師給考生的評(píng)價(jià)等，建立起新托福成績(jī)和其他測(cè)驗(yàn)之間的相關(guān)關(guān)系，這些效標(biāo)證據(jù)作為資料主要用于外推階段的效度論證。Chapelle等人對(duì)新托福的論證為我們研究MHK提供了很好的借鑒。比如，在MHK效度論證的外推階段，我們可以提出主張：考生入學(xué)/期末成績(jī)可以成為衡量MHK效度的證據(jù)，并對(duì)該主張進(jìn)行論證。假設(shè)：考生在MHK的測(cè)驗(yàn)表現(xiàn)和判斷漢語(yǔ)掌握情況的其他標(biāo)準(zhǔn)有關(guān)，不同類型的漢語(yǔ)考試在區(qū)分不同漢語(yǔ)能力考生方面具有一致性；考生的期末漢語(yǔ)考試是對(duì)考生本學(xué)期在校實(shí)際漢語(yǔ)能力表現(xiàn)的真實(shí)考察，成績(jī)基本符合考生實(shí)際漢語(yǔ)能力。論證資料：參加MHK考試的考生期末成績(jī)。理?yè)?jù)是同一目標(biāo)域中所測(cè)構(gòu)念相似的考試應(yīng)該是緊密相關(guān)的。研究表明MHK考試主要考察考生在未來(lái)在生活、學(xué)習(xí)和工作中能否使用漢語(yǔ)進(jìn)行正常交際的聽(tīng)說(shuō)讀寫能力，而入學(xué)分班考試是對(duì)學(xué)生入學(xué)前漢語(yǔ)聽(tīng)說(shuō)讀寫能力的診斷，期末漢語(yǔ)考試是考察學(xué)生對(duì)本學(xué)期漢語(yǔ)知識(shí)的掌握情況和在本學(xué)期學(xué)習(xí)生活中使用漢語(yǔ)進(jìn)行正常交際的聽(tīng)說(shuō)讀寫能力的提升情況，三者雖然功能不同，但都包含對(duì)學(xué)生漢語(yǔ)聽(tīng)說(shuō)讀寫能力的考察，所測(cè)構(gòu)念相似。在這些前提下，基本可以推論出主張:考生入學(xué)/期末成績(jī)可以成為衡量MHK效度的指標(biāo)。反駁理由可以是：特殊情況如考生入學(xué)/期末考試作弊時(shí)，成績(jī)不具有說(shuō)服力。

3 MHK三級(jí)筆試效標(biāo)證據(jù)的實(shí)證研究

MHK主要測(cè)試母語(yǔ)非漢語(yǔ)的少數(shù)民族漢語(yǔ)學(xué)習(xí)者漢語(yǔ)水平的國(guó)家級(jí)標(biāo)準(zhǔn)化考試。MHK包括4個(gè)等級(jí)，其中三級(jí)主要用于高考、預(yù)科結(jié)業(yè)以及中小學(xué)教師能力認(rèn)定等領(lǐng)域，是參加考試人數(shù)最多的級(jí)別，考察考生未來(lái)在生活、學(xué)習(xí)和工作中能否使用漢語(yǔ)進(jìn)行正常交際的漢語(yǔ)能力，三級(jí)筆試試卷主要包括3部分：聽(tīng)力、閱讀、書面表達(dá)（分為客觀書面表達(dá)和作文兩部分）。本研究采用某高校參加2016年5月MHK三級(jí)的261名考生入學(xué)分班考試結(jié)果和學(xué)期期末成績(jī)（漢語(yǔ)寫作、漢語(yǔ)精讀、漢語(yǔ)聽(tīng)力、數(shù)學(xué)）為效標(biāo)證據(jù)，以Chapelle等修正后的Toulmin效度論證模型為基礎(chǔ)對(duì)MHK三級(jí)筆試進(jìn)行效度論證。該批考生參加MHK三級(jí)考試是在分班考試之后、期末考試之前，分班考試和期末考試是對(duì)考生漢語(yǔ)能力評(píng)價(jià)的其他有代表性的標(biāo)準(zhǔn)，為MHK效度驗(yàn)證提供了有力的效度證據(jù)。實(shí)際上，效度論證是一個(gè)完整的鏈條，效標(biāo)證據(jù)主要適用于外推階段的效度論證。

3.1 以不同測(cè)驗(yàn)相關(guān)關(guān)系為證據(jù)的效度論證

通過(guò)收集和MHK相似構(gòu)念的考生期末漢語(yǔ)精讀成績(jī)、漢語(yǔ)寫作成績(jī)，并以此為效標(biāo)，分別計(jì)算其和MHK閱讀、MHK寫作、MHK總分的相關(guān)。假設(shè)：考生在MHK的測(cè)驗(yàn)表現(xiàn)和判斷漢語(yǔ)掌握情況的其他標(biāo)準(zhǔn)有關(guān)，同一群體內(nèi)某一考生在判斷漢語(yǔ)能力掌握情況的不同測(cè)驗(yàn)中的排名應(yīng)該基本相同。故本文根據(jù)兩個(gè)量表中變量的排名順序采用斯皮爾曼等級(jí)相關(guān)計(jì)算不同測(cè)驗(yàn)的相關(guān)關(guān)系，具體結(jié)果詳見(jiàn)表1～表2。

表1、表2表明：考生漢語(yǔ)閱讀期末成績(jī)和MHK閱讀、MHK總分的相關(guān)系數(shù)在0.5左右，相關(guān)系數(shù)為0的概率小于0.01，因此為中度正相關(guān)?？忌鷿h語(yǔ)精讀期末成績(jī)和MHK客觀書面表達(dá)、MHK寫作、MHK總分的相關(guān)系數(shù)在0.381～0.401，為中度正相關(guān)。這一結(jié)果可以作為效度論證的支撐，以不同測(cè)驗(yàn)間相關(guān)系數(shù)為證據(jù)的具體效度論證如下。

推論的假設(shè):考生在MHK的表現(xiàn)和判斷考生漢語(yǔ)能力的其他標(biāo)準(zhǔn)有關(guān)，測(cè)量同一構(gòu)念的測(cè)驗(yàn)評(píng)分標(biāo)準(zhǔn)基本一致；相關(guān)系數(shù)可以作為一種效度驗(yàn)證方法；考生參加真實(shí)目標(biāo)域和MHK相似構(gòu)念的其他考試，測(cè)試結(jié)果應(yīng)基本一致；該效度論證模型中期望成績(jī)之前的論證均成立。

推論的論證：根據(jù)Toulmin模型，該論證的資料是考生的期望考試成績(jī)。理?yè)?jù)是由MHK所測(cè)量的語(yǔ)言能力的高低能反映考生在未來(lái)工作、學(xué)習(xí)、生活中運(yùn)用漢語(yǔ)進(jìn)行交際表現(xiàn)水平的高低。對(duì)理?yè)?jù)的支撐為考生參加MHK的考試成績(jī)和考生本學(xué)期漢語(yǔ)閱讀、漢語(yǔ)寫作期末成績(jī)之間中度正相關(guān)。在這些前提下，基本可以推論出主張：目標(biāo)分?jǐn)?shù)代表了考生在日后漢語(yǔ)語(yǔ)言環(huán)境中的表現(xiàn)。反駁理由可以是中度正相關(guān)支持力度不夠，相關(guān)系數(shù)不夠高等。

表1 漢語(yǔ)精讀和MHK閱讀的相關(guān)

表2 漢語(yǔ)寫作和MHK書面表達(dá)的相關(guān)

為了彌補(bǔ)中度正相關(guān)支持力度不夠的問(wèn)題，我們從反面入手，選取與本測(cè)驗(yàn)測(cè)量不同構(gòu)念的測(cè)驗(yàn)——期末數(shù)學(xué)成績(jī)，這一結(jié)果也是對(duì)MHK效度的支持，說(shuō)明這個(gè)測(cè)驗(yàn)確實(shí)是一個(gè)“言語(yǔ)測(cè)驗(yàn)”而不是一個(gè)“邏輯推理測(cè)驗(yàn)”，這種證據(jù)被稱為區(qū)分性證據(jù)。計(jì)算結(jié)果見(jiàn)表3。表3表明：考試數(shù)學(xué)成績(jī)和MHK總分及各分測(cè)驗(yàn)的成績(jī)相關(guān)系數(shù)在-0.021～ 0.100，相關(guān)系數(shù)為0的概率>0.389，因此二者基本不相關(guān)。該結(jié)果可作為上文理?yè)?jù)的支撐。具體效度論證如下：假設(shè)考生在MHK的表現(xiàn)和判斷考生數(shù)學(xué)推理能力的測(cè)試無(wú)關(guān)。根據(jù)Toulmin模型，該論證的資料是考生的期望考試成績(jī)。理?yè)?jù)是和MHK所測(cè)構(gòu)念不同的考試不能反映考生在未來(lái)工作、學(xué)習(xí)、生活中運(yùn)用漢語(yǔ)進(jìn)行交際表現(xiàn)水平的高低。對(duì)理?yè)?jù)的支撐為考生參加MHK的考試成績(jī)和考生本學(xué)期數(shù)學(xué)成績(jī)之間基本不相關(guān)。在這些前提下，基本可以推論出主張：目標(biāo)分?jǐn)?shù)代表了考生在日后漢語(yǔ)語(yǔ)言環(huán)境中的表現(xiàn)，而不是其數(shù)學(xué)邏輯能力。

3.2 以不同測(cè)驗(yàn)的組間比較結(jié)果為證據(jù)的效度論證

確定效標(biāo)的另一途徑是看測(cè)驗(yàn)分?jǐn)?shù)是否可以區(qū)分以效標(biāo)行為水平所定義的不同群體[12]。我們根據(jù)考生漢語(yǔ)精讀期末成績(jī)是否及格把考生劃分為兩類，看他們的MHK閱讀成績(jī)是否差異顯著，該分析結(jié)果可以作為以不同測(cè)驗(yàn)間組間比較為證據(jù)的效度論證的支撐，具體結(jié)果見(jiàn)表4。

表4顯示，根據(jù)考生漢語(yǔ)精讀成績(jī)是否及格把考生分為兩組，方差齊性檢驗(yàn)的F值為3.645，顯著性概率P>0.05,因此兩組方差差異顯著，即方差齊。從t檢驗(yàn)可得：P值為0.000<0.010，因此兩組考生的MHK閱讀成績(jī)差異顯著。我們把這一結(jié)果作為對(duì)理?yè)?jù)的支撐進(jìn)行效度論證，具體推論如下。

推論的假設(shè):考生在MHK的表現(xiàn)和判斷考生漢語(yǔ)能力的其他標(biāo)準(zhǔn)有關(guān)，測(cè)量同一構(gòu)念的測(cè)驗(yàn)評(píng)分標(biāo)準(zhǔn)基本一致，考生參加和MHK同一目標(biāo)域相似構(gòu)念的其他考試，測(cè)試結(jié)果基本符合考生漢語(yǔ)能力且可以真實(shí)地將不同能力的考生分為是否及格兩大類；不同測(cè)驗(yàn)的組間比較可以作為效度論證的證據(jù)；該效度論證模型中期望成績(jī)之前的論證均成立等。

表3 考生期末數(shù)學(xué)成績(jī)和MHK各分測(cè)驗(yàn)成績(jī)的相關(guān)

表4 兩組考生（漢語(yǔ)精讀及格組與不及格組）MHK閱讀成績(jī)t檢驗(yàn)

推論的論證：根據(jù)Toulmin模型，該論證的資料是考生的期望考試成績(jī)。理?yè)?jù)是由MHK所測(cè)量的語(yǔ)言能力的高低能反映考生在未來(lái)工作、學(xué)習(xí)、生活中運(yùn)用漢語(yǔ)進(jìn)行交際表現(xiàn)水平的高低，漢語(yǔ)能力不同的考生在MHK的考試成績(jī)差異顯著。對(duì)理?yè)?jù)的支撐數(shù)據(jù)顯示根據(jù)考生漢語(yǔ)精讀期末成績(jī)是否及格分成的兩組不同漢語(yǔ)能力的考生，他們的MHK閱讀成績(jī)差異顯著。在這些前提下，基本可以推論出主張：目標(biāo)分?jǐn)?shù)代表了考生在日后漢語(yǔ)語(yǔ)言環(huán)境中的表現(xiàn)，即MHK得分高的考生在日后漢語(yǔ)語(yǔ)言環(huán)境中表現(xiàn)較好，得分低的表現(xiàn)較差。反駁理由可以是當(dāng)樣本量足夠大時(shí)，很小的差異都會(huì)造成差異顯著。

同理，我們也可以分別根據(jù)考生漢語(yǔ)寫作、漢語(yǔ)聽(tīng)力期末成績(jī)是否及格把考生分為兩組，依次分析這兩類考生的MHK聽(tīng)力成績(jī)、MHK書面表達(dá)成績(jī)是否差異顯著，分析結(jié)果見(jiàn)表5、表6。由表可知：根據(jù)考生漢語(yǔ)寫作成績(jī)是否及格把考生分為兩組，方差齊性檢驗(yàn)的F值為4.144，顯著性概率為P> 0.050，因此兩組方差差異顯著，即方差齊。從t檢驗(yàn)得P值為0.006<0.01，因此兩組考生的MHK書面表達(dá)成績(jī)差異顯著；同理，根據(jù)考生漢語(yǔ)聽(tīng)力成績(jī)是否及格把考生分為兩組，F(xiàn)值為1.218，顯著性概率為P>0.050，兩組方差差異顯著，即方差齊。t檢驗(yàn)的P值為0.005<0.010可知，兩組考生的MHK聽(tīng)力成績(jī)差異顯著。這些結(jié)果均可以作為效度論證的支撐。具體效度論證同上，本文不再贅述。

3.3 以不同班級(jí)成績(jī)差異為證據(jù)的效度論證

本研究中的考生來(lái)自5個(gè)不同班級(jí)，班級(jí)劃分是根據(jù)考生入學(xué)時(shí)在漢語(yǔ)能力分班考試中的成績(jī)，因此各班考生漢語(yǔ)能力不同，從15E01班到15E05班，學(xué)生漢語(yǔ)能力依次增高。我們按班級(jí)將考生的MHK筆試總分進(jìn)行分類，以班級(jí)為效標(biāo)證據(jù)，對(duì)不同班級(jí)考生MHK考試成績(jī)進(jìn)行平均數(shù)差異顯著性檢驗(yàn)，計(jì)算結(jié)果如下。

表5 兩組考生（漢語(yǔ)寫作及格組與不及格組）MHK書面表達(dá)成績(jī)t檢驗(yàn)

表6 兩組考生（漢語(yǔ)聽(tīng)力及格組與不及格組）MHK聽(tīng)力成績(jī)t檢驗(yàn)

表7 不同班級(jí)考生MHK筆試成績(jī)的描述性統(tǒng)計(jì)

表7、表8顯示，從1班到5班考生MHK筆試總分基本呈遞增趨勢(shì)，但15E03班平均分高于15E04班，F(xiàn)值等于69.177，顯著性近似為0，組間均方遠(yuǎn)遠(yuǎn)大于組內(nèi)均方，因此各班級(jí)考生的MHK考試成績(jī)差異顯著。我們將此結(jié)果作為對(duì)理?yè)?jù)的支撐進(jìn)行效度論證。

推論的假設(shè):考生在MHK的表現(xiàn)和判斷考生漢語(yǔ)能力的其他考試有關(guān)，考生漢語(yǔ)能力分班考試評(píng)分標(biāo)準(zhǔn)制定合理，入學(xué)分班情況基本符合考生實(shí)際漢語(yǔ)能力；漢語(yǔ)水平高的考生在不同類型的漢語(yǔ)考試中得分均相對(duì)較高；考生漢語(yǔ)能力短期內(nèi)不會(huì)有太大變化；入學(xué)考試分班結(jié)果可以作為效度證據(jù)；該效度論證模型中期望成績(jī)之前的論證成立等。

推論的論證：根據(jù)Toulmin模型，該論證的資料是考生的期望考試成績(jī)。理?yè)?jù)是由MHK所測(cè)量的語(yǔ)言能力的高低能反映漢語(yǔ)水平不同的班級(jí)學(xué)生在實(shí)際工作、學(xué)習(xí)、生活中運(yùn)用漢語(yǔ)進(jìn)行交際表現(xiàn)水平的高低。對(duì)理?yè)?jù)的支撐是數(shù)據(jù)顯示漢語(yǔ)水平不同的班級(jí)考生MHK筆試成績(jī)平均數(shù)差異顯著。在這些前提下，基本可以推論出主張:考生MHK考試目標(biāo)分?jǐn)?shù)基本代表考生實(shí)際目標(biāo)域的表現(xiàn)。反駁理由可以是平均數(shù)易受極值影響，差異可能是由部分考生成績(jī)凸顯導(dǎo)致的。

表8 不同班級(jí)考生MHK成績(jī)差異的方差分析表

4 結(jié)論

根據(jù)以上論證，本研究得出的結(jié)論如下：將考生入學(xué)分班結(jié)果和期末考生成績(jī)作為衡量MHK效度論證的證據(jù)這一主張是基本成立的。將3類效度證據(jù)作為論證的支撐，根據(jù)Toulmin效度論證模型均可以基本推論出MHK考試目標(biāo)分?jǐn)?shù)代表了考生在日后漢語(yǔ)語(yǔ)言環(huán)境中的表現(xiàn)。因此，MHK考試效度論證的外推階段基本成立。換句話說(shuō)，考生的MHK三級(jí)筆試成績(jī)可以反映考生在實(shí)際漢語(yǔ)交際環(huán)境中的表現(xiàn)，從這個(gè)角度來(lái)看，少數(shù)民族漢語(yǔ)水平考試三級(jí)筆試是有效的。

[1]American Educational Research Association,American Psychologi?cal Association,National Council on Measurement in Education. Standards for educational and psychological testing[M].Washington, DC:AERA,1999.

[2]BRENNAN R L.Educational measurement（4th edition）[M].Wash?ington,DC:American Council on Education/Praeger,2006.

[3]陳寧.Toulmin推斷模型在考試效度論證中的應(yīng)用[J].中國(guó)考試, 2012（4）.

[4]鄧杰.論語(yǔ)言測(cè)試效度的辯論方法—辯論邏輯與效度解釋[D].上海:上海外國(guó)語(yǔ)大學(xué),2011.

[5]李智,肖云南.基于論證的測(cè)試效度驗(yàn)證與高考英語(yǔ)效度驗(yàn)證研究[J].考試與招生,2013（11）.

[6]孫曉敏,張厚粲.效度概念的演進(jìn)及其新發(fā)展[J].心理科學(xué),2004（1）.

[7]謝小慶.測(cè)驗(yàn)效度概念的新發(fā)展[J].考試研究,2013（3）.

[8]胥云.語(yǔ)言測(cè)試中基于論證的效度驗(yàn)證模式述評(píng)[J].外語(yǔ)教學(xué)理論與實(shí)踐,2011（4）.

[9]斯蒂芬·圖爾敏.論證的使用[M].謝小慶,王麗,譯.北京:北京語(yǔ)言大學(xué)出版社,2016.

[10]KANE M T.An argument-based approach to validity[J].Psychologi?cal Bulletin,1992（112）：527-535.

[11]CHAPELLE C A,ENRIGHT M K,JAMIESON J M.Building a validity argument for the Test of English as a Foreign Language [M].New York:Routledge,2008.

[12]謝小慶.心理測(cè)量學(xué)講義[M].武漢:華中師范大學(xué)出版社,1988.

Research of Validity Criterion Evidence for the MHK Writing Test: Based on the Toulmin’s Argument Model

ZHANG Jian,REN Jie,ZHOU Chenglin
（Beijing Education Examinations Authority,Beijing 100083,China）

Test validation of Toulmin’s Argument Model is a systematized process which is from examinee’s performance and to test use.A series of arguments are included and the terminal point of the former argument is the start of next argument,which makes the explanation of scores based on test validation more reasonable.The test’s external criterion evidence is mainly applied on the extrapolation state.This article,first of all,based on the argument of test validation of Toulmin’s Argument Model,combined with New TOFEL,introduces the framework of test validation of Toulmin’s Argument Model.For the second step,we collected the admission test scores and final exam results from 261 students who had attended the MHK level 3 writing test in May 2016.This judgement as an external criterion evidence,was analyzed from three angles.In the last step,the test validation of extrapolation state of MHK from empirical perspective would be done with the correlation result for backing and Toulmin’s Argument Model for framework.

Validity Argument;MHK;Criterion Evidence;Toulmin Model

G405

A

1005-8427（2017）02-0040-7

10.19360/j.cnki.11-3303/g4.2017.02.006

（責(zé)任編輯：周黎明）

本文系北京語(yǔ)言大學(xué)院級(jí)科研項(xiàng)目（項(xiàng)目編號(hào)：16YJ050005）的研究成果。

張 ?。?992—）,男,北京語(yǔ)言大學(xué)，在讀碩士；任 杰（1964—）,女,北京語(yǔ)言大學(xué)，副教授；周成林（1993—）,女,北京語(yǔ)言大學(xué)，在讀碩士。