蒲顯偉，陸雷娜

(南京理工大學(xué) 外國(guó)語(yǔ)學(xué)院，江蘇 南京210094)

?

國(guó)際應(yīng)用語(yǔ)言學(xué)期刊效應(yīng)值報(bào)告與解釋現(xiàn)狀研究

蒲顯偉，陸雷娜

(南京理工大學(xué) 外國(guó)語(yǔ)學(xué)院，江蘇 南京210094)

摘要：針對(duì)顯著性檢驗(yàn)存在的問(wèn)題，美國(guó)心理學(xué)會(huì)出版手冊(cè)第6版和國(guó)外社會(huì)科學(xué)領(lǐng)域的不少期刊都要求將定量研究報(bào)告效應(yīng)值作為補(bǔ)充。分析6種重要的國(guó)際應(yīng)用語(yǔ)言學(xué)期刊發(fā)表于2012—2014年的定量數(shù)據(jù)分析文章效應(yīng)值的報(bào)告與解釋現(xiàn)狀，研究發(fā)現(xiàn)：6種期刊共239個(gè)統(tǒng)計(jì)檢驗(yàn)平均有66%報(bào)告了效應(yīng)值，其中53%對(duì)效應(yīng)值進(jìn)行了解釋?zhuān)瑑H1.3%報(bào)告了效應(yīng)值的置信區(qū)間；相比相關(guān)分析和回歸分析，t檢驗(yàn)和非參數(shù)檢驗(yàn)效應(yīng)值報(bào)告比例較低；研究者存在過(guò)度報(bào)告Cohen’s 等效應(yīng)值的傾向；相比美國(guó)心理學(xué)會(huì)出版手冊(cè)，期刊編輯對(duì)效應(yīng)值報(bào)告的要求更為有效。

關(guān)鍵詞：效應(yīng)值；報(bào)告；解釋

一、引 言

顯著性檢驗(yàn)被廣泛地應(yīng)用于教育學(xué)、心理學(xué)、應(yīng)用語(yǔ)言學(xué)等社會(huì)科學(xué)的定量研究中已有幾十年時(shí)間了。然而，顯著性檢驗(yàn)從出現(xiàn)開(kāi)始就有學(xué)者指出其存在的問(wèn)題，近年來(lái)研究者對(duì)顯著性檢驗(yàn)的批評(píng)更加猛烈[1-2]。鑒于此，許多研究者建議在定量研究中將報(bào)告效應(yīng)值(effect size)作為對(duì)顯著性檢驗(yàn)結(jié)果的補(bǔ)充。美國(guó)心理學(xué)會(huì)出版手冊(cè)第4、第5、第6版(APA, 1994、2001、 2010)也分別“鼓勵(lì)”、“建議”和“要求”研究者匯報(bào)定量研究結(jié)果的效應(yīng)值[3]18，26，33。目前，國(guó)外應(yīng)用語(yǔ)言學(xué)、教育學(xué)、心理學(xué)等社會(huì)科學(xué)領(lǐng)域已有不少期刊，如《語(yǔ)言學(xué)習(xí)》(LanguageLearning)、 《現(xiàn)代語(yǔ)言期刊》(TheModernLanguageJournal)、《對(duì)外英語(yǔ)教學(xué)季刊》(TESOLQuarterly)、 《當(dāng)代教育心理學(xué)》(ContemporaryEducationalPsychology)等, 在其投稿須知中明確要求定量研究必須報(bào)告效應(yīng)值。

受這些建議和要求的影響，國(guó)外研究者開(kāi)始對(duì)效應(yīng)值的報(bào)告現(xiàn)狀與解釋標(biāo)準(zhǔn)展開(kāi)研究，目的是為了考察這些建議和要求是否對(duì)定量數(shù)據(jù)分析結(jié)果的報(bào)告方法產(chǎn)生實(shí)質(zhì)性的影響。研究結(jié)果表明，APA出版手冊(cè)第4版和第5版對(duì)定量數(shù)據(jù)分析結(jié)果效應(yīng)值的報(bào)告并沒(méi)有產(chǎn)生顯著影響[4]，原因之一可能是第4、第5版的措辭較為溫和，僅僅是鼓勵(lì)和建議研究者報(bào)告效應(yīng)值。APA出版手冊(cè)第6版已于2010年出版，第6版對(duì)于效應(yīng)值報(bào)告的“要求”估計(jì)會(huì)對(duì)定量數(shù)據(jù)分析結(jié)果的報(bào)告方法產(chǎn)生較大影響。此外，為數(shù)不多的關(guān)于效應(yīng)值報(bào)告現(xiàn)狀的研究主要集中在教育學(xué)和心理學(xué)領(lǐng)域，因?yàn)槊绹?guó)心理學(xué)會(huì)和美國(guó)教育研究學(xué)會(huì)對(duì)這兩個(gè)學(xué)科領(lǐng)域具有較大的影響，應(yīng)用語(yǔ)言學(xué)領(lǐng)域還沒(méi)有學(xué)者對(duì)此進(jìn)行專(zhuān)門(mén)研究。應(yīng)用語(yǔ)言學(xué)期刊《語(yǔ)言學(xué)習(xí)》、《對(duì)外英語(yǔ)教學(xué)季刊》和《現(xiàn)代語(yǔ)言期刊》分別于2000年、2003年、2013年開(kāi)始要求投稿人報(bào)告定量研究結(jié)果的效應(yīng)值。因此，本研究目的之一是考察APA出版手冊(cè)第6版對(duì)國(guó)外應(yīng)用語(yǔ)言學(xué)期刊定量研究結(jié)果效應(yīng)值報(bào)告與解釋現(xiàn)狀的影響；之二是比較國(guó)外應(yīng)用語(yǔ)言學(xué)領(lǐng)域兩類(lèi)期刊(對(duì)效應(yīng)值報(bào)告有明確要求和無(wú)明確要求的期刊)在效應(yīng)值報(bào)告與解釋方面是否具有顯著性差異。

二、國(guó)內(nèi)外研究現(xiàn)狀

國(guó)外對(duì)效應(yīng)值的報(bào)告現(xiàn)狀研究始于20世紀(jì)90年代，主要集中在教育學(xué)和心理學(xué)領(lǐng)域，目前其他社會(huì)學(xué)科領(lǐng)域還沒(méi)有人對(duì)效應(yīng)值的報(bào)告現(xiàn)狀進(jìn)行專(zhuān)門(mén)的研究。在應(yīng)用語(yǔ)言學(xué)領(lǐng)域，Plonsky對(duì)《語(yǔ)言學(xué)習(xí)》和《二語(yǔ)習(xí)得研究》(StudiesinSecondLanguageAcquisition)兩種期刊于1990—2010年間發(fā)表的606篇定量文章的研究質(zhì)量進(jìn)行了綜述，并對(duì)效應(yīng)值的報(bào)告作了簡(jiǎn)單統(tǒng)計(jì)，結(jié)果表明在前10年間(1990—1999)僅有3%的文章報(bào)告了效應(yīng)值，后10年間(2000—2010)這一比例上升到了42%，20年的平均比例為26%[5]。

國(guó)內(nèi)對(duì)效應(yīng)值的研究大概始于2000年后，僅有幾位研究者在其發(fā)表的文章中介紹了效應(yīng)值[6-8]。在效應(yīng)值的報(bào)告現(xiàn)狀方面，國(guó)內(nèi)還沒(méi)有人進(jìn)行專(zhuān)門(mén)的研究。焦璨對(duì)《心理學(xué)報(bào)》和《心理科學(xué)》兩種期刊于1998—2008年20年間發(fā)表的文章所采用的統(tǒng)計(jì)方法進(jìn)行了元分析，目的是為了了解國(guó)內(nèi)心理學(xué)研究領(lǐng)域最常用的統(tǒng)計(jì)方法及運(yùn)用中存在的問(wèn)題，發(fā)現(xiàn)兩種期刊報(bào)告效果量的文章分別為30篇和21篇，均僅占所分析文章總數(shù)的1.6%。因此，呼吁中國(guó)心理學(xué)會(huì)應(yīng)更加重視效果量的報(bào)告[9]。

從2014年開(kāi)始，國(guó)內(nèi)已有幾種期刊如《心理學(xué)報(bào)》、《心理學(xué)探新》、《心理發(fā)展與教育》等，在其投稿須知中明確要求定量數(shù)據(jù)分析文章在報(bào)告統(tǒng)計(jì)顯著性的同時(shí)必須報(bào)告分析結(jié)果的效應(yīng)值，這表明國(guó)內(nèi)一些期刊已經(jīng)注意到了國(guó)際上定量數(shù)據(jù)分析結(jié)果報(bào)告方法的最新動(dòng)向，并作出了相應(yīng)的要求，以促使國(guó)內(nèi)研究者改善定量數(shù)據(jù)分析結(jié)果的報(bào)告方法。

三、研究設(shè)計(jì)

(一)期刊選擇

本研究選取了6種重要的國(guó)際應(yīng)用語(yǔ)言學(xué)期刊發(fā)表于2012年第3期至2014年第2期共兩年時(shí)間的原創(chuàng)性定量數(shù)據(jù)分析文章作為研究對(duì)象，目的是考察APA出版手冊(cè)第6版和期刊編輯對(duì)效應(yīng)值報(bào)告的要求對(duì)效應(yīng)值報(bào)告與解釋現(xiàn)狀的影響，其中3種期刊(《語(yǔ)言學(xué)習(xí)》、《對(duì)外英語(yǔ)教學(xué)季刊》、《現(xiàn)代語(yǔ)言期刊》)對(duì)效應(yīng)值的報(bào)告有明確要求，另3種期刊《二語(yǔ)習(xí)得研究》、《應(yīng)用語(yǔ)言學(xué)》(AppliedLinguistics)、《二語(yǔ)寫(xiě)作期刊》(JournalofSecondLanguageWriting)對(duì)效應(yīng)值的報(bào)告沒(méi)有明確要求。選擇后3種期刊進(jìn)行對(duì)比研究的原因是，盡管這些期刊對(duì)于效應(yīng)值的報(bào)告沒(méi)有明確要求，但已有部分作者在其定量研究結(jié)果中報(bào)告了效應(yīng)值。

(二)研究問(wèn)題

第一，國(guó)外應(yīng)用語(yǔ)言學(xué)期刊定量研究效應(yīng)值報(bào)告現(xiàn)狀如何？?jī)深?lèi)期刊(對(duì)效應(yīng)值報(bào)告有和無(wú)明確要求)是否具有顯著性差異？

第二，研究者是如何報(bào)告效應(yīng)值的？哪些檢驗(yàn)方法效應(yīng)值報(bào)告比例較高？哪些效應(yīng)值報(bào)告比例較高？研究者是否報(bào)告了效應(yīng)值的置信區(qū)間？是否報(bào)告了所采用效應(yīng)值的定義、意義、計(jì)算方法和參考文獻(xiàn)？

第三，效應(yīng)值解釋現(xiàn)狀如何？?jī)深?lèi)期刊是否具有顯著性差異？

第四， 研究者是如何解釋所報(bào)告的效應(yīng)值的？

(三)分析方案

國(guó)外社會(huì)科學(xué)領(lǐng)域現(xiàn)有的效應(yīng)值報(bào)告現(xiàn)狀研究基本是以文章作為分析單位，然而大多數(shù)的定量分析文章都采用了一個(gè)以上的統(tǒng)計(jì)檢驗(yàn)方法，而有些作者只報(bào)告了其中一部分檢驗(yàn)方法結(jié)果的效應(yīng)值，因此現(xiàn)有效應(yīng)值報(bào)告現(xiàn)狀的研究結(jié)果在一定程度上夸大了效應(yīng)值報(bào)告的比例。本研究以統(tǒng)計(jì)檢驗(yàn)方法為基本分析單位，采用表1中的分析方案對(duì)每篇文章的主要定量數(shù)據(jù)統(tǒng)計(jì)檢驗(yàn)方法進(jìn)行分析，以期對(duì)應(yīng)用語(yǔ)言學(xué)期刊效應(yīng)值的報(bào)告現(xiàn)狀作出更準(zhǔn)確的描述[10]。

表1　分析方案表

四、研究結(jié)果

(一)效應(yīng)值報(bào)告現(xiàn)狀

本研究的6種期刊在2012年第3期至2014年第2期刊登的原創(chuàng)性定量數(shù)據(jù)分析文章149篇，共239個(gè)主要的統(tǒng)計(jì)檢驗(yàn)。表2是6種期刊統(tǒng)計(jì)檢驗(yàn)效應(yīng)值報(bào)告頻次和比例，6種期刊報(bào)告了效應(yīng)值的檢驗(yàn)數(shù)平均為66%，其中《語(yǔ)言學(xué)習(xí)》最高(83%)、《二語(yǔ)習(xí)得研究》最低(45%)。就兩類(lèi)期刊而言，在投稿須知中對(duì)效應(yīng)值報(bào)告有明確要求的期刊，其效應(yīng)值報(bào)告的比例均高于對(duì)效應(yīng)值報(bào)告沒(méi)有明確要求的期刊，兩類(lèi)期刊平均比例分別為78%和51%，卡方檢驗(yàn)結(jié)果顯示兩者具有統(tǒng)計(jì)顯著性差異(2= 19.06、p=0.000)，檢驗(yàn)結(jié)果效應(yīng)值為 OR = 3.39、95%CI = 1.87～6.17。

表2　效應(yīng)值報(bào)告頻次與比例表

表3　明確報(bào)告效應(yīng)值檢驗(yàn)的頻次與比例表

然而，有些統(tǒng)計(jì)檢驗(yàn)方法的結(jié)果如相關(guān)分析的r值既是統(tǒng)計(jì)量又是效應(yīng)值，部分研究者并沒(méi)有給出明確說(shuō)明，因此表2中效應(yīng)值報(bào)告比例可能偏大[11]。鑒于此，筆者又對(duì)明確報(bào)告效應(yīng)值的檢驗(yàn)比例進(jìn)行了統(tǒng)計(jì)，即作者在檢驗(yàn)方法中明確提到了效應(yīng)值、或報(bào)告的效應(yīng)值與統(tǒng)計(jì)量不同的檢驗(yàn)，統(tǒng)計(jì)結(jié)果見(jiàn)表3。6種期刊明確報(bào)告了效應(yīng)值的檢驗(yàn)數(shù)平均為40%，最高的仍是《語(yǔ)言學(xué)習(xí)》(58%)，最低的是《應(yīng)用語(yǔ)言學(xué)》(25%),兩類(lèi)期刊的平均比例分別為50%和31%，比表2中的比例分別降低了28%和20%，但仍具有統(tǒng)計(jì)顯著性差異，2= 9.59、p=0.002、OR = 2.31、95%CI =1.31～4.08。

由于目前國(guó)外應(yīng)用語(yǔ)言學(xué)、教育學(xué)、心理學(xué)等領(lǐng)域關(guān)于效應(yīng)值報(bào)告現(xiàn)狀的文章并沒(méi)有說(shuō)明所報(bào)告的比例是否為明確報(bào)告效應(yīng)值的比例，因此很難將本研究結(jié)果同其他研究進(jìn)行橫向?qū)Ρ?。例如Plonsky發(fā)現(xiàn)《語(yǔ)言學(xué)習(xí)》和《二語(yǔ)習(xí)得研究》兩種期刊在2000—2010年間發(fā)表的文章效應(yīng)值的報(bào)告比例為42%[5]。從表2表3結(jié)果看，APA出版手冊(cè)第6版出版后，國(guó)外應(yīng)用語(yǔ)言學(xué)期刊效應(yīng)值的報(bào)告比例有一定的提升，這在一定程度上表明了第6版對(duì)于效應(yīng)值報(bào)告的要求起到了一定的作用。

與APA出版手冊(cè)第6版的要求相比，期刊編輯的要求似乎更為有效。對(duì)效應(yīng)值有明確要求的期刊，效應(yīng)值的報(bào)告比例要明顯高于沒(méi)有明確要求的期刊。有明確要求的3種期刊之間也存在差異，表3顯示了《語(yǔ)言學(xué)習(xí)》和《對(duì)外英語(yǔ)教學(xué)季刊》明確報(bào)告效應(yīng)值的檢驗(yàn)比例分別為58%和54%，比《現(xiàn)代語(yǔ)言期刊》(42%)高12%以上，這是因?yàn)榍皟蓚€(gè)期刊分別在2000年和2003年就對(duì)效應(yīng)值的報(bào)告作出了要求，而后者在2013年才作出要求。因此，正如Kirk所言，期刊編輯是改變效應(yīng)值報(bào)告現(xiàn)狀的主導(dǎo)力量，編輯對(duì)效應(yīng)值報(bào)告的要求能產(chǎn)生連鎖反應(yīng)，文章作者會(huì)相應(yīng)改變對(duì)研究結(jié)果的推斷和報(bào)告方法、統(tǒng)計(jì)學(xué)專(zhuān)著作者會(huì)修改其出版物、統(tǒng)計(jì)學(xué)教師也會(huì)相應(yīng)改變課程內(nèi)容并加入對(duì)效應(yīng)值的介紹[4]。

(二)效應(yīng)值報(bào)告方式

表4是兩類(lèi)期刊不同檢驗(yàn)方法效應(yīng)值的報(bào)告比例。兩類(lèi)期刊在相關(guān)分析和回歸分析檢驗(yàn)方法上效應(yīng)值的報(bào)告比例均達(dá)到100%。在其他3類(lèi)檢驗(yàn)方法上，兩類(lèi)期刊有明顯差異，對(duì)效應(yīng)值報(bào)告有明確要求期刊的報(bào)告比例均高于沒(méi)有要求的期刊。兩類(lèi)期刊方差分析效應(yīng)值報(bào)告比例分別為81%和57%,2= 6.49、p=0.011、OR = 3.19、95%CI = 1.28～7.95；t檢驗(yàn)效應(yīng)值報(bào)告比例分別為56%和29%,2=3.49、p=0.062、OR=3.18、95%CI=0.93～10.92；非參數(shù)檢驗(yàn)效應(yīng)值報(bào)告比例最低，分別為47%和17%,2=3.78、p=0.052、OR = 4.16、95%CI=0.95～18.27。兩類(lèi)期刊的相關(guān)分析和回歸分析效應(yīng)值報(bào)告比例達(dá)到100%，主要是因?yàn)檫@兩種方法的檢驗(yàn)結(jié)果如相關(guān)分析的r值，是SPSS統(tǒng)計(jì)軟件可以直接輸出的結(jié)果，既是統(tǒng)計(jì)量又是效應(yīng)值，而t檢驗(yàn)和非參數(shù)檢驗(yàn)SPSS輸出的結(jié)果不包括效應(yīng)值，需要手動(dòng)或借助其他軟件進(jìn)行計(jì)算。值得注意的是，盡管SPSS輸出的方差分析結(jié)果中包含效應(yīng)值，但兩類(lèi)期刊方差分析效應(yīng)值報(bào)告比例分別僅為81%和57%。

表4　不同檢驗(yàn)方法效應(yīng)值報(bào)告比例表

注：*包括卡方檢驗(yàn)、Mann-Whitney、Wilcoxon Signed-Rank和Kruskal-Wallis檢驗(yàn)。

表5　不同檢驗(yàn)方法報(bào)告的效應(yīng)值類(lèi)型及頻次表

在效應(yīng)值置信區(qū)間報(bào)告方面，6種期刊共有157個(gè)統(tǒng)計(jì)檢驗(yàn)報(bào)告了效應(yīng)值，但只有兩個(gè)檢驗(yàn)(《語(yǔ)言學(xué)習(xí)》和《二語(yǔ)習(xí)得研究》各一個(gè))報(bào)告了效應(yīng)值的置信區(qū)間，比例僅為1.3%，該結(jié)果與現(xiàn)有的關(guān)于效應(yīng)值報(bào)告現(xiàn)狀的研究結(jié)果一致，即效應(yīng)值置信區(qū)間的報(bào)告比例基本為零[12]。早在2001年，APA出版手冊(cè)第5版就指出置信區(qū)間是代表最好的研究結(jié)果報(bào)告方法，因此極力建議研究者報(bào)告效應(yīng)值的置信區(qū)間。APA出版手冊(cè)第6版也要求研究者盡可能地報(bào)告效應(yīng)值的置信區(qū)間，因?yàn)橹眯艆^(qū)間的報(bào)告不僅有助于理解效應(yīng)值點(diǎn)估計(jì)的準(zhǔn)確性，而且有助于比較不同研究的效應(yīng)值。

表6　效應(yīng)值定義、意義、計(jì)算方法或參考文獻(xiàn)

表6是兩類(lèi)期刊報(bào)告效應(yīng)值時(shí)對(duì)效應(yīng)值的定義、意義、計(jì)算方法或參考文獻(xiàn)進(jìn)行說(shuō)明的頻次和比例。兩類(lèi)期刊分別有27個(gè)(26%)和14個(gè)(25%)統(tǒng)計(jì)檢驗(yàn)方法在報(bào)告效應(yīng)值的同時(shí)提供了效應(yīng)值的意義或計(jì)算方法或參考文獻(xiàn)，各有75(74%)個(gè)和21個(gè)(75%)檢驗(yàn)方法對(duì)所采用的效應(yīng)值沒(méi)有進(jìn)行任何說(shuō)明。兩類(lèi)期刊之間沒(méi)有統(tǒng)計(jì)顯著性，2=0.02、p=0.890、效應(yīng)值為OR = 1.05、95%CI = 0.50～2.23。在本研究分析的149篇文章中，只有1篇對(duì)所采用的效應(yīng)值給予了充分的說(shuō)明，既解釋了效應(yīng)值的定義和意義，也提供了效應(yīng)值的計(jì)算方法和參考文獻(xiàn)[14]。

Third, the differences among the four groups’ gain scores were investigated by calculating effect sizes using Cohen’sd(Cohen, 1988) ...Because of the lack of previous studies in this area, we used Cohen’s tentative guidelines to estimate the magnitude of the effect sizes. Cohen defined effect sizes as small (d=0.20), medium (d=0.50), and large (d=0.80). (p. 681)

... ohen’sd, a scale-free measure of the separation between two group means, is calculated by dividing the difference between group means by the pooled standard deviation or the standard deviation of the IR Group. The resulting measure is the difference between the group means expressed in standard deviation units. For instance, a d of 0.50 is an indication that one-half of a standard deviation separates the two measures... Finally, effect sizes can be conceptualized in terms of the percent of nonoverlap in the distribution of one group’s scores with that of another group. For instance, an effect size (d) of 0.8 corresponds to a nonoverlap of 47.4% in two distributions. (p. 698)

(三)效應(yīng)值解釋現(xiàn)狀

6種期刊共有157個(gè)統(tǒng)計(jì)檢驗(yàn)報(bào)告了效應(yīng)值，其中對(duì)效應(yīng)值進(jìn)行了解釋的統(tǒng)計(jì)檢驗(yàn)個(gè)數(shù)為83，占53%。對(duì)效應(yīng)值有明確要求和無(wú)明確要求的兩類(lèi)期刊分別有49和34個(gè)統(tǒng)計(jì)檢驗(yàn)對(duì)效應(yīng)值進(jìn)行了解釋?zhuān)壤謩e為48%和34%，卡方檢驗(yàn)顯示兩者之間沒(méi)有統(tǒng)計(jì)顯著性差異(2=2.72、p=0.099)，效應(yīng)值為OR = 0.57、95%CI = 0.29～1.11(表7)。盡管對(duì)效應(yīng)值報(bào)告有明確要求和無(wú)明確要求的兩類(lèi)期刊在效應(yīng)值的解釋比例上沒(méi)有統(tǒng)計(jì)顯著性差異，而且前一類(lèi)期刊效應(yīng)值的報(bào)告比例要顯著高于后一類(lèi)期刊，但對(duì)效應(yīng)值報(bào)告沒(méi)有明確要求的期刊效應(yīng)值的解釋比例要比有明確要求期刊高14%，該結(jié)果與Alhija和Levy的研究結(jié)果基本一致，他們的研究結(jié)果表明，對(duì)效應(yīng)值報(bào)告有明確要求和沒(méi)有明確要求的期刊效應(yīng)值的解釋比例分別為55%和57%，兩者之間也沒(méi)有統(tǒng)計(jì)顯著性差異[10]。后一類(lèi)期刊在投稿要求中對(duì)效應(yīng)值沒(méi)有明確要求，而部分研究者卻主動(dòng)報(bào)告了統(tǒng)計(jì)檢驗(yàn)結(jié)果的效應(yīng)值，這表明此部分作者可能對(duì)效應(yīng)值比較熟悉或有所了解，因此對(duì)效應(yīng)值的報(bào)告也更為完整，并在報(bào)告效應(yīng)值的同時(shí)對(duì)效應(yīng)值作出了解釋。

表7　效應(yīng)值解釋頻次和比例表

(四)效應(yīng)值解釋方式

盡管表7顯示兩類(lèi)期刊共有83個(gè)統(tǒng)計(jì)檢驗(yàn)，占53%，對(duì)所報(bào)告的效應(yīng)值進(jìn)行了解釋?zhuān)渲?0個(gè)(96%)統(tǒng)計(jì)檢驗(yàn)只是根據(jù)Cohen提出的各類(lèi)效應(yīng)值大、中、小的經(jīng)驗(yàn)標(biāo)準(zhǔn)對(duì)效應(yīng)值的大小進(jìn)行了簡(jiǎn)單說(shuō)明[15]40。83個(gè)統(tǒng)計(jì)檢驗(yàn)中僅有3個(gè)對(duì)效應(yīng)值大小的實(shí)際意義作出了說(shuō)明，例如Zhang對(duì)其研究結(jié)果的效應(yīng)值作了如下解釋[16]：

Result showed a significant difference between the pre-test and post-test scores (t=6.663,p=0.000). To detect the effect size of this difference, Cohen’sdwas computed using the mean score and standard deviations, and the result showed a large effect size (d=2.08). This means that at post-test, the students on average improved their writing quality by 1.6 points on a 6-point scoring scale. (p. 59)

目前，社會(huì)科學(xué)領(lǐng)域研究者在效應(yīng)值的解釋上對(duì)Cohen解釋標(biāo)準(zhǔn)的過(guò)度依賴，主要是由于各個(gè)學(xué)科領(lǐng)域缺乏適合自身學(xué)科特點(diǎn)的解釋標(biāo)準(zhǔn)。不同學(xué)科領(lǐng)域?yàn)閿?shù)不多的關(guān)于效應(yīng)值解釋標(biāo)準(zhǔn)的研究也顯示了與Cohen標(biāo)準(zhǔn)不一樣的結(jié)果。Olejnik等人對(duì)教育學(xué)領(lǐng)域前人研究的分析表明，較大的效應(yīng)值在0.246到0.372之間[17]，這比Cohen的標(biāo)準(zhǔn)要小很多。Ferguson在對(duì)前人研究進(jìn)行分析后總結(jié)出的社會(huì)學(xué)領(lǐng)域的解釋標(biāo)準(zhǔn)比Cohen的標(biāo)準(zhǔn)要大很多，d=0.41、1.15、2.70分別為小、中、大效應(yīng)值標(biāo)準(zhǔn)[1]。在二語(yǔ)習(xí)得領(lǐng)域，Plonsky等人比較了346個(gè)原創(chuàng)性研究和91個(gè)元分析研究后，提出的二語(yǔ)習(xí)得領(lǐng)域效應(yīng)值標(biāo)準(zhǔn)分別為d=0.40、0.70、1.00[18]。

許多研究者(包括Cohen自己)也指出，研究者在解釋定量數(shù)據(jù)分析研究結(jié)果效應(yīng)值時(shí)不能機(jī)械地照搬現(xiàn)有的標(biāo)準(zhǔn)。研究者應(yīng)結(jié)合自己的研究領(lǐng)域和研究設(shè)計(jì)，將自己研究結(jié)果的效應(yīng)值與同領(lǐng)域前人研究結(jié)果的效應(yīng)值進(jìn)行對(duì)比分析和解釋?zhuān)赋鲅芯拷Y(jié)果是否具有實(shí)際意義，同時(shí)報(bào)告效應(yīng)值的置信區(qū)間[19]。這樣，經(jīng)過(guò)不斷地積累和元分析者的努力，各個(gè)研究領(lǐng)域就能制定出適合自身特點(diǎn)的效應(yīng)值解釋標(biāo)準(zhǔn)，而機(jī)械地照搬Cohen提出的解釋標(biāo)準(zhǔn)，則會(huì)又一次陷入顯著性檢驗(yàn)以點(diǎn)為界二分決策的錯(cuò)誤中。因此，社會(huì)科學(xué)各領(lǐng)域的研究者應(yīng)加強(qiáng)對(duì)效應(yīng)值解釋標(biāo)準(zhǔn)的研究。

五、總結(jié)與建議

從研究結(jié)果可以看出，應(yīng)用語(yǔ)言學(xué)領(lǐng)域效應(yīng)值的報(bào)告與解釋現(xiàn)狀有較大的提升空間。因此，本文就改進(jìn)效應(yīng)值報(bào)告與解釋現(xiàn)狀提出如下建議：第一，研究者應(yīng)根據(jù)自己的研究設(shè)計(jì)、所采用的統(tǒng)計(jì)檢驗(yàn)方法以及對(duì)數(shù)據(jù)的探索分析選用適當(dāng)效應(yīng)值，并對(duì)所采用的效應(yīng)值的意義、計(jì)算方法和參考文獻(xiàn)給予適當(dāng)?shù)恼f(shuō)明；第二，在報(bào)告檢驗(yàn)結(jié)果效應(yīng)值的同時(shí)，要報(bào)告效應(yīng)值的置信區(qū)間以提高效應(yīng)值點(diǎn)估計(jì)的準(zhǔn)確性；第三，報(bào)告所有統(tǒng)計(jì)檢驗(yàn)方法結(jié)果的效應(yīng)值，包括統(tǒng)計(jì)顯著性大于臨界值的統(tǒng)計(jì)結(jié)果，因?yàn)槭苎芯繕颖救萘康挠绊懀芯拷Y(jié)果的統(tǒng)計(jì)顯著性和實(shí)際顯著性很多時(shí)候并不完全匹配；第四，結(jié)合前人研究結(jié)果，對(duì)自己研究結(jié)果的效應(yīng)值大小給予明確解釋?zhuān)坏谖澹鐣?huì)科學(xué)領(lǐng)域的期刊應(yīng)對(duì)定量數(shù)據(jù)分析效應(yīng)值的報(bào)告提出明確的要求，期刊編輯是改變效應(yīng)值報(bào)告與解釋現(xiàn)狀的主導(dǎo)力量。

參考文獻(xiàn)：

[1]Ferguson C. An Effect Size Primer: A Guide for Clinicians and Researchers[J]. Professional Psychology: Research and Practice, 2009(5).

[2]Sun S, Pan W, Wang L. A Comprehensive Review of Effect Size Reporting and Interpreting Practices in Academic Journals in Education and Psychology[J]. Journal of Educational Psychology, 2010(4).

[3]American Psychological Association. Publication Manual of the American Psychological Association (4th/5th/6th ed.)[M]. Washington, DC: Author, 1994.

[4]Kirk R E. Practical Significance: A Concept Whose Time Has Come[J]. Educational and Psychological Measurement, 1996(5).

[5]Plonsky L. Study Quality in Quantitative L2 Research (1990-2010): A Methodological Synthesis and Call for Reform[J]. The Modern Language Journal, 2014(1).

[6]胡竹菁, 戴海琦. 方差分析的統(tǒng)計(jì)檢驗(yàn)力和效果大小的常用方法比較[J]. 心理學(xué)探新, 2011(3).

[7]蒲顯偉. 定量數(shù)據(jù)分析效應(yīng)值研究綜述[J]. 統(tǒng)計(jì)與信息論壇, 2014(11).

[8]蒲顯偉. 定量數(shù)據(jù)分析效應(yīng)值：意義、計(jì)算與解釋[J]. 心理學(xué)探新, 2016(1).

[9]焦璨. 心理研究中統(tǒng)計(jì)方法應(yīng)用的無(wú)分析——以《心理學(xué)報(bào)》、《心理科學(xué)》(1998-2008)統(tǒng)計(jì)方法應(yīng)用為例[J]. 心理科學(xué), 2010(1).

[10]Alhija F N, Levy A. Effect Size Reporting Practices in Published Articles[J]. Education and Psychological Measurement, 2009(2).

[11]Matthews M S， et al. Evaluating the State of a Field: Effect Size Reporting in Gifted Education[J]. The Journal of Experimental Education, 2008(1).

[12]Fritz C, Morris P, Richler J. Effect Size Estimates: Current Use, Calculations, and Interpretation[J]. Journal of Experiemtnal Psychology: General, 2012(1).

[13]Peng C Y, Chen L T, Chiang H M, et al. The Impact of APA and AERA Guidelines on Effect Size Reporting[J]. Educational Psychology Review, 2013(2).

[14]Beglar D, Hunt A, Kite Y. The Effect of Pleasure Reading on Japanese University EFL Learners’ Reading Rates [J]. Language Learning, 2012(3).

[15]Cohen J. Statistical Power Analysis for the Behavioral Sciences[M]. 2nd ed.Hillsdale, NJ: Erlbaum, 1988.

[16]Zhang C. Effect of Instruction on ESL Students' Synthesis Writing[J]. Journal of Second Language Writing, 2013(1).

[17]Olejnik S, Algina J. Measures of Effect Size for Comparative Studies: Applications, Interpretations, and Limitations[J]. Contemporary Educational Psychology, 2000(3).

[18]Plonsky L, Oswald F. How big is “big”? Interpreting Effect Sizes in L2 Research[J]. Language Learning, 2014(4).

[19]Larson-Hall J, Plonsky L. Reporting and Interpreting Quantitative Research Findings: What Gets Reported and Recommendations for the Field[J]. Language Learning, 2015(S1).

Effect Size Reporting and Interpreting Practices in International Academic Journals in Applied Linguistics

PU Xian-wei, LU Lei-na

(School of Foreing Studies， Nanjing University of Science and Technology, Nanjing 210094, China)

Abstract:Considering the problems related to null hypothesis significance testing, the 6th APA Publication Manual (2010) and the editorial policies of many journals require the reporting of effect sizes

Key words:effect sizes; reporting; interpreting

收稿日期：2015-11-27；修復(fù)日期：2016-03-03

基金項(xiàng)目：中央高?；究蒲袠I(yè)務(wù)費(fèi)專(zhuān)項(xiàng)資金項(xiàng)目《國(guó)際應(yīng)用語(yǔ)言學(xué)期刊效應(yīng)值報(bào)告現(xiàn)狀研究》(NJUSTWGY14001)；江蘇省社會(huì)科學(xué)基金項(xiàng)目《中美大學(xué)生社會(huì)責(zé)任教育方式比較研究》(13JYC014)；南京理工大學(xué)教改項(xiàng)目《英語(yǔ)專(zhuān)業(yè)創(chuàng)新實(shí)驗(yàn)教學(xué)體系建設(shè)》

作者簡(jiǎn)介：蒲顯偉，男，四川南江人，外國(guó)語(yǔ)言學(xué)及應(yīng)用語(yǔ)言學(xué)博士，講師，研究方向：二語(yǔ)習(xí)得，應(yīng)用統(tǒng)計(jì)分析；

中圖分類(lèi)號(hào)：C32

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1007-3116(2016)05-0077-07

陸雷娜，女，江蘇江陰人，博士生，講師，研究方向：語(yǔ)言學(xué)，教育學(xué)。

【統(tǒng)計(jì)應(yīng)用研究】