熊紅星 張璟 葉寶娟 鄭雪 孫配貞
摘要共同方法變異(common method variance,CMV)指兩個(gè)變量之間變異的重疊是因?yàn)槭褂猛悳y(cè)量工具而導(dǎo)致,而不是代表潛在構(gòu)念之間的真實(shí)關(guān)系。雖然以往研究顯示CMV不一定導(dǎo)致研究結(jié)果的偏差,在實(shí)際研究中應(yīng)當(dāng)加以考量。特別是在使用測(cè)量方法的研究中,如果數(shù)據(jù)來源越單一,測(cè)量方法越類似,CMV效應(yīng)使研究結(jié)果產(chǎn)生偏差的可能性越大。CMV效應(yīng)的控制方法包括過程控制法和統(tǒng)計(jì)控制法。在統(tǒng)計(jì)控制法的選擇和使用上,需要重點(diǎn)考慮該方法是否分離了三大變異(特質(zhì)變異、方法變異和誤差變異),CMV效應(yīng)是在測(cè)量構(gòu)念層面還是題目層面,CMV效應(yīng)是加法效應(yīng)還是乘法效應(yīng)??刂茲撛诜椒ㄒ蜃油緩绞墙y(tǒng)計(jì)控制方法中最重要的一類方法,理解其模型是正確使用這類方法的前提。未來研究應(yīng)當(dāng)關(guān)注多個(gè)研究的CMV效應(yīng)和側(cè)重評(píng)估某個(gè)理論研究中CMV所引起的潛在的效度威脅。
關(guān)鍵詞共同方法變異;共同方法偏差;共同方法變異統(tǒng)計(jì)控制途徑;驗(yàn)證性因素分析
分類號(hào)B841
1引言
國外對(duì)方法變異的關(guān)注自1959年Campbell和Fiske用多特質(zhì)多方法模型計(jì)算聚合效度和區(qū)分效度之后就開始。方法變異是由測(cè)量方法導(dǎo)致的系統(tǒng)誤差變異;共同方法變異指兩個(gè)變量之間變異的重疊是因?yàn)槭褂猛悳y(cè)量工具而導(dǎo)致,而不是代表潛在構(gòu)念之間的真實(shí)關(guān)系(Teo,2011)。例如,研究自我提升與自尊的關(guān)系時(shí),如果都是用相同方法如自陳問卷法收集數(shù)據(jù),那么二者之間的相關(guān)很可能有一部分是因?yàn)檫@種測(cè)量方法引起,而不是自我提升與自尊的真實(shí)相關(guān)。使用相同方法測(cè)量每個(gè)變量很可能產(chǎn)生變量間的虛假相關(guān)。在調(diào)查研究中常見。如果研究數(shù)據(jù)收自單一來源(評(píng)分者或被試),自陳又是唯一的作答方式,那么這種收集資料的方法更容易受到CMV的影響(Lindell&Whitney,2001)。
CMV和共同方法偏差(common method bias,CMB)都是與方法變異(method variance,MV)相關(guān)的名詞,但含義有一定的差異。CMV側(cè)重于指因采用了相同的方法而導(dǎo)致的與所研究的構(gòu)念無關(guān)的變異;CMB是指當(dāng)兩個(gè)變量使用相同的受測(cè)者測(cè)量時(shí),導(dǎo)致兩個(gè)變量之間的關(guān)系偏離“真分?jǐn)?shù)相關(guān)”而引起虛假相關(guān)的程度(spector,1987)。CMB講的是CMV導(dǎo)致的偏差性結(jié)果。顯然,CMV概念使用的靈活性比CMB要大得多。
CMV是用相同方法(或相同評(píng)價(jià)者)測(cè)量的變量之間共有的系統(tǒng)誤差變異(Richardson,Simmering,&Sturman,2009)。相對(duì)于研究者在實(shí)施調(diào)查研究時(shí)遇到的其它問題(如無作答偏向、信度或者內(nèi)外部效度的問題),CMV可能更麻煩,因?yàn)樗軐?dǎo)致相當(dāng)一部分變異,并且是調(diào)查研究中的系統(tǒng)誤差的主要影響因素。
Podsakoff,MacKenzie,Lee和Podsakoff(2003)對(duì)共同方法偏差及控制方法作了較好的綜述。國內(nèi)學(xué)者周浩和龍立榮(2004)對(duì)把共同方法偏差的統(tǒng)計(jì)控制方法作了較好的介紹。此后,隨著學(xué)者對(duì)共同方法變異的研究深入,出現(xiàn)了一些關(guān)于共同方法變異的新的觀點(diǎn)和方法。新的觀點(diǎn)如CMV的影響不僅限于同一研究中的不同構(gòu)念,CMV控制需要具體化等。新的方法如方法一方法配對(duì)技術(shù)、基于認(rèn)知取向心理測(cè)量理論的過程控制法等。同時(shí),研究者使用CMV統(tǒng)計(jì)控制諸法時(shí),也遇到了一些新的問題,如使用不同統(tǒng)計(jì)控制方法得到的結(jié)果不同,有的研究者在選擇方法時(shí)往往忽視某種方法選擇的基本前提而導(dǎo)致誤用等實(shí)際操作問題。這些問題的關(guān)鍵在于有的研究者可能對(duì)各種控制方法的基本原理與模型認(rèn)識(shí)不夠充分。此文將在以往文獻(xiàn)的基礎(chǔ)上,重點(diǎn)介紹有關(guān)CMV影響的新觀點(diǎn),并且進(jìn)一步分析一些易誤用的CMV統(tǒng)計(jì)控制方法的模型,以幫助研究者更好地理解CMV和選用合適的統(tǒng)計(jì)控制方法。
2共同方法變異的影響
CMV效應(yīng)是測(cè)驗(yàn)中的一個(gè)主要的潛在效度威脅,因?yàn)樗鼮橛^測(cè)到的變量之間的關(guān)系提供了另外一種解釋。從理論上講,CMV會(huì)膨脹(inflate)也會(huì)緊縮(deflate)觀測(cè)到的關(guān)系。Siemsen,Roth和Oliveira(2010)研究發(fā)現(xiàn)CMV是膨脹還是緊縮觀測(cè)相關(guān),取決于CMV對(duì)觀測(cè)變量影響的對(duì)稱度。
需要注意的是,CMV并不一定意味著會(huì)使變量之間的相關(guān)上偏。因?yàn)槿绻麥y(cè)量值相關(guān)的膨脹幅度很小的話,方法效應(yīng)即使顯著也不是一個(gè)很大的問題。因此,重要的研究問題不是CMV效應(yīng)是不是顯著,而是CMB是不是很大(Meade,Watson,&Kroustalis,2007)。
方法變異產(chǎn)生的原因是多方面的。Podsakoff等(2003)據(jù)此總結(jié)了四種方法變異效應(yīng):相同評(píng)分者效應(yīng)(也叫同源效應(yīng))、題目特點(diǎn)效應(yīng)、題目背景效應(yīng)和測(cè)驗(yàn)背景效應(yīng)。由此可以看出,方法變異不僅影響到同一個(gè)研究多個(gè)構(gòu)念之間的關(guān)系(四種效應(yīng)都可能存在),也影響到單個(gè)構(gòu)念自身的測(cè)量(題目特點(diǎn)效應(yīng)和題目背景效應(yīng)),還能影響到同一理論構(gòu)建的不同研究之間的關(guān)系(主要是題目特點(diǎn)效應(yīng)和題目背景效應(yīng))。
在考查預(yù)測(cè)變量和效標(biāo)變量關(guān)系,特別是它們用了共同的測(cè)量方法時(shí),應(yīng)當(dāng)要考慮如何減小CMV的影響。同時(shí),在研究系列預(yù)測(cè)變量?jī)?nèi)部之間關(guān)系和一系列效標(biāo)變量?jī)?nèi)部之間關(guān)系時(shí),也要考慮CMV的影響。尤其是當(dāng)研究存在高階潛構(gòu)念時(shí),需要區(qū)分低層的維度相關(guān)是真實(shí)的維度重疊還是因?yàn)楣餐椒ㄔ斐傻闹丿B(Johnson,Rosen,&Djurdjevic,2011)。例如,核心自信和積極心理資本在管理學(xué)研究中作為一個(gè)高階構(gòu)念,包含了自我效能、樂觀、希望和心理彈性等低層維度。大多數(shù)低層的維度之間是相關(guān)的,非常有必要分離這些維度之間的真實(shí)相關(guān)的變異和CMV。為了保證高階因子測(cè)量的內(nèi)部效度,做這樣的分離是十分必要的。
除了關(guān)注問卷研究中CMV對(duì)構(gòu)念間關(guān)系造成解釋的偏差之外,很多研究者忽視了單個(gè)測(cè)驗(yàn)自身存在的方法變異效應(yīng)(如題目特點(diǎn)效應(yīng)和題目背景效應(yīng),當(dāng)問卷題目用共同的作答形式時(shí),方法變異效應(yīng)是最明顯的)。單個(gè)測(cè)驗(yàn)自身的方法變異會(huì)膨脹alpha系數(shù)及與此相關(guān)的效度,還會(huì)影響測(cè)量的標(biāo)準(zhǔn)誤和有效上限。在經(jīng)典測(cè)驗(yàn)理論中,觀測(cè)分?jǐn)?shù)變異是真分?jǐn)?shù)變異和隨機(jī)誤差分?jǐn)?shù)變異之和。方法變異是測(cè)驗(yàn)題目間的共同變異,不能歸于要測(cè)量的構(gòu)念,但在經(jīng)典測(cè)驗(yàn)理論中方法變異被作為真分?jǐn)?shù)變異一部分,于是用這個(gè)真分?jǐn)?shù)變異來代表構(gòu)念引起的變異,可能導(dǎo)致信度系數(shù)的膨脹。
CMV還能影響到某一研究領(lǐng)域的不同研究之間觀測(cè)到的關(guān)系(Sharma,Yetton,&Crawford。2009)。如果同一理論領(lǐng)域的不同實(shí)證研究用了相同的方法,如問卷法,方法效應(yīng)也會(huì)在研究間存在。3統(tǒng)計(jì)控制途徑的模型
共同方法變異的控制包括過程控制和統(tǒng)計(jì)控制的方法。過程控制就是在研究設(shè)計(jì)上,針對(duì)各種可能的方法變異來源,加以事先的控制。而統(tǒng)計(jì)控制是通過統(tǒng)計(jì)手段,減少方法變異對(duì)測(cè)驗(yàn)內(nèi)或測(cè)驗(yàn)間研究結(jié)果的影響。按方法變異的影響范圍,統(tǒng)計(jì)控制方法可以分為三個(gè)方面:對(duì)單個(gè)測(cè)驗(yàn)內(nèi)的方法變異影響的控制,對(duì)同一研究中不同構(gòu)念間的CMV影響的控制和不同研究間的CMV的控制。目前討論得最多且控制方法最為豐富的就是同一研究中不同構(gòu)念測(cè)量間的CMV影響的統(tǒng)計(jì)控制。
Sharma等(2009)按研究中使用的測(cè)量方法的多少將統(tǒng)計(jì)控制方法分為兩大類:一類為單一研究方法設(shè)計(jì)中的CMV統(tǒng)計(jì)控制法,如偏相關(guān)途徑和單一方法潛因子方途徑;另一類多方法研究設(shè)計(jì)中的CMV統(tǒng)計(jì)控制法。這類方法需要研究者用多個(gè)特質(zhì)把每個(gè)變量操作化(operationalize)并用多種方法來測(cè)量每個(gè)特質(zhì)(campbell&Fiske1959),即多特質(zhì)一多方法(mulfitrait-multimethod,MTMM)法。具體的方法有:相關(guān)的特質(zhì)一相關(guān)的方法模型(correlated trait-correlated method model,CTCM)法、相關(guān)的獨(dú)特變異量模型(correlatedtrait-correlated uniqueness model,CTCU或cu)法、直積模型(direct product model,DP)法和二階因素分析模型法(second-order confirmatory factoranalysis)等。針對(duì)不同研究中的CMV的統(tǒng)計(jì)控制,Sharma等(2009)提出了方法一方法配對(duì)技術(shù)(method-method paired technology)。
Harman的單一因子檢驗(yàn)法(Harman''sSingle-Factor Test)只是一種粗略的檢測(cè)法,不能對(duì)CMV進(jìn)行控制。有多篇文獻(xiàn)(Podsakoff et a1,,2003;周浩,龍立榮,2004;彭臺(tái)光,高月慈,林鉦棽,2006)比較清楚地介紹了,不詳述。鑒于方法一方法配對(duì)技術(shù)主要用于多個(gè)研究之間的CMV控制,不作介紹。
同一研究中CMV的統(tǒng)計(jì)控制,有兩個(gè)重要的問題需要考慮:第一,CMV的影響是加法效應(yīng)還是乘法效應(yīng)?當(dāng)方法效應(yīng)存在依賴于測(cè)量的特質(zhì)之間的相關(guān)大小時(shí),特質(zhì)與方法的乘法形式的交互作用存在了。例如,當(dāng)特質(zhì)與特質(zhì)相關(guān)越高,方法效應(yīng)就越大,那么方法與特質(zhì)之間的交互作用就存在了(campbell&O''Connell,1967)。CTCM模型法和CU模型法的前提就是假設(shè)方法效應(yīng)為加法效應(yīng),也就是說,方法效應(yīng)的大小與特質(zhì)和特質(zhì)之間的相互相關(guān)沒有關(guān)系(Becker&Cote,1994)。在以下提到的幾種統(tǒng)計(jì)控制方法中,DP模型法和二階因素分析模型法考慮了乘法效應(yīng)。第二,CMV的影響是在測(cè)驗(yàn)題目層面還是構(gòu)念層面?題目層面的影響是指CMV只會(huì)在題目層面產(chǎn)生與研究構(gòu)念無關(guān)變異。構(gòu)念層面的影響是指方法因素直接影響構(gòu)念,使得測(cè)驗(yàn)測(cè)量的構(gòu)念偏離了原本想測(cè)的構(gòu)念的性質(zhì)。偏相關(guān)的三種方法都不能區(qū)分方法變異到底產(chǎn)生哪種影響。
3.1偏相關(guān)途徑(Partial Correlation Approaches)
偏相關(guān)途徑的基本思想是把方法變異作為控制變量,通過偏相關(guān)控制方法變異的影響。有三種偏相關(guān)途徑:控制已測(cè)方法變量的偏相關(guān)法、控制標(biāo)記變量的偏相關(guān)法和控制第一方法因子變量的偏相關(guān)法。區(qū)別此三者的關(guān)鍵在于方法變異的產(chǎn)生方式或替代不同。這類方法的一個(gè)共同優(yōu)點(diǎn)是簡(jiǎn)單易行。共同的不足是在測(cè)量研究變量和方法變量時(shí)均無法考慮測(cè)量誤差,難以區(qū)分構(gòu)念層面和題目層面的CMV影響,而且所選擇的方法變異代替變量往往不能代表大多數(shù)方法變異。
有多篇文獻(xiàn);周浩,龍立榮,2004;彭臺(tái)光等,2006)比較清楚地介紹了偏相關(guān)途徑及其具體操作,在此不詳述。只對(duì)其中一個(gè)重要問題進(jìn)行補(bǔ)充??刂凭C合方法因子變量的偏相關(guān)途徑的綜合因子的測(cè)量指標(biāo)怎么求?彭臺(tái)光等(2006)在文章中介紹,把在綜合因子上負(fù)荷高的題目刪除后,剩余題目再求構(gòu)念觀測(cè)值及其相關(guān)。這其實(shí)不是偏相關(guān)法:控制變量沒有了。也會(huì)產(chǎn)生嚴(yán)重的問題,刪除一部分題目后,很可能破壞了原假設(shè)的構(gòu)念的結(jié)構(gòu),使用剩下來的題目算出的構(gòu)念觀測(cè)量與原假設(shè)構(gòu)念在性質(zhì)上有所不同,所以這種方法不可取。
3.2單一方法潛因子途徑(Single Method-Factor Approaches)
單一方法潛因子途徑主要用于研究的構(gòu)念用了同一種方法進(jìn)行測(cè)量時(shí)的CMV控制,通過結(jié)構(gòu)方程模型來實(shí)現(xiàn)。在結(jié)構(gòu)方程中,所有測(cè)量構(gòu)念的題目除了負(fù)荷在所屬的構(gòu)念因子上,還負(fù)荷在單一的方法潛因子上。有兩種方法,其主要區(qū)別在于方法因子的產(chǎn)生方式不同。而控制未測(cè)方法潛因子法沒有單獨(dú)的測(cè)量方法因子,方法因子負(fù)荷只來自所有測(cè)量構(gòu)念的題目。
3.2.1控制已測(cè)單一方法潛因子法
已測(cè)方法潛因子法測(cè)量了預(yù)先設(shè)想影響很大的方法變異,如社會(huì)贊許性、積極情緒或消極情緒等,并設(shè)計(jì)了一定的題目對(duì)其進(jìn)行測(cè)量。此方法的因素分析模型中,所有測(cè)量構(gòu)念的題目除了負(fù)荷在所屬的構(gòu)念因子上,還負(fù)荷在同一個(gè)方法潛因子上。而且方法潛因子的負(fù)荷一方面有來自所有測(cè)量構(gòu)念的題目,另一方面還有來自對(duì)社會(huì)贊許等方法變異測(cè)量的題目。這模型通過明確納入方法潛因子在每個(gè)觀測(cè)指標(biāo)上的效應(yīng)來控制CMV(Meade et al.,2007)。比較有無方法潛因子的結(jié)構(gòu)參數(shù)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。其變異分析思想是,測(cè)量構(gòu)念的題目的分?jǐn)?shù)變異可以分為:對(duì)應(yīng)的特質(zhì)變異、方法變異和測(cè)量誤差;方法因子測(cè)量題目分?jǐn)?shù)變異可分為:方法變異和測(cè)量誤差變異。
此模型的變量與因子從屬關(guān)系見圖1。
此方法有假設(shè)前提上的不足,如假設(shè)研究能確定所有的CMV來源并能有效測(cè)量之且假設(shè)方法的效應(yīng)為加法效應(yīng)。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。例如要研究自我提升(預(yù)測(cè)變量,表示為T1)與自尊(效標(biāo)變量,表示為T2)的關(guān)系,根據(jù)相關(guān)理論,社會(huì)贊許性(方法變量,表示為M)對(duì)T1和T2的測(cè)量均會(huì)產(chǎn)生影響,是一個(gè)主要的方法變異引起因素,現(xiàn)分別用相應(yīng)的量表對(duì)T1、T2和M進(jìn)行測(cè)量。
第二步,建構(gòu)有方法潛因子的模型(Model)。Model的變量與因子從屬關(guān)系類似于圖1所示,通過結(jié)構(gòu)方程模型可以得到相關(guān)的模型參數(shù)。
第三步,建構(gòu)無方法潛因子的竟比模型(Model'')。Model''中,測(cè)量T1、T2的題目對(duì)應(yīng)負(fù)荷的潛因子T1、T2上。不考慮方法因子。
第四步,比較兩個(gè)模型的擬合指標(biāo)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
第五步,結(jié)果選擇。如果CMV影響存在,則應(yīng)當(dāng)選擇控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
3.2.2控制未測(cè)單一方法潛因子法
此方法的因素分析模型中,所有測(cè)量構(gòu)念的題目除了負(fù)荷在所屬的構(gòu)念因子上,還負(fù)荷在同一個(gè)方法潛因子上??筛鶕?jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。其變異分析思想是,測(cè)量構(gòu)念的題目的分?jǐn)?shù)變異可以分為:對(duì)應(yīng)的特質(zhì)變異、方法變異和測(cè)量誤差。
此模型的變量與因子從屬關(guān)系見圖2。
此方法的優(yōu)點(diǎn)在于不需要事先測(cè)量方法因子,不足在于無法確定CMV的具體原因。
以上兩種單一方法潛因子途徑的優(yōu)點(diǎn)有:第一,方法因子構(gòu)建在測(cè)量題目層面;第二,構(gòu)念分?jǐn)?shù)是排除方法和誤差變異后的分?jǐn)?shù),能較好地代表構(gòu)念;第三,考慮了測(cè)量誤差。不足在于CMV的加法效應(yīng)假設(shè)可能難以滿足。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。例如要研究自我提升(預(yù)測(cè)變量,表示為T1)與自尊(效標(biāo)變量,表示為T2)的關(guān)系并分別用相應(yīng)的量表對(duì)T1和T2進(jìn)行測(cè)量。
第二步,建構(gòu)有方法潛因子的模型(Model)。Model的變量與因子從屬關(guān)系類似于圖2所示,通過結(jié)構(gòu)方程模型可以得到相關(guān)的模型參數(shù)。
第三步,建構(gòu)無方法潛因子的競(jìng)比模型(Model'')。Model''中,測(cè)量T1、T2的題目對(duì)應(yīng)負(fù)荷的潛因子T1、T2上。不考慮方法因子。
第四步,比較兩個(gè)模型的擬合指標(biāo)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
第五步,結(jié)果選擇。如果CMV影響存在,則應(yīng)當(dāng)選擇控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
3.3多方法潛因子途徑(Multiple Method-Factor Approaches)
多方法潛因子途徑主要用于研究的兩個(gè)或以上構(gòu)念用了兩種或以上方法進(jìn)行測(cè)量時(shí)的CMV控制。前提條件是對(duì)多個(gè)構(gòu)念必須事先進(jìn)行多種方法測(cè)量。例如有構(gòu)念T1、T2和T3,每個(gè)構(gòu)念都分別用了方法M1、M2和M3來進(jìn)行測(cè)量。其數(shù)據(jù)都可用MTMM來展現(xiàn)。驗(yàn)證性因素分析(confirmatory factor analysis,CFA)為分析MTMM數(shù)據(jù)提供了最為一般和靈活的量化方法。但是CFA是否為MTMM數(shù)據(jù)提供了最好的描述,還存在許多爭(zhēng)論(conway,Lievens,Scullen,&Lance,2004)。MTMM數(shù)據(jù)分析的CFA法主要有四種形式:相關(guān)特質(zhì)一相關(guān)方法模型、相關(guān)的獨(dú)特變異量模型、直積模型和二階因素分析模型。
3.3.1相關(guān)的特質(zhì)一相關(guān)的方(CTCM)模型法
全稱為多特質(zhì)一多方法數(shù)據(jù)的相關(guān)的特質(zhì)一相關(guān)的方法(correlated trait-correlated method,CTCM)模型驗(yàn)證性因素分析法。此模型中,有多個(gè)方法因子和多個(gè)特質(zhì)因子。各構(gòu)念測(cè)量的題目同時(shí)負(fù)荷在相應(yīng)的構(gòu)念因子和相應(yīng)的測(cè)量方法因子上。例如題目1是用M1方法測(cè)量構(gòu)念T1的,此題就同時(shí)負(fù)荷在T1因子和方法M1因子上。所謂相關(guān)的特質(zhì)一相關(guān)的方法是指,在潛因子之間求相關(guān)時(shí),限定為特質(zhì)與特質(zhì)相關(guān),方法與方法相關(guān)。可通過比較有方法潛因子與無方法潛因子的模型擬合指標(biāo),評(píng)估CMV的存在。也可以通過比較CTCM模型與只有特質(zhì)因子的模型的差異來估計(jì)CMB((Meade et al.,2007)。
此模型的變量與因子從屬關(guān)系見圖3。
方程(2)和(3)使CTCM模型的這種表述使得其加法模型的特性顯露無遺:變量之間的觀測(cè)相關(guān)在數(shù)學(xué)上可定義為潛在特質(zhì)因子和潛在方法因子的之和的函數(shù)。根據(jù)此模型,觀測(cè)值的變異可歸為三個(gè)部分的變異:特質(zhì)變異、方法變異和隨機(jī)誤差變異(Becker&Cote,1994)。
其明顯的優(yōu)點(diǎn)是:第一,構(gòu)念分?jǐn)?shù)是排除方法和誤差變異后的分?jǐn)?shù),能很好的代表構(gòu)念;第二,方法因子構(gòu)建在測(cè)量題目層面;第三,能分離出多個(gè)方法因子。其不足是存在模型不可識(shí)別的問題和方法的加法效應(yīng)假設(shè)有時(shí)不能滿足的問題。此模型的典型問題有:在沒有約束的情況下參數(shù)落到其允許值之外(即落在可接受的參數(shù)空間之外,如標(biāo)準(zhǔn)化因素負(fù)荷和因子相關(guān)的絕對(duì)值大于1),過高的標(biāo)準(zhǔn)誤,甚至收斂于任何解(Scullen,1999)。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。以王姝瓊等(2011)研究的變量為例,假定要研究?jī)和衅谌N攻擊行為(身體攻擊T1,言語攻擊T2和關(guān)系攻擊T3)關(guān)系(注:原文并非研究這三者之間的關(guān)系,此處僅為舉例方便而做的假定)。用三種方法(同伴評(píng)定M1、同伴提名M2和教師評(píng)定M3)對(duì)以上三個(gè)變量的每個(gè)變量進(jìn)行測(cè)量,可得到MTMM數(shù)據(jù)。
第二步,建構(gòu)有方法潛因子的模型(Model)。Model的變量與因子從屬關(guān)系類似于圖3所示,通過結(jié)構(gòu)方程模型可以得到相關(guān)的模型參數(shù)。
第三步,建構(gòu)無方法潛因子的競(jìng)比模型(Model'')。Model''中,測(cè)量T1、T2和T3的題目對(duì)應(yīng)負(fù)荷的潛因子T1、T2和T3上。不考慮方法因子。
第四步,比較兩個(gè)模型的擬合指標(biāo)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
第五步,結(jié)果選擇。如果CMV影響存在,則應(yīng)當(dāng)選擇控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
3.3.2相關(guān)的獨(dú)特變異量模型法(the correlated uniqueness model,CU)
全稱為多特質(zhì)-多方法數(shù)據(jù)的相關(guān)的特質(zhì)-相關(guān)的獨(dú)特變異量模型(me correlated trait-correlateduniqueness model,CTCU或CU)驗(yàn)證性因素分析法(C0nway,Lievens,Scullen,&Lance,2004)。為了解決CTCM模型經(jīng)常存在的識(shí)別問題,Marsh及其同事(Marsh,1989;Marsh&Bailey,1991)提出了相關(guān)的獨(dú)特變異量模型。這個(gè)模型并不建模方法潛因子,各構(gòu)念測(cè)量的題目只負(fù)荷在相應(yīng)的構(gòu)念因子上并允許自由估計(jì)。不過此模型中,每個(gè)題目還對(duì)應(yīng)一個(gè)獨(dú)特的誤差項(xiàng)(error item,誤差項(xiàng)包含方法變異、隨機(jī)誤差變異和其它系統(tǒng)變異),并允許通過同一方法測(cè)量的題目獨(dú)特的誤差項(xiàng)之間相關(guān)。也就是說,不像CTCM模型那樣用明顯的方法因子來代表方法效應(yīng),CU模型把方法效應(yīng)表示為相關(guān)的獨(dú)特變異量(Becker&Cote,1994)。這足以說明,研究者可以通過相關(guān)的獨(dú)特變異量的平均來估計(jì)方法變異的平均比例。這個(gè)方法用更簡(jiǎn)潔和無偏的方式估計(jì)了每個(gè)測(cè)量方法的方法變異的平均比例(Scullen,1999)。
Ar是潛特質(zhì)的因素負(fù)荷矩陣;Θr特質(zhì)因子之間的相關(guān)矩陣;Θδ包含獨(dú)特變異量的協(xié)方差矩陣。從方程(3)明顯可以看到,觀測(cè)值的變異可歸為兩個(gè)方面的變異:特質(zhì)變異和獨(dú)特(uniqueness,如誤差項(xiàng))變異。獨(dú)特變異又源于三個(gè)方面:特殊變異、非系統(tǒng)誤差變異和方法變異。
此模型的變量與因子從屬關(guān)系見圖4。
其優(yōu)點(diǎn)是比CTCM模型約束更少,模型更收斂,有更合適的解(Becker&Cote,1994)。也存在不足。因?yàn)檫@個(gè)模型假設(shè)方法之間不相關(guān),觀測(cè)變量之間的相關(guān)傾向于通過特質(zhì)相關(guān)來反映,并且因素負(fù)荷會(huì)比CTCM模型大,因而特質(zhì)變異會(huì)被偏估(高估)。因此研究者在用CU模型估計(jì)特質(zhì)參數(shù)時(shí)要謹(jǐn)慎(Meade et al.,2007)。另外,由于它混合了方法變異和誤差變異,使得模型參數(shù)估計(jì)的標(biāo)準(zhǔn)誤有偏下降,因而不能用于統(tǒng)計(jì)檢驗(yàn),也不能估計(jì)方法主效應(yīng)。
假設(shè)方法之間不相關(guān)是CU模型最大的理論缺陷。因此Conway,Lievens,Scullen和Lance(2004)建議,在使用CU模型之前,研究者最好是使用一定的策略提高CTCM模型和或其它理論上更合適的模型成功的可能性,不得已才用CU模型法。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。用多方法對(duì)多個(gè)特質(zhì)進(jìn)行測(cè)量,得到MTMM數(shù)據(jù)。
第二步,建構(gòu)有方法潛因子的模型(Model)。Model的變量與因子從屬關(guān)系類似于圖4所示,通過結(jié)構(gòu)方程模型可以得到相關(guān)的模型參數(shù)。
第三步,建構(gòu)無方法潛因子的競(jìng)比模型(Model'')。Model''中,測(cè)量T1、T2和T3的題目對(duì)應(yīng)負(fù)荷的潛因子T1、T2和T3上。不考慮方法因子。
第四步,比較兩個(gè)模型的擬合指標(biāo)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
第五步,結(jié)果選擇。如果CMV影響存在,則應(yīng)當(dāng)選擇控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
3.3.3直積模型法(direct product model,DP)
全稱為多特質(zhì)一多方法數(shù)據(jù)的直積模型驗(yàn)證性因素分析法(Cudeck,1988)。Swain提出這個(gè)模型,并用于估計(jì)MTMM數(shù)據(jù)中特質(zhì)與方法交互作用。基于Swain的模型,Browne(1984)在直積模型中正式表示了特質(zhì)與方法的交互作用。這個(gè)模型假設(shè)在測(cè)量變量中存在特質(zhì)與方法交互作用。也就是說變量之間的相關(guān)與方法效應(yīng)相關(guān)聯(lián)。修訂后的模型中,觀測(cè)變量之間的協(xié)方差(或相關(guān))矩陣可以表示為特質(zhì)的協(xié)方差矩陣和方法的協(xié)方差矩陣的直積,并且允許觀測(cè)變量中有測(cè)量誤差和允許測(cè)量有不同的量尺(Becker&Cote,1994)。
Browne完善后的DP模型的數(shù)學(xué)方程為:
∑為觀測(cè)變量的協(xié)方差矩陣;z為公因子的非負(fù)定對(duì)角矩陣;PM和pT分別為非負(fù)定方法相關(guān)矩陣和特質(zhì)相關(guān)矩陣;為右直積;EM和ET分別為方法和特質(zhì)的誤差項(xiàng)非負(fù)定對(duì)角矩陣(Bagozzi&Yi,1992)。這個(gè)模型要研究的矩陣有:z,公因子矩陣,即描述通過這個(gè)模型,測(cè)量的變量所能解釋的變異量;PM,方法間的相關(guān)矩陣;Pr,特質(zhì)問的相關(guān)矩陣(詳見Bagozzi&Yi,1990;Browne,1984;Wothke&Browne,1990)。由方程(4)可知,觀測(cè)變量之間的相關(guān)在數(shù)學(xué)上界定為潛特質(zhì)和潛方法的乘積的函數(shù),因此公因子相關(guān)是一個(gè)直積結(jié)構(gòu)(a direct-product structure)。此模型的測(cè)驗(yàn)分?jǐn)?shù)變異可以分解為公因子分?jǐn)?shù)變異和誤差分?jǐn)?shù)變異。此模型的變量與因子從屬關(guān)系見圖5。
其優(yōu)點(diǎn)是可以算出特質(zhì)與方法的交互作用。但缺點(diǎn)也不少:第一,特質(zhì)與方法的交互作用這個(gè)概念的本質(zhì)不清,很難預(yù)測(cè)它什么時(shí)候會(huì)出現(xiàn):第二,因?yàn)闆]有特質(zhì)因子和方法因子,所以沒有辦法估計(jì)方法變異和特質(zhì)變異的量,而且在估計(jì)特質(zhì)與方法的交互作用時(shí),無法控制方法和特質(zhì)的主效應(yīng);第三,不能確定CMV來源:第四,在結(jié)構(gòu)方程程序使用時(shí),需要做詳細(xì)復(fù)雜的系列約束。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。用多方法對(duì)多個(gè)特質(zhì)進(jìn)行測(cè)量,得到MTMM數(shù)據(jù)
第二步,建構(gòu)直積模型。Model的變量與因子從屬關(guān)系類似于圖5所示,通過結(jié)構(gòu)方程模型可以得到共同因子Mlfrl、M1/T2、M1/T3、M2/T1、M2/T2、M2/T3、M3/T1、M3/T2和M3/T3的相關(guān)矩陣,并可以求出方法與特質(zhì)的交互作用??膳袛喾椒ㄅc特質(zhì)的交互作用是否顯著。
很顯然,這種操作方法不能估計(jì)方法變異和特質(zhì)變異,因此也就不能在真正意義上控制方法變異的問題。當(dāng)觀測(cè)變量較多的情況下,模型的約束相關(guān)復(fù)雜,這也限制了DP模型法在LISREL,EQS上的具體操作。
DP模型法也可以通過MUTMUM程序來很好的實(shí)現(xiàn),并真正做到對(duì)方法變異的控制。
MUTMUM是Browne設(shè)計(jì)用于處理直積模型的專門程序。相比于其它方法(如LISREL,EQS)其優(yōu)點(diǎn)是可以同時(shí)估計(jì)方法相關(guān)矩陣和特質(zhì)相關(guān)矩陣,以及二者的標(biāo)準(zhǔn)誤。另外此程序還可以進(jìn)行假設(shè)檢驗(yàn)。Browne已把此程序放在網(wǎng)上,供研究者隨時(shí)下載。
3.3.4二階驗(yàn)證性因素分析模型法
全稱為多特質(zhì)一多方法數(shù)據(jù)的二階驗(yàn)證性因素分析模型法。其特點(diǎn)是,所有觀測(cè)變量分別負(fù)荷在相應(yīng)的初階因子(first-order factot)上。同時(shí)還有一個(gè)二階因子(second-order factor)反映多個(gè)初階因子的相關(guān)。應(yīng)用到MTMM數(shù)據(jù)矩陣時(shí),初階因子表示相應(yīng)方法測(cè)量(如用方法1測(cè)量)的相應(yīng)特質(zhì)(如特質(zhì)1)的方法與特質(zhì)結(jié)合因子(如M1T1,),二階因子則表示方法因子(如M1)或特質(zhì)因子(T1)。
其協(xié)方差成分模型為:
∑=AгФгΛ+Θ
(5)
人為因子負(fù)荷對(duì)角矩陣;r為固定的測(cè)量對(duì)比(measurement contrasts)矩陣;Θ為方差一協(xié)方差成分矩陣;Θ誤差方差成分的對(duì)角矩陣(Wothke&Browne 1990)。
此模型的變量與因子從屬關(guān)系見圖6。
DP模型重新參數(shù)化為二階驗(yàn)證性因素分析后,可以用使用更為廣泛的線性潛變量模型軟件(LISREL和LISCOMP)來作點(diǎn)估計(jì)和區(qū)間估計(jì)。這樣做比DP模型更簡(jiǎn)單易行(Wothke&Browne,1990)。同時(shí),還可以直接檢驗(yàn)整個(gè)模式和特定模式方法和特質(zhì)因子。
此方法具體操作可采用以下幾個(gè)步驟:
第一步,研究變量的選定與測(cè)量。用多方法對(duì)多個(gè)特質(zhì)進(jìn)行測(cè)量,得到MTMM數(shù)據(jù)。
第二步,建構(gòu)有方法潛因子的模型(Model)。Model的變量與因子從屬關(guān)系類似于圖6所示,通過結(jié)構(gòu)方程模型可以得到相關(guān)的模型參數(shù)。
第三步,建構(gòu)無方法潛因子的競(jìng)比模型(Model'')。Model''中,測(cè)量T1、T2和T3的題目對(duì)應(yīng)負(fù)荷的潛因子T1、T2和T3上。不考慮方法因子。
第四步,比較兩個(gè)模型的擬合指標(biāo)差異,看CMV影響的大小。同時(shí)可根據(jù)研究需要算出控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
第五步,結(jié)果選擇。如果CMV影響存在,則應(yīng)當(dāng)選擇控制方法潛因子之后,構(gòu)念之間的相關(guān)或路徑系數(shù)。
4統(tǒng)計(jì)控制方法的比較與選擇
如果是單一方法測(cè)量研究設(shè)計(jì),可采用單一方法潛因子途徑和偏相關(guān)途徑來控制cMv效應(yīng)。如果研究的構(gòu)念都用多個(gè)方法來測(cè)量,可以用多方法潛因子途徑。在單一方法因子途徑選擇時(shí),如果已測(cè)了方法變異的主要來源,可選擇使用已測(cè)方法變量的偏相關(guān)法或控制已測(cè)單一方法潛因子方法,否則可使用控制綜合方法變量的偏相關(guān)法和控制未測(cè)方法潛因子法。在偏相關(guān)途徑和單一方法潛因子途徑的選擇問題上,如果數(shù)據(jù)樣本很小,達(dá)不到結(jié)構(gòu)方程的最低樣本要求,那么可使用偏相關(guān)途徑。如果樣本達(dá)到要求,選擇后者顯然更優(yōu)。在多方法潛因子途徑選擇時(shí),如果能確信方法與特質(zhì)的交互作用很大,應(yīng)當(dāng)使用直積模型法或二階驗(yàn)證性因素分析法,否則可以使用CTCM模型法和CU模型法。在加法效應(yīng)前提可以滿足,CTCM模型和CU模型均可識(shí)別的前提下,CTCM模型法比CU模型法更好,因?yàn)樗梢怨烙?jì)方法變異和誤差。
一種統(tǒng)計(jì)控制方法是否分離了特質(zhì)變異(能得到排除了測(cè)量誤差變異和方法因子變異的特質(zhì)變異),能否區(qū)分CMV是對(duì)構(gòu)念層次的影響還是對(duì)測(cè)驗(yàn)題目層面的影響是兩個(gè)非常關(guān)鍵的問題。如果能,這種方法算是比較可靠的。否則不是很可靠,所有的偏相關(guān)途徑即是如此。
偏相關(guān)途徑不是很理想的一類方法:不能區(qū)分問卷研究中的三大主要變異(構(gòu)念變異、方法變異和誤差變異),難以區(qū)分CMV影響的層面,難以考慮特質(zhì)與方法的交互作用。因而有人認(rèn)為,它并不能真正控制CMV的影響。但在潛因子模型的條件難以滿足的情況下,退而求其次也是可行的。
單一方法潛因子途徑方法明顯優(yōu)于偏相關(guān)途徑。它既能分離問卷研究中的三大主要變異,又能較好地區(qū)分CMV的影響層面。在單一方法研究設(shè)計(jì)中這兩種方法算是比較好的選擇。Richardson等(2009)用模擬數(shù)據(jù)評(píng)估了偏相關(guān)途徑和未測(cè)單一方法潛因子法,二者都產(chǎn)生的令人失望的結(jié)果。事實(shí)上,當(dāng)方法變異存在和真實(shí)相關(guān)大于零時(shí),它們的對(duì)相關(guān)的估計(jì)準(zhǔn)確程度并不比沒有校正時(shí)高。因此Conway和Lance(2010)建議研究者盡量不使用以上兩類方法??刂埔褱y(cè)單一方法潛因子法相對(duì)較好,但其不足在于假定研究者知道方法變異的來源。
多方法潛因子途徑是所有方法中最好的一類:能分離問卷研究中的三大主要變異,能較好地區(qū)分CMV的影響層面,有的方法(DP模型法和二階驗(yàn)證性因素分析法)還能區(qū)分特質(zhì)與方法的交互作用。但它們的缺陷也很明顯:操作復(fù)雜,前提條件多,在實(shí)際操作中收集MTMM數(shù)據(jù)并不容易(conway&Lance,2010)。如果從模型的可接受性(admissibility)來看,CU模型似乎比CTCM模型和DP模型有更少的參數(shù)估計(jì)問題。如果拋開估計(jì)問題,CTCM模型比DP模型和CU模型更能擬合MTMM數(shù)據(jù)。DP模型是四個(gè)模型中最弱的一個(gè)(Becket&Cote,1994)。建議研究者應(yīng)當(dāng)先使用CTCM模型,再用二階驗(yàn)證因素分析法和DP模型。前者更能擬合MTMM數(shù)據(jù),而且更能解釋和說明。如果CTCM模型不能產(chǎn)生適合的結(jié)果,可以使用二階驗(yàn)證因素分析法和DP模型(先于CU模型)。不推薦使用CU模型的原因在于CU模型的方法間不相關(guān)假設(shè)常常被違反,而且CU模型的數(shù)據(jù)可能是這些多方法模型中最難解釋的。如果使用CU模型,研究者在討論中必須考慮方法之間相關(guān)的問題(Becker&Cote,1994)。
5小結(jié)
綜上述可見,再精巧的統(tǒng)計(jì)控制方法都是有缺陷的。事后的CMV統(tǒng)計(jì)控制法目前還處于實(shí)踐狀態(tài):一些著名的易操作的方法似乎是無效的,而使用MTMM系列方法又費(fèi)時(shí)費(fèi)力(conway&Lance,2010)。即使是多方法潛因子途徑,也并非如人意。例如DP模型法雖然考慮了特質(zhì)方法交互作用的問題,但DP模型法的問題是對(duì)實(shí)證結(jié)果的解釋比辯論還難,因此,這個(gè)“治療”方法的過于復(fù)雜性可能會(huì)CMV這個(gè)“病”還要糟糕。對(duì)各統(tǒng)計(jì)控制法,Spector(2006)有更精辟的論述:“如果CMV不是一個(gè)傳說,每個(gè)方法都產(chǎn)生一定量的方法變異,那么用統(tǒng)計(jì)方法來估計(jì)和控制之相對(duì)容易。不幸的是,已有估計(jì)和控制CMV的方法都有不足,并且在許多情形下控制了根本不存在的東西。例如,比較方法的研究者經(jīng)常假設(shè)同一方法相關(guān)高于不同方法相關(guān),這應(yīng)當(dāng)歸于CMV。然而,這并不總是一個(gè)安全的假設(shè)?!币虼?,Spector(2006)建議,在關(guān)注構(gòu)念與測(cè)量構(gòu)念的方法之間交互作用有關(guān)的測(cè)量偏差時(shí),CMV這個(gè)詞及其衍生詞應(yīng)當(dāng)“退休”。取而代之的是對(duì)具體偏差的思考和對(duì)觀測(cè)到的現(xiàn)象的更為合理的解釋,無論數(shù)據(jù)用自陳方法還是用其它方法取得。通過使用多種方法的系統(tǒng)測(cè)試排除這些替代性解釋因素,有助于從單方法研究中得到有效的結(jié)論。
在沒有深入研究各種具體偏差之前,目前研究得出的對(duì)CMV控制的各種方法還是可用的。在控制CMV時(shí),最好是先采用過程控制的方法,做好事先預(yù)防。避免或減少CMV影響的最好的方式就是從不同來源收集不同構(gòu)念的測(cè)量數(shù)據(jù)(Chang,vail Witteloostuijn,&Eden,2010)。在研究設(shè)計(jì)控制之后,再選擇合適的統(tǒng)計(jì)補(bǔ)救法。過程控制與統(tǒng)計(jì)控制相結(jié)合是一個(gè)相對(duì)較好的選擇。
方法變異影響可能存在,但目前各種控制方法都存在一定的不足,這需要研究者不斷努力,以研究出新的CMV控制方法。Spector(2006)認(rèn)為提出有關(guān)方法變異的更好的想法比條件反射式地抱怨CMV更好。Sharma等(2009)對(duì)處理CMV的方法作了展望。他們認(rèn)為研究重點(diǎn)可以作兩個(gè)轉(zhuǎn)變:第一,把關(guān)注點(diǎn)從將單個(gè)研究中的方法變異影響最小化轉(zhuǎn)向評(píng)估多個(gè)研究的CMV效應(yīng):第二,側(cè)重評(píng)估個(gè)別理論研究的CMV引起的潛在效度威脅,而不是在一般意義上評(píng)估整個(gè)社會(huì)科學(xué)研究領(lǐng)域的的CMV引起的潛在效度威脅。