任孝鵬， 陸柯雯，2

(1. 中國科學(xué)院 心理研究所行為科學(xué)重點實驗室，北京 100101; 2. 中國科學(xué)院大學(xué)，北京 100049)

社會預(yù)警指標(biāo)的網(wǎng)絡(luò)測試和紙筆測試方式的等價性比較*1

任孝鵬1， 陸柯雯1，2

(1. 中國科學(xué)院 心理研究所行為科學(xué)重點實驗室，北京 100101; 2. 中國科學(xué)院大學(xué)，北京 100049)

本研究的目的在于比較生活滿意度、政府滿意度、社會風(fēng)險判斷等社會預(yù)警指標(biāo)的網(wǎng)絡(luò)調(diào)查和傳統(tǒng)調(diào)查的等價性。通過197個大學(xué)生間隔一周對社會預(yù)警指標(biāo)進行兩次評價，一次是傳統(tǒng)的紙筆測試，一次是網(wǎng)絡(luò)測試。結(jié)果表明，生活滿意度的線上(4.28)高于線下(4.10)；而自我狀態(tài)、政府滿意度、社會風(fēng)險判斷和集群意向的線上和線下沒有差異。這說明有的社會預(yù)警指標(biāo)如集群意向的紙筆測試和網(wǎng)絡(luò)測試的結(jié)果相同，有的社會預(yù)警指標(biāo)如生活滿意度的紙筆測試和網(wǎng)絡(luò)測試的結(jié)果差異比較大。用網(wǎng)絡(luò)測試來替代傳統(tǒng)的紙筆測試，需要在社會預(yù)警指標(biāo)的選擇上做更好地控制和校正。

網(wǎng)絡(luò)測試；紙筆測試；社會預(yù)警指標(biāo)

一、理論基礎(chǔ)與問題提出

據(jù)天涯網(wǎng)站的不完全統(tǒng)計，過去20年中，群體性事件呈增長趨勢，群體性事件數(shù)1999年約3.2萬，2011年約18.25萬。[1]群體性事件帶來經(jīng)濟損失和社會資源的浪費，處理不當(dāng)會加劇社會矛盾。從社會心理學(xué)的角度來看，群體性事件屬于沒有組織性的臨時性集群行動，[2]雖然一般都有特定的偶然的社會事項刺激或者導(dǎo)火索，[3]但是背后有復(fù)雜的社會心理過程，不公平感和相對剝奪是社會不滿的心理基礎(chǔ)。[4]群體性事件最初并非學(xué)術(shù)性概念，心理學(xué)領(lǐng)域往往稱之為集群行為(collective action)，[3]但是由于群體性事件與西方學(xué)者所說的集群行為的產(chǎn)生原因和表現(xiàn)形式確有不同，而且在轉(zhuǎn)型期的中國又表現(xiàn)為突出的社會問題，所以學(xué)術(shù)界有越來越多使用群體性事件的趨勢。[5][6][p.329-338]社會預(yù)警指標(biāo)是指能夠?qū)θ后w性事件起預(yù)測作用的態(tài)度和行為意向指標(biāo)。一般來說，這些社會預(yù)警指標(biāo)并不是對導(dǎo)致群體性事件的偶然事件或?qū)Щ鹚鬟M行預(yù)測。中科院心理所社會預(yù)警團隊基于王二平等的社會心態(tài)指標(biāo)和任孝鵬等的心理和諧指標(biāo)建構(gòu)了群體性事件的社會預(yù)警指標(biāo)體系。[4][7][8][p.36-50]這些預(yù)警指標(biāo)包括自我狀態(tài)、生活滿意度、社會問題嚴(yán)重性、社會發(fā)展信心、地方經(jīng)濟發(fā)展?jié)M意度、地方經(jīng)濟發(fā)展預(yù)期、消費信心、中央政府信任感、地方政府信任感、中央政府工作滿意度、地方政府工作滿意度等多個態(tài)度或行為意向。[9]并且在全國的多個調(diào)查點進行了多輪調(diào)查，對這些社會預(yù)警指標(biāo)的有效性進行了檢驗。

到目前為止，這些社會預(yù)警指標(biāo)的獲取是通過傳統(tǒng)的入戶調(diào)查和紙筆測試進行的。這些方法對于構(gòu)建和驗證社會預(yù)警指標(biāo)的有效性很有必要，而且也可以從長的時間跨度對群體性事件發(fā)展趨勢進行預(yù)測。但是從滿足決策者對群體性事件的預(yù)防和快速應(yīng)對來說，需要克服數(shù)據(jù)采集時間長的缺點。網(wǎng)絡(luò)測試可以解決這個問題，盡管網(wǎng)絡(luò)測試也有劣勢，比如回答率低。[10][11]

從心理測量的角度，用網(wǎng)絡(luò)測試代替?zhèn)鹘y(tǒng)紙筆測試需要解決社會預(yù)警指標(biāo)在兩種情境下的測量等價性問題。同一個測驗在不同的情境下應(yīng)用時，可能會存在測量特性的變化。測量等價性包括很多方面，有均值、變異度、信度和效度等基于經(jīng)典心理測量理論的指標(biāo)，也有基于潛變量分析的測量不變性。[12]大量研究表明，網(wǎng)絡(luò)測試和傳統(tǒng)測試有著相等的測量等價性。[10]-[13]但是就社會預(yù)警指標(biāo)而言，兩種測試方式是否等價還不清楚。而且社會預(yù)警指標(biāo)的測量條目與一般的心理特征的測量工具不同，有的條目有一定的敏感性，而這些敏感性的條目是否會受到測試方式的影響也值得研究。本研究的目的是以大學(xué)生為被試，對社會預(yù)警指標(biāo)的兩種測試方式的等價性進行探索。研究假設(shè)圍繞紙筆測試和網(wǎng)絡(luò)測試兩種數(shù)據(jù)采集方式提出，而且主要采用經(jīng)典心理測量理論的測量等價性指標(biāo)進行比較和討論，包括均值、信度和測量誤差。具體來說：

假設(shè)1.社會預(yù)警指標(biāo)的網(wǎng)絡(luò)測試和紙筆測試的均值相等

假設(shè)2.社會預(yù)警指標(biāo)的網(wǎng)絡(luò)測試和紙筆測試的信度相等

假設(shè)3.社會預(yù)警指標(biāo)的網(wǎng)絡(luò)測試和紙筆測試的測量誤差相等

二、研究方法

(一)被試

通過招募廣告在北京林業(yè)大學(xué)招募了197名學(xué)生，間隔7-10天分別完成兩次調(diào)查，一次是在實驗室完成傳統(tǒng)紙筆測試，一次是通過互聯(lián)網(wǎng)完成。有3名學(xué)生沒有進行第2次測試，最后得到有效樣本194個。被試平均年齡M年齡=22.14歲，SD=1.99歲。性別：男性42人(21.6%)，女性131人(67.5%)，21人沒有報告性別(10.8%)。

(二)研究工具

自我狀態(tài)：采用任孝鵬、鄭蕊和白新文編制的心理和諧問卷的自我狀態(tài)量表，包括13個條目，如“我經(jīng)常感到精神緊張”，采用李克特5級評分，1=非常不滿意，5=非常滿意。分?jǐn)?shù)越高，表示對自我的狀態(tài)感受越積極。該量表的α系數(shù)為.70，說明該問卷有好的信度。

生活滿意度：采用Diener編制的生活滿意度量表，包括5個條目，如“在許多方面，我的生活接近我的理想”，采用李克特7級評分，1=非常不滿意，7=非常滿意。分?jǐn)?shù)越高，表示對生活越滿意。該量表的α系數(shù)為.70，[14]說明該問卷有好的信度。

社會風(fēng)險判斷：采用王二平課題組編制的21個條目，如“您認(rèn)為環(huán)境污染問題是否嚴(yán)重”，采用李克特5級評分，1=一點也不嚴(yán)重，5=非常嚴(yán)重。分?jǐn)?shù)越高，表示對社會風(fēng)險因素的判斷越消極。該量表的α系數(shù)為.88，說明該問卷有好的信度。

政府滿意度：采用王二平課題組編制的19個條目，如“您對本地政府在反腐倡廉方面的工作是否滿意”，采用李克特5級評分，1=很不滿意，5=非常滿意。分?jǐn)?shù)越高，表示對政府工作的評價越積極。該量表的α系數(shù)為.90，說明該問卷有好的信度。

集群行為意向：采用王二平課題組編制的3個條目，如“面對不公平事件時您采取集體示威解決問題的可能性有多大”，采用李克特5級評分，1=非常小，5=非常大。分?jǐn)?shù)越高，表示越可能采取極端集群行為應(yīng)對不公平情境。該量表的α系數(shù)為.70，說明該問卷有好的信度。

(三)研究程序

研究者通過在北京林業(yè)大學(xué)的BBS上發(fā)布招募廣告，被試被事先告知需要填答兩次問卷，中間間隔1周。兩次都是在實驗室完成，一次是傳統(tǒng)紙筆測試，一次是在實驗室的計算機上通過互聯(lián)網(wǎng)進行網(wǎng)絡(luò)作答。在進行測試的過程中，主試會給被試講解回答注意事項，紙筆測試結(jié)果由主試當(dāng)場收回。參加調(diào)查的被試給予40元。采用spss18對數(shù)據(jù)進行錄入和分析。

三、結(jié) 果

從表1中可以看出，在選擇的5個社會預(yù)警指標(biāo)中，生活滿意度的網(wǎng)絡(luò)測試結(jié)果(4.28)高于紙筆測試結(jié)果(4.10)；而自我狀態(tài)的網(wǎng)絡(luò)測試結(jié)果(3.55)低于紙筆測試結(jié)果(3.61)；政府滿意度、社會風(fēng)險判斷和集群行為意向的兩種調(diào)查方式之間沒有差異，假設(shè)1得到部分驗證。

從表1中可以看到，內(nèi)部一致性信度除集群行為意向的網(wǎng)絡(luò)測試為.64，其余社會預(yù)警指標(biāo)的信度均高于.70，達到了測量學(xué)的要求。從兩種測試方式之間的一致性來看，除集群行為意向的相關(guān)系數(shù)為.26，其余社會預(yù)警指標(biāo)的相關(guān)系數(shù)均高于.50，也基本滿足測量學(xué)的要求。假設(shè)2得到了驗證。

表1 社會預(yù)警指標(biāo)的描述性統(tǒng)計和信度表

注：*表示P<.05; ￥表示P<.10；內(nèi)部一致性系數(shù)為Cronbach’s α coefficient

在對兩種測試方式的測量誤差進行比較時，我們采用了Boyer和于洪彥推薦的方法，[15][16]并不采用表1中的標(biāo)準(zhǔn)差的大小來定義測量誤差，而是采用以下方法：(1)對每個社會預(yù)警指標(biāo)來說，計算每個被試在社會預(yù)警指標(biāo)上的標(biāo)準(zhǔn)差，得到每個被試在紙筆測試和網(wǎng)絡(luò)測試上的標(biāo)準(zhǔn)差；(2)比較紙筆測試和網(wǎng)絡(luò)測試的標(biāo)準(zhǔn)差的差異。計算結(jié)果如表2，除集群行為意向測量誤差沒有差異以外，其余社會預(yù)警指標(biāo)的測量誤差存在差異，網(wǎng)絡(luò)測試的測量誤差低于紙筆測試。假設(shè)3大部分沒有得到支持。

表2 社會預(yù)警指標(biāo)的測量誤差表

四、討 論

本研究采用組內(nèi)比較的方法，對自我狀態(tài)等5個社會預(yù)警指標(biāo)在網(wǎng)絡(luò)測試和紙筆測試兩種情境下的等價性進行了比較。結(jié)果發(fā)現(xiàn)，不同的社會預(yù)警指標(biāo)的等價性程度存在差別。自我狀態(tài)、政府滿意度、社會風(fēng)險判斷無論是均值、內(nèi)部一致性信度、兩種測試方式之間的一致性信度都達到了等價性的要求，而網(wǎng)絡(luò)測試的測量誤差要小于紙筆測試。生活滿意度的內(nèi)部一致性信度、兩種測試方式之間的一致性信度達到了等價性的要求，但是網(wǎng)絡(luò)測試的均值高于紙筆測試，測量誤差小于紙筆測試。集群意向行為均值、內(nèi)部一致性信度和測量誤差都達到了等價性的要求，但是其兩種測試方式之間的一致性很低，只有.26。綜合來看，這些社會預(yù)警指標(biāo)在網(wǎng)絡(luò)測試情境和紙筆測試情境下的結(jié)果具有測量可信度。本研究的結(jié)果與多數(shù)研究一致，[11][12][13][17]網(wǎng)絡(luò)測試與傳統(tǒng)測試具有測量的等價性。但是，與多數(shù)研究采用組間比較不同，本研究采取組內(nèi)比較，能夠避免組間比較不可控的很多因素，結(jié)果更有說服力。從心理測量學(xué)的角度來看，多數(shù)社會預(yù)警指標(biāo)的網(wǎng)絡(luò)測試代替紙筆測試不會受到等價性的影響。

每個社會預(yù)警指標(biāo)在兩種情境中的差異并不遵循相同的模式。以均值為例，就生活滿意度而言，本研究與蔡華儉的結(jié)果相同，都發(fā)現(xiàn)網(wǎng)絡(luò)測試高于紙筆測試。[12]蔡華儉認(rèn)為這是由于紙筆測試時是集體實測，被試回答問題時有他人在場，反映了社會稱許性導(dǎo)致謙遜反應(yīng)的結(jié)果。不過，本研究中的紙筆測試是采用被試單獨實測，排除了測試時他人在場的影響，仍然發(fā)現(xiàn)類似的結(jié)果，這可能反映了社會稱許性和是否集體實測無關(guān)，更有可能的是只要有線索提醒被試可能被關(guān)注，就會啟動社會稱許性。其他4個社會預(yù)警指標(biāo)存在著兩種情境下的均值沒有差異。這表明實測情境對不同變量的影響不同。有些變量的測量條目受社會稱許性的影響較大，如生活滿意度，而有些變量的測量條目受到社會稱許性的影響較小，如社會風(fēng)險判斷。就測量誤差來說，本研究發(fā)現(xiàn)除集群行為意向以外，有4個社會預(yù)警指標(biāo)的測量誤差是網(wǎng)絡(luò)測試小于紙筆測試。就兩種測試方式的一致性來說，集群行為意向的一致性較低，只有0.26；而其余4個社會預(yù)警指標(biāo)的兩種測試方式基本滿足測量學(xué)的要求。這可能和集群行為意向的條目更為具體有關(guān)，如“采取集體示威的方式”，而條目的表述越具體，受環(huán)境變化(測試方式改變)的影響就越大；而社會風(fēng)險判斷的條目，如“反腐倡廉”，概括性要高一些，受環(huán)境變化(測試方式改變)的影響相對較小。這也提示我們盡管有很多研究表明網(wǎng)絡(luò)測試和紙筆測試在大多數(shù)情況下具有等價性，每個新的量表仍然有必要重新進行另種測試情境的等價性比較，這一方面可以確保該量表的等價性，另一方面也能夠更準(zhǔn)確地描述該量表在什么程度上具有等價性。

除個別指標(biāo)，如生活滿意度以外，本研究是首次將社會預(yù)警指標(biāo)的測量進行網(wǎng)絡(luò)測試和紙筆測試的等價性分析，有著重要的意義。社會預(yù)警指標(biāo)的某些變量如社會風(fēng)險判斷、政府滿意度和集群行為意向的測量條目有一定的政治敏感性，如“你采取集體示威的可能性”，客觀上增加了數(shù)據(jù)采集的難度，而網(wǎng)絡(luò)測試的匿名性相對來說可能會降低這種難度。社會預(yù)警指標(biāo)的一個重要用途是對未來一段時間內(nèi)是否會發(fā)生群體性事件或者某地區(qū)發(fā)生群體性事件的數(shù)量和嚴(yán)重程度進行預(yù)測，時效性是必須解決的問題，網(wǎng)絡(luò)測試是解決這個問題的可行辦法。由于社會預(yù)警指標(biāo)是利用傳統(tǒng)紙筆測試和某地區(qū)的群體性事件等效標(biāo)的關(guān)聯(lián)建構(gòu)和篩選的，如果網(wǎng)絡(luò)測試的情境和紙筆測試的結(jié)果存在著差異，那么就有必要通過統(tǒng)計技術(shù)等手段進行修正，否則就沒有辦法直接利用前期的研究結(jié)果對未來一段時間內(nèi)的群體性事件進行有效地預(yù)測。

當(dāng)然，本研究也有局限性。第一，由于本研究采用組內(nèi)設(shè)計，由同一被試在間隔一周回答兩次，兩者的相關(guān)系數(shù)并不能真實地反應(yīng)兩種測量方式的一致性，其中混雜了重復(fù)測量的效應(yīng)在內(nèi)，未來可以通過組內(nèi)和組間的混合設(shè)計，用更嚴(yán)格的標(biāo)準(zhǔn)來檢驗兩種情境的一致性。第二，本研究采用的是大學(xué)生樣本，對很多社會現(xiàn)實問題的判斷，學(xué)生和成人(非大學(xué)生)可能存在著差異，而且成人樣本更接近社會現(xiàn)實，未來可以通過成人被試進行兩種情境的比較，使得比較結(jié)果具有更高的生態(tài)效度。

[1] 李寶臣.我國近五年內(nèi)群體性事件研究：基于案例的憲政分析[D].華中師范大學(xué)博士學(xué)位論文，2013.

[2] 王二平.群體性事件的心理演化機制[N].人民論壇,2013.

[3] 彎美娜,劉力,邱佳等.集群行為：界定、心理機制與行為測量[J].心理科學(xué)進展,2011，(5).

[4] 張書維,王二平,周潔.跨情境下集群行為的動因機制[J].心理學(xué)報,2012，(4).

[5] 于建嶸.當(dāng)前中國群體性事件的主要類型及其主要特征[J].中國政法大學(xué)學(xué)報,2009，(6).

[6] 王二平.群體性事件的心理學(xué)分析[A].北京市社會科學(xué)界聯(lián)合會,北京師范大學(xué).科學(xué)發(fā)展，文化軟實力與民族復(fù)興(上卷)[M].北京:北京師范大學(xué)出版社,2009.

[7] 任孝鵬,白新文,鄭蕊等.心理和諧的結(jié)構(gòu)與測量[J].華人心理學(xué)報,2009，(1).

[8] Ren,X.P.,Bai,X.W.& Zheng,R..Harmony as a Social Indicator of Confucius-based Society:A Multi-level Analysis of Antecedents of Harmony[M].In J.X.Zhang,Y.Y.Yang,L.Liu,& M.J.Zhou (Eds.),Towards Social Harmony:A New Mission of Asian Social Psychology.Beijing:Educational Science Publishing House,2013.

[9] 鄭蕊.社會態(tài)度和集群行為監(jiān)測與預(yù)警指標(biāo)體系構(gòu)建[C].第一屆全國網(wǎng)絡(luò)心理與社會預(yù)警研討會，2013.

[10] 方佳明,聞紹.網(wǎng)絡(luò)調(diào)查參與意愿形成的心理影響因素研究[J].應(yīng)用心理學(xué)雜志,2011，(4).

[11] Shih,T.H.,& Fan,X.Comparing response rates from web and mail surveys:A meta-analysis[J].Field Methods,2008,(3).

[12] 蔡華儉,林永佳,伍秋萍等.網(wǎng)絡(luò)測驗和紙筆測驗的測量不變性研究：以生活滿意度量表為例[J].心理學(xué)報，2008，(2).

[13] Dillman,D.A.,Phelps,G.,Tortora,R.,et al.Response rate and measurement differences in mixed-mode surveys using mail,telephone,interactive voice response(IVR)and the Internet[J].Social science research.2009,(1).

[14] Diener,E.,Oishi,S.,& Lucas,R.E.Personality,culture, and subjective well-being[J].Annual Review of Psychology,2003,(54).

[15] Boyer,K.K.,Olson,J.R.,Calantone,R.J.,et al.Print Versus Electronic Surveys:A Comparison of Two Data Collection Methodologies[J].Journal of Operations Management,2002,(4).

[16] 于洪彥,黃曉治.書面調(diào)查與網(wǎng)絡(luò)調(diào)查的區(qū)別[J].統(tǒng)計與信息論壇,2011，(10).

[17] Huang,H.M.Do print and Web surveys provide the same results[J].Computers in human behavior.2006,(3).

[責(zé)任編輯: 劉勝蘭]

Measurement Invariance of Social Monitoring Indicators between the Paper-and-pencil Survey and the Web-based Survey

REN Xiao-Peng1& LU Ke-Wen1,2

(1.KeyLaboratoryofBehavioralSciences,InstituteofPsychology，ChineseAcademyofSciences，Beijing100101,China; 2.UniversityofChineseAcademyofSciences,Beijing100049,China)

This paper examines the measurement invariance of social monitoring indicators between a paper-and-pencil survey and a web-based survey which includes life satisfaction and government satisfaction, collective intentionality, social risk factors, etc. It gives both a paper-and-pencil survey and a web-based survey per week to 197 undergraduates concerning five social monitoring indicators. The results show that their life satisfaction is higher in the web-based(4.28) than the paper-and-pencil(4.10) and that other four indicators have no significant difference. It helps deepen our understanding of measurement invariance of social monitoring indicators and reveals that some indicators such as collective intentionality are almost the same in the two surveys while other indicators like life satisfaction show much variation on different conditions. Thus, there should be some adjustment of the social monitoring indicators when the web-based survey is used to replace the traditional one.

web-based survey; paper-and-pencil survey; social monitoring indicator

2014-01-22

中國科學(xué)院規(guī)劃與決策科技支持系統(tǒng)建設(shè)項目“社會態(tài)度與集群行為監(jiān)測與預(yù)警指標(biāo)體系研究”(GH11041)資助。

任孝鵬(1973—)，男，山東蒼山人，中國科學(xué)院副研究員，博士，研究方向為社會心理學(xué)、文化心理學(xué)。

B841

A

1000-5110(2014)02-0085-05