劉廷元,劉紓曼
(西南石油大學(xué)圖書館,成都 610500)
科學(xué)成果的社會(huì)影響評價(jià)是廣義科學(xué)成果評價(jià)的一部分。傳統(tǒng)形式的狹義科學(xué)成果評價(jià)主要是建立在文獻(xiàn)計(jì)量學(xué)、科學(xué)計(jì)量學(xué)的期刊引文指標(biāo)之上,以學(xué)術(shù)影響測度為主。新興形式的廣義科學(xué)成果評價(jià),將其擴(kuò)展到網(wǎng)絡(luò)計(jì)量學(xué)、替代計(jì)量學(xué)的關(guān)注-使用指標(biāo)之上,以社會(huì)影響測度為主。
目前,基于網(wǎng)絡(luò)計(jì)量學(xué)(webometrics)、替代計(jì)量學(xué)(altmetrics)的科學(xué)成果計(jì)量,到底是選擇學(xué)術(shù)影響還是社會(huì)影響的路徑,不同學(xué)者有不同的觀點(diǎn)和認(rèn)識(shí)。altmetrics一詞的創(chuàng)立者Priem等[1-2]認(rèn)為,應(yīng)當(dāng)選擇“基于在線工具及環(huán)境活動(dòng)的學(xué)術(shù)影響計(jì)量”路徑,重點(diǎn)關(guān)注Twitter和Facebook等社交媒體上的轉(zhuǎn)載數(shù)據(jù)。Priem[3]對altmetrics的定義,不但將學(xué)術(shù)影響包含在不斷變化的工具和數(shù)據(jù)聚合環(huán)境活動(dòng)中,而且還包含了將其定位為網(wǎng)絡(luò)計(jì)量學(xué)的一個(gè)分支。
然而,由于網(wǎng)絡(luò)計(jì)量學(xué)、替代計(jì)量學(xué)的影響計(jì)量與傳統(tǒng)形式的影響計(jì)量存在較大差異,有的甚至不相關(guān),導(dǎo)致影響的內(nèi)涵及其計(jì)量方法備受爭議[4-5]。altmetrics或alternative metrics術(shù)語中的“替代”即“alt(ernative)”也經(jīng)常受到批評,因?yàn)榇蠖鄶?shù)實(shí)證研究都表明,替代計(jì)量學(xué)視角下的影響與傳統(tǒng)計(jì)量形式的影響相比,不但相關(guān)性很弱而且可靠性和穩(wěn)定性也沒有得到很好解決,只能被視為一種補(bǔ)充而不是“替代”。這就導(dǎo)致一些學(xué)者將學(xué)術(shù)引文指標(biāo)和社交媒體指標(biāo)從總括性的影響術(shù)語中分解出來[6-7],將它們定義為相互補(bǔ)充而不是相互替代的影響研究,即所謂的學(xué)術(shù)維度和社會(huì)維度[8-9]。而另外一些學(xué)者,則只將影響看作文化或社會(huì)方面的共鳴,即影響不再被視為科學(xué)成果學(xué)術(shù)質(zhì)量的代表,而是在更廣的意義上被定義和使用[10]。因此,用于分析和提供科學(xué)影響數(shù)據(jù)的網(wǎng)絡(luò)計(jì)量學(xué)和替代計(jì)量學(xué),也被定義為“基于社會(huì)網(wǎng)絡(luò)的新指標(biāo)的創(chuàng)建和研究”[11]。
對于網(wǎng)絡(luò)計(jì)量而言,Ingwersen[12]提議采用類似于引文分析的網(wǎng)絡(luò)影響因子(web impact factor,WIF;包括外鏈數(shù)、內(nèi)鏈數(shù)和總鏈數(shù)指標(biāo))來計(jì)算社會(huì)網(wǎng)絡(luò)的影響,并將網(wǎng)絡(luò)計(jì)量學(xué)定義為研究網(wǎng)絡(luò)信息資源、結(jié)構(gòu)和技術(shù)的構(gòu)建與使用的定量方面[13]。然而,社會(huì)網(wǎng)絡(luò)影響的復(fù)雜性大大超過了多源數(shù)據(jù)計(jì)量的相對簡單的信息計(jì)量方法,使傳統(tǒng)的網(wǎng)絡(luò)計(jì)量很難對多種網(wǎng)絡(luò)的深層使用信息(如情境數(shù)據(jù))進(jìn)行統(tǒng)一的分析、評價(jià),需要建立一種以多源數(shù)據(jù)聚合為目標(biāo)的新計(jì)量框架。經(jīng)過Adie等[11]的研究,特別是多種網(wǎng)絡(luò)和社交平臺(tái)的關(guān)注-使用指標(biāo)的創(chuàng)建,提出一種通過提及、推薦、共享、收藏等指標(biāo)進(jìn)行加權(quán)計(jì)數(shù)的“altmetric關(guān)注分?jǐn)?shù)”(at‐tention score)來計(jì)算社會(huì)網(wǎng)絡(luò)的影響。對于替代計(jì)量而言,Adie及其合作者Roe等提出的“altmetric關(guān)注分?jǐn)?shù)”和“altmetric分?jǐn)?shù)”,成功地結(jié)合情境指標(biāo)數(shù)據(jù),如作者、內(nèi)容、情感等,對研究成果的各種社會(huì)影響進(jìn)行深層計(jì)量評價(jià)[11]。一般而言,論文、論著的在線討論、分享、收藏等關(guān)注-使用越多,指標(biāo)的權(quán)重越大,altmetric分?jǐn)?shù)越高。因而,從維度和質(zhì)量上看,替代計(jì)量的社會(huì)影響分析比之前的其他任何一種計(jì)量都更復(fù)雜。因?yàn)樘娲?jì)量的來源數(shù)據(jù)及其權(quán)重都具有主觀成分,更重要的是,它還存在多種維度的局限和缺陷,例如,普遍存在計(jì)數(shù)/分?jǐn)?shù)為0,以及因?yàn)樯婕袄嫦嚓P(guān)者,普遍存在原始計(jì)數(shù)的多種不規(guī)則性,從而使原始數(shù)據(jù)對一些成果的影響評價(jià)幾乎沒有什么區(qū)分能力,對成果的評估任務(wù)也沒有什么用處[14],計(jì)量評價(jià)的可靠性和穩(wěn)定性難度大大增加。
盡管替代計(jì)量具有許多局限和缺陷,但替代計(jì)量指標(biāo)的豐富情境遠(yuǎn)比網(wǎng)絡(luò)計(jì)量指標(biāo)的單純計(jì)數(shù)能給人更多的啟發(fā)。按Bj?rneborn等[13]的解釋,網(wǎng)絡(luò)計(jì)量是超鏈接的數(shù)量和類型、萬維網(wǎng)的結(jié)構(gòu)和使用模式的計(jì)量,它可以告訴我們,某個(gè)網(wǎng)站從其他網(wǎng)站接收鏈接的網(wǎng)頁數(shù)量與該網(wǎng)站發(fā)布的可供訪問的網(wǎng)頁數(shù)量,即表層使用頻率的網(wǎng)絡(luò)影響因子[12]或其他社會(huì)影響因子等。替代計(jì)量則是來自各種網(wǎng)站接收訪問的非常多樣化的網(wǎng)絡(luò)關(guān)注-使用數(shù)量的計(jì)量,它可以告訴我們網(wǎng)站發(fā)布的網(wǎng)頁(研究成果及其論文、論著)在社會(huì)網(wǎng)絡(luò)中具體應(yīng)用的傳播數(shù)量,即深層使用頻率的altmetric分?jǐn)?shù)[11]或社交媒體指數(shù)(social media index)等[15]。因此,替代計(jì)量是對表層網(wǎng)絡(luò)使用信息的深層應(yīng)用分析,是對網(wǎng)絡(luò)計(jì)量的更大補(bǔ)充和發(fā)展,二者不是兩個(gè)完全不同或?qū)α⒌男畔⒂?jì)量分析體系。網(wǎng)絡(luò)計(jì)量和替代計(jì)量是廣義信息計(jì)量學(xué)發(fā)展的兩個(gè)必然階段,本質(zhì)上屬于一個(gè)統(tǒng)一的網(wǎng)絡(luò)信息分析整體,即一個(gè)統(tǒng)一的廣義信息計(jì)量學(xué)分支?;诖耍呖梢圆⒎Q為網(wǎng)絡(luò)-替代計(jì)量或網(wǎng)絡(luò)-替代計(jì)量學(xué)。
在本研究中,我們對網(wǎng)絡(luò)環(huán)境下國家社會(huì)科學(xué)基金(簡稱“國家社科基金”)項(xiàng)目成果的社會(huì)影響數(shù)據(jù)進(jìn)行了廣泛采集和分析,特別關(guān)注網(wǎng)絡(luò)-替代計(jì)量指標(biāo)數(shù)據(jù)和計(jì)量評價(jià)的穩(wěn)健性。這里,重要而又不能回避的問題是,網(wǎng)絡(luò)-替代計(jì)量指標(biāo)數(shù)據(jù)本身存在多種不確定和不完備的局限或缺陷,尤其是高零值(左側(cè))、多異常值(右側(cè))和極端右偏斜分布之間的復(fù)雜關(guān)系,以及由此帶來的計(jì)量敏感和失效風(fēng)險(xiǎn),使社會(huì)影響的計(jì)量評價(jià)在數(shù)據(jù)、方法和結(jié)果等方面都面臨巨大挑戰(zhàn)。解決這些問題的基本思路是利用穩(wěn)健計(jì)量方法消除或削弱高零值、多異常值和極端右偏斜分布對一般信息計(jì)量和中心信息計(jì)量分布趨勢的干擾,即通過四分位零值縮減法進(jìn)行抗差性檢定(左),通過縮尾求穩(wěn)方法進(jìn)行異常值合理修正(右),以及通過縮尾均值對偏斜分布數(shù)據(jù)進(jìn)行穩(wěn)健的無量綱化和綜合評價(jià)。由于傳統(tǒng)回歸模型是基于信息計(jì)量分布的正態(tài)性(對稱性)和規(guī)則性(均勻性)假設(shè),對數(shù)據(jù)普遍存在的計(jì)數(shù)為0(非對稱性)及其他不規(guī)則性外圍和異常子群(異常值或?qū)ΨQ/非對稱輕尾/重尾)高度敏感[16],信息計(jì)量模型及其數(shù)據(jù)擬合的抗差性、可靠性和穩(wěn)定性都不高。因此我們將對數(shù)據(jù)集的非正態(tài)不規(guī)則分布外圍及其異常子群不具有抗差性、可靠性和穩(wěn)定性或抵抗作用的一般計(jì)量方法,稱為非穩(wěn)健計(jì)量;將對數(shù)據(jù)集的非正態(tài)不規(guī)則分布外圍及其異常子群具有抗差性、可靠性和穩(wěn)定性或抵抗作用的有效計(jì)量方法,尤其是對零膨脹(高零值)、多異常值(高杠桿)、極端右偏斜(重尾)和污染數(shù)據(jù)具有抵抗作用的計(jì)量方法,稱為穩(wěn)健計(jì)量。
在此方法基礎(chǔ)上,以四川省2005—2014年驗(yàn)收通過的341項(xiàng)國家社科基金項(xiàng)目成果的社會(huì)影響數(shù)據(jù),應(yīng)用穩(wěn)健的計(jì)量評價(jià)方法進(jìn)行實(shí)證研究。需要說明的是,因國外網(wǎng)絡(luò)和社交媒體中的國家社科基金項(xiàng)目成果數(shù)據(jù)較少,且與國內(nèi)數(shù)據(jù)的相關(guān)性較差,本研究未予以采集;社會(huì)影響的時(shí)間累積效應(yīng)因素,因需要專門的時(shí)序動(dòng)態(tài)響應(yīng)計(jì)量方法也未涉及。
對于以網(wǎng)絡(luò)-替代計(jì)量指標(biāo)數(shù)據(jù)為基礎(chǔ)的社會(huì)影響評價(jià)而言,最重要而又不能回避的挑戰(zhàn)是原始數(shù)據(jù)集的不確定和不完備缺陷;尤其是高零值(左側(cè))、多異常值(右側(cè))和極端右偏斜分布及其非穩(wěn)健方法可能帶來的計(jì)量失效風(fēng)險(xiǎn),已經(jīng)大大超過了早期信息計(jì)量學(xué)在指標(biāo)創(chuàng)建和研究時(shí)遇到的“測度惡魔”:隨機(jī)性、模糊性和顯著歧義性[17]。以網(wǎng)絡(luò)計(jì)量學(xué)和替代計(jì)量學(xué)為代表的現(xiàn)代信息計(jì)量學(xué)試圖將科學(xué)成果的社會(huì)影響評價(jià),搭建在一種多維度的網(wǎng)絡(luò)信息活動(dòng)上,并以豐富的網(wǎng)絡(luò)關(guān)注-使用指標(biāo)數(shù)據(jù)來測度科學(xué)的社會(huì)影響。然而,網(wǎng)絡(luò)環(huán)境下的社會(huì)影響計(jì)量,涉及不同的利益相關(guān)者和技術(shù)平臺(tái),數(shù)據(jù)產(chǎn)生、使用和擴(kuò)散的動(dòng)機(jī)、行為高度復(fù)雜,要實(shí)現(xiàn)真實(shí)、合理和公正的反映,如科學(xué)成果在網(wǎng)絡(luò)上的關(guān)注、使用、下載、分享、提及、閱讀、評論等指標(biāo),達(dá)到類似于傳統(tǒng)引文學(xué)術(shù)影響的抗差性、可靠性和穩(wěn)定性,首先面臨兩大挑戰(zhàn)。
對于社會(huì)影響計(jì)量來說,可用網(wǎng)絡(luò)-替代數(shù)據(jù)集的高零值(即“低覆蓋”,信息計(jì)量學(xué)者習(xí)慣用“覆蓋率”代替“零值率”)問題是一個(gè)非常獨(dú)特的重大挑戰(zhàn)。由于低零值意味著置信區(qū)間即使是保守的、穩(wěn)健的,也能覆蓋真實(shí)參數(shù)[18]。相反,在高零值分布下,樣本的置信區(qū)間即使是保守的、穩(wěn)健的,也會(huì)對數(shù)據(jù)集的真實(shí)性、合理性及其分布偏差和誤差造成很大影響,從而大大減少或削弱信息計(jì)量方法和結(jié)果的抗差性。
零值率等于1減去覆蓋率之差,對覆蓋率的定義一定意義上也是零值率的定義。對于覆蓋率,信息計(jì)量學(xué)有兩種不同的角度。Haustein等[19]從“有”的角度出發(fā),將覆蓋率定義為:特定平臺(tái)上至少有一個(gè)提及的文檔的百分比;Thelwall[20]從“無”的角度出發(fā),將覆蓋率定義為:無零值的產(chǎn)出比例。無論從何種角度定義,覆蓋率都繞不開“零值率”,因?yàn)楦吒采w率意味著“0”值低(少),低覆蓋率意味著“0”值高(多)。
Mas-Bleda等[21]對西班牙和英國8個(gè)學(xué)科的調(diào)查結(jié)果顯示,網(wǎng)絡(luò)-替代數(shù)據(jù)中Mendeley的覆蓋率最高,80%的抽樣文章?lián)碛幸粋€(gè)或多個(gè)Mendeley讀者,其次是Twitter(34%),其余來源的覆蓋率則低于3%。許多跟蹤調(diào)查發(fā)現(xiàn),一些科學(xué)成果在提及和社交媒體中能追蹤到的信號(hào)數(shù)量很少或幾乎不存在,具體的實(shí)踐中也存在同樣的困難[22]。Sugimoto等[23]在綜述中提到Gorraiz等人的4篇文獻(xiàn)調(diào)查結(jié)果,發(fā)現(xiàn)F1000的覆蓋率研究相對較少,已有的覆蓋率調(diào)查從小于1%到2%~8%不等。Gl?nzel等[24]發(fā)現(xiàn),在公共衛(wèi)生領(lǐng)域的12項(xiàng)指標(biāo)中,零值率的比例最高的達(dá)到78.7%(捕獲),最低的為1.4%(提及),大多數(shù)則接近50%。Chi等[22]指出,在自然科學(xué)中,與生命科學(xué)或社會(huì)科學(xué)相比,這些指標(biāo)類別的覆蓋率或數(shù)據(jù)可用性的百分比還要低。
社會(huì)影響指標(biāo)變量中的高零值,使數(shù)據(jù)集中心部分的左側(cè)產(chǎn)生大量的無影響數(shù)據(jù)。零值率超過50%時(shí),會(huì)形成嚴(yán)重的零膨脹(zero-inflated)分布,導(dǎo)致有影響的信息計(jì)量分布向右過度偏斜,使高零值下的影響計(jì)量面臨一般信息計(jì)量和中心信息計(jì)量分布的抗差性和一致性大大減少或削弱的挑戰(zhàn)。從多指標(biāo)變量的“嚴(yán)密分析”角度看,高零值不能全截?cái)啵膊灰穗S意切尾或刪除,因?yàn)槊總€(gè)變量的零值率、偏度不同,單側(cè)分位點(diǎn)意義也不同,樣本的置信區(qū)間及其結(jié)構(gòu)信息含義也不同。
與傳統(tǒng)的學(xué)術(shù)影響指標(biāo)相比,社會(huì)影響指標(biāo)的計(jì)數(shù)和分?jǐn)?shù)更容易受到人為干擾,被個(gè)人、機(jī)構(gòu)及其自動(dòng)賬戶(機(jī)器人)操縱,產(chǎn)生網(wǎng)絡(luò)-替代數(shù)據(jù)的作弊即蓄意污染;尤其是在科學(xué)成果的社會(huì)影響成為評價(jià)指標(biāo)之后,一些行為不端者、中介、商業(yè)機(jī)構(gòu)出于相關(guān)利益驅(qū)使、游戲化(遵循坎貝爾定律)及惡意心理,會(huì)試圖通過某些數(shù)據(jù)點(diǎn)的超級(jí)放大(極端異常值)來提高或破壞科學(xué)相關(guān)者的影響地位。對社會(huì)影響的異常子群即多異常值,如果全截?cái)嗷虿糠智形?刪除,信息計(jì)量的完整性會(huì)受到潛在威脅;但如果全保留,就會(huì)使一般信息計(jì)量和中心信息計(jì)量的分布趨勢發(fā)生潛在扭曲[25]。因而,多異常值和極端右偏斜分布,會(huì)對數(shù)據(jù)集的真實(shí)性、合理性及其計(jì)量方法和結(jié)果的可靠性與穩(wěn)定性造成嚴(yán)重影響或損害,從而給計(jì)量評價(jià)的穩(wěn)健性帶來巨大挑戰(zhàn)。
此外,由于網(wǎng)絡(luò)-替代數(shù)據(jù)的來源、內(nèi)容、標(biāo)識(shí)、粒度、精度及其學(xué)科覆蓋并不十分清晰和確定,或者數(shù)據(jù)調(diào)查者和分析者的質(zhì)量保證與科學(xué)能力不足,未能進(jìn)行嚴(yán)格、規(guī)范和統(tǒng)一的技術(shù)性控制,給數(shù)量眾多的多源數(shù)據(jù)的挖掘、聚合、清洗、提取、檢測等帶來諸多技術(shù)疏漏,本身也容易產(chǎn)生數(shù)據(jù)的高意外污染,出現(xiàn)系統(tǒng)性異常子群,或大量的零值、缺失值、錯(cuò)誤值。因而,數(shù)據(jù)處理技術(shù)的可靠性和穩(wěn)定性也會(huì)對計(jì)量數(shù)據(jù)的分布及其真實(shí)性、合理性造成嚴(yán)重影響或損害,有時(shí)甚至成為一種關(guān)鍵挑戰(zhàn)。
就前者而言,蓄意污染會(huì)直接導(dǎo)致數(shù)據(jù)集的均值、極大值偏高或超高,以致出現(xiàn)杠桿性污染;就后者而言,意外污染則直接導(dǎo)致指標(biāo)值的均值、標(biāo)準(zhǔn)差和方差的不真實(shí)或不穩(wěn)定,以致出現(xiàn)系統(tǒng)性污染。所以,數(shù)據(jù)集的右側(cè)不論是蓄意污染還是意外污染,都會(huì)給社會(huì)影響的真實(shí)性、合理性及其信息計(jì)量方法的可靠性和穩(wěn)定性帶來諸多問題;因?yàn)檫h(yuǎn)離中心或偏離一般分布模式的多異常值,一旦出現(xiàn)在指標(biāo)數(shù)據(jù)集中,如果不采取可靠的穩(wěn)健計(jì)量方法,就會(huì)使評價(jià)模型產(chǎn)生壞解,導(dǎo)致非正態(tài)不規(guī)則分布外圍及其異常子群計(jì)量出現(xiàn)高度偏差和誤差。理論和實(shí)證研究很容易證明,在非穩(wěn)健模型中,即使一個(gè)孤立點(diǎn)也會(huì)對數(shù)據(jù)集產(chǎn)生扭曲性的影響。
由于一般計(jì)量數(shù)據(jù)普遍存在的信息計(jì)量分布特征也是右偏態(tài)分布,網(wǎng)絡(luò)-替代計(jì)量指標(biāo)中的多異常值,會(huì)將這種向右偏斜的不對稱特征進(jìn)一步放大,并與數(shù)據(jù)集左側(cè)的零膨脹分布共同作用,將這種過度右偏斜的不對稱特征超級(jí)放大,從而成為極端右偏斜分布,使社會(huì)影響的計(jì)量面臨更大的挑戰(zhàn)。
對于以指標(biāo)觀測數(shù)據(jù)為對象的計(jì)量學(xué)來說,高零值和多異常值在什么條件下是“真實(shí)的”(true),可以作為樣本值進(jìn)行合理的保留或修正,在什么條件下是“過度的”(extra),只能作為結(jié)構(gòu)值,即一定條件下對“結(jié)構(gòu)性(真實(shí))零”[26]進(jìn)行適度的截?cái)嗷螂[匿,是現(xiàn)代信息計(jì)量學(xué)發(fā)展的重要基礎(chǔ)。30年前,加拿大學(xué)者Tague-Sutcliffe[27]在紀(jì)念情報(bào)學(xué)家布魯克斯(Brookes)的文章中說,Brookes曾對等級(jí)模型中的長尾(long tails)隱匿感到非常不解,因?yàn)橛么笮?頻率方法將長尾全截?cái)啵[匿)過于簡單,存在嚴(yán)重的結(jié)構(gòu)信息丟失。這個(gè)問題一直到“五計(jì)學(xué)”的今天,仍未徹底解決。例如,在信息計(jì)量學(xué)的研究中,普遍調(diào)查分析網(wǎng)絡(luò)-替代指標(biāo)的低覆蓋(基于學(xué)科、主題、地區(qū)等)[19-23],卻不對已經(jīng)產(chǎn)生的高零值計(jì)量困境進(jìn)行實(shí)質(zhì)性的數(shù)理分析;普遍調(diào)查分析指標(biāo)無零值的密度[28-29],卻不對指標(biāo)有零值的強(qiáng)度進(jìn)行關(guān)聯(lián)性的計(jì)量評價(jià)。后者本應(yīng)該與前者并列,但在這些文獻(xiàn)中都不提及。顯然,在覆蓋率和密度的研究中,已有文獻(xiàn)對零值、近零值及其長尾分布,其實(shí)是在進(jìn)行結(jié)構(gòu)性的截?cái)嗷螂[匿,盡管大都是無意識(shí)的。然而,當(dāng)來源數(shù)據(jù)普遍存在零過多、異常值和過度離散時(shí),即使樣本的置信區(qū)間是保守的、穩(wěn)健的,信息計(jì)量分布及其異常值檢測的抗差性也會(huì)大大降低或不具有抗差性,這時(shí)如果進(jìn)行樣本性全保留或結(jié)構(gòu)性全截?cái)?,都?huì)給計(jì)量評價(jià)造成極大損害。在數(shù)理統(tǒng)計(jì)及相關(guān)研究中,通常基于零膨脹模型,把零值看作“真實(shí)的”和“過度的”兩個(gè)不同質(zhì)的群組,即分為零計(jì)數(shù)和非零計(jì)數(shù)兩個(gè)子集,從總體混合概率分布上進(jìn)行研究[30]。然而,如果數(shù)據(jù)集存在多異常值,基于不同計(jì)數(shù)模型的混合概率必然受到影響,其“真實(shí)的零值”和“過度的零值”擬合數(shù)據(jù)也不可靠。因此,網(wǎng)絡(luò)計(jì)量學(xué)和替代計(jì)量學(xué)在研究高零值、異常值和極端右偏斜分布時(shí),必須在信息計(jì)量分布的保留、截?cái)嗷蛐拚?、隱匿的條件和方法上找到自己的科學(xué)起點(diǎn)和出路。
信息計(jì)量學(xué)的大多數(shù)原始數(shù)據(jù)集,并不滿足異常值識(shí)別的先驗(yàn)假設(shè):正態(tài)性、規(guī)則性。如上文所述左側(cè)挑戰(zhàn)[24]及相關(guān)文獻(xiàn)[31-32]中報(bào)道,許多指標(biāo)數(shù)據(jù)集的零值率(Zr)在50%左右,即使不考慮右側(cè)多異常值,也是典型的零膨脹過度右偏斜分布。以異常值檢測抗差性較好的四分位法為例,當(dāng)Zr在75%左右時(shí),是典型的零膨脹極端右偏斜分布,它直接導(dǎo)致Q3=Q1=0即四分位距(inter-quartile range,IQR)等于0,或接近于0,樣本箱線圖的圖框中線將不起作用,觀測值的IQR檢測完全失效即檢測不出異常值。另外,零膨脹產(chǎn)生的非均勻右偏斜分布,還使最終的多指標(biāo)綜合評價(jià)很容易受到異常值的干擾。由于零膨脹對中高分位的下限和上限影響很大,因此,原始數(shù)據(jù)集左側(cè)的抗差性檢定對異常值的識(shí)別和修正非常重要。
如果數(shù)據(jù)集的Zr<25%,即Q1>0,根據(jù)統(tǒng)計(jì)學(xué)的樣本置信區(qū)間理論和零膨脹樣本結(jié)構(gòu)理論,數(shù)據(jù)樣本的抗差性較好,低分位零值可以作為“樣本性零”保留,盡管其中也可能有非真實(shí)的零,但因危險(xiǎn)率小可以忽略,因此低分位零值的保留系數(shù)為1(4/4),使其具有樣本性。但如果數(shù)據(jù)集Zr≥25%,其中有較大比例的非真實(shí)的零,數(shù)據(jù)集的抗差性降低或不具有抗差性,零值可以作為“結(jié)構(gòu)性零”適度隱匿,在Q2>0或Q3>0處左截?cái)?,但不完全刪失,僅在Q3-Q1>0處等效地觀察滿足異常值檢測的條件,保留一定比例的零值,使其具有等級(jí)結(jié)構(gòu)性。因?yàn)榱阒挡⒉皇侨笔е担诒狙芯恐兄皇菚簳r(shí)未產(chǎn)生社會(huì)影響的觀測值,是一個(gè)隨時(shí)可能蘇醒的科學(xué)“睡美人”,它的存在有計(jì)量意義,將所有的零值刪失或隱匿會(huì)導(dǎo)致信息嚴(yán)重丟失。因此,依據(jù)不同數(shù)據(jù)集的零值長度即Zr,在滿足Q3-Q1>0的條件下,均勻性縮減數(shù)據(jù)集的零值,既可以保證每個(gè)數(shù)據(jù)集的異常值檢測的一致性和抗差性,也可以保留數(shù)據(jù)集之間的原始信息差異,同時(shí)可以觀察數(shù)據(jù)集左側(cè)齊性和右側(cè)異質(zhì)性對異常值的影響。由于四分位Zr≥75%,異常值無法檢測,因此,高零值條件下Zr的縮減率≥0.25是四分位異常值識(shí)別的充要條件。
異常值識(shí)別前數(shù)據(jù)集左側(cè)的抗差性處理,可以采用滿足一致性控制要求的四分位零值率(Qr)進(jìn)行自適應(yīng)零調(diào)整。其中,零值率的分位數(shù)定義為Q1、Q2、Q3、Q4四個(gè)分位;零值的分位保留系數(shù)定義為四個(gè)等級(jí)結(jié)構(gòu):1(4/4)、3/4、1/2(2/4)、1/4;四分位零值率定義為四個(gè)區(qū)間的分段控制函數(shù)及其縮減的值域。從以上定義及其三者之間的關(guān)系,可以推導(dǎo)出以下定理和引理。
定理2.在四分位數(shù)據(jù)集中,若Zr的分位越低,則Qr越低,Qr縮減的值域也越低;若Zr的分位越高,則Qr越高,Qr縮減的值域也越高。
引理1.Qr縮減的初始值域等于0,即Q2最小Zr與Q2下限的Qr之差等于0;Qr縮減的最大值域等于一個(gè)臨界值,即Q4最大Zr與Q4上限的Qr之差漸進(jìn)于常數(shù)0.375。
顯然,四分位零值縮減法就是通過變量求Zr與Qr之差。依定理1,四分位零值率的分段控制函數(shù)為
因?yàn)楣?1)中分段函數(shù)的斜率不一致,低分位上限和高分位下限的端點(diǎn)間等級(jí)下降速度不均勻,所以用端點(diǎn)空白值作線性回歸的Y軸截距,進(jìn)行一致性逼近校正,依定理2,四分位零值率的精確計(jì)算公式為
公式(2)中,Qr縮減的最小值域等于0,最大值域漸進(jìn)于常數(shù)0.375,引理1得證。
由于截距是等級(jí)下降速度的0.25/4或相應(yīng)的倍率,用公式(2)計(jì)算,一致性準(zhǔn)確率達(dá)到98.81%,回歸標(biāo)準(zhǔn)誤差為0.0207。公式(2)中,Qr在各分位區(qū)間段上單調(diào)遞增,在所有分位也單調(diào)遞增且連續(xù),分段函數(shù)實(shí)現(xiàn)平滑銜接。
計(jì)量評價(jià)研究的主要目的是多源信息評價(jià),通常意義上也稱為多指標(biāo)綜合評價(jià)。不管綜合評價(jià)或信息聚合采用何種方法,包括加權(quán)還是不加權(quán)、線性還是非線性、獎(jiǎng)勵(lì)還是懲罰、標(biāo)準(zhǔn)化/無量綱化還是近似算子,都離不開均值、最大值等中間和右側(cè)數(shù)據(jù)的耐抗性和可靠性。因?yàn)閬碓磾?shù)據(jù)一旦存在多異常值和極端右偏斜分布,必然會(huì)使均值、最大值、標(biāo)準(zhǔn)差等變量發(fā)生扭曲,從而對映射、標(biāo)準(zhǔn)化/無量綱化或算法的耐抗性和可靠性產(chǎn)生影響。
對線性比例的均值化法而言,信息計(jì)量學(xué)和統(tǒng)計(jì)學(xué)具有耐抗性和可靠性的方法主要有以下幾種。
(1)切尾均值(trimmed mean,TM)。假設(shè)X1≤X2≤…≤Xn樣本容量為n的順序觀測值,稱每側(cè)切除t個(gè)觀測值再計(jì)算剩余數(shù)據(jù)集的均值,為數(shù)據(jù)分布1-α中心部分的切尾均值[33],
(5)實(shí)訓(xùn)環(huán)節(jié)的設(shè)計(jì):中職、高職院校非常重視實(shí)訓(xùn)教學(xué),克服困難到在建項(xiàng)目施工現(xiàn)場進(jìn)行教學(xué),但是由于交通問題、安全問題、在建項(xiàng)目選擇等問題,大部分課堂教學(xué)、實(shí)訓(xùn)環(huán)節(jié)仍在校內(nèi)完成。校內(nèi)實(shí)訓(xùn)基地建設(shè)時(shí)追求觀賞性、展示性,甚至試圖真實(shí)再現(xiàn)施工現(xiàn)場,不屑讓學(xué)生參與砌墻、抹灰、墻磚鑲貼等最基本的工作,實(shí)訓(xùn)教學(xué)時(shí)流于形式,學(xué)生真正動(dòng)手操作的環(huán)節(jié)不足,難以達(dá)到預(yù)期的效果。中職階段,應(yīng)該重視學(xué)生的操作和動(dòng)手能力,例如墻面磚鑲貼時(shí),只通過視頻、幻燈片來展示其施工過程,學(xué)生只能掌握基本的工藝流程,如果讓學(xué)生動(dòng)手完成墻磚鑲貼的全過程,這樣更能吸引學(xué)生的興趣。
其中,α為切尾率,α=(t/n)×100%。
顯然,αn/2觀測值要從每側(cè)移除。特別地,當(dāng)α=0%時(shí),切尾均值就是均值;當(dāng)α=50%時(shí),即左右兩側(cè)各切除大約50%,僅保留中間順序觀測值(n為奇數(shù)時(shí)保留一個(gè),n為偶數(shù)時(shí)保留兩個(gè)),將其余順序觀測值全部切除,切尾均值就是中值。由于α切尾均值的崩潰點(diǎn)是α/2,隨著區(qū)間α值的增加,α切尾均值的耐抗性和可靠性將更加穩(wěn)健。當(dāng)其崩潰點(diǎn)為0時(shí),均值可以被一個(gè)孤立點(diǎn)扭曲,說明均值極不穩(wěn)健。
切尾均值未丟棄數(shù)據(jù)集中間的大部分信息,能有效地抵抗或消除左右側(cè)異常值(或離群值)及局部偏斜的影響,從而更穩(wěn)健地反映數(shù)據(jù)總體的平均水平。此外,若數(shù)據(jù)集是正態(tài)分布,則均值和切尾均值將是相同的。
(2)縮尾均值??s尾均值是通過將異常值(或極值)替換為某些百分位的數(shù)據(jù)來確定的,這為所有統(tǒng)計(jì)分析提供了一個(gè)合理的集中趨勢表示[34]。它基于對數(shù)據(jù)進(jìn)行排序,將最低α×100%和最高α×100%互變模擬值和觀測值,并將異常觀測值替換為邊界值X([αn])和X([(1-α)n])最接近的模擬值,根據(jù)試驗(yàn)的極值分配權(quán)重。用方程式描述縮尾均值Wα為
其中,g=[an],g最大整數(shù)≤an,a表示最大允許估計(jì)誤差,n表示觀測數(shù)。
異常值的切尾或截?cái)嗟淖龇▽δ涂剐院涂煽啃允怯袔椭?,但?huì)因集中在均值上而受到損害,導(dǎo)致樣本大小變化和邊界丟失。相反,像縮尾值這樣的穩(wěn)健估計(jì)方法,可以用于縮尾修正,保留數(shù)據(jù)中心和兩側(cè)的重要信息。縮尾值修正估計(jì)量通常比未經(jīng)篩選的估計(jì)量對異常值更具耐抗性和可靠性,因而,縮尾均值是樣本均值的一個(gè)很好的替代選擇??s尾修正計(jì)量比切尾修正計(jì)量在技術(shù)上有更大的優(yōu)勢:①用最接近異常值的位置替換或交換異常值;②數(shù)據(jù)的樣本大小保持不變;③有助于防止邊界信息丟失。
(3)MOM(modified one step M-estimator)和WMOM(winsorized modified one step M-estimator)。作為切尾均值和縮尾均值更好的替代品,推薦MOM(修正的一步M-估計(jì)量)和WMOM(縮尾修正的一步M-估計(jì)量),它可作為異常值出現(xiàn)時(shí)數(shù)據(jù)分布修正的估計(jì)量。
(4)縮序均值。它是一種基于縮序值的具有保留原始信息大?。ㄐ颍╆P(guān)系的均值估計(jì)方法。多異常值的縮序計(jì)量方法與應(yīng)用將另文研究。
本研究的原始數(shù)據(jù)集來源于四川省2005—2014年的341項(xiàng)國家社科基金項(xiàng)目成果(專著類)的網(wǎng)絡(luò)-替代計(jì)量數(shù)據(jù)采集樣本,樣本總數(shù)683190件。其中,單一來源596269件(中國知網(wǎng)),精確匹配樣本事件數(shù)596261件,召回的精確率達(dá)到99.99%,采集數(shù)據(jù)的密度為2114.43件,強(qiáng)度為1748.59件;多源大數(shù)據(jù)86921件,精確匹配樣本事件數(shù)23121件,召回的精確率為26.60%,采集數(shù)據(jù)的密度為255.65件,強(qiáng)度為187.10件,表明指標(biāo)數(shù)據(jù)具有一定的有效性和可靠性。具體的數(shù)據(jù)采集步驟、方法和結(jié)果見作者另文。
由于越來越多的科學(xué)成果通過互聯(lián)網(wǎng)和社交媒體進(jìn)行交流,用來評價(jià)其社會(huì)影響的網(wǎng)絡(luò)-替代指標(biāo)也越來越多。根據(jù)國外學(xué)者和Altmetric.com、Plum Analytics等平臺(tái)應(yīng)用[31-32,35-36],社會(huì)影響評價(jià)的一級(jí)指標(biāo)一般包括使用(usage)、引用(cita‐tion)、社交媒體(social media)、提及(mention)和獲?。╟apture)。其中,使用包括點(diǎn)擊、下載、瀏覽、圖書館藏書、視頻播放,引用包括引文索引、臨床引用、專利引用、政策引用等,社交媒體包括訪問量、點(diǎn)贊、分享、推文,提及包括博客帖子、評論、綜述、維基百科、新聞媒體,獲取包括書簽、交叉編碼、收藏、讀者數(shù)和觀眾數(shù)[36]。從理論角度看,網(wǎng)絡(luò)-替代計(jì)量指標(biāo)的分級(jí)-分類涉及指標(biāo)特征屬性的信息差異和相似性,如何區(qū)分或聚合面臨很大困難;從實(shí)際的操作角度看,沒有一個(gè)包容性的計(jì)量指標(biāo)框架,網(wǎng)絡(luò)-替代計(jì)量會(huì)很困難。本研究基于社會(huì)影響指標(biāo)的屬性重要性,以及組內(nèi)和組間的相似、差異關(guān)系,數(shù)據(jù)位置和尺度的穩(wěn)定性,同時(shí)考慮國內(nèi)多源數(shù)據(jù)的易獲取性,將社會(huì)影響(相對于傳統(tǒng)的學(xué)術(shù)影響)維度的計(jì)量指標(biāo)進(jìn)行分級(jí)分類,具體分為兩級(jí)。一級(jí)指標(biāo)共5個(gè)大類,分別是論文使用(C1)、專著獲取(C2)、網(wǎng)絡(luò)分享(C3)、網(wǎng)絡(luò)提及(C4)、社會(huì)應(yīng)用(C5)。二級(jí)指標(biāo)共18個(gè)小類,論文使用包括知網(wǎng)論文下載數(shù);專著獲取包括圖書銷售、圖書館藏書,其中,圖書銷售又包括京東、當(dāng)當(dāng)、孔夫子銷售和讀者評分;網(wǎng)絡(luò)分享包括百度文庫、豆丁網(wǎng)、doc88、book118、博客;網(wǎng)絡(luò)提及包括搜索引擎采集到的精確匹配提及網(wǎng)頁;社會(huì)應(yīng)用包括新聞、百科、評論、綜述,其中百科只包括知識(shí)百科,不包括人物百科。
首先,對5個(gè)一級(jí)指標(biāo)按Ⅰ(表1)即零值完整保留,得到無任何縮減的數(shù)據(jù)集,簡稱無縮減集。依據(jù)四分位距(上四分位值與下四分位值之差即IQR=Q3-Q1)絕對值大于3倍四分位值的區(qū)間設(shè)定為極端異常值(extreme qutlier),即極端異常值依據(jù)
進(jìn)行常規(guī)識(shí)別(或抗差性識(shí)別)。依據(jù)異常值識(shí)別的常規(guī)方法,數(shù)據(jù)集零值無縮減即全保留,得到常規(guī)識(shí)別異常點(diǎn)檢定結(jié)果,如表1(Ⅰ)所示。
其次,對2個(gè)零膨脹分布一級(jí)指標(biāo)C2、C5,按照前述抗差性控制要求,對數(shù)據(jù)集Zr按公式(2)進(jìn)行四分位自適應(yīng)零調(diào)整,得到零值有限縮減的數(shù)據(jù)集,簡稱零值縮減集。代入公式(6),依據(jù)異常值識(shí)別的抗差性方法,得抗差性識(shí)別異常點(diǎn)檢定結(jié)果,如表1(Ⅱ)所示。
同時(shí),保留非零膨脹分布一級(jí)指標(biāo)C1、C3、C4的常規(guī)識(shí)別異常點(diǎn)檢定結(jié)果,得到匯總數(shù)據(jù)(表1)。
表1 極端異常值的常規(guī)識(shí)別與抗差性識(shí)別結(jié)果
從表1可見,常規(guī)識(shí)別異常點(diǎn)有115個(gè),抗差性識(shí)別異常點(diǎn)有44個(gè),其中指標(biāo)C2、C5的異常點(diǎn)識(shí)別結(jié)果差異最大,為此,采用箱線圖進(jìn)行直觀對比。
從圖1的C2無縮減集可見,由于受高零值和零膨脹的影響,C2的常規(guī)識(shí)別中,異常點(diǎn)的圖框中線和頂部都已接近零,極端異常點(diǎn)達(dá)到68個(gè),而C2的非零值數(shù)據(jù)總共才93個(gè),可見常規(guī)異常值識(shí)別不具有抗差性。相反,從圖1的C2零值縮減集可見,在采用公式(2)進(jìn)行四分位自適應(yīng)零調(diào)整、縮減111個(gè)結(jié)構(gòu)性零后,C2的抗差性識(shí)別中,異常點(diǎn)的圖框頂部已得到明顯提升,指標(biāo)C2的極端異常點(diǎn)降到11個(gè),異常值識(shí)別和檢定的抗差性大大提高。類似情況在指標(biāo)C5中也有充分體現(xiàn)。由此可見,四分位零值縮減法處理對于零膨脹下極端異常值的識(shí)別,具有很強(qiáng)的適切性和抗差性,是異常值合理修正及其穩(wěn)健計(jì)量的重要基礎(chǔ)。
圖1 C2無縮減集與零值縮減集的箱線圖對比
對于檢定后的表1極端異常值,可采用縮尾求穩(wěn)和縮序求穩(wěn)兩種方法修正。縮尾求穩(wěn)修正應(yīng)用縮尾值公式(4)和公式(5),將極端異常值替換為最接近極端異常值的值即中度異常值的最大值,模擬條件下則將異常值替換為邊界值X([αn])和X([(1-α)n])最接近的模擬值,方法相對成熟和簡單??s序求穩(wěn)修正將另文研究。
按照以上縮尾求穩(wěn)方法和縮尾值計(jì)量結(jié)果,重新計(jì)算5個(gè)一級(jí)指標(biāo)數(shù)據(jù)集的主要統(tǒng)計(jì)量和統(tǒng)計(jì)參數(shù),得到表2。
從表2可見,極端異常值較多的C3、C2、C1最大值顯著降低,縮尾求穩(wěn)修正后的數(shù)據(jù)集(修正值即縮尾值)降低了原始觀測值的數(shù)量級(jí),在一定程度上實(shí)現(xiàn)了異常值的降維、降權(quán)和一致性,為下一步的無量綱化和多指標(biāo)綜合評價(jià)結(jié)果提供了良好基礎(chǔ)。顯然,修正后的數(shù)據(jù)集在最大值、均值、標(biāo)準(zhǔn)差和方差等方面,都比修正前的數(shù)據(jù)集更具耐抗性和可靠性,數(shù)據(jù)集的極端右偏斜分布偏差和誤差得到有效抵抗和削弱。
表2 縮尾求穩(wěn)修正前后的主要統(tǒng)計(jì)量和參數(shù)
網(wǎng)絡(luò)-替代計(jì)量數(shù)據(jù)的異常值識(shí)別和修正,極大地提高了原始數(shù)據(jù)集的合理性和穩(wěn)定性,但在綜合評價(jià)的穩(wěn)健性上仍然面臨兩大問題:一是指標(biāo)數(shù)據(jù)的量綱和量級(jí)不同,如何進(jìn)行穩(wěn)健性的無量綱化和計(jì)量;二是各項(xiàng)指標(biāo)的重要性和數(shù)據(jù)信息不同,如何進(jìn)行穩(wěn)健性的權(quán)重系數(shù)求解和綜合評價(jià)。
指標(biāo)數(shù)據(jù)的無量綱化處理有線性無量綱化和非線性無量綱化兩種,前者能保留原始數(shù)據(jù)集的分布形態(tài),后者則會(huì)改變原始數(shù)據(jù)集的分布形態(tài)。本研究對44個(gè)極端異常值的識(shí)別和合理修正,可以看作一種極大型區(qū)間的線性預(yù)處理,是穩(wěn)健計(jì)量評價(jià)的重要基礎(chǔ)。線性無量綱化具有保留原始數(shù)據(jù)分布特征和簡單實(shí)用的優(yōu)點(diǎn),且極端異常值對線性無量綱化的干擾已經(jīng)排除,因此本研究不再考慮非線性無量綱化。
線性無量綱化處理的方法主要有標(biāo)準(zhǔn)化法、歸一化法、極值法、線性比例法、功效系數(shù)法和向量規(guī)范法等;其中線性比例法的比例系數(shù)可取最大值、最小值、均值等,分別稱為最大值法、最小值法、均值化法。這些方法之所以不同,是因?yàn)椴捎貌煌奶厥庵岛途€性函數(shù)進(jìn)行一致性映射與轉(zhuǎn)換,因此產(chǎn)生不同的評價(jià)值和綜合評價(jià)結(jié)果。
在標(biāo)準(zhǔn)化法、Z-Score法和特殊值取均值、總和、平方和的線性比例法中,由于特殊值和線性函數(shù)中包含樣本整體信息的統(tǒng)計(jì)量,一致性和穩(wěn)定性都較好。其中,標(biāo)準(zhǔn)化法、Z-Score法會(huì)使組內(nèi)方差和變異系數(shù)發(fā)生巨大改變,說明組內(nèi)信息受損嚴(yán)重,一致性差;極值法、最大值法、最小值法和功效系數(shù)法,由于特殊值和線性函數(shù)中值只包含樣本信息的個(gè)別特殊統(tǒng)計(jì)量(如最大值、最小值等),容易受到極端數(shù)據(jù)分布的影響,且不能明顯縮小各指標(biāo)間數(shù)量級(jí)差異,穩(wěn)定性和一致性都較差。
在常用的無量綱化方法中,作為線性比例方法的均值化法,由于受極端值的影響相對較小,能縮小各指標(biāo)間數(shù)量級(jí)差異并顯現(xiàn)原始數(shù)據(jù)集的差異信息,且變異系數(shù)不變,主要統(tǒng)計(jì)量和參數(shù)的穩(wěn)定性、一致性都較好。此外,均值化法在基于序關(guān)系分析法(G1法)的綜合評價(jià)應(yīng)用中,還能使指標(biāo)權(quán)重對評價(jià)值的影響實(shí)現(xiàn)一致性和穩(wěn)定性。因此,從無量綱化方法選取和一致性轉(zhuǎn)換的諸多因素綜合考慮,基于均值的線性比例法都是一種比較理想的穩(wěn)健性無量綱化方法。
由于均值化法易受樣本值,特別是極端值的影響[37],基于穩(wěn)健性要求,可采用基于縮尾求穩(wěn)或縮序求穩(wěn)的方法對原始數(shù)據(jù)集的異常值進(jìn)行修正,本研究采用前者。
修正后的數(shù)據(jù)集,因采用縮尾值代替原始值中的極端異常值,消除了異常值對樣本值的影響,使均值化轉(zhuǎn)換的特殊值(縮尾均值)更能顯現(xiàn)差異信息。均值化法計(jì)算公式為
其均值化法處理后的主要統(tǒng)計(jì)量和參數(shù)如表3所示。
從表3及與表2的對照可以看出,采用基于縮尾均值的線性比例方法處理后,各指標(biāo)間縮尾值(修正值)的數(shù)量(級(jí))差異,與原始值相比得到有效縮小,因此數(shù)據(jù)集的極端右偏斜分布得到改善,極端異常值較多的C3、C2、C1最大值顯著降低;指標(biāo)重要性高的C5,方差分量提高幅度最大,最大值為5個(gè)指標(biāo)中最高;最大值和方差都在較小差異的同一值域范圍內(nèi),且基本反映了各指標(biāo)間的重要性,原始數(shù)據(jù)集的信息差異得到顯現(xiàn)?;诳s尾均值的線性比例方法轉(zhuǎn)換,因信息變異受損較低而更加穩(wěn)定和一致。
表3 均值化法處理后的主要統(tǒng)計(jì)量和參數(shù)(基于原始值和縮尾值)
指標(biāo)屬性的重要性和主觀權(quán)重求解,如何反映客觀的計(jì)量信息,使權(quán)重求解及其實(shí)現(xiàn)機(jī)制更具可靠性和可信度,是穩(wěn)健計(jì)量評價(jià)需要考慮的另一個(gè)重要問題。
多指標(biāo)綜合評價(jià)是一種基于原始值(修正值)計(jì)量、特殊值轉(zhuǎn)換和評價(jià)值綜合或聚合的價(jià)值測度體系,其價(jià)值測度的實(shí)現(xiàn)主要有四種途徑:一是基于計(jì)量對象的客觀賦權(quán)法,代表方法有熵權(quán)法、DEA(data envelopment analysis)法、標(biāo)準(zhǔn)差法、變異系數(shù)法,能反映數(shù)據(jù)樣本的相關(guān)性和信息量,但缺乏評價(jià)方法和結(jié)果的一致性和穩(wěn)定性,方法不同導(dǎo)致結(jié)果也不同;二是基于評價(jià)主體判斷的主觀賦權(quán)法,代表方法有AHP(analytic hierarchy process)法、Delphi法、G1法,能反映指標(biāo)本身的重要性程度和專家群體的知識(shí),但缺乏評價(jià)前提和過程的可靠性和可信度,權(quán)重賦值與計(jì)量數(shù)據(jù)無關(guān);三是基于對象和主體的主客觀賦權(quán)法,也稱為組合賦權(quán)法,代表方法有平均值法、Borda法、Copeland法、最小二乘法、離差最大化法,能綜合反映主客觀判斷,但缺乏方法和評價(jià)體系的一致性,體系和評價(jià)方法存在沖突或“硬性”;四是基于多種數(shù)學(xué)模型的合成優(yōu)化法,代表方法有非線性優(yōu)化法、線性優(yōu)化法,能不區(qū)分主客觀差異融合多種評價(jià)方法,但缺乏評價(jià)方法和結(jié)果的適切性,評價(jià)目標(biāo)或準(zhǔn)則依賴主觀判斷[38]。
盡管不同的權(quán)重求解方法有不同的實(shí)現(xiàn)機(jī)制,但基于一種主觀權(quán)重求解同時(shí)又完全融入一種客觀權(quán)重求解,可以構(gòu)造出一種同時(shí)具有主觀可靠性和客觀可信度的新方法。本研究選取的G1法應(yīng)用,有機(jī)融入客觀賦權(quán)法(標(biāo)準(zhǔn)差法),使其兼具兩種方法的優(yōu)點(diǎn),克服各自的不完備和非穩(wěn)定性局限。
穩(wěn)健G1法是一種在主觀賦權(quán)法中融入客觀賦權(quán)法,將專家群體的理性判斷和樣本數(shù)據(jù)的客觀信息量有機(jī)結(jié)合的權(quán)重求解方法。權(quán)重主觀可靠性和客觀可信度的優(yōu)勢互補(bǔ),使權(quán)重值具有主觀-客觀雙實(shí)現(xiàn)機(jī)制,從而提高綜合評價(jià)結(jié)果的可靠性和穩(wěn)定性。
G1法也稱為序關(guān)系分析法,是一種傳統(tǒng)的主觀權(quán)重求解方法[39]。權(quán)重系數(shù)求解基于國家社科基金成果社會(huì)影響指標(biāo)的序關(guān)系分析,有10位咨詢專家參與,通過調(diào)查問卷評分方式,得到5個(gè)指標(biāo)的重要性程度及其rk賦值信息。專家根據(jù)自己的經(jīng)驗(yàn)和偏好,對5個(gè)指標(biāo)的重要性程度,按從強(qiáng)到弱順序確立序關(guān)系,并對5個(gè)指標(biāo)的重要性標(biāo)度ωk-1/ωk進(jìn)行理性判斷。
若在m個(gè)評價(jià)指標(biāo)中,專家給出兩個(gè)指標(biāo)之間的重要性程度之比為rk,則權(quán)重系數(shù)的求解公式為
專家建立的序關(guān)系和相對重要程度rk賦值以及G1法權(quán)重系數(shù)求解結(jié)果如表4所示。
表4 G1法序關(guān)系、rk賦值及其權(quán)重系數(shù)求解結(jié)果
從表4可見,不同的專家有不同的序關(guān)系判斷及其rk賦值和權(quán)重系數(shù)。通過G1法10位專家群體權(quán)重系數(shù)的算數(shù)平均,得到指標(biāo)C1、C2、C3、C4、C5的群體權(quán)重系數(shù),分別為0.164、0.206、0.131、0.102、0.396,即群體確立的最終序關(guān)系為C5>C2>C1>C3>C4。
在傳統(tǒng)的主觀賦權(quán)法中,G1法采用專家群體的知識(shí)判斷,評價(jià)方法和結(jié)果具有很強(qiáng)的一致性和穩(wěn)定性;但由于不能反映數(shù)據(jù)樣本的相關(guān)性和信息量,評價(jià)前提和過程缺乏客觀可靠性和可信度。依據(jù)李剛等[40-41]提出的標(biāo)準(zhǔn)差修正G1組合賦權(quán)及其合理性研究,以及易平濤等[42]提出的一種取代傳統(tǒng)主觀序關(guān)系的客觀序關(guān)系分析法,本研究構(gòu)造出基于標(biāo)準(zhǔn)差的客觀G1法和半客觀G1法,并與G1法有機(jī)融合,最終形成穩(wěn)健G1法。
客觀G1法的序關(guān)系建立,不是直接采用專家群的知識(shí)判斷,而是根據(jù)樣本數(shù)據(jù)中的信息量即相鄰指標(biāo)標(biāo)準(zhǔn)差的大?。ㄒ姳?),重新確定序關(guān)系及相對重要性程度rk賦值,并通過公式(8)求解權(quán)重系數(shù)。根據(jù)表3,原始值的標(biāo)準(zhǔn)差序關(guān)系為C2>C5>C3>C1>C4,rk賦值分別為1.69、1.46、1.28、1.09。將rk賦值代入公式(8),得到基于原始值的客觀G1法C1、C2、C3、C4、C5的權(quán)重系數(shù)值,分別為0.121、0.384、0.156、0.112、0.227。同理,根據(jù)表3,可得到基于縮尾值(修正值)標(biāo)準(zhǔn)差序關(guān)系及rk賦值,分別為1.83、1.24、1.20、1.19,代入公式(8)得到相應(yīng)指標(biāo)權(quán)重系數(shù)值,分別為0.138、0.376、0.165、0.116、0.205。
半客觀G1法是利用G1法專家群體確立的序關(guān)系,計(jì)算C5>C2>C1>C3>C4相鄰指標(biāo)的σk-1/σk之比作為rk賦值,再根據(jù)表3原始值(或縮尾值)的標(biāo)準(zhǔn)差序關(guān)系,代入公式(8)。同時(shí),對rk進(jìn)行如下限定:
得到基于原始值標(biāo)準(zhǔn)差序關(guān)系修正后的rk賦值,分別為2.17、2.04、1.00、1.00,通過公式(9)并參照表4,重新計(jì)算基于原始值的半客觀G1法C1、C2、C3、C4、C5的權(quán)重系數(shù)值,分別為0.106、0.215、0.106、0.106、0.467。同理,根據(jù)表3的縮尾值,通過公式(9)并參照表4,可得到基于縮尾值標(biāo)準(zhǔn)差序關(guān)系修正后的rk賦值,分別為2.27、1.78、1.00、1.00,相應(yīng)指標(biāo)權(quán)重系數(shù)值分別為0.113、0.202、0.113、0.113、0.459。
將以上權(quán)重系數(shù)求解結(jié)果匯總,得到表5。
表5 客觀G1法、半客觀G1法權(quán)重系數(shù)求解結(jié)果
基于權(quán)重系數(shù)求解的主觀-客觀雙實(shí)現(xiàn)機(jī)制要求,將表4中的G1法權(quán)重集和表5中的客觀G1法、半客觀G1法權(quán)重集,看成一個(gè)三角模糊數(shù),進(jìn)行去模糊化處理,轉(zhuǎn)化為精確值,得到穩(wěn)健G1法的最終權(quán)重系數(shù)修正值。具體計(jì)算依據(jù)梯形重心法公式
將表4和表5的3種G1法的權(quán)重系數(shù)代入公式(10),得到基于原始值的穩(wěn)健G1法C1、C2、C3、C4、C5的權(quán)重系數(shù)修正值,分別為0.147、0.237、0.131、0.105、0.380;基于縮尾值的穩(wěn)健G1法C1、C2、C3、C4、C5的權(quán)重系數(shù)修正值分別為0.151、0.233、0.134、0.107、0.375。以上最終權(quán)重值的序關(guān)系與G1法一致,因此,穩(wěn)健G1法實(shí)現(xiàn)了具有客觀可信度的樣本信息量,與具有主觀可靠性的專家群知識(shí)的有機(jī)融合。
在國家社科基金成果的社會(huì)影響評價(jià)應(yīng)用中,穩(wěn)健性計(jì)量評價(jià)有以下重要步驟。
(1)極端異常值的檢定和計(jì)量處理?;诳共钚钥刂埔筮M(jìn)行異常值識(shí)別,將原始值(數(shù)據(jù)集)的極端異常值修正為穩(wěn)健性的縮尾值。
(2)無量綱化處理。對于修正后的數(shù)據(jù)集,應(yīng)用基于縮尾均值的線性比例方法,得到更具穩(wěn)定性的無量綱化值;為了對比,同時(shí)也對修正前基于均值的指標(biāo)值進(jìn)行無量綱化處理。
(3)指標(biāo)權(quán)重系數(shù)的穩(wěn)健G1法求解?;趯<胰后w知識(shí),以及客觀和半客觀序關(guān)系(標(biāo)準(zhǔn)差)信息,得到具有主觀-客觀雙實(shí)現(xiàn)機(jī)制的權(quán)重系數(shù)。穩(wěn)健G1法的標(biāo)準(zhǔn)差來自修正后的數(shù)據(jù)集,非穩(wěn)健G1法的標(biāo)準(zhǔn)差來自原始數(shù)據(jù)集。
(4)基于以上處理和求解計(jì)算綜合評價(jià)值,得到具有穩(wěn)健性或非穩(wěn)健性的綜合評價(jià)結(jié)果。
對于國家社科基金項(xiàng)目成果的社會(huì)影響評價(jià)來說,綜合評價(jià)值越大,則社會(huì)影響越大。
為了與穩(wěn)健方法進(jìn)行對比分析,本研究同時(shí)也基于原始值(完全保留極端異常值)進(jìn)行非穩(wěn)健的無量綱化、權(quán)重系數(shù)求解和綜合評價(jià),其方法、步驟與基于縮尾值(修正值)的穩(wěn)健方法一致?;诳s尾值的穩(wěn)健綜合評價(jià)和基于原始值的非穩(wěn)健綜合評價(jià)結(jié)果及其排序?qū)Ρ热绫?所示。
從表6可見,基于縮尾值的綜合評價(jià)排序和基于原始值的綜合評價(jià)排序差距較大,在前10%排序中,最大秩距33位;其中,成果《主體功能區(qū)人口再分布實(shí)現(xiàn)機(jī)理與政策研究》如果基于縮尾值,排序第34位,但如果基于原始值,即完全保留極端異常值,則排序第1位。也就是說,在本研究341個(gè)對象的排序中,社會(huì)影響排名第1位的科研成果因?yàn)橐粋€(gè)極端異常值,最終結(jié)果可以從第34位躍升至第1位;但如果基于縮尾值即穩(wěn)健的綜合評價(jià)排序,這項(xiàng)成果就只能從第1位跌落至第34位。由此可見,基于穩(wěn)健方法的計(jì)量和評價(jià),對于綜合評價(jià)的真實(shí)性和合理性具有極其重要的影響和作用。此外,從有異常值的指標(biāo)個(gè)數(shù)看,在社會(huì)影響排名前10%的科研成果中,有13項(xiàng)成果有極端異常值,占比達(dá)到38%;其中,有2個(gè)及以上極端異常值的成果2個(gè)。非穩(wěn)健計(jì)量評價(jià)對綜合評價(jià)的真實(shí)性和合理性可能產(chǎn)生重大的偏差和影響,因此,基于穩(wěn)健方法的計(jì)量評價(jià)具有重要的理論意義和應(yīng)用價(jià)值。
表6 穩(wěn)健和非穩(wěn)健綜合評價(jià)計(jì)算結(jié)果及其排序
此外,表6還對34項(xiàng)成果的批準(zhǔn)年份進(jìn)行了統(tǒng)計(jì),可初步觀察指標(biāo)值和時(shí)間因素之間的相互影響。在社會(huì)影響最大的34項(xiàng)成果(前10%)中,有30項(xiàng) 是 前5年(2005—2009年)的 成 果,占 比88.24%,只有4項(xiàng)是后5年(2010—2014年)的成果,占比11.76%,說明成果時(shí)間越早影響越大;盡管有些指標(biāo)數(shù)據(jù)在早年的網(wǎng)絡(luò)平臺(tái)上量值不高或沒有,但因排序前34項(xiàng)成果的單指標(biāo)數(shù)據(jù)覆蓋率都達(dá)到100%(無零值),這部分成果受影響不大。因此,應(yīng)重點(diǎn)關(guān)注計(jì)量評價(jià)的時(shí)間累積效應(yīng),建立一種更精確的基于時(shí)序動(dòng)態(tài)響應(yīng)的穩(wěn)健計(jì)量評價(jià)方法。
傳統(tǒng)計(jì)量評價(jià)對網(wǎng)絡(luò)環(huán)境下科學(xué)成果的社會(huì)影響及其數(shù)據(jù)集的不確定和不完備局限或缺陷并不十分清楚。本研究基于網(wǎng)絡(luò)-替代計(jì)量下高零值、多異常值和極端右偏斜分布的復(fù)雜挑戰(zhàn)及其機(jī)理分析,通過四分位零值縮減法、異常值縮尾求穩(wěn)法,以及權(quán)重系數(shù)穩(wěn)健G1法等方法創(chuàng)新,探討數(shù)據(jù)集的真實(shí)性、合理性及其計(jì)量評價(jià)的抗差性、可靠性和穩(wěn)定性與社會(huì)影響評價(jià)之間的復(fù)雜聯(lián)系和科學(xué)出路,得出以下結(jié)論及建議。
(1)對于左側(cè)高零值和零膨脹分布挑戰(zhàn),零值的全截?cái)嗖坏珪?huì)使樣本結(jié)構(gòu)嚴(yán)重丟失,而且會(huì)導(dǎo)致右側(cè)異常點(diǎn)的檢測結(jié)果大大降低;但如果零值全保留,又會(huì)因零膨脹導(dǎo)致右側(cè)異常點(diǎn)大大增加,Zr≥75%異常值甚至無法檢測。由于數(shù)據(jù)集存在多異常值,計(jì)數(shù)模型中基于零膨脹的總體混合概率必然受到影響,其真實(shí)的或過度的零值擬合數(shù)據(jù)也不可靠。相反,計(jì)量模型中基于Qr控制函數(shù)的縮減法,則可以完全避開計(jì)數(shù)模型中的多異常值影響,能比較好地解決零膨脹及其異常值檢定的抗差性問題,在既不全截?cái)嘁膊蝗A糁姓业揭粋€(gè)危險(xiǎn)率較低的理想點(diǎn)。
因?yàn)樗姆治划惓V底R(shí)別的基本假設(shè)是基于四分位距的穩(wěn)健性,將Q4和Q1截?cái)啵襋3-Q1>0,以中間分位的尺度參數(shù)作為樣本的總體估計(jì)。Zr≥75%時(shí),Q3=Q1=0,Zr的縮減率必須大于0.25,即Zr-Qr>0.25,這既是異常值檢定的充要條件,也是異常值檢定的“必要變異度”。因此,在零調(diào)整的縮減率漸進(jìn)于0.375時(shí),由于Zr≥75%,Qr縮減的值域危險(xiǎn)率應(yīng)該扣除0.25的“必要變異度”;扣減后的縮減率才是實(shí)際危險(xiǎn)率,它的最大值為0.125。而0.125正好是一個(gè)分位的中位數(shù),對于三個(gè)分位的支撐集而言,屬于危險(xiǎn)率較低的理想位置參數(shù)估計(jì)點(diǎn)。這就說明,即使Qr縮減的最大值域?yàn)榕R界值0.375,它的實(shí)際危險(xiǎn)率仍處于0.125的較低水平。
由于四分位零值率是從具有穩(wěn)健性的四分位距法進(jìn)行定義和推導(dǎo)的,且符合高零值樣本置信區(qū)間理論和零膨脹樣本結(jié)構(gòu)理論及其方法,以及Brookes提出的“解釋信息計(jì)量分布的長尾必需用等級(jí)”的方法[27],Cronin提出的替代計(jì)量學(xué)的“必要變異度定律”(law of requisite variety)[43],因而對于高零值條件下的異常值自動(dòng)檢測和識(shí)別,四分位零值縮減法具有很強(qiáng)的適切性。經(jīng)過一致性逼近校正后,四分位零值率及其精確計(jì)算公式還具有很好的一致性和抗差性,是異常值合理修正及其穩(wěn)健計(jì)量的重要基礎(chǔ)。未來在信息計(jì)量學(xué)、評價(jià)學(xué)和統(tǒng)計(jì)學(xué)及其相關(guān)學(xué)科中,這種四分位自適應(yīng)零調(diào)整方法可以得到更廣泛的應(yīng)用。
(2)對于數(shù)據(jù)集右側(cè)的多異常值和極端右偏斜分布挑戰(zhàn),釆用基于縮尾均值的縮尾求穩(wěn)方法處理,不但能消除極端異常值的影響,而且還能使數(shù)據(jù)的樣本大小保持不變,防止總體信息丟失,使右側(cè)數(shù)據(jù)在一定程度上實(shí)現(xiàn)降維和降權(quán)。
權(quán)重系數(shù)求解基于主觀賦權(quán)法,有機(jī)融入客觀賦權(quán)法,構(gòu)造出一種具有客觀可信度的樣本信息量,與具有主觀可靠性的專家群知識(shí)有機(jī)融合的評價(jià)方法。通過梯形重心法公式,將G1法(主觀)和客觀G1法、半客觀G1法的權(quán)重集看成一個(gè)三角模糊數(shù),進(jìn)行去模糊化精確處理,得到穩(wěn)健G1法的最終權(quán)重系數(shù)修正值,使權(quán)重值具有主觀-客觀雙實(shí)現(xiàn)機(jī)制,從而提高了綜合評價(jià)結(jié)果的可靠性和穩(wěn)定性。
(3)應(yīng)用研究表明,基于縮尾值的綜合評價(jià)排序和基于原始值的綜合評價(jià)排序差距較大。因此,科學(xué)成果的非穩(wěn)健方法,對于綜合評價(jià)的真實(shí)性和合理性可能產(chǎn)生重大的偏差和影響,科學(xué)成果的穩(wěn)健計(jì)量評價(jià)具有重要的理論意義和應(yīng)用價(jià)值。
與非穩(wěn)健計(jì)量評價(jià)方法的對比,穩(wěn)健計(jì)量評價(jià)通過高零值下四分位零值率的抗差性檢定、多異常值下的縮尾求穩(wěn)、極端右偏斜分布下基于縮尾均值的線性比例映射及其權(quán)重系數(shù)主客-客觀雙實(shí)現(xiàn)求解等方法的應(yīng)用,使計(jì)量評價(jià)的穩(wěn)定性、可靠性和抗差性都大大提高。
盡管科學(xué)成果及其社會(huì)影響的計(jì)量評價(jià)面臨數(shù)據(jù)集左側(cè)、右側(cè)和極端向右偏斜分布之間的復(fù)雜關(guān)系及其由此帶來的諸多科學(xué)挑戰(zhàn),特別是方法和結(jié)果的抗差性、可靠性和穩(wěn)定性,但同時(shí)也帶來諸多科學(xué)機(jī)遇,有利于促進(jìn)信息計(jì)量學(xué)、評價(jià)學(xué)及相關(guān)學(xué)科向復(fù)雜性精確科學(xué)方向發(fā)展。現(xiàn)在,即使是存在高零值和多異常值數(shù)據(jù),即若有蓄意通過網(wǎng)絡(luò)-替代計(jì)量數(shù)據(jù)(如點(diǎn)擊率)來提升成果的社會(huì)影響,穩(wěn)健性計(jì)量評價(jià)也有相當(dāng)可靠和穩(wěn)定的方法進(jìn)行有效抵抗、削弱或消除。未來的發(fā)展方向,建議研究一種比基于必要變異度定律更復(fù)雜和精確的基于穩(wěn)健變異度定律的縮序計(jì)量方法,以及一種基于時(shí)間累積的時(shí)序動(dòng)態(tài)響應(yīng)計(jì)量方法,以對數(shù)據(jù)普遍存在的計(jì)數(shù)為0及其他不規(guī)則性進(jìn)行積極防御和高效抵抗。