姜春林 郭琪琴 張光耀

(大連理工大學(xué)科學(xué)學(xué)與科技管理研究所暨WISE實(shí)驗(yàn)室 大連 116085)

0 引 言

學(xué)術(shù)著作作為學(xué)術(shù)成果的重要形式之一，具有信息量大、專業(yè)性強(qiáng)、學(xué)術(shù)影響力持久等特點(diǎn)，凝聚了著者多年的學(xué)術(shù)積淀。相比論文評(píng)價(jià)，關(guān)于學(xué)術(shù)著作評(píng)價(jià)，無(wú)論在評(píng)價(jià)理論，還是評(píng)價(jià)方法研究方面均較為薄弱，難以適應(yīng)和滿足包括代表作評(píng)價(jià)在內(nèi)的各類學(xué)術(shù)評(píng)價(jià)的現(xiàn)實(shí)需求。以往學(xué)術(shù)著作的評(píng)價(jià)均以同行評(píng)議為主，甚至將同行評(píng)價(jià)作為唯一的評(píng)價(jià)方法。但同行評(píng)議具有難以克服的專家主觀性、專家知識(shí)的局限性、評(píng)價(jià)時(shí)間的制約性等缺陷。隨著網(wǎng)絡(luò)和信息技術(shù)的發(fā)展，學(xué)術(shù)文獻(xiàn)撰寫、編審、出版、存儲(chǔ)、傳播整個(gè)流程的數(shù)字化成為發(fā)展趨勢(shì)。由于技術(shù)手段的進(jìn)步，圖書綜合評(píng)價(jià)的部分指標(biāo)(如下載量、閱讀量、引用率、評(píng)價(jià)數(shù)等)更易于獲取，使得在網(wǎng)絡(luò)條件下基于定量評(píng)價(jià)的基礎(chǔ)更為可靠。與此同時(shí)，各類定量評(píng)價(jià)模型的逐步成熟，也為學(xué)術(shù)著作的科學(xué)評(píng)價(jià)帶來(lái)了契機(jī)。電子圖書館、網(wǎng)上書店的發(fā)展及評(píng)價(jià)系統(tǒng)的建立也為學(xué)術(shù)著作評(píng)價(jià)研究提供了新的思路。因此，導(dǎo)入符合學(xué)術(shù)著作特點(diǎn)的基于多源多維數(shù)據(jù)的評(píng)價(jià)指標(biāo)，科學(xué)合理地將其與同行評(píng)議相結(jié)合已經(jīng)成為著作評(píng)價(jià)的方法論基礎(chǔ)和主要方向。

1 文獻(xiàn)回顧

現(xiàn)階段國(guó)內(nèi)外關(guān)于著作評(píng)價(jià)的研究主要集中在評(píng)價(jià)數(shù)據(jù)、基礎(chǔ)數(shù)據(jù)庫(kù)、評(píng)價(jià)指標(biāo)、評(píng)價(jià)體系、評(píng)價(jià)模型等幾個(gè)方面。著作評(píng)價(jià)的基礎(chǔ)數(shù)據(jù)庫(kù)研究方面，國(guó)外學(xué)者從Google Book Search、Springer圖書引用角度進(jìn)行的評(píng)價(jià)研究較多，湯森路透集團(tuán)也推出了圖書引文索引(BKCI)；國(guó)內(nèi)的讀秀學(xué)術(shù)搜索網(wǎng)站從2011年開始發(fā)布“圖書被引用情況報(bào)告”，并按高被引圖書的類別、作者、出版社等進(jìn)行分類；蘇新寧教授團(tuán)隊(duì)基于CSSCI引文數(shù)據(jù)，開發(fā)并完成了《中國(guó)人文社會(huì)科學(xué)圖書學(xué)術(shù)影響力報(bào)告》；中國(guó)圖書評(píng)論學(xué)會(huì)和南京大學(xué)合作建設(shè)的“中文學(xué)術(shù)圖書引文索引”(CBKCI)項(xiàng)目也取得了階段性成果；中國(guó)科學(xué)文獻(xiàn)計(jì)量評(píng)價(jià)研究中心研制的《中國(guó)高被引圖書年報(bào)》(2016版)已發(fā)布；百度學(xué)術(shù)亦能實(shí)現(xiàn)對(duì)學(xué)術(shù)專著引用數(shù)據(jù)的獲取[1-4]。

國(guó)外在著作評(píng)價(jià)的指標(biāo)與模型研究方面，White Howard D等[5]提出了librication指標(biāo)，即某本書被納為館藏的圖書館的數(shù)量，又驗(yàn)證了該指標(biāo)在學(xué)術(shù)著作評(píng)價(jià)中的適用性[6]。Juan Gorraiz等[7]提出在線書評(píng)可以作為圖書評(píng)價(jià)的指標(biāo)之一，Zuccala A等[8]、Zhou Qingqing等[9]先后使用不同評(píng)論平臺(tái)的讀者書評(píng)進(jìn)行了圖書影響力評(píng)價(jià)研究。Kousha K、Thelwall M等[10-12]提出并證實(shí)了許多評(píng)價(jià)期刊論文的Altmetric指標(biāo)可用于評(píng)價(jià)圖書，如：Google book citations(谷歌圖書引文)、Libcitations(館藏)、Online reviews(在線書評(píng))、Publisher prestige(出版者聲望)等。Torres-Salinas D等使用文獻(xiàn)計(jì)量學(xué)軟件證實(shí)了涵蓋圖書館館藏、瀏覽量、下載量及引用量等18個(gè)補(bǔ)充計(jì)量指標(biāo)與傳統(tǒng)計(jì)量指標(biāo)的互補(bǔ)性[13]。

國(guó)內(nèi)在著作評(píng)價(jià)的指標(biāo)與模型研究方面，葉繼元[14]提出“形式評(píng)價(jià)、內(nèi)容評(píng)價(jià)、效用評(píng)價(jià)”三維全評(píng)價(jià)法。李雁翎[15]提出作者、出版社、圖書館、銷售和網(wǎng)絡(luò)輿情五維圖書綜合評(píng)價(jià)體系。張玉[16]利用層次分析法構(gòu)建了包括引用、網(wǎng)絡(luò)書評(píng)、圖書利用，基金、獲獎(jiǎng)等指標(biāo)的科技圖書學(xué)術(shù)影響力評(píng)價(jià)體系。姜春林[17]以資源形式指標(biāo)、影響形式指標(biāo)、引用價(jià)值指標(biāo)、圖書館館藏指標(biāo)、網(wǎng)絡(luò)利用指標(biāo)構(gòu)建了人文社科著作影響力評(píng)價(jià)指標(biāo)體系；利用SSCI和A&HCI數(shù)據(jù)對(duì)近30年全球人文社科書評(píng)的特征和趨勢(shì)進(jìn)行了分析[18]；王偉[19]以圖書館藏、圖書引用、圖書獲獎(jiǎng)、著者學(xué)術(shù)成就等指標(biāo)構(gòu)建了人文社會(huì)科學(xué)外譯圖書評(píng)價(jià)指標(biāo)體系，并利用熵權(quán)法進(jìn)行了實(shí)證分析。

從已有文獻(xiàn)來(lái)看，國(guó)內(nèi)外對(duì)學(xué)術(shù)著作的定性評(píng)價(jià)多采用書評(píng)和專家評(píng)價(jià)法；書評(píng)作為同行評(píng)議的依據(jù)在國(guó)外得到了一定認(rèn)可。國(guó)內(nèi)以客觀數(shù)據(jù)為依據(jù)的定量評(píng)價(jià)得到較多關(guān)注，其中應(yīng)用最廣的是引文分析法。目前對(duì)于著作評(píng)價(jià)主要集中于書評(píng)分析、書目分析和引文分析，較多依賴單個(gè)指標(biāo)和單維度評(píng)價(jià)，基于多維度的著作綜合評(píng)價(jià)研究相對(duì)較少。

2 指標(biāo)體系構(gòu)建

2.1構(gòu)建原則隨著人文社會(huì)科學(xué)研究范圍日益擴(kuò)大，影響研究成果的因素愈加復(fù)雜，給學(xué)術(shù)專著評(píng)價(jià)工作帶來(lái)更大挑戰(zhàn)?？茖W(xué)、客觀、公正地對(duì)人文社會(huì)科學(xué)研究成果進(jìn)行評(píng)價(jià)是當(dāng)前的緊要之需。為保證學(xué)術(shù)專著評(píng)價(jià)的結(jié)果更具科學(xué)性、合理性與公正性，所構(gòu)建的評(píng)價(jià)指標(biāo)體系需遵循科學(xué)性原則，數(shù)據(jù)透明原則，可比、可操作、可量化原則等。

2.2指標(biāo)選取通過閱讀統(tǒng)計(jì)大量文獻(xiàn)，總結(jié)現(xiàn)有著作評(píng)價(jià)方法及指標(biāo)，發(fā)現(xiàn)現(xiàn)有的著作評(píng)價(jià)方法大致分為形式層面評(píng)價(jià)方法和內(nèi)容層面評(píng)價(jià)方法，形式層面評(píng)價(jià)方法主要為文獻(xiàn)計(jì)量學(xué)和補(bǔ)充計(jì)量學(xué)(Altmetrics)兩大類，文獻(xiàn)計(jì)量學(xué)的主要評(píng)價(jià)指標(biāo)大致包括獲獎(jiǎng)情況、基金資助情況、引用情況、傳統(tǒng)使用情況(如館藏量、銷量、再版次數(shù)等)等。補(bǔ)充計(jì)量學(xué)的主要評(píng)價(jià)指標(biāo)大致包括社交媒體的提及次數(shù)、評(píng)論數(shù)、電子文庫(kù)的下載量、瀏覽量等；內(nèi)容層面評(píng)價(jià)方法主要為引用內(nèi)容分析法和著作內(nèi)容綜合評(píng)價(jià)法，引用內(nèi)容分析法的主要評(píng)價(jià)指標(biāo)大致包括引用位置、引用篇幅等，著作內(nèi)容綜合評(píng)價(jià)法的主要評(píng)價(jià)指標(biāo)大致包括書評(píng)、媒體宣傳、閱讀推廣、銷售平臺(tái)導(dǎo)讀等?？傮w來(lái)講，形式層面評(píng)價(jià)雖具有易于操作、可量化、效率高等優(yōu)勢(shì)，但同時(shí)也存在忽視著作內(nèi)容、核心價(jià)值、知識(shí)貢獻(xiàn)評(píng)價(jià)的缺陷；相反，內(nèi)容層面評(píng)價(jià)方法雖然從著作內(nèi)容出發(fā)，一定程度上能揭示著作的核心價(jià)值和知識(shí)貢獻(xiàn)，但存在主觀性強(qiáng)、可操作性不強(qiáng)、費(fèi)時(shí)費(fèi)力等缺陷，兩類評(píng)價(jià)方法各有優(yōu)缺點(diǎn)且呈互補(bǔ)關(guān)系。在對(duì)人文社科著作進(jìn)行評(píng)價(jià)時(shí)，既要注重利用領(lǐng)域?qū)＜业膶I(yè)知識(shí)對(duì)著作內(nèi)容質(zhì)量和學(xué)術(shù)價(jià)值進(jìn)行評(píng)判，也要力求用客觀數(shù)據(jù)來(lái)刻畫著作影響力?；趯?duì)上述形式及內(nèi)容指標(biāo)的理論可靠性、可量化性、可獲得性、時(shí)效性等多方面考量，綜合選取了包含形式評(píng)價(jià)與內(nèi)容評(píng)價(jià)指標(biāo)在內(nèi)的著作外部資源、著作被引、基金與獎(jiǎng)勵(lì)、書評(píng)、著作利用五個(gè)一級(jí)指標(biāo)。每個(gè)一級(jí)指標(biāo)下設(shè)不同的二級(jí)指標(biāo)，二級(jí)指標(biāo)下設(shè)三級(jí)指標(biāo)，最終構(gòu)建的人文社科學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系、指標(biāo)內(nèi)涵及數(shù)據(jù)來(lái)源如表1所示，其中學(xué)科屬性作為屬性指標(biāo)，不加入綜合評(píng)分計(jì)算。

表1 中文人文社科學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系及內(nèi)涵

2.3指標(biāo)賦權(quán)本文對(duì)人文社科學(xué)術(shù)著作進(jìn)行了學(xué)科分類。根據(jù)不同指標(biāo)的學(xué)科差異，結(jié)合專家調(diào)查法和層次分析法，確定不同學(xué)科分類評(píng)價(jià)指標(biāo)的主觀權(quán)重。利用熵權(quán)法確定各學(xué)科分類評(píng)價(jià)指標(biāo)的客觀權(quán)重，最后綜合主客觀權(quán)重值得到最終組合權(quán)重。

2.3.1 學(xué)科分類 任何一本著作都有其特定的研究?jī)?nèi)容及所屬學(xué)科，不同學(xué)科類別的著作在研究?jī)?nèi)容及特性上存在巨大差異，難以用統(tǒng)一標(biāo)準(zhǔn)進(jìn)行衡量與評(píng)估，但是同一類別內(nèi)的不同學(xué)科由于其具有相似的知識(shí)屬性和研究范式往往呈現(xiàn)相似的學(xué)科特征。以高校人文社科獎(jiǎng)第三屆至第七屆獲著作獎(jiǎng)的27個(gè)學(xué)科的2175本著作為獲獎(jiǎng)著作指標(biāo)特征分析的實(shí)驗(yàn)樣本數(shù)據(jù)。本文綜合考慮國(guó)家標(biāo)準(zhǔn)學(xué)科分類、人才培養(yǎng)學(xué)科目錄、人文社科獎(jiǎng)獲獎(jiǎng)著作的中圖分類，將高校人文社科獎(jiǎng)受理范圍設(shè)置的28個(gè)學(xué)科分為人文類，社科類、綜合類三大類進(jìn)行分類分析，具體分類如表2所示。

表2 高校人文社科獎(jiǎng)受理學(xué)科分類表

2.3.2 主觀賦權(quán) 在評(píng)價(jià)指標(biāo)確定后，邀請(qǐng)對(duì)該研究領(lǐng)域有一定研究和認(rèn)識(shí)的專家和從業(yè)人員開展調(diào)查，對(duì)指標(biāo)因素的相對(duì)重要性進(jìn)行評(píng)估。按照著作學(xué)科類型不同，分類型開展評(píng)價(jià)，并用T.L.Saaty l-9標(biāo)度值表示出來(lái)，收集10位評(píng)價(jià)專家的打分表計(jì)算平均值并取整，然后使用層次分析法對(duì)打分結(jié)果進(jìn)行權(quán)重計(jì)算，最終得出的主觀權(quán)重如表3所示。

表3 不同學(xué)科類別著作評(píng)價(jià)指標(biāo)體系主觀權(quán)重表

2.3.3 客觀賦權(quán) 本文采用熵權(quán)法進(jìn)行客觀權(quán)重的計(jì)算，主要根據(jù)指標(biāo)數(shù)值的離散程度對(duì)各項(xiàng)指標(biāo)進(jìn)行賦權(quán)。首先使用離差標(biāo)準(zhǔn)化法對(duì)2 175個(gè)樣本的28個(gè)指標(biāo)的樣本數(shù)據(jù)進(jìn)行歸一化處理，然后計(jì)算信息熵、信息冗余度等，最終使用熵權(quán)法計(jì)算得出的客觀權(quán)重，如表4所示。

表4 不同學(xué)科類別著作評(píng)價(jià)指標(biāo)體系客觀權(quán)重

2.3.4 組合賦權(quán) 主觀賦權(quán)雖然可以集思廣益，但是存在受人為因素影響較大的缺陷，客觀賦權(quán)可以規(guī)避人為因素影響帶來(lái)的偏差，但是存在過于依賴樣本、無(wú)法體現(xiàn)評(píng)價(jià)主體對(duì)不同指標(biāo)重視程度的缺陷，故本文采用乘積法計(jì)算組合權(quán)重以彌補(bǔ)單一賦權(quán)帶來(lái)的不足，具體計(jì)算方式見公式(1)，最終構(gòu)建的不同學(xué)科分類的人文社科學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系如表5所示。

表5 人文社科學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系

續(xù)表5 人文社科學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系

(1)

其中，rj為主觀賦權(quán)權(quán)重，w'j為客觀賦權(quán)權(quán)重，m為指標(biāo)數(shù)。

3 實(shí)證驗(yàn)證

3.1數(shù)據(jù)來(lái)源與數(shù)據(jù)處理第八屆高等學(xué)?？茖W(xué)研究?jī)?yōu)秀成果獎(jiǎng)(人文社會(huì)科學(xué))于2019年1月開始申報(bào)，受理范圍為2014-2017年，受理學(xué)科為27個(gè)。根據(jù)其審核結(jié)果公示，共計(jì)有9 405項(xiàng)申報(bào)成果符合申報(bào)要求。本文以哲學(xué)(206項(xiàng))、社會(huì)學(xué)(88項(xiàng))、管理學(xué)(324項(xiàng))，去除英文著作16項(xiàng)，多卷本25項(xiàng)，剩余哲學(xué)(179項(xiàng))、社會(huì)學(xué)(83項(xiàng))、管理學(xué)(315項(xiàng))共577項(xiàng)申報(bào)成果為本文實(shí)證對(duì)象。以申報(bào)著作的名稱、著者、出版年份及出版社作為源數(shù)據(jù)，從中國(guó)國(guó)家數(shù)字圖書館及中央宣傳部出版物數(shù)據(jù)中心上獲取該著作的ISBN號(hào)，從CSSCI上獲取該著作的被引次數(shù)；使用ISBN號(hào)為源數(shù)據(jù)從讀秀數(shù)據(jù)庫(kù)上獲取該著作的館藏?cái)?shù)量、總被引次數(shù)、被圖書引用次數(shù)，并獲取該著作的豆瓣評(píng)論、當(dāng)當(dāng)圖書評(píng)論以及暢想之星電子圖書館的閱讀、薦購(gòu)、下載、收藏次數(shù)。并以前期對(duì)期刊書評(píng)、報(bào)紙書評(píng)的數(shù)據(jù)集為數(shù)據(jù)庫(kù)，獲取該著作的報(bào)紙書評(píng)和期刊書評(píng)數(shù)據(jù)。

3.2實(shí)證驗(yàn)證以哲學(xué)、社會(huì)學(xué)、管理學(xué)作為人文類學(xué)科、社會(huì)類學(xué)科和綜合類學(xué)科的代表，根據(jù)構(gòu)建好的指標(biāo)體系和標(biāo)準(zhǔn)化后的樣本數(shù)據(jù)計(jì)算綜合評(píng)分并排序，預(yù)測(cè)可能獲獎(jiǎng)的著作。本研究將利用本指標(biāo)體系計(jì)算出的各學(xué)科申報(bào)成果綜合得分排名前20% 左右的申報(bào)成果記為擬定獲獎(jiǎng)成果，前2% 記為一等獎(jiǎng)，將排名前3%～12% 記為二等獎(jiǎng)，將排名前13%～17% 記為三等獎(jiǎng)，其后將根據(jù)本體系得出的獲獎(jiǎng)名單與實(shí)際獲獎(jiǎng)名單對(duì)照分析，以證實(shí)本體系的有效性與可行性。

3.2.1 人文類著作評(píng)價(jià)指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎(jiǎng)的申報(bào)項(xiàng)目中哲學(xué)類中文單行本著作成果共計(jì)179項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測(cè)獲獎(jiǎng)著作30本，其中一等獎(jiǎng)4本，二等獎(jiǎng)17本，三等獎(jiǎng)9本，評(píng)獎(jiǎng)辦根據(jù)其評(píng)審辦法評(píng)審獲獎(jiǎng)30本，其中一等獎(jiǎng)3本，二等獎(jiǎng)18本，三等獎(jiǎng)9本，預(yù)測(cè)獲獎(jiǎng)著作與實(shí)際獲獎(jiǎng)著作對(duì)照如表6所示。其中是否獲獎(jiǎng)?lì)A(yù)測(cè)與實(shí)際一致的共計(jì)14本，獲獎(jiǎng)等級(jí)預(yù)測(cè)與實(shí)際一致的共計(jì)9本，預(yù)測(cè)獲獎(jiǎng)著作的綜合評(píng)價(jià)結(jié)果與著作實(shí)際獲獎(jiǎng)結(jié)果具有較高的相關(guān)性，個(gè)別著作的預(yù)測(cè)評(píng)價(jià)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果差異較大，這與人文社科學(xué)術(shù)成果獎(jiǎng)評(píng)審過程中可能出現(xiàn)的主觀傾向與人為平衡現(xiàn)象有關(guān)。

表6 哲學(xué)預(yù)測(cè)獲獎(jiǎng)著作VS實(shí)際獲獎(jiǎng)著作

續(xù)表6 哲學(xué)預(yù)測(cè)獲獎(jiǎng)著作VS實(shí)際獲獎(jiǎng)著作

從綜合評(píng)價(jià)結(jié)果來(lái)看，根據(jù)本評(píng)價(jià)指標(biāo)體系獲得的人文類著作排名結(jié)果及預(yù)測(cè)獲獎(jiǎng)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果之間相關(guān)度較高，具有合理性。獲得一等獎(jiǎng)的《仁學(xué)本體論》其綜合評(píng)分也穩(wěn)居第一位，其它兩本獲得一等獎(jiǎng)的論著其綜合排名分別處于第37、54位，也處于較高排名，獲得二等獎(jiǎng)的論著其綜合排名大部分處于70位之前，只有個(gè)別處于100位以上，這與論著的研究主題及著作類型均有一定的關(guān)系。獲得三等獎(jiǎng)的論著其排序也均在80位之前，無(wú)異常數(shù)值。

3.2.2 社科類著作評(píng)價(jià)指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎(jiǎng)的申報(bào)項(xiàng)目中社會(huì)學(xué)類中文單行本著作成果共計(jì)83項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測(cè)獲獎(jiǎng)著作14本，其中一等獎(jiǎng)2本，二等獎(jiǎng)8本，三等獎(jiǎng)4本；評(píng)獎(jiǎng)辦根據(jù)其評(píng)審辦法評(píng)審獲獎(jiǎng)14本，其中一等獎(jiǎng)3本，二等獎(jiǎng)9本，三等獎(jiǎng)2本，預(yù)測(cè)獲獎(jiǎng)著作與實(shí)際獲獎(jiǎng)著作對(duì)照如表7所示。其中是否獲獎(jiǎng)?lì)A(yù)測(cè)與實(shí)際一致的共計(jì)7本，獲獎(jiǎng)等級(jí)預(yù)測(cè)與實(shí)際一致的共計(jì)5本，預(yù)測(cè)獲獎(jiǎng)著作的綜合評(píng)價(jià)結(jié)果與著作實(shí)際獲獎(jiǎng)結(jié)果具有較高的相關(guān)性。雖然個(gè)別著作的預(yù)測(cè)評(píng)價(jià)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果差異較大，也恰恰說(shuō)明學(xué)術(shù)著作評(píng)價(jià)的復(fù)雜性和一定程度的不確定性。

表7 社會(huì)學(xué)預(yù)測(cè)獲獎(jiǎng)著作VS實(shí)際獲獎(jiǎng)著作

續(xù)表7 社會(huì)學(xué)預(yù)測(cè)獲獎(jiǎng)著作VS實(shí)際獲獎(jiǎng)著作

從綜合評(píng)價(jià)結(jié)果來(lái)看，根據(jù)本評(píng)價(jià)指標(biāo)體系得出的社科類著作排名結(jié)果及預(yù)測(cè)獲獎(jiǎng)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果之間相關(guān)度較高，具有合理性。獲得一等獎(jiǎng)的《當(dāng)代中國(guó)的階層結(jié)構(gòu)分析》其綜合評(píng)分也穩(wěn)居第一位，其它兩本獲得一等獎(jiǎng)的論著其綜合排名分別處于第34、40位，也處于較高排名，獲得二等獎(jiǎng)的論著其綜合排名大部分處于40位之前，只有個(gè)別處于50位以上，這與論著的研究主題及著作類型均有一定的關(guān)系。獲得三等獎(jiǎng)的論著其排序分別為14、46位，也處于較高排名。

3.2.3 綜合類著作評(píng)價(jià)指標(biāo)體系驗(yàn)證結(jié)果 第八屆高校人文社科獎(jiǎng)的申報(bào)項(xiàng)目中管理學(xué)類中文單行本著作成果共計(jì)315項(xiàng)，根據(jù)本指標(biāo)體系預(yù)測(cè)獲獎(jiǎng)著作54本，其中一等獎(jiǎng)6本，二等獎(jiǎng)32本，三等獎(jiǎng)16本；評(píng)獎(jiǎng)辦根據(jù)其評(píng)審辦法評(píng)審獲獎(jiǎng)56本，其中一等獎(jiǎng)7本，二等獎(jiǎng)38本，三等獎(jiǎng)11本，預(yù)測(cè)獲獎(jiǎng)著作與實(shí)際獲獎(jiǎng)著作對(duì)照如表8所示(由于篇幅限制，本文只列出了綜合得分排名TOP30的著作)。其中是否獲獎(jiǎng)?lì)A(yù)測(cè)與實(shí)際一致的共計(jì)12本，獲獎(jiǎng)等級(jí)預(yù)測(cè)與實(shí)際一致的共計(jì)3本，預(yù)測(cè)獲獎(jiǎng)著作的綜合評(píng)價(jià)結(jié)果與著作實(shí)際獲獎(jiǎng)結(jié)果的相關(guān)性并不高，這其中存在多方面的原因。因?yàn)楣芾韺W(xué)等綜合類學(xué)術(shù)著作多偏向于應(yīng)用型學(xué)術(shù)著作，對(duì)于此類著作評(píng)審時(shí)，是否有決策被采納這一指標(biāo)應(yīng)該占有重要比重，但是在本指標(biāo)體系中這一指標(biāo)數(shù)據(jù)難以采集，故在構(gòu)建指標(biāo)體系中并未添加這一指標(biāo)。在實(shí)際評(píng)審過程中應(yīng)當(dāng)由申報(bào)人提交是否有意見被采納、采納部門及佐證材料等輔助評(píng)審，其次也可能存在學(xué)術(shù)成果獎(jiǎng)項(xiàng)評(píng)審過程中主觀判斷與人為平衡現(xiàn)象。

表8 管理學(xué)預(yù)測(cè)獲獎(jiǎng)著作(TOP30)VS實(shí)際獲獎(jiǎng)著作

續(xù)表8 管理學(xué)預(yù)測(cè)獲獎(jiǎng)著作(TOP30)VS實(shí)際獲獎(jiǎng)著作

從綜合評(píng)價(jià)結(jié)果來(lái)看，根據(jù)本指標(biāo)體系得到的綜合類著作排名結(jié)果及預(yù)測(cè)獲獎(jiǎng)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果之間并無(wú)顯著相關(guān)性，此類著作獲獎(jiǎng)評(píng)審更加著重于其應(yīng)用價(jià)值。獲得一等獎(jiǎng)的《中國(guó)土地和礦產(chǎn)資源有效供給與高效配置機(jī)制研究》《土地整治規(guī)劃設(shè)計(jì)研究》《扶貧開發(fā)與區(qū)域發(fā)展——我國(guó)特困地區(qū)的貧困與扶貧策略研究》等其研究主題都與現(xiàn)下社會(huì)熱點(diǎn)問題息息相關(guān)，且對(duì)于國(guó)家相關(guān)部門解決具體問題具有一定的參考借鑒作用；獲得二等獎(jiǎng)的《中國(guó)農(nóng)村養(yǎng)老保險(xiǎn)體系框架與適度水平》《中國(guó)社會(huì)保障稅稅收設(shè)計(jì)研究》《基于博弈論和CGE模型的碳稅政策研究》《企業(yè)創(chuàng)新生態(tài)系統(tǒng)論》等學(xué)術(shù)著作，其研究問題多為社會(huì)或是企業(yè)管理長(zhǎng)期關(guān)注問題，且為這些問題的解決提供了適當(dāng)?shù)膮⒖冀ㄗh。

4 結(jié)論與討論

總體來(lái)看，人文類與社科類學(xué)術(shù)著作綜合排序及預(yù)測(cè)獲獎(jiǎng)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果一致性較高。當(dāng)然也有些不一致的地方，其原因是多方面的。首先，由于著作的類型不同，部分著作由于被指定為教材或教輔讀物，其圖書利用率可能會(huì)受此影響；其次，由于著作的研究主題不同，被引或被利用的頻率與其研究主題是否為熱門主題有很大關(guān)系，但不可否認(rèn)非熱點(diǎn)研究話題的學(xué)術(shù)價(jià)值與社會(huì)價(jià)值；再次，由于不同著作的出版時(shí)間不同，部分指標(biāo)可能會(huì)受時(shí)間因素的影響。例如出版較早的著作在參評(píng)時(shí)比出版較晚的著作更具優(yōu)勢(shì)。不過體系中添加年均被引來(lái)平衡這一差異，且著作評(píng)審時(shí)間一般都過了著作被引高峰。如第八屆申報(bào)時(shí)間為2019年，參評(píng)成果范圍為2014-2017年出版的著作，而被引高峰一般發(fā)生在其出版的第二年；此外，由于指標(biāo)體系中的多數(shù)指標(biāo)數(shù)據(jù)是來(lái)自搜索引擎的搜索結(jié)果，偶然出現(xiàn)的錯(cuò)檢、漏檢現(xiàn)象可能會(huì)對(duì)評(píng)價(jià)結(jié)果有一定的影響。由于學(xué)者的工作單位不是一成不變，本研究中雖然在智能采集后進(jìn)行了人工辨別，但是難免會(huì)有紕漏；最后，學(xué)術(shù)著作獲獎(jiǎng)與否一定程度上受到人為因素的干擾，如不同科研機(jī)構(gòu)之間獲獎(jiǎng)數(shù)額的平衡以及著者學(xué)術(shù)地位的影響等?？傮w來(lái)說(shuō)，本研究所構(gòu)建的評(píng)價(jià)指標(biāo)體系對(duì)人文類和社科類學(xué)術(shù)著作評(píng)審具有一定的合理性與可操作性，可以作為著作類學(xué)術(shù)成果獎(jiǎng)項(xiàng)評(píng)審時(shí)的參考依據(jù)，可經(jīng)過不斷的實(shí)踐檢驗(yàn)而逐步完善，以降低僅依賴專家評(píng)審的時(shí)間成本及經(jīng)濟(jì)成本，提高評(píng)獎(jiǎng)過程的客觀性。

綜合類學(xué)術(shù)著作綜合排序及預(yù)測(cè)獲獎(jiǎng)結(jié)果與實(shí)際獲獎(jiǎng)結(jié)果相關(guān)性不高，其主要原因在于綜合類學(xué)術(shù)著作偏向于應(yīng)用型的學(xué)術(shù)著作更多，在此類著作評(píng)審時(shí)，可將決策建議被采納作為主要評(píng)審指標(biāo)，本文由于數(shù)據(jù)采集難度大并未添加這一指標(biāo)。在綜合類學(xué)術(shù)著作評(píng)審時(shí)可由申報(bào)者提供是否有決策建議被采納的相關(guān)佐證材料。本指標(biāo)體系的評(píng)審結(jié)果可為此類著作評(píng)審提供參考作用，幫助評(píng)判著作的學(xué)術(shù)影響力及部分社會(huì)影響力。

學(xué)術(shù)評(píng)價(jià)是一項(xiàng)高度復(fù)雜和極具挑戰(zhàn)性的工作，任何評(píng)價(jià)方法都不可能十全十美。學(xué)術(shù)著作評(píng)價(jià)的關(guān)鍵除了構(gòu)建科學(xué)合理的評(píng)價(jià)方法體系，還需要構(gòu)建與評(píng)價(jià)方法相適應(yīng)的評(píng)價(jià)治理體系。在著作類成果評(píng)價(jià)治理體系中直接或間接存在多種顯在和潛在的委托代理關(guān)系。如高校人事部門與評(píng)聘委員會(huì)、文獻(xiàn)數(shù)據(jù)提供者、學(xué)會(huì)協(xié)會(huì)、出版社就是委托代理關(guān)系。委托代理關(guān)系的存在與運(yùn)行或者需要建立一套正式制度，通過制度契約來(lái)保障雙方責(zé)任的履行，如著作評(píng)價(jià)的正式文件；或者通過潛在的非正式的心理契約來(lái)履約，如專家聲譽(yù)和第三方機(jī)構(gòu)獨(dú)立性。為降低評(píng)價(jià)“交易成本”，避免“合謀”，有必要建立信息公開和監(jiān)督機(jī)制；為了實(shí)現(xiàn)評(píng)價(jià)的公信力，有必要建立結(jié)果公示機(jī)制、反饋機(jī)制、爭(zhēng)議投訴機(jī)制。在評(píng)價(jià)治理體系的建構(gòu)中，要注意發(fā)揮專家同行評(píng)議和科學(xué)計(jì)量評(píng)價(jià)方法各自優(yōu)勢(shì)。

專門的書評(píng)書目數(shù)據(jù)庫(kù)對(duì)于著作評(píng)價(jià)體系完善有著積極的推動(dòng)作用。我國(guó)需要盡快推動(dòng)專業(yè)機(jī)構(gòu)或者數(shù)字企業(yè)建立包括報(bào)紙書評(píng)、期刊書評(píng)、社交媒體書評(píng)、著作序跋在內(nèi)的專業(yè)書評(píng)索引庫(kù)，以更好地支撐學(xué)術(shù)研究、服務(wù)學(xué)術(shù)評(píng)價(jià)和科研管理。國(guó)內(nèi)可借鑒美國(guó) Book Review Digest 和 Technical Book Review Index 綜合類和專業(yè)類書評(píng)索引建設(shè)經(jīng)驗(yàn)，依托有影響力的數(shù)據(jù)公司及學(xué)術(shù)評(píng)價(jià)機(jī)構(gòu)建立我國(guó)的專業(yè)書評(píng)數(shù)據(jù)庫(kù)和索引庫(kù)。

當(dāng)前國(guó)內(nèi)外部分學(xué)者正致力于基于全文本分析的引文指標(biāo)的研究，試圖使用技術(shù)手段使學(xué)術(shù)評(píng)價(jià)中關(guān)于內(nèi)容的評(píng)價(jià)更加可視化，即通過施引文獻(xiàn)全文數(shù)據(jù)的獲取、引用信息識(shí)別、引用語(yǔ)境識(shí)別、引文指標(biāo)計(jì)算等方式，分析被引文獻(xiàn)在施引文獻(xiàn)中的引用次數(shù)、引用位置及引用語(yǔ)境等，從而分析被引文獻(xiàn)在施引文獻(xiàn)中的作用，但是這一方法多用于論文評(píng)價(jià)，由于著作體量大及技術(shù)手段限制，較少被用于著作評(píng)價(jià)。隨著技術(shù)手段的跟進(jìn)，此類指標(biāo)的加入將使學(xué)術(shù)著作評(píng)價(jià)指標(biāo)體系得以進(jìn)一步完善。