楊旭婷，喬 剛

（1.河南大學(xué) 教育學(xué)部，河南 開封 475004；2.延安大學(xué) 教育科學(xué)學(xué)院，陜西 延安 716000）

一、引 言

同行評價是科學(xué)界對科研項目進(jìn)行評審和對科研成果進(jìn)行評估的一種基本方法。[1]與量化評價、專家評價、政府評價等評價方式相比，同行評價具有專業(yè)性更強(qiáng)、民主參與性更高的優(yōu)勢。正如布魯貝克所言，大學(xué)傳授與研究的是“高深學(xué)問”，教師作為同行，他們“最清楚高深學(xué)問”的內(nèi)容，也“比其他人更清楚地知道誰最有資格成為教授”[2]。但同行評價在實施過程中往往存在一些問題，如過于遵循學(xué)科固有傳統(tǒng)范式而帶來對創(chuàng)新研究的抵制[3]，容易受到“老友關(guān)系網(wǎng)”的阻礙[4],評價者個人情感、個人偏見的帶入影響最終評價結(jié)果的客觀性[5]，等等。也正是因為這些缺陷，同行評價這一契合學(xué)術(shù)發(fā)展邏輯和高等教育治理邏輯的評價方式[6]，卻在實際應(yīng)用中經(jīng)常受到質(zhì)疑。究其原因，評價人監(jiān)督與激勵機(jī)制的缺乏、不同類型研究評判標(biāo)準(zhǔn)的單一化、評價信息的不充分等是這些問題產(chǎn)生的主要因素。[7]因此，有效地開展同行評價活動，關(guān)鍵在于設(shè)計科學(xué)合理的實施策略和保障機(jī)制，實現(xiàn)在發(fā)揮同行評價制度優(yōu)勢的同時最大限度地規(guī)避潛在問題的出現(xiàn)。

2002年，新西蘭政府開始實施的基于績效的研究基金項目（Performance-Based Research Fund，PBRF）是一項評價全國高等教育機(jī)構(gòu)的研究表現(xiàn)，并根據(jù)評價結(jié)果予以資金支持的活動，意在鼓勵、獎勵新西蘭高等教育機(jī)構(gòu)的高水平研究，提升新西蘭高等教育機(jī)構(gòu)的全球競爭力和國際影響力。項目的評價內(nèi)容包括三個部分，分別是研究成果的質(zhì)量評價、研究生學(xué)位獲得者數(shù)量和外部研究收入。其中，研究成果的質(zhì)量評價（Quality Evaluation）是項目評價的核心，占到了總體評價權(quán)重的55%，與其他兩項可以直接獲得數(shù)據(jù)的量化指標(biāo)所不同，質(zhì)量評價是通過同行評價的方式進(jìn)行的，依托同行專家來評判參評人及其所在高校的研究成果。質(zhì)量評價是一項周期性活動，其項目實施以來，新西蘭政府委托高等教育委員會分別于2003 年、2006 年、2012 年和2018 年組織開展了4輪同行評價活動。

經(jīng)過多年的實踐，PBRF項目持續(xù)改進(jìn)同行評價方式方法，完善同行評價內(nèi)容。新西蘭高等教育委員會先后發(fā)布了《高等教育機(jī)構(gòu)參評指南》《質(zhì)量評價實施過程指南》《同行評價小組遴選與任命辦法》《不同領(lǐng)域同行評價實施指南》《同行評價線上系統(tǒng)使用手冊》等一系列規(guī)章制度，已經(jīng)形成了較成熟的全國性同行評價體系，構(gòu)建了較完備的同行評價機(jī)制。從實際成效看，PBRF項目的實施有效提升了高校的研究生產(chǎn)率[8]，帶來了新西蘭高等教育研究質(zhì)量的整體提高[9]，特別是原有基礎(chǔ)相對落后的大學(xué)、學(xué)科研究水平的實質(zhì)性提升[10]。有學(xué)者基于對英國、美國、日本、德國、荷蘭等16個國家或地區(qū)主要高等教育評價模式的比較分析提出，新西蘭PBRF項目是評估研究和分配研究資金的最高質(zhì)量模型，在評價內(nèi)容的全面性、評價過程的公正透明性、評價方式的科學(xué)性等方面具有顯著優(yōu)勢[11]。與此同時，項目也獲得了越來越多高等教育機(jī)構(gòu)的認(rèn)可。數(shù)據(jù)顯示，參加PBRF項目的高等教育機(jī)構(gòu)數(shù)量已從第一輪的22 所發(fā)展到最新一輪的36 所，參評教師從4 461 人增長到最新一輪的7 408人[12]。PBRF 項目的評價結(jié)果正在被應(yīng)用到新西蘭高等教育機(jī)構(gòu)內(nèi)部質(zhì)量評價、教師評價中，成為高等教育機(jī)構(gòu)評價教師研究水平和研究能力的重要依據(jù)。目前，PBRF項目已經(jīng)成為新西蘭最具影響力的高等教育評價活動之一，是新西蘭高等教育機(jī)構(gòu)獲取研究資金的最主要來源。

本文聚焦同行評價，結(jié)合新西蘭PBRF項目2018-2019年最新一輪質(zhì)量評價實踐，分析其在推動同行評價活動的有效執(zhí)行、規(guī)避同行評價潛在不足方面采取的實施策略與制度保障。

二、新西蘭PBRF項目中同行評價的實施策略

（一）基于同行推薦遴選評價專家

作為一種由從事特定領(lǐng)域或接近該領(lǐng)域的專家來評定一項工作的學(xué)術(shù)水平或重要性的機(jī)制[13]，同行評價制度的最顯著優(yōu)勢在于其契合學(xué)術(shù)自身發(fā)展邏輯，有助于維護(hù)科學(xué)發(fā)展的自主性，體現(xiàn)了“由內(nèi)行評價內(nèi)行”的基本原則。因此，要保障同行評價制度的有效實施，避免“非同行”“偽同行”的出現(xiàn)，誰來擔(dān)任“同行”是同行評價首先需要考慮的問題。理想的同行評價專家既要具備扎實的專業(yè)素養(yǎng)和較高的學(xué)術(shù)水平，也要具備評判前沿研究成果的能力，更要富有責(zé)任心和學(xué)術(shù)使命感。

在同行評價專家的產(chǎn)生方面，PBRF項目采用了個人推薦制。這里的“個人”不僅包括大學(xué)教師，也包括非高等教育機(jī)構(gòu)的研究人員以及其他技術(shù)研發(fā)應(yīng)用人員。推薦人可在線上系統(tǒng)填寫被推薦人相關(guān)信息，提供被推薦人獲得的高水平研究成果或獎勵情況（5項以內(nèi)）、前期參與同行評價活動經(jīng)驗（5項以內(nèi)）等表征被推薦人水平的信息。同時，為保證個人推薦的有效性，項目要求被推薦人亦需在推薦信息表中簽字，以示其同意被推薦、認(rèn)同提交的推薦材料、了解并同意項目相關(guān)協(xié)議、能夠在規(guī)定時間參與培訓(xùn)及評價會議等活動。遴選同行專家的權(quán)力交給了從事研究或與研究工作相關(guān)的人群，既有助于保障同行專家的權(quán)威性，也有助于保障同行專家對參評內(nèi)容的熟悉性和專業(yè)性，從源頭上避免了由政府指定專家或者小群體推薦專家?guī)淼牟涣紗栴}，體現(xiàn)了多元參與的治理理念。

盡管以同行推薦為基礎(chǔ)，但最終誰能獲得評價權(quán)并不是依據(jù)其被推薦的數(shù)量多少而定的。在被推薦的基礎(chǔ)上，PBRF 項目所有同行評價專家均由高等教育委員會遵循三條基本原則進(jìn)行遴選、任命：一是具有較強(qiáng)的專業(yè)能力，專業(yè)水平突出、研究內(nèi)容涉獵豐富，了解本領(lǐng)域理論研究和應(yīng)用研究發(fā)展?fàn)顩r；二是具有一定的評價經(jīng)驗，能夠結(jié)合學(xué)術(shù)領(lǐng)域公認(rèn)的對卓越的理解來進(jìn)行研究質(zhì)量的判斷；三是能夠理解和把握質(zhì)量評價標(biāo)準(zhǔn)，遵守項目評價制度的要求，致力于客觀、公正、高效地開展評價活動。[14]與此同時，PBRF 項目特別強(qiáng)調(diào)小組成員構(gòu)成的多元化，規(guī)定每個評價小組成員中至少有25%的國際專家和一定比例的青年學(xué)者、跨學(xué)科研究者。

最終的同行評價小組成員由高等教育委員會結(jié)合實際進(jìn)行若干輪的遴選產(chǎn)生。一般是先選擇各小組的組長、副組長，之后選擇各組成員，最后結(jié)合實際需要進(jìn)行增補(bǔ)調(diào)整。總的來看，最終的同行評價小組成員構(gòu)成既要滿足項目對評價專家的基本要求，也要能夠兼顧該小組所代表學(xué)科的各個研究領(lǐng)域，還要考慮國際學(xué)者比例、首次參評專家的比例、女性參評者比例、青年研究者的比例、評價工作量等情況。2018年，PBRF項目各同行評價小組一般由10-20名成員構(gòu)成。

（二）基于廣泛評價內(nèi)容進(jìn)行代表作評價

一是設(shè)置廣泛的參評內(nèi)容。PBRF項目同行評價主要是考察各個高等教育機(jī)構(gòu)研究者的研究質(zhì)量，但項目對什么是“研究”的界定非常寬泛——具有原創(chuàng)性、能夠增進(jìn)知識創(chuàng)新或促進(jìn)社會文化發(fā)展的探索性成果均可納入研究的范疇之內(nèi)。PBRF項目《質(zhì)量評價指南》中明確提到，高質(zhì)量的研究不能僅局限于理論探索，而是發(fā)生在原始調(diào)查活動的整個過程中。因而，項目質(zhì)量評價在參評內(nèi)容上設(shè)置了兩個方面：研究成果（Research Outputs）和研究貢獻(xiàn)（Research Contributions）。前者意在考察研究成果的科學(xué)性，研究結(jié)論在促進(jìn)人類的知識、增進(jìn)理解、推進(jìn)創(chuàng)新等方面的成效，后者則側(cè)重反映參評者在從事研究及研究相關(guān)活動的過程中，在學(xué)術(shù)界內(nèi)外所作出的貢獻(xiàn)和獲得的認(rèn)可情況。每位參評者均需在其提交的參評論證材料（Evidence Portfolios）中羅列其研究成果與研究貢獻(xiàn)。

二是設(shè)置多樣的參評形式。為了充分展現(xiàn)參評人在研究成果和研究貢獻(xiàn)兩方面的表現(xiàn)，PBRF項目質(zhì)量評價認(rèn)可多樣化的形式表達(dá)。在研究成果方面，項目設(shè)置了學(xué)術(shù)論文、會議論文、主編或參編的書籍、學(xué)位論文、專利、藝術(shù)作品、表演、設(shè)計、軟件、電影等共15種不同形式；在研究貢獻(xiàn)方面，項目設(shè)置了對學(xué)科領(lǐng)域發(fā)展的貢獻(xiàn)（如組織或參與重要會議、任職重要國際組織、促進(jìn)國際合作）、社區(qū)參與服務(wù)情況、研究成果的認(rèn)同與影響、獲得的各類獎項、指導(dǎo)或支持學(xué)科青年人才情況、參與各類評價評審活動情況等12種不同形式。相較于量化數(shù)據(jù)評價，同行評價對參評材料統(tǒng)計口徑并沒有嚴(yán)格的一致性要求。PBRF項目設(shè)置的多樣化的參評形式，符合同行評價的特點，有利于發(fā)揮同行評價的制度優(yōu)勢。當(dāng)然，盡管質(zhì)量評價的內(nèi)容寬泛、形式多樣，但評價小組對各類參評材料均以質(zhì)量作為判斷的基本標(biāo)準(zhǔn)和核心要義，不受內(nèi)容或形式的影響。藝術(shù)表演的評分不一定比期刊論文低，應(yīng)用研究的評分也不一定會比基礎(chǔ)研究高，所有研究活動都根據(jù)其本身的價值來考慮，這一點將在下文的制度保障部分具體闡釋。

三是實施代表作評價制度。為了更好地反映參評人從事研究工作、產(chǎn)出高質(zhì)量研究的評價初衷，PBRF項目同行評價并不以參評者研究成果或貢獻(xiàn)的數(shù)量為評價標(biāo)準(zhǔn)，而是采取代表作評價的方式，考察其最高水平的研究產(chǎn)出的質(zhì)量。因此，盡管項目設(shè)置了廣泛的評價內(nèi)容和多樣化的參評形式，但卻并不是漫無邊際的各種材料的堆積，參評人員要選擇他們在評估期間取得的最佳研究成果和研究貢獻(xiàn)。在研究成果部分，項目要求參評者提交不超過4份的主要研究成果和不超過12份的補(bǔ)充研究成果；在研究貢獻(xiàn)部分，要求參評者提交不超過15份的研究貢獻(xiàn)。同時，項目要求參評者對其所提交的代表性成果、貢獻(xiàn)提供證據(jù)支持，即除了研究成果的標(biāo)題、作者、時間、來源（期刊或出版機(jī)構(gòu)等）、對應(yīng)的參評類型之外，還需要分別對代表作完成過程中的個人貢獻(xiàn)、成果價值與意義進(jìn)行1 000字左右的文字描述。[15]而且，PBRF項目質(zhì)量評價還將其他同行的認(rèn)可或評價情況等納入評價考慮范圍，要求每份代表性成果提交相關(guān)的質(zhì)量保證材料（Quality Assurance），以說明其獲得領(lǐng)域內(nèi)相關(guān)專家的審查與認(rèn)可情況。如期刊或出版社編輯、編委會的審查結(jié)果，會議論文的評價結(jié)果，相關(guān)使用機(jī)構(gòu)或用戶在合作、資助前開展的審查結(jié)果等。對沒有質(zhì)量保證的作品，評價小組會進(jìn)行更為嚴(yán)格的審查。顯然，這種代表作評價是建立在廣泛而充分的信息分析基礎(chǔ)上的，評價粒度非常細(xì)。

（三）基于不同研究領(lǐng)域開展分類評價

不同學(xué)科門類具有不同的學(xué)術(shù)產(chǎn)出機(jī)制和特點，即便在同一學(xué)科之內(nèi)，知識也越來越具有高度的不確定性。[16]PBRF 項目質(zhì)量評價尊重學(xué)科領(lǐng)域差異，尊重不同學(xué)科領(lǐng)域研究成果與社會影響的多樣化、個性化特點，設(shè)置了包括生物科學(xué)、商業(yè)與經(jīng)濟(jì)、教育、工程技術(shù)與建筑、人文與法律、創(chuàng)作與表演藝術(shù)、數(shù)學(xué)與信息科學(xué)技術(shù)、物理科學(xué)、醫(yī)藥與公共健康等共13 個代表不同學(xué)科領(lǐng)域的同行評價小組（Peer Review Panels）。與之前3 次質(zhì)量評價活動相比，PBRF 項目2018 年的質(zhì)量評價新設(shè)了“太平洋研究”（Pacific Research）評價小組，專門考察太平洋主題研究的水平以及研究對太平洋地區(qū)人民發(fā)展與全球化的影響程度，旨在支持太平洋相關(guān)研究，提升太平洋研究能力，加速太平洋研究的發(fā)展。[17]這一新小組的設(shè)置反映了新西蘭PBRF項目對區(qū)域性、國際性研究活動的重視。

每個同行評價小組在其《質(zhì)量評價小組指南》中均規(guī)定了該小組設(shè)置的研究主題，認(rèn)可的研究成果、研究貢獻(xiàn)的基本類型以及材料撰寫規(guī)范。參評者及其所在高校需要依據(jù)研究內(nèi)容為每一份參評材料選擇特定的同行評價小組。之后，同行評價小組主席結(jié)合每份參評材料具體內(nèi)容，將參評材料分配給相應(yīng)的小組專家。PBRF項目的分類評價并不排斥跨學(xué)科研究和跨學(xué)科評價。當(dāng)評價專家發(fā)現(xiàn)某份評價材料的研究主題涉及另一評價小組范疇，應(yīng)進(jìn)行跨學(xué)科合作評價時，小組主席會向高等教育委員會提出跨小組評價申請并提供具體建議，說明需要進(jìn)行跨小組評價的依據(jù)。高等教育委員會將在征求相關(guān)學(xué)科小組主席意見的基礎(chǔ)上，作出是否調(diào)整評價小組或是否進(jìn)行聯(lián)合評價的決定。

（四）基于多人、多輪計分形成評價結(jié)果

PBRF項目采取個人單獨評價、二（多）人合作評價和小組評價相結(jié)合的方式形成評價結(jié)果。在同行評價的過程中，小組主席將每份參評材料指派給2名小組成員，每位評價成員首先對其所負(fù)責(zé)材料的研究成果和研究貢獻(xiàn)兩部分分別進(jìn)行評價并得出預(yù)備分?jǐn)?shù)（Preparatory Scores），如果材料涉及到跨小組評價，則相應(yīng)小組專家也需要參與進(jìn)來；接下來，小組內(nèi)兩名或多名成員經(jīng)過討論，共同對同一份參評材料進(jìn)行評分，商議得出這份材料的初始分?jǐn)?shù)（Preliminary Scores），如若無法達(dá)成一致意見，則該份材料直接進(jìn)入下一階段；之后，各個學(xué)科的同行評價小組召開小組會議，結(jié)合評價標(biāo)準(zhǔn)對參評材料進(jìn)一步討論，給出質(zhì)量分?jǐn)?shù)并由系統(tǒng)自動生成質(zhì)量結(jié)果與質(zhì)量類別（Quality Results & Quality Category），整個評分流程如圖1所示。這種個人評分、合作評分和小組評分相結(jié)合的機(jī)制，有益于成員之間對評價內(nèi)容的一致性把握。在相互交流的過程中，專家的個人影響得以弱化，從而使得沒有任何一份材料的評價結(jié)果是由某一位專家單獨決定的。[18]

圖1 同行評價專家的評價過程

在具體的分?jǐn)?shù)呈現(xiàn)上，PBRF項目采取數(shù)字計分、權(quán)重計分、分類計分相結(jié)合的方式。在預(yù)備分?jǐn)?shù)和初始分?jǐn)?shù)階段，采取數(shù)字計分（Numerical Scoring System）和權(quán)重計分（Weighting System for Scores）方法，同行評價成員選擇0至7中的整數(shù)為研究成果和研究貢獻(xiàn)分別打分，其中，0表示質(zhì)量最低，7表示質(zhì)量最高。之后，依據(jù)研究成果占70%、研究貢獻(xiàn)占30%的權(quán)重設(shè)置，將數(shù)字計分結(jié)果賦權(quán)，形成兩項的加權(quán)分?jǐn)?shù)以及相應(yīng)的總分?jǐn)?shù)。在最終的評價結(jié)果呈現(xiàn)上，項目采取分類計分（Quality Categories），最終結(jié)果以A、B、C、R的不同質(zhì)量類型的形式呈現(xiàn)。其中，A 類表征質(zhì)量最高（加權(quán)總分為600-700 之間），意味著相關(guān)研究產(chǎn)出與貢獻(xiàn)達(dá)到了世界一流水平、在所在領(lǐng)域取得了非常高的學(xué)術(shù)認(rèn)可度、對本學(xué)科研究產(chǎn)生了重大影響；加權(quán)總分在400-580 之間的為B 類，表明研究產(chǎn)出與貢獻(xiàn)具有較高質(zhì)量，得到了學(xué)界較高的認(rèn)可，對學(xué)科發(fā)展作出了一定貢獻(xiàn)；加權(quán)分?jǐn)?shù)在200-390之間的為C類，表示取得了一定的學(xué)術(shù)認(rèn)可，在較小的范圍內(nèi)作出了貢獻(xiàn)；加權(quán)分?jǐn)?shù)低于200分的被歸為R類，意味著參評者的研究尚不能達(dá)到獲得項目資助的水平，表1和圖2展示了這一過程。

圖2 分類計分結(jié)果分布

表1 數(shù)字計分與權(quán)重計分示例

在PBRF項目實施的過程中，參評的高等教育機(jī)構(gòu)通過線上平臺提交材料，審查團(tuán)隊通過線上平臺進(jìn)行材料審查，同行評價專家直接在線上平臺對每份證明材料進(jìn)行評分，系統(tǒng)根據(jù)專家的打分自動加權(quán)、分類，并形成最終的評價結(jié)果。在線開展信息的處理為PBRF項目同行評價帶來了諸多便捷，有效提升了評價工作效率，降低了評價成本。

三、新西蘭PBRF項目中同行評價的制度保障

作為學(xué)科專家對其領(lǐng)域的新知識實施質(zhì)量控制的一種“社會機(jī)制”[19]，同行評價要克服其缺陷，僅僅依靠學(xué)術(shù)共同體內(nèi)部的自律，無論是專業(yè)規(guī)范上還是職業(yè)倫理上，都難以絕對消除“老友評價”或者“互利評價”等現(xiàn)象。更可行且有效的途徑還是通過制度更替或制度改進(jìn)的方式，在最大程度上來抑制同行評價弱點的放大效應(yīng)。[20]新西蘭PBRF項目質(zhì)量評價設(shè)計了全過程、細(xì)節(jié)化的制度安排，為其同行評價的有效展開提供了可靠保障。

（一）評估材料審查制度

盡管PBRF 項目對參評研究內(nèi)容、形式的界定較為寬泛，但其對于參評者的資格、參評資料的標(biāo)準(zhǔn)等均制定了一系列詳實的規(guī)定，用“嚴(yán)入口”來保證信息的可靠性。對于參評者的資格，項目要求其必須是從事學(xué)位教育或?qū)ｉT研究的教職工；在評估開展前一年，與所在高等教育機(jī)構(gòu)具有有效的雇傭或聘任關(guān)系；在工作時間內(nèi)從事每周不低于7.5小時的工作量（非國內(nèi)常住教師要求18.5小時）等。對于參評資料，項目要求成果需符合項目對原創(chuàng)性、創(chuàng)新性的規(guī)定（如文件匯編不包括在內(nèi)），成果的發(fā)表時間需在評估前6年的評估周期以內(nèi)。

為更好地開展審查工作，高等教育委員會專門設(shè)置了審查團(tuán)隊（Audit Team），對所有參評院校提交的材料進(jìn)行全面審查。材料審查采用抽樣的方式開展，抽樣的比例則取決于質(zhì)量評價活動開始前，高等教育委員會向每所參評院校發(fā)放的對項目理解程度與校內(nèi)籌備情況的問卷調(diào)查結(jié)果。在若干輪抽樣調(diào)查基礎(chǔ)上，審查團(tuán)隊將著重對參評者資格、研究成果發(fā)布時間等進(jìn)行檢查，并通過與其他數(shù)據(jù)庫進(jìn)行核對，保障相關(guān)信息的真實性和客觀性以及填寫數(shù)據(jù)的完整性，為后續(xù)的評價工作的展開奠定基礎(chǔ)。

（二）利益相關(guān)者回避制度

為防止利益相關(guān)評價的出現(xiàn)，PBRF項目同行評價從參評者和評價者兩個方面建立了利益相關(guān)評價專家的回避與退出制度。一方面，大學(xué)可以代表其參評教師向高等教育委員會提交利益沖突說明（Conflict of Interest Notices），以說明存在實際利益關(guān)系或潛在利益關(guān)系的評價專家。在收到利益沖突說明后，同行評議小組組長將決定利益相關(guān)評價人員是否參與相關(guān)材料的評價（如小組組長為利益相關(guān)者則由小組仲裁員負(fù)責(zé)）。另一方面，小組主席在決定每份參評材料的評價專家時會綜合考慮參評材料的研究主題、是否存在利益相關(guān)以及小組成員的工作量，因而，很大一部分利益沖突會在材料分派階段得以避免。同時，評價專家若在評價過程中發(fā)現(xiàn)本人與參評人存在實際或潛在的利益關(guān)系，也可隨時向小組主席提出意見，由小組主席采取適當(dāng)?shù)恼{(diào)整行動。在這樣的制度約束下，導(dǎo)師、親友、學(xué)術(shù)伙伴將被排除在評價者之外，有助于提升同行評價的客觀公正性。

（三）評價全過程審核制度

PBRF項目質(zhì)量評價是嚴(yán)格按照研究質(zhì)量標(biāo)準(zhǔn)而不是專家常識標(biāo)準(zhǔn)來進(jìn)行評判的，每個分值都有特定的標(biāo)準(zhǔn)要求，專家需要將參評者的研究成果和研究貢獻(xiàn)與每個分值的標(biāo)準(zhǔn)要求進(jìn)行比對，在此基礎(chǔ)上給出分?jǐn)?shù)，且不同的評價結(jié)果并沒有預(yù)先設(shè)計好的選取比例。為了切實落實各同行評價小組成員之間、不同小組之間以及幾輪評價之間對評價標(biāo)準(zhǔn)執(zhí)行的嚴(yán)格性、一致性，高等教育委員會專門成立了由1名首席審核員、2 名副審核員和13 名同行評價小組組長組成的審核小組（Moderation Panel）。

審核工作主要包括兩個階段，一是對各個同行評價小組給出的預(yù)備分?jǐn)?shù)、初始分?jǐn)?shù)進(jìn)行審查，并于小組初始分?jǐn)?shù)給出后召開第一次審核小組會議，審查各個小組參評材料的分配狀況、評分?jǐn)?shù)據(jù)，了解評價過程中出現(xiàn)或可能出現(xiàn)的評分偏差、錯誤等問題，以確保小組成員之間和各個小組之間評估標(biāo)準(zhǔn)應(yīng)用的一致性。二是對同行評價小組給出的最終質(zhì)量結(jié)果進(jìn)行審查，并召開第二次審核小組會議，確定小組評價結(jié)果和最終的質(zhì)量類別與分?jǐn)?shù)標(biāo)準(zhǔn)界定之間是否有偏差、小組間是否有偏差。這個過程說明，項目的審核工作是貫穿評估同行評價全過程的。通過對各個環(huán)節(jié)評價過程及其存在問題的分析，考察標(biāo)準(zhǔn)理解不到位、標(biāo)準(zhǔn)執(zhí)行不一等情況，在此基礎(chǔ)上研討問題解決辦法，并向高等教育委員會提交審核報告。如發(fā)現(xiàn)有評分不當(dāng)?shù)膯栴}，審核小組會要求同行評價小組再次對相關(guān)材料重新進(jìn)行評價，切實促進(jìn)評價改進(jìn)?？偟膩砜?，審核有助于保障評價分?jǐn)?shù)及最終評價結(jié)果的形成不是按照評價者的常識經(jīng)驗判斷或者預(yù)設(shè)的各個類型的百分比而形成的，而是嚴(yán)格依據(jù)分值標(biāo)準(zhǔn)、結(jié)合研究質(zhì)量作出的客觀決定。

（四）保密與申訴制度

為提升評價過程的公正性，在評價活動開始前，高等教育委員會要求所有參與同行評價的專家都需要簽署保密協(xié)議（Confidentiality Agreement），以確保參評者提交的參評材料不會產(chǎn)生除評價之外的其他用途，確保評價所做的所有討論和決定的機(jī)密性，避免評價材料的外傳、泄露；保證小組主席、小組成員以及高等教育委員會成員之間所有討論和交流的機(jī)密性，保證同行評價小組做出決定的機(jī)密性。同時，為了保障被評者的基本權(quán)益，高等教育委員會允許高校針對評價的程序性問題提出申訴，委員會將對申訴信息進(jìn)行調(diào)查，并向高校反饋處理結(jié)果以及針對這一結(jié)果可能會采取的完善措施。

四、結(jié) 語

PBRF項目采用同行評價的方式對全國高等教育機(jī)構(gòu)的研究質(zhì)量進(jìn)行考察，在評價主體的形成、評價內(nèi)容的界定、評價方式的選擇、評價過程的監(jiān)督等方面作出了積極的探索。PBRF項目在如何保障評價專家的專業(yè)性、評價標(biāo)準(zhǔn)執(zhí)行的一致性、評價過程的客觀性，如何處理不同學(xué)科的異質(zhì)性，如何更好地體現(xiàn)研究創(chuàng)新性與貢獻(xiàn)度，以及如何降低評價成本、提升評價效率等多個方面，為我們理解同行評價的實施提供了可靠經(jīng)驗。

有學(xué)者比較了基于期刊文獻(xiàn)的計量評價結(jié)果和同一時期PBRF項目同行評價結(jié)果，發(fā)現(xiàn)二者具有一定差異，同行評價更善于甄別同一期刊上的優(yōu)質(zhì)文獻(xiàn)[21]，而不是簡單的以刊評文，這也進(jìn)一步體現(xiàn)了PBRF項目同行評價的有效性。當(dāng)然，PBRF項目同行評價也并不是完美無缺的，有學(xué)者質(zhì)疑其6年的評價周期會降低學(xué)者對長期性研究工作的積極性[22]，交叉學(xué)科的研究績效往往被低估[23]，獲得低評分的學(xué)術(shù)人員，尤其是年輕人，可能因此變得沮喪，遭受疲憊和壓力[24]。關(guān)于這些問題，高等教育委員會在歷次的同行評價總結(jié)報告中也會提及并在下一輪評價活動中采取適當(dāng)調(diào)整措施。在2025年即將舉行的第五輪質(zhì)量評價活動中，高等教育委員會提出，將進(jìn)一步豐富PBRF項目對“研究”的界定，以更好地獎勵多樣化的研究，更好地支持合作和參與，提高太平洋研究、毛利研究的資金分配比重，以鼓勵區(qū)域化、本土化研究，提升研究質(zhì)量[25]。PBRF項目同行評價實施策略與制度保障的設(shè)計也是一個在尊重學(xué)術(shù)、尊重學(xué)者的基礎(chǔ)上持續(xù)完善、不斷改進(jìn)的過程。