張文珊,王世婷,張 翔,賈仁兵*

(1.上海交通大學(xué)醫(yī)學(xué)院附屬第九人民醫(yī)院,上海 200011;2.復(fù)旦大學(xué)附屬眼耳鼻喉科醫(yī)院,上海 200031)

2018年7月《國(guó)務(wù)院關(guān)于優(yōu)化科研管理提升科研績(jī)效若干措施的通知》中提出：建立以創(chuàng)新質(zhì)量和貢獻(xiàn)為導(dǎo)向的績(jī)效評(píng)價(jià)體系，準(zhǔn)確評(píng)價(jià)科研成果的科學(xué)價(jià)值、技術(shù)價(jià)值、經(jīng)濟(jì)價(jià)值、社會(huì)價(jià)值、文化價(jià)值[1]。2018年10月，國(guó)家科技部等五大部門(mén)聯(lián)合發(fā)布《關(guān)于開(kāi)展清理“唯論文、唯職稱(chēng)、唯學(xué)歷、唯獎(jiǎng)項(xiàng)”專(zhuān)項(xiàng)行動(dòng)的通知》，這將打破我國(guó)多年來(lái)形成的科技人才評(píng)價(jià)以科研生產(chǎn)效率為先、以數(shù)量增長(zhǎng)為導(dǎo)向的模式，意味著我國(guó)的科研發(fā)展從初期階段進(jìn)入一個(gè)新的發(fā)展歷程。因此，合理評(píng)價(jià)科研活動(dòng)過(guò)程，構(gòu)建適應(yīng)國(guó)家政策需要的新時(shí)代公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)價(jià)指標(biāo)體系，變得至關(guān)重要、迫在眉睫[2]。

本文以上海市某公立醫(yī)院為研究對(duì)象，通過(guò)英國(guó)REF卓越框架模型，建立以科研質(zhì)量為核心的上海市公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)價(jià)指標(biāo)體系，為我國(guó)公立醫(yī)院的臨床醫(yī)生科研績(jī)效評(píng)價(jià)提供參考。

英國(guó)政府于1984年率先指出應(yīng)進(jìn)行科學(xué)研究評(píng)價(jià)，1986年首次推出RSE評(píng)價(jià)體系對(duì)大學(xué)進(jìn)行科研績(jī)效評(píng)價(jià)，1990年推行RAE評(píng)估體系，2014年英國(guó)在原先REA評(píng)價(jià)基礎(chǔ)上做減法，施行REF(Research Excellence Framework)評(píng)估體系。這樣一方面減輕專(zhuān)家需要評(píng)估的數(shù)量，部分評(píng)估用量化指標(biāo)來(lái)弱化或取代同行評(píng)議帶來(lái)的弊端，另一方面著重強(qiáng)調(diào)科研質(zhì)量的重要性[3]。

REF的評(píng)估方式是由4個(gè)評(píng)估小組領(lǐng)導(dǎo)，采取“專(zhuān)家評(píng)議為主，文獻(xiàn)計(jì)量為輔”的評(píng)估方法。評(píng)價(jià)內(nèi)容包括以下3部分，詳見(jiàn)表1[4]。

表1 REF卓越框架科研評(píng)價(jià)的指標(biāo)體系

REF模型的評(píng)價(jià)對(duì)象是大學(xué)，且評(píng)價(jià)方式和評(píng)價(jià)指標(biāo)也不完全適用于我國(guó)國(guó)情。因此，本研究在不改變REF評(píng)價(jià)內(nèi)涵、一級(jí)指標(biāo)及權(quán)重的前提下，對(duì)REF的二級(jí)指標(biāo)和三級(jí)指標(biāo)進(jìn)行指標(biāo)和權(quán)重構(gòu)建，以期更加適用于中國(guó)的數(shù)據(jù)采集和評(píng)價(jià)方式。

1 資料與方法

1.1 資料來(lái)源通過(guò)CNKI、PubMed、萬(wàn)方、維普等數(shù)據(jù)庫(kù)，查找近10年來(lái)有關(guān)公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)估工具、評(píng)估計(jì)劃、評(píng)估指標(biāo)體系以及評(píng)估結(jié)果應(yīng)用及對(duì)策方面的文獻(xiàn)，借鑒國(guó)內(nèi)外衛(wèi)生領(lǐng)域權(quán)威機(jī)構(gòu)、其他領(lǐng)域績(jī)效評(píng)估方面的成熟經(jīng)驗(yàn)，為臨床醫(yī)生績(jī)效指標(biāo)評(píng)價(jià)體系的構(gòu)建提供理論依據(jù)。

1.2 研究方法本研究前期采用文獻(xiàn)綜述法，構(gòu)建公立醫(yī)院臨床醫(yī)生的原始指標(biāo)池。中期主要采取兩輪德?tīng)柗品?，以?wèn)卷調(diào)查的方式，由專(zhuān)家對(duì)指標(biāo)的重要性、可操作性和靈敏性三個(gè)方面進(jìn)行打分評(píng)價(jià)。在有效問(wèn)卷回收后，對(duì)咨詢(xún)結(jié)果進(jìn)行匯總分析，制定第二輪問(wèn)卷再次進(jìn)行咨詢(xún)。后期的回收數(shù)據(jù)采用層次分析法確定指標(biāo)的權(quán)重系數(shù)。其中一級(jí)指標(biāo)沿用REF原本的指標(biāo)權(quán)重，二級(jí)和三級(jí)指標(biāo)采用歸一化權(quán)重和組合權(quán)重來(lái)計(jì)算。

1.3 統(tǒng)計(jì)分析方法原始數(shù)據(jù)經(jīng)整理后錄入EXCEL，采用SPSS 22.0軟件進(jìn)行統(tǒng)計(jì)分析。

2 研究結(jié)果

2.1 采用REF模型確定指標(biāo)體系框架本研究以英國(guó)卓越框架REF研究模型為基礎(chǔ)確定指標(biāo)體系框架，共有三個(gè)維度，分別為科研成果、科研影響力、科研環(huán)境[5-6]。通過(guò)前期的文獻(xiàn)綜述和參考REF模型的原有指標(biāo)框架，構(gòu)建二級(jí)和三級(jí)原始指標(biāo)體系，共計(jì)3個(gè)一級(jí)指標(biāo)、7個(gè)二級(jí)指標(biāo)、22個(gè)三級(jí)指標(biāo)的指標(biāo)評(píng)價(jià)體系。

2.2 確定指標(biāo)篩選原則

① 重要性。即指標(biāo)的重要程度和代表性。指標(biāo)能夠較好地體現(xiàn)公立醫(yī)院臨床醫(yī)生科研績(jī)效的內(nèi)涵，其重要性較高。

② 可操作性。指標(biāo)在實(shí)際評(píng)價(jià)工作中，從評(píng)價(jià)者的角度獲取該指標(biāo)信息的難易程度和可信程度，指標(biāo)越容易獲得，可信程度越高，指標(biāo)的操作性就越強(qiáng)。如果指標(biāo)數(shù)據(jù)難以獲得，或者獲取可靠數(shù)據(jù)比較困難，或者獲取的數(shù)據(jù)難以保證可靠，或者需要大量人物財(cái)力，指標(biāo)的可操作性越差。

③ 敏感性。指標(biāo)在實(shí)際評(píng)價(jià)工作中，對(duì)縱向和橫向變化具有較好的區(qū)別能力，即靈敏度?？v向變化是指不同時(shí)間同一臨床醫(yī)生之間的差異；橫向變化是指同一時(shí)間不同臨床醫(yī)生之間的差異。

④ 根據(jù)專(zhuān)家打分結(jié)果，將專(zhuān)家對(duì)單項(xiàng)指標(biāo)評(píng)分低于12分，或變異系數(shù)大于0.3，或者滿(mǎn)分頻率小于10%的指標(biāo)予以刪除。

2.3 德?tīng)柗品êY選指標(biāo)

2.3.1 咨詢(xún)專(zhuān)家組的基本情況 根據(jù)德?tīng)柗品▽?duì)專(zhuān)家選擇的要求，本研究選取20位對(duì)公立醫(yī)院臨床醫(yī)生科研發(fā)展現(xiàn)狀及目標(biāo)較為熟悉，且對(duì)醫(yī)院科研績(jī)效評(píng)價(jià)領(lǐng)域有深刻認(rèn)識(shí)的專(zhuān)家進(jìn)行德?tīng)柗谱稍?xún)。專(zhuān)家的權(quán)威性與專(zhuān)業(yè)性是保障研究信度與效度的關(guān)鍵點(diǎn)，參與咨詢(xún)的專(zhuān)家共20人，主要來(lái)自醫(yī)院管理人員、臨床醫(yī)生、上級(jí)主管部門(mén)專(zhuān)家，其中專(zhuān)家平均年齡45.4歲，工作年限平均為10.65年。本文所納入?yún)⑴c評(píng)價(jià)的專(zhuān)家在學(xué)術(shù)成就和實(shí)際工作經(jīng)驗(yàn)方面均有較好的代表性。專(zhuān)家情況見(jiàn)表2。

表2 德?tīng)柗茖?zhuān)家組情況

2.3.2 專(zhuān)家積極系數(shù)的確定 專(zhuān)家積極系數(shù)，即相關(guān)專(zhuān)家問(wèn)詢(xún)量表的回收率。兩次專(zhuān)家積極系數(shù)計(jì)算結(jié)果均為100%，表示參與研究的專(zhuān)家積極。

2.3.3 專(zhuān)家權(quán)威程度的確定 專(zhuān)家權(quán)威程度Cr越高，則指標(biāo)數(shù)據(jù)也越準(zhǔn)確，由參與專(zhuān)家對(duì)問(wèn)題進(jìn)行判斷的依據(jù)(用判斷系數(shù)Ca表示)和專(zhuān)家對(duì)問(wèn)題的熟悉程度(用熟悉程度系數(shù)Cs表示)兩個(gè)因素決定。計(jì)算公式：Cr= (Cs+Ca)/2，Cr的大小在0～0.95之間變動(dòng)。當(dāng)專(zhuān)家權(quán)威系數(shù)≥0.7時(shí)，結(jié)果更加可靠，信度比較高。

本文把影響程度設(shè)定為“大、中、小”3個(gè)判斷依據(jù)。對(duì)每個(gè)判斷依據(jù)賦予不同的分值。將專(zhuān)家對(duì)臨床醫(yī)生科研績(jī)效的熟悉程度設(shè)定為5級(jí)判斷(表3和表4)。

表3 專(zhuān)家判斷依據(jù)系數(shù)(Ca)

表4 專(zhuān)家對(duì)臨床醫(yī)生科研績(jī)效的熟悉程度系數(shù)(Cs)

經(jīng)過(guò)計(jì)算，專(zhuān)家判斷系數(shù)Ca=0.85，專(zhuān)家熟悉程度Cs=0.93，專(zhuān)家權(quán)威系數(shù)Cr=0.89。結(jié)果顯示本研究專(zhuān)家組的權(quán)威程度較高。

2.3.4 專(zhuān)家協(xié)調(diào)程度的確定 專(zhuān)家意見(jiàn)的協(xié)調(diào)程度是指全體專(zhuān)家在意見(jiàn)方面是否存在不統(tǒng)一的情況，可利用W的檢驗(yàn)結(jié)果進(jìn)行判斷。W(肯德?tīng)柡椭C系數(shù))的賦值范圍介于0～1之間。假定W經(jīng)統(tǒng)計(jì)檢驗(yàn)以后具備顯著性，W=1時(shí)說(shuō)明所有專(zhuān)家對(duì)各指標(biāo)指出的評(píng)價(jià)意見(jiàn)并不存在分歧；W=0時(shí)表明專(zhuān)家意見(jiàn)存在嚴(yán)重分歧。W的顯著性檢驗(yàn)結(jié)果P值大都在0.05以下，表明專(zhuān)家意見(jiàn)或預(yù)測(cè)意見(jiàn)較為一致，評(píng)估或預(yù)測(cè)結(jié)果具有良好的信度；與之相反，則說(shuō)明其信度較差，應(yīng)謹(jǐn)慎對(duì)待評(píng)價(jià)或預(yù)測(cè)結(jié)果。第一輪專(zhuān)家咨詢(xún)的肯德?tīng)柡椭C系數(shù)W=0.33，并且結(jié)果具有統(tǒng)計(jì)學(xué)意義。經(jīng)過(guò)意見(jiàn)反饋，第二輪咨詢(xún)，專(zhuān)家協(xié)調(diào)程度W=0.579，專(zhuān)家意見(jiàn)明顯趨同，信度較高，結(jié)果是可取的。

2.3.5 專(zhuān)家咨詢(xún)結(jié)果 研究對(duì)二級(jí)指標(biāo)和三級(jí)指標(biāo)的重要性、可操作性、靈敏性三類(lèi)分別進(jìn)行5級(jí)打分，每個(gè)指標(biāo)的總分15分，回收數(shù)據(jù)結(jié)果并計(jì)算均數(shù)和變異系數(shù)，作為后續(xù)指標(biāo)調(diào)整的依據(jù)。

第一輪咨詢(xún)結(jié)果統(tǒng)計(jì)，二級(jí)指標(biāo)的均數(shù)為7.92，變異系數(shù)在8.63%～15.45%波動(dòng)，三級(jí)指標(biāo)的均數(shù)為7.405，變異系數(shù)在7.15%～25.49%波動(dòng)。

2.3.6 權(quán)重賦值 第二輪德?tīng)柗茖?zhuān)家咨詢(xún)是將第一輪指標(biāo)數(shù)據(jù)反饋給專(zhuān)家后，由專(zhuān)家進(jìn)行指標(biāo)的二次評(píng)分并為指標(biāo)賦予相應(yīng)的權(quán)重。專(zhuān)家按照指標(biāo)在相應(yīng)問(wèn)卷領(lǐng)域內(nèi)的重要性，對(duì)所有二級(jí)指標(biāo)和三級(jí)指標(biāo)進(jìn)行評(píng)分，分值中0分、9分分別表示最不重要、最重要。按照AHP(層次分析法)方法的原理，優(yōu)先明確所有內(nèi)部指標(biāo)之間的權(quán)重，隨后進(jìn)行運(yùn)算，算出整個(gè)指標(biāo)體系中不同級(jí)別的指標(biāo)權(quán)重。一級(jí)指標(biāo)在指標(biāo)體系中的權(quán)重等于該級(jí)內(nèi)部的權(quán)重，二級(jí)指標(biāo)和三級(jí)指標(biāo)采用歸一化權(quán)重和組合權(quán)重來(lái)計(jì)算[7]。最終得出指標(biāo)權(quán)重，見(jiàn)表5。

3 實(shí)證研究

3.1 評(píng)價(jià)流程在確定公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)價(jià)指標(biāo)體系后，為檢驗(yàn)其評(píng)價(jià)的可行性和操作性，進(jìn)行指標(biāo)體系的可行性驗(yàn)證。

選取3名口腔醫(yī)學(xué)不同學(xué)科的臨床醫(yī)生作為此次可行性驗(yàn)證的研究對(duì)象，分別提交各自的5份代表作及相應(yīng)評(píng)價(jià)指標(biāo)的證明文件。醫(yī)院科研管理部門(mén)將隱去個(gè)人關(guān)鍵信息的代表作和論文的引用量作為參考文件發(fā)給3位專(zhuān)家,請(qǐng)專(zhuān)家以百分制進(jìn)行“科研成果”部分的整體打分。打分標(biāo)準(zhǔn)見(jiàn)表6。

表5 指標(biāo)體系權(quán)重結(jié)果

表6 科研成果打分標(biāo)準(zhǔn)

醫(yī)院科研管理部門(mén)根據(jù)數(shù)據(jù)庫(kù)內(nèi)統(tǒng)計(jì)信息對(duì)“科研影響力”和“科研環(huán)境”部分打分。單項(xiàng)排名最高者得滿(mǎn)分，根據(jù)最高者的得分除以數(shù)量計(jì)算單項(xiàng)的得分。

3.2 評(píng)價(jià)結(jié)果結(jié)合專(zhuān)家意見(jiàn)和醫(yī)院管理部門(mén)的數(shù)據(jù)匯總，最終通過(guò)指標(biāo)體系權(quán)重打分得出3位臨床醫(yī)生的科研績(jī)效得分如下，A醫(yī)生86.126分，B醫(yī)生70.616分，C醫(yī)生64.0818分。

4 討 論

4.1 績(jī)效評(píng)價(jià)體系構(gòu)建過(guò)程科學(xué) 具有代表性和有效性本研究主要采用成熟的英國(guó)REF評(píng)價(jià)體系，結(jié)合德?tīng)柗茖?zhuān)家咨詢(xún)法，構(gòu)建上海市公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)價(jià)指標(biāo)體系，參與評(píng)價(jià)的專(zhuān)家包含上級(jí)主管部門(mén)、醫(yī)院科研管理部門(mén)和一線(xiàn)臨床醫(yī)生，同時(shí)兩輪專(zhuān)家咨詢(xún)問(wèn)卷回收率達(dá)到100%，兩輪專(zhuān)家權(quán)威系數(shù)為0.89，反映專(zhuān)家積極性和權(quán)威性較高。本研究的指標(biāo)體系基于英國(guó)的REF評(píng)估體系，圍繞科研成果、影響力和科研環(huán)境3個(gè)維度構(gòu)建，其中科研成果部分采取代表作+同行評(píng)議的方式，使最終的評(píng)估指標(biāo)體系緊扣科學(xué)研究本質(zhì)，與臨床醫(yī)師發(fā)展有銜接，充分挖掘以科研質(zhì)量為核心的關(guān)鍵指標(biāo)。由此，本文構(gòu)建科研績(jī)效評(píng)價(jià)指標(biāo)研究過(guò)程科學(xué)、合理，研究結(jié)果真實(shí)、可靠，具有較好的代表性和有效性[7-8]。

4.2 構(gòu)建多元化的指標(biāo)體系 績(jī)效評(píng)價(jià)體系內(nèi)容全面、合理基于英國(guó)的REF評(píng)估體系和綜合性研究方法，形成3個(gè)一級(jí)指標(biāo)、7個(gè)二級(jí)指標(biāo)和22個(gè)三級(jí)指標(biāo)的指標(biāo)評(píng)價(jià)體系。本文對(duì)評(píng)價(jià)指標(biāo)內(nèi)容進(jìn)行多元化、多維度分析，指標(biāo)體系內(nèi)增加學(xué)科影響、科研環(huán)境和可持續(xù)性等三級(jí)指標(biāo)，將疑難病例分析和新技術(shù)、新方法的研究加入科研成果范圍，擴(kuò)展代表作的定義，使評(píng)價(jià)不僅適用于同一學(xué)科內(nèi)的人才，還可用于不同學(xué)科人才的對(duì)比績(jī)效評(píng)價(jià)。采用同一標(biāo)準(zhǔn)對(duì)公立醫(yī)院不同學(xué)科的人才進(jìn)行分類(lèi)評(píng)價(jià)，有利于臨床醫(yī)生找到參照對(duì)標(biāo)，形成良性競(jìng)爭(zhēng)，也促進(jìn)績(jī)效評(píng)估的可操作性和可接受性[9]。

4.3 構(gòu)建的指標(biāo)體系打破以數(shù)量為導(dǎo)向的評(píng)價(jià)模式重視科研質(zhì)量該指標(biāo)體系采用同行評(píng)議的方式對(duì)公立醫(yī)院臨床醫(yī)生的科研成果質(zhì)量進(jìn)行評(píng)價(jià)，同時(shí)結(jié)合客觀科研指標(biāo)數(shù)據(jù)對(duì)科研影響力、學(xué)術(shù)影響力進(jìn)行打分，做到主觀指標(biāo)與客觀指標(biāo)相結(jié)合，評(píng)價(jià)方式更為科學(xué)。打破傳統(tǒng)的純粹以數(shù)量為導(dǎo)向的評(píng)價(jià)模式，更好地明確臨床醫(yī)生在該學(xué)科領(lǐng)域的科研水平，能夠使臨床醫(yī)生將科研工作與臨床工作結(jié)合。真正做到以科研質(zhì)量為導(dǎo)向，以科研未來(lái)發(fā)展為基礎(chǔ)，來(lái)評(píng)價(jià)公立醫(yī)院臨床醫(yī)生的科研績(jī)效。但本研究以成熟的英國(guó)高校REF模型為基礎(chǔ)，構(gòu)建公立醫(yī)院臨床醫(yī)生科研績(jī)效評(píng)價(jià)指標(biāo)體系，作為一項(xiàng)系統(tǒng)工程，科學(xué)研究績(jī)效評(píng)估較為錯(cuò)綜復(fù)雜，其內(nèi)涵極為豐富，這是由公立醫(yī)院臨床醫(yī)生身份的獨(dú)特性、雙重性所決定的[10]，并且在科學(xué)研究新技術(shù)、新方法的不斷發(fā)展和更迭過(guò)程中，科研績(jī)效評(píng)價(jià)指標(biāo)也需要不斷更新以符合現(xiàn)實(shí)要求，未來(lái)在實(shí)證研究中仍需對(duì)其適用性進(jìn)行進(jìn)一步的驗(yàn)證，結(jié)合實(shí)際評(píng)價(jià)情況和專(zhuān)家咨詢(xún)意見(jiàn)動(dòng)態(tài)調(diào)整指標(biāo)體系，以期進(jìn)一步適應(yīng)公立醫(yī)院臨床醫(yī)生的科研績(jī)效評(píng)價(jià)。