李玉革,馬 瑾,單志桂,俞 婧

(新疆醫(yī)科大學(xué)第一附屬醫(yī)院科技管理科，烏魯木齊 830011)

根據(jù)《關(guān)于自治區(qū)級附設(shè)性醫(yī)藥研究所現(xiàn)場勘驗結(jié)果的通報》(新衛(wèi)科教發(fā)2013年23號)，新疆醫(yī)藥研究所存在的問題主要有：未形成明確、穩(wěn)定的科研發(fā)展方向、人才梯隊發(fā)展不均衡、科研工作原始創(chuàng)新不足、技術(shù)輻射作用有待加強、實驗室基礎(chǔ)條件薄弱、組織管理能力欠缺等。隨著科技創(chuàng)新驅(qū)動戰(zhàn)略的實施，自治區(qū)對醫(yī)藥研究所的管理尚未形成科學(xué)的考核標準，尚未建立相應(yīng)的績效評價體系。建立一套完善的指標評價體系，客觀公正地評價醫(yī)藥研究所的醫(yī)療、科研、學(xué)術(shù)、團隊、運行管理等工作，是自治區(qū)級附設(shè)性醫(yī)藥研究所管理中亟待解決的問題。

1 對象和方法

1.1參與專家按照代表性與權(quán)威性的原則及學(xué)術(shù)專家與管理專家相結(jié)合的原則，依據(jù)專家知識結(jié)構(gòu)、社會職務(wù)結(jié)構(gòu)和年齡結(jié)構(gòu)遴選專家。課題組邀請專家19名，包括：大學(xué)主管科技工作副校長2名，烏魯木齊市三級甲等醫(yī)院領(lǐng)導(dǎo)2名、科研管理人員4名、工作15年以上的臨床專家11名。2016年11月至2017年6月進行兩輪專家咨詢。

1.2研究方法采用文獻綜述法、德爾菲法(兩輪專家咨詢后形成評價指標)確定新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系。

1.3研究過程

1.3.1 指標體系的初建 指標體系草案的擬定分為4個步驟：①課題組對新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價進行分析和分解，找到績效評價的主要節(jié)點；②課題組制定統(tǒng)一的檢索策略，檢索國內(nèi)外相關(guān)數(shù)據(jù)庫和網(wǎng)絡(luò)資源，全面收集有關(guān)醫(yī)藥研究所管理、績效評價等方面的文獻，對文獻進行循證評價；③對文獻循證評價結(jié)果組織院內(nèi)專家進行專題小組討論，提出初步構(gòu)建的評價指標體系；④對初步構(gòu)建的研究所績效評價指標體系，在本院研究所管理人員中進行指標重要性的評價。結(jié)合以上4個步驟，最終擬定指標體系草案。整個指標體系分2級，一級指標5個、二級指標33個。

1.3.2 專家咨詢問卷的設(shè)計 本研究專家咨詢表共分為4個部分。①指導(dǎo)語：簡要介紹本次課題研究的背景、內(nèi)容及寫明本次專家咨詢的目的和意義；②專家基本信息，包括年齡、性別、職務(wù)、職稱、專業(yè)、學(xué)歷、工作時間等；③新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系的主體部分，專家咨詢表的主體部分由新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標構(gòu)成，分為一、二級指標。對于各級指標的重要性采用Likert 5級計分法，5=非常重要，4=重要，3=一般，2=不重要，1=非常不重要；④專家的權(quán)威程度表，包括專家對指標的熟悉程度及判斷依據(jù)，熟悉程度采用1(很不熟悉)～5(熟悉)分進行評估；判斷依據(jù)設(shè)計4個方面：理論分析、工作經(jīng)驗、對國內(nèi)外同行了解程度和直觀感覺對專家作出判斷的影響，采用3分法(1分為“影響小”，2分為“影響一般”，3分為“影響大”)。

1.3.3 Delphi法的具體實施 研究者本人以面對面的形式向各位專家發(fā)放咨詢表，并了解其評判時的想法，進一步對課題的研究內(nèi)容進行溝通。在收取第一輪咨詢表后，根據(jù)專家的意見對部分條目進行刪除、修改和增加，在對第一輪咨詢表修正的基礎(chǔ)上，形成第二輪咨詢表，并進行第二輪專家咨詢。

1.4統(tǒng)計方法采用積極系數(shù)、權(quán)威程度、協(xié)調(diào)程度3個指標檢驗專家咨詢的可靠性。積極系數(shù)為回收有效咨詢問卷的專家占全部專家人數(shù)比；權(quán)威程度由專家對評價方案的判斷依據(jù)和專家對問題的熟悉程度來決定；協(xié)調(diào)程度采用肯德爾和諧系數(shù)進行檢驗。數(shù)據(jù)采用SPSS 17.0統(tǒng)計學(xué)軟件進行分析。

2 結(jié) 果

2.1專家一般情況本次德爾菲專家咨詢共兩輪，每輪均有19位專家參加，反饋有效問卷的18位專家中，來自醫(yī)院的有16人、占88.9%，大學(xué)主管科技工作副校長2人。18名專家的年齡為53.56±4.22歲，最小年齡為46歲，最大為59歲；工齡為32.50±6.87年，最小工齡為18年，最大為42年。18名專家中，男性占77.8%，正高技術(shù)職稱100%，醫(yī)學(xué)博士學(xué)位的占88.9%；漢族占66.7%，蒙古族占11.1%，維吾爾族占11.1%，哈薩克族占5.6%，回族占5.6%。

2.2專家積極程度專家積極程度用每輪問卷的有效回復(fù)率及專家意見提出率表示。本研究兩輪咨詢的回復(fù)率分別為94.7%、94.7%,平均有效回復(fù)率為94.7%；第1、2輪分別有6名(33.3%)、1名(5.60%)專家針對新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系提出意見和建議。

2.3專家意見權(quán)威程度專家的權(quán)威系數(shù)(Cr)由專家對咨詢內(nèi)容做出判斷的依據(jù)(Ca)和專家對咨詢內(nèi)容的熟悉程度(Cs)2個因素決定,Cr=(Ca+Cs) /2。權(quán)威系數(shù)在0～1，數(shù)值越大說明專家越權(quán)威[1]。本研究兩輪咨詢專家Cr分別為0.88、0.91,專家權(quán)威性均大于0.8，專家權(quán)威性較好。

2.4專家意見協(xié)調(diào)程度專家意見協(xié)調(diào)程度指所有專家對所調(diào)查內(nèi)容的全部指標的評價意見是否存在較大分歧。用變異系數(shù)(Vj)表示單個課程條目協(xié)調(diào)程度，用肯德爾和諧系數(shù)(Kendall’s W)表示所有指標協(xié)調(diào)程度。

① Vj:Vj越小說明專家的協(xié)調(diào)程度越高。本研究第1輪函詢Vj為0.000～0.454，平均值0.227；第2輪函詢Vj為0.077～0.311，平均值0.117。

② 協(xié)調(diào)系數(shù)：Delphi法的Kendall’s W越大協(xié)調(diào)性越好。顯著性檢驗是專家意見一致性程度的可信性檢驗，P值越小，可信度越高。在兩輪函詢中，Kendall’s W經(jīng)檢驗后均有統(tǒng)計學(xué)意義(P<0.001)(表1)，說明專家協(xié)調(diào)程度好。

表1 Kendall協(xié)調(diào)系數(shù)及顯著性檢驗

2.5確定新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系本研究經(jīng)兩輪專家咨詢，最終形成“新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系”，包括5項一級指標，28項二級指標(表2)。

表2 第2輪專家咨詢結(jié)果

3 討 論

專家咨詢的可信度Delphi法是一種對意見的價值進行判斷的方法，其可靠性和科學(xué)性可以從專家意見的權(quán)威性、積極性、代表性、協(xié)調(diào)程度、指標的篩選、問卷的回收等方面來綜合分析與判斷[2-4]。本研究在全疆范圍內(nèi)開展較大規(guī)模和較高層次的專家咨詢，構(gòu)建新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系。

3.1咨詢專家的遴選本研究選邀的咨詢專家涉及普外、骨外、胸心外、神外、心血管病、腎病、血液病、內(nèi)分泌與代謝病、影像醫(yī)學(xué)與核醫(yī)學(xué)、口腔臨床醫(yī)學(xué)、麻醉學(xué)、衛(wèi)生事業(yè)管理等學(xué)科領(lǐng)域。此外，專家中既有從事醫(yī)院管理的專家，又有從事醫(yī)療服務(wù)的臨床資深專家及青年學(xué)者，結(jié)構(gòu)層次互補。

3.2指標體系草案的擬定及調(diào)查問卷設(shè)計本研究特別注重和強調(diào)指標體系草案構(gòu)建過程的嚴謹性和科學(xué)性。課題組先從自治區(qū)級附設(shè)性醫(yī)藥研究所管理的角度分析研究所管理的主要節(jié)點，然后運用循證醫(yī)學(xué)的原理和方法，對國內(nèi)外所有有關(guān)文獻的質(zhì)量進行循證評價，根據(jù)引用頻次和文獻證據(jù)等級提取指標。在此基礎(chǔ)上進行專題小組討論，以確保同一級的指標能夠很好地反映上一級目標包含的內(nèi)容，且避免出現(xiàn)指標條目間的交叉性。最后，在本院研究所管理人員中做了有關(guān)指標重要性評價的調(diào)查研究，最終擬定指標體系草案。為保證專家填答的積極性和完整性，每輪問卷在設(shè)計時，力求表格簡潔、問題集中、表述清楚、用詞確切，避免因表格過于復(fù)雜而影響專家做出正確的評價。同時每輪問卷均附有詳細的指導(dǎo)語，表格中留有足夠的空白，便于專家闡明自己的意見。咨詢表以面對面的方式發(fā)放，回收后逐條審核。對漏答和明顯錯誤者，及時請專家進行重填，避免缺失項，盡可能地保證問卷質(zhì)量。

3.3咨詢專家的可靠性及指標體系的兩輪專家咨詢本研究所進行的兩輪德爾菲法專家咨詢函詢調(diào)查，問卷返回率均是94.7%，回收率高。同時，針對整個問卷提出建設(shè)性意見的專家分別占總?cè)藬?shù)的33.3%和5.60%，再次證明專家的關(guān)注度及積極性高。本研究兩輪咨詢專家權(quán)威程度分別為0.88、0.91，說明專家對指標非常熟悉，權(quán)威程度比較高，預(yù)測結(jié)果可靠性好。本研究采用肯德爾和諧系數(shù)分析檢驗專家意見的協(xié)調(diào)程度，以此作為Delphi法應(yīng)用可靠性的重要判斷尺度之一[5-6]。根據(jù)國內(nèi)幾項大型的Delphi法在衛(wèi)生系統(tǒng)的應(yīng)用研究，經(jīng)2～3輪咨詢后，誤差控制較好，協(xié)調(diào)系數(shù)在0.4～0.5波動[7-8]。相比這個標準，本次研究中第一輪專家的肯德爾和諧系數(shù)是0.255，第二輪專家的肯德爾和諧系數(shù)是0.668，二輪咨詢的專家意見協(xié)調(diào)系數(shù)波動值為0.413，說明專家意見的協(xié)調(diào)程度較高，結(jié)果可取。

本研究通過兩輪專家咨詢構(gòu)建的多維度指標體系，緊緊圍繞自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價原理，從“醫(yī)療服務(wù)條件”、“科研實力”、“學(xué)術(shù)影響力”、“團隊建設(shè)”、“運行管理”等方面進行全面系統(tǒng)的評價。整個指標體系分為二級，其中一級指標“醫(yī)療服務(wù)條件”包括4個二級指標；一級指標“科研實力”包括9個二級指標；一級指標“學(xué)術(shù)影響力”包括3個二級指標；一級指標“團隊建設(shè)”包括4個二級指標；一級指標“運行管理”包括8個二級指標?？傮w來說，所有二級指標的變異系數(shù)隨咨詢輪數(shù)增加而減少。第二輪的一級指標重要性評分均值從高到低依次是“運行管理”、“團隊建設(shè)”、“科研實力”、“學(xué)術(shù)影響力”、“醫(yī)療服務(wù)條件”。28項二級指標中“新增國家級科研項目至少3項/年”在第一輪(5.00±0.00)和第二輪(4.11±0.316)的重要性評分均值均為最高。二級指標中“發(fā)表SCI收錄論文影響因子總分達到15分以上，其中5分以上至少3篇”、“至少有1項省部級科技進步獎勵”、“人均課題中標率(%)”、“疾病(主要研究方向的)流行病學(xué)基線調(diào)查實施情況”、“研究所秘書輪轉(zhuǎn)情況”等重要性評分均值均較高。

本研究存在以下局限性。本次研究構(gòu)建新疆自治區(qū)級附設(shè)性醫(yī)藥研究所績效評價指標體系，但未對評價標準進行研究。進一步使用該指標體系，將從評價標準和操作細則方面研究。另外，評價指標體系及標準建立后，還需要進行大樣本的實證研究，以檢驗其可操作性和有效性，為推廣應(yīng)用提供證據(jù)依據(jù)。總的來說，兩輪專家咨詢后，專家對指標評分集中趨勢明顯，變異系數(shù)趨向減小，協(xié)調(diào)系數(shù)趨向增大，表明專家對各級指標協(xié)調(diào)程度增高，指標體系框架合理。