項明強,肖 讓,趙雪平,孫 健,侯曉暉
(1.廣州體育學(xué)院運動與健康學(xué)院,廣東廣州510500;2.廣州體育學(xué)院研究生院,廣東廣州510500;3.廣州體育學(xué)院運動訓(xùn)練學(xué)院,廣東廣州510500)
元分析也稱meta分析,是對多個相似性研究結(jié)果進行合并的統(tǒng)計方法,被認(rèn)為是獲得高級別科學(xué)證據(jù)的方法[1?3]。元分析所提供的定量結(jié)論不但比單個研究具有更強的統(tǒng)計力,而且讓讀者更容易獲取大量科學(xué)文獻的研究成果,是評價當(dāng)前科學(xué)研究成果最有力的工具之一。過去30年,各學(xué)科領(lǐng)域發(fā)表的元分析文獻數(shù)量快速增長,一些研究者甚至呼吁在科學(xué)研究領(lǐng)域應(yīng)更多依靠“元分析思維”[4?5]。在體育科學(xué)領(lǐng)域,自從張力為等[6]最早在《體育科學(xué)》發(fā)表《元分析及其在體育科學(xué)研究中的應(yīng)用》一文以來,元分析文獻數(shù)量也呈逐年增多趨勢。然而,由于對這些元分析文獻質(zhì)量缺乏嚴(yán)格評價,體育學(xué)元分析論文質(zhì)量尚不明確。
元分析的質(zhì)量包括方法學(xué)質(zhì)量和報告質(zhì)量兩部分[7]。方法學(xué)質(zhì)量是指元分析及其過程能否遵循科學(xué)標(biāo)準(zhǔn),有效控制偏倚,提高結(jié)果的真實可靠程度;而報告質(zhì)量可反映元分析報告內(nèi)容的全面性和完整性,能否縮小實際研究結(jié)果與發(fā)表結(jié)果之間的偏倚,從而提高研究的整體質(zhì)量[8]。元分析文獻作為高質(zhì)量證據(jù)的來源,能為體育科學(xué)領(lǐng)域的研究者和決策者提供重要信息,但如果做得不好,也勢必降低研究結(jié)果的價值,甚至誤導(dǎo)決策。雖然李博等[9]評價了我國運動干預(yù)類元分析的報告質(zhì)量,但未評價方法學(xué)質(zhì)量,而且納入的元分析文獻僅涉及運動干預(yù)類,未涉及相關(guān)分析類。鑒于此,本文選取發(fā)表在我國16本體育類核心期刊和1本中文醫(yī)學(xué)類核心期刊的元分析文獻,采用國際通用的AMSTAR 2(a measurement tool to assess systematic reviews 2)[10?11]和PRISMA(preferred reporting items for systematic reviews and meta?analysis)[12]評價量表對其進行方法學(xué)質(zhì)量和報告質(zhì)量評價,以揭示體育學(xué)元分析文獻的質(zhì)量狀況,指出其存在的問題,并提出相應(yīng)的改進建議。
根據(jù)研究目的確立文獻納入標(biāo)準(zhǔn):①元分析類研究即有量化的綜合結(jié)果;②發(fā)表于16本中文體育類核心期刊和1本中文醫(yī)學(xué)類核心期刊(《中國運動醫(yī)學(xué)雜志》);③已完整出版;④文獻的語言為中文。文獻排除標(biāo)準(zhǔn):①介紹或概述評價元分析方法,以及定性系統(tǒng)評價;②發(fā)表于納入期刊以外的期刊文獻;③未公開發(fā)行的文獻、研究報告或會議摘要;④文獻語言為非中文。
文獻主要來源于中國知網(wǎng)(CNKI)數(shù)據(jù)庫,涉及《體育科學(xué)》《中國體育科技》《北京體育大學(xué)學(xué)報》《上海體育學(xué)院學(xué)報》《天津體育學(xué)院學(xué)報》《體育學(xué)刊》《武漢體育學(xué)院學(xué)報》《西安體育學(xué)院學(xué)報》《體育與科學(xué)》《體育文化導(dǎo)刊》《成都體育學(xué)院學(xué)報》《廣州體育學(xué)院學(xué)報》《山東體育學(xué)院學(xué)報》《首都體育學(xué)院學(xué)報》《沈陽體育學(xué)院學(xué)報》《體育學(xué)研究》(原《南京體育學(xué)院學(xué)報(社會科學(xué)版)》)《中國運動醫(yī)學(xué)雜志》17本核心期刊的數(shù)據(jù),涵蓋了不同領(lǐng)域的體育學(xué)研究成果。
檢索關(guān)鍵詞為“元分析”“meta分析”“meta?analysis”“系統(tǒng)評價”“薈萃分析”,這些關(guān)鍵詞以“OR”連接。文獻檢索過程由廣州體育學(xué)院的1名圖書管理員對CNKI上的17本核心期刊進行全面檢索。在體育科學(xué)領(lǐng)域,張力為等[6]最早介紹元分析在體育科學(xué)研究中的應(yīng)用,故文獻覆蓋時間為1993—2019年,第1次檢索時間為2019年11月25日,第2次檢索時間為2020年1月5日。以《體育科學(xué)》為例說明期刊的檢索策略:檢索式為“元分析OR meta分析OR meta?analysis OR系統(tǒng)評價”;時間跨度為“1993—2019”;文獻來源為“體育科學(xué)(精確)”。
文獻篩查由本文第二、三作者依據(jù)文獻納入標(biāo)準(zhǔn)和排除標(biāo)準(zhǔn),按照PRISMA步驟分別對題目、摘要和全文進行逐步篩查[13]。若存有分歧,則共同討論或與第一作者探討達成一致。
通過Excel 2010軟件建立納入元分析文獻的質(zhì)量評價信息表。內(nèi)容包括標(biāo)題、作者、單位、年份、發(fā)表期刊、資金資助、研究領(lǐng)域、元分析類型(試驗干預(yù)型和相關(guān)分析型)、元分析軟件等文獻基本情況以及AMSTAR 2、PRISMA量表各條目內(nèi)容。其中,在研究領(lǐng)域方面,依據(jù)元分析研究內(nèi)容將其歸為運動人體科學(xué)(探討體育運動與機體之間的相互關(guān)系)、運動心理學(xué)(探討體育運動中的心理現(xiàn)象和規(guī)律)、運動康復(fù)學(xué)(探討體育運動在疾病預(yù)防、治療和康復(fù)中的作用)、運動訓(xùn)練學(xué)(探討提升運動員競技表現(xiàn)的訓(xùn)練方法)和體育社會學(xué)(探討體育運動的社會功能、發(fā)展規(guī)律及其與社會的相互關(guān)系)等5個領(lǐng)域。
(1)方法學(xué)質(zhì)量評價。采用AMSTAR 2量表[10]評價元分析文獻的方法學(xué)質(zhì)量。該量表由加拿大渥太華大學(xué)的流行病學(xué)專家于2017年對AMSTAR進行重新修訂而成,具有較好的評價者間一致性和實用性,包含16個條目,根據(jù)評價標(biāo)準(zhǔn)的滿足程度對每個條目評價為“是”“部分是”“否”,以判斷其方法學(xué)質(zhì)量。
(2)報告質(zhì)量評價。采用PRISMA量表[13]評價元分析文獻的報告質(zhì)量。該量表是系統(tǒng)評價/元分析報告條目小組(由國際著名專家組成)于2009年制定的相關(guān)報告規(guī)范,包含27個條目,涵蓋標(biāo)題、摘要、引言、方法、結(jié)果、討論和資金7個維度,各條目被評為“充分報告”記1分,“部分報告”記0.5分,“未報告”記0分,量表最高分為27分。
在數(shù)據(jù)提取和質(zhì)量評價之前,先對AMSTAR 2量表、PRISMA量表的使用進行培訓(xùn)和預(yù)評價,討論數(shù)據(jù)提取和評價過程中遇到的問題及分歧。若納入文獻屬于相關(guān)分析類,不屬于試驗(干預(yù))類,則評價過程中不考慮AMSTAR 2和PRISMA有關(guān)試驗(干預(yù))的條目。例如涉及PICO(P為研究對象;I為干預(yù)措施;C為對照條件;O為結(jié)果指標(biāo))要素條目,在相關(guān)分析類元分析中只評價PO要素。正式文獻數(shù)據(jù)提取和質(zhì)量評價過程由本文第二、三作者獨立完成并交叉核對,共同討論或與第一作者探討達成一致。
通過Excel 2010軟件逐條記錄文獻相關(guān)信息,并統(tǒng)計AMSTAR 2量表評為“是”“否”“部分是”的條目百分比和PRISMA量表評為“完全報告”“部分報告”“完全未報告”的條目百分比,整個文獻的報告質(zhì)量評分用均數(shù)表示。同時,采用SPSS 23.0軟件的線性回歸考察文獻特征(如文獻發(fā)表年份、作者數(shù)量、合作單位數(shù)量和資金資助等)對報告質(zhì)量的影響。
初檢共獲得相關(guān)文獻214篇,經(jīng)逐層篩選,最終納入70篇。文獻篩選流程及結(jié)果見圖1。
70篇元分析文獻發(fā)表時間分布于2005—2019年,發(fā)表文獻每年呈增長趨勢,特別是2016年之后,元分析文獻數(shù)量顯著增加;同時每年文獻報告質(zhì)量分?jǐn)?shù)亦呈顯著增加趨勢,特別是2009年發(fā)布PRISMA報告清單之后,報告質(zhì)量顯著提高(圖2)。其中,元分析(或meta分析)文獻63篇、系統(tǒng)評價(或系統(tǒng)綜述)文獻3篇、系統(tǒng)綜述/meta分析文獻1篇、未標(biāo)明類型文獻3篇。在研究領(lǐng)域方面,運動人體科學(xué)文獻33篇、運動心理學(xué)文獻19篇、運動康復(fù)學(xué)文獻6篇、運動訓(xùn)練學(xué)文獻8篇和體育社會學(xué)文獻4篇。在70篇元分析文獻中,64篇文獻屬于試驗(干預(yù))研究的元分析文獻,6篇屬于相關(guān)性研究文獻。在使用的元分析軟件方面,使用RevMan軟件的37篇,使用Stata軟件的14篇,使用CMA軟件的9篇,使用GingerALE軟件的1篇,未使用軟件的9篇。
圖1 體育學(xué)元分析文獻篩查流程及結(jié)果Figure 1 Meta‐analysis literature screening process and resultsof sports science
圖2 元分析文獻發(fā)表的數(shù)量和報告質(zhì)量分?jǐn)?shù)Figure 2 Number of meta‐analysis publications and report quality scores
為了進一步考察元分析報告質(zhì)量的影響因素,本文以納入文獻的年份、作者數(shù)量、合作單位數(shù)量以及是否受資金資助為自變量,以報告質(zhì)量為因變量進行線性回歸。結(jié)果(表1)顯示,只有文獻發(fā)表的年份這一變量對報告質(zhì)量有顯著預(yù)測作用(P<0.001),即隨著年份逐漸增加,報告質(zhì)量分?jǐn)?shù)越高,而其他變量均無顯著預(yù)測作用。
表1 納入文獻特征對報告質(zhì)量影響的回歸分析Table 1 Regression analysis of the influence of included literature characteristics on report quality
采用AMSTAR 2量表對納入文獻進行方法學(xué)質(zhì)量評價,結(jié)果(表2)顯示,較為完整報告的有87.1%的文獻采用“適當(dāng)?shù)慕y(tǒng)計分析方法進行結(jié)果合并分析”(條目11),61.4%的文獻詳細描述了“納入研究的基本特征”(條目8),74.3%的文獻“對異質(zhì)性結(jié)果給予滿意的解釋或討論”(條目14)。存在問題最多的是沒有1篇文獻提供“前期研究方案”(條目2)、解釋“納入研究設(shè)計類型的原因”(條目3)、提供“全面的文獻檢索策略”(條目4)、列取“排除文獻清單及排除理由”(條目7)、報告“系統(tǒng)評價納入研究的資金來源”(條目10),僅有1篇文獻聲明了“無潛在利益沖突”。雖然有52.9%的文獻使用“合理工具評估納入研究文獻的偏倚風(fēng)險”(條目9),然而,僅有8.6%的文獻在結(jié)果分析(條目12)、17.1%的文獻在討論(條目13)中考慮“納入研究的偏倚風(fēng)險對結(jié)果的潛在影響”。在文獻篩查和數(shù)據(jù)提取過程中,僅有38.6%的文獻由“2人獨立完成文獻篩選”(條目5),44.3%的文獻由“2人獨立完成數(shù)據(jù)提取”(條目6),47.1%的文獻“充分調(diào)查了發(fā)表偏倚”(條目15),52.9%的文獻按照“PICO要素設(shè)置研究問題和納入標(biāo)準(zhǔn)”(條目1)。
表2 納入元分析文獻的方法學(xué)質(zhì)量評價結(jié)果Table 2 Methodological quality evaluation results of included meta-analysis
采用PRISMA聲明對納入文獻進行報告質(zhì)量評價(表3)。結(jié)果顯示:95.7%的文獻在標(biāo)題中說明報告了“元分析”、“meta分析”或“系統(tǒng)評價”;雖然大部分文獻采用“目的”“方法”“結(jié)果”“結(jié)論”的結(jié)構(gòu)式報告,但僅有1篇文獻摘要進行充分報告。在引言方面,97.1%的文獻均能闡述“理論基礎(chǔ)”,72.9%的文獻均闡明了“研究目的”。在方法上,77.1%的文獻能提出“概括效應(yīng)指標(biāo)”,88.6%的文獻采用合適方法“合成結(jié)果”,存在的主要問題是在“納入標(biāo)準(zhǔn)”(47.1%)、“資料提取”(41.4%)、“信息來源”(14.3%)、“檢索”(31.4%)、“研究偏倚”(24.3%)和“其他分析”(25.7%)等條目上充分報告的比例不高,最嚴(yán)重的問題是無1篇文獻進行“方案和注冊”。在結(jié)果方面,85.7%的文獻采用合適方法“合成結(jié)果”,但在“研究內(nèi)偏倚風(fēng)險”(31.4%)、“研究間偏倚”(44.3%)和“其他分析”(40%)等條目上充分報告比例不高。在討論部分,對“證據(jù)總結(jié)”充分報告比例僅為22.9%,對研究“局限性”充分報告比例僅為35.7%,特別是無1篇元分析文獻評估了自身證據(jù)質(zhì)量和等級,而整個研究的結(jié)論及對未來的啟示方面報道較全面(77.1%)。在資金方面,67.4%的文獻報道了基金來源,但均未報道資助者在完成該研究中所起的作用。
本文納入的70篇文獻在發(fā)表時間分布上呈遞增趨勢,特別是2016年之后,體育學(xué)元分析文章數(shù)量顯著增加,表明體育學(xué)元分析方法在核心期刊上越來越受到重視。此外,納入文獻的報告質(zhì)量在時間分布上也呈遞增趨勢,說明隨著元分析技術(shù)和軟件(如RevMan、Stata、CMA等)的普及,特別是2009年P(guān)RISMA標(biāo)準(zhǔn)的制定,研究者逐漸遵循相關(guān)報告標(biāo)準(zhǔn)開展元分析和撰寫元分析報告。
表3 納入元分析文獻的報告質(zhì)量評價結(jié)果Table3 Report quality evaluation resultsof included meta-analysis
從納入文獻的標(biāo)題看,發(fā)表元分析(或meta分析)文獻數(shù)量遠遠多于系統(tǒng)評價。其中也有些作者誤將元分析等同于系統(tǒng)評價。事實上,元分析只是一種統(tǒng)計方法,即將多個相似性的獨立研究結(jié)果進行合并的統(tǒng)計方法;而系統(tǒng)評價則是運用減少偏倚的策略,嚴(yán)格評價和綜合某一具體問題的所有相關(guān)研究,元分析可能但不一定是這個過程的一部分[2]。一般認(rèn)為,包含元分析的系統(tǒng)評價為定量系統(tǒng)評價,不包含元分析的系統(tǒng)評價為定性系統(tǒng)評價[14]。因此,筆者建議體育科學(xué)的研究者若在文中采用元分析技術(shù)合并了多項研究,并針對該研究問題展開充分討論和系統(tǒng)述評,則可以“系統(tǒng)評價/元分析”為題目,這樣既可以包含定量分析(元分析),也可以包含定性分析。
本次納入的元分析文獻更多地來自運動人體科學(xué)、運動心理學(xué)、運動康復(fù)學(xué)等偏自然科學(xué)的領(lǐng)域,而體育社會學(xué)等偏向人文社會科學(xué)的元分析文獻較少,其原因是自然科學(xué)的主流研究方法為試驗法,可使用定量的數(shù)據(jù)合并效果量,而體育人文社會科學(xué)領(lǐng)域量化研究偏少,難以運用元分析合并研究結(jié)果。因此,體育人文領(lǐng)域研究需更多采用定性綜合或其他數(shù)據(jù)綜合的方法。例如,施藝濤等[15]采用定性系統(tǒng)評價方法探討了身體素養(yǎng)的哲學(xué)基礎(chǔ)、概念界定和測評體系。然而,在體育科學(xué)領(lǐng)域,定性的系統(tǒng)評價研究仍較少,未來應(yīng)加強這方面的系統(tǒng)評價研究。
偏倚風(fēng)險是影響元分析質(zhì)量的主要因素,方法學(xué)質(zhì)量評價主要是評估在元分析實施過程中如何控制偏倚。本文采用AMSTAR 2對體育學(xué)元分析文獻[10?11]進行方法學(xué)質(zhì)量評價,發(fā)現(xiàn)大部分文獻能采用適當(dāng)?shù)慕y(tǒng)計分析方法合并結(jié)果,但也存在以下幾方面不足。
(1)未提供元分析計劃書和注冊號。研究者在開展元分析前應(yīng)確定詳細周密的研究計劃,同時,為保證研究透明化,還應(yīng)在系統(tǒng)評價的注冊平臺注冊研究計劃,并在撰寫元分析招募時解釋元分析實施過程中與事前確定的研究計劃不一致情況。研究方案預(yù)注冊的目的在于避免研究者根據(jù)自己的需要選擇性報告研究結(jié)果,避免摘取與使用數(shù)據(jù)過程中的隨意決策給結(jié)果帶來偏倚風(fēng)險,以促進研究誠信和研究細節(jié)的透明,這種公開透明的開放性研究是未來的趨勢[16?17]。目前,國際上有不少研究者將自己元分析的數(shù)據(jù)與代碼公開,如在OSF開放平臺以及斯坦福大學(xué)的Metalab(http://metalab.stanford.edu)可查詢到元分析的方案和原始數(shù)據(jù)。在國內(nèi),研究者也逐漸意識到研究方案預(yù)注冊的重要性,如《心理學(xué)報》鼓勵預(yù)注冊(https://osf.io/)。遺憾的是,本文納入文獻無1篇進行方案注冊,其主要原因是體育學(xué)相關(guān)期刊尚未鼓勵和提供注冊平臺,研究者也尚未形成對方案注冊重要性的意識。鑒于此,目前國內(nèi)研究者若要進行研究注冊,可在國外平臺如OSF(https://osf.io/)和PROSPERO(www.crd.york.ac.uk/PROSPERO)上進行。
(2)文獻檢索不夠全面和未提供文獻排除清單。雖然大部分元分析的研究者制定了文獻納入標(biāo)準(zhǔn),提供了檢索關(guān)鍵詞和檢索數(shù)據(jù)庫,但仍存在檢索不夠全面、系統(tǒng)的問題。例如,本文的70篇元分析文獻均檢索數(shù)據(jù)庫中已發(fā)表文獻,但都未檢索灰色文獻?;疑墨I主要包括注冊平臺、會議摘要、論文、未發(fā)表的報告、未經(jīng)過同行評議的研究等。在現(xiàn)實情況中,陽性結(jié)果的研究更容易發(fā)表在高水平的中英文期刊上,而陰性結(jié)果的研究則很可能被束之高閣[18],因此,如果利用已發(fā)表文獻進行元分析,其結(jié)果極有可能會產(chǎn)生發(fā)表偏倚風(fēng)險。在理論上,一項元分析必須檢索世界上可能得到的所有文獻來源,但在實際操作中,由于存在各種檢索限制,如在時間、資金支持、語言或搜索技巧的限制,導(dǎo)致完美的全面檢索難以執(zhí)行[12]。鑒于此,AMSTAR 2建議作者對檢索限制(如語言、時間)予以合理解釋[10?11],其目的一方面讓讀者能衡量當(dāng)前元分析結(jié)果的可靠性,另一方面也能讓作者對可能存在的偏倚提高警惕。然而,大部分體育科學(xué)領(lǐng)域元分析文獻未對檢索限制給予合理解釋。
此外,沒有1篇元分析文獻提供納入文獻排除清單及理由,這可能是我國體育學(xué)相關(guān)期刊的篇幅限制以及電子期刊平臺未提供“上傳數(shù)據(jù)”功能所致。事實上,提供排除清單及理由有助于讀者更清晰地了解到納入和排除文獻的具體情況。
(3)未重視單個研究的偏倚和未解釋選擇設(shè)計類型的原因。雖然大部分元分析使用了合理工具(如Cochrane手冊的偏倚風(fēng)險條目)評價納入文獻的偏倚風(fēng)險,然而僅將評估結(jié)果展示給讀者,卻沒在結(jié)果分析和討論中充分考慮納入文獻偏倚風(fēng)險對合并結(jié)果的潛在影響。由于元分析結(jié)果源于原始文獻結(jié)果,原始文獻的質(zhì)量直接影響到元分析質(zhì)量。理想狀態(tài)的元分析應(yīng)納入高質(zhì)量、低風(fēng)險的隨機對照試驗(RCT)文獻,此時單個研究偏倚風(fēng)險較低,但由于受倫理和資源等條件限制,體育科學(xué)領(lǐng)域的RCT推廣和應(yīng)用有限。因此,針對某一問題,在體育科學(xué)領(lǐng)域的元分析不僅可納入RCT,還可納入非隨機干預(yù)研究。當(dāng)納入不同偏倚風(fēng)險的RCT和非隨機干預(yù)研究時,元分析作者應(yīng)通過亞組分析、回歸分析、靈敏度分析調(diào)查偏倚風(fēng)險對總的合并效應(yīng)量的影響[10?11]。例如,Xiang等[19]采用元分析技術(shù)探討神經(jīng)反饋技術(shù)對運動表現(xiàn)的影響。亞組分析結(jié)果顯示:當(dāng)納入的是嚴(yán)格RCT設(shè)計(即設(shè)置了安慰劑的對照組)的高質(zhì)量文獻,那么神經(jīng)反饋訓(xùn)練不會提升運動成績;如果未采用嚴(yán)格試驗設(shè)計(即對照組沒有考慮安慰劑效應(yīng))的低質(zhì)量文獻,神經(jīng)反饋訓(xùn)練會提升運動成績,說明不同研究質(zhì)量文獻會對元分析合并結(jié)果產(chǎn)生影響,甚至產(chǎn)生相反結(jié)果。
此外,元分析作者應(yīng)詳細描述納入研究的設(shè)計類型并予以合理解釋。由于該條目是2017年AMSTAR 2新增題目,目前尚未引起體育科學(xué)研究者的重視,目前無1篇文獻對研究設(shè)計選擇給予解釋。
(4)忽視相關(guān)資金支持的報告。與原版資金支持評價條目相比,AMSTAR 2需要分別評價納入文獻作者和元分析作者是否接受了資金支持。本文發(fā)現(xiàn),幾乎沒有元分析報告納入文獻是否接受資金支持。事實上,納入文獻的資金支持信息是十分重要的,元分析作者應(yīng)在文中描述納入文獻的資金來源、贊助者在研究中扮演的角色,例如是否參與研究設(shè)計、實施、數(shù)據(jù)分析和文章撰寫等。讀者可根據(jù)這些信息判斷資金贊助情況是否會對元分析產(chǎn)生偏倚[10?11]。此外,雖然64.3%的元分析文獻作者報告了元分析過程受到資金支持,但都并沒有描述贊助方在研究中扮演的角色,僅有1篇文獻聲明了“無潛在的利益沖突”。這種情況可能與國內(nèi)體育類學(xué)術(shù)期刊對投稿文章的資金支持沒有規(guī)定性要求有關(guān)。
文獻的報告質(zhì)量與文獻的應(yīng)用價值密切相關(guān)[12]。本文采用PRISMA聲明對體育學(xué)元分析文獻進行報告質(zhì)量評價發(fā)現(xiàn),這些元分析論文在題目和引言部分報告比較完整,而在摘要、方法、結(jié)果、討論和資金支持等部分存在不足。
(1)摘要報告不全面。雖然大部分元分析文獻按照“目的、方法、結(jié)果、結(jié)論”的格式撰寫摘要,但未與國際上廣泛通用的摘要報告標(biāo)準(zhǔn)相吻合。主要缺乏對研究背景、研究對象、文獻檢索日期、偏倚風(fēng)險和研究局限性等方面的全面報告,導(dǎo)致讀者無法全面、直觀地了解其研究內(nèi)容。
(2)研究方法質(zhì)量控制不嚴(yán)謹(jǐn)。主要表現(xiàn):缺乏提供研究方案及注冊信息;試驗(干預(yù))型元分析文獻未按照PICO要素設(shè)定納入和排除標(biāo)準(zhǔn);大多數(shù)元分析文獻的文獻檢索僅提供關(guān)鍵詞和數(shù)據(jù)庫,未提供某一數(shù)據(jù)庫的具體檢索策略;有些元分析文獻在文獻篩查、數(shù)據(jù)提取、單個研究質(zhì)量評價時未報告“由2名研究者獨立完成”,幾乎沒有文獻報告2名評價者一致性的卡帕(kappa)值;對單個研究的偏倚風(fēng)險和研究間的偏倚重視程度不夠。元分析過程控制不嚴(yán)謹(jǐn),導(dǎo)致合并效果存在偏倚風(fēng)險,這勢必會降低元分析文獻的整體質(zhì)量。
(3)研究結(jié)果報告不全。主要表現(xiàn):有些文獻未繪制篩查文獻的流程圖和結(jié)果森林圖,使整個結(jié)果報告不清晰直觀;雖然大部分文獻報告了原始文獻的質(zhì)量,但未進一步分析文獻質(zhì)量對總合并效應(yīng)量的影響;不少研究采用漏斗圖分析方法評估發(fā)表偏倚,但需要明確不對稱的漏斗圖未必由發(fā)表偏倚造成,并且發(fā)表偏倚也不一定會造成漏斗圖的不對稱[20]。為此,研究者應(yīng)結(jié)合Egger回歸分析、Begg秩相關(guān)法,特別是文獻檢索的覆蓋面全面討論發(fā)表偏倚風(fēng)險。
(4)討論部分不重視偏倚風(fēng)險和總結(jié)證據(jù)質(zhì)量。僅有少部分元分析文獻在證據(jù)總結(jié)方面會結(jié)合偏倚結(jié)果進行解釋和總結(jié),幾乎沒有元分析文獻報告證據(jù)強度。元分析文獻的討論部分不但要總結(jié)關(guān)鍵的發(fā)現(xiàn),根據(jù)已有證據(jù)解釋元分析結(jié)果,與相關(guān)研究進行比較等;而且還要根據(jù)內(nèi)、外部真實性討論該研究與體育科學(xué)應(yīng)用的相關(guān)性,描述原始研究的不足和元分析過程中潛在的偏倚對研究結(jié)果的影響等,總結(jié)元分析結(jié)果的證據(jù)質(zhì)量(如采用GRADE系統(tǒng)評價證據(jù)質(zhì)量[21]),并提出進一步研究的建議。
①本文的方法學(xué)質(zhì)量、報告質(zhì)量評估以及納入文獻研究領(lǐng)域歸類具有主觀性,雖然研究前對評價人員進行了培訓(xùn)和開展了預(yù)評價,但在具體實施評價過程中還可能產(chǎn)生偏倚。②因受版面限制,本文未詳細描述納入文獻特征和列出排除文獻清單,也未注冊研究方案,可能會導(dǎo)致結(jié)果偏倚。③本文納入文獻中有6篇屬于相關(guān)性研究的元分析文獻,然而目前尚無合適評價量表評價相關(guān)性研究元分析的質(zhì)量。本文所采用的AMSTAR 2和PRISMA評價量表主要針對試驗(干預(yù)研究)的元分析,雖然也適合其他類型元分析報告的基礎(chǔ)規(guī)范,但其中有些條目,如涉及PICO要素的條目,并不適合評價相關(guān)性研究的元分析,致使質(zhì)量評價存在偏倚。
需指出的是,元分析屬于二次文獻研究,其合并效果量的可靠性不但取決于原始文獻質(zhì)量,而且原始文獻的發(fā)表偏倚和選擇性報告可能會高估元分析效果量。例如,Kvarven等[22]將15個已發(fā)表的元分析效果量與大規(guī)模預(yù)注冊相同課題的心理學(xué)重復(fù)研究數(shù)據(jù)進行對比,發(fā)現(xiàn)有12個元分析效果量顯著大于預(yù)注冊的重復(fù)研究效果量,平均而言,元分析的效果量幾乎是重復(fù)研究效果量的3倍。為此,Kvarven等[22]指出,研究方案的預(yù)注冊和數(shù)據(jù)公開透明是減少發(fā)表偏倚和選擇性報告的潛在有效政策,這不僅可增加原始研究和元分析的可信度,而且使元分析成為合并效果更有價值的工具。
(1)對元分析文獻作者而言,應(yīng)參考相應(yīng)規(guī)范設(shè)計和實施元分析研究,撰寫元分析報告。具體策略:①可參考Cochrane干預(yù)措施系統(tǒng)評價手冊[20],系統(tǒng)掌握元分析基本概念,并了解相關(guān)統(tǒng)計軟件(如RevMan、Stata、R、CMA等)適用范圍和優(yōu)缺點。例如,RevMan軟件在運動干預(yù)試驗的元分析中具有獨特優(yōu)勢,備受研究者青睞,但在發(fā)表偏倚檢驗方面,RevMan存在“僅給出漏斗圖,不提供任何發(fā)表偏倚的檢驗或程序”的缺點[23]。因此,元分析文獻作者還需掌握CMA和Stata等軟件提供的Egger回歸分析、Begg秩相關(guān)法較全面地檢驗發(fā)表偏倚風(fēng)險。②按照AMSTAR 2和PRISMA的檢查清單,將研究計劃進行細化并進行預(yù)注冊,尤其是對AMSTAR 2方法部分的清單條目進行具體報告,盡量減少實施和報告的偏倚。③注重元分析的理論和實踐意義。高質(zhì)量的元分析不僅應(yīng)提供可靠的證據(jù)和規(guī)范報告,還應(yīng)促進研究領(lǐng)域的理論發(fā)展并提供實踐指導(dǎo)。例如,Peng等[24]采用元分析技術(shù)考察了智力和學(xué)業(yè)成就的關(guān)系,該元分析基于“大數(shù)據(jù)”(橫向和縱向數(shù)據(jù))檢驗了投資理論、相互作用理論、行為遺傳學(xué)理論和認(rèn)知負荷理論等重要理論。在此基礎(chǔ)上,研究者提出了新的“智力與學(xué)習(xí)的發(fā)展教育理論”,為促進學(xué)科學(xué)習(xí)和認(rèn)知干預(yù)提供了理論指導(dǎo)。盡管我國體育學(xué)領(lǐng)域目前鮮有類似的理論導(dǎo)向清晰、應(yīng)用價值明確的元分析報告,但我們應(yīng)朝著這個方向努力。
(2)對于體育學(xué)相關(guān)期刊編委會和編輯部而言,可從審稿政策上加強對元分析文章報告的要求,以提高元分析的質(zhì)量。具體做法:①根據(jù)實際情況,以AMSTAR 2和PRISMA檢查清單為基礎(chǔ),制訂元分析論文作者的自檢報告規(guī)范;設(shè)置元分析專題,以增強元分析的影響力和規(guī)范性。②期刊主編在對元分析稿件進行初步篩選時,或在同行專家審稿時,應(yīng)參閱元分析報告規(guī)范對稿件進行評審,確保各部分報告的合理性與準(zhǔn)確性。③AMSTAR 2和PRISMA檢查清單主要適用于試驗(干預(yù))類元分析,其中有些條目不適用于體育科學(xué)相關(guān)性研究的元分析。此外,在體育人文社會科學(xué)領(lǐng)域存在一些定性系統(tǒng)評價,目前尚無定性系統(tǒng)評價的報告規(guī)范,因此,制訂本學(xué)科領(lǐng)域的元分析報告規(guī)范是十分必要的。參考心理學(xué)科領(lǐng)域的元分析報告標(biāo)準(zhǔn)[17],中國體育科學(xué)學(xué)會可邀請專家共同制訂體育學(xué)元分析報告標(biāo)準(zhǔn),以供元分析作者、讀者和審稿人參考。
(3)對于高校課程設(shè)置而言,應(yīng)增加系統(tǒng)評價/元分析的理論和實踐課程。目前有醫(yī)學(xué)院?;蚓C合性院校開設(shè)了“循證醫(yī)學(xué)”或“系統(tǒng)評價/元分析”等課程,而體育院校鮮見開設(shè)相關(guān)課程,這不利于系統(tǒng)評價/元分析專業(yè)人才培養(yǎng)。因此,建議有條件的體育院校在研究生培養(yǎng)過程中增加元分析理論和實踐課程,或在“科研方法”和“統(tǒng)計學(xué)”課程中增加系統(tǒng)評價/元分析的相關(guān)專題內(nèi)容。
科學(xué)研究是不斷積累證據(jù)的過程,元分析正體現(xiàn)了這種積累過程。雖然體育學(xué)元分析文獻數(shù)量和質(zhì)量逐年提升,但仍存在不同程度的方法學(xué)質(zhì)量和報告質(zhì)量問題。廣大研究者應(yīng)遵循嚴(yán)謹(jǐn)?shù)脑治鲆?guī)范,期刊編輯應(yīng)加強對元分析報告的要求,學(xué)校開設(shè)元分析理論和實踐課程,共同促進體育學(xué)領(lǐng)域科學(xué)知識的有效積累。
作者貢獻聲明:
項明強:提出論文主題,分析統(tǒng)計數(shù)據(jù),撰寫論文;
肖 讓:調(diào)研文獻資料,收集統(tǒng)計數(shù)據(jù),核實統(tǒng)計結(jié)果;
趙雪平:調(diào)研文獻資料,收集統(tǒng)計數(shù)據(jù);
孫 健:設(shè)計論文框架,指導(dǎo)修改論文;
侯曉暉:設(shè)計論文框架,審核、指導(dǎo)修改論文。