王子涵，陶詩怡，呂書影，孫梓宜，李琳，鹿小燕，黃力

(1.北京中醫(yī)藥大學(xué)，北京 100029； 2.中日友好醫(yī)院中西醫(yī)結(jié)合心內(nèi)科，北京 100029)

目前，我國心血管疾病患病率及病死率整體仍處于較高水平[1]。心血管疾病病程長，對患者生活質(zhì)量影響大，而中醫(yī)藥可以獨(dú)特的辨證論治原則，予不同的患者個體化治療，具有整體改善患者狀態(tài)、不良反應(yīng)少、遠(yuǎn)期預(yù)后較好等優(yōu)勢[2]。中醫(yī)藥在疾病防治領(lǐng)域效果顯著，但由于個體思維模式的差異，其原理較難被廣泛理解，且目前尚缺乏成體系的中醫(yī)藥機(jī)制描述研究及高級循證醫(yī)學(xué)證據(jù)[3]。目前關(guān)于中醫(yī)藥干預(yù)心血管疾病遠(yuǎn)期預(yù)后的研究仍較少，且研究規(guī)模較小、觀察時間短，導(dǎo)致中醫(yī)藥治療心血管疾病的綜合優(yōu)勢在科研方面仍顯乏力，研究成果已不能滿足日益增長的中醫(yī)臨床治療需求，特別是心血管疾病領(lǐng)域發(fā)展的需求。馬爾科夫(Markov)模型是目前常用的決策分析方法之一[4]，在模擬慢性復(fù)雜性疾病發(fā)生發(fā)展方面具有一定優(yōu)勢，可被用于心血管領(lǐng)域的疾病評估，同時因其獨(dú)特的預(yù)測能力，已逐漸應(yīng)用于中醫(yī)藥研究?，F(xiàn)就Markov模型在中醫(yī)藥防治心血管疾病領(lǐng)域的應(yīng)用進(jìn)展予以綜述。

1 Markov模型概述

1.1定義與概念 Markov模型的原理是根據(jù)某變量的目前狀態(tài)和趨勢預(yù)測目標(biāo)變量的未來狀態(tài)，特征在于下一個狀態(tài)的產(chǎn)生只與當(dāng)前的狀態(tài)有關(guān)[5]。作為常用的決策分析模型之一，Markov模型被廣泛應(yīng)用于地質(zhì)、經(jīng)濟(jì)等學(xué)科領(lǐng)域，近年來作為一種先進(jìn)的信息處理方法，也逐漸應(yīng)用于流行病學(xué)、公共衛(wèi)生管理、醫(yī)學(xué)規(guī)律探究等領(lǐng)域。完整的Markov決策過程包含疾病的所有狀態(tài)以及各個狀態(tài)之間轉(zhuǎn)移的概率，并可將復(fù)雜的疾病自然過程簡化歸納，因此受到廣泛關(guān)注。

1.2Markov模型的獨(dú)特優(yōu)勢 作為一類根據(jù)某疾病人群現(xiàn)階段健康狀況預(yù)測疾病進(jìn)一步變化趨勢的動態(tài)隨機(jī)數(shù)字模型，Markov模型作用原理不同于傳統(tǒng)的基于Logistic回歸、Cox回歸等方法的建模形式，其更關(guān)注各個狀態(tài)之間的轉(zhuǎn)移情況與滯留時間，并可分析疾病過程中危險因素與轉(zhuǎn)歸因素的影響，通過數(shù)據(jù)模擬與模型運(yùn)行，在一定程度上彌補(bǔ)傳統(tǒng)療效評價研究與疾病預(yù)后研究的不足[6]。常規(guī)臨床試驗雖可觀察到一段時間內(nèi)的療效及預(yù)后，但因時間限制，難以覆蓋疾病自然演變的全過程，特別是對慢性疾病患者，有限的研究周期無法全面反映干預(yù)措施的完整效應(yīng)。而Markov模型可通過模擬疾病自然病程，彌補(bǔ)臨床試驗的缺陷，有助于提升研究的可信性及科學(xué)性。

1.3演變與發(fā)展 簡單的Markov模型早在1983年即被用于確定疾病的預(yù)后[7]，后經(jīng)不斷的深入研究與完善，發(fā)展為一系列更復(fù)雜的模型?；A(chǔ)的Markov預(yù)測模型可對特定狀態(tài)變化與轉(zhuǎn)移的規(guī)律進(jìn)行模擬[8]，當(dāng)需要觀測病程較長的慢性疾病或需要結(jié)合時間變量等復(fù)雜概念時，則可使用時間轉(zhuǎn)換Markov模型(Markov鏈)等更為復(fù)雜的變式[9-10]。如馬彩云等[11]應(yīng)用時間轉(zhuǎn)換Markov模型探討促進(jìn)阿爾茨海默病進(jìn)展的影響因素，結(jié)果發(fā)現(xiàn)性別、年齡、工作類型、教育水平等因素與疾病進(jìn)展相關(guān)；陶濤等[12]運(yùn)用多狀態(tài)Markov模型研究我國老年人失能轉(zhuǎn)移規(guī)律，并預(yù)測各種程度失能患者癥狀改善的概率，為延緩失能惡化提供了依據(jù)。此外，模型表現(xiàn)形式常隨應(yīng)用對象、試驗?zāi)康牟煌霈F(xiàn)變化，因此可結(jié)合其他系統(tǒng)模型修正自身準(zhǔn)確度、提高適用性，以求達(dá)到高精度的動態(tài)預(yù)測，如灰色-Markov模型[13]等。王雅文等[14]針對肺結(jié)核發(fā)病情況收集既往數(shù)據(jù)，探討單純灰色預(yù)測模型與灰色-Markov模型的優(yōu)劣，結(jié)果發(fā)現(xiàn)兩種模型聯(lián)合時效能更強(qiáng)，更適用于預(yù)測疾病發(fā)病率，并可預(yù)判疾病流行趨勢。楊敏杰等[15]將灰色-Markov模型引入中醫(yī)藥療效預(yù)測評價領(lǐng)域，預(yù)測氣陰兩虛型慢性腎臟病的各項指標(biāo)檢驗數(shù)值，結(jié)果顯示該模型預(yù)測精度高、可操作性強(qiáng)。

2 醫(yī)學(xué)相關(guān)Markov模型的應(yīng)用

隨著研究的不斷深入，Markov模型被越來越多地應(yīng)用于醫(yī)學(xué)研究領(lǐng)域，其模型預(yù)測結(jié)果與臨床吻合度也被研究者廣泛論證。如王婷婷等[16]通過調(diào)查98 996例社區(qū)高血壓患者危險分層狀態(tài)建立Markov模型，以預(yù)測狀態(tài)轉(zhuǎn)移結(jié)果，結(jié)果發(fā)現(xiàn)預(yù)測值與實(shí)際值非常接近，表明模型預(yù)測的準(zhǔn)確性及穩(wěn)定性均較高，適用于高血壓預(yù)后研究。

作為流行病學(xué)和醫(yī)學(xué)規(guī)律的研究方法之一，Markov模型不僅可評估疾病本身的臨床癥狀變化，還可基于此做出預(yù)后評估，判斷不同干預(yù)方式對疾病遠(yuǎn)期療效的影響。揭俊欽等[17]通過構(gòu)建Markov模型模擬城市女性宮頸癌的自然進(jìn)程，結(jié)果顯示擬合優(yōu)度適宜，為宮頸癌篩查提供了技術(shù)支持；徐楠等[18]通過模擬真實(shí)隊列數(shù)據(jù)建立Markov模型預(yù)測糖尿病患者10年后心血管疾病的累計發(fā)生率，結(jié)果顯示，隊列中糖尿病患者10年后的心血管疾病累計發(fā)生率為10.21%，為改善糖尿病患者社區(qū)管理策略提供了研究證據(jù)；王秋虹等[19]應(yīng)用Markov模型對糖尿病腎病病程進(jìn)行動態(tài)模擬，并闡述療效評價的基本步驟，提出合理應(yīng)用該模型對中醫(yī)藥防治慢性病具有重要意義。

另一方面，Markov模型聯(lián)合公共衛(wèi)生專業(yè)知識還可做出目標(biāo)干預(yù)措施的經(jīng)濟(jì)學(xué)評價，是目前公認(rèn)的最流行的決策分析方法之一[20-21]。王志恒等[22]應(yīng)用Markov模型模擬蘇黃止咳膠囊聯(lián)合西醫(yī)常規(guī)治療慢性阻塞性肺疾病的療效，結(jié)果顯示中西醫(yī)結(jié)合治療方案具有成本低、產(chǎn)出高等成本-效用優(yōu)勢；官海靜等[23]將Markov模型應(yīng)用于腎臟病領(lǐng)域，結(jié)果證明中醫(yī)藥療效顯著且具有成本優(yōu)越性；張松宇等[24]通過檢索依奇珠單抗治療銀屑病的Markov模型分析，歸納總結(jié)了該藥物在經(jīng)濟(jì)學(xué)方面的優(yōu)勢。由于Markov模型獨(dú)特的建模能力和預(yù)測能力，近年依據(jù)其完成的研究工作較多，為心血管疾病的研究提供了重要依據(jù)。

3 Markov模型在中西醫(yī)結(jié)合防治心血管疾病中的研究現(xiàn)狀

由于心血管疾病發(fā)病機(jī)制復(fù)雜、病程漫長、患者癥狀多變且急性期病情兇險，給患者家庭和社會經(jīng)濟(jì)均帶來沉重負(fù)擔(dān)[25]。然而，由于病程長、患者多高齡、依從性不強(qiáng)等，目前對心血管疾病的發(fā)病預(yù)測、遠(yuǎn)期預(yù)后及經(jīng)濟(jì)學(xué)分析尚存在不足，難以完成較大規(guī)模、較長時間的完整隨訪研究，因此對疾病的動態(tài)變化觀察仍存在局限。中醫(yī)藥治療強(qiáng)調(diào)“既病防變”，致力于改善患者遠(yuǎn)期生存狀態(tài)，基于此進(jìn)一步深入研究或可推動心血管疾病防治工作的進(jìn)展。

Markov模型尤其適用于模擬心血管疾病遠(yuǎn)期癥狀與預(yù)后。Lindbohm等[26]對6 964例參與者進(jìn)行隨訪，并使用Markov模型估算不同心血管危險因素人群的最佳篩查間隔時間，結(jié)果發(fā)現(xiàn)對于低、中、高風(fēng)險人群分別間隔7年、4年、1年進(jìn)行篩查更具有成本效益。Ramezankhani等[27]使用Markov模型觀察評估3 002例普通人群的健康狀況，結(jié)果發(fā)現(xiàn)高血壓可顯著增加既往無心血管疾病人群的死亡風(fēng)險。王云鋒等[8]分析高血壓各狀態(tài)之間的轉(zhuǎn)移規(guī)律，以Markov模型模擬隊列人群10年內(nèi)的高血壓發(fā)病情況，結(jié)果發(fā)現(xiàn)10年后31.1%(1 637/5 265)的隊列人群可發(fā)展為高血壓。王梓寬和于海雯[28]以30年城鄉(xiāng)心血管疾病患者病死率為預(yù)測對象構(gòu)建Markov模型，并與真實(shí)數(shù)據(jù)進(jìn)行比較，結(jié)果發(fā)現(xiàn)Markov模型預(yù)測心血管疾病患者病死率的精確性較高。

近年中醫(yī)藥臨床研究質(zhì)量逐漸提高，其中關(guān)于中醫(yī)藥對冠心病、高血壓、心力衰竭、心律失常等心血管疾病的療效及安全性的研究已取得一定進(jìn)展，且相關(guān)機(jī)制研究也已深入到能量代謝、細(xì)胞凋亡、自噬等分子生物層面。中醫(yī)在辨證論治的過程中注重對疾病癥狀變化的把握，且常以整體癥狀改善作為療效評價標(biāo)準(zhǔn)，綜合判定疾病的狀態(tài)，這與Markov模型狀態(tài)轉(zhuǎn)移的過程有共通之處，可通過模型模擬更精細(xì)地展示疾病各階段主要癥狀的變化并以此評估病情。楊敏杰等[15]以Markov模型預(yù)測患者接受中醫(yī)藥治療后的癥狀變化，結(jié)果發(fā)現(xiàn)該模型評價中醫(yī)臨床療效時與臨床實(shí)際情況契合，預(yù)測精確，且研究方法便利，結(jié)果令人滿意。

Markov模型具有獨(dú)特的預(yù)測模擬性質(zhì)，與中醫(yī)“治未病”觀念契合，尤其適合證候、癥狀預(yù)測研究。Liu等[29]應(yīng)用Markov模型驗證中醫(yī)證候模式，并結(jié)合病因病機(jī)理論，為腦卒中后認(rèn)知障礙患者的中醫(yī)治療提供了理論優(yōu)化策略。馮妍等[30]通過構(gòu)建Markov模型實(shí)現(xiàn)對不穩(wěn)定型心絞痛患者的中醫(yī)臨床治療方案優(yōu)化，并對模型可靠性進(jìn)行了驗證。通過預(yù)測模擬評估疾病預(yù)后并貼合中醫(yī)傳統(tǒng)認(rèn)知，是Markov模型應(yīng)用的一大優(yōu)勢，同時其還可依據(jù)數(shù)據(jù)進(jìn)行遠(yuǎn)期預(yù)測，符合心血管疾病慢性病防治工作要求。

藥物試驗是中醫(yī)藥應(yīng)用于臨床的關(guān)鍵環(huán)節(jié)，傳統(tǒng)Ⅰ～Ⅳ期臨床研究耗時久、花費(fèi)大，還存在病例收集緩慢、患者依從性差等問題，同時心血管疾病患者病程長，也給隨訪工作增加了難度，導(dǎo)致目前關(guān)于中醫(yī)藥防治心血管疾病患者預(yù)后的大型研究較少。而Markov模型可結(jié)合前期數(shù)據(jù)進(jìn)行療效、預(yù)后的預(yù)測，還可輔助完成試驗，既節(jié)省了研究成本，又增加了研究的可行性。王強(qiáng)[31]基于Markov模型評估益氣活血類中藥干預(yù)不穩(wěn)定型心絞痛患者支架術(shù)后的療效，結(jié)果表明中西醫(yī)結(jié)合治療的效果更佳，并證實(shí)Markov模型的可行性。此外，潘婕等[32]應(yīng)用Markov模型對麝香通心滴丸聯(lián)合西藥常規(guī)治療冠心病的經(jīng)濟(jì)學(xué)效益進(jìn)行評估，結(jié)果發(fā)現(xiàn)中西醫(yī)結(jié)合治療方案長期成本更低、健康產(chǎn)出更高。因此，未來還應(yīng)進(jìn)一步發(fā)掘中醫(yī)藥臨床優(yōu)勢，為廣大心血管疾病患者提供幫助。

4 以中西醫(yī)結(jié)合治療心力衰竭為例的Markov模型實(shí)現(xiàn)過程

采用Markov模型進(jìn)行評估時應(yīng)注意準(zhǔn)確闡述模型的內(nèi)容，展示整體網(wǎng)絡(luò)結(jié)構(gòu)，并進(jìn)行各種狀態(tài)的設(shè)定，確定模型循環(huán)周期、循環(huán)終止條件等必要特征，說明模型構(gòu)建的依據(jù)，此外，還應(yīng)匯報進(jìn)行模型分析所使用的軟件。建模完成后即可開始模型循環(huán)，最終得到整個過程消耗的成本、循環(huán)過程中患者的預(yù)測生存時間、循環(huán)完畢后患者健康狀態(tài)的分布等數(shù)據(jù)[33]。

4.1Markov狀態(tài)設(shè)定 Markov狀態(tài)的設(shè)定取決于患者接受的不同干預(yù)條件或研究者對目標(biāo)疾病的劃分。如在中藥治療心力衰竭的研究中，可將模型劃分為常規(guī)西藥治療組、中西醫(yī)結(jié)合治療組，并根據(jù)紐約心力衰竭分級將患者定義為Ⅰ、Ⅱ、Ⅲ、Ⅳ、全因死亡5種狀態(tài)，且同類別狀態(tài)不會同時存在[34]。Markov模型可模擬疾病的真實(shí)發(fā)展，從任一狀態(tài)開始，在一段周期后，模型可停在原狀態(tài)不變(疾病平穩(wěn))或轉(zhuǎn)移至其他狀態(tài)(好轉(zhuǎn)或惡化)，又或者因不同干預(yù)條件影響而進(jìn)入不同狀態(tài)(歸入西藥治療組或中西醫(yī)結(jié)合治療組)，全因死亡為吸收態(tài)，若處于這一狀態(tài)，則不再向其他狀態(tài)轉(zhuǎn)化[35]。當(dāng)Markov模型轉(zhuǎn)移至吸收態(tài)或循環(huán)至規(guī)定時間時，則終止運(yùn)行并輸出最終結(jié)果。

4.2Markov模型周期 研究者通常將期望觀察的干預(yù)時間等分為若干時間段，單獨(dú)一個時間段則稱為Markov周期，在每個周期內(nèi)，模型狀態(tài)可進(jìn)行轉(zhuǎn)化。在現(xiàn)實(shí)世界中，某段時間內(nèi)疾病的變化是逐漸發(fā)生的，當(dāng)其表達(dá)在Markov周期中則以數(shù)學(xué)過程展示，即按照平均發(fā)生時間，假設(shè)變化時點(diǎn)正在半周期上，但這必然導(dǎo)致對模型下一狀態(tài)停留時間的低估或高估，此時需進(jìn)行相關(guān)校正來減少誤差[36]。完整循環(huán)時間的設(shè)定根據(jù)疾病不同也有所差異，心力衰竭多發(fā)生于70歲老年人群[37]，以80歲為期望壽命[38]，則可設(shè)定循環(huán)時間為10年。而每1個周期的具體時間長短也需要以專業(yè)知識確定，如陳幸和陳琳[39]在研究乙型肝炎時，將周期設(shè)定為1年；夏振娟[40]在研究類風(fēng)濕關(guān)節(jié)炎時，將周期設(shè)為6個月。在研究慢性心力衰竭時，常規(guī)隨訪周期一般為3～6個月[35]，研究者可以此為1個循環(huán)周期。周期長短在研究設(shè)計時通常以疾病病理、癥狀期望發(fā)生變化的最小時間間隔為標(biāo)準(zhǔn)，原則上周期越短，模型的預(yù)測精確度越高，但因涉及疾病自然病程長短等專業(yè)因素，加之隨訪時間、患者失訪等研究自身條件限制，尚需研究者斟酌后綜合決定周期長度。

4.3模型運(yùn)行參數(shù)設(shè)定 當(dāng)模型開始運(yùn)行后，參數(shù)設(shè)定即為實(shí)現(xiàn)精準(zhǔn)預(yù)測的關(guān)鍵點(diǎn)，其中以轉(zhuǎn)移概率最為重要。轉(zhuǎn)移概率是指患者在1個循環(huán)周期內(nèi)從一種狀態(tài)轉(zhuǎn)移至其他狀態(tài)的可能性，直接影響模型變化與結(jié)果輸出。轉(zhuǎn)移概率參數(shù)的獲取是確保模型預(yù)測準(zhǔn)確率的關(guān)鍵，同時也是整個建模過程中的重點(diǎn)與難點(diǎn)[41]。轉(zhuǎn)移概率通常無法直接得到，需要進(jìn)行一系列換算，基礎(chǔ)數(shù)據(jù)可通過查閱文獻(xiàn)、公共數(shù)據(jù)庫獲取，也可來源于前期臨床研究的結(jié)果。更復(fù)雜的是，Markov模型有靜態(tài)、動態(tài)之分，在簡單的靜態(tài)Markov模型中，疾病狀態(tài)轉(zhuǎn)移概率在各個循環(huán)周期內(nèi)是恒定不變的[40]，而在動態(tài)Markov模型(即時間轉(zhuǎn)換Markov模型)中，如心力衰竭、腫瘤、阿爾茨海默病等涉及時間依賴性的疾病領(lǐng)域[11，42]，發(fā)病過程中健康狀態(tài)的變化概率會隨著病程長短而發(fā)生變化，如心力衰竭患者隨著病程時間延長，發(fā)生心血管事件的風(fēng)險也累積升高，此時需要考慮患者生存時間與疾病進(jìn)一步發(fā)展的相關(guān)性，在進(jìn)行模擬時要求進(jìn)行多次校正或引入更復(fù)雜的生存曲線擬合方法[41]，最終計算得到的隨時間變化而變化的轉(zhuǎn)移概率更符合真實(shí)世界中疾病的發(fā)展規(guī)律。此外，在對模型輸出結(jié)果進(jìn)行分析時，還可通過在循環(huán)中對各Markov狀態(tài)賦予健康效用值[43]、成本消耗等參數(shù)，最終得到質(zhì)量調(diào)整生命年、總成本等指標(biāo)，以綜合量化評價研究結(jié)局。

5 問題與展望

靈活應(yīng)用新科學(xué)方法解決傳統(tǒng)問題并得到更合理的結(jié)論是醫(yī)學(xué)進(jìn)步的趨勢。Markov模型可模擬不同條件下的疾病發(fā)展，適用于心血管疾病領(lǐng)域。但Markov模型的使用也存在一定難度與限制。首先，在Markov狀態(tài)的確定上，需綜合考慮疾病的特征及發(fā)展規(guī)律，使其符合Markov模型的運(yùn)行規(guī)則，使Markov狀態(tài)能更貼切地表達(dá)疾病變化過程；其次，循環(huán)周期的確定依賴于研究者的判斷，需要在盡量縮短每個周期時間的原則上，使其與疾病的變化時間相對應(yīng)；此外，轉(zhuǎn)移概率的獲取是得出準(zhǔn)確結(jié)論的基礎(chǔ)，但目前國內(nèi)尚缺乏大規(guī)模心血管疾病數(shù)據(jù)，同時關(guān)于中醫(yī)藥干預(yù)心血管疾病的長期預(yù)后研究也較少，因此在一定程度上會影響Markov模型預(yù)測中醫(yī)藥防治心血管疾病的適用性。Markov模型算法復(fù)雜、建模難度較高，在中醫(yī)藥領(lǐng)域應(yīng)用尚不充分，未來應(yīng)開展更多高質(zhì)量的相關(guān)研究，并進(jìn)行大樣本、長時間的隨訪觀察以提供多時點(diǎn)數(shù)據(jù)，進(jìn)一步優(yōu)化模型結(jié)構(gòu)，提高預(yù)測精確度。