成亞鑫，李潤(rùn)知，趙紅領(lǐng)

1.鄭州大學(xué) 信息工程學(xué)院，鄭州 450001

2.鄭州大學(xué) 互聯(lián)網(wǎng)醫(yī)療與健康服務(wù)河南省協(xié)同創(chuàng)新中心，鄭州 450052

腦血管疾?。╟erebrovascular disease，CVD）[1]是危害我國(guó)人民健康的首要?dú)⑹郑哂懈甙l(fā)病率、高復(fù)發(fā)率、高致殘率以及高死亡率的特點(diǎn)，給患者家庭帶來(lái)嚴(yán)重的醫(yī)療負(fù)擔(dān)和經(jīng)濟(jì)損失[2]。腦血管疾病是神經(jīng)內(nèi)科的一個(gè)急癥，一旦發(fā)病都具有急、危、重的特點(diǎn)，治療是否及時(shí)、合理將直接影響患者預(yù)后。在腦血管疾病發(fā)生、發(fā)展及預(yù)后的過(guò)程中對(duì)一些臨床病理指標(biāo)進(jìn)行動(dòng)態(tài)觀(guān)察，能有效指導(dǎo)臨床治療。

重癥監(jiān)護(hù)病房（intensive care unit，ICU）是為重癥或昏迷患者提供設(shè)備和隔離的場(chǎng)所，致力于為患者提供有針對(duì)性的監(jiān)測(cè)和最佳的護(hù)理[3-4]。臨床醫(yī)生在ICU根據(jù)反映生理惡化的監(jiān)測(cè)參數(shù)做出的決定具有重大的醫(yī)學(xué)意義，MIMIC Ⅲ數(shù)據(jù)庫(kù)對(duì)有關(guān)參數(shù)進(jìn)行了記錄和評(píng)估[5-7]。

傳統(tǒng)的ICU 評(píng)分機(jī)制根據(jù)患者心率、呼吸頻率、睜眼反應(yīng)、語(yǔ)言反應(yīng)和肢體反應(yīng)程度等進(jìn)行評(píng)分，然后進(jìn)行手工加分的方式，判斷評(píng)分的等級(jí)來(lái)預(yù)測(cè)ICU患者是否有發(fā)生威脅生命事件的風(fēng)險(xiǎn)。但隨著ICU 患者數(shù)據(jù)的復(fù)雜性和多樣性，傳統(tǒng)的評(píng)分機(jī)制已經(jīng)不能滿(mǎn)足臨床的要求。伴隨著計(jì)算機(jī)技術(shù)和醫(yī)療大數(shù)據(jù)的發(fā)展，將計(jì)算機(jī)技術(shù)應(yīng)用在醫(yī)療方面進(jìn)行死亡風(fēng)險(xiǎn)預(yù)測(cè)已經(jīng)成為醫(yī)學(xué)問(wèn)題新的解決思路。

死亡風(fēng)險(xiǎn)預(yù)測(cè)可根據(jù)常規(guī)體征數(shù)據(jù)預(yù)測(cè)患者是否有死亡的風(fēng)險(xiǎn)。目前關(guān)于ICU死亡風(fēng)險(xiǎn)預(yù)測(cè)的研究中，傳統(tǒng)研究大多使用機(jī)器學(xué)習(xí)方法來(lái)預(yù)測(cè)ICU 患者的死亡風(fēng)險(xiǎn)，但由于有些研究數(shù)據(jù)量少且選取特征變量過(guò)少，導(dǎo)致分類(lèi)器性能不理想。并且ICU數(shù)據(jù)往往存在嚴(yán)重的高維性和數(shù)據(jù)不平衡等現(xiàn)象，這都會(huì)嚴(yán)重影響分類(lèi)器的性能。因此，為了提高死亡風(fēng)險(xiǎn)預(yù)測(cè)模型的性能，本文引入多通道的概念應(yīng)用到BiLSTM 模型，使用BiLSTM模型獨(dú)立地處理不同的變量，結(jié)合基于A(yíng)ttention機(jī)制的BiLSTM模型，提出一種基于多通道的ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)模型Multichannel-BiLSTMs+Attention。為醫(yī)生判斷ICU 腦血管患者生理狀況提供了參考，輔助醫(yī)護(hù)人員了解ICU 患者病情發(fā)展，為及時(shí)干預(yù)和防治腦血管疾病患者病情惡化提供參考，在腦血管患者的健康護(hù)理和醫(yī)院的資源配置中發(fā)揮著重要的作用。

1 相關(guān)工作

ICU死亡風(fēng)險(xiǎn)預(yù)測(cè)因其重要性，一直以來(lái)是臨床科研研究的重點(diǎn)，從建模方法上，主要包括機(jī)器學(xué)習(xí)方法和深度學(xué)習(xí)方法。首先，謝俊卿等[8-9]基于本地電子病歷數(shù)據(jù)構(gòu)建了ICU患者住院死亡風(fēng)險(xiǎn)預(yù)測(cè)模型，為了獲得更優(yōu)的預(yù)測(cè)性能，應(yīng)用了人工神經(jīng)網(wǎng)絡(luò)、決策樹(shù)和支持向量機(jī)三種機(jī)器學(xué)習(xí)模型，結(jié)果顯示支持向量機(jī)的性能最優(yōu)，但因選取的特征變量過(guò)少，使得分類(lèi)器性能受到影響。許僑洋[10]基于MIMIC Ⅱ數(shù)據(jù)庫(kù)，利用機(jī)器學(xué)習(xí)方法建立ICU死亡風(fēng)險(xiǎn)預(yù)測(cè)模型，重點(diǎn)根據(jù)單個(gè)特征值分類(lèi)的AUC得分情況進(jìn)行特征降維，解決了ICU數(shù)據(jù)維度高問(wèn)題，并對(duì)比了決策樹(shù)、隨機(jī)森林和XGBoost 三種機(jī)器學(xué)習(xí)方法，XGBoost 的性能最優(yōu)，AUC 值達(dá)到85.6%。但在解決數(shù)據(jù)高維性的過(guò)程中，該研究?jī)H對(duì)AUC值低的特征進(jìn)行降維，模型的預(yù)測(cè)性能更加優(yōu)越，AUC 值達(dá)到85.3%。以上是采用機(jī)器學(xué)習(xí)方法對(duì)死亡風(fēng)險(xiǎn)預(yù)測(cè)模型的研究情況，在預(yù)測(cè)精度方面有待提高。近年來(lái)，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，大量深度學(xué)習(xí)模型被提出用于醫(yī)學(xué)臨床輔助決策，產(chǎn)生了很好的應(yīng)用效果，劉瑞[11]基于MIMIC Ⅲ數(shù)據(jù)庫(kù)采用深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)算法建立一種智能化的死亡風(fēng)險(xiǎn)預(yù)測(cè)模型，并將模型與ICU患者中普遍使用的SAPS-Ⅱ（簡(jiǎn)化急性生理評(píng)分）進(jìn)行預(yù)測(cè)性能比較，針對(duì)ICU 患者死亡風(fēng)險(xiǎn)數(shù)據(jù)的非線(xiàn)性、復(fù)雜性和無(wú)規(guī)律性，驗(yàn)證了深度學(xué)習(xí)模型比SAPS-Ⅱ具有更好的泛化能力和更高準(zhǔn)確率，其準(zhǔn)確率達(dá)到了75.77%。在該研究中，未考慮患者數(shù)據(jù)的時(shí)序性和特征的選擇。

目前ICU 使用的風(fēng)險(xiǎn)預(yù)測(cè)評(píng)分機(jī)制大多為MEWS（改良早期預(yù)警評(píng)分）表和Glasgow 昏迷評(píng)分量表。MEWS表是一種簡(jiǎn)易的病情及預(yù)后評(píng)估系統(tǒng)，依據(jù)患者的心率、收縮壓、呼吸頻率、體溫和意識(shí)進(jìn)行綜合評(píng)分，將病情危重程度分值化，能快速、科學(xué)地對(duì)病人危險(xiǎn)性進(jìn)行預(yù)測(cè)[12]。Glasgow昏迷評(píng)分量表是醫(yī)學(xué)上評(píng)估病人昏迷程度的方法，昏迷程度以睜眼、語(yǔ)言和運(yùn)動(dòng)三者得分相加來(lái)評(píng)估，得分值越高，提示意識(shí)狀態(tài)越好，患者狀況則相對(duì)安全[13]。本文提出的ICU 腦血管死亡風(fēng)險(xiǎn)預(yù)測(cè)模型考慮了數(shù)據(jù)的時(shí)序性和疾病研究所需的時(shí)間長(zhǎng)度，依據(jù)腦血管疾病的相關(guān)重要參數(shù)、ICU 使用的MEWS 表和Glasgow 昏迷評(píng)分量表等選取了17 個(gè)相關(guān)變量用于預(yù)測(cè)模型構(gòu)建。

2 實(shí)驗(yàn)數(shù)據(jù)

在ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)研究中，使用的數(shù)據(jù)是基于MIMIC Ⅲ數(shù)據(jù)庫(kù)提取出的腦血管疾病相關(guān)時(shí)序數(shù)據(jù)。該數(shù)據(jù)庫(kù)主要由臨床數(shù)據(jù)庫(kù)和生理波形數(shù)據(jù)庫(kù)構(gòu)成。數(shù)據(jù)包括生命體征、藥物、實(shí)驗(yàn)室測(cè)量值、護(hù)理人員提供的觀(guān)察結(jié)果和注釋、體液平衡、程序代碼、診斷代碼、住院時(shí)間、生存數(shù)據(jù)等。

為實(shí)現(xiàn)對(duì)腦血管疾病患者死亡風(fēng)險(xiǎn)的預(yù)測(cè)，本文從MIMIC Ⅲ數(shù)據(jù)庫(kù)的Patients、Admissions、ICU stays、Chartevents、Labevents、Outputevents、Diagnoses 7 個(gè)表格中提取腦血管疾病的相關(guān)時(shí)序數(shù)據(jù)。首先去除腦血管疾病數(shù)據(jù)中標(biāo)簽缺失、格式和內(nèi)容錯(cuò)誤的記錄，其次去除了在不同ICU 病房之間有轉(zhuǎn)移的記錄和所有患者未滿(mǎn)18 歲的記錄。然后根據(jù)ICU 使用的MEWS 表和Glasgow 昏迷評(píng)分量表從腦血管疾病數(shù)據(jù)中提取了17項(xiàng)生理參數(shù)（格斯拉昏迷量表睜眼反應(yīng)、格斯拉昏迷量表運(yùn)動(dòng)反應(yīng)、格斯拉昏迷量表口頭反應(yīng)、格斯拉昏迷量表總計(jì)、毛細(xì)血管充盈率、舒張壓、吸入氧氣分?jǐn)?shù)、葡萄糖、心率、體溫、血壓、氧飽和度、呼吸率、收縮壓、身高、體重、PH 值）作為研究的特征變量。最終將3 080 位腦血管疾病患者的16 260條記錄用于此次研究，其中每條記錄包含著患者在24小時(shí)后的生理參數(shù)值和對(duì)應(yīng)的風(fēng)險(xiǎn)性（0 代表無(wú)風(fēng)險(xiǎn)，1 代表有風(fēng)險(xiǎn)）。由于數(shù)據(jù)庫(kù)中各類(lèi)型的變量都是以原始值的形式存儲(chǔ)的，所以需要將變量進(jìn)行預(yù)處理，17個(gè)變量的預(yù)處理方法及處理后的數(shù)據(jù)長(zhǎng)度見(jiàn)表1。

表1 特征變量預(yù)處理方法Table 1 Feature variable preprocessing method

3 ICU腦血管死亡風(fēng)險(xiǎn)預(yù)測(cè)模型

3.1 模型介紹

3.1.1 多通道BiLSTM模型

長(zhǎng)短期記憶網(wǎng)絡(luò)（long short-term memory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）中的一種，適合處理信息傳播過(guò)程中間隔和延遲相對(duì)較長(zhǎng)的信息，以提取重要特征，非常適合用于對(duì)時(shí)序數(shù)據(jù)的建模。如果算法模型可以像處理過(guò)去的上下文信息一樣訪(fǎng)問(wèn)未來(lái)的上下文，則它對(duì)具有時(shí)間序列性的醫(yī)學(xué)數(shù)據(jù)具有深遠(yuǎn)的意義。標(biāo)準(zhǔn)LSTM單元用于處理序列數(shù)據(jù)，由于數(shù)據(jù)是按時(shí)間順序處理的，因此它通常會(huì)忽略未來(lái)的上下文信息。雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（bi-directional long short-term memory，BiLSTM）的基本思想是每個(gè)訓(xùn)練序列由前向LSTM 神經(jīng)網(wǎng)絡(luò)層和后向LSTM 神經(jīng)網(wǎng)絡(luò)層組成，工作原理如圖1所示。前向LSTM層從頭到尾編碼選取的特征，后向LSTM層編碼方向相反。因此，BiLSTM在t時(shí)刻的隱含層狀態(tài)Ht是將前向隱含層狀態(tài)與后向隱含層狀態(tài)加權(quán)求和得到的，公式如式（1）～（3）所示：

圖1 BiLSTM工作原理Fig.1 BiLSTM working principle

其中，Ht為Bi-LSTM 神經(jīng)網(wǎng)絡(luò)上層的輸出向量，wt、vt分別代表BiLSTM 隱含層狀態(tài)對(duì)應(yīng)的前向隱含層狀態(tài)和后向隱含層狀態(tài)的權(quán)值，bt代表t時(shí)刻隱含層狀態(tài)對(duì)應(yīng)的偏置。

由于ICU 腦血管數(shù)據(jù)的時(shí)序性，本文引入BiLSTM模型用于實(shí)驗(yàn)研究。在BiLSTM 模型中，本文向前向LSTM 依次輸入{x1,x2,…,xt} ，得到向量{hL1,hL2,…,hLT}，向后向的LSTM依次輸入{xT,…,x3,x2,x1}，得到向量{hR1,hR2,…,hRT}。然后將前向和后向的隱向量進(jìn)行加權(quán)求和得到BiLSTM模型的輸出{H1,H2,…,Ht}。

多通道（Multichannel）最早應(yīng)用于機(jī)器視覺(jué)中的RGB圖像通道，將含有通道的圖像分割成多個(gè)單通道，以便圖像處理，提升圖像特征學(xué)習(xí)能力。由于ICU 腦血管數(shù)據(jù)中的每個(gè)生理參數(shù)都對(duì)死亡風(fēng)險(xiǎn)預(yù)測(cè)具有重要意義，本文引入多通道的概念應(yīng)用到BiLSTM 模型，提出多通道BiLSTM 模型，工作原理如圖2 所示，使用BiLSTM模型獨(dú)立地處理不同的變量。

圖2 特征輸入至多通道BiLSTM模型Fig.2 Feature input to BiLSTM model

3.1.2 基于A(yíng)ttention機(jī)制的BiLSTM模型

2014 年，Mnih 等提出了一種模擬人類(lèi)大腦注意力的模型——Attention機(jī)制，其核心理念是將更多的注意力放在它認(rèn)為重要的東西上，將較少的注意力放在其他部分上，當(dāng)模型輸出時(shí)，有選擇地關(guān)注有關(guān)輸入的相應(yīng)信息。它通過(guò)權(quán)重突出關(guān)鍵輸入，從而優(yōu)化了傳統(tǒng)模型。Attention機(jī)制的方法廣泛應(yīng)用于時(shí)間序列分類(lèi)，包括文本自動(dòng)生成、文本摘要等。Attention機(jī)制打破了傳統(tǒng)的編譯碼結(jié)構(gòu)在編碼和解碼過(guò)程中內(nèi)部依賴(lài)固定長(zhǎng)度向量的限制?；贏(yíng)ttention 機(jī)制的BiLSTM 模型是通過(guò)BiLSTM編碼器保留輸入序列的中間輸出，然后訓(xùn)練一個(gè)模型有選擇地學(xué)習(xí)這些輸入來(lái)實(shí)現(xiàn)的?；贏(yíng)ttention機(jī)制的BiLSTM模型可以解決BiLSTM模型輸入序列較長(zhǎng)時(shí)很難獲得合理的向量表示問(wèn)題，更有利于學(xué)習(xí)每一個(gè)特征，提高分類(lèi)器性能。基于A(yíng)ttention機(jī)制的BiLSTM 模型的工作原理如圖3 所示，公式如式（4）～（6）所示：

圖3 BiLSTM+Attention工作原理Fig.3 BiLSTM+Attention working principle

其中，Ht為Bi-LSTM 神經(jīng)網(wǎng)絡(luò)上層的輸出向量，WW為權(quán)重系數(shù)，bw為偏置系數(shù)，ut為Ht確定的權(quán)值。αt為新隱含層狀態(tài)下各隱含層狀態(tài)比重的加權(quán)系數(shù)。uw是一個(gè)隨機(jī)初始化的注意矩陣，在訓(xùn)練過(guò)程中不斷學(xué)習(xí)。vt是通過(guò)Attention機(jī)制的輸出向量。

3.2 Multichannel-BiLSTMs+Att模型

本文將基于A(yíng)ttention 機(jī)制的BiLSTM 模型與多通道BiLSTM模型進(jìn)行結(jié)合，提出集成的ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)模型Multichannel-BiLSTMs+Attention，以獲得更良好的模型性能，為醫(yī)生判斷ICU腦血管患者生理狀況提供參考，輔助醫(yī)護(hù)人員了解患者病情發(fā)展。Multichannel-BiLSTMs+Attention 模 型 進(jìn) 行ICU 腦 血管死亡風(fēng)險(xiǎn)預(yù)測(cè)過(guò)程如圖4 所示，本文使用多通道BiLSTM 模型獨(dú)立地處理不同的變量，然后將這些BiLSTM 模型的輸出按照患者id 以并集的方式concat（拼接）。再將拼接后的結(jié)果輸入至基于A(yíng)ttention 機(jī)制的BiLSTM 模型，Attention 計(jì)算權(quán)重系數(shù)后，向量vt輸出到全連接層，全連接層由線(xiàn)性整流（Relu）函數(shù)接收處理。由于線(xiàn)性模型的表達(dá)能力不足，采用激活函數(shù)來(lái)添加非線(xiàn)性因素。Relu 函數(shù)是神經(jīng)網(wǎng)絡(luò)中最常用的激活函數(shù)。Relu函數(shù)使部分神經(jīng)元的輸出為0，降低了網(wǎng)絡(luò)的稀疏性和參數(shù)間的依賴(lài)性，減輕了過(guò)擬合的發(fā)生，減少了深度網(wǎng)絡(luò)的訓(xùn)練時(shí)間。加權(quán)后的輸出經(jīng)過(guò)激勵(lì)函數(shù)ReLu 傳播到Dropout 層，Dropout 層在訓(xùn)練和預(yù)測(cè)時(shí)隨機(jī)讓網(wǎng)絡(luò)中某些隱含層節(jié)點(diǎn)不工作，減少了特征個(gè)數(shù)，有效地防止了網(wǎng)絡(luò)過(guò)擬合。最后，通過(guò)sigmoid函數(shù)計(jì)算輸入，并輸出最終結(jié)果。模型輸出0代表無(wú)死亡風(fēng)險(xiǎn)，輸出1代表有死亡風(fēng)險(xiǎn)。

圖4 ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)流程Fig.4 Risk prediction process for cerebrovascular disease death in ICU

4 實(shí)驗(yàn)

4.1 評(píng)價(jià)指標(biāo)

在實(shí)驗(yàn)中，評(píng)價(jià)指標(biāo)可以了解模型的泛化能力，使用同一個(gè)指標(biāo)來(lái)對(duì)比不同模型，從而得知模型的好壞，并且可以通過(guò)這個(gè)指標(biāo)來(lái)逐步優(yōu)化模型。本文在實(shí)驗(yàn)中使用的評(píng)價(jià)指標(biāo)有準(zhǔn)確率（Accuracy，Acc）、靈敏度（Sensitive，Sens）、特異性（Specificity，Spec）、AUC-ROC和AUC-PRC。其中：

（1）Acc 是指在測(cè)試集中正確分類(lèi)的樣本數(shù)NR占總樣本數(shù)N的比率，如式（7）所示：

（2）Sens是指測(cè)試集中真陽(yáng)性（true positive，TP）預(yù)測(cè)數(shù)與真陽(yáng)性和假陰性（false negative，F(xiàn)N）之和的比率，如式（8）所示：

（3）Spec 是指測(cè)試集中真陰性（true negative，TN）預(yù)測(cè)數(shù)與真陰性和假陽(yáng)性（false positive，F(xiàn)P）之和的比率，如式（9）所示：

（4）AUC-ROC表示的是ROC曲線(xiàn)與坐標(biāo)軸圍成的面積，用它來(lái)表示分類(lèi)器的性能，值越接近1 表示分類(lèi)器性能越好。

（5）AUC-PRC 表示的是PRC 曲線(xiàn)與坐標(biāo)軸圍成的面積，橫軸是Recall，縱軸是Precision。Recall越大、Precision 越大表明模型效果越好，此時(shí)PRC 曲線(xiàn)靠近右上角，AUC-PRC值越大，分類(lèi)器性能越好。

4.2 實(shí)驗(yàn)設(shè)置

ICU 腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)研究實(shí)驗(yàn)使用的數(shù)據(jù)是基于MIMIC Ⅲ數(shù)據(jù)庫(kù)提取出的腦血管疾病相關(guān)時(shí)序數(shù)據(jù)。本實(shí)驗(yàn)使用了3 080 個(gè)腦血管疾病患者的16 260 條記錄的常規(guī)測(cè)量數(shù)據(jù)和其對(duì)應(yīng)的風(fēng)險(xiǎn)性（0 代表無(wú)風(fēng)險(xiǎn)，1代表有風(fēng)險(xiǎn)）。實(shí)驗(yàn)將數(shù)據(jù)的13 008（80%）條記錄作為訓(xùn)練集，3 252（20%）條記錄作為測(cè)試集。在實(shí)驗(yàn)中，針對(duì)ICU 腦血管疾病數(shù)據(jù)的時(shí)序性和特殊性，提出了ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)模型Multichannel-BiLSTMs+Attention。實(shí)驗(yàn)中所有模型使用的損失函數(shù)均為二元交叉熵函數(shù)（binary cross entroy loss）。

超參數(shù)是在模型開(kāi)始訓(xùn)練之前所設(shè)置的參數(shù)值，而不是通過(guò)訓(xùn)練后得到的參數(shù)數(shù)據(jù)。通常情況下，需要對(duì)超參數(shù)進(jìn)行優(yōu)化，給模型選擇一組最優(yōu)超參數(shù)，以提高學(xué)習(xí)的性能和效果。為了優(yōu)化參數(shù)達(dá)到分類(lèi)器最好效果，本文做了以下六組超參數(shù)實(shí)驗(yàn)，包括參數(shù)epoch、dropout、batchsize、學(xué)習(xí)率、優(yōu)化器以及激活函數(shù)的相關(guān)對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果如圖5所示。在此基礎(chǔ)上，為了驗(yàn)證文中提出的ICU腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)模型的有效性能，將該模型與其他的四種模型進(jìn)行了比較，包括LSTM、多通道BiLSTM、Logistic 和SVM 模型。實(shí)驗(yàn)結(jié)果如圖6所示。

圖5 超參數(shù)對(duì)實(shí)驗(yàn)結(jié)果的影響Fig.5 Influence of hyperparameters on experimental results

圖6 模型分類(lèi)結(jié)果對(duì)比Fig.6 Comparison of model classification results

4.3 實(shí)驗(yàn)分析

圖5 給出了本文實(shí)驗(yàn)?zāi)Ｐ蛥?shù)最優(yōu)化選取。圖5（a）為epoch參數(shù)對(duì)模型性能的影響，結(jié)果顯示epoch隨著數(shù)量增加，權(quán)重更新迭代的次數(shù)增多，曲線(xiàn)從最開(kāi)始的不擬合狀態(tài)，進(jìn)入優(yōu)化擬合狀態(tài)，最終進(jìn)入過(guò)擬合，epoch 取120 時(shí)，模型精度AUC-ROC 達(dá)最優(yōu)0.943。圖5（b）和圖5（c）分別體現(xiàn)實(shí)驗(yàn)中dropout rate 和batch size參數(shù)最優(yōu)化選取情況，很明顯當(dāng)dropout rate為0.3，batch size 為8 時(shí)，模型達(dá)最優(yōu)性能。圖5（d）為學(xué)習(xí)率learning rate 參數(shù)選取，當(dāng)學(xué)習(xí)率取0.001 時(shí)，目標(biāo)函數(shù)收斂到局部最小值，圖5（e）和圖5（f）表明模型激活函數(shù)和優(yōu)化器的選取情況，實(shí)驗(yàn)表明，模型選取Sigmoid激活函數(shù)，且優(yōu)化器為Adam時(shí)，模型精度最高。

從圖6模型對(duì)比實(shí)驗(yàn)結(jié)果中可以看出，本文提出的集成模型Multichannel-BiLSTMs+Attention 的預(yù)測(cè)結(jié)果表現(xiàn)最優(yōu)，多通道BiLSTM 模型預(yù)測(cè)結(jié)果次之，Logistic模型預(yù)測(cè)結(jié)果表現(xiàn)最差。Multichannel-BiLSTMs+Attention 模型的Acc 值為0.892，AUC-ROC 值為0.943，AUC-PRC 值為0.952，Sens 值為0.863，Spec 值為0.912。在A(yíng)cc 方面比Logistic 模型提高了0.175，比SVM 模型提高了0.138，比LSTM 模型提高了0.111，比多通道BiLSTM 模型提高了0.019。在ROC 方面比Logistic 模型提高了0.218，比SVM 模型提高了0.161，比LSTM 模型提高了0.057，比多通道BiLSTM 模型提高了0.036。在PRC 方面比Logistic 模型提高了0.201，比SVM 模型提高了0.139，比LSTM 模型提高了0.056，比多通道BiLSTM 模型提高了0.031。在Sens 方面比Logistic 模型提高了0.129，比SVM 模型提高了0.105，比LSTM 模型提高了0.007，比多通道BiLSTM 模型提高了0.045。在Spec 方面比Logistic 模型提高了0.207，比SVM 模型提高了0.161，比LSTM 模型提高了0.184，比多通道BiLSTM模型提高了0.039。

Multichannel-BiLSTMs+Attention模型比Logistic模型和SVM 模型的預(yù)測(cè)效果好，是因?yàn)镸ultichannel-BiLSTMs+Attention 模型考慮了數(shù)據(jù)的時(shí)序性，多通道BiLSTM 模型結(jié)合基于A(yíng)ttention 機(jī)制的BiLSTM 模型的集成模型方式解決了輸入序列較長(zhǎng)時(shí)很難獲得合理的向量表示的問(wèn)題，加強(qiáng)了模型對(duì)特征的學(xué)習(xí)能力，比Logistic 模型和SVM 模型更好地解決了數(shù)據(jù)的高維性和數(shù)據(jù)的時(shí)序性帶來(lái)的問(wèn)題。Multichannel-BiLSTMs+Attention 模型比LSTM 模型的預(yù)測(cè)效果好，是因?yàn)镸ultichannel-BiLSTMs+Attention 模型中每個(gè)特征學(xué)習(xí)模塊的信道方向都是雙向的且使用了多通道的BiLSTM模型，它有助于在將單個(gè)變量的數(shù)據(jù)與其他變量的數(shù)據(jù)混合之前對(duì)其進(jìn)行預(yù)處理。通過(guò)多通道的方式，模型可以學(xué)習(xí)存儲(chǔ)一些只與特定變量相關(guān)的有用信息。Multichannel-BiLSTMs+Attention模型比多通道BiLSTM模型預(yù)測(cè)效果好，是因?yàn)镸ultichannel-BiLSTMs+Attention 模型將基于A(yíng)ttention 機(jī)制的BiLSTM 模型與多通道BiLSTM 模型進(jìn)行結(jié)合，Attention 機(jī)制打破了傳統(tǒng)的編譯碼結(jié)構(gòu)在編碼和解碼過(guò)程中內(nèi)部依賴(lài)固定長(zhǎng)度向量的限制?；贏(yíng)ttention 機(jī)制的BiLSTM 模型是通過(guò)BiLSTM 編碼器保留輸入序列的中間輸出，然后訓(xùn)練一個(gè)模型有選擇地學(xué)習(xí)這些輸入來(lái)實(shí)現(xiàn)的，可以解決BiLSTM 模型輸入序列較長(zhǎng)時(shí)很難獲得合理的向量表示問(wèn)題，更有利于學(xué)習(xí)每一個(gè)特征，提高分類(lèi)器性能。綜上，本文提出的Multichannel-BiLSTMs+Attention 模型在ICU 腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)中具有更良好的預(yù)測(cè)性能。并且，醫(yī)學(xué)數(shù)據(jù)時(shí)序性較強(qiáng)、生理參數(shù)較多的研究均適用于由多通道BiLSTM模型和基于A(yíng)ttention 機(jī)制的BiLSTM 模型的集成模型Multichannel-BiLSTMs+Attention，該研究為醫(yī)學(xué)ICU 風(fēng)險(xiǎn)預(yù)測(cè)提供了新的思路。

5 結(jié)束語(yǔ)

本文提出了一個(gè)ICU 腦血管疾病死亡風(fēng)險(xiǎn)預(yù)測(cè)模型Multichannel-BiLSTMs+Attention，實(shí)驗(yàn)數(shù)據(jù)來(lái)自MIMIC Ⅲ數(shù)據(jù)庫(kù)，重點(diǎn)對(duì)提取的3 080 位腦血管疾病患者的16 260條記錄進(jìn)行分析建模，實(shí)驗(yàn)表明模型預(yù)測(cè)精度AUC-ROC值達(dá)到94.3%。該研究可輔助醫(yī)生用于ICU病患死亡風(fēng)險(xiǎn)預(yù)測(cè)，為及時(shí)干預(yù)和防治腦血管疾病患者病情惡化提供參考。研究發(fā)現(xiàn)，在對(duì)醫(yī)學(xué)中時(shí)序性較強(qiáng)、參數(shù)較多的醫(yī)學(xué)數(shù)據(jù)進(jìn)行分析建模時(shí)，多通道BiLSTM模型和Attention機(jī)制的結(jié)合，將有效提高模型精度。