高佳奕，楊濤，董海艷，史話躍，胡孔法

1.南京中醫(yī)藥大學(xué)人工智能與信息技術(shù)學(xué)院，江蘇 南京 210023； 2.南京中醫(yī)藥大學(xué)中醫(yī)學(xué)院，江蘇 南京 210023

中醫(yī)醫(yī)案是中醫(yī)臨床診療的記錄，是中醫(yī)師辨證論治、察明證素的基礎(chǔ)，是中醫(yī)文化的重要傳承紐帶。個(gè)體化的專家表達(dá)與非結(jié)構(gòu)化的中醫(yī)癥狀，使得從復(fù)雜醫(yī)案中抽取有效信息具有挑戰(zhàn)性。中醫(yī)臨床信息抽取是從海量臨床數(shù)據(jù)中抽取關(guān)鍵信息的過(guò)程[1]，涉及癥狀、診斷、治法、方藥等信息，其中又以癥狀抽取最為復(fù)雜。有效的信息抽取是挖掘中醫(yī)辨證規(guī)律、探尋疾病機(jī)理的重要基礎(chǔ)。近年來(lái)，隨著對(duì)詞嵌入模式的改進(jìn)，神經(jīng)網(wǎng)絡(luò)在信息抽取領(lǐng)域取得較大進(jìn)展，在部分任務(wù)中的表現(xiàn)超過(guò)傳統(tǒng)的統(tǒng)計(jì)學(xué)習(xí)方法。Huang等[2]提出雙向長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)與條件隨機(jī)場(chǎng)（long short term memory network-conditional random fields，LSTM-CRF）混合模型，減少模型對(duì)詞嵌入的依賴，極大提高了模型的穩(wěn)健性。李明浩等[3]針對(duì)中醫(yī)醫(yī)案臨床癥狀術(shù)語(yǔ)構(gòu)建LSTM-CRF模型，根據(jù)常見(jiàn)癥狀的組成要素制定額外的字符級(jí)別特征，識(shí)別的F1值最高達(dá)78%。上述研究為中醫(yī)臨床文本醫(yī)案自動(dòng)化分析和處理，尤其是癥狀識(shí)別和抽取帶來(lái)了新的契機(jī)。鑒于此，本研究嘗試將LSTM-CRF模型應(yīng)用于中醫(yī)醫(yī)案的命名實(shí)體抽取，設(shè)計(jì)多種癥狀命名實(shí)體抽取模型，并在中醫(yī)肺癌數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，分析比較各方法的優(yōu)劣，為實(shí)現(xiàn)中醫(yī)臨床信息的自動(dòng)化抽取提供方法學(xué)參考。

1 資料與方法

1.1 數(shù)據(jù)來(lái)源

數(shù)據(jù)來(lái)自國(guó)醫(yī)大師周仲瑛工作室，為1986年7月10日－2014年12月3日周仲瑛教授治療肺癌的醫(yī)案。

1.2 篩選標(biāo)準(zhǔn)

納入標(biāo)準(zhǔn)：①醫(yī)案明確記載診斷為肺癌；②患者就診時(shí)主訴以肺癌為主；③數(shù)據(jù)完整，至少包含臨床表現(xiàn)、病機(jī)分析和治法、用藥內(nèi)容。

排除標(biāo)準(zhǔn)：①非原發(fā)性肺癌，如復(fù)發(fā)癌或轉(zhuǎn)移性腫瘤；②醫(yī)案記錄存在明確錯(cuò)誤或缺失。

1.3 數(shù)據(jù)預(yù)處理

根據(jù)篩選標(biāo)準(zhǔn)篩選到1000份高質(zhì)量醫(yī)案，圍繞病史進(jìn)行癥狀命名實(shí)體識(shí)別?？紤]到中醫(yī)醫(yī)案中的描述包括“咳嗽”等癥狀特征、“胸、背”等部位特征、“稍有”等程度特征，醫(yī)者據(jù)此進(jìn)行辨證論治，本研究根據(jù)如上的實(shí)體特征，將單條醫(yī)案劃分為癥狀（名）、（癥狀）程度、（癥狀發(fā)生）部位3類不同標(biāo)簽，與疾病無(wú)關(guān)的信息劃分為非命名實(shí)體組成部分。標(biāo)簽具體特征見(jiàn)表1。

表1 醫(yī)案標(biāo)簽對(duì)應(yīng)部分特征

癥狀詞、程度詞、部位詞依次記為ZZ、CD、BW，非命名實(shí)體組成部分記為O。利用BIO三元集的標(biāo)注方法進(jìn)行標(biāo)注，具體方法見(jiàn)表2。如某份原始病案可標(biāo)注為“近O來(lái)O左B-BW胸I-BW脅I-BW肋I-BW隱B-ZZ痛I-ZZ，咳B-ZZ嗽I-ZZ深O呼O吸O有O影O響O，行O走O講O話O氣B-ZZ短I-ZZ，疲B-ZZ勞I-ZZ乏I-ZZ力I-ZZ，咳B-ZZ嗽I-ZZ不B-CD多I-CD，煩B-ZZ躁I-ZZ，咽B-BW后I-BW壁I-BW有O痰B-ZZ黏I-ZZ不I-ZZ爽I-ZZ?！?/p>

表2 命名實(shí)體標(biāo)注方法

本研究利用爬蟲獲取中國(guó)知識(shí)資源總庫(kù)（CNKI）與中醫(yī)主題相關(guān)的100條文本摘要，結(jié)合已標(biāo)注的1000份中醫(yī)臨床肺癌醫(yī)案，利用Python中Gensim庫(kù)，通過(guò)基于Skip-Gram方法的Word2Vec模型生成維度為100的字向量集，以此作為預(yù)訓(xùn)練的字嵌入。為驗(yàn)證生成字嵌入的可靠性，本文以“咳”字為例，選取與之相關(guān)度較高的字向量，結(jié)果見(jiàn)圖1?？梢钥闯鲈~嵌入結(jié)果符合先驗(yàn)知識(shí)。

圖1 “咳”字的字嵌入相關(guān)性分析

1.4 中醫(yī)癥狀命名實(shí)體識(shí)別模型構(gòu)建

長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（long short term memory network，LSTM）模型通過(guò)門限機(jī)制（即輸入門、輸出門和遺忘門）對(duì)輸入序列進(jìn)行有效的過(guò)濾和保存[4-5]，實(shí)現(xiàn)對(duì)特定實(shí)體的長(zhǎng)期記憶，解決了傳統(tǒng)識(shí)別任務(wù)中的梯度消失和梯度爆炸現(xiàn)象。因此，本研究采用LSTM層作為特征提取層，抽取出中醫(yī)醫(yī)案實(shí)體的抽象特征。條件隨機(jī)場(chǎng)（conditional random fields，CRF）是用來(lái)標(biāo)注和劃分序列結(jié)構(gòu)數(shù)據(jù)的概率化結(jié)構(gòu)模型[6]，可以在句子級(jí)別上實(shí)現(xiàn)個(gè)體標(biāo)簽的預(yù)測(cè)，有效避免標(biāo)注的句子存在非法語(yǔ)義?？紤]到各個(gè)標(biāo)簽表現(xiàn)出較強(qiáng)的語(yǔ)法約束，如病位的起始詞后不應(yīng)接程度的中間詞，本研究選擇CRF層作為輸出標(biāo)注層，根據(jù)LSTM層輸出學(xué)習(xí)醫(yī)案的語(yǔ)法規(guī)則，在可行的標(biāo)注路徑中找到最優(yōu)路徑，進(jìn)而實(shí)現(xiàn)相應(yīng)實(shí)體的合理標(biāo)注。LSTM-CRF模型結(jié)構(gòu)圖見(jiàn)圖2。

圖2 LSTM-CRF模型結(jié)構(gòu)圖

模型具體實(shí)現(xiàn)步驟：①根據(jù)中醫(yī)醫(yī)案的術(shù)語(yǔ)特點(diǎn)，結(jié)合中醫(yī)醫(yī)案與CNKI中醫(yī)詞條相關(guān)的文本摘要，獲得維度為100的字向量表示。②構(gòu)建LSTM層，結(jié)合預(yù)訓(xùn)練的字向量，抽取出中醫(yī)醫(yī)案的上下文抽象特征，計(jì)算序列與標(biāo)簽的概率分布矩陣。③應(yīng)用CRF層學(xué)習(xí)序列與標(biāo)簽、標(biāo)簽與標(biāo)簽之間的潛在關(guān)系，在句子級(jí)別上排除不符合語(yǔ)法規(guī)則的標(biāo)注序列。④通過(guò)多分類評(píng)價(jià)指標(biāo)對(duì)模型結(jié)果進(jìn)行評(píng)價(jià)。LSTM層的實(shí)現(xiàn)步驟如下。

輸入：預(yù)訓(xùn)練的字嵌入。

輸出：輸入序列與對(duì)應(yīng)標(biāo)簽的概率分布矩陣P。

步驟1：根據(jù)輸入序列x中的字符，將預(yù)訓(xùn)練生成的對(duì)應(yīng)字向量送入LSTM（前向）的輸入層中。

步驟2：更新當(dāng)前LSTM網(wǎng)絡(luò)中所在單元的狀態(tài)。

步驟3：將序列輸入LSTM（后向）中，重復(fù)上述過(guò)程。將2次遍歷的隱藏層序列拼接得到與上下文相關(guān)的字向量表示。

有學(xué)者通過(guò)改變LSTM的內(nèi)部結(jié)構(gòu)，設(shè)計(jì)出帶有peephole connection機(jī)制[7]與門控循環(huán)單元（gated recurrent unit，GRU）[8]的LSTM變體，極大簡(jiǎn)化其復(fù)雜的門限機(jī)制。本研究參照上述建模步驟，選取傳統(tǒng)的循環(huán)神經(jīng)網(wǎng)絡(luò)（recurrent neural network，RNN）模型作為基線實(shí)驗(yàn)，LSTM、GRU、雙向LSTM（BiLSTM）與帶有Peephole機(jī)制的BiLSTM（BiLSTM with Peephole）作為對(duì)比實(shí)驗(yàn)，比較分析不同模型的實(shí)體識(shí)別效果。

1.5 超參數(shù)設(shè)置

基于Tensorflow框架構(gòu)建中醫(yī)醫(yī)案的LSTM-CRF模型，部分參數(shù)設(shè)置：全局學(xué)習(xí)率（learning_rate）為0.001，最大訓(xùn)練輪數(shù)（max_epoch）為100，訓(xùn)練語(yǔ)料的句子最大長(zhǎng)度（max_length）不超過(guò)100個(gè)字符，選擇優(yōu)化器為Adam。為防止梯度爆炸和過(guò)度擬合現(xiàn)象，設(shè)置梯度截?cái)鄥?shù)（gradient clip）為5，隨機(jī)失活參數(shù)（dropout）為0.5。以上參數(shù)設(shè)置均為實(shí)驗(yàn)過(guò)程中調(diào)參的最優(yōu)結(jié)果。此外，為提高LSTM-CRF模型的泛化能力，避免序列的輸入順序?qū)?shù)學(xué)習(xí)造成影響，每輪訓(xùn)練前預(yù)先對(duì)輸入數(shù)據(jù)進(jìn)行Shuffle。

1.6 模型評(píng)價(jià)參數(shù)

本研究使用準(zhǔn)確率（precision，P）、召回率（recall，R）和F1-測(cè)度值（F1-measure，F(xiàn)1）3個(gè)指標(biāo)，評(píng)估LSTM-CRF模型在中醫(yī)醫(yī)案信息抽取任務(wù)中的性能。將真實(shí)類別與計(jì)算機(jī)預(yù)測(cè)類別相互組合，分別記為真正例（true positive，TP）、假正例（false positive，F(xiàn)P）、真反例（true negative，TN）與假反例（false negative，F(xiàn)N），則P＝TP/（TP＋FP）×100%，R＝TP/（TP＋FN）×100%，F(xiàn)1＝2×P×R/（P＋R）。

2 結(jié)果

將1000份肺癌醫(yī)案劃分為訓(xùn)練集800份和測(cè)試集200份，采用經(jīng)典的留出法進(jìn)行模型評(píng)估。設(shè)置隨機(jī)種子為1～10，取10次測(cè)試結(jié)果的平均值作為最終評(píng)估值。實(shí)驗(yàn)結(jié)果排除非命名實(shí)體組成部分，分別觀察LSTM及其變體對(duì)癥狀、程度、部位實(shí)體的識(shí)別情況（各變體均默認(rèn)后接CRF層進(jìn)行序列標(biāo)注）。結(jié)果顯示，各變體均對(duì)癥狀詞的識(shí)別精度最高，對(duì)部位詞的識(shí)別精度最低。與RNN相比，帶有Peephole機(jī)制的BiLSTM識(shí)別效果最好，F(xiàn)1值最高達(dá)84.23%，3類標(biāo)簽F1值分別高于基線模型RNN 6.76%、10.89%、14.94%，見(jiàn)表3。

同時(shí)，與傳統(tǒng)的CRF相比，BiLSTM-CRF模型對(duì)程度和部位的識(shí)別能力均有提升，分別為5.71%和2.45%，但對(duì)癥狀的識(shí)別能力低于CRF（見(jiàn)表4）。

進(jìn)一步探究嵌入粒度對(duì)實(shí)驗(yàn)結(jié)果的影響，將預(yù)訓(xùn)練的詞嵌入（WE）作為基線，結(jié)果未經(jīng)過(guò)預(yù)訓(xùn)練、直接根據(jù)輸入語(yǔ)料隨機(jī)初始化字嵌入（RE）識(shí)別效果略優(yōu)，采用預(yù)訓(xùn)練的字嵌入（CE）識(shí)別效果最好，3類標(biāo)簽分別高于基線0.42%、1.35%、1.98%，見(jiàn)表5。

表3 中醫(yī)醫(yī)案癥狀命名實(shí)體在不同模型中的識(shí)別結(jié)果比較（±s）

表3 中醫(yī)醫(yī)案癥狀命名實(shí)體在不同模型中的識(shí)別結(jié)果比較（±s）

注：*該行最大值

標(biāo)簽 指標(biāo) RNN LSTM GRU BiLSTM BiLSTM with Peephole ZZ P 0.786 5±0.106 2 0.798 0±0.029 8 0.805 7±0.025 3 0.838 5±0.029 3 0.844 6±0.022 7 R 0.791 7±0.021 6 0.792 0±0.018 9 0.796 6±0.024 6 0.840 1±0.030 9 0.840 2±0.019 2 F1 0.789 0±0.023 4 0.794 9±0.022 4 0.801 1±0.024 1 0.839 1±0.027 5 0.842 3±0.019 4* CD P 0.774 8±0.043 8 0.784 1±0.021 2 0.789 1±0.048 1 0.816 2±0.062 7 0.813 5±0.028 0 R 0.713 8±0.050 9 0.738 7±0.059 3 0.749 0±0.045 7 0.822 8±0.028 1 0.833 4±0.045 6 F1 0.742 0±0.042 4 0.759 8±0.037 9 0.768 0±0.038 9 0.818 7±0.042 2 0.822 8±0.032 7* BW P 0.719 9±0.028 7 0.723 3±0.101 6 0.715 6±0.078 1 0.739 5±0.091 9 0.766 3±0.082 7 R 0.588 6±0.021 6 0.623 4±0.109 5 0.605 9±0.088 3 0.714 4±0.092 4 0.720 6±0.078 7 F1 0.644 2±0.023 4 0.661 3±0.080 6 0.651 9±0.067 2 0.720 9±0.070 7 0.740 5±0.068 2*

表4 CRF與BiLSTM-CRF識(shí)別效果（R）比較（±s）

表4 CRF與BiLSTM-CRF識(shí)別效果（R）比較（±s）

模型 ZZ CD BW CRF 0.871 2±0.014 5 0.788 4±0.032 5 0.703 4±0.049 1 BiLSTM-CRF 0.840 2±0.019 2 0.833 4±0.045 6 0.720 6±0.078 7

表5 中醫(yī)醫(yī)案癥狀命名實(shí)體在不同嵌入粒度下的識(shí)別結(jié)果比較（±s）

表5 中醫(yī)醫(yī)案癥狀命名實(shí)體在不同嵌入粒度下的識(shí)別結(jié)果比較（±s）

注：*該行最大值

標(biāo)簽 指標(biāo) WE RE CE ZZ P 0.835 6±0.028 5 0.837 6±0.023 7 0.844 6±0.022 7 R 0.842 1±0.023 3 0.841 9±0.021 8 0.840 2±0.019 2 F1 0.838 7±0.024 9 0.839 6±0.019 6 0.842 3±0.019 4*CD P 0.836 5±0.047 1 0.829 0±0.047 8 0.813 5±0.028 0 R 0.792 9±0.053 6 0.810 5±0.043 3 0.833 4±0.045 6 F1 0.811 8±0.046 3 0.818 3±0.032 1 0.822 8±0.032 7*BW P 0.786 8±0.080 4 0.774 0±0.080 2 0.766 3±0.082 7 R 0.696 2±0.084 1 0.709 7±0.071 6 0.720 6±0.078 7 F1 0.726 1±0.067 9 0.737 8±0.063 9 0.740 5±0.068 2*

3 討論

本研究應(yīng)用LSTM-CRF模型進(jìn)行中醫(yī)臨床癥狀命名實(shí)體識(shí)別，對(duì)肺癌中醫(yī)臨床數(shù)據(jù)進(jìn)行實(shí)驗(yàn)。從整體結(jié)果分析，模型對(duì)癥狀詞的識(shí)別效果最好，其評(píng)價(jià)指標(biāo)P、R、F1值分別為0.844 6±0.022 7、0.840 2±0.019 2、0.842 3±0.019 4；對(duì)部位詞的識(shí)別效果最差，P、R、F1值分別為0.766 3±0.082 7、0.720 6±0.078 7、0.740 5±0.068 2?？紤]為部位詞的樣本數(shù)較少（共2501處）而癥狀詞的樣本數(shù)較多（共計(jì)184 649處），訓(xùn)練過(guò)程中網(wǎng)絡(luò)學(xué)習(xí)到部位詞的類別特征不明顯，影響了識(shí)別精度。

從LSTM及其各變體的識(shí)別結(jié)果分析，LSTM利用門限機(jī)制和內(nèi)部的細(xì)胞狀態(tài)較好地實(shí)現(xiàn)了對(duì)信息的更新與長(zhǎng)時(shí)積累，使3個(gè)標(biāo)簽的F1值均優(yōu)于傳統(tǒng)的RNN；GRU得益于其較為簡(jiǎn)單的門控機(jī)制與較少的訓(xùn)練參數(shù)，整體識(shí)別效果略高于LSTM；BiLSTM在LSTM的基礎(chǔ)上對(duì)輸入序列進(jìn)行了額外的反向?qū)W習(xí)，使其對(duì)輸入序列的部分語(yǔ)法規(guī)則（如“I-CD”標(biāo)簽前不可能出現(xiàn)“B-ZZ”標(biāo)簽等）學(xué)習(xí)更加準(zhǔn)確，加強(qiáng)了對(duì)上下文所攜帶信息的記憶，癥狀、程度、部位3類標(biāo)簽的F1值分別高于LSTM 5.78%、7.53%、8.61%；帶有Peephole機(jī)制的BiLSTM識(shí)別效果最好，3類標(biāo)簽的F1值分別高于LSTM 5.96%、8.29%、11.98%。

對(duì)BiLSTM-CRF與CRF的識(shí)別效果進(jìn)行比較分析，發(fā)現(xiàn)BiLSTM有效提高了CRF在程度詞與部位詞識(shí)別上的召回能力。由于部位詞與程度詞的標(biāo)簽數(shù)目較少，且在實(shí)際標(biāo)注過(guò)程中二者常分散存在于癥狀詞中，常與癥狀詞相混淆，人工編寫的特征模板難以識(shí)別，同時(shí)，部位詞和程度詞的表述相對(duì)靈活，重現(xiàn)性差，如形容程度較輕有“偶”“稍”“稍有”“少”“微微有”“不多”“有時(shí)”等多種表達(dá)方式，部位常與多個(gè)方位詞連用，如“右脅”“胸脅”“脅部”等，CRF的特征模板具有一定局限性，只能在有限窗口內(nèi)進(jìn)行提取，無(wú)法根據(jù)具體語(yǔ)義進(jìn)行靈活識(shí)別，而BiLSTM摒棄傳統(tǒng)特征模板，對(duì)學(xué)習(xí)內(nèi)容具有長(zhǎng)時(shí)記憶，加強(qiáng)了各窗口之間聯(lián)系。針對(duì)癥狀詞，CRF的識(shí)別效果略優(yōu)于BiLSTM，這是由于中醫(yī)病案中癥狀名多為雙字或四字成詞，如“咳嗽”“咯痰”“疲勞乏力”，且樣本數(shù)較多，特征明顯，獨(dú)立性強(qiáng)，不太依賴長(zhǎng)遠(yuǎn)信息，用人工標(biāo)注的模板即可學(xué)習(xí)到這些特征，BiLSTM額外的復(fù)雜性給癥狀詞識(shí)別帶來(lái)干擾。

對(duì)不同的嵌入粒度進(jìn)行深入探究，發(fā)現(xiàn)隨機(jī)初始化字嵌入方法的識(shí)別效果略優(yōu)于預(yù)訓(xùn)練后的詞嵌入方法?？紤]為中醫(yī)醫(yī)案多為白話夾雜部分文言的敘述方式，現(xiàn)有的詞嵌入生成工具對(duì)未能識(shí)別的詞按字切分，如“納可”被切分為“納可”，中醫(yī)術(shù)語(yǔ)常存在一字多義情況，如“二便”往往被切分為“二便”，導(dǎo)致生成的詞向量語(yǔ)義與醫(yī)案中詞語(yǔ)的實(shí)際語(yǔ)義差別較大，使按字嵌入的效果優(yōu)于按詞嵌入，與文獻(xiàn)[3]研究結(jié)果一致。預(yù)訓(xùn)練的字嵌入方法識(shí)別效果最好，這是因?yàn)殡S機(jī)初始化方式僅局限于字在當(dāng)前訓(xùn)練集中的上下文信息，而預(yù)訓(xùn)練方式包含字在全局范圍內(nèi)的上下文信息，有效提高了模型的語(yǔ)義信息量。

中醫(yī)醫(yī)案是古今醫(yī)家通過(guò)不斷實(shí)踐總結(jié)的寶貴經(jīng)驗(yàn)，在傳承及指導(dǎo)臨床等方面具有舉足輕重作用。本研究構(gòu)建了基于LSTM-CRF的中醫(yī)醫(yī)案癥狀命名實(shí)體抽取模型，并就不同變體算法與嵌入粒度等進(jìn)行了測(cè)評(píng)，結(jié)果顯示基于字嵌入并帶有Peephole機(jī)制的雙向LSTM識(shí)別效果較好。但本研究采用的數(shù)據(jù)集樣本量較小，數(shù)據(jù)集標(biāo)簽類別分布不均衡，癥狀術(shù)語(yǔ)未進(jìn)行統(tǒng)一規(guī)范，存在實(shí)體間相互包含與混淆等問(wèn)題。今后研究將進(jìn)一步增加樣本量，設(shè)計(jì)更為精細(xì)的標(biāo)簽?zāi)Ｊ?，從而提高模型的識(shí)別效果。