吳磊，李舒

?

中醫(yī)方劑數據庫文本挖掘數據預處理的嘗試

吳磊1，李舒2

1.遼寧中醫(yī)藥大學信息工程學院，遼寧 沈陽 110847；2.中國醫(yī)科大學醫(yī)學信息學系，遼寧 沈陽 110001

目的 針對中醫(yī)方劑數據挖掘需要提出一套以數據清洗為主的數據預處理方法，使數據規(guī)范、準確和有序，利于后續(xù)處理。方法 通過檢索技術，在方劑數據庫中獲取文本數據源，將非規(guī)范化的數據通過輔助詞群行處理、正則表達式替換、異名處理等步驟進行清洗，改進數據質量。結果 在中國方劑數據庫共檢索到1758條記錄，在方劑現代應用數據庫共檢索到91條記錄。源文本數據經預處理后共得到有效記錄6913味藥，可成功導入相關信息挖掘系統進行方劑名稱和中藥名詞的信息抽取。結論 本方法適用于基于中醫(yī)方劑數據庫的文本挖掘和知識發(fā)現，可成功對源文本數據實施清洗，得到標準統一、無噪聲的數據，實現所需方藥信息的有效抽取，可為中醫(yī)方劑文本型數據信息分析與挖掘研究提供有益的借鑒。

中醫(yī)方劑；方劑數據庫；文本挖掘；數據預處理；數據清洗

近年來中醫(yī)藥信息化發(fā)展迅速，已構建及完善了大量的中醫(yī)方劑數據庫，中醫(yī)方劑數據挖掘和文本挖掘方興未艾。雖然方劑數據庫是經過一定校對勘誤后的結構化數據庫，但庫中原始數據通常因年代跨度大，并保留了不同時期原方的信息特點，對方劑、藥物信息的表述準確性及規(guī)范統一方面存在一些問題，存在錯誤的、冗余的、無效的和不一致的噪聲數據。因而直接抽取原生信息無法滿足數據挖掘和知識發(fā)現的具體要求，需要對數據進行必要的預處理，使之規(guī)范、準確和有序，實現數據的正確表達和合理組織，達到數據挖掘的基本條件。

數據預處理是數據挖掘中極為重要的方面。數據挖掘過程的大部分工作都在數據預處理環(huán)節(jié)。根據統計，在一個完整的數據挖掘過程中，數據預處理占用約60%的時間，而后的挖掘工作僅占總工作量的10%左右[1]。數據清洗（data cleaning）是解決問題數據的主要預處理過程，對確保數據質量具有重要作用。本文以中醫(yī)治療中風病方劑數據挖掘為例，探討一種以數據清洗為主的數據預處理方法，為后續(xù)配伍規(guī)律知識發(fā)現研究提供數據支持。

1 資料與方法

1.1 數據來源

由于本研究主要針對方劑名稱和藥物名稱進行預處理，因此選用了兩個具備方劑和藥物名稱的數據庫，即中國方劑數據庫和方劑現代應用數據庫，均隸屬于中國中醫(yī)科學院中醫(yī)藥信息研究所自1984年開始進行建設的中醫(yī)藥學大型數據庫群。

在中醫(yī)藥在線（http://www.cintcm.com/）的中醫(yī)藥多庫融合平臺（http://cowork.cintcm.com/ engine/windex.jsp）中，選擇方劑類數據庫中的中國方劑數據庫和方劑現代應用數據庫，字段選擇均用“主治”，模糊檢索，輸入“中風”，年代不限，檢索時間為2013年11月27日。

1.2 研究方法與工具

1.2.1 基于輔助詞群的行處理工具 文本行抽取和處理是文本數據預處理中的常用方法，而基于輔助詞群的方法可有效提升其靈活度。該方法是基于預先建立的包含輔助詞群的輔助文件，可對源文件實現抽取或去除包含輔助文件中詞群的行輸出；并可按給定的批量行號提取行。

本研究中的行處理由數字人文研究-內容挖掘系統ROST CM實現。

1.2.2 正則表達式文本處理工具 正則表達式是一種可以用于模式匹配和替換的規(guī)范，一個正則表達式就是由普通的字符以及特殊字符組成的文字模式，它用以描述在查找文字主體時待匹配的一個或多個字符串[2]。在很多文本編輯器或其他工具里，正則表達式通常被用來檢索和/或替換那些符合某個模式的文本內容。

正則表達式可用來驗證字符串是否符合指定特征并用來查找字符串，比查找固定字符串更加靈活方便；可以用來替換，比普通的替換更強大。例如表達式“ab+”描述的特征是一個“a”和任意個“b”，那么“ab”“abb”“abbbbbbbbbb”都符合這個特征。

本研究中的正則表達式處理由文本處理工具Textpro實現。

1.3 納入和排除標準

納入標準：以方劑主治病證中明確出現中風、半身不遂、偏枯、癱瘓、神識昏蒙、言語蹇澀或不語、口眼歪斜及其同義詞或近義詞為主癥，篩選出主治這些主癥的方劑或其主治內容所包含的信息與已知的中風病病因病機符合的方劑。

排除標準：排除方劑所治癥狀可明確為其他因素（非中風）所引起的偏枯、偏癱、口眼歪斜等，無主癥或主癥不符合，及屬于治療外感表證和類中風（中寒、中暑、中濕、痰厥等致半身不遂、偏枯癱瘓）的中風方劑，如風痹；外風、風濕/類風濕型產后中風、小兒中風；風寒/傷寒中風，破傷中風，心肺中風，脾胃中風，肝臟中風，中毒等。

2 結果與分析

中國方劑數據庫共檢索到1758條記錄，在方劑現代應用數據庫共檢索到91條記錄。以“一般模板”進行套錄，保存為HTML格式；再將源文件的HTML格式轉為ANSI編碼的TXT格式；最后來自兩個數據庫的兩組文本合并。之后經標準過濾并整理去重后，共得到有效記錄648條，重新編號后形成待處理源文本，其中取自中國方劑數據庫1號源文件的部分文本數據如圖1所示。

2.1 基于輔助詞群的文本行處理

為提取源數據中主要關注的方藥信息，使用ROST CM的基于輔助詞群的行抽取與處理方法對信息進行清理，“方名”和“藥物組成”兩字段除外。輔助詞群設置為[別名][處方來源][劑型][功效][加減][主治][制備方法][用法用量][用藥禁忌][用法用量][各家論述][臨床應用][備注][藥理作用]。經過文本行處理后，源文件內容轉為如下形式，如圖2所示。

2.2 基于正則表達式的文本處理

本研究中，因特殊制法和劑量信息暫不考慮，這些信息需要被屏蔽。文本源數據的特殊制法部分都采用了中文括號表示，故使用正則表達式替換操作，表達式設置為“（[^）]*）”（意為從一個開括號到最近的閉括號）。該操作在支持REGEX的Textpro工具中進行，如圖3所示。

如“何首烏1斤（赤、白色者各半，米泔浸3宿取出，用竹刀刮去皮，薄切，焙干）”，處理完形后，為“何首烏1斤(p)”。

對于劑量信息，首先刪除藥名后的“等”和“各等分”字符，如“川芎等”、“當歸各等分”，去掉后為“川芎”“當歸”；再使用自定義替換功能將中文劑量字符統一轉換為數字字符，如將“半兩”轉為“0.5兩”；最后再清除劑量和制法信息。具體做法為：使用正則表達式“d[^;]*;”（意為從一個數字字符到最近的英文分號），將其替換為英文分號，可將劑量信息去除。

圖1 中國方劑數據庫1號源文件的部分文本數據

圖2 文本行處理后結果

圖3 正則表達式處理

2.3 藥物名稱不一致處理

源文本中的“藥物組成”字段為長文本類型，包括各種中草藥的名稱，是非規(guī)范化的數據，存在不一致問題。中藥品種眾多，名稱復雜，因時代、地域不同而有別，常根據藥物的形態(tài)、產地、顏色、功效等特征來命名。因此源文本數據中同藥異名、同名異藥的現象十分普遍。例如僵蠶處方名有天蟲、僵蟲、白僵蟲等多種名稱，但均實屬同一藥物，應都規(guī)范為僵蠶。

本研究的中藥異名問題，主要參考《中藥學》[3]教材及《中藥大辭典》[4]進行規(guī)范化處理。原則上將長名轉為短名，如：明天麻轉為天麻，甘菊花轉為菊花等，如反之，則會出現如“甘甘菊花”的無效結果；但有些藥確要將短名化長名，則需確認源文本中藥名前后皆以英文分號結尾（無劑量等信息）：如將“芎”化為“川芎”，“白附”化為“白附子”。

依據參考書建立藥名轉換規(guī)范對照表，使用Textpro的自定義替換功能載入該表，對源文本數據批量處理，規(guī)范化藥名，如表1所示。

表1 Textpro載入的藥名轉換規(guī)范（部分）

對于“芎?”這類特殊字符構成形式，在部分系統處理完畢后出現未能匹配成功替換情況，可使用單獨替換功能重新處理一遍。

此外，源數據中某些藥物與現代中藥存在差別，有一些藥名≥2個中藥合并起來的簡稱，為了統一藥名，需要將其拆分開來，如將蒼白術拆分為蒼術、白術。

源文本數據經預處理后共得到有效記錄6913味藥，部分結果如圖4所示。

圖4 源文本數據預處理后結果

本研究表明，該預處理方法可成功地對源文本數據實施清洗，得到標準統一、無噪聲的數據，因此是有效的。結果數據可導入書目信息共現挖掘系統（BICOMB）[5]進行方劑名稱和中藥名詞的信息抽取，為進一步進行知識發(fā)現提供了有力的數據支撐。

3 小結

數據清洗就是通過各種措施，從準確性、一致性、無冗余、符合應用的需求等方面提高數據的質量[6]，實質是消除數據中的錯誤和不一致。目前，中醫(yī)藥信息處理與分析中的數據預處理方法種類繁多，本文試用一種定制的以數據清洗為主的數據預處理方法對非規(guī)范的原始數據進行了有效的處理，是中醫(yī)藥數據挖掘和文本領域的一次有益嘗試，希望對后續(xù)研究起到拋磚引玉的作用，并推廣至其他中醫(yī)方劑類文本型數據庫數據挖掘的數據預處理中，為中醫(yī)方劑數據挖掘和文本挖掘研究提供新方法和技術手段。

[1] 魏琳.基于區(qū)間值聚類的錐栗數據挖掘研究與分析[J].無線互聯科技, 2013(12):127-128,148.

[2] 喬磊,李存華,仲兆滿,等.基于規(guī)則的人物信息抽取算法的研究[J].南京師大學報:自然科學版,2012,35(4):134-139.

[3] 高學敏.中藥學[M].北京:中國中醫(yī)藥出版社,2007.

[4] 南京中醫(yī)藥大學.中藥大辭典[M].2版.上海:上?？茖W技術出版社, 2006.

[5] 崔雷,劉偉,閆雷,等.文獻數據庫中書目信息共現挖掘系統的開發(fā)[J].現代圖書情報技術,2008(8):70-75.

[6] 崔雷.醫(yī)學數據挖掘[M].北京:高等教育出版社,2006:7.

An Attempt on Data Preprocessing for Text Mining in TCM Prescription Database

WU Lei1, LI Shu2

(1. Information Engineering College, Liaoning University of TCM, Shenyang Liaoning 110847, China;2. Department of Medical Informatics, China Medical University, Shenyang Liaoning 110001, China)

Objective To propose a set of data preprocessing method based on data cleaning for TCM prescription database; To make data more standard, accurate and orderly, and convenient for follow-up processing. Methods The text data source was retrieved from prescription databases by bibliographic searching techniques. Non-normalized data were processed through steps followed by auxiliary word group line processing, regular expression substitution, and synonyms processing, with a purpose to improve data quality. Results Totally 1758 effective records were retrieved from TCM prescription database, and 91 records were retrieved from prescription modern application database. 6913 effective Chinese herbal medicines were retrieved after preprocessing, which can be successfully imported into relevant information mining system, and information about prescription and herb names can be extracted. Conclusion This method is applicable for text mining and knowledge discovery in TCM prescription database. It can successfully implement data cleaning for source text data, get data with unified standard and without noise, and finally realize the effective extraction of prescription information, which can provide

for researches on analysis and mining of TCM prescription text data.

TCM prescriptions; prescription database; text mining; data preprocessing; data cleaning

10.3969/j.issn.2095-5707.2015.03.003

（2014-08-24；編輯：魏民）

遼寧省教育廳科研課題（L2012345）

吳磊，副教授，研究方向為中醫(yī)藥信息學。E-mail: l.wu-sy@qq.com