江智泉， 周作建， 鮑劍洋， 戰(zhàn)麗彬， 商洪濤

摘? 要： 為了促進中醫(yī)舌診的標準化和客觀化，推動中醫(yī)舌診客觀化研究，探究以深度學習為代表的人工智能技術在舌診客觀化領域的應用現(xiàn)狀和研究水平，文章以舌像的采集-預處理-圖像識別-客觀診斷為主線，對舌像辯證自動化的新方法進行了歸納和總結。通過方法綜述，為智能化舌診和中醫(yī)現(xiàn)代化研究提供方法參考和研究思路，促進人工智能技術在中醫(yī)舌診領域的深度發(fā)展。

關鍵詞： 舌診客觀化; 人工智能; 圖像識別; 深度學習

中圖分類號：TP311.5? ? ? ? ? 文獻標識碼：A? ? ?文章編號：1006-8228（2022）01-01-04

Overview of the objective study of tongue diagnosis in Chinese Medicine

in the context of artificial intelligence

Jiang Zhiquan1， Zhou Zuojian1， Bao Jianyang1， Zhan Libin2， Shang Hongtao3

（1. College of Artificial Intelligence and Information Technology， Nanjing University of Traditional Chinese Medicine， Nanjing， Jiangsu 210046， China; 2. College of Traditional Chinese Medicine， Nanjing University of Traditional Chinese Medicine; 3. Affiliated hospital of Nanjing University of Chinese medicine）

Abstract： In order to promote the standardization and objectification of tongue diagnosis of Traditional Chinese Medicine， promote the research on the objectification of tongue diagnosis of Traditional Chinese Medicine， and explore the application status and research level of artificial intelligence technology represented by deep learning in the field of tongue diagnosis objectification. In this paper， the new methods of dialectic automatization of tongue image are summarized， which are based on the main line of tongue image acquisition， pretreatment， image recognition and objective diagnosis. Through the review， the method reference and research ideas for the research of intelligent tongue diagnosis and modernization of Traditional Chinese Medicine are provided， which promotes the in-depth development of artificial intelligence technology in the field of tongue diagnosis of Traditional Chinese Medicine.

Key words： objectification of tongue diagnosis; artificial intelligence; image recognition; deep learning

0 引言

中醫(yī)舌診是中醫(yī)診斷的重要環(huán)節(jié)之一，其通過觀察舌體的顏色和形態(tài)變化來感知患者疾病，具有診斷過程實施方便，診斷價值高的獨特優(yōu)勢。但由于醫(yī)師主觀經(jīng)驗和診療客觀條件的影響，診察結果可能出現(xiàn)誤差。為了充分發(fā)揮其診斷優(yōu)勢，降低診斷誤差，中醫(yī)舌診的臨床診斷需要更高的信息化智能化來提供定性定量的數(shù)據(jù)支撐。近些年來，以深度學習等為代表的AI技術被廣泛用于舌診客觀化的研究中，實現(xiàn)了快速、高效、精準的舌像智能分析，大大提高了客觀化舌像診斷的準確率。本文以采集-預處理-圖像識別-客觀診斷為主線進行分類綜述。

1 舌像采集方法研究

標準化的舌像采集是進行舌像分析的重要前提。為了滿足后期舌像特征提取和分類的需要，標準的舌像圖片不僅應該包含完整的舌體可用信息，也應該具有清晰度高，色彩保真效果好，成像質(zhì)量優(yōu)等特性。目前，舌像標準化采集的研究主要聚焦于光源和采集設備的選擇上。

許家佗[1]對舌像采集條件做了一些實驗觀測，比較了自然光源和人工光源以及不同CCD相機設備對舌體成像效果的影響，認為自然光源由于其光譜連續(xù)，光照均勻，簡潔實用等特性，是臨床可行的最適合光源，但由于受制于自然條件，自然光的色溫和照度變化較大，為采集帶來了不確定因素。而人工光源具有穩(wěn)定和不受制于環(huán)境的巨大優(yōu)勢，但也存在光譜不連續(xù)、光照不均和設備繁雜等問題，臨床實用性較差。因此，對于光源如何選擇，有大量學者做了相關工作。石強[2]通過比較標準光源D50和自然光源下舌像診斷結果的相似度，認為D50光源穩(wěn)定性強，接近自然光，可以作為舌像采集標準照明光源。在采集設備的研究上，多家單位成功研制了多種型號的舌像儀，上海中醫(yī)藥大學王億勤團隊研制的ZBOX-1型舌脈象數(shù)字化分析儀[3]，北京工業(yè)大學蔡軼珩團隊[4]設計了以計算機為核心的標準舌像分析儀，采用人工光源，通過圖形技術和聚類算法，實現(xiàn)了舌像采集、圖像處理、舌色分析與定量化的標準流程，具有一定的臨床效果?？紤]到常見的舌像采集儀體積普遍偏大，邸丹[5]設計了一種手持式舌像儀，具有體積小，便攜性高的優(yōu)點，滿足部分舌像采集需要。丁明全[6]在舌像采集系統(tǒng)中采用了自動對焦技術，通過自動對焦的相關算法，解決了一些由采集環(huán)境、人為因素和拍攝角度等帶來的影響舌像拍攝質(zhì)量的問題?，F(xiàn)存的舌像采集方式大多依賴于成本高、不易攜帶的舌像采集儀，這不利于在基于互聯(lián)網(wǎng)服務的多場景終端上發(fā)揮作用。因此，研究針對各種智能終端的舌像采集方法和辨證標準，也是未來智能化舌診的發(fā)展方向之一。

2 舌像預處理方法研究

2.1 圖像處理

由于光照條件不充分、采集設備難以精確捕捉舌像細節(jié)等原因，使得顯示器難以有效還原真實舌像信息。因此，我們需要將采集到的舌像圖片作進一步的數(shù)字圖像處理，包括圖像校正和圖像降噪等。

趙忠旭[7]利用三層BP神經(jīng)網(wǎng)絡，通過自適應調(diào)整，設計了CRT網(wǎng)絡模型和校正環(huán)節(jié)網(wǎng)絡模型，可以有效的實現(xiàn)三刺激值匹配的彩色校正。許家佗[8]提出一種自然光條件下基于色差校正的方法，應用L*a*b*均勻色空間對舌色進行色差校正，將校正后的舌色色度進行統(tǒng)計學分析，具有統(tǒng)計學意義，此方法具有良好的校正效果。

對于成像設備帶來的圖片噪聲，我們可以采用圖像濾波算法來進行降噪處理。圖像濾波算法通過對區(qū)域像素的數(shù)學運算，計算出目標像素點的合適有效輸出，以此來降低噪聲對舌像細節(jié)的干擾。均值濾波和高斯濾波等算法是降噪處理中較為常見和高效的方法。作為最典型的濾波算法，均值濾波的處理方法是取K*K窗口中像素值的平均值作為像素輸出，從而有效調(diào)整噪聲點像素值，抑制噪聲，但這種方法可能會丟失圖像的細節(jié)，帶來邊界模糊等問題。中值濾波算法可以在達到噪聲處理的同時減少圖像邊緣細節(jié)的丟失。此外，高斯濾波算法在抑制服從正態(tài)分布的噪聲的任務中具有一定的優(yōu)勢。

2.2 舌像分割

為了后期能有良好的特征識別和分類，我們需要對舌體圖像進行分割處理。舌體圖像分割目的是從獲取的舌圖像中去除臉部、嘴唇等干擾環(huán)境，分割出可用于分析的有效舌部位顏色細節(jié)，充分保留患者的舌體信息，排除無關背景對舌體進一步分類識別的干擾。舌體圖像分割過程如圖1所示。

當前研究中實現(xiàn)對舌體的有效分割的方法主要有基于閾值的分割方法，基于能量泛函的分割方法等。隨著機器學習的發(fā)展，也產(chǎn)生了聚類，字典學習、深度學習等高效方法。

閾值分割是圖像分割方法中最為常見的手段之一。李丹霞[9]通過結合局部閾值和全局閾值的優(yōu)點，提出自適應閾值的算法，將圖像分割為多個子塊，迭代計算每個子塊的最佳閾值和局部最佳閾值，構成閾值矩陣從而進行分割。分割結果與僅使用全局閾值分割或僅使用局部閾值分割相比具有明顯優(yōu)勢，特別是對非均勻光照圖像分割效果尤佳。但單純使用閾值分割仍存在許多適應場景問題，相關學者結合色彩模型，形態(tài)學等方法，對閾值分割方法進行了結合和優(yōu)化。姜朔[10]將形態(tài)學自適應修正的方法與Otsu閾值法進行結合，通過獲取原始舌像的G、B、V通道信息，運用Otsu閾值法對舌像進行二值化處理并結合先驗知識進行聚類，采用形態(tài)學舌體當量直徑自適應選取結構元素的大小的方法，實現(xiàn)分割范圍的自適應修正，能較好地實現(xiàn)分割效果，但存在效率不高的問題。

基于能量泛函的舌像切割方法也是主流方法之一，以活動輪廓模型（ACM Active Contour Model）為代表。該方法通過人工參數(shù)控制和內(nèi)外力作用，最小化特定定義的能量函數(shù)閉合曲線，實現(xiàn)對目標區(qū)域的有效分割。但傳統(tǒng)的Snake方法對圖像噪聲敏感，且無法逼近極凹的輪廓內(nèi)部，能量曲線容易得到局部極值解，容易喪失邊界信息。因此，劉晨星[11]提出一種改進Snake算法的模型，該模型引入Perona-Malik方法強化輪廓界限，通過梯度矢量流模型（Gradient VectorFlow，GVF）優(yōu)化圖像外力場，進而提取舌像輪廓，有效地解決了傳統(tǒng)Snake算法對不規(guī)則舌體輪廓的逼近效果欠缺的問題，提高了切割效果。史苗靜[12]、高清河[13]等人也對Snake模型提出了改良方案并取得不錯的分割效果。

機器學習技術這兩年來也被運用到了圖像分割領域，基于語義的深度學習圖像分割技術成為了圖像分割新的解決方案。通過對舌體圖像進行語義分類處理，差異化圖像中不同的區(qū)域，再通過全卷積神經(jīng)網(wǎng)絡（FCN）進行端到端的訓練，在卷積和池化過程中匯聚和增強語義信息，實現(xiàn)語義分割[14]。但是，有監(jiān)督學習的方法極大受限于訓練數(shù)據(jù)的數(shù)量和質(zhì)量，且像素級圖像標注成本極大，有待進一步優(yōu)化和發(fā)展。也有學者[15～16]使用K-means聚類算法，聚類圖像顏色分量，實現(xiàn)對圖像的分割。通過聚類后對同一個簇的所有像素點進行標記，重構圖像，實現(xiàn)分割，具有較強的適應性。此外，李亞峰[17]提出一種基于多字典學習的分割方法，使用隸屬度函數(shù)的正則約束來保持分割區(qū)域邊界的幾何結構，對不同的紋理具有較強的判別能力。當前，機器學習相關的圖像分割算法仍在發(fā)展和優(yōu)化中，有待進一步運用到舌像分割領域，以提高舌像分割的準確率。

3 舌像識別分析方法研究

舌像的定性和定量特征分析是舌診客觀化的重要過程。當前，舌像識別分類主要圍繞舌質(zhì)、舌苔和舌下三個點展開，以中醫(yī)舌診診斷過程為參考，聚焦于舌質(zhì)的神、色、形、態(tài)，舌苔的苔質(zhì)和苔色，舌下的形色等方面特征。傳統(tǒng)的舌像識別工作需要人工標記特征，這對分類結果的準確性會有一定的影響。隨著機器學習在圖像識別領域的廣泛應用，以神經(jīng)網(wǎng)絡為代表的深度學習技術為舌像特征分類識別提供了智能化的解決方案，提高了識別的準確度和泛化能力。

3.1 舌質(zhì)與舌苔顏色識別

舌色可以反映出人的身體健康狀態(tài)，是中醫(yī)辨證論治的重要標準之一，因此對舌色和苔色進行分類和識別具有重要的實際意義。舌質(zhì)的顏色一般分為淡紅、淡白、紅絳和青紫四種，而舌苔的顏色一般分為白苔、黃苔和灰黑苔三種。

肖慶新[18]提出一種基于輕型卷積神經(jīng)網(wǎng)絡架構的舌苔顏色分類方法，將原始數(shù)據(jù)進行人工標注并進行數(shù)據(jù)擴充，解決數(shù)據(jù)樣本量小且不平衡的問題，設計了輕型卷積神經(jīng)網(wǎng)絡，將舌像特征提取和分類統(tǒng)一處理，該分類方法取得了94.85%的分類準確率，具有較好的分類性能。針對深度學習帶來的訓練成本高長等問題，楊晶東[19]引入遷移學習技術，建立基于全連接神經(jīng)網(wǎng)絡模型的小樣本舌像分類方法，實現(xiàn)了ImageNet數(shù)據(jù)集訓練的遷移，使用提取的強特征微調(diào)全連接神經(jīng)網(wǎng)絡進行小樣本舌象分類，有效地解決了舌像分類中存在的小樣本問題。目前，大多數(shù)卷積神經(jīng)網(wǎng)絡結構適用于單標記的分類任務，通過構建多個網(wǎng)絡模型，對舌色，形態(tài)等分類任務多單獨進行，忽視了其中舌體不同特征可能存在的關聯(lián)性。湯一平[20]以標簽之間的相關性為核心，設計了基于卷積神經(jīng)網(wǎng)絡的多任務聯(lián)合學習模型，通過訓練多個Softmax分類器對標簽進行并行預測，實現(xiàn)了舌像多個特征的自動提取和相關分析。該方法具有一定的優(yōu)勢，但仍需大量數(shù)據(jù)進行優(yōu)化。

3.2 舌質(zhì)舌苔形態(tài)識別分析

對于舌質(zhì)的形態(tài)研究主要聚焦于點刺、瘀點、裂紋和齒痕等。點刺表現(xiàn)為舌體表面有紅刺群凸出，瘀點表現(xiàn)為舌體表面出現(xiàn)深色瘀點。中醫(yī)舌診中舌像的點刺所在的部位預示熱邪所在臟腑，點刺的疏密程度代表熱邪的嚴重程度;瘀點所在的部位預示淤阻所在經(jīng)絡。對于點刺瘀點，王昇[21]使用斑點檢測算法simpleBlobDetector提取斑點和瘀點并生成特征向量，通過支持向量機（SVM）和K-means聚類算法進行點刺瘀點舌像識別和提取，準確率高，提取效果好。對于齒痕舌和裂紋舌，劉夢[22]基于FasterR-CNN算法和遷移學習算法，構建深度學習模型，有效完成了對中醫(yī)齒痕舌和裂紋舌舌像的局部特征的綜合識別，且在小樣本訓練數(shù)據(jù)中具有良好表現(xiàn)。

4 舌像的客觀診斷研究

中醫(yī)診斷的客觀化是中醫(yī)發(fā)展的必經(jīng)之路，越來越多的學者致力于不同疾病不同證型的四診客觀化研究，取得了一定的客觀化成果。王憶勤[23]通過對1000例冠心病患者舌像信息的跟蹤分析和研究，建立起心氣虛組患者與舌體形狀多胖厚且有齒痕的聯(lián)系，經(jīng)過治療，舌苔齒痕指數(shù)下降;心陰虛組治療后舌色R值下降，轉(zhuǎn)為淡紅，且裂紋指數(shù)下降。馬春玲[24]采集50例血糖調(diào)節(jié)受損和60例早期糖尿病患者進行研究，發(fā)現(xiàn)糖尿病患者舌像呈現(xiàn)舌色暗淡;舌體胖大，多齒印，苔色白等特征。通過大X量實驗結果和科研數(shù)據(jù)，建立中醫(yī)證型和舌像特征的對應關系，可以有效促進中醫(yī)證型自動化識別的相關研究。

5 結論

舌診是中醫(yī)的重要診斷手段之一，實現(xiàn)中醫(yī)舌診的客觀化也是中醫(yī)舌診的發(fā)展方向。近幾年，機器學習算法廣泛運用于圖像分割、舌像分類和特征識別的過程中，具有較好的識別效果和泛化能力，極大推動了中醫(yī)舌像診斷的客觀化進程。但是，當前的舌診客觀化進程仍面臨著缺乏標準數(shù)據(jù)集的問題。大多數(shù)客觀化研究缺乏平衡性好的大樣本數(shù)據(jù)，不利于算法的訓練和優(yōu)化。此外，缺乏對大量舌像數(shù)據(jù)的分類存儲、高效利用和全面分析，未能有效地建立起舌像信息和中醫(yī)證型的對應關系，與臨床實踐脫節(jié)。因此，需要繼續(xù)深化多學科融合，推動建立舌像標準庫和舌像多角度信息的標準化模型。在未來，借助人工智能技術帶來的強大算力，引領中醫(yī)走向與信息技術的深度融合，實現(xiàn)中醫(yī)“望聞問切”的數(shù)據(jù)化分析處理從而帶動中醫(yī)診斷的全面信息化和客觀化。

參考文獻（References）：

[1] 許家佗，張志楓，費兆馥，等.舌象數(shù)字圖像采集條件的實驗觀測[J].中國中醫(yī)基礎醫(yī)學雜志，2007（1）：23-27

[2] 石強，湯偉昌，李福鳳，等.舌象信息客觀化研究中光源選擇初探[J].上海中醫(yī)藥大學學報，2004（2）：39-41

[3] 王憶勤，湯偉昌，李福鳳，等.ZBOX-Ⅰ型舌脈象數(shù)字化分析儀的研制與臨床應用[J].上海中醫(yī)藥大學學報，2008（6）：26-28

[4] 蔡軼珩，劉長江，沈蘭蓀.新型舌象分析儀的設計方案[J].測控技術，2005（5）：34-36，47

[5] 邸丹，周敏，周會林，等.手持式舌象儀的研制[J].上海中醫(yī)藥雜志，2016，50（2）：12-14

[6] 丁明全.自動對焦技術在舌像采集系統(tǒng)中的應用研究[D].廣東工業(yè)大學，2011

[7] 趙忠旭，沈蘭蓀，衛(wèi)保國，等.基于人工神經(jīng)網(wǎng)絡的彩色校正方法研究[J].中國圖象圖形學報，2000.9：77-81

[8] 許家佗，張志楓，嚴竹娟，等.自然光條件下基于色差校正方法的舌象顏色分析[J].中西醫(yī)結合學報，2009，7（5）：422-427

[9] 李丹霞，韋玉科.基于自適應閾值的舌像分割方法[J].計算機技術與發(fā)展，2011，21（9）：63-65

[10]姜朔，胡潔，夏春明，等.基于Otsu閾值法與形態(tài)學自適應修正的舌像分割方法[J].高技術通訊，2017，27（2）：150-155

[11] 劉晨星，張海英，楊浩.基于Perona-Malik方法的GVFSnake模型在舌像分割中的應用[J].微型機與應用，2017，36（15）：94-96，102

[12] Shi Miao-Jing，Li Guo-Zheng，Li Fu-Feng，Xu Chao.Computerized tongue image segmentation via the double geo-vector flow[J]. Pubmed，2014，9（1）

[13] 高清河，剛晶，王和禹，等.基于GVF Snake模型的舌像分割研究[J].科技視界，2018，6：131-132

[14]姚霆，張煒，劉金根.基于深度學習的圖像分割技術[J].人工智能，2019（2）：66-75

[15] Zhexue Huang. Extensions to the k-Means Algorithm forClustering Large Data Sets with Categorical Values[J]. Kluwer Academic Publishers，1998，2（3）

[16] 劉峰，王博亮，黃曉陽.聚類分析在舌苔舌質(zhì)分離中的運用[J].漳州師范學院學報（自然科學版），2007（3）：30-34

[17] 李亞峰.一種基于多字典學習的圖像分割模糊方法[J].電子學報，2018，46（7）：1700-1709

[18] 肖慶新，張菁，張輝，等.基于輕型卷積神經(jīng)網(wǎng)絡的舌苔顏色分類方法[J].測控技術，2019，38（3）：26-31

[19] 楊晶東，張朋.基于遷移學習的全連接神經(jīng)網(wǎng)絡舌象分類方法[J].第二軍醫(yī)大學學報，2018，39（8）：897-902

[20] 湯一平，王麗冉，何霞，等.基于多任務卷積神經(jīng)網(wǎng)絡的舌象分類研究[J].計算機科學，2018，45（12）：255-261

[21] 王昇，劉開華，王麗婷.舌診圖像點刺和瘀點的識別與提取[J].計算機工程與科學，2017，39（6）：1126-1132

[22] 劉夢，王曦廷，周璐，等.基于深度學習與遷移學習的中醫(yī)舌象提取識別研究[J].中醫(yī)雜志，2019，60（10）：835-840

[23] 王憶勤，郭睿，許朝霞，等.中醫(yī)四診客觀化研究在冠心病診斷中的應用[J].中醫(yī)雜志，2016，57（3）：199-203

[24] 馬春玲，朱章志，阮永隊.2型糖尿病中醫(yī)始發(fā)病機的臨床研究[J].新中醫(yī)，2011，43（6）：28-31