梁金鵬，楊 浩，張海英

(1. 中國科學(xué)院大學(xué) 微電子學(xué)院，北京 100029；2. 中國科學(xué)院微電子研究所 新一代通信射頻芯片技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100029；3. 中國科學(xué)院微電子研究所 健康電子研發(fā)中心，北京 100029)

基于顏色特征的常見舌質(zhì)舌苔分類識別

梁金鵬1，2,3，楊 浩2,3，張海英2,3

(1. 中國科學(xué)院大學(xué) 微電子學(xué)院，北京 100029；2. 中國科學(xué)院微電子研究所 新一代通信射頻芯片技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京 100029；3. 中國科學(xué)院微電子研究所 健康電子研發(fā)中心，北京 100029)

舌質(zhì)、舌苔的自動(dòng)分類識別是中醫(yī)舌診客觀化的重要內(nèi)容。針對6種常見的舌質(zhì)、舌苔類型，基于其不同的顏色特征實(shí)現(xiàn)分類。舌象采集過程中，多種因素會(huì)引起圖像顏色偏差，采用多項(xiàng)式回歸的方法實(shí)現(xiàn)顏色校正。采用內(nèi)積閾值和顏色聚類兩種方法實(shí)現(xiàn)了舌體的分割，保留舌質(zhì)、舌苔有效信息。最后針對舌象分類自身的特點(diǎn)，引入權(quán)值改進(jìn)算法模型，使分類準(zhǔn)確率得到了明顯的提升。

顏色校正；圖像分割；分類；舌診

0 引言

中醫(yī)舌診看舌質(zhì)、辨舌苔，通過分析判斷患者的舌象類型，為中醫(yī)“辯證論治，四診合參”[1]提供重要的診斷依據(jù)。經(jīng)過幾千年的理論發(fā)展和應(yīng)用實(shí)踐，舌診為中醫(yī)發(fā)展做出了巨大的貢獻(xiàn)。然而，傳統(tǒng)的舌質(zhì)、舌苔辨別，主要依賴于醫(yī)生的主觀判斷，缺乏統(tǒng)一標(biāo)準(zhǔn)和量化指標(biāo)，制約了舌診的進(jìn)一步發(fā)展，實(shí)現(xiàn)舌診的客觀化和現(xiàn)代化將成為未來的發(fā)展趨勢。

隨著信息技術(shù)的快速發(fā)展，尤其從上世紀(jì)八十年代起，中醫(yī)和其他學(xué)科的科研人員相繼開展了舌診客觀化的研究。中科大和安徽中醫(yī)學(xué)院的孫立友[2]等人率先提出利用計(jì)算機(jī)圖像識別技術(shù)進(jìn)行舌診客觀化研究的理論構(gòu)想。清華大學(xué)余興龍[3]等根據(jù)模糊數(shù)學(xué)理論，確定定義域，對4種舌質(zhì)實(shí)現(xiàn)分類識別。哈工大張大鵬等[4-5]分別對裂紋舌、舌下贅生物、點(diǎn)刺和瘀斑等特別舌象開展相關(guān)研究。沈蘭蓀[6]利用加權(quán)支持向量機(jī)(Support Vector Machine, SVM)，加大重要樣本權(quán)值，得到不錯(cuò)的舌質(zhì)、舌苔分類結(jié)果。

圖1 分類識別主體框圖

針對舌象診斷中最為重要的舌質(zhì)、舌苔類型判斷，本文選取常見的6種舌質(zhì)、舌苔類別，基于顏色特征的差異，實(shí)現(xiàn)自動(dòng)分類識別，主體思路如圖1所示。顏色作為舌質(zhì)、舌苔分類的主要特征和依據(jù)，首先采用多項(xiàng)式回歸對原始舌像進(jìn)行顏色校正。對顏色校正后的圖像結(jié)合內(nèi)積投影和顏色聚類兩種圖像分割技術(shù)實(shí)現(xiàn)舌體的分割，保留舌質(zhì)、舌苔有效信息。

基于舌象分類自身特點(diǎn)，采用改進(jìn)的k近鄰(K-Nearest Neighbor,以下使用KNN簡稱)算法作為分類器，增加最近鄰樣本權(quán)重提高分類準(zhǔn)確率。本文按照以上幾項(xiàng)內(nèi)容分別展開介紹，最后給出結(jié)論。

1 舌像顏色校正

本文獲取的原始舌像是通過中科院微電子研究所自制的舌診儀采集得到，舌診儀搭建了一個(gè)穩(wěn)定、標(biāo)準(zhǔn)的采集環(huán)境(不贅述)，基本呈現(xiàn)了舌象的真實(shí)顏色特征。考慮到光源、相機(jī)等因素在實(shí)際表現(xiàn)中的合理波動(dòng)，會(huì)使得舌像產(chǎn)生輕微的顏色偏差，由于顏色特征對于本文舌質(zhì)、舌苔分類識別的重要性，在分類之前首先對原始舌像進(jìn)行顏色校正。

目前用于顏色校正的方法有矩陣法、支持向量回歸[7]和神經(jīng)網(wǎng)絡(luò)[8]等，這些方法可以取得不錯(cuò)的校正效果，但計(jì)算復(fù)雜度較高。文獻(xiàn)[9]采用一種簡便的多項(xiàng)式回歸方法，大大降低了計(jì)算量。本文在此基礎(chǔ)上對多項(xiàng)式模型適當(dāng)改進(jìn)，取得了計(jì)算復(fù)雜度和校正效果的平衡。多項(xiàng)式回歸借助組合標(biāo)準(zhǔn)色卡(采用德國RAL K7系列，選取10種色彩)，選用合適的多項(xiàng)式組合模型線性擬合，完成色卡輸出圖像RGB到標(biāo)準(zhǔn)色卡真實(shí)RGB的轉(zhuǎn)換，并求解出轉(zhuǎn)換系數(shù)。

具體求解過程如下，將第i(i取1～10)個(gè)色塊的實(shí)際RGB值分別記為Ri、Gi、Bi，maj(a取1～3，j取1～16)表示轉(zhuǎn)換系數(shù)，選用項(xiàng)數(shù)為16的多項(xiàng)式組合：{1,R,G,B,RG,RB,GB,R2,G2,B2,R2G,G2B,B2R,R2B,G2R,B2G}，xji表示第i個(gè)色塊對應(yīng)的多項(xiàng)式項(xiàng)。則有：

(1)

式(1)矩陣形式表示為：

A=M·X

(2)

其中，A是維數(shù)為3×10的色卡真實(shí)RGB矩陣，

(3)

M是維數(shù)為3×16的待求轉(zhuǎn)換系數(shù)矩陣，

(4)

X是維數(shù)為16×10的多項(xiàng)式矩陣，

(5)

由式(2)可以進(jìn)一步推導(dǎo)出：

M=(A·XT)·(X·XT)-1

(6)

將求得的轉(zhuǎn)換系數(shù)矩陣應(yīng)用于新采集的舌像，即可實(shí)現(xiàn)舌像的顏色校正：

XO=M·XI

(7)

其中，XI是待校正的16×N維舌像矩陣，N為舌像有效的像素個(gè)數(shù)，XO是3×N的輸出圖像矩陣，即經(jīng)過顏色校正的舌像。采用多項(xiàng)式回歸校正舌像顏色，得到了令人滿意的效果，實(shí)現(xiàn)了計(jì)算量和校正效果的平衡。

2 舌體分割

采集到的舌像不可避免地會(huì)含有舌體以外的其他圖像信息，因此，在進(jìn)一步進(jìn)行舌象識別之前，必須先實(shí)現(xiàn)舌體分割，保留舌質(zhì)、舌苔的有效部分。本文重點(diǎn)關(guān)注采集舌象的舌質(zhì)顏色和舌苔顏色特征，對舌體分割的邊緣要求并不嚴(yán)苛，能夠保留出舌體的主要部分即可。

基于區(qū)域的分割方法按照特定條件直接尋找、分割區(qū)域，具體算法有區(qū)域生長和區(qū)域分離與合并算法[10]?；趨^(qū)域分割可以從單個(gè)像素出發(fā)，合并需要的分割區(qū)域，對復(fù)雜場景的圖像或者先驗(yàn)知識不足的圖像分割效果較理想?；谶吘墮z測的分割方法通過檢測不同區(qū)域的邊緣的差異來分割圖像，它可以作為區(qū)域分割的有效補(bǔ)充，優(yōu)化圖像分割效果。本文同時(shí)采用區(qū)域分割和邊緣分割的思想，完成舌體的有效分割，分割流程如圖2所示。

圖2 舌體分割流程圖

內(nèi)積閾值分割。對采集的舌像做歸一化處理，在舌體內(nèi)取一個(gè)目標(biāo)點(diǎn)，其余像素點(diǎn)RGB與目標(biāo)點(diǎn)RGB分別做內(nèi)積，進(jìn)行內(nèi)積閾值判斷，內(nèi)積較大的像素點(diǎn)置1，其余置零，完成內(nèi)積結(jié)果的二值化矩陣。將二值矩陣與圖像對應(yīng)相乘，完成相應(yīng)像素點(diǎn)的保留和清除。在二值圖上逐點(diǎn)移動(dòng)比較，根據(jù)結(jié)果進(jìn)行膨脹處理。用膨脹后的二值圖像與內(nèi)積投影后的圖像對應(yīng)相乘，完成膨脹，得到內(nèi)積閾值舌像分割結(jié)果。

顏色聚類分割。為精細(xì)區(qū)分舌體邊緣和臉、唇等部位，采用顏色聚類分割舌體。設(shè)置顏色聚類分割區(qū)域的個(gè)數(shù)和聚類的次數(shù)，對圖像進(jìn)行顏色聚類，反復(fù)多次聚類后，判斷哪個(gè)區(qū)域中含有舌，完成舌體的顏色聚類分割，得到另一種舌體分割結(jié)果。

采用內(nèi)積投影和顏色聚類分別得到舌體分割結(jié)果，對二者進(jìn)行或操作，取得了理想的舌體分割效果。分割前、后的舌像分別如圖3和圖4所示。

圖3 分割前舌像

圖4 分割舌像結(jié)果

3 常見舌質(zhì)、舌苔分類識別

通過與陸軍總醫(yī)院合作，采集第一手患者舌象信息，到目前為止，根據(jù)實(shí)際采集到的舌象類型，在醫(yī)生的指導(dǎo)下，整理出3種常見的舌質(zhì)和3種常見的舌苔類別，見表1。

表1 舌質(zhì)、舌苔分類表

將采集的圖像按照第一節(jié)的方法進(jìn)行顏色校正，經(jīng)過分析不同類別舌質(zhì)、舌苔的顏色特征，發(fā)現(xiàn)舌象識別這一具體場景具有兩個(gè)比較典型的特點(diǎn)：首先，不同類別的舌象在RGB空間內(nèi)分布較為接近，甚至有區(qū)域交疊現(xiàn)象；其次，不同類別的舌象常見程度不同，產(chǎn)生不同類別樣本不均衡現(xiàn)象?；谏鲜錾嘞蠓诸惖奶攸c(diǎn)，考慮采用KNN算法作為分類器。

3.1傳統(tǒng)KNN模型

選用KNN模型的原因在于，對于分類區(qū)域存在交叉重疊的情況，KNN的分類效果要優(yōu)于支持向量機(jī)、決策樹等其他分類算法，下面對傳統(tǒng)KNN算法簡單分析梳理。

KNN是一種簡單、有效的分類方法，模型包含三個(gè)基本要素[11]：距離度量、k值和分類決策規(guī)則，當(dāng)三要素確定后，對于任何一個(gè)新的輸入實(shí)例，它所屬的類唯一確定。給定一個(gè)訓(xùn)練數(shù)據(jù)集，對新的輸入實(shí)例，計(jì)算距離度量篩選其k個(gè)最近鄰的訓(xùn)練實(shí)例，統(tǒng)計(jì)k個(gè)實(shí)例的類別，通過少數(shù)服從多數(shù)確定輸入實(shí)例的類別。KNN可以比較有效地解決舌象分類區(qū)域交叉重疊的問題，但由于傳統(tǒng)的KNN賦予k個(gè)近鄰樣本同樣的權(quán)重，在樣本數(shù)量不均衡時(shí)，不同的k值設(shè)定會(huì)使得分類結(jié)果偏向于大數(shù)目樣本，降低了分類準(zhǔn)確率。為此，本文在傳統(tǒng)KNN模型的基礎(chǔ)上加以改進(jìn)。

3.2改進(jìn)KNN模型

針對不同舌象樣本數(shù)量不均衡的問題，提出改進(jìn)KNN模型。改進(jìn)模型的核心思想在于，賦予k個(gè)近鄰樣本不同的權(quán)重，增加較近樣本權(quán)值，減小較遠(yuǎn)樣本權(quán)值，改善分類識別效果。對于KNN的三要素，分別具體說明。選取RGB空間的歐式距離作為判斷的距離度量：

(8)

將不同的權(quán)重W設(shè)定為一個(gè)與距離L相關(guān)的量：

(9)

對于每一類別的舌象，按照醫(yī)生的指導(dǎo)，選擇、分割典型的樣本構(gòu)成訓(xùn)練樣本集。為了保持每個(gè)訓(xùn)練樣本的典型特征，不被過多噪聲干擾，每個(gè)訓(xùn)練樣本選擇2×2像素大小。舌象分類識別測試時(shí)，首先進(jìn)行舌像分割，然后逐像素判斷識別所屬的舌象類型，最后給出識別結(jié)果。采用交叉驗(yàn)證法來選取最優(yōu)的k值。

3.3測試結(jié)果

截止到目前為止，共采集到舌像566張，隨機(jī)選取其中431張用來訓(xùn)練，對剩余135張舌像測試。

分別采用傳統(tǒng)的KNN模型(等權(quán)值)和改進(jìn)的KNN模型，測試結(jié)果如表2。

表2 算法分類準(zhǔn)確率對比

由表2可以看出，通過引入不同的權(quán)值，算法識別準(zhǔn)確率得到很大的提升。尤其對于區(qū)域交疊的淡紅舌和紅舌、薄白苔和白厚苔，準(zhǔn)確率提高更為明顯。

4 結(jié)論

本文針對常見的6種舌質(zhì)、舌苔，基于類別之間顏色特征的差異，實(shí)現(xiàn)舌象的分類識別。首先對采集的舌像采用多項(xiàng)式回歸的方法進(jìn)行顏色校正，然后采用內(nèi)積閾值和顏色聚類兩種方法實(shí)現(xiàn)了舌體的分割，取得了滿意的效果。最后針對舌象分類識別自身的特點(diǎn)，引入權(quán)值改進(jìn)算法模型，使分類準(zhǔn)確率得到了明顯的提升。當(dāng)然，還有一些工作需要不斷完善，包括增加舌象分類的范圍，增加數(shù)據(jù)量以及對權(quán)值計(jì)算方法的優(yōu)化等。

[1] 朱文鋒.中醫(yī)診斷學(xué)[M].北京:中國中醫(yī)藥出版社，2004.

[2] 孫立友，程釗，謝虎臣，等.利用計(jì)算機(jī)圖像識別技術(shù)進(jìn)行舌診客觀化研究的探討[J].安徽中醫(yī)學(xué)院學(xué)報(bào)，1986，5(4): 5-7.

[3] 余興龍，譚耀麟，堂子民.中醫(yī)舌診自動(dòng)識別方法的研究[J].中國生物醫(yī)學(xué)工程學(xué)報(bào)，1994，13(4)：336-343.

[4] 楊朝輝，張大鵬，李乃民. 裂紋舌圖像的核假彩色變換及其紋線提取[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2010，22(5)：772-776.

[5] 朱煥超，閆子飛，張大鵬，等. 舌下贅生物輪廓提取方法初步研究[J]. 高技術(shù)通訊，2014，24(5)：498-505.

[6] 張新峰，沈蘭蓀. 加權(quán)SVM在中醫(yī)舌象分類與識別中的應(yīng)用研究[J]. 中國生物醫(yī)學(xué)工程學(xué)報(bào)，2006，25(2)：230-233.

[7] ZHANG H Z,WANG K Q,JIN X S, et al. SVR based color calibration for tongue image[C]. Machine Learning and Cybernetics, 2005. Proceedings of 2005 International Conference in GuangZhou:IEEE,2005:5065-5070.

[8] CHEUNG V,VESTLAND S,CONNAH D, et al. A comparative study of the characterisation of color cameras by means of neural networks and polynomial transforms[J]. Coloration Technology,2004,120(1):19-25.

[9] 王永剛，王愛民，沈蘭蓀.舌象分析儀中舌色重現(xiàn)方法的研究[J].照明工程學(xué)報(bào)，2001,6，12(2)：4-10.

[10] 許新征，丁世飛，史忠植，等.圖像分割的新理論與新方法[J].電子學(xué)報(bào)，2010,38(Z1)：76-82.

[11] 李航. 統(tǒng)計(jì)學(xué)習(xí)方法[M]. 北京：清華大學(xué)出版社，2012.

The classification of common tongue body and tongue coating based on the feature of color

Liang Jinpeng1,2,3, Yang Hao2,3, Zhang Haiying2,3

(1. School of Microelectronics, University of Chinese Academy of Sciences, Beijing 100029, China; 2. Beijing Key Laboratory of Radio Frequency IC Technology for Next Generation Communications,Institute of Microelectronics of Chinese Academy of Sciences, Beijing 100029, China;3. R&D Center of HealthCare Electronics, Institute of Microelectronics of Chinese Academy of Sciences, Beijing 100029, China)

Automatic classification of tongue body and tongue coating is one of the important contents of the tongue diagnosis. Six kinds of common tongue body and tongue coating are classified based on their different color characteristics.Color correction is achieved by polynomial regression, at the same time, tongue segmentation is achieved by inner product threshold and color clustering. K-nearest neighbor with different weight is introduced to improve the accuracy of classification.

color correction; image segmentation; classification; tongue diagnosis

TP391

：A

10.19358/j.issn.1674- 7720.2017.17.030

梁金鵬，楊浩，張海英.基于顏色特征的常見舌質(zhì)舌苔分類識別[J].微型機(jī)與應(yīng)用，2017,36(17)：102-105.

2017-03-15)

梁金鵬(1992-)，男，碩士研究生，主要研究方向：機(jī)器學(xué)習(xí)、圖像處理。楊浩(1978-)，通訊作者，男，博士，副研究員，主要研究方向：健康電子設(shè)備、物聯(lián)網(wǎng)技術(shù)。E-mail：yanghao@ime.ac.cn。張海英(1964-)，女，博士，研究員，主要研究方向：健康電子技術(shù)。