蔣海洋，王慧雯，郭春榮，鄒 璐，李福鳳，李 娜，孫祝美

(上海中醫(yī)藥大學(xué)·上海 201203)

舌診是中醫(yī)四診的重要內(nèi)容，是辨證論治的主要依據(jù)。中醫(yī)臨床實(shí)踐證明[1]，在疾病發(fā)展過(guò)程中，病人的舌象可反映其臟腑虛實(shí)、氣血盛衰、津液盈虧、病位深淺和預(yù)后好壞。傳統(tǒng)的舌診采用肉眼直接觀察，診斷結(jié)論依賴于醫(yī)生的知識(shí)水平、臨床經(jīng)驗(yàn)和診斷技巧，缺乏客觀性和可重復(fù)性，同時(shí)環(huán)境、燈光等外界因素也會(huì)影響舌診的準(zhǔn)確性。在舌診的客觀化研究中，運(yùn)用計(jì)算機(jī)技術(shù)進(jìn)行舌圖像處理和分析是目前的主流研究方式。舌圖像處理是指對(duì)相機(jī)采集的舌圖片進(jìn)行規(guī)范化處理，其為后續(xù)的舌圖像特征分析提供了基礎(chǔ)。本文通過(guò)搜集整理近年的相關(guān)文獻(xiàn)，從舌圖像顏色校正、舌圖像分割、舌質(zhì)舌苔分離三個(gè)方面對(duì)舌圖像處理技術(shù)的研究進(jìn)行綜述。

1 舌圖像顏色校正

舌圖像顏色校正是舌圖像處理的首要環(huán)節(jié)。通過(guò)對(duì)舌圖像顏色校正，可消除色差，使圖像最大程度地還原舌的真實(shí)顏色，得到規(guī)范的圖像數(shù)據(jù)，并提高后續(xù)舌象特征分析的識(shí)別率和準(zhǔn)確性。

舌圖像一般由數(shù)碼相機(jī)采集而來(lái)，只有將其輸出到計(jì)算機(jī)顯示器上才能進(jìn)行處理分析，但數(shù)碼相機(jī)和計(jì)算機(jī)顯示器的色域(色彩范圍區(qū)域)是不同的，色域無(wú)一一映射關(guān)系，因此會(huì)產(chǎn)生彩色失真；同時(shí)，外界光源的變化、設(shè)備的隨機(jī)噪聲等也會(huì)影響舌象的彩色重現(xiàn)[2]。

根據(jù)采集舌圖像時(shí)處于封閉或開(kāi)放環(huán)境的不同而采取不同的顏色校正方案。封閉環(huán)境下，舌象采集儀一般利用模擬自然光的標(biāo)準(zhǔn)光源(D65)作為光照條件，顏色校正主要需解決不同設(shè)備色域差別導(dǎo)致的失真。如王永剛等[3]提出一種色貌評(píng)價(jià)與三刺激值(三原色刺激人視網(wǎng)膜的量值)匹配相結(jié)合的在線校正方法，其關(guān)鍵是將色標(biāo)與舌體同時(shí)拍攝，動(dòng)態(tài)求解校正模型參數(shù)，從而在色標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)化的同時(shí)使舌色校正為較真實(shí)的顏色，主觀色貌評(píng)價(jià)和模擬實(shí)驗(yàn)證明這種方法具有穩(wěn)定性、可靠性的特點(diǎn)；蔡軼珩等[4]從光譜反射率復(fù)原角度，采用有限維模型對(duì)舌色范圍進(jìn)行了分析,其估計(jì)的光譜反射率曲線計(jì)算得到的顏色值與實(shí)際值比較接近，從而證實(shí)了此舌圖像顏色校正方法具有一定的可行性。

在開(kāi)放環(huán)境下，利用自然光作為光照條件，會(huì)造成照射物體表面的明度、色調(diào)改變而引起色差，因此顏色校正主要解決光線因素引起的色差。為了防止不同設(shè)備導(dǎo)致的色域差別，一般選用與設(shè)備無(wú)關(guān)的Lab顏色空間進(jìn)行校正前后的定量評(píng)價(jià)。如許家佗等[5]提出自然光條件下采集舌圖像過(guò)程中的兩種色差校正法，一種為拍攝前硬件手動(dòng)白平衡，另一種為拍攝后軟件數(shù)字化修正。這兩種方法通過(guò)Lab顏色空間對(duì)舌色進(jìn)行定量分析后，證實(shí)舌色還原準(zhǔn)確。劉齊等[6]采用等效圓的方法在Lab顏色空間進(jìn)行偏色檢測(cè)，采用改進(jìn)的灰度世界法及鏡面法進(jìn)行舌象顏色校正，結(jié)果顯示偏色檢測(cè)方法可以更準(zhǔn)確地反映主觀感受到的偏色程度，顏色校正方法也無(wú)需標(biāo)準(zhǔn)色卡的輔助，校正后的偏色程度更低，比傳統(tǒng)算法具有更好的顏色校正效果。

2 舌圖像分割

數(shù)碼相機(jī)拍攝的舌圖像包含了舌體及部分面部區(qū)域，為了便于后續(xù)舌象特征的研究分析，需要將舌體從圖像中分割提取出來(lái)。早期舌圖像分割多采用手工方式，雖準(zhǔn)確率較高，但需專業(yè)人員參與，費(fèi)時(shí)費(fèi)力[7]。因此，研究舌體區(qū)域的自動(dòng)分割技術(shù)是非常有必要的。經(jīng)典的舌圖像自動(dòng)分割技術(shù)有閾值法、區(qū)域生長(zhǎng)法、Snakes模型等方法。

2.1 閾值法 閾值法是區(qū)域分割法的一種，是最常用的圖像分割法之一。閾值法的原理是用一個(gè)或多個(gè)閾值將圖像像素點(diǎn)按灰度級(jí)分為若干類進(jìn)行分析，其優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單、運(yùn)算效率高、速度快[8]，缺點(diǎn)是對(duì)圖像質(zhì)量要求較高，當(dāng)目標(biāo)(舌體)和背景(非舌體)區(qū)域顏色相近時(shí)分割效果不佳。因此在實(shí)際應(yīng)用中，閾值法結(jié)合顏色空間、形態(tài)學(xué)等方法綜合使用，可使分割效果更好、更準(zhǔn)確。如姜朔等[9]通過(guò)提取原始舌圖像RGB與HSV色彩空間中G、B、V顏色通道信息，用Otsu閾值法分割舌圖像，然后采用形態(tài)學(xué)自適應(yīng)修正提升分割結(jié)果的精度；張廣宇[10]將舌圖像HSI顏色空間的S通道與I通道生成兩個(gè)新的顏色通道，對(duì)兩個(gè)通道分別使用迭代閾值分割法并拼接，再進(jìn)行形態(tài)學(xué)修正得到準(zhǔn)確的分割結(jié)果。

2.2 區(qū)域生長(zhǎng)法 區(qū)域生長(zhǎng)法是區(qū)域分割法的一種，在圖像分割中也較常使用。區(qū)域生長(zhǎng)法的原理是選取若干種子點(diǎn)，依據(jù)一定的生長(zhǎng)準(zhǔn)則，分別生長(zhǎng)為若干子區(qū)域后，再將若干相似子區(qū)域合并為較大的區(qū)域進(jìn)行分析。該方法的優(yōu)點(diǎn)是計(jì)算簡(jiǎn)單，對(duì)于較均勻的目標(biāo)有較好的分割效果，主要的缺點(diǎn)或難點(diǎn)是對(duì)相似度的閾值把握，如對(duì)相似度要求低則容易將舌體和周圍的皮膚、嘴唇一起選取進(jìn)來(lái)；反之，又易遺漏舌體區(qū)域而未能完全選取[8]。為改善這一問(wèn)題，馬超等[11]提出先用中值濾波去除圖像噪聲，在YCbCr彩色空間對(duì)圖像進(jìn)行預(yù)處理，去除面頰皮膚等背景信息，然后用均值移動(dòng)法將舌體與嘴唇、牙齒分開(kāi)，最后應(yīng)用改進(jìn)的區(qū)域生長(zhǎng)法，得到準(zhǔn)確完整的舌體圖像；郭雪妍等[12]提出了一種改進(jìn)的區(qū)域生長(zhǎng)算法，該算法以舌圖像的先驗(yàn)知識(shí)為設(shè)計(jì)基礎(chǔ)，綜合運(yùn)用HSV顏色模型、直方圖閾值化法，有效避免了皮膚、陰影的干擾，取得了良好的分割效果。

2.3 Snakes模型 Snakes模型屬于邊緣檢測(cè)法，是一種活動(dòng)輪廓模型。其原理是先尋找一個(gè)初始輪廓，然后通過(guò)使邊緣能量函數(shù)最小化逐漸逼近真實(shí)邊緣。Snakes模型相較其他分割技術(shù)的優(yōu)點(diǎn)是動(dòng)態(tài)性，并結(jié)合了圖像高層語(yǔ)義信息(即圖像的概念層信息)，保證了目標(biāo)結(jié)果是一條完整的曲線；缺點(diǎn)是高度依賴初始輪廓的完整度，并且對(duì)于凹陷輪廓不能達(dá)到很好的效果[13]。為了消除初始輪廓對(duì)Snakes模型的影響，傅之成等[14]首先使用徑向邊緣檢測(cè)得到初始輪廓，使用色彩對(duì)消來(lái)消除嘴唇影響，然后用Snakes模型得到準(zhǔn)確的舌體輪廓，通過(guò)對(duì)300張舌圖像分析發(fā)現(xiàn)，此方法分割成功率達(dá)到94%；劉宇博等[15]將舌體圖像轉(zhuǎn)化為YCbCr和HSV顏色空間，經(jīng)數(shù)學(xué)形態(tài)學(xué)修正后得到初始輪廓，結(jié)果表明分割正確率達(dá)到96%。

2.4 深度學(xué)習(xí) 以閾值法、區(qū)域生長(zhǎng)法為主的區(qū)域分割法和以Snakes模型為主的邊緣檢測(cè)法應(yīng)用較普遍，但均存在相關(guān)缺陷，需要結(jié)合其他方法共同應(yīng)用。因此，近年來(lái)興起了應(yīng)用人工智能領(lǐng)域的深度學(xué)習(xí)進(jìn)行舌圖像的自動(dòng)分割，取得了顯著的效果。深度學(xué)習(xí)又稱深度神經(jīng)網(wǎng)絡(luò)，除了提取圖像的顏色特征外，能夠提取圖像的深層語(yǔ)義信息，從而實(shí)現(xiàn)舌圖像的精準(zhǔn)分割。如王麗冉等[16]提出了一種基于兩階段卷積神經(jīng)網(wǎng)絡(luò)的舌體分割方法，實(shí)驗(yàn)表明深度學(xué)習(xí)算法在準(zhǔn)確率、召回率、F值方面能夠取得較為理想的分割結(jié)果且具有較快的處理速度。Xinlei Li等[17]提出了一種端到端的迭代網(wǎng)絡(luò)舌像摳圖技術(shù)，經(jīng)與GrabCut、Closed-Form matting、KNN matting三種算法比較，此算法更準(zhǔn)確有效，且同時(shí)適用于封閉環(huán)境和開(kāi)放環(huán)境采集的舌圖像，真正意義上實(shí)現(xiàn)了無(wú)交互、無(wú)初始化的像素級(jí)別上的自動(dòng)舌體分割。這些方法均是今后舌圖像自動(dòng)分割的發(fā)展方向。

3 舌質(zhì)舌苔分離

舌質(zhì)和舌苔的完整分離提取，對(duì)后續(xù)舌象特征的定性、定量分析具有至關(guān)重要的作用。早期舌質(zhì)舌苔分離多采用閾值法，結(jié)合舌質(zhì)舌苔的顏色、分布等先驗(yàn)知識(shí)輔助分類，近年來(lái)多采用機(jī)器學(xué)習(xí)的方法，其代表算法為K-NN算法(有監(jiān)督分類算法)、K-means算法(無(wú)監(jiān)督聚類算法)。王學(xué)民等[18]設(shè)計(jì)開(kāi)發(fā)了一種基于雙光源的舌質(zhì)舌苔分離系統(tǒng)，研究了白、綠光源對(duì)舌質(zhì)舌苔分離效果的影響，結(jié)果表明純綠光圖像分離效果更好，對(duì)于舌苔厚薄交錯(cuò)的情況也能取得較好的分離效果；韓立博等[19]先將舌圖像轉(zhuǎn)換為L(zhǎng)ab顏色空間，對(duì)a*通道舌圖像進(jìn)行直方圖均衡化以及伽馬校正，接著對(duì)增強(qiáng)后的圖像利用K-means聚類法進(jìn)行分離。在對(duì)200幅患者舌圖像進(jìn)行實(shí)驗(yàn)后表明，經(jīng)直方圖均衡化及伽馬校正后的a*通道舌圖像舌質(zhì)舌苔分離結(jié)果明顯強(qiáng)于未經(jīng)處理的分離結(jié)果，且分割合格率達(dá)到了97%。這些方法對(duì)舌質(zhì)舌苔的準(zhǔn)確分離都起到了很好的效果。

4 結(jié)語(yǔ)

舌圖像處理技術(shù)，包括了舌圖像顏色校正、舌圖像分割、舌質(zhì)舌苔分離三個(gè)方面。首先，通過(guò)舌圖像的顏色校正，可對(duì)采集后的舌圖片進(jìn)行修正，提高色彩還原度和圖片質(zhì)量，但無(wú)法處理采集過(guò)程中舌體拍攝不完整、不清晰、抖動(dòng)，光照亮度不均勻等情況，因此要注意前期采集設(shè)備的調(diào)校和拍攝環(huán)境的選擇；其次，舌圖像分割技術(shù)種類繁多，各有優(yōu)缺點(diǎn)，在應(yīng)用時(shí)可綜合幾種方法，以提高圖像分割的成功率和準(zhǔn)確性。在樣本量較大的情況下，可優(yōu)先使用人工智能領(lǐng)域的深度學(xué)習(xí)實(shí)現(xiàn)精準(zhǔn)分割；最后，在舌質(zhì)舌苔分離方面，要重視舌質(zhì)、舌苔在顏色和分布上的先驗(yàn)知識(shí)，尤其要以顏色作為舌苔舌質(zhì)區(qū)分的主要判斷依據(jù)。同時(shí)，舌質(zhì)舌苔分離也是承接后續(xù)舌象特征定量分析的最終環(huán)節(jié)，將舌苔、舌質(zhì)分離后，可進(jìn)一步計(jì)算舌色、苔色對(duì)應(yīng)的顏色空間(如Lab)值，或單獨(dú)研究舌苔的厚薄、腐膩等特征，因此至關(guān)重要。