摘要 目的：探索將卷積神經(jīng)網(wǎng)絡(luò)技術(shù)應用于舌象照片分類任務(wù)的方法，從而實現(xiàn)機器學習模型對中醫(yī)臨床舌診行為的模擬。方法：使用人工標注后的舌象照片數(shù)據(jù)集分別對YOLO和EfficientNet卷積神經(jīng)網(wǎng)絡(luò)模型訓練。我們在訓練過程中綜合調(diào)試了各類校正算法與超參數(shù)，兩模型成功提取圖片數(shù)據(jù)中的模式特征并形成不同特征映射， 使YOLO和EfficientNet分別實現(xiàn)實時舌體識別和中醫(yī)學舌象特征分類的功能。結(jié)果：深度學習模型對部分舌象特征典型的舌診照片識別精度較好，對芒刺舌、裂紋舌、齒痕舌的識別精確率分別為0.86、0.75和0.72。結(jié)論：卷積神經(jīng)網(wǎng)絡(luò)模型對幾種特征性舌象的識別能力較好，但對舌色、舌形、津液情況多分類的識別尚不理想，尚需進一步改善使用舌診照片訓練卷積神經(jīng)網(wǎng)絡(luò)模型的方法。

關(guān)鍵詞 中醫(yī)學;人工智能;機器學習;深度學習;卷積神經(jīng)網(wǎng)絡(luò);舌診;舌象

隨著人們保健意識日益增強，人們期望能夠隨時隨地了解自己的健康情況，移動醫(yī)療的研發(fā)項目也大量應運而生。近年來醫(yī)療信息數(shù)據(jù)庫的逐步建立和完善，網(wǎng)絡(luò)傳輸?shù)男畔⑼掏铝刻嵘?，計算機硬件運算能力的提高，數(shù)據(jù)分析（Data Analysis， DA）與機器學習（Machine Learning， ML）算法的更新，都使移動醫(yī)療從概念走進現(xiàn)實。

中醫(yī)藥學在治未?。▉喗】禒顟B(tài)）領(lǐng)域經(jīng)驗豐富，在癥狀的識別與保健方法上具有獨特優(yōu)勢。疾病或亞健康的治療及保健效果都需建立在可靠診斷的基礎(chǔ)上，中醫(yī)診斷中歷來強調(diào)四診合參、辨證論治，也就是說，診斷的確定需建立在望、聞、問、切四種方式獲得的臨床資料之上。舌診是望診的組成部分，醫(yī)生舌診時所見的舌體及舌苔特征稱為舌象，舌診照片保存了舌象全部的資料，是我們本次研究的數(shù)據(jù)來源。醫(yī)生根據(jù)舌象對病情判斷的準確度與判讀人員的經(jīng)驗、知識水平和視覺敏感度相關(guān)，不同醫(yī)生對同一舌象的判讀結(jié)果可存在較大差異0。對主觀因素對臨床資料解讀影響程度的評估方法，一直是中醫(yī)診斷客觀化的難題。

本次研究嘗試通過將DA與ML等數(shù)據(jù)處理技術(shù)，對舌診照片中潛在的數(shù)據(jù)特征進行識別和提取，計算機圖像處理研究人員發(fā)現(xiàn)，卷積運算可保證圖像中淺層特征充分識別和提取的前提下，大幅降低計算復雜度，現(xiàn)已成為計算機視覺常用的圖像特征提取方法。人工智能近年來的突破都與人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network， ANN）的發(fā)展密切相關(guān)，ANN由大量的人工神經(jīng)元聯(lián)結(jié)、計算有關(guān)，ANN在輸入數(shù)據(jù)信息后，不斷自適應地根據(jù)輸入數(shù)據(jù)的統(tǒng)計學特征非線性地改變內(nèi)部權(quán)重，構(gòu)造出局部或全局最優(yōu)的模型。本研究以ANN與卷積運算結(jié)合后的卷積神經(jīng)網(wǎng)絡(luò)（convolution neural network，CNN）為基礎(chǔ)，通過有監(jiān)督的ML數(shù)據(jù)建模。因此，用于圖片對象識別和分類任務(wù)的模型權(quán)重調(diào)整不僅依賴于圖像語義特征的運算結(jié)果，還會受人工標注者主觀因素的影響。模型訓練完畢后，我們將評估卷積神經(jīng)網(wǎng)絡(luò)模型自主舌診圖片識別和分類的精確度，分析不足之處，為進一步完善模型的配置和訓練方式奠定基礎(chǔ)。

近年來，中醫(yī)藥學與卷積神經(jīng)網(wǎng)絡(luò)技術(shù)結(jié)合應用于舌診機器分類的試驗研究已獲得一定進步，董競方0通過將CNN網(wǎng)絡(luò)ResNet50應用于對442例腫瘤患者舌象圖片的學習，獲得齒痕舌、瘀斑舌自動識別模型，F(xiàn)-1達到91.88%。劉夢0通過Faster R-CNN與微調(diào)（fine tune）技術(shù)應用于構(gòu)建齒痕舌、裂紋舌識別模型，對裂紋舌識別F-1為97.1%，對齒痕舌識別F-1為85.1%。

1 資料

研究的舌象照片來自網(wǎng)絡(luò)爬蟲程序，共計6373張。將全部照片分為兩個數(shù)據(jù)集，分別用于舌體識別模型與舌象分類兩個模型的訓練與測試。識別模型數(shù)據(jù)集3500張，分類模型數(shù)據(jù)集共2873張。

2 方法

2.1數(shù)據(jù)預處理

2.1.1標準化 為了保證全部圖片符合CNN模型輸入尺寸要求，我們對舌象照片給予等比例縮放，并對照片的留白部分灰色填充。

2.1.2歸一化 為保證模型的穩(wěn)定性和訓練效率，我們對圖片數(shù)據(jù)進行歸一化處理，參考ImageNet圖庫中的統(tǒng)計數(shù)據(jù)，RGB三個通道均值為0.485、0.456、0.406，標準差為0.229、0.224、0.225。

2.1.3數(shù)據(jù)擴增 為了降低模型權(quán)重對訓練集中數(shù)據(jù)的過擬合風險，增加其泛化能力，可對數(shù)據(jù)集中數(shù)據(jù)進行多重處理，增加圖片中信息的離散性，使訓練集中數(shù)據(jù)更加貼近現(xiàn)實的情況。

2.1.4數(shù)據(jù)集分割 我們采取打亂數(shù)據(jù)集中圖片順序后，按比例分割的方法對數(shù)據(jù)集分割為訓練集、驗證集和測試集。舌體識別模型訓練集：驗證集為17：3，舌象分類模型訓練集：驗證集：測試集為4：1：1。

2.2 CNN模型 YOLO-v4和EfficientNet模型是當前先進的圖像處理卷積神經(jīng)網(wǎng)絡(luò)模型，其架構(gòu)先進，與多種先進算法適配，無論在性能和精度上均處于先進水平。其中，YOLO-v4模型運算速度快，分類精度差，適用于舌體識別，EfficientNet-B2模型分類精度高，運算速度慢，可用于舌象分類。CNN可以很好地對圖像信息的特征進行提取和層層處理后，計算某圖片對不同分類的多重Logistic回歸結(jié)果，從而獲得概率估值，估值與閾值結(jié)合后判斷圖片的分類結(jié)果。

2.3 模型訓練 為了提高訓練效率并充分利用模型初始權(quán)重所包含的預訓練集數(shù)據(jù)信息，訓練過程聯(lián)合使用轉(zhuǎn)移學習與凍結(jié)學習的方法，YOLO-v4模型訓練的第1～10期（epoch）凍結(jié)淺層，第11～200期解凍全層。

2.4 超參數(shù)設(shè)置

批量（batch size）是數(shù)據(jù)集每次批量輸入模型的一次性樣本量，每次迭代模型內(nèi)權(quán)重更新的方向和參數(shù)受每批數(shù)據(jù)信息影響，批量較大時模型權(quán)重調(diào)整更準確，批量較小時，損失函數(shù)可能出現(xiàn)難收斂的問題。在滿足計算機元件滿載運行的前提下，適當提高批量至合適的大小。損失函數(shù)（loss function）是用來計算評估所建立數(shù)學模型與現(xiàn)實世界數(shù)據(jù)間差距的函數(shù)。優(yōu)化算法（optimization algorithm）是通過調(diào)整模型參數(shù)使損失函數(shù)逐步逼近最優(yōu)解的計算方法，包括對前次迭代模型參數(shù)數(shù)據(jù)的處理以及新參數(shù)調(diào)整幅度的計算。為了保證收斂和效率的平衡，本次試驗對兩個模型均應用余弦退火法（cosine anealing）的學習率調(diào)整策略（learning rate scheduler），利用余弦函數(shù)曲線特點，使學習率隨訓練迭代次數(shù)而改變，呈先緩、再速、終緩的速率變化特點。

2.5 訓練結(jié)束 經(jīng)反復調(diào)試，將第115期的模型權(quán)重作為最終權(quán)重。

2.6 判定閾值 一般來說，輸入圖片對某分類的Logistic回歸結(jié)果越高，圖片更可能歸屬于該分類，概率閾值一般定為0.5。為了保證圖片在各分類維度下都有明確的歸類，本研究將各分類維度下的最高概率值定為分類閾值。

3 結(jié)果

3.1 測試指標 為了評估模型對訓練集外舌診照片的分類精度，反映模型對現(xiàn)實數(shù)據(jù)集的分類精度，我們對比了模型與普通醫(yī)生在測試集分類結(jié)果上的差異性。精確率（precision）越高，我們對分類陽性結(jié)果的把握越大;召回率（recall）越高，我們對陰性分類結(jié)果的把握越大，F(xiàn)-1是精確率、召回率的調(diào)和平均數(shù)，用于綜合評估模型分類準確度。

3.2 分類標簽 以中醫(yī)診斷學中的類型劃分標準為基礎(chǔ)，同時考慮到中醫(yī)臨床辨證的需求后，對舌診照片的分類標簽設(shè)置為兩層，第一層分類將舌象特征劃分為幾個維度，分別為舌色、舌形、苔色、苔厚度、津液情況、齒痕舌、裂紋舌、芒刺舌8種。第二層分類在第一層的基礎(chǔ)上進一步劃分，舌色分為淡白舌、淡紅舌、紅舌、絳舌、青紫舌5種;舌形分為痩薄舌、正常舌、胖大舌3種;津液情況分為燥苔、潤苔、滑苔3種;苔厚度分為厚苔與薄苔;苔色分為黃苔與白苔;齒痕舌、裂紋舌和芒刺舌均分為有、無兩類0。

3.3 測試結(jié)果

EfficientNet-B2模型對五分類精確率最差，三分類精確率次之，二分類項目精確率最好。模型對舌色分類淡紅舌的識別最好（F-1為0.53），但無法識別淡白舌。模型對舌形分類胖大舌的識別最好（F-1為0.59），痩薄舌較差（F-1為0.23）。模型對津液分類潤苔的識別最好（F-1為0.86），燥苔、滑苔的識別均不足（F-1分別為0.14和0.18）;模型對苔厚度分類的厚苔識別較好（F-1為0.70）。模型對苔色分類黃苔識別較差（F-1為0.57）。模型對齒痕舌、裂紋舌的識別較好（F-1分別為0.72和0.73），對芒刺舌的識別略差（F-1為0.60）。

4 分析與討論

根據(jù)模型不同分類測試結(jié)果的差異，分析可能影響結(jié)果精確度的因素。

4.1 數(shù)據(jù)不均衡 模型對舌色、舌形、津液多分類的精確率不足，三分類維度下，模型對淡紅舌、正常舌形、潤苔的分類精確率都相對較高，這與訓練數(shù)據(jù)集中各分類的樣本量分布情況基本一致（圖2～4）。根據(jù)CNN模型訓練原理，訓練數(shù)據(jù)集中占多數(shù)的分類會對模型權(quán)重產(chǎn)生較多影響，因此導致訓練后模型對樣本量偏大類別的精確率高于其他分類。

4.2 數(shù)據(jù)預處理 模型對舌色、苔色的分類精度不理想，這可能是舌色、舌苔圖像信息相互干擾的結(jié)果。舌診照片來源廣泛，受拍攝時光源、拍攝角度、圖片采集設(shè)備影響，大量噪聲無法避免，模型對數(shù)據(jù)特征的提取難度增大。有研究0000顯示，舌體分割與苔質(zhì)分離技術(shù)可顯著提高舌象照片的分類精度，未來模型優(yōu)化時，可將舌體分割與苔質(zhì)分離技術(shù)用于舌象照片的預處理，降低圖像信息信噪比，改善模型分類精確率。

4.3 訓練

圖5中兩數(shù)據(jù)集曲線隨迭代次數(shù)震蕩分離，說明模型對兩數(shù)據(jù)集的分類精確率不同，我們考慮可能存在過擬合（overfitting）。為了使模型對訓練集外數(shù)據(jù)能有較好泛化性，應在訓練時同時監(jiān)測模型對驗證集的損失函數(shù)，必要時提前停止訓練，避免模型對訓練集過擬合。但是，提前停止又有模型欠擬合的風險。我們共迭代訓練200期，最后選擇第115期模型的權(quán)重，損失函數(shù)為0.5744。

4.4 閾值設(shè)置 模型對測試集中照片舌色分類時，訓練集和測試集中共140張人工標注的淡白舌照片，沒有1張被成功識別，回顧訓練后模型對標注為淡白舌照片的Logistic回歸結(jié)果，其概率一直在0.05左右震蕩，遠低于其他舌色的閾值，因此無法被正確歸類。造成這種結(jié)果的原因很多，舌色分類維度下的不同舌色設(shè)定不同閾值可能是解決方法之一。

5. 展望

根據(jù)試驗數(shù)據(jù)結(jié)果，可以發(fā)現(xiàn)將ML和AI技術(shù)應用于舌診照片分類任務(wù)是存在可行性的，目前模型對舌象照片二分類任務(wù)的精確率是相對可靠的。在此基礎(chǔ)上，學習與借鑒AI的最新技術(shù)，可不斷改進舌診分類AI模型的訓練方法包括：確保數(shù)據(jù)集類別的均衡，使用舌體切割與苔質(zhì)分離技術(shù)對舌診照片數(shù)據(jù)集預處理，監(jiān)測模型訓練過程中的損失函數(shù)與權(quán)重變化，避免訓練的過擬合與欠擬合，使用優(yōu)化算法重新設(shè)定閾值。相信在不遠將來，必將獲得精確率更高的舌診分類模型。

參考文獻：

[1]石強，王憶勤， 郎慶波，等. 13名中醫(yī)師對69例被觀察者苔色觀察結(jié)果的分析[C]// 全國辨證論治研討會. 中華中醫(yī)藥學會， 2004.

[2]董競方、黃金昶、王建云.卷積神經(jīng)網(wǎng)絡(luò)算法在腫瘤患者舌象識別中的應用[J]. 北京中醫(yī)藥， 2020， v.39（11）：106-109+115.

[3]劉夢，王曦廷， 周璐，等.基于深度學習與遷移學習的中醫(yī)舌象提取識別研究[J]. 中醫(yī)雜志， 2019， 60（10）：30-35.

[4]覃海松.舌診定量化中圖像處理相關(guān)方法研究[D]. 中南大學， 2014.

[5]邵尤偉.基于深度學習的智能舌診方法研究[D]. 2018.

[6]劉國正.卷積神經(jīng)網(wǎng)絡(luò)在中醫(yī)舌象分類模型中的應用研究[D].

[7]李宗潤.基于深度學習技術(shù)的舌體分割模型研究與舌象智能化應用探索[D].成都中醫(yī)藥大學，2020.

[8]杜春慧.中醫(yī)舌質(zhì)特征的機器學習模型研究[D].電子科技大學，2020.

作者簡介：于飛（1984.4-）男，漢族，北京，醫(yī)學AI研究員，碩士，研究方向：中醫(yī)文獻學。

（深圳市予恩智能科技有限公司?廣東深圳?518000）