趙紫娟，強(qiáng) 彥，趙涓涓，趙琛琦，王麒達(dá)，李 碩

(1.太原理工大學(xué) 信息與計(jì)算機(jī)學(xué)院，太原 030024；2.加拿大西安大略大學(xué) 醫(yī)學(xué)影像 和醫(yī)學(xué)生物物理學(xué)系，加拿大安大略 倫敦 N6A 3K7)

中醫(yī)(TCM)作為世界傳統(tǒng)醫(yī)學(xué)的代表之一，具有完整的理論體系、豐富的臨床實(shí)踐經(jīng)驗(yàn)，在世界范圍內(nèi)被廣泛應(yīng)用[1]。但隨著西醫(yī)藥的發(fā)展并在世界范圍傳播，中醫(yī)藥傳承與發(fā)展受到極大的影響和沖擊，中醫(yī)藥理論、中醫(yī)醫(yī)療模式及中醫(yī)藥人才等面臨嚴(yán)重挑戰(zhàn)[2]。2019年10月25日，習(xí)近平總書記在全國中醫(yī)藥大會上，對中醫(yī)藥工作做出重要指示：“要遵循中醫(yī)藥發(fā)展規(guī)律，傳承精華，守正創(chuàng)新，加快推進(jìn)中醫(yī)藥現(xiàn)代化、產(chǎn)業(yè)化，推動(dòng)中醫(yī)藥走向世界?！敝嗅t(yī)藥信息化與現(xiàn)代化研究逐漸成為研究的熱點(diǎn)。

與此同時(shí)，隨著人工智能與機(jī)器視覺技術(shù)的不斷發(fā)展，計(jì)算機(jī)輔助技術(shù)對醫(yī)學(xué)領(lǐng)域的影響越來越大。針對臨床廣泛使用的醫(yī)學(xué)影像，利用計(jì)算機(jī)圖像處理技術(shù)對二維切片圖像進(jìn)行分析和處理，實(shí)現(xiàn)對人體器官、軟組織和病變體的分割提取、三維重建和三維顯示，可以輔助醫(yī)生對病變體及其它感興趣的區(qū)域進(jìn)行定性甚至定量的分析，從而大大提高醫(yī)療診斷的準(zhǔn)確性和可靠性；在醫(yī)療教學(xué)、手術(shù)規(guī)劃、手術(shù)仿真及各種醫(yī)學(xué)研究中也起到了重要的輔助作用[3-4]。但是目前對于中醫(yī)的圖像處理方面發(fā)展還比較緩慢，在進(jìn)行中醫(yī)視覺信息的處理時(shí)，仍然是醫(yī)生經(jīng)驗(yàn)占主導(dǎo)地位，容易受到主觀性和就診環(huán)境的影響，這給中醫(yī)的現(xiàn)代化發(fā)展帶來不利的因素。因此，研究者們開始嘗試從計(jì)算機(jī)圖像處理角度來研究中醫(yī)理論規(guī)律，從而提高數(shù)據(jù)分析的效率和準(zhǔn)確性，提升健康與診療的效益及價(jià)值[5]，實(shí)現(xiàn)中醫(yī)的智能化與現(xiàn)代化。

圖像處理技術(shù)在中醫(yī)領(lǐng)域應(yīng)用中涉及多個(gè)環(huán)節(jié)，多個(gè)領(lǐng)域，并且能實(shí)現(xiàn)多種功能。如應(yīng)用于中醫(yī)望診(面診、手診、舌診、目診)中的圖像識別與疾病診療、中草藥識別與質(zhì)量評估，以及中醫(yī)經(jīng)絡(luò)腧穴模型三維重建及可視化等。針對中醫(yī)望診，MA et al[6]提出了一種自動(dòng)識別舌體構(gòu)造的系統(tǒng)框架，設(shè)計(jì)了深度卷積神經(jīng)網(wǎng)絡(luò)用于舌苔檢測、舌苔標(biāo)定和舌體構(gòu)造識別。在該系統(tǒng)框架下，提出了一種新的復(fù)雜性感知(complex perception，CP)分類方法，用于中醫(yī)體質(zhì)識別，體質(zhì)識別準(zhǔn)確率最高可達(dá)96.77%.ZHANG et al[7]利用一種漸進(jìn)可訓(xùn)練的雙堆棧神經(jīng)網(wǎng)絡(luò)(DsNet)，通過分析候選人的面部圖像來區(qū)分慢性腎病、糖尿病患者和健康人，三種人群類別f1評分分別為95.33%、98.17%和94.67%，與其他傳統(tǒng)的無創(chuàng)檢測方法相比，該方法實(shí)現(xiàn)了顯著的提升。針對中草藥識別與質(zhì)量評估，XU et al[8]建立了一個(gè)新的中草藥標(biāo)準(zhǔn)數(shù)據(jù)集，提出了一種新的用于中藥識別的注意力金字塔網(wǎng)絡(luò)(Attention pyramid network，APN)，能夠?qū)Σ煌卣鞒叨鹊闹胁菟巿D像進(jìn)行自適應(yīng)建模，并將其應(yīng)用于中藥識別中。針對中醫(yī)經(jīng)絡(luò)腧穴模型三維重建，HONG et al[9]提出了一種三維經(jīng)穴識別與投影系統(tǒng)。以中醫(yī)經(jīng)絡(luò)理論為基礎(chǔ)，融合了3D機(jī)器視覺和投影技術(shù)，實(shí)現(xiàn)了人體的三維重建、腧穴的識別與標(biāo)注、經(jīng)穴在人體表面的同步投影，該系統(tǒng)操作簡便，實(shí)現(xiàn)了穴位與經(jīng)絡(luò)的可視化，適合經(jīng)絡(luò)理論的教學(xué)與實(shí)踐。

本文重點(diǎn)介紹計(jì)算機(jī)圖像處理技術(shù)的相關(guān)研究進(jìn)展以及其在中醫(yī)中的應(yīng)用，內(nèi)容框架如圖1所示。在中醫(yī)望診的應(yīng)用中，總結(jié)與梳理了圖像分割與特征提取以及智能診療中的應(yīng)用現(xiàn)狀，并且已有部分智能化望診運(yùn)用到了臨床疾病研究中。在中藥材圖像鑒別的研究與應(yīng)用方面，分別從中草藥的種類識別以及等級鑒定兩個(gè)角度進(jìn)行分析，雖然取得了一定的成果，但基于中藥材圖像的等級鑒定仍然處于嘗試階段，技術(shù)及方案均沒有成熟。在經(jīng)絡(luò)腧穴可視化方面，簡單總結(jié)了中醫(yī)穴位定位以及數(shù)字經(jīng)絡(luò)三維重建兩個(gè)方面的工作，此方向研究內(nèi)容較少，較分散，需要進(jìn)一步挖掘。

圖1 圖像智能處理方法在中醫(yī)中的應(yīng)用Fig.1 Application of intelligent image processing in traditional Chinese medicine

1 圖像處理技術(shù)的發(fā)展與應(yīng)用

數(shù)字圖像處理(Digital Image Processing)是通過計(jì)算機(jī)進(jìn)行圖像數(shù)據(jù)分析，對圖像噪聲去除、質(zhì)量增強(qiáng)、復(fù)原、目標(biāo)檢測與分割、類型識別、重建等處理的方法和技術(shù)。近年來，隨著我國各類科學(xué)技術(shù)急速發(fā)展，圖像處理技術(shù)也日漸得到完善，各類相關(guān)軟件對圖像的高層次處理能力也日益強(qiáng)大。圖像處理在醫(yī)學(xué)方面有展現(xiàn)出巨大的應(yīng)用價(jià)值與應(yīng)用前景，醫(yī)學(xué)圖像處理技術(shù)正在向診斷一體化、圖像描述定量化、圖像三維化、可視化及網(wǎng)絡(luò)化等方向發(fā)展。盡管數(shù)字圖像處理方法和技術(shù)包含許多方面，中醫(yī)圖像處理主要涉及圖像分類、圖像去噪、圖像分割、圖像重建以及目標(biāo)檢測。

對于圖像分類，在2012年之前，圖片分類任務(wù)一般是首先設(shè)計(jì)特征提取器，然后對所提取的特征進(jìn)行的分類和識別，這種傳統(tǒng)的圖像分類方法在PASCAL VOC競賽中的圖像分類算法中被廣泛使用。KRIZHEVSKY et al[10]在深度卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，提出了一個(gè)跨時(shí)代的圖像分類網(wǎng)絡(luò)AlexNet，開啟了深度學(xué)習(xí)在圖片分類任務(wù)中的廣泛應(yīng)用；HE et al[11]提出殘差網(wǎng)絡(luò)模型(ResNet)，該網(wǎng)絡(luò)容易優(yōu)化，內(nèi)部的殘差塊使用了跳躍連接，緩解了在深度神經(jīng)網(wǎng)絡(luò)中增加深度帶來的梯度消失以及過擬合問題，促進(jìn)了深度學(xué)習(xí)的進(jìn)一步發(fā)展。WANG et al[12]提出了HRNet，這種網(wǎng)絡(luò)結(jié)構(gòu)可以在處理圖片的高層語義信息的同時(shí)，兼顧底層的形態(tài)學(xué)信息的學(xué)習(xí)，在視覺分類任務(wù)中取得了迄今為止最高的精度。目前，基于深度學(xué)習(xí)的圖片分類任務(wù)的精度已經(jīng)超越了人類的識別精度，算法正朝著高精度、低復(fù)雜的方向發(fā)展。

對于圖像去噪，目前主要有兩種方法，分別是傳統(tǒng)的圖像去噪算法和基于深度學(xué)習(xí)的去噪算法。其中傳統(tǒng)圖像去噪算法主要是基于特征的濾波方法，小波閾值去噪算法是近年來最受歡迎，應(yīng)用非常廣泛的圖像去噪方法，該方法簡單高效，并且可以較好地保持原圖中的紋理等細(xì)節(jié)信息。QIAN et al[13]提出了一種自適應(yīng)中值濾波和小波閾值函數(shù)相結(jié)合的去噪方法。有效地解決了小波閾值算法所產(chǎn)生的偽吉布斯現(xiàn)象，較好的保留了圖片細(xì)節(jié)信息。SHEN et al[14]針對圖像去噪過程中傅里葉變換不能有效代表圖像的突變，小波變換不能有效代表圖像的紋理和緩慢變化的問題，提出了一種基于傅里葉去噪和小波去噪不同特點(diǎn)的傅里葉-小波混合去噪算法。該算法彌補(bǔ)了兩種算法的不足，在圖像去噪領(lǐng)域具有良好的應(yīng)用前景。隨著深度神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展與改進(jìn)，其強(qiáng)大的特征提取與計(jì)算能力使得目前基于深度學(xué)習(xí)的圖像去噪算法在性能上已經(jīng)遠(yuǎn)優(yōu)于傳統(tǒng)方法，基于深度學(xué)習(xí)的圖像去噪算法逐漸成為當(dāng)前研究和應(yīng)用的主流方法。文獻(xiàn)[15]中NOISE2NOISE和文獻(xiàn)[16]中NOISE2VOID方法僅使用獨(dú)立的噪聲圖像對進(jìn)行無監(jiān)督訓(xùn)練的方法，在去除高斯噪聲等問題上取得了很好的效果。實(shí)驗(yàn)證明了只要滿足對可預(yù)測信號和像素獨(dú)立噪聲的初始假設(shè)，Noise2Void訓(xùn)練的網(wǎng)絡(luò)就可以與傳統(tǒng)和Noise2Noise訓(xùn)練的網(wǎng)絡(luò)競爭，并為大量應(yīng)用領(lǐng)域打開大門，例如生物醫(yī)學(xué)圖像數(shù)據(jù)以及中醫(yī)圖像數(shù)據(jù)。

對于圖像分割，傳統(tǒng)的分割方法主要包括邊緣檢測法、閾值法、區(qū)域增長法、聚類法等。DONG et al[17]提出了基于3D空間的超體素區(qū)域生長算法，該方法在三維掩模約束下對模糊連通圖進(jìn)行改進(jìn)的超體素三維區(qū)域生長，在肺結(jié)節(jié)的三維分割中取得了較好的分割結(jié)果。目前圖像分割領(lǐng)域應(yīng)用最為廣泛的一類方法依然是基于深度學(xué)習(xí)的圖像分割技術(shù)，LONG et al[18]首次提出了一種用于圖像分割的端到端的全卷積神經(jīng)網(wǎng)絡(luò)FCN(Fully Convolutional Network)，該方法可以接受任意大小的輸入，通過有效的推理和學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出，并且定義了一種跳躍架構(gòu)，將深層粗層的語義信息與淺層細(xì)層的外觀信息結(jié)合起來，以產(chǎn)生準(zhǔn)確而詳細(xì)的分割結(jié)果，該算法設(shè)計(jì)簡單高效、易于訓(xùn)練，在圖像分割領(lǐng)域產(chǎn)生了重要的影響。LIU et al[19]在FCN的基礎(chǔ)之上，提出了性能更高的DeepLab算法，這種算法在FCN分割結(jié)果的基礎(chǔ)之上再次進(jìn)行線性插值處理，更好地維持了圖像的細(xì)節(jié)信息，然后使用條件隨機(jī)場(conditional random fields，CRF)對插值后的結(jié)果進(jìn)行后處理，解決定位精度問題，從而進(jìn)一步提高了圖像分割的精度。

對于圖像目標(biāo)檢測，在深度學(xué)習(xí)時(shí)代的早期階段，算法流程分為四個(gè)步驟：數(shù)據(jù)預(yù)處理、設(shè)計(jì)滑動(dòng)窗口、特征選擇與提取、特征分類與回歸。部分可形變模型DPM(deformable part model)[20]是一種非常經(jīng)典和簡潔的算法，這種方法通過提取出SIFT、HOG、顏色直方圖等特征來完成對圖片中目標(biāo)的識別與檢測，但是該方法的速度相對較慢，魯棒性不強(qiáng)，不適合在實(shí)際產(chǎn)品中應(yīng)用。近幾年來，目標(biāo)檢測算法取得了很大的突破，基于深度學(xué)習(xí)的目標(biāo)檢測技術(shù)日益成熟，與傳統(tǒng)檢測器中使用的手工描述符相比，深度卷積神經(jīng)網(wǎng)絡(luò)從原始像素到高級語義信息生成層次特征表示，并從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)，在復(fù)雜環(huán)境中顯示出更強(qiáng)的識別表達(dá)能力。基于深度學(xué)習(xí)的目標(biāo)檢測算法大致可分為單階段檢測算法和雙階段檢測算法。雙階段檢測算法主要以Fast RCNN[21]和Faster RCNN[22]及其變體為主，這一類型的算法具有更高的精測性能，但是實(shí)時(shí)性較差，適合在服務(wù)器端使用。單階段目標(biāo)檢測算法主要有YOLO[23]和SSD[24]等一系列方法，這些方法的檢測速度非?？?，適合在實(shí)際任務(wù)中使用。

總之，自2012年AlexNet[10]提出后，深度學(xué)習(xí)領(lǐng)域的研究進(jìn)展迅速，各類圖像處理方法也逐漸傳統(tǒng)向深度過度。在中醫(yī)圖像處理中的應(yīng)用也呈現(xiàn)出這樣的趨勢，WANG et al[25]對圖像處理在中醫(yī)望診中的應(yīng)用進(jìn)行了綜合論述，對面部、手掌、舌像的診察進(jìn)行了詳細(xì)的總結(jié)和分析。盧運(yùn)西等[1]對基于傳統(tǒng)技術(shù)的中醫(yī)舌圖像分割方法和基于深度學(xué)習(xí)的中醫(yī)舌圖像分割方法進(jìn)行了系統(tǒng)地總結(jié)歸納，并采用臨床采集和網(wǎng)絡(luò)收集的舌象數(shù)據(jù)集對典型算法進(jìn)行網(wǎng)絡(luò)訓(xùn)練和性能評估。同時(shí)對這些算法的特點(diǎn)進(jìn)行分析和討論。圖像處理技術(shù)在中醫(yī)中應(yīng)用范圍廣，如應(yīng)用于中醫(yī)望診(面診、手診、舌診、目診)中的圖像識別與疾病診療、中草藥識別與質(zhì)量評估，以及中醫(yī)經(jīng)絡(luò)腧穴模型三維重建及可視化等，應(yīng)用前景巨大。

2 圖像處理技術(shù)在中醫(yī)望診中的應(yīng)用

望、聞、問、切是中國中醫(yī)治療疾病最基礎(chǔ)有效的診察手段，四診的標(biāo)準(zhǔn)化、客觀化是發(fā)展中醫(yī)技術(shù)的重要內(nèi)容。其中，望診是應(yīng)用圖像處理技術(shù)最多的診察方法。望診中的面象、舌象和手象可反映人身體健康狀況的信息，為疾病的定性定位及預(yù)后提供有力的診斷依據(jù)，利用圖像處理技術(shù)對圖像特征加以提取，可捕捉到人眼不易察覺的身體特征信息，有利于提高望診的準(zhǔn)確性[26]。圖像處理在中醫(yī)望診領(lǐng)域發(fā)展十分迅速，產(chǎn)生了許多算法，并且具有很強(qiáng)的應(yīng)用前景。根據(jù)應(yīng)用現(xiàn)狀，圖像處理在中醫(yī)望診領(lǐng)域的應(yīng)用大致包括中醫(yī)圖像分割和特征提取、疾病智能診療和預(yù)測預(yù)后。

2.1 中醫(yī)圖像分割

中醫(yī)自動(dòng)化望診中最具挑戰(zhàn)性的部分是適當(dāng)切分和最佳特征提取。盡管在望診取像的過程中通過調(diào)節(jié)硬件的狀態(tài)可以獲得最大的目標(biāo)(面部，舌體，手掌等)原始圖像，但由于被檢測人樣本的情況各不相同，非目標(biāo)部分(如背景、唇、牙齒和頭發(fā)等)對顏色和紋理等特性的鑒定仍然具有很大的影響。因此，將目標(biāo)區(qū)域從復(fù)雜的背景區(qū)域中分割出來是自動(dòng)分析望診指標(biāo)的重要步驟。中醫(yī)圖像分割與特征提取通常包括面部器管分割、舌象分割與檢測、手掌及掌紋分割等。

2.1.1面部器官分割

面色是人體臟腑氣血的外在表現(xiàn)，可以反映人體疾病的變化[27]?；旧?，計(jì)算機(jī)輔助面部醫(yī)學(xué)分析的首要任務(wù)是從面部圖像中檢測和分割面部成分。膚色模型是面部器官檢測與分割中最常用到的計(jì)算機(jī)圖像處理方法，其中，基于高斯混合模型(gaussian mixture model，GMM)的膚色模型[28-29]應(yīng)用最為廣泛，并取得了良好的效果。ZHAO et al[30]提出了一種基于患者全臉的面部膚色特征表征方法，并使用皮膚檢測、面部歸一化以及嘴巴、鼻孔和眉毛的水平位置對5個(gè)面部區(qū)域(前額、左臉頰、右臉頰、鼻子、下巴)進(jìn)行分割。XU et al[31]提出了一種基于膚色高斯混合模型(GMM)和支持向量機(jī)的人臉顏色分類方法。具體來說，該方法基于GMM迭代確認(rèn)屬于皮膚區(qū)域的膚色像素。在優(yōu)化過程中，利用二維GMM提取特征來描述主色和次要色。YANG et al[32]將膚色模型和改進(jìn)的AdaBoost集成到復(fù)雜背景下的高分辨率圖像中，進(jìn)行人臉檢測，該方法能夠在較快的速度下達(dá)到較高的檢測率，降低了誤檢率和漏檢率。HU et al[33]提出了一種基于膚色混合模型的唇形分割方法。在Lab顏色空間中，以人臉上(無唇)部分的像素顏色作為訓(xùn)練數(shù)據(jù)，為每個(gè)人臉圖像建立相應(yīng)的膚色高斯混合模型。然后基于GMM迭代去除不屬于下半部分唇形區(qū)域的膚色像素，得到初始唇形；進(jìn)一步在初始唇區(qū)和非唇區(qū)分別建立GMM提取出最優(yōu)的唇形。

此外，隨著中醫(yī)目診與西方虹膜診斷的不斷發(fā)展與結(jié)合，基于眼睛圖像特征的診斷技術(shù)逐漸得到更多認(rèn)可，虹膜分割技術(shù)受到了研究團(tuán)體[34]的廣泛關(guān)注?，F(xiàn)有的虹膜分割技術(shù)從道格曼的積分-微分算子、主動(dòng)輪廓模型[35]和聚類算法到利用梯度(邊緣)信息[36-37]、Hough變換的變體[38-39]和其他。最近，研究人員開始研究基于深度學(xué)習(xí)的虹膜分割方法，如ROT et al[40]提出了一種基于SegNet架構(gòu)的深度多類眼睛分割模型。該方法不僅分割虹膜，而且從圖像中使用一個(gè)單獨(dú)的分割模型分割其他五個(gè)眼睛部分。

2.1.2舌象分割與檢測

舌體分割與檢測是圖像分割技術(shù)在中醫(yī)中應(yīng)用最為廣泛的領(lǐng)域。舌體分割方法主要分為三大類。第一個(gè)分割子類別是基于顏色特征的舌分割。LI et al[41]采用了一種基于顏色分解和閾值(CDT)的方法對舌頭進(jìn)行分割。不同于以往涉及一系列特征的研究，該方法只需要少量的特征，如顏色分布和區(qū)域大小信息，具有更好的魯棒性。第二個(gè)分割子類別是基于Snake模型(也稱為主動(dòng)輪廓)及其變體的舌分割。PANG et al[42]開發(fā)了一種可變形輪廓方法，即BEDC，用于自動(dòng)提取舌頭邊緣，應(yīng)用于舌診系統(tǒng)。GUO et al[43]提出了一種自動(dòng)提取舌體輪廓的方法，該方法的創(chuàng)新點(diǎn)是首先通過簡單的初始邊界過程提取舌體的初始邊界。雖然以上方法均能得到滿意的分割結(jié)果。然而，它們也存在一些嚴(yán)重的缺點(diǎn)，主要表現(xiàn)在三個(gè)方面：1) 對光照變化和雜亂背景比較敏感；2) 由于舌頭和嘴唇顏色相似，無法準(zhǔn)確分割，特別是基于Snake的方法；3) 通常需要預(yù)處理，如舌體檢測或要求在分割開始前指定初始區(qū)域。第三個(gè)舌分割子類別是基于深度神經(jīng)網(wǎng)絡(luò)，最新的采用ResNet變體[44]和DeepLabV3變體[45]的舌體切分方法優(yōu)于一些傳統(tǒng)的舌切分方法。LI et al[46]提出了一種基于U-net網(wǎng)絡(luò)的跨域社體分割方法，取得了目前社體分割的最優(yōu)性能。

2.1.3手掌分割與掌紋識別

手診是中醫(yī)望診中一個(gè)很關(guān)鍵的步驟，中醫(yī)有“手相”的講究，手掌的特征是獨(dú)特的，包含很多的信息，手掌紋線色澤肥厚等，在預(yù)測家族性遺傳病(如癌癥、高血壓、糖尿病、冠心病等)，都有突出的表現(xiàn)[47]。因此，香港中文大學(xué)的張大鵬團(tuán)隊(duì)首次在國際上首次提出了“掌紋識別”[48]的研究方向后，更多的學(xué)者在這方面展開研究。

針對復(fù)雜背景下的手掌圖像分割問題，不同學(xué)者從不同角度進(jìn)行了研究。2008年開始，TIAN et al[49]利用Otsu算法在RGB顏色空間的三個(gè)通道上的應(yīng)用，分割復(fù)雜背景下的手掌圖像前景，但是由于RGB通道受光照影響較大，分割效果并不理想。2011年，ROTINWA et al[50]提出了一種基于人工神經(jīng)網(wǎng)絡(luò)和CbCrY顏色空間的分割算法，有效地將手掌從復(fù)雜背景中分割出來，但是沒有將其用于移動(dòng)端的掌紋識別技術(shù)的應(yīng)用當(dāng)中。張情等[51]在自適應(yīng)高斯膚色模型的基礎(chǔ)上，提出了一種結(jié)合區(qū)域生長的手掌前景分割方法，該方法可有效分割出復(fù)雜背景中出現(xiàn)的類膚色區(qū)域的影響，并且克服了移動(dòng)終端掌紋圖像處理受到的多方面干擾。

對于掌紋識別，SANYAL et al[52]研究了一種掌紋認(rèn)證系統(tǒng)，利用交叉小波變換進(jìn)行特征提取，利用不同種群的細(xì)菌覓食優(yōu)化算法選擇特征組合，再采用神經(jīng)網(wǎng)絡(luò)作為分類器，掌紋識別準(zhǔn)確率達(dá)到97.85%.GENOVESE et al[53]利用深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)提取掌紋和內(nèi)手指紋理，利用單手采集來實(shí)現(xiàn)掌紋和內(nèi)手指紋理特征融合，結(jié)果表明，融合能夠提高識別精度，而不需要多次生物特征獲取。雖然這方面的研究不斷在發(fā)展與進(jìn)步，但是將其與中醫(yī)之間建立連接的相關(guān)研究還較少，后續(xù)的研究可以大量的數(shù)據(jù)統(tǒng)計(jì)為驅(qū)動(dòng)，通過病癥和手掌特征之間的對應(yīng)關(guān)系，結(jié)合中醫(yī)醫(yī)生的經(jīng)驗(yàn)，最終找到看病治療的途徑。

將現(xiàn)代圖像處理和計(jì)算機(jī)視覺技術(shù)應(yīng)用于中醫(yī)圖像分割的進(jìn)一步研究正在進(jìn)行中，尤其是針對面診和舌診，臨床上迫切需求智能診斷技術(shù)加以輔助。表1詳細(xì)描述了圖像處理在中醫(yī)圖像識別中的應(yīng)用現(xiàn)狀，研究對象主要包括面部、舌相以及手掌，研究任務(wù)包括面色分割、虹膜分割、嘴分割、舌體分割、手掌分割及掌紋識別等。研究方法主要包括高斯混合模型、膚色模型、可變輪廓模型、支持向量機(jī)以及深度神經(jīng)網(wǎng)絡(luò)(CNN，ResNet，U-net)等。評價(jià)指標(biāo)主要采用準(zhǔn)確率、精確度、MIoU值、PA值等。應(yīng)用領(lǐng)域以中醫(yī)望診和生物特征識別為主。雖然基于深度學(xué)習(xí)的中醫(yī)圖像分割方法克服了面部、舌體、手掌等形態(tài)、光照、顏色多種因素的分割挑戰(zhàn)，能夠?qū)崿F(xiàn)開放環(huán)境靜態(tài)人臉等的精準(zhǔn)快速分割，但是這些方法只考慮了單獨(dú)的面部器官，導(dǎo)致診斷結(jié)果不準(zhǔn)確和有偏倚。在后續(xù)的研究中，應(yīng)該更側(cè)重于基于中醫(yī)整體觀原理的混合結(jié)構(gòu)，以同時(shí)檢測和分割多個(gè)面部成分。

表1 圖像處理在中醫(yī)望診圖像分割中的應(yīng)用Table 1 Application of image processing in segmentation of observation images of TCM

2.2 中醫(yī)智能疾病診療與預(yù)測

面對大量復(fù)雜的中醫(yī)圖像信息和持續(xù)增長的中醫(yī)診療需求，常規(guī)基于中醫(yī)師經(jīng)驗(yàn)的望診暴露出的工作負(fù)荷大、客觀化程度低、標(biāo)準(zhǔn)不統(tǒng)一、效率低等諸多缺點(diǎn)愈加明顯。而圖像處理技術(shù)在處理大數(shù)據(jù)和復(fù)雜非確定性數(shù)據(jù)、深入挖掘數(shù)據(jù)潛在信息等方面有著超越人類的優(yōu)勢。運(yùn)用計(jì)算機(jī)視覺技術(shù)解讀中醫(yī)圖像，幫助醫(yī)生定位病灶，輔助診斷，輔助治療，可以有效彌補(bǔ)其中的缺口，減輕醫(yī)生負(fù)荷，提高診療效率。

在智能疾病診斷方面，中醫(yī)望診為目前疾病診斷提供了一種高效的、無創(chuàng)的方法。因此，研究者們在基于中醫(yī)圖像的智能診斷方面做了很多工作。前期的許多著作中都著重研究了基于人體表特征(包括臉，舌，眼睛，手掌等)的疾病診斷[54-56]，證實(shí)了無創(chuàng)方法的優(yōu)越性和合理性。KIM et al[57]提出了一種利用面部圖像周圍的顏色分布的心臟病診斷系統(tǒng)。同樣，另一項(xiàng)基于人臉圖像的工作[58]在肝炎患者中進(jìn)行了檢測，平均準(zhǔn)確率達(dá)到73.6%.隨著深度學(xué)習(xí)算法成為基于中醫(yī)圖像的疾病診斷和預(yù)測的一個(gè)很有前景的工具，MA et al[6]提出了一種通過自然舌象自動(dòng)識別舌體構(gòu)造的系統(tǒng)框架，設(shè)計(jì)了深度卷積神經(jīng)網(wǎng)絡(luò)用于舌苔檢測、舌苔標(biāo)定和舌體構(gòu)造識別。在該系統(tǒng)框架下，提出了一種新的復(fù)雜性感知(complex perception，CP)分類方法，用于中醫(yī)體質(zhì)識別。2019年，發(fā)表在《自然·醫(yī)學(xué)》的一篇文章中表示[59]，人工智能在接受上萬張真實(shí)患者面部圖像訓(xùn)練后，能夠以高準(zhǔn)確率識別罕見的遺傳綜合征。中國醫(yī)學(xué)科學(xué)院阜外醫(yī)院鄭哲教授聯(lián)合全國9家醫(yī)院與清華大學(xué)自動(dòng)化系季向陽教授團(tuán)隊(duì)，開發(fā)并驗(yàn)證了一種基于人臉照片的深度學(xué)習(xí)算法，用于評價(jià)面部特征與冠狀動(dòng)脈疾病(CAD)風(fēng)險(xiǎn)的關(guān)系。結(jié)果表明，基于臉部照片的深度學(xué)習(xí)算法可以幫助中國人群的冠心病檢測[60]。這項(xiàng)技術(shù)有望應(yīng)用于門診冠心病的風(fēng)險(xiǎn)評估，以及社區(qū)冠心病患者的篩查，值得進(jìn)一步研究開發(fā)為臨床可用的輔助工具。ZHANG et al[7]提出了一種漸進(jìn)可訓(xùn)練的雙堆棧神經(jīng)網(wǎng)絡(luò)(DsNet)，通過分析候選人的面部圖像，同時(shí)區(qū)分慢性腎病、糖尿病患者和健康人。第一堆疊子網(wǎng)絡(luò)有效地提取了人臉圖像的高級代表性特征；第二個(gè)堆疊子網(wǎng)絡(luò)可以進(jìn)一步分析從第一個(gè)堆疊子網(wǎng)絡(luò)中提取的高級特征，從而同時(shí)對健康個(gè)體的兩種疾病進(jìn)行分類，精確度可達(dá)97.8%.但大多只針對單一部位圖片進(jìn)行診斷，后續(xù)的研究應(yīng)側(cè)重于不同部位圖像數(shù)據(jù)的聯(lián)合表示，并利用它們之間的相關(guān)性，提高整體分類性能。

在自動(dòng)化治療方面，部分研究者開始研究挖掘病人望診信息和中醫(yī)處方之間的關(guān)系，以期實(shí)現(xiàn)自動(dòng)化的中醫(yī)處方生成與推薦。LIAO et al[61]設(shè)計(jì)了一種基于三粒度人臉的多尺度卷積神經(jīng)網(wǎng)絡(luò)，從面部器官、局部區(qū)域和整個(gè)人臉中挖掘患者的人臉信息，使用深度學(xué)習(xí)方法來挖掘面部信息與中藥方劑之間的關(guān)系，并根據(jù)患者的面部圖像構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)來生成中藥方劑。HU et al[62]設(shè)計(jì)了一種用于構(gòu)建處方的深度神經(jīng)網(wǎng)絡(luò)框架。它包括單/雙卷積通道和完全連接層用于舌象特征編碼，提出輔助治療主題損失機(jī)制，對中醫(yī)的治療進(jìn)行建模，減輕稀疏輸出標(biāo)簽對結(jié)果多樣性的干擾。實(shí)驗(yàn)使用真實(shí)的舌象和相應(yīng)的處方，結(jié)果可以生成接近真實(shí)樣本的處方。WEN et al[63]首先構(gòu)建一個(gè)較大的舌象數(shù)據(jù)庫，每個(gè)圖像對應(yīng)一個(gè)處方；然后利用自動(dòng)編碼器對舌象進(jìn)行特征提取，在此基礎(chǔ)上提出推薦神經(jīng)網(wǎng)絡(luò)來推薦處方中的藥草；最后，提出了一種新的處方生成方法，從推薦的草藥中選擇最佳的草藥形成最終的處方。

然而，由于中醫(yī)望診自身的復(fù)雜性和計(jì)算機(jī)圖像處理相關(guān)技術(shù)未完全成熟，尚有一些問題待進(jìn)一步探討和解決，目前中醫(yī)圖像智能診療面臨諸多的困難和挑戰(zhàn)，如對人臉、舌、手的原始圖像限制諸多，在現(xiàn)實(shí)生活中只有在特定的情況下才會得到實(shí)驗(yàn)的樣本圖片，沒有特定的圖像采集設(shè)備，可獲得的數(shù)據(jù)光線、背景等無法得到統(tǒng)一，導(dǎo)致普通模型的泛化性弱；其次，面部照片中很容易提取出一些敏感的健康記錄數(shù)據(jù)，這種傳播使得這里討論的技術(shù)對個(gè)人數(shù)據(jù)保護(hù)構(gòu)成了重大威脅，直接涉及個(gè)人隱私，易觸發(fā)倫理糾紛、肖像權(quán)糾紛等問題。未來的臨床應(yīng)用研究應(yīng)更加注意隱私保護(hù)以及其他社會影響，以確保該工具單純用于醫(yī)療目的。表2詳細(xì)描述了圖像處理技術(shù)在中醫(yī)疾病診療中的應(yīng)用，研究對象包括舌診、面診，任務(wù)類型包括中醫(yī)體質(zhì)分類、疾病診斷、處方生成等，研究方法包括CNN、DCNN、雙棧式自編碼網(wǎng)絡(luò)以及多層感知器等。

3 圖像處理技術(shù)在中藥材鑒別中的應(yīng)用

中草藥作為中醫(yī)的一部分，不僅在治療疾病方面有卓越的表現(xiàn)，而且在中醫(yī)理論體系的指導(dǎo)下還可以調(diào)理身體，因此逐漸成為人們生活的一部分。然而，一方面中藥材種類繁多、數(shù)據(jù)量稀少，且很多藥材形狀、名稱、顏色等極為相似，由于缺乏專業(yè)的設(shè)備和知識，非專業(yè)人員難以準(zhǔn)確識別中藥材，因此對中藥材識別工具寄予厚望。另一方面，一部分商人受利益的驅(qū)使，制造和銷售假冒偽劣產(chǎn)品，中藥材摻假、摻雜、以假亂真、以次充好等現(xiàn)象屢見不鮮，直接危害到人民群眾臨床用藥的安全性和有效性。利用圖像處理方法，可以通過中藥材圖片識別藥材種類、鑒別藥材真?zhèn)?、評估藥材質(zhì)量等，具有可操作性、可重復(fù)性和價(jià)廉的優(yōu)點(diǎn)。

3.1 中藥材識別

中藥圖像識別面臨兩個(gè)問題：1) 一些中草藥屬于不同的物種，根據(jù)全局形狀特征容易被分類，如圖2所示。例如，砂仁和甘草在整體形狀上有很大的不同，因此可以很容易地根據(jù)形狀特征進(jìn)行分類。2) 還有一些形狀相似的中草藥屬于同一種，需要更細(xì)粒度的特征來進(jìn)行識別。

表2 圖像處理在中醫(yī)疾病診療中的應(yīng)用Table 2 Application of image processing in TCM disease diagnosis and treatment

對于不同種類草藥識別，KAN et al[64]針對人工分類方法在識別藥用植物時(shí)存在的局限性，提出了一種基于形狀特征和紋理特征的藥用植物葉片圖像自動(dòng)分類方法，為藥用植物分類體系的研究和發(fā)展提供了一個(gè)有價(jià)值的理論框架。SUN et al[65]提出了基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的中藥圖像識別和檢索方法。對于識別問題，作者利用softmax損失對識別網(wǎng)絡(luò)進(jìn)行優(yōu)化；對于檢索問題，再微調(diào)識別網(wǎng)絡(luò)通過添加一個(gè)三元損失搜索最相似的醫(yī)學(xué)圖像。ZHANG et al[66]設(shè)計(jì)一種以深度卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的分類系統(tǒng)，應(yīng)用于植物物種識別中，在植物物種數(shù)據(jù)集上取得最先進(jìn)的性能。SUN et al[67]采用VGG16網(wǎng)絡(luò)對選取的50種復(fù)雜背景下的中藥材飲片進(jìn)行分類識別，最終分類識別效果較為理想。中草藥數(shù)目龐大，同一類型草藥同一狀態(tài)下不同視角圖像，以及其每個(gè)成長階段的形狀顏色等均有變化；其次，很多中草藥極為相似，如何進(jìn)行進(jìn)一步的區(qū)分與辨別，給基于圖像的中草藥準(zhǔn)確識別中帶來巨大挑戰(zhàn)。

對于同一種類相似中藥材識別，不同于常規(guī)的圖像識別或細(xì)粒度圖像識別，前者關(guān)注全局語義信息，如輪廓和形狀，而后者需要更詳細(xì)的局部信息。如圖2中的巴豆和蒼耳，它們在細(xì)節(jié)上只有少許差異。因此，中藥識別可轉(zhuǎn)化為一個(gè)多粒度的任務(wù)。一般情況下，僅使用單尺度特征很難兼顧以上兩種情況，因?yàn)槌Ｒ?guī)的CNN無法自適應(yīng)檢測尺度，需要考慮多尺度特征，并自適應(yīng)地強(qiáng)調(diào)對不同藥材有效的相應(yīng)尺度。如XU et al[68]從建立一個(gè)新的中草藥標(biāo)準(zhǔn)數(shù)據(jù)集開始，提出了一種新的用于中藥識別的注意力金字塔網(wǎng)絡(luò)(attention pyramid network，APN)，能夠?qū)Σ煌卣鞒叨鹊闹胁菟巿D像進(jìn)行自適應(yīng)建模，并將其應(yīng)用于中藥識別中。

圖2 不同種類草藥Fig.2 Different kinds of herb

3.2 中藥材鑒定

中藥材品質(zhì)的保證是中藥質(zhì)量標(biāo)準(zhǔn)的關(guān)鍵環(huán)節(jié)，但中藥材以次充好、以假亂真、濫用農(nóng)肥的現(xiàn)象屢見不鮮，中藥質(zhì)量控制一直是中藥現(xiàn)代化急需解決的關(guān)鍵問題。

目前，圖像模式識別技術(shù)已經(jīng)在中藥材鑒定中得到了廣泛應(yīng)用，該技術(shù)主要是利用被測中藥材圖像的密度、幾何形狀、色彩特征、密度等因子參數(shù),實(shí)現(xiàn)對正規(guī)中藥材不同等級以及炮制品的對比，同時(shí)揭示出中藥材本身的數(shù)值分類，通過海量的數(shù)據(jù)內(nèi)容歸類出相應(yīng)的規(guī)律、特征，并構(gòu)建出圖像識別鑒定標(biāo)準(zhǔn)，為相近藥材鑒定、炮制品鑒定提供可靠數(shù)據(jù)參考。如王丹等[69]利用Image-proplus和圖像處理技術(shù)，對來自寧夏、青海和新疆三個(gè)產(chǎn)區(qū)共90份枸杞子樣品的形狀性質(zhì)等各項(xiàng)指標(biāo)進(jìn)行綜合評價(jià)，結(jié)果顯示，三個(gè)產(chǎn)區(qū)枸杞子藥材在形狀、重量、面積和顏色等外觀性狀方面均有一定差別，為中藥材的規(guī)格等級劃分提供新的思路和參考。張喜紅等[70]以西洋參為例，在百度人工智能開放平臺提供的EasyDL定制化圖像識別服務(wù)的基礎(chǔ)上，設(shè)計(jì)了一種基于圖像識別技術(shù)的中藥材品鑒助手系統(tǒng)，實(shí)現(xiàn)了中藥材的等級分析。實(shí)驗(yàn)測試結(jié)果顯示，在白紙背景下拍照分析的識別正確率高達(dá)95%，能滿足實(shí)際使用的要求。

在實(shí)際應(yīng)用中，除了基于圖像的鑒別方法之外，還需依據(jù)“望、聞、嘗、摸、水、火”等的經(jīng)驗(yàn)鑒別法，以及分子鑒別法、化學(xué)鑒別法、形態(tài)鑒別法、生物效應(yīng)鑒別法等方法，后續(xù)的研究可以對多模態(tài)鑒別數(shù)據(jù)和圖像信息進(jìn)行結(jié)合，通過紋理、顏色、氣味等感官特征分析，將一些非圖像信息加入考慮范圍內(nèi)，提高鑒別的準(zhǔn)確性。表3詳細(xì)描述了圖像處理在中藥材鑒別中的應(yīng)用，研究對象包括植物葉片、中藥飲片等，研究方法包括SVM、CNN、DCNN、VGG16以及APN等。

表3 圖像處理在中藥材鑒別中的應(yīng)用Table 3 Application of image processing in the identification of Chinese medicinal materials

4 數(shù)字化經(jīng)絡(luò)模型三維重建與可視化技術(shù)

經(jīng)絡(luò)是運(yùn)行氣血、聯(lián)系臟腑和體表及全身各部的通道，是人體功能的調(diào)控系統(tǒng)。經(jīng)絡(luò)學(xué)也是人體針灸和按摩的基礎(chǔ)，是中醫(yī)學(xué)的重要組成部分。人體內(nèi)經(jīng)絡(luò)穴位數(shù)目龐大，錯(cuò)綜復(fù)雜，隨著計(jì)算機(jī)技術(shù)、多媒體技術(shù)與三維虛擬技術(shù)的發(fā)展，研究者通過構(gòu)建可視化三維模型，直觀、準(zhǔn)確、動(dòng)態(tài)地展示人體經(jīng)絡(luò)穴位，觀察腧穴相關(guān)的空間解剖結(jié)構(gòu)及毗鄰結(jié)構(gòu)，顯示針灸關(guān)鍵點(diǎn)，模擬不同中醫(yī)療法循經(jīng)傳感過程，提高教學(xué)及臨床可靠性與安全性。

4.1 基于圖像的穴位定位

準(zhǔn)確定位人體穴位是經(jīng)絡(luò)模型重建與可視化的基礎(chǔ)。早期的研究雖然未能明確指明應(yīng)用于中醫(yī)腧穴的識別與定位，但是與之相似的人體關(guān)鍵點(diǎn)檢測算法與模型已有很多研究。

人體關(guān)鍵點(diǎn)識別一般包含手部關(guān)鍵點(diǎn)識別，人體骨骼關(guān)鍵點(diǎn)識別以及面部關(guān)鍵點(diǎn)識別。對于手部關(guān)鍵點(diǎn)的識別，TOMPSON et al[71]提出了一種基于模型的方法，最終可以實(shí)現(xiàn)實(shí)時(shí)跟蹤手的全部關(guān)節(jié)點(diǎn)，并且可以達(dá)到25 f/s，但該方法有一定局限性，對復(fù)雜手勢的關(guān)鍵點(diǎn)識別率低?？突仿〈髮W(xué)實(shí)驗(yàn)室公布了開源項(xiàng)目Openpose，為手部關(guān)鍵點(diǎn)識別提供新思路。在此基礎(chǔ)上，CVPR 2019大會上谷歌發(fā)布了一種新的手部感知方法，該方法通過機(jī)器學(xué)習(xí)，從單幀圖像中推斷出一只手的21個(gè)3D關(guān)鍵點(diǎn)，并且能夠?qū)崟r(shí)獲取關(guān)鍵點(diǎn)數(shù)據(jù)，從而提供了高保真的手掌關(guān)鍵點(diǎn)檢測以及手部和手指跟蹤[72]。

對于人臉關(guān)鍵點(diǎn)的識別，2013年，F(xiàn)ace++在DCNN模型上進(jìn)行改進(jìn)，提出從粗到精的人臉關(guān)鍵點(diǎn)檢測算法[73]，該算法并行的采用兩個(gè)級聯(lián)的CNN進(jìn)行關(guān)鍵點(diǎn)檢測，實(shí)現(xiàn)了68個(gè)人臉關(guān)鍵點(diǎn)的高精度定位。2016年，ZHANG et al[74]提出一種多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(multi-task cascaded convolutional networks，MTCNN)用以同時(shí)處理面部檢測和面部關(guān)鍵點(diǎn)定位問題。作者認(rèn)為人臉檢測和人臉關(guān)鍵點(diǎn)檢測兩個(gè)任務(wù)之間往往存在著潛在的聯(lián)系，然而大多數(shù)方法都未將兩個(gè)任務(wù)有效地結(jié)合起來，本文為了充分利用兩任務(wù)之間潛在的聯(lián)系，提出一種多任務(wù)級聯(lián)的人臉檢測框架，將人臉檢測和人臉關(guān)鍵點(diǎn)檢測同時(shí)進(jìn)行。

人體骨骼關(guān)鍵點(diǎn)檢測是諸多計(jì)算機(jī)視覺任務(wù)的基礎(chǔ)，廣泛應(yīng)用于動(dòng)作分類、行為識別以及無人駕駛等領(lǐng)域。傳統(tǒng)的人體骨骼關(guān)鍵點(diǎn)檢測算法基本上都是在幾何先驗(yàn)的基礎(chǔ)上基于模版匹配的思路來進(jìn)行。Pictorial Structure[75]是其中一個(gè)較為經(jīng)典的算法思路，主要包含兩個(gè)部分，單元模版(Unary Templates)和模版關(guān)系(Pairwise Springs)，對于模版關(guān)系，提出了著名的彈簧形變模型，即對部件模型與整體模型的相對空間位置關(guān)系進(jìn)行建模，利用了物體的一些空間先驗(yàn)知識，既合理約束了整體模型和部件模型的空間相對位置，又保持了一定的靈活性。Convolutional Pose Machines[76]首次提出將深度學(xué)習(xí)應(yīng)用于人體關(guān)鍵點(diǎn)檢測及姿態(tài)分析，同時(shí)用卷積圖層表達(dá)紋理信息和空間信息。主要網(wǎng)絡(luò)結(jié)構(gòu)分為多個(gè)階段，其中第一個(gè)階段會產(chǎn)生初步的關(guān)鍵點(diǎn)的檢測效果，接下來的幾個(gè)階段均以前一個(gè)階段的預(yù)測輸出和從原圖提取的特征作為輸入，進(jìn)一步提高關(guān)鍵點(diǎn)的檢測效果。CHEN et al[77]提出了一種基于級聯(lián)金字塔網(wǎng)絡(luò)(cascaded pyramid network，CPN)結(jié)構(gòu)的人體關(guān)鍵點(diǎn)檢測框架。整體框架分為兩個(gè)階段：GlobalNet和RefineNet.其中GlobalNet主要負(fù)責(zé)檢測容易檢測和較難檢測的關(guān)鍵點(diǎn)，通過進(jìn)一步更高層的語義信息來解決較難檢測的關(guān)鍵點(diǎn)問題；RefineNet主要解決更難或者不可見關(guān)鍵點(diǎn)的檢測，這里對關(guān)鍵點(diǎn)進(jìn)行難易程度進(jìn)行界定主要體現(xiàn)在關(guān)鍵點(diǎn)的訓(xùn)練損失上。人體關(guān)鍵點(diǎn)檢測定位至今仍然是計(jì)算機(jī)視覺領(lǐng)域較為活躍的一個(gè)研究方向，并且算法已經(jīng)達(dá)到較為完美的效果。這為基于關(guān)鍵點(diǎn)識別的中醫(yī)腧穴定位奠定了堅(jiān)實(shí)的理論基礎(chǔ)。

在以上關(guān)鍵點(diǎn)模型的基礎(chǔ)上，JIANG et al[78]設(shè)計(jì)了一種用于醫(yī)院和針灸培訓(xùn)和治療的針灸輔助系統(tǒng)。該系統(tǒng)首先利用穴位在基底面上的相對位置獲取笛卡爾坐標(biāo)系中的穴位坐標(biāo)。然后，將虛擬穴位構(gòu)建為球體，地圖生成器構(gòu)建基于圖形的三維臉部穴位地圖。最后，增強(qiáng)現(xiàn)實(shí)(Augmented Reality, AR)系統(tǒng)將現(xiàn)實(shí)世界中的人臉與虛擬針灸地圖結(jié)合起來，通過谷歌眼鏡的投影屏幕向用戶顯示增強(qiáng)視圖。CHANG et al[79]實(shí)現(xiàn)了一種基于“寸”的定位系統(tǒng)，將地標(biāo)之間的相對距離由像素轉(zhuǎn)換為寸，假設(shè)發(fā)際線與眉毛之間的距離為3寸?？梢愿鶕?jù)其與某個(gè)地標(biāo)點(diǎn)的相對距離(以寸為單位)來確定穴位的位置。王聰?shù)萚80]提出了采用深度學(xué)習(xí)方法進(jìn)行關(guān)鍵點(diǎn)定位，再根據(jù)骨度分寸法定位出穴位位置，并計(jì)算穴位點(diǎn)與特征點(diǎn)之間的轉(zhuǎn)換矩陣，最后對穴位進(jìn)行深度估計(jì)，為針灸機(jī)器人的運(yùn)動(dòng)控制提供目標(biāo)穴位的三維位置信息。LAN et al[81]提出了一種利用關(guān)鍵點(diǎn)和三維變形模型(3DMM)進(jìn)行穴位定位的新方法。該系統(tǒng)定位誤差約為2.4 mm，估計(jì)精度比之前穴位定位方法高出170%。在Android手機(jī)上實(shí)現(xiàn)了一個(gè)原型系統(tǒng)。在癥狀較輕的情況下(如頭痛、睡眠障礙等)，患者借助該系統(tǒng)，患者可以快速找到相應(yīng)的穴位進(jìn)行推拿。

4.2 經(jīng)絡(luò)腧穴可視化

人體經(jīng)絡(luò)腧穴三維可視化系統(tǒng)中經(jīng)絡(luò)循行路線及腧穴的選擇與定位標(biāo)準(zhǔn)主要源于世界衛(wèi)生組織西太平洋地區(qū)事務(wù)處頒布的《世界衛(wèi)生組織標(biāo)準(zhǔn)針灸經(jīng)穴定位》及《腧穴名稱與定位》(GB 12346-2006)；全國中醫(yī)藥行業(yè)高等教育“十二五”規(guī)劃教材《針灸學(xué)》系列及中醫(yī)藥學(xué)高級叢書《針灸學(xué)》；世界衛(wèi)生組織標(biāo)準(zhǔn)針灸穴位掛圖；《中國針灸穴位通鑒》等。

目前，已有部分學(xué)者對三維經(jīng)絡(luò)和腧穴結(jié)構(gòu)等進(jìn)行了相關(guān)研究，如基于3DMax技術(shù)和人體解剖切片圖像數(shù)據(jù)建立穴位和經(jīng)絡(luò)三維可視化模型[82-83]。莊天戈等[84]以中醫(yī)理念為指導(dǎo)，以VHP數(shù)據(jù)及VOXEL-MAN三維體視化模型為基礎(chǔ)，建立了腧穴定位及針刺方向的可描述模型，該模型包括利用三維可視化方法建立的空間模型，以及組織成為層次型文本知識體系的解釋模型，實(shí)現(xiàn)了基于中醫(yī)理念的顯示腧穴三維形態(tài)的可視人模型電子解剖圖譜。ZHU et al[85]利用三維虛擬技術(shù)構(gòu)建人體經(jīng)絡(luò)、穴位可視化三維模型，整合現(xiàn)有相關(guān)標(biāo)準(zhǔn)和臨床知識，實(shí)現(xiàn)跨平臺的三維可視化系統(tǒng)。HONG et al[9]提出了一種三維經(jīng)穴識別與投影系統(tǒng)。以中醫(yī)經(jīng)絡(luò)理論為基礎(chǔ)，融合了3D機(jī)器視覺和投影技術(shù)，實(shí)現(xiàn)了人體的三維重建、腧穴的識別與標(biāo)注、經(jīng)穴在人體表面的同步投影。

針對經(jīng)絡(luò)腧穴重建與可視化的國內(nèi)外研究比較少，且均為國內(nèi)學(xué)者，在國際上并未得到廣泛的認(rèn)可。其次，尚未有系統(tǒng)的研究方法及理論，也未能依據(jù)中醫(yī)經(jīng)絡(luò)理論進(jìn)行動(dòng)態(tài)的循經(jīng)傳導(dǎo)模擬與重建。

表4 圖像處理在中醫(yī)經(jīng)絡(luò)腧穴重建中的應(yīng)用Table 4 Application of image processing in reconstruction of meridians and acupoints in TCM

5 問題及展望

綜上所述可以看出，計(jì)算機(jī)圖像處理技術(shù)在中醫(yī)望診、中草藥鑒別以及經(jīng)絡(luò)腧穴可視化等方面都有杰出表現(xiàn)，為在中醫(yī)信息化與現(xiàn)代化應(yīng)用提供了重要的理論基礎(chǔ)和技術(shù)支撐，對全病種都具有很強(qiáng)的應(yīng)用前景。然而，智能中醫(yī)圖像高速發(fā)展的背后依舊存在許多問題。

1) 缺少統(tǒng)一的、開放的、高質(zhì)量標(biāo)注的數(shù)據(jù)集。目前基于深度學(xué)習(xí)的算法在圖像處理領(lǐng)域應(yīng)用越來越成熟，效果往往優(yōu)于傳統(tǒng)的圖像處理技術(shù)，但深度學(xué)習(xí)算法大多是有監(jiān)督的學(xué)習(xí)，即需要大量已精確標(biāo)記的訓(xùn)練數(shù)據(jù)，但是標(biāo)記中醫(yī)醫(yī)學(xué)數(shù)據(jù)依賴中醫(yī)師的專業(yè)知識，耗時(shí)耗力，而公開數(shù)據(jù)集的訓(xùn)練數(shù)據(jù)往往數(shù)量少、質(zhì)量差，單一機(jī)構(gòu)的小樣本數(shù)據(jù)訓(xùn)練出來的模型存在過擬合或者魯棒性和推廣性差的問題，難以臨床轉(zhuǎn)化和商業(yè)使用。

2) 大部分是端到端的輸入輸出形式，決策過程透明度較差，利用深度學(xué)習(xí)方法得到的模型存在“黑匣子”問題，理論支撐薄弱，可解釋性較差。

3) 中醫(yī)主要的思想是“天人合一”，診斷過程中融合“望聞問切”多模態(tài)數(shù)據(jù)以及不同患者體質(zhì)、生活環(huán)境等多種因素，但是目前不同診法設(shè)備分類標(biāo)準(zhǔn)不統(tǒng)一的中醫(yī)計(jì)算機(jī)圖像處理仍停留在單一模態(tài)，單一目標(biāo)部位，無法全面建模傳統(tǒng)中醫(yī)的診療模式。

因此，如何解決上述問題將成為當(dāng)前的研究熱點(diǎn)。首先，針對數(shù)據(jù)集不完善的問題，一方面，期刊可以加大數(shù)據(jù)集論文的支持力度，擴(kuò)大訓(xùn)練集的樣本量；另一方面，可以通過生成對抗網(wǎng)絡(luò)(generative adversarial nets，GAN)等數(shù)據(jù)增強(qiáng)方式，以多種算法組合為構(gòu)架，并運(yùn)用降維方法縮小訓(xùn)練所需要的樣本量，在一定程度上解決樣本量和醫(yī)生標(biāo)注效率低的問題。其次，針對直接使用端到端的神經(jīng)網(wǎng)絡(luò)得出的結(jié)果使網(wǎng)絡(luò)的可解釋性較差，可通過可視化、參數(shù)分析以對比實(shí)驗(yàn)去解釋，如不同卷積層特征激活圖、各通道的貢獻(xiàn)及訓(xùn)練中梯度可視化等等，后期研究可僅在特征提取階段應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)模型，再使用理論基礎(chǔ)更強(qiáng)的算法作為后端處理。最后，針對中醫(yī)圖像處理數(shù)據(jù)模態(tài)單一，無法全面建模中醫(yī)辯證模式問題，后續(xù)研究可考慮結(jié)合自然語言處理、語音識別等方法，從多源數(shù)據(jù)融合角度，將四診信息全面有機(jī)結(jié)合，實(shí)現(xiàn)基于多模態(tài)信息融合的智能中醫(yī)診療?；趫D像處理方法的智能中醫(yī)診療與更多無創(chuàng)、高效的多模態(tài)客觀化信息采集技術(shù)(如脈象采集傳感技術(shù))的結(jié)合，將在精準(zhǔn)醫(yī)療的發(fā)展中發(fā)揮重要作用。

6 結(jié)束語

計(jì)算機(jī)圖像處理技術(shù)將作為新一代中醫(yī)診療技術(shù)發(fā)展，推動(dòng)中醫(yī)藥的智能化發(fā)展與經(jīng)驗(yàn)傳承的重要工具，目前圖像處理技術(shù)在中醫(yī)的應(yīng)用更偏重于面診和舌診中，涉及的主要技術(shù)有圖像邊緣提取、目標(biāo)檢測與識別、區(qū)域分割、顏色矯正、特征提取、圖像去噪、三維重建等，而中醫(yī)智能化進(jìn)展需要的遠(yuǎn)不止這些。大量標(biāo)準(zhǔn)統(tǒng)一，標(biāo)注完善的圖像數(shù)據(jù)的獲取、多中心的研究驗(yàn)證、決策過程和診斷依據(jù)的可視化及第三方評價(jià)體系的建立尤為關(guān)鍵。此外，智能中醫(yī)藥圖像處理技術(shù)的發(fā)展不僅需要大數(shù)據(jù)技術(shù)和各種傳感成像技術(shù)的深度融合、計(jì)算機(jī)人才與中醫(yī)藥人才的融合，還需要以中醫(yī)學(xué)問題和臨床結(jié)果為導(dǎo)向，解決在診斷前、診斷中和治療后實(shí)現(xiàn)ROI區(qū)域精準(zhǔn)分割、智能辯證施治、中草藥的標(biāo)準(zhǔn)化等方面的研究及應(yīng)用問題。