孫鑫，錢會南

（北京中醫(yī)藥大學(xué)中醫(yī)學(xué)院北京100029）

基于深度卷積網(wǎng)絡(luò)的中藥飲片圖像識別＊

孫鑫，錢會南＊＊

（北京中醫(yī)藥大學(xué)中醫(yī)學(xué)院北京100029）

目的：利用計(jì)算機(jī)深度學(xué)習(xí)實(shí)現(xiàn)對中藥飲片二維圖像的自動化識別的研究具有重要實(shí)用價值，可廣泛應(yīng)用于醫(yī)療、生產(chǎn)和教學(xué)等領(lǐng)域。既往多采用傳統(tǒng)的提取圖像中的底層特征的方法來進(jìn)行識別，然而這種方法不能在復(fù)雜背景的圖像條件下給出魯棒的識別結(jié)果。因此，中藥飲片圖像識別需要更高級別的圖像表達(dá)方法。方法：構(gòu)建包含50種常見中藥飲片圖像數(shù)據(jù)庫，共2 554張圖像，作為模型的訓(xùn)練與測試對象，并運(yùn)用Softmax損失訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)。結(jié)果：卷積神經(jīng)網(wǎng)絡(luò)在所有測試的50種中藥飲片圖像中可以實(shí)現(xiàn)70%的平均識別精度。結(jié)論：卷積神經(jīng)網(wǎng)絡(luò)在多個飲片相互遮擋并帶有復(fù)雜背景情況下較為理想，未來具有一定應(yīng)用前景。

中藥飲片圖像識別深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)

中藥飲片是中醫(yī)臨床方劑的基本組成部分，也是中成藥的基本原料。中藥飲片種類繁多，臨床應(yīng)用和生產(chǎn)過程中，對其逐一快速地識別并進(jìn)行初步分類的難度和工作量較大。傳統(tǒng)的中藥飲片在實(shí)際應(yīng)用時，對其快速識別大多依靠具有中藥相關(guān)知識的專業(yè)人員的感官評估和經(jīng)驗(yàn)判斷，該方法效率不高且仍有誤判風(fēng)險。隨著人工智能技術(shù)的發(fā)展，深度學(xué)習(xí)技術(shù)也取得了突飛猛進(jìn)的進(jìn)步。由于深度學(xué)習(xí)具有很強(qiáng)的圖像表達(dá)能力和很好的泛化性，因此受到國內(nèi)外學(xué)者的廣泛關(guān)注。目前，關(guān)于中藥飲片圖片識別的研究主要借助的是人工設(shè)計(jì)的底層圖像特征，包括形狀、顏色和紋理等[1-4]。但這些研究主要有兩個局限性：①他們使用的中藥飲片圖像均為無背景、單飲片的圖像，這種過于理想化的實(shí)驗(yàn)情景和樣本，與現(xiàn)實(shí)場景中大量具有復(fù)雜背景、多片飲片、相互遮擋的現(xiàn)實(shí)場景圖像不符，因此既往研究很難應(yīng)用于實(shí)際應(yīng)用；②在復(fù)雜的現(xiàn)實(shí)場景和背景下，底層特征是直接取自圖片像素而不具有高層語義的特征信息，因此這些特征很容易隨著背景的急劇改變而變化，不能作為可靠的識別特征。

為彌補(bǔ)上述不足，提高中藥飲片圖片識別和搜索的準(zhǔn)確率，本文設(shè)計(jì)了更加完善的深度學(xué)習(xí)模型——卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來實(shí)現(xiàn)中藥飲片圖像的識別。同時，建立復(fù)雜背景下常見中藥飲片圖像數(shù)據(jù)庫，為未來研究提供樣本數(shù)據(jù)庫。

1 方法原理

在圖像識別領(lǐng)域，CNN已經(jīng)成為一種高精度的識別方法[5，6]，極大地推進(jìn)了計(jì)算機(jī)視覺領(lǐng)域的圖像識別能力。基于神經(jīng)網(wǎng)絡(luò)的深層結(jié)構(gòu)，CNN可以提取圖像的高層表達(dá)，這些表達(dá)能夠?qū)Σ煌N類的圖片進(jìn)行區(qū)分，并減弱背景變化的影響。因此，CNN可完善上述研究中所使用技術(shù)的局限性，提高識別率，拓寬實(shí)際應(yīng)用范圍。目前尚未見到有關(guān)于應(yīng)用CNN技術(shù)對中藥飲片圖片進(jìn)行識別的相關(guān)研究。

2 材料與方法

2.1 材料

50種常見中藥材飲片真實(shí)世界復(fù)雜背景下原始圖像，每種藥材飲片圖像根據(jù)檢索及篩去重復(fù)圖像所得實(shí)際情況保留30-90張不等，每張圖片所包含飲片數(shù)量、背景復(fù)雜程度、色彩、分辨率、大小不限。50種常見中藥材包括桂枝、生姜、蒼耳子、辛夷、黃連、薄荷、牛蒡子、桑葉、菊花、蟬蛻、粉葛根、柴胡、升麻、浮萍、黃柏、知母、蘆根、天花粉、梔子、決明子、連翹、板藍(lán)根、金銀花、大黃、紅藤、生地黃、牡丹皮、橘皮、白薇、川楝子、枳實(shí)、木瓜、烏梢蛇、狗脊、厚樸、草果、茯苓、茵陳蒿、附子、肉桂、細(xì)辛、石膏、龍膽草、秦皮、貫眾、青蒿、蘆薈、丁香、佛手、芒硝。

圖1 數(shù)據(jù)庫中的部分中藥飲片圖像

2.2 方法

2.2.1 建立50種常見中藥飲片圖像數(shù)據(jù)庫

在中醫(yī)飲片圖像識別的研究領(lǐng)域中，目前還尚未見到關(guān)的數(shù)據(jù)庫公開，因此很難在同一個標(biāo)準(zhǔn)下評估不同方法。且之前的研究都只考慮了背景干凈的單一飲片圖像，然而這種實(shí)驗(yàn)設(shè)置過于理想，因此這些研究難以用于實(shí)際中。為了解決以上兩個問題，本研究建立了一個公開的中醫(yī)飲片圖像數(shù)據(jù)庫。

本研究選取了50種常見的中藥材，利用每種藥材的名字作為關(guān)鍵詞在百度搜索引擎中進(jìn)行搜索。對于每一類藥材，把檢索的前100個返回結(jié)果作為候選圖像。本研究仔細(xì)檢查每張圖像的有效性并只保留有效的圖像，每一類藥材的有效圖像數(shù)量為30-90張，目前得到了50類藥材共近2 554張中醫(yī)飲片圖像。與之前研究中的飲片圖像不同的是，數(shù)據(jù)庫中的大多數(shù)圖像都含有多個飲片，并且存在復(fù)雜背景和飲片相互遮擋的影響，因此這種圖像更適合實(shí)際應(yīng)用。圖1為已收集到的部分中藥飲片圖像的示例。待研究深入開展后計(jì)劃擴(kuò)充圖像至近萬張，完成后將公開該數(shù)據(jù)庫。

數(shù)據(jù)庫中的中藥飲片圖像是由互聯(lián)網(wǎng)獲取的真實(shí)環(huán)境中的圖像，其中含有多個飲片和復(fù)雜背景。在性能評估中，使用所有的類別。對于飲片圖像的識別問題，給出每一類的識別精度和所有類別的平均識別精度。該精度是由10次隨機(jī)訓(xùn)練樣本的結(jié)果平均所得到的。同時，研究不同訓(xùn)練樣本數(shù)量對測試樣本識別精度的影響，例如在50%至90%的訓(xùn)練樣本比例下。

2.2.2 設(shè)計(jì)訓(xùn)練CNN模型進(jìn)行中藥飲片圖像識別

卷積神經(jīng)網(wǎng)絡(luò)由不同種類的層所組成，其中有4種層是廣泛使用的，分別是卷積層、池化層、全連接層和損失層。它們的結(jié)構(gòu)分別是：①卷積層由濾波器所組成，這些濾波器被應(yīng)用在整個圖像捕捉局部信息；②池化層用于將圖像降采樣，它通常連接在卷積層的后面；③全連接層用于將卷積層捕捉到的局部信息統(tǒng)一，以得到全局的圖像語義信息。它通常連接在卷積層或池化層的后面，同時用于對圖像表達(dá)降維；④損失層是整個優(yōu)化模型的目標(biāo)函數(shù)，用于指導(dǎo)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，其中Softmax損失是圖像識別網(wǎng)絡(luò)中最常使用的。

由于卷積神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)很多，通常訓(xùn)練該模型需要大量的圖像數(shù)據(jù)。然而，數(shù)據(jù)庫中只有數(shù)千張標(biāo)注樣本，因此直接用這些樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)是行不通的。為了解決這個問題，一個方案就是利用之前已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型作為初始化，同時在該模型的基礎(chǔ)上學(xué)習(xí)一個新的模型。這種方法不需要很多的樣本，而且之前訓(xùn)練的模型可以較為容易的適應(yīng)本研究針對的問題。對于選取已經(jīng)訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型，本研究采用的是VGG16的模型，該模型是在ImageNet中訓(xùn)練得到的，其中該數(shù)據(jù)庫中有1 000類物體且超過120萬張圖像。由于VGG16采用了非常深的網(wǎng)絡(luò)結(jié)構(gòu)，該模型可以得到非常好的識別結(jié)果。在本研究的方法中，將VGG16網(wǎng)絡(luò)作為初始化網(wǎng)絡(luò)。VGG16網(wǎng)的結(jié)構(gòu)見表1，其中有6個主要階段，總共16個權(quán)重層（conv+FC）。

表1 VGG16網(wǎng)絡(luò)結(jié)構(gòu)的16個權(quán)重層（conv+FC）

圖2 VGG16模型的訓(xùn)練圖示

圖2 顯示了本研究如何訓(xùn)練softmax損失的CNN識別模型。在最后一個完全連接層中，本研究將神經(jīng)元的數(shù)量改為50，這等于該數(shù)據(jù)庫中的藥物類別的數(shù)量。該數(shù)據(jù)庫包含了可變分辨率圖像，但是本研究的網(wǎng)絡(luò)需要恒定的輸入維數(shù)。因此，本研究將圖像下采樣到固定分辨率224*224，這是VGG16網(wǎng)絡(luò)的輸入圖像大小。給定一個矩形圖像，本研究首先將圖像重新縮放為256*256，其中224*224的區(qū)域隨后被裁剪為輸入圖像。這樣，本研究可以大大增加訓(xùn)練圖像的數(shù)量，以便更好地訓(xùn)練CNN模型。

由圖2可知，最后的FC-4096層是給出固定圖像表達(dá)的完全連接層?？梢岳斫鉃椋壕矸e層旨在從局部圖像區(qū)域到整個圖像捕捉圖像特征，例如，較低的卷積層僅可提取角和邊緣的特征，隨著層級的升高，較高層可捕獲整個對象的信息。因此，該FC-4096層表示最有區(qū)分力的表達(dá)，可以去除所有可能的變異因素，例如形狀、尺寸。由下文中60%訓(xùn)練樣本下飲片圖像識別結(jié)果可以看出，雖然中藥在形狀和大小上有很大的不同，本研究仍然可以給出較為理想的分類精度。

3 結(jié)果與分析

CNN模型的中藥飲片圖像識別結(jié)果如圖3所示。該圖顯示了測試集中50種藥物類別的平均識別精度，訓(xùn)練樣本所占百分比從10%遞增至90%?？梢钥闯?，只有10%的訓(xùn)練圖像時，平均精度只有約45.15%，這受到訓(xùn)練樣本過少的限制。隨著訓(xùn)練樣本的百分比增加到50%，本研究的方法可以實(shí)現(xiàn)67.49%的平均精度。在訓(xùn)練樣本大多數(shù)是多飲片相互遮蔽的圖像的情況下這是較為理想的結(jié)果，表明該方法能夠在訓(xùn)練樣本量的較少情況下學(xué)習(xí)多數(shù)不同種類中藥之間的特征差別。隨著訓(xùn)練圖像得百分比增多，精度得到較大改善并且趨于穩(wěn)定。訓(xùn)練圖像為60%時，精度約為70.45%，訓(xùn)練圖像為90%時，精度約為70.57%?？梢娫谟?xùn)練樣本所占比例到達(dá)60%時，其平均識別精度趨于平穩(wěn)。該結(jié)果為今后識別問題研究提供了思路：對所有的訓(xùn)練圖像進(jìn)行標(biāo)記是不必要的，標(biāo)記60%的樣本已經(jīng)足夠了。這將在中藥飲片的圖像標(biāo)記行節(jié)省大量人力、物力。

圖4給出了正確識別的飲片圖像的一些示例，每行表示同一種中藥飲片的圖像?？梢钥吹剑m然這些圖像大多是多飲片圖像且背景較復(fù)雜，本研究的方法仍可較為準(zhǔn)確地進(jìn)行圖像識別，這表明CNN相比既往研究中使用的低層特征識別，能進(jìn)行更為魯棒性的圖像識別。為了理解每種中藥的識別難度，本研究還給出了每種藥物在60%的訓(xùn)練樣本條件下的識別精度?；诜诸悳?zhǔn)確度，本研究將50個藥品分為2部分，分別為準(zhǔn)確度50%以上和準(zhǔn)確度50%以下的中藥（表2）。

圖3 50種中藥飲片圖像不同比例訓(xùn)練樣本條件下的平均識別精度（10%—90%）

訓(xùn)練的迭代次數(shù)對于識別也很重要。在本研究的實(shí)驗(yàn)中，本研究在訓(xùn)練中使用三個學(xué)習(xí)速率（0.001，0.000 1和0.000 01），其中對每個學(xué)習(xí)速率使用1 000次迭代，總共有3 000次迭代來訓(xùn)練CNN識別模型。圖5顯示了對于不同數(shù)量的訓(xùn)練樣本的不同迭代的平均分類精度?？梢郧宄乜吹剑瑹o論訓(xùn)練樣本的數(shù)量如何變化，學(xué)習(xí)率的降低將導(dǎo)致識別精度的明顯提高。此外，最高精度總是在較低的兩個學(xué)習(xí)速率（0.000 1，0.000 01）下發(fā)生，例如，對于30%-70%訓(xùn)練圖像，3 000次迭代最佳，而而對于80%-90%訓(xùn)練樣本，2 000次迭代較為適當(dāng)。

圖4 在60%訓(xùn)練樣本下飲片圖像識別結(jié)果

表2 在60%訓(xùn)練樣本下的每種中藥飲片圖像的識別精度

圖5 不同訓(xùn)練比例和不同迭代數(shù)目下的識別精度

4 結(jié)論

本文通過深度學(xué)習(xí)中的卷積神經(jīng)網(wǎng)絡(luò)研究真實(shí)世界中的中藥飲片圖像識別。首先，本研究構(gòu)建了一個公共的中藥飲片圖像數(shù)據(jù)庫，其中包含多飲片相互遮蔽并帶有復(fù)雜背景的圖像。與以前僅考慮無背景的單片飲片圖像的研究相比，本研究的數(shù)據(jù)庫為評價不同方法提供了相同的標(biāo)準(zhǔn)，且?guī)熘兴夭母N近于真實(shí)世界中的中藥飲片圖像，為技術(shù)進(jìn)一步推廣至實(shí)際應(yīng)用奠定了基礎(chǔ)。隨后，本研究運(yùn)用softmax損失來優(yōu)化CNN識別模型，使其可以生成比低層特征更加魯棒的圖像特征表達(dá)。實(shí)驗(yàn)結(jié)果表明，本研究的方法在所有測試的50種中藥飲片圖像中可以實(shí)現(xiàn)70%的平均識別精度，這一結(jié)果在圖像材料多數(shù)為多個飲片相互遮蔽并帶有復(fù)雜背景情況下較為理想，未來具有一定應(yīng)用前景。

1楊添鈞.基于機(jī)器視覺技術(shù)的藥材及飲片“辨色”研究.成都：成都中醫(yī)藥大學(xué)碩士學(xué)位論文,2014.

2李震.中藥飲片特征提取和識別系統(tǒng).哈爾濱：哈爾濱工業(yè)大學(xué)碩士學(xué)位論文,2013.

3陶歐,張燕玲,陳茜,等.基于灰度共生矩陣的中藥飲片橫切面圖像紋理特征參數(shù)的提取.世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2014,16(12)：2531-2537.

4陶歐,林兆洲,張憲寶,等.基于飲片切面圖像紋理特征參數(shù)的中藥辨識模型研究.世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化,2014, 16(12)12：2558-2562.

5 Krizhevsky A,Sutskever I,Hinton G E.ImageNet classification with deep convolutionalneuralnetworks.Mob Inf Syst,2012,25 (2)：1097-1105.

6 Karen Simonyan,et al.Very deep convolutional networks for large-scale image recognition.Compt Sci,2015：arXiv：1409. 1556.

Identification of the Imagesof Chinese Herb Slicesw ith Deep ConvolutionalNetwork

Sun Xin,Qian Huinan
(CollegeofTraditionalChineseMedicine,Beijing University ofChineseMedicine,Beijing 100029,China)

It is of great importance that deep learning of computer for the automate identification of the two-dimensional image of Chinese herbal slices is valuable in the application tomedicine,production and education.Traditionalmethods usually extract low-level image features for the identification,but they cannot give robust recognition results under complex backgrounds.Therefore,higher level image representation is necessary in the image identification.A public Chinese herbalmedicine databasewas constructed with 50 common categoriesand 2,554 images in total,for training and evaluating our recognitionmodel.Then,the softmax loss function was adopted to train the convolutional neural network model.As a result,the convolutionalneuralnetwork can achieve the average precision of 70%under all the 50medicine herbal classes.In conclusion,convolutional neural network can obtain good results in image identification with complex backgroundsandmutually occluded herbalslices,which haspromising potential for futureapplications.

Chinese herbalslices,image recognition,deep learning,convolutionalneuralnetwork

10.11842/wst.2017.02.005

R286

A

（責(zé)任編輯：馬雅靜，責(zé)任譯審：朱黎婷）

2016-12-28

修回日期：2016-12-28

＊北京中醫(yī)藥大學(xué)研究生自主課題項(xiàng)目（2016-JYB-XS026）：基于卷積神經(jīng)網(wǎng)絡(luò)的中藥飲片圖像識別與檢索，主持人：孫鑫。

＊＊通訊作者：錢會南，教授，博士研究生導(dǎo)師，主要研究方向：《黃帝內(nèi)經(jīng)》藏象理論的文獻(xiàn)及實(shí)驗(yàn)研究；中醫(yī)疾病與體質(zhì)相關(guān)理論及臨床應(yīng)用研究。