周蘇娟 李嘉濤 何啟森 孟江 劉波

摘要：針對中藥飲片識別采用人工方式存在的耗費人力物力、主觀性強，容易造成偏差等問題，提出基于通道注意力機制的中藥飲片圖像識別方法。首先，構(gòu)建中藥飲片圖像數(shù)據(jù)庫；然后，采用改進的AlexNet模型對莪術(shù)、姜、橘核和牡丹皮的飲片圖像進行識別；最后，針對同一飲片不同炮制品的圖像特征差異不明顯問題，引入通道注意力機制。對比實驗結(jié)果表明：基于通道注意力機制的AlexNet模型比AlexNet模型的平均精確度提高了2.18%，識別準(zhǔn)確率提高了2.05%；且降低了參數(shù)量及FLOPs。

關(guān)鍵詞：中藥飲片；圖像識別；通道注意力機制；AlexNet模型

中圖分類號：TP391.4??????????文獻標(biāo)志碼：A ???????????文章編號：1674-2605（2023）05-0010-06

DOI：10.3969/j.issn.1674-2605.2023.05.010

Image Recognition Method for Chinese Herbal Pieces Based on

Channel Attention Mechanism

ZHOU Sujuan^1，2??LI Jiatao²??HE Qisen²??MENG Jiang³??LIU Bo¹

（1.School?of?Automation，?Guangdong?University?of?Technology，?Guangzhou?510006，?China

2.College of Medical Information Engineering， Guangdong Pharmaceutical University， Guangzhou 510006， China

3.College of Traditional Chinese Medicine， Guangdong Pharmaceutical University， Guangzhou 510006， China）

Abstract：?A channel attention mechanism based on?image recognition method for Chinese herbal pieces is proposed to address the issues of human and material resources consumption， strong subjectivity， and bias in manual recognition of Chinese herbal pieces. Firstly， construct an image database of Chinese herbal pieces; Then， an improved AlexNet model was used to recognize the sliced images of Zedoary Turmeric， Ginger， Orange Kernel， and Moutan Cortex; Finally， a channel attention mechanism is introduced to address the issue of insignificant differences in the characteristics of different processed products of the same slice. The comparative experimental results show that the AlexNet model based on channel attention mechanism has an accuracy improvement of 2.18% and a classification accuracy improvement of 2.05% compared to the AlexNet model; And it reduces the number of parameters and FLOPs.

Keywords：?Chinese herbal pieces; mage recognition; channel attention mechanism; AlexNet model

0 引言

中醫(yī)中藥是我國醫(yī)藥行業(yè)的重要組成部分。在中藥蓬勃發(fā)展的過程中，中藥飲片的識別技術(shù)占據(jù)了重要的地位。目前，中藥飲片的識別主要根據(jù)專家的知

識和經(jīng)驗或通過圖像比對做出判斷^[1]，不僅耗費大量的人力物力，還具有主觀性，容易造成偏差。隨著人工智能技術(shù)的發(fā)展，利用機器學(xué)習(xí)來實現(xiàn)圖像識別逐步應(yīng)用于中醫(yī)藥領(lǐng)域^[2-3]，不僅提高了中藥飲片識別的

自動化程度及穩(wěn)定性，還確保了統(tǒng)一的識別結(jié)果^[4]，推動了中醫(yī)藥客觀化、標(biāo)準(zhǔn)化的研究。

近年來，深度學(xué)習(xí)^[5]在圖像識別領(lǐng)域取得了較大的突破。王健慶等^[6]利用Google Net深度學(xué)習(xí)模型對常見的100種中藥飲片數(shù)據(jù)庫進行訓(xùn)練及識別，達到了92%的平均識別率。胡繼禮等^[7]借助深度遷移學(xué)習(xí)理論，在Inception-V3模型^[8]上執(zhí)行自適應(yīng)和finetune操作，對中藥飲片圖像進行分析處理，平均錯誤率接近人工組，但其最大值與最小值的極差優(yōu)于人工組。然而，對于相同品種的中藥飲片，如姜有干姜、炮姜、姜炭等不同炮制品，其圖像特征的差異不明顯，且性味、功效各不相同^[9]，如采用以上方法進行識別，效果并不理想。

為此，本文提出基于通道注意力機制的中藥飲片圖像識別方法，通過引入基于注意力機制的AlexNet模型，提高對同一種中藥不同炮制品的識別準(zhǔn)確率。

1 深度學(xué)習(xí)

深度學(xué)習(xí)是機器學(xué)習(xí)的熱門研究領(lǐng)域之一，相比傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，它從輸入層到輸出層經(jīng)歷的層次數(shù)目更多^[10]。近年來，深度學(xué)習(xí)在語音和圖像識別方面取得了突飛猛進的進展。

1.1??卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）是深度學(xué)習(xí)的代表算法之一。世界上第一個卷積神經(jīng)網(wǎng)絡(luò)是LECUN^[11]在1998年提出的LeNet。Google Net^[8]、ResNet^[12]和AlexNet^[13]等模型都是在此基礎(chǔ)上發(fā)展起來的。AlexNet模型由5個卷積層和3個全連接層組成，采用ReLU作為激活函數(shù)，解決了深度網(wǎng)絡(luò)中Sigmoid的梯度彌散問題；利用隨機失活方法在訓(xùn)練過程中隨機忽略一些神經(jīng)元，避免了過擬合問題。

1.2 ?注意力機制

近年來，注意力機制在圖像理解、語音識別等領(lǐng)域得到一定的應(yīng)用，其可以輔助模型分析輸入信息對當(dāng)前任務(wù)的作用，通過評判不同輸入信息的重要程度得到信息不同部分的權(quán)重，使任務(wù)模型更為準(zhǔn)確^[14]。注意力模型通常分為通道注意力模型、空間注意力模型、通道和空間混合注意力模型。對于二維圖像的CNN來說，一個維度對應(yīng)圖像的尺度空間，另一個維度對應(yīng)通道。本文利用通道注意力機制建立中藥飲片的圖像識別模型。

2??基于通道注意力機制的中藥飲片圖像識別

目前，中藥飲片圖像識別領(lǐng)域暫無公開的標(biāo)準(zhǔn)數(shù)據(jù)庫用于深度學(xué)習(xí)研究。本文采用的中藥飲片圖像均由廣東藥科大學(xué)中藥數(shù)字化質(zhì)量評價重點實驗室及國家中醫(yī)藥管理局/廣東省高校中藥質(zhì)量工程技術(shù)研究中心課題組提供。

2.1??數(shù)據(jù)集準(zhǔn)備

中藥飲片種類繁多，據(jù)最新的《中華本草》記載，中藥共有8?980種，常見的中藥飲片有一千余種。本文以4種中藥飲片（莪術(shù)、姜、橘核、牡丹皮）和2種中藥飲片不同程度的炮制品（干姜、姜炭、炮姜，牡丹皮輕炭、牡丹皮標(biāo)炭、牡丹皮重炭）圖像為研究對象，如圖1和圖2所示。

2.2??數(shù)據(jù)預(yù)處理

原始數(shù)據(jù)集中的圖像大小為4 608×3 456×3 像素，利用OpenCV中的resize將其調(diào)整為224×224×3像素。采用隨機旋轉(zhuǎn)、平移、翻轉(zhuǎn)、縮放等方式進行圖像增強。增強后的數(shù)據(jù)集經(jīng)過旋轉(zhuǎn)、鏡像、縮放等操作，使圖像數(shù)量增倍，減少了模型過擬合的可能性。

2.3??數(shù)據(jù)集

經(jīng)過預(yù)處理的中藥飲片數(shù)據(jù)集含有6?400幅圖像，按6∶3∶1的比例劃分訓(xùn)練集、驗證集、測試集。其中，訓(xùn)練集有3 840幅圖像，驗證集有1 920幅圖像，測試集有640幅圖像。

2.4??模型構(gòu)建

基于通道注意力機制的中藥飲片圖像識別方法以AlexNet模型為基礎(chǔ)，通過改進其結(jié)構(gòu)并增添新的機制，使其尾部結(jié)構(gòu)的參數(shù)量與計算量大大減少。

首先，在AlexNet模型的第二、三、四、五次卷積后加入批量歸一化操作，以加快網(wǎng)絡(luò)收斂速度，為模型提供正則化效果，并在激活操作后加入注意力機制（sequeeze-and-excitation，?SE）模塊。

然后，因為AlexNet模型的3個全連接層參數(shù)量多且計算量大（參數(shù)量和每秒浮點運算次數(shù)（floating point operations，F(xiàn)LOPs）均達56.68?MB），所以刪除AlexNet模型的3個全連接層，增添1個1×1卷積層，利用960個1×1×256的卷積核得到5×5×960的特征映射；利用Hardswish激活函數(shù)做批量歸一化處理。

最后，利用全局平均池化操作獲取每個通道的全局信息，得到1×1×960的特征映射，將其展開為960個神經(jīng)元，加入到有1?280個神經(jīng)元的全連接層，利用Hardswish激活函數(shù)，加入Dropout正則化，以減緩過擬合，輸出層采用softmax回歸。

改進后的AlexNet模型結(jié)構(gòu)如圖3所示。

借助輕量級的核心庫fvcore求得AlexNet模型參數(shù)量從56.68?MB降至2.76?MB，F(xiàn)LOPs從56.68?MB降至8.68?MB，參數(shù)量與計算量均大為減少。

3??實驗

本實驗采用Pytorch深度學(xué)習(xí)框架。硬件環(huán)境為：處理器Intel（R） Core（TM） i5-8300H CPU @ 2.30?GHz 四核；內(nèi)存8.00?GB；顯卡NVIDIA GeForce GTX 1050 Ti，顯存4.00?GB。

為驗證同一種中藥飲片不同炮制品的識別效果，將AlexNet模型與基于通道注意力機制的AlexNet模型進行對比實驗，識別結(jié)果如表1和表2所示。其中，Precision、Recall、Specificity、F1_Score分別為評估識別性能的精確度、召回率、特異度和F1_Score指標(biāo)。識別準(zhǔn)確率（Accuracy）的計算公式為

A_accuracy =?（TP+TN） / （TP+?FP+TN+FN）

式中：TP為模型正確識別為正例的樣本數(shù)，TN為模型正確識別為反例的樣本數(shù)，FP為模型錯誤識別為正例的樣本數(shù)，FN為模型錯誤識別為反例的樣本數(shù)。由表1可知，AlexNet模型對中藥飲片的識別準(zhǔn)確率為97.16%，但同一種中藥不同炮制品的識別效果欠佳，F(xiàn)1_Score分數(shù)最低的是牡丹皮標(biāo)炭，僅為92.31%。

由表2可知，基于通道注意力機制的AlexNet模型比AlexNet模型的識別準(zhǔn)確率提高了2.05%，炮姜與牡丹皮標(biāo)炭的F1_Score分別提高了4.73%、5.55%，說明炮姜和牡丹皮標(biāo)炭這兩種對應(yīng)姜和牡丹皮的炮制品介于輕炭和重炭之間，在外觀上難以區(qū)分。

為了更加直觀地顯示模型的識別效果，AlexNet模型和基于通道注意力機制的AlexNet模型的混淆矩陣分別如圖4和圖5所示。

由圖4可知：利用AlexNet模型，240個牡丹皮標(biāo)炭被正確識別，9個牡丹皮標(biāo)炭被錯分為牡丹皮輕炭，4個牡丹皮標(biāo)炭被錯分為牡丹皮重炭；14個牡丹皮輕炭、4個牡丹皮重炭和2個姜被錯分為牡丹皮標(biāo)炭；在炮姜識別中，24個炮姜被錯分為姜炭，說明AlexNet模型難以識別不同炮制程度的牡丹皮或姜，容易混淆同一種中藥飲片的不同炮制品。

由圖5可知：利用基于通道注意力機制的AlexNet模型識別炮姜與姜炭、牡丹皮標(biāo)炭與牡丹皮輕炭時，出錯個數(shù)較少，炮姜被錯分為姜炭的個數(shù)僅有2個，而利用AlexNet模型識別時，被錯分的個數(shù)達24個；在牡丹皮不同炮制程度的識別上，被錯分的個數(shù)也有一定程度的減少，說明經(jīng)過基于通道注意力機制的AlexNet模型的識別效果整體優(yōu)于AlexNet模型。

4 ?結(jié)論

本文構(gòu)建了莪術(shù)、姜、橘核和牡丹皮4種不同中藥飲片的圖像數(shù)據(jù)庫及姜和牡丹皮不同炮制品的圖像數(shù)據(jù)庫，研究引入深度學(xué)習(xí)實現(xiàn)對不同中藥飲片以及同一種中藥飲片不同炮制品的自動識別。實驗結(jié)果表明，采用AlexNet模型識別4種不同的中藥飲片圖像能夠達到較好的效果，但對于同一中藥飲片的不同炮制品，由于圖像特征差異不明顯，識別效果不理想。而通過基于通道注意力機制的AlexNet模型來識別，提高了識別準(zhǔn)確率，同時參數(shù)量以及FLOPs均大幅降低。

本文的中藥飲片識別只涉及到莪術(shù)、姜、橘核和牡丹皮4個類別，后期需要進一步擴充更多類別的中藥飲片數(shù)據(jù)庫，包括同一種飲片的不同炮制品。另外，在中藥飲片質(zhì)量評價標(biāo)準(zhǔn)方面，本文探討的中藥飲片圖像識別只是涉及外觀上的評價，后期可以結(jié)合飲片內(nèi)在成分含量等多特征角度，進一步完善中藥飲片的綜合評價。

參考文獻

[1] 莊奕珊.基于深度神經(jīng)網(wǎng)絡(luò)的中藥材識別[D].廣州：華南理工大學(xué)，2018.

[2] 王一丁，郝晨宇，李耀利，等.基于深度學(xué)習(xí)的小樣本中藥材粉末顯微圖像識別[J].計算機應(yīng)用，2020，40（5）：1301-1308.

[3] 陳雁，鄒立思.基于BMFnet-WGAN的中藥飲片智能甄別[J].中國實驗方劑學(xué)雜志，2021，27（15）：107-114.

[4] ZHOU S， MENG J， HUANG Z， et al. A method for discrimina-tion of processed ginger based on image color feature and a support vector machine model[J]. Analytical Methods， 2016，8 （10）：2201-2206.

[5] HINTON G E， SALAKHUTDINOV R R. Reducing the dimensionality of data with neural networks[J]. Science， 2006， 313（5786）：504-507.

[6]?王健慶，戴愷，李子柔.基于深度學(xué)習(xí)的中藥飲片圖像識別研究[J].時珍國醫(yī)國藥，2020，31（12）：2930-2933.

[7] 胡繼禮，王永康，闞紅星.基于深度遷移學(xué)習(xí)的中藥飲片識別研究[J].新鄉(xiāng)學(xué)院學(xué)報，2019，36（3）：62-67.

[8] SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolu-tions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：1-9.

[9] ZHOU S， MENG J， LIU B. Investigation into the pharma-cokinetic-pharmacodynamic model of Zingiberis Rhizoma/ Zingiberis Rhizoma Carbonisata and contribution to their therapeutic material basis using artificial neural networks[J]. RSC Advances， 2017，7（41）：25488-25496.

[10] 劉飛，張俊然，楊豪.基于深度學(xué)習(xí)的醫(yī)學(xué)圖像識別研究進展[J].中國生物醫(yī)學(xué)工程學(xué)報，2018，37（1）：86-94.

[11] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition[J]. Proceedings of the IEEE， 1998， 86（11）： 2278-2324.

[12] LI X， DING L， WANG L， et al. FPGA accelerates deep residual learning for image recognition[C]//2017 IEEE 2nd Informa-tion Technology， Networking， Electronic and Automation Control Conference （ITNEC）. IEEE， 2017： 837-840.

[13] KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM， 2017，60（6）：84-90.

[14] 李正濤.基于注意力機制的光譜地物分類方法研究[D].武漢：華中科技大學(xué)，2020.

作者簡介：

周蘇娟，女，1978年生，博士研究生，副教授，主要研究方向：醫(yī)藥信息學(xué)、圖像處理與模式識別。E-mail： 616748266@qq.com

劉波（通信作者），男，1978年生，教授，主要研究方向：機器學(xué)習(xí)、數(shù)據(jù)挖掘。E-mail：?csboliu@163.com