陳星燃，黃海松*，韓正功，范青松，朱云偉，胡鵬飛

結(jié)合改進膠囊網(wǎng)絡與知識蒸餾的茶青分類方法研究

陳星燃1，黃海松1*，韓正功1，范青松1，朱云偉1，胡鵬飛2,3

1. 貴州大學現(xiàn)代制造技術教育部重點實驗室，貴州 貴陽 550025；2. 貴州裝備制造職業(yè)學院，貴州 貴陽 551400；3. 清鎮(zhèn)紅楓山韻茶場有限公司，貴州 貴陽 551400

不同等級茶青的準確分類，對名優(yōu)茶產(chǎn)業(yè)發(fā)展至關重要，采用傳統(tǒng)感官審評方法進行分選會使結(jié)果存在一定的主觀性。采集茶青圖像建立數(shù)據(jù)集，結(jié)合幽靈注意力瓶頸層與膠囊網(wǎng)絡提出一種新型網(wǎng)絡模型：GA-CapsNet。通過基于線性衰減比例系數(shù)的成長知識蒸餾方法對該模型進行訓練，在遷移教師模型參數(shù)矩陣的同時，使學生模型隨著迭代自適應降低依賴程度。試驗結(jié)果表明，對比其他同類算法，所提出的方法在小規(guī)模數(shù)據(jù)集上分類性能優(yōu)異，精確率、召回率及F1-score分別為94.97%、95.51%、95.24%。本研究基于機器視覺與深度學習技術構建了一種GA-CapsNet模型，為解決茶青分類問題提供了一種新思路。

膠囊網(wǎng)絡；知識蒸餾；注意力模塊；茶青分類

綠茶含有茶多酚等物質(zhì)，對人體健康頗有益處，是我國生產(chǎn)與消費量最高的茶葉品類[1]。茶樹在貴州省擁有悠久的栽培歷史，茶產(chǎn)業(yè)是貴州省重要的生態(tài)產(chǎn)業(yè)[2-3]。隨著市場對高品質(zhì)綠茶需求的日益增加，貴州省綠茶產(chǎn)業(yè)的經(jīng)濟價值在不斷攀升[3-4]。茶青是指從茶樹上采摘的新鮮嫩芽，其質(zhì)量從根本上決定了成品茶的品質(zhì)[5]。采取傳統(tǒng)采摘方式會導致不同等級茶葉混雜，增加人工揀剔的時間和人力成本[6]，制約茶產(chǎn)業(yè)規(guī)?；a(chǎn)和名優(yōu)茶經(jīng)濟價值提升。

計算機視覺技術通過與深度學習等技術結(jié)合，可實現(xiàn)對不同類別物品的快速甄別，在諸多領域得到了廣泛應用。但針對茶青分類問題，國內(nèi)外學者所開展的研究仍十分有限。張怡等[7]探究了不同優(yōu)化器與殘差網(wǎng)絡組合對綠茶的劃分效果，發(fā)現(xiàn)以隨機梯度下降算法和ResNet-18結(jié)構對茶葉的識別準確率達到90.99%。汪建等[8]利用遺傳神經(jīng)網(wǎng)絡對二值化后的茶葉圖像進行處理，對4類茶葉劃分的準確度達到91.6%。毛騰躍等[9]融合支持向量機與特殊角點兩種方法，取得了94.24%的茶青分類準確率。針對預處理后的茶青圖像，張晴晴[10]與張?zhí)N[11]分別利用改進YOLOV3與Faster R-CNN算法，取得了89.35%和91%的分類準確率。Xu等[12]結(jié)合機器視覺與電子鼻技術，對六類茶葉達到了99.44%的精確劃分。上述方法大多基于卷積神經(jīng)網(wǎng)絡搭建模型，需要大量樣本訓練模型，而茶青數(shù)據(jù)集規(guī)模往往較為有限，采用傳統(tǒng)方法難以充分提取特征將嚴重限制分類性能。

綜上所述，本研究面向自建茶青數(shù)據(jù)集，基于注意力機制與幽靈連接，構建一種通用模塊，并通過與膠囊網(wǎng)絡結(jié)合，提出一種用于茶青分類的改進膠囊網(wǎng)絡；通過引入線性衰減比例系數(shù)，提出一種成長知識蒸餾的模型訓練方法，充分利用教師模型自源域中習得的龐大參數(shù)矩陣，進一步提升模型的分類性能，提供了一種使用深度學習技術解決茶青分類問題的新思路。

1 原始膠囊網(wǎng)絡

膠囊網(wǎng)絡為Hinton等[13]于2017提出的一種網(wǎng)絡結(jié)構，將人的視覺感知系統(tǒng)描述為對大腦中圖像結(jié)構的層次性解析[14]。通過引入膠囊的概念用矢量代替標量進行輸出信息的表達，膠囊網(wǎng)絡能夠同時保留局部位置關系和圖像的屬性信息值，使模型兼具平移不變性與平移同變性。最終，達到減少訓練量的目的。膠囊網(wǎng)絡進行預測時，本層膠囊中的特征值與權重矩陣相乘對下層膠囊進行預測，隨后該預測值通過與耦合系數(shù)相乘獲取下層膠囊的輸出值。

2 模型與方法

2.1 ECA注意力機制

高效通道注意力機制（Efficient channel attention，ECA）是由Wang等[15]于2020年提出的一種考慮特征不同通道重要程度的注意力機制（圖1）。其中，輸入特征首先經(jīng)全局平均池化將全局信息壓縮到一個通道描述符中以整合特征信息，計算公式如式（1）所示；隨后利用一維卷積構成的全連接層實現(xiàn)局部跨通道信息交互，獲取表征各通道重要程度的權重矩陣()，計算公式如式（2）所示，卷積層較傳統(tǒng)全連接層可起到增強有效特征權重與減少計算冗余的作用，卷積核數(shù)目由通道數(shù)進行自適應度調(diào)節(jié)，計算公式如式（3）所示[16]；最終通過殘差連接將輸入特征信息與權重矩陣進行逐點相乘，根據(jù)通道重要程度重新分配特征權重，計算公式如式（4）所示。

()=() ·······················（1）

式中，∈R×H×W為輸入特征信息；為全局平均池化操作；()∈R×1×1為經(jīng)過全局平均池化后的特征信息。

式中，為特征信息的通道數(shù)；，為超參數(shù)，取=2，=1；|·|為取括號中最鄰近奇數(shù)的操作。

2.2 幽靈注意力膠囊網(wǎng)絡

為了在保證膠囊網(wǎng)絡處理小規(guī)模數(shù)據(jù)集優(yōu)異能力的同時進一步提高分類性能，本研究引入ECA并結(jié)合多組幽靈連接（Ghost connection，GC）構建幽靈注意力瓶頸層（Ghost attention bottleneck，GAB），對茶青圖像進行處理（圖2）。在GAB左分支上，ECA首先對輸入特征進行處理，達到關注強分類特征區(qū)域與抑制弱分類區(qū)的目的，隨后卷積、BN及激活層將進一步提取特征信息。這種先運用注意力機制進行聚焦，再采用卷積進行解析的圖像處理方式，可在減少注意力模塊計算冗余的同時，最大程度地符合人類對事物進行認知時所采用的視覺注意力機制[17]。

左分支上添加由逐點卷積層組成GC1與GC2，右分支上則通過逐漸卷積與BN層構建GC3。3組GC以跨層跳躍連接的方式進行維度轉(zhuǎn)換，實現(xiàn)不同深度特征的非線性疊加，此方式不僅能提取到更多利于分類的新特征，還能通過特征的累積解決因網(wǎng)絡層數(shù)加深所帶來的“退化”問題，使模型性能有效提升[18]。

圖1 ECA示意圖

圖2 幽靈注意力瓶頸層

針對原始膠囊網(wǎng)絡僅憑單一卷積層進行特征提取，只能處理固定大小感知野特征，導致提取不變特征能力較弱。圖3為CIFAR10-quick網(wǎng)絡結(jié)構，受Toraman等[19]的啟發(fā)，用9×9大小的卷積層代替其全連接層與激活層構建新型網(wǎng)絡結(jié)構以取代原始膠囊網(wǎng)絡中的單一卷積層。此外，用Mish代替原網(wǎng)絡中的ReLU函數(shù)處理輸入主膠囊層的特征，以避免原函數(shù)的負半軸梯度飽和現(xiàn)象，使模型擁有更好的梯度邊界[20]。依據(jù)文獻[17]的思想，為實現(xiàn)先聚焦再分析的仿生認知過程，于網(wǎng)絡前端嵌入3組GAB對卷積后的特征進行處理，提出一種新型的網(wǎng)絡結(jié)構——幽靈注意力膠囊網(wǎng)絡（Ghost attention CapsNet，GA-CapsNet），對輸入的茶青圖像進行分類，如圖4所示。

2.3 基于成長知識蒸餾的茶青分類模型訓練方法

為借助復雜模型預訓練時的龐大參數(shù)矩陣進一步增強分類性能，并使GA-CapsNet的知識占比隨著迭代進行實現(xiàn)自適應的擴大?；诰€性衰減比例系數(shù)_，提出了一種成長知識蒸餾（Growing knowledge distillation，GKD）的模型訓練方法。

本研究中以GA-CapsNet為學生模型，并將在ImageNet上預訓練后ResNet50模型遷移至茶青圖像數(shù)據(jù)集上作為教師模型，結(jié)合_進行學生模型的訓練，這種方式不僅可以充分利用源域信息，提升學生模型泛化性，還可借助遷移學習增強其抗過擬合的能力，整體流程如圖5所示。

茶青圖像經(jīng)過預處理之后，首先以像素矩陣的形式輸入教師模型（ResNet50）和學生模型（GA-CapsNet），依次獲取到對應不同類別茶青的概率p、p；隨后，通過蒸餾作用（Distillation）軟化概率分布，獲取軟標簽p和軟預測p'，計算公式如式（5）、（6）所示。

式中p為教師模型對茶青圖像進行處理后所得到的概率分布；p'為p經(jīng)溫度為的軟化作用后所得結(jié)果；=5為溫度參數(shù)。

式中p為學生模型對茶青圖像進行處理后所得到的概率分布；p'為p經(jīng)溫度為的軟化作用后所得結(jié)果。

圖3 CIFAR10-quick示意圖

圖4 GA-CapsNet示意圖

圖5 基于成長知識蒸餾的模型訓練流程圖

設置蒸餾作用中的溫度系數(shù)為1（Softmax function），對學生模型的概率分布p進行處理，獲取硬預測p''，計算公式如式（7）所示。

式中p''為p經(jīng)Softmax函數(shù)處理后所得結(jié)果。

依次將軟標簽p'與軟預測p'作為自變量輸入相對熵損失函數(shù)獲取到表征教師模型所習得暗知識的軟損失函數(shù)值Loss；將硬預測p''與真實標簽Lables作為自變量輸入交叉熵損失函數(shù)獲取到表征學生模型自身所習得知識的硬損失函數(shù)值Loss，計算公式如式（8）、（9）所示。

式中，為茶青圖像像素矩陣的通道數(shù)目；=(1,2,3)為茶青類別數(shù)目；Loss為軟損失函數(shù)值；Loss為硬損失函數(shù)值。

在利用知識蒸餾對學生模型進行訓練時，引入線性衰減比例系數(shù)_，隨著迭代次數(shù)的增加以弱化教師模型影響，使學生模型降低對教師模型的依賴程度，計算公式如式（10）所示。在蒸餾初期，_取值較大而變化較慢，保證了兩模型之間暗知識的充分傳遞，使得學生模型分類性能迅速增強。隨著蒸餾進行，學生模型已經(jīng)取得較高分類精度，_減小速率逐漸加大，_顯著增加，學生模型獨立性隨之增強，將生成更多進行茶青分類的權重參數(shù)，實現(xiàn)其隨著迭代次數(shù)增加而降低依賴，達到成長的目標。通過_與_調(diào)節(jié)Loss與Loss的占比組成總損失函數(shù)，借助梯度反向傳播實現(xiàn)暗知識的傳遞，計算公式如式（11）所示。

式中，α=0.6為GA-CapsNet成長初始比例系數(shù)；α=0.2為GA-CapsNet成長終止比例系數(shù)；=(1,2,……,100)為迭代次數(shù)；=100為最大迭代次數(shù)。

=_×Loss+_×2×Loss···················（11）

式中，為總損失函數(shù)值；_為線性衰減比例系數(shù)；_=1－_為成長因子。

3 試驗方法

3.1 數(shù)據(jù)與試驗環(huán)境

本研究所涉及的綠茶茶青圖像數(shù)據(jù)均采集自貴州省清鎮(zhèn)紅楓山韻茶場，數(shù)據(jù)劃分為單芽、一芽一葉和一芽二葉3類，并采用幾何變換、仿射變換、添加高斯噪聲等方式進行數(shù)據(jù)增強，最終，數(shù)據(jù)集由各類茶青712張，共2?136張組成，其中，訓練集與測試集的比例被劃分為3∶1。本研究所涉及的試驗均在Window 10操作系統(tǒng)下進行，由Python 3.7的Pytorch深度學習框架實現(xiàn)，并在NVDIA GeForce GTX 1650顯卡上進行加速。

3.2 網(wǎng)絡整定實驗

為驗證GAB在茶青分類任務中對網(wǎng)絡性能的提升，確定其最佳數(shù)量，完成網(wǎng)絡結(jié)構整定，本研究以GAB數(shù)量為劃分依據(jù)，依次設置含一組、兩組、三組和四組該瓶頸層的實驗組GAB=1、GAB=2、GAB=3、GAB=4。在茶青數(shù)據(jù)集的測試集上，設置輪次為50，記錄各實驗組所對應的精確率（Precision）、召回率（Recall）及F1-score數(shù)據(jù)，并繪制模型綜合性能對比表。

3.3 消融實驗

為驗證所提方法GA-CapsNet+GKD的有效性，除采用本研究的實驗組CapsNet+GAB+GKD以外，依次設置不采用幽靈注意力瓶頸層的消融實驗組CapsNet+GKD、使用傳統(tǒng)殘差瓶頸層（Residual bottleneck，RB）的消融實驗組CapsNet+RB+GKD、不采用知識蒸餾訓練模型的消融實驗組CapsNet+GAB。在自建茶青數(shù)據(jù)集上，設置輪次為100，計算各實驗組的準確率，并利用Origin繪制準確率的變化曲線，分析不同實驗組在各等級茶青上的分類性能。

3.4 對比實驗

為衡量本研究所提方法GA-CapsNet+GKD的性能優(yōu)勢，依次設置實驗組：CapsNet-DCD[19]、ResNet-Green tea[7]、Alter-Second[21]。設置輪次為100，獲取各實驗組在測試集上的準確率與交叉熵損失函數(shù)值變化曲線，并以精確率、召回率及F1-score為指標構建不同實驗組所對應的表格，對模型的性能進行綜合分析。

4 結(jié)果與討論

4.1 網(wǎng)絡整定實驗

表1為各實驗組綜合性能比較表，分析可知，由于單芽茶青的強可分性，所有實驗組在此類中均擁有卓越的分類表現(xiàn)，但在對一芽一葉與一芽二葉的復雜分類任務中，實驗組間仍存在顯著的性能差異。在對一芽一葉的分類中，GAB=3組的精確率、召回率及F1-score分別為93.30%、93.82%、93.56%，較GAB=1與GAB=2實驗組均有較大的提升，而GAB=4組相對于GAB=3組，各項指標則分別下降了3.30%、2.81%、3.06%，在對一芽二葉的分類中存在同樣現(xiàn)象。以上結(jié)果表明，選取3組GAB整定網(wǎng)絡，所取得的GA-CapsNet網(wǎng)絡擁有最佳的分類表現(xiàn)。

4.2 消融實驗

圖6為各消融實驗組準確率及損失變化曲線。CapsNet+GAB+GKD利用GAB生成大量有利于分類的幽靈特征圖，使整體分類性能明顯優(yōu)于CapsNet+GKD，最高分類準確率提升了4.69%。與CapsNet+RB+GKD相比，CapsNet+GAB+GKD通過引入ECA與GC，模仿人類認識事物的過程，使模型先聚焦強區(qū)分性特征區(qū)域再進行后續(xù)處理，明顯改善損失變化曲線的震蕩現(xiàn)象，使最高分類準確率上升了2.63%。與CapsNet+GAB相比，本研究利用成長知識蒸餾進行模型訓練，充分利用教師模型的源域信息，使最高分級準確率由95.88%上升至97.57%。觀察損失變化曲線，實驗組CapsNet+GAB+GKD與CapsNet+GAB相較于其余實驗組表現(xiàn)出了較好的前期收斂性能，由此可以論證GAB在提取和處理茶青圖像特征方面具備優(yōu)越性，且隨迭代進行，CapsNet+GAB+GKD進一步收斂，其損失達到所有消融實驗組中最低水平。

表1 各實驗組在測試集上的綜合性能比較

觀察圖7中各消融實驗組所對應的混淆矩陣可知，在對一芽一葉茶青的分類中，實驗組CapsNet+GAB+GKD與CapsNet+GAB分別以168和167的正確劃分數(shù)目，表現(xiàn)出了較優(yōu)異的分類性能，由此可以說明GAB有利于模型進行關鍵特征信息提取。在對一芽二葉茶青的分類中，CapsNet+GAB+GKD與CapsNet+RB+GKD分別實現(xiàn)了170與169例的正確分類，在所有實驗組的分類表現(xiàn)中更具優(yōu)越性，可以說明基于GKD的模型訓練方法可以使模型解析復雜特征的能力得到進一步增強。

4.3 對比實驗

圖8為各對比實驗組準確率及損失變化曲線。由圖8-A可知，GA-CapsNet+GKD的初始準確率和整體變化曲線均呈現(xiàn)出最佳表現(xiàn)。對比CapsNet-DCD，本研究通過引入GAB與GKD，使最高準確率上升了3.94%。ResNet-Green tea最高準確率雖然與GA-CapsNet+GKD差距不大，但過擬合現(xiàn)象明顯，說明基于復雜網(wǎng)絡所搭建的模型并不適用于解決小規(guī)模數(shù)據(jù)問題。Alter-Second雖然可以利用深度卷積層提取多尺度特征信息，但由于缺乏注意力機制引導，無法關注強分類特征，使其準確率較GA-CapsNet+GKD差距明顯。

由圖8-B可知，膠囊網(wǎng)絡GA-CapsNet+GKD與CapsNet-DCD的最低損失值雖高于卷積神經(jīng)網(wǎng)絡ResNet-Green tea與Alter-Second，但是前兩者因兼具平移不變性與平移同變性，能充分利用有限數(shù)據(jù)集中的特征信息，損失下降迅速，僅在第30輪次左右時便完成了收斂，而后兩者在整個過程中都震蕩十分劇烈，Alter-Second甚至在迭代后期出現(xiàn)發(fā)散跡象。

由表2可知，GA-CapsNet+GKD對各類茶青的精確率、召回率、F1-score均達到95%左右，優(yōu)于其余對比實驗組。在一芽一葉的分類中，GA-CapsNet+GKD與ResNet-Green tea的表現(xiàn)明顯優(yōu)于其余實驗組，且GA-CapsNet+GKD的精確率、召回率、F1-score與ResNet-Green tea相比分別提升了3.59%、6.16%、4.89%。而對一芽二葉進行分類時，本研究所提方法的精確率、召回率及F1-score分別為94.97%、95.51%、95.24%，在分類性能上展現(xiàn)出明顯優(yōu)勢。

圖6 消融實驗組在測試集上的準確率及損失變化曲線

注：OB表示單芽，OF表示一芽一葉；TF表示一芽二葉

圖8 對比實驗組在測試集上的準確率及損失變化曲線

表2 對比實驗組在測試集上的綜合性能比較

5 結(jié)論

本研究基于ECA注意力機制與維度轉(zhuǎn)換的GC提出通用模塊GAB，結(jié)合膠囊網(wǎng)絡，構建一種改進膠囊網(wǎng)絡GA-CapsNet，通過引入線性衰減比例系數(shù)與成長因子，在蒸餾過程中實現(xiàn)對該模型知識占比的自適應調(diào)節(jié)，降低其依賴程度，并借助教師模型豐富的參數(shù)矩陣，完成對茶青數(shù)據(jù)集的準確分類。通過消融實驗，驗證所提GAB與GKD的有效性，對比CapsNet-DCD、ResNet-Green tea、Alter-Second深度學習分類算法，本研究所提出的方法在小規(guī)模數(shù)據(jù)集上魯棒性更強，準確率、精確率、召回率和F1-score分別為97.57%、94.97%、95.51%和95.24%，表現(xiàn)出了最優(yōu)越的綜合性能。

本研究將深度學習技術引入茶葉領域，為解決茶青分類中所面臨的問題提供了一種新的方法，擁有較好的分類表現(xiàn)。但實際生產(chǎn)中，環(huán)境擾動因素復雜，且在對不同種類茶青進行級別劃分時所采用的標準不一，因此本研究后續(xù)將通過在不同條件下采集茶青圖像進一步豐富數(shù)據(jù)，并面向不同種類茶青開展廣泛研究，提升研究的泛化性與實際應用價值。

[1] 石亞麗, 朱蔭, 馬婉君, 等. 名優(yōu)炒青綠茶揮發(fā)性成分研究進展[J]. 茶葉科學, 2021, 41(3): 285-301.

Shi Y L, Zhu Y, Ma W J, et al. Research progress on the volatile compounds of premium roasted green tea [J]. Journal of Tea Science, 2021, 41(3): 285-301.

[2] 劉元生, 劉方, 陳祖擁, 等. 貴州富鋅硒茶產(chǎn)區(qū)地質(zhì)環(huán)境條件與土壤元素地球化學特征[J]. 貴州大學學報(自然科學版), 2021, 38(5): 25-32.

Liu Y S, Liu F, Chen Z Y, et al. Geological environment conditions and geochemical characteristics of soil elements in zinc-selenium-rich tea producing areas in Guizhou [J]. Journal of Guizhou University (Natural Science), 2021, 38(5): 25-32.

[3] 陳青, 楊云, 王海燕. 貴州茶葉中微量鍺含量測定[J]. 貴州大學學報(自然科學版), 2002, 19(2): 141-144.

Chen Q, Yang Y, Wang H Y. Determination of trace germanium content in Guizhou tea [J]. Journal of Guizhou University (Natural Science), 2002, 19(2): 141-144.

[4] 郭建軍, 周藝, 王小英, 等. 貴州不同產(chǎn)區(qū)代表綠茶的品質(zhì)特征及香氣組分分析[J]. 食品工業(yè)科技, 2021, 42(5): 78-84.

Guo J J, Zhou Y, Wang X Y, et al. Analysis of quality features and aroma components in Guizhou representative green tea [J]. Food Industry Technology, 2021, 42(5): 78-84.

[5] 葉江華, 羅盛財, 張奇, 等. 武夷山不同茶園茶樹茶青品質(zhì)的差異[J]. 福建農(nóng)林大學學報(自然科學版), 2017, 46(5): 495-501.

Ye J H, Luo S C, Zhang Q, et al. Difference of fresh tea leaf quality from different tea plantations in Wuyishan [J]. Journal of Fujian Agriculture and Forestry University (Natural Science Edition), 2017, 46(5): 495-501.

[6] 吳雪梅, 張富貴, 呂敬堂. 基于圖像顏色信息的茶葉嫩葉識別方法研究[J]. 茶葉科學, 2013, 33(6): 584-589.

Wu X M, Zhang F G, Lv J T. Research on recognition of tea tender leaf based on image color information [J]. Journal of Tea Science, 2013, 33(6): 584-589

[7] 張怡, 趙珠蒙, 王校常, 等. 基于ResNet卷積神經(jīng)網(wǎng)絡的綠茶種類識別模型構建[J]. 茶葉科學, 2021, 41(2): 261-271.

Zhang Y, Zhao Z M, Wang X C, et al. Construction of green tea recognition model based on ResNet convolutional neural network [J]. Journal of Tea Science, 2021, 41(2): 261-271.

[8] 汪建, 杜世平. 基于顏色和形狀的茶葉計算機識別研究[J]. 茶葉科學, 2008, 28(6): 420-424.

Wang J, Du S P. Identification investigation of tea based on HSI color space and figure [J]. Journal of Tea Science, 2008, 28(6): 420-424.

[9] 毛騰躍, 黃印, 文曉國, 等. 基于多特征與多分類器的鮮茶葉分類研究[J]. 中國農(nóng)機化學報, 2020, 41(12): 75-83.

Mao T Y, Huang Y, Wen X G, et al. Research on classification of fresh tea based on multiple features and multiple classifiers [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(12): 75-83.

[10] 張晴晴. 基于卷積神經(jīng)網(wǎng)絡的茶樹嫩芽識別研究[D]. 合肥: 安徽農(nóng)業(yè)大學, 2020.

Zhang Q Q. Research on the identification of tea tree sprouts based on convolutional neural network [D]. Hefei: Anhui Agricultural University, 2020.

[11] 張?zhí)N. 茶葉嫩芽圖像識別方法研究[D]. 合肥: 安徽農(nóng)業(yè)大學, 2020.

Zhang Y. Research on image recognition method of tea sprouts [D]. Hefei: Anhui Agricultural University, 2020.

[12] Xu M, Wang J, Gu S. Rapid identification of tea quality by E-nose and computer vision combining with a synergetic data fusion strategy [J]. Journal of Food Engineering, 2019, 241: 10-17.

[13] Sabour S, Frosst N, Hinton G E. Dynamic routing between capsules [C]//Luxburg U V, Guyon I, Bengio, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. New York: Curran Associates Inc., 2017: 3859-3869.

[14] Hinton G E, Sabour S, Frosst N. Matrix capsules with em routing [C/OL]//ICLR Organizing Committee. ICLR 2018 Conference Blind Submission, 2018[2022-11-26].

[15] Wang Q, Wu B, Zhu P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks [J]. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2020: 11531-11539.

[16] 魏鋮磊, 南新元, 李成榮, 等. 一種具有多尺度感受視野注意力機制的生活垃圾單階段目標檢測方法[J]. 環(huán)境工程, 2022, 40(1): 175-183.

Wei C L, Nan X Y, Li C R, et al. A single-stage object detection method for domestic garbage based on multi-scale receptive filed attention mechanism [J]. Environmental Engineering: 2022, 40(1): 175-183.

[17] 徐巖, 李曉振, 吳作宏, 等. 基于殘差注意力網(wǎng)絡的馬鈴薯葉部病害識別[J]. 山東科技大學學報(自然科學版), 2021, 40(2): 76-83.

Xu Y, Li X Z, Wu Z H, et al. Potato leaf disease recognitition via residual atention network [J]. Journal of Shandong University of Science and Technology (Natural Science), 2021, 40(2): 76-83.

[18] Zhang S, Zhang S, Zhang C, et al. Cucumber leaf disease identification with global pooling dilated convolutional neural network [J]. Computers and Electronics in Agriculture, 2019, 162: 442-430.

[19] Toraman S, Alakus T B, Turkoglu I. Convolutional capsnet: a novel artificial neural network approach to detect COVID-19 disease from X-ray images using capsule networks [J]. Chaos, Solitons & Fractals, 2020, 140: 110122. doi: 10.1016/j.chaos.2020.110122.

[20] Misra D. Mish: a self regularized non-monotonic activation function [J]. BMVC 2020, 2020. doi: 10.48550/arXiv.1908.08681.

[21] Hu G, Yang X, Zhang Y, et al. Identification of tea leaf diseases by using an improved deep convolutional neural network [J]. Sustainable Computing: Informatics and Systems, 2019, 24: 100353. doi: 10.1016/j.suscom.2019.100353.

Research on the Classification Method of Tea Buds Combining Improved Capsule Network and Knowledge Distillation

CHEN Xingran1, HUANG Haisong1*, HAN Zhenggong1, FAN Qingsong1, ZHU Yunwei1, HU Pengfei2,3

1. Key laboratory of Advanced Manufacturing Technology of the Ministry of Education, Guizhou University, Guiyang 550025, China; 2. Guizhou Vocational College of Equipment Manufacturing, Guiyang 551400, China; 3. Qingzhen Hongfeng Mountain Yun Tea Factory Co., Ltd, Guiyang 551400, China

The accurate classification of different grades of tea buds is very important for the development of the famous tea industry. The use of traditional sensory evaluation methods for sorting makes the results subjective. In this research, a data set was established after tea leaf images were collected, and a new network model, GA-CapsNet, was proposed by combining the ghost attention bottleneck and capsule network. The model was trained by the method of growing knowledge distillation based on the linear decay scaling coefficient, while migrating the parameter matrix of teacher model, the student model was adaptively reduced with iteration. The experimental result shows that, compared with other similar algorithms, the proposed method had excellent classification performance on small-scale data sets. The accuracy, recall and F1-score were 94.97%, 95.51% and 95.24%, respectively. Here, a GA-CapsNet model based on machine vision and deep learning technology was established, which provided a new idea for solving the tea leaf classification problem.

capsule network, knowledge distillation, attention module, tea bud grading

S571.1；TP391.41

A

1000-369X(2022)03-387-10

2021-11-30

2022-02-16

貴州省科技計劃項目（黔科合支撐[2021]一般445、172、397，黔科合支撐[2022]一般165，黔科合基礎[2020]1Y232）、貴州大學引進人才科研基金（貴大人基合字（2019）07號）、貴州省普通高等學校青年科技人才成長項目（黔教合KY 字[2021]096）

陳星燃，男，碩士研究生，主要從事深度學習與農(nóng)業(yè)工程的交叉研究。*通信作者：hshuang@gzu.edu.cn

（責任編輯：黃晨）