白旭光，劉成忠，韓俊英，高嘉蒙，陳俊康

（甘肅農(nóng)業(yè)大學(xué)信息科學(xué)技術(shù)學(xué)院，甘肅 蘭州 730070）

0 引 言

蘋(píng)果的種植資源非常豐富，世界各地都有栽培。根據(jù)西漢司馬相如的《上林賦》記載，中國(guó)最早的蘋(píng)果栽培歷史可以追溯到公元前125年，到現(xiàn)在的2000多年里，蘋(píng)果新品種不斷被選育，導(dǎo)致蘋(píng)果品種混雜頻繁，蘋(píng)果產(chǎn)業(yè)效益低。因此，如何高效、簡(jiǎn)便、準(zhǔn)確地識(shí)別蘋(píng)果品種是一個(gè)重要課題，對(duì)優(yōu)質(zhì)蘋(píng)果品種的推廣與蘋(píng)果產(chǎn)業(yè)的發(fā)展至關(guān)重要。

傳統(tǒng)的蘋(píng)果品種分類(lèi)方法，需要蘋(píng)果種植戶或育種人員依靠自己的直覺(jué)和專業(yè)知識(shí)對(duì)果園中的果實(shí)、樹(shù)木、樹(shù)枝和樹(shù)葉的植物學(xué)特征進(jìn)行現(xiàn)場(chǎng)觀察和分析，這種方法過(guò)多依賴人員的知識(shí)經(jīng)驗(yàn)儲(chǔ)備和主觀判斷，此外由于不可量化，并不適合在大規(guī)模的果園中使用；另一種方法是依靠專業(yè)人員在實(shí)驗(yàn)室中使用物理、化學(xué)和生物技術(shù)分析蘋(píng)果的理化性質(zhì)從而識(shí)別蘋(píng)果品種，這種方法不僅昂貴和耗時(shí)，且對(duì)普通種植者非常不友好。

目前，隨著數(shù)字圖像處理技術(shù)和計(jì)算機(jī)視覺(jué)技術(shù)在農(nóng)業(yè)中的應(yīng)用，人們提出并研究了許多利用植物葉片圖像進(jìn)行植物分類(lèi)的機(jī)器學(xué)習(xí)方法，如k-最近鄰（KNN）、決策樹(shù)、支持向量機(jī)（SVM）［1-8］。傳統(tǒng)的機(jī)器學(xué)習(xí)方法需要人工設(shè)計(jì)和提取判別特征，而人工提取的特征在不同植物間的遷移性較差，因此不同植物品種需要設(shè)計(jì)不同的判別特征。受人工特征選擇的影響，傳統(tǒng)機(jī)器學(xué)習(xí)模型的穩(wěn)定性、魯棒性與泛化性較差，無(wú)法滿足實(shí)際科研和生產(chǎn)的需要。近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)（CNN）已發(fā)展成為計(jì)算機(jī)模式識(shí)別任務(wù)的最佳分類(lèi)方法之一，判別特征不再需要人工設(shè)計(jì)，而是由卷積神經(jīng)網(wǎng)絡(luò)通過(guò)多次卷積操作自動(dòng)提取圖像中的低維和高維特征。卷積神經(jīng)網(wǎng)絡(luò)在基于圖像識(shí)別中的突破性應(yīng)用激發(fā)了其在智慧農(nóng)業(yè)中植物分類(lèi)和識(shí)別研究中的廣泛應(yīng)用。

近年來(lái)，國(guó)內(nèi)外針對(duì)植物葉片圖像識(shí)別的研究取得了不錯(cuò)的成果。Yalcin 等［9］提出了一種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使用葉子圖像對(duì)不同的作物進(jìn)行分類(lèi)。鄭一力等［10］通過(guò)使用Inception V3 預(yù)訓(xùn)練模型得到的植物葉片圖像測(cè)試集準(zhǔn)確率為95.40%，有效提高了識(shí)別準(zhǔn)確率。Dyrmann等［11］通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)，對(duì)22 種處于早期生長(zhǎng)階段的雜草和作物圖像訓(xùn)練和測(cè)試，分類(lèi)準(zhǔn)確率達(dá)到86.2%。Lee 等［12］提出了一種基于植物多器官的卷積神經(jīng)網(wǎng)絡(luò)HGO-CNN，通過(guò)融合植物器官和植物整體的信息，支持使用不同數(shù)量的植物圖像進(jìn)行分類(lèi)，在PlantClef 2015基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于其他網(wǎng)絡(luò)。鄭艷梅等［13］使用BiseNet 卷積神經(jīng)網(wǎng)絡(luò)對(duì)蘋(píng)果葉片圖像自動(dòng)分割，并進(jìn)行引導(dǎo)濾波處理，對(duì)174 種蘋(píng)果葉片試驗(yàn)，精確率達(dá)到98.99%。李鑫然等［14］提出一種改進(jìn)的Faster RCNN模型，對(duì)5種蘋(píng)果葉片病害進(jìn)行檢測(cè)，平均精度均值達(dá)82.48%。周宏威等［15］通過(guò)構(gòu)建VGG16、ResNet50、Inception V3 這3 種神經(jīng)網(wǎng)絡(luò)模型，使用遷移學(xué)習(xí)的方法，對(duì)5種病害蘋(píng)果葉片進(jìn)行識(shí)別，精度分別達(dá)到97.67%、95.34%和100%。

以上研究中，基于葉子圖像輸入的卷積神經(jīng)網(wǎng)絡(luò)對(duì)植物進(jìn)行分類(lèi)已經(jīng)成為智慧農(nóng)業(yè)中的一個(gè)焦點(diǎn)與挑戰(zhàn)，引起了全球?qū)W者及從業(yè)人員的廣泛關(guān)注，但目前該方向仍處于起步階段，相關(guān)研究成果較少，特別是在特定植物品種上。因此，本文從實(shí)際生產(chǎn)與研究問(wèn)題出發(fā)，以主流的蘋(píng)果品種為研究對(duì)象，使用深度殘差網(wǎng)絡(luò)SE-ResNeXt101，基于深度學(xué)習(xí)提出一種基于蘋(píng)果葉片圖像的蘋(píng)果品種分類(lèi)方法，用于解決科學(xué)研究與實(shí)際生產(chǎn)中的蘋(píng)果品種分類(lèi)問(wèn)題。

1 材料與方法

1.1 樣本數(shù)據(jù)集

將采用尼康COOLPIX B700 數(shù)碼相機(jī)在位于甘肅省平?jīng)鍪徐o寧縣的蘋(píng)果產(chǎn)業(yè)基地所拍攝的蘋(píng)果成熟葉片作為圖像數(shù)據(jù)集。蘋(píng)果葉片圖像數(shù)據(jù)集包含20 種蘋(píng)果，分別為（a）寶斯庫(kù)普、（b）紫云、（c）西伯利亞白點(diǎn)、（d）花奎、（e）金花、（f）甜黃魁、（g）戰(zhàn)寒香、（h）甜帥、（i）帕頓、（j）早生赤、（k）伏紅、（l）畢斯馬克、（m）60-15-9、（n）維斯塔貝拉、（o）齊河短金冠、（p）矮黃、（q）1192、（r）矮紅（荷蘭）、（s）張家口短枝、（t）紅星。對(duì)存在背景干擾的圖片使用GrabCut算法分割圖像提取蘋(píng)果葉片目標(biāo)，剔除背景干擾，優(yōu)化模型從而對(duì)目標(biāo)識(shí)別。20種蘋(píng)果葉片類(lèi)別如圖1所示。

圖1 20類(lèi)蘋(píng)果葉片圖像

數(shù)據(jù)集共包含20 個(gè)蘋(píng)果品種，每個(gè)品種有50 幅蘋(píng)果葉片圖像，按照8:2 的方式分離為訓(xùn)練集與測(cè)試集。對(duì)訓(xùn)練集進(jìn)行隨機(jī)數(shù)據(jù)增強(qiáng)處理，緩解了原數(shù)據(jù)集數(shù)據(jù)量過(guò)少的問(wèn)題。

對(duì)蘋(píng)果葉片圖像良好的數(shù)據(jù)增強(qiáng)操作會(huì)提高模型的精度，降低模型的運(yùn)行開(kāi)銷(xiāo)。分析數(shù)據(jù)集樣本的數(shù)量、分布和一致性。針對(duì)數(shù)據(jù)集數(shù)據(jù)量較少的問(wèn)題，在保證不丟失數(shù)據(jù)特征信息的情況下增強(qiáng)數(shù)據(jù)特征。通過(guò)隨機(jī)縮放策略將圖片縮放至不同大小，在不改變模型的前提下改變了模型的感受野，模型可以提取更多特征；通過(guò)隨機(jī)旋轉(zhuǎn)策略和隨機(jī)水平和垂直翻轉(zhuǎn)策略來(lái)模擬從不同角度拍攝的圖片；通過(guò)向圖片中添加適量的高斯噪聲來(lái)扭曲圖片的低頻和高頻特征，增強(qiáng)模型的學(xué)習(xí)能力，提高模型的泛化能力與魯棒性。

1.2 模型方法

模型訓(xùn)練的總體結(jié)構(gòu)如圖2 所示。將拍攝的不同種類(lèi)蘋(píng)果葉片圖像數(shù)據(jù)預(yù)處理，按照8:2 的比例隨機(jī)分成訓(xùn)練集和測(cè)試集，并對(duì)訓(xùn)練集圖像進(jìn)行數(shù)據(jù)增強(qiáng)。使用基于SE-ResNeXt101 的遷移學(xué)習(xí)（Transfer Learning）模型，將訓(xùn)練集數(shù)據(jù)導(dǎo)入模型訓(xùn)練，在所有的訓(xùn)練結(jié)束后使用測(cè)試集檢驗(yàn)?zāi)Ｐ妥罱K的精確度（Accuracy）與損失率（Loss）。至此，得到基于蘋(píng)果葉片圖像數(shù)據(jù)集的蘋(píng)果品種分類(lèi)模型。該模型是一種卷積神經(jīng)網(wǎng)絡(luò)模型，在模型訓(xùn)練的過(guò)程中，每張圖像都以3×224×224的尺寸依次輸入模型，模型通過(guò)多層卷積操作可以提取出圖像從低級(jí)到高級(jí)的復(fù)雜特征。在初始卷積階段獲取圖像局部、細(xì)節(jié)信息；深層卷積階段獲取圖像復(fù)雜、抽象的信息；經(jīng)過(guò)所有卷積層的卷積操作最終得到特征矩陣（Feature Map），再通過(guò)全連接層（Fully Connected Layer）與Softmax 函數(shù)將分類(lèi)結(jié)果轉(zhuǎn)化成概率分布，從而實(shí)現(xiàn)蘋(píng)果葉片品種的分類(lèi)。

圖2 總體結(jié)構(gòu)圖

SE-ResNeXt101［16］深度卷積神經(jīng)網(wǎng)絡(luò)模型是由ResNet 網(wǎng)絡(luò)的變體ResNeXt［16］網(wǎng)絡(luò)以及在殘差結(jié)構(gòu)（Residual Block）中添加SE（Squeeze and Excitation）模塊組成，101 指網(wǎng)絡(luò)的深度為101 層。理論上不斷擴(kuò)展網(wǎng)絡(luò)的深度，可以讓網(wǎng)絡(luò)學(xué)習(xí)到更多維度的信息，提升網(wǎng)絡(luò)的最終學(xué)習(xí)效果。但在實(shí)際情況中一味擴(kuò)展網(wǎng)絡(luò)的深度會(huì)造成梯度消失（Vanishing Gradient）、梯度爆炸（Exploding Gradient）［17］以及退化問(wèn)題（Degradation Problem）等情況，網(wǎng)絡(luò)的學(xué)習(xí)效果反而會(huì)變差。在ResNet中使用了Residual模塊解決模型的退化問(wèn)題，以及使用BN（Batch Normalization）解決梯度爆炸或梯度消失問(wèn)題。ResNeXt網(wǎng)絡(luò)是ResNet網(wǎng)絡(luò)的一種變體，其設(shè)計(jì)的初衷是為了降低原模型的參數(shù)量，故采用了Inception 網(wǎng)絡(luò)的思想，使用組卷積（Group Convolution）［18］代替?zhèn)鹘y(tǒng)卷積（Convolution），加寬網(wǎng)絡(luò)，有效降低了訓(xùn)練參數(shù)量，以更加結(jié)構(gòu)化的方式學(xué)習(xí)數(shù)據(jù)特征，模型訓(xùn)練更加快速，占用資源更小，運(yùn)行更加穩(wěn)定。傳統(tǒng)卷積與組卷積參數(shù)對(duì)比如圖3所示。

圖3 傳統(tǒng)卷積與組卷積

表1 SE-ResNeXt101 網(wǎng)絡(luò)架構(gòu)

圖4 SE-ResNeXt模塊

1.3 遷移學(xué)習(xí)

對(duì)于深度卷積神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，動(dòng)輒上千萬(wàn)個(gè)的參數(shù)量使得訓(xùn)練過(guò)程中需要大量的數(shù)據(jù)集作為支撐，且訓(xùn)練速度不夠快。而模型中的淺層卷積層所提取的各種點(diǎn)、線、角信息以及紋理信息在其他數(shù)據(jù)集中也是通用的，因此將深度神經(jīng)網(wǎng)絡(luò)模型在相似訓(xùn)練集上訓(xùn)練得到的參數(shù)提取出來(lái)，并用于新的數(shù)據(jù)集的訓(xùn)練中，將能大幅度縮短模型訓(xùn)練時(shí)間，且在數(shù)據(jù)量較少的情況下也能一定程度上保證模型的泛化能力。這種深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方式被稱為遷移學(xué)習(xí)。常見(jiàn)的遷移學(xué)習(xí)方式有3種：

1）模型載入權(quán)重后訓(xùn)練所有參數(shù)。此方法需要降低學(xué)習(xí)率，且最后一層無(wú)法載入預(yù)訓(xùn)練參數(shù)，但會(huì)使模型更加具有泛化能力。

2）模型載入權(quán)重后只訓(xùn)練最后幾層全連接層的參數(shù)。此方法訓(xùn)練參數(shù)少，訓(xùn)練速度快。

3）模型載入權(quán)重后再添加新的全連接層，且只訓(xùn)練新的全連接層。

本文選擇第2 種遷移學(xué)習(xí)方法，訓(xùn)練過(guò)程收斂速度較快且擬合效果好，較小的學(xué)習(xí)率使模型的訓(xùn)練過(guò)程較為穩(wěn)定，模型僅需做出局部調(diào)整，降低了系統(tǒng)的的運(yùn)行壓力。

1.4 模型評(píng)價(jià)指標(biāo)

模型評(píng)價(jià)指標(biāo)用來(lái)評(píng)估模型的泛化能力，為了從不同角度考察模型，本文采用精確率（Precision）、召回率（Recall）、F1-score 等指標(biāo)進(jìn)行評(píng)估［23］。精確率P為預(yù)測(cè)結(jié)果為正例樣本中的真實(shí)標(biāo)簽為正例的比例；召回率R為真實(shí)標(biāo)簽為正例樣本中的預(yù)測(cè)結(jié)果為正例的比例；F1-score 為精確率與召回率的調(diào)和平均值，反映了模型的穩(wěn)健性［24］。指標(biāo)公式如表2所示。

表2 模型指標(biāo)公式

2 實(shí)驗(yàn)與結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)置

本文使用百度飛槳深度學(xué)習(xí)平臺(tái)PaddlePaddle框架，版本為2.0.2，采用Adam 優(yōu)化函數(shù)，PiecewiseDecay學(xué)習(xí)率如公式（1）。

其中訓(xùn)練迭代次數(shù)step為260次，共20個(gè)Epoch，批大小為64?；贚inux Ubuntu系統(tǒng)，采用Python3.7語(yǔ)言，使用高性能GPU設(shè)備加速計(jì)算。訓(xùn)練配置如表3所示。

表3 訓(xùn)練配置表

2.2 圖像識(shí)別模型性能對(duì)比

本 文 使 用ResNet50、ResNet101、SE-ResNet50、SE-ResNet101、SE-ResNeXt50、SE-ResNeXt101 進(jìn)行對(duì)比實(shí)驗(yàn)，在保證除模型外的所有條件都相同的前提下，結(jié)合蘋(píng)果葉片圖像數(shù)據(jù)集，使用基于ImageNet 預(yù)訓(xùn)練后的參數(shù)進(jìn)行遷移學(xué)習(xí)［25］，最后評(píng)價(jià)上述6個(gè)模型的性能。將用訓(xùn)練集訓(xùn)練好的各模型，使用同一測(cè)試集進(jìn)行分類(lèi)預(yù)測(cè)，記錄各模型的最高Top-1準(zhǔn)確率與模型的可訓(xùn)練參數(shù)量，經(jīng)過(guò)可視化后比較選出最優(yōu)模型，如圖5 所示。使用Top-1 準(zhǔn)確率（Top-1 accuracy）、平均精確率（Average precision）、平均召回率（Average recall）、F1-Score［26］作為模型評(píng)價(jià)指標(biāo)，如表4所示。

圖5 多種模型參數(shù)量與準(zhǔn)確度比較

表4 各模型性能指標(biāo)比較

如圖5 所示，從SE-ResNet 與ResNet 模型可以看出一味地增加模型深度與參數(shù)量可能會(huì)使模型準(zhǔn)確度下降；ResNet 相比SE-ResNet 模型準(zhǔn)確率要高出1.5%，說(shuō)明SE 模塊提取的特征多為噪聲；SEResNeXt 模型由于在Bottleneck 加入了組卷積使模型參數(shù)量相對(duì)于SE-ResNet 模型有了明顯降低，并且組卷積通過(guò)以對(duì)角線為結(jié)構(gòu)的稀疏性來(lái)學(xué)習(xí)各特征層間的聯(lián)系［27］，故具有組卷積的SE-ResNeXt 模型相對(duì)于SE-ResNet與ResNet模型有著更好的泛化性能。

表4 為各模型在蘋(píng)果葉片測(cè)試數(shù)據(jù)集上的各項(xiàng)性能指標(biāo)。各模型Top-1 準(zhǔn)確率與平均精確率均在92%以上，平均召回率在93%以上，各模型在蘋(píng)果葉片圖像數(shù)據(jù)集上均有優(yōu)秀的表現(xiàn)。模型F1-Score 均在92%以上，說(shuō)明各模型在精確率與召回率上表現(xiàn)較為均衡。由于對(duì)訓(xùn)練集進(jìn)行有效的數(shù)據(jù)增強(qiáng)，且SEResNeXt101的網(wǎng)絡(luò)結(jié)構(gòu)較為合理，故基于遷移學(xué)習(xí)的SE-ResNeXt101在測(cè)試集上得到最高Top-1準(zhǔn)確率為97.5%，且其他性能指標(biāo)均為最高，達(dá)到了98%。

2.3 SE-ResNeXt101模型性能分析

表5 為模型在訓(xùn)練集和測(cè)試集上的準(zhǔn)確率表現(xiàn)。Top-1 Accuracy 是指排名第1 的類(lèi)別與實(shí)際結(jié)果相符的準(zhǔn)確率，Top-2 Accuracy 是指排名前二的類(lèi)別包含實(shí)際結(jié)果的準(zhǔn)確率［28］。經(jīng)過(guò)長(zhǎng)時(shí)間訓(xùn)練，訓(xùn)練集的準(zhǔn)確率接近100%，Top-1 訓(xùn)練集準(zhǔn)確率達(dá)到了99.43%，此時(shí)Top-1 測(cè)試集準(zhǔn)確率達(dá)到了97.50%，模型在測(cè)試集上表現(xiàn)效果較好。

表5 模型準(zhǔn)確率

圖6 為SE-ResNeXt101 模型基于測(cè)試集的混淆矩陣，其主對(duì)角線位置上的數(shù)字代表模型的正確識(shí)別率，其余位置為模型的錯(cuò)誤識(shí)別率，橫坐標(biāo)為模型預(yù)測(cè)標(biāo)簽，縱坐標(biāo)為葉片真實(shí)的標(biāo)簽。由于寶斯庫(kù)普、紫云、西伯利亞白點(diǎn)、花奎等品種的葉片形態(tài)特征非常突出，與其他品種差異較大，因此這些品種的識(shí)別率為100%；金花、甜帥與60-15-9 的識(shí)別率中等，金花容易被錯(cuò)誤分類(lèi)成畢斯馬克，甜帥被錯(cuò)誤分類(lèi)成伏紅，60-15-9 被錯(cuò)誤分類(lèi)成矮黃，它們的識(shí)別率分別為91%、92%、90%；帕頓的識(shí)別率最低，由于帕頓和早生赤品種葉片有一定的相似性，且帕頓葉片缺乏獨(dú)特性，所以帕頓的識(shí)別率較低，只有82%。

圖6 混淆矩陣

綜合上述混淆矩陣以及模型分類(lèi)評(píng)價(jià)指標(biāo)表，如表6 所示，考慮識(shí)別準(zhǔn)確率的情況下，模型對(duì)帕頓的識(shí)別能力最差，如果綜合考慮精確率與召回率（β=1）即F1-score的情況下，模型對(duì)帕頓的識(shí)別能力同樣是最差的，F(xiàn)1-score 僅為0.90，表明模型對(duì)帕頓葉片特征的提取還有待提高。

表6 模型分類(lèi)評(píng)價(jià)指標(biāo)

3 結(jié)束語(yǔ)

本文基于SE-ResNeXt101 的遷移學(xué)習(xí)網(wǎng)絡(luò)構(gòu)建了蘋(píng)果葉片圖像分類(lèi)模型，模型可以自行設(shè)計(jì)和提取判別特征，不需要額外的工作，其可以自動(dòng)檢測(cè)不同維度的語(yǔ)義特征，實(shí)現(xiàn)了對(duì)生活中常見(jiàn)蘋(píng)果如甜帥、金花和矮黃等20 種蘋(píng)果的有效識(shí)別，在測(cè)試集上的Top-1 識(shí)別準(zhǔn)確率最高可以達(dá)到97%以上，Top-2 識(shí)別準(zhǔn)確率最高可以達(dá)到100%以上，平均精確率、平均召回率和平均F1-Score 均達(dá)到了98%。經(jīng)過(guò)對(duì)比發(fā) 現(xiàn)，模 型 比ResNet50、ResNet101、SE-ResNet50、SE-ResNet101 和SE-ResNeXt50 模型分類(lèi)效果更好，通過(guò)數(shù)據(jù)增強(qiáng)的方式提高了數(shù)據(jù)集的數(shù)據(jù)量，可靠性與泛化能力較強(qiáng)。該模型可以運(yùn)用到農(nóng)技科研工作人員與蘋(píng)果種植農(nóng)戶的實(shí)際科研和工作中，結(jié)合農(nóng)業(yè)專家系統(tǒng)提高農(nóng)業(yè)智能化水平和工作效率。

未來(lái)的工作將旨在通過(guò)研究其他深度神經(jīng)網(wǎng)絡(luò)模型，例如Transformer 來(lái)識(shí)別蘋(píng)果品種。此外，需要收集來(lái)自不同種植區(qū)的更多蘋(píng)果品種的更多葉子圖像，以提高模型在更多蘋(píng)果品種上的泛化性能和效率。且該模型還可遷移至其他果樹(shù)的品種識(shí)別甚至其他植物的品種識(shí)別。