馮 曉，李丹丹，王文君，鄭國清，劉海礁，孫永勝，梁 山，楊 瑩，臧賀藏，張 輝

(1.河南省農(nóng)業(yè)科學(xué)院 農(nóng)業(yè)經(jīng)濟(jì)與信息研究所，河南 鄭州 450002；2.河南省智慧農(nóng)業(yè)工程技術(shù)研究中心，河南 鄭州 450002； 3.河南省林業(yè)科學(xué)研究院，河南 鄭州 450008)

小麥?zhǔn)俏覈匾募Z食作物，病害的發(fā)生嚴(yán)重危害小麥的生長發(fā)育[1-2]。利用計(jì)算機(jī)視覺技術(shù)快速、準(zhǔn)確識(shí)別小麥病害類型對于小麥病害防治具有重要的應(yīng)用價(jià)值。傳統(tǒng)的作物病害計(jì)算機(jī)視覺識(shí)別通常是在病害圖像經(jīng)預(yù)處理、病斑分割、病斑特征提取及篩選等多個(gè)步驟后，利用支持向量機(jī)(Support vector machine，SVM)、神經(jīng)網(wǎng)絡(luò)等分類器進(jìn)行識(shí)別[3-5]，這類識(shí)別需要依賴專業(yè)知識(shí)針對病害癥狀設(shè)計(jì)特征提取方法，泛化能力及魯棒性較差。近年來，隨著大規(guī)模標(biāo)記數(shù)據(jù)的產(chǎn)生和計(jì)算機(jī)計(jì)算能力的快速提升，卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network，CNN)進(jìn)入快速發(fā)展期，基于CNN的圖像識(shí)別方法無需經(jīng)過繁瑣的預(yù)處理、特征提取等中間建模過程，采用端到端的結(jié)構(gòu)，由數(shù)據(jù)驅(qū)動(dòng)自動(dòng)提取深層的抽象特征，減少了人工設(shè)計(jì)特征產(chǎn)生的不完備性。許多學(xué)者將AlexNet[6-10]、VGGNet[8,11]、ResNet[12]等經(jīng)典CNN用于作物病害圖像識(shí)別，取得了比傳統(tǒng)識(shí)別方法更好的效果。

基于CNN進(jìn)行圖像分類需要大量數(shù)據(jù)和計(jì)算資源支撐，且耗時(shí)長。通過遷移學(xué)習(xí)，將在大型圖像數(shù)據(jù)集上訓(xùn)練好的CNN通過一定方式在小的目標(biāo)數(shù)據(jù)集上經(jīng)過小幅訓(xùn)練即可完成目標(biāo)識(shí)別任務(wù)，可有效彌補(bǔ)數(shù)據(jù)量的不足，且大幅降低計(jì)算時(shí)間。當(dāng)前，遷移學(xué)習(xí)在作物病害識(shí)別[7-8,13]領(lǐng)域已獲得成功應(yīng)用。

傳統(tǒng)的AlexNet、VGGNet等CNN參數(shù)多、復(fù)雜度高，不適合移動(dòng)終端應(yīng)用場景，不依賴于網(wǎng)絡(luò)、完全部署在手機(jī)等移動(dòng)設(shè)備上的作物病害識(shí)別APP更符合當(dāng)前作物病害識(shí)別應(yīng)用現(xiàn)實(shí)需求。郭小清等[9]結(jié)合番茄葉部病害圖像特征，改進(jìn)AlexNet實(shí)現(xiàn)了多感受野識(shí)別模型Multi-Scale AlexNet，并開發(fā)了Android平臺(tái)的番茄葉部病害圖像識(shí)別系統(tǒng)。劉洋等[14]綜合比較了基于MobileNetV1[15]和InceptionV3建立的移動(dòng)端植物病害識(shí)別模型的識(shí)別精度、模型尺寸和運(yùn)算速度，表明MobileNetV1在移動(dòng)平臺(tái)應(yīng)用的綜合性能更優(yōu)。MobileNetV2[16]是Google公司2018年推出的輕量級(jí)CNN，比MobileNetV1的網(wǎng)絡(luò)結(jié)構(gòu)更深，參數(shù)更少，模型尺寸更小，但目前利用MobileNetV2進(jìn)行作物病害識(shí)別的研究還比較缺乏。構(gòu)建識(shí)別準(zhǔn)確率高、泛化能力強(qiáng)、尺寸更小的輕量級(jí)模型是移動(dòng)端小麥葉部病害識(shí)別的趨勢。鑒于此，采集小麥生產(chǎn)中發(fā)生普遍、危害嚴(yán)重的白粉病、條銹病和葉銹病3種葉部病害圖像建立樣本集，基于MobileNetV2和遷移學(xué)習(xí)建立小麥葉部病害圖像識(shí)別模型，并分析遷移學(xué)習(xí)方法、樣本量、全局平均池化(Global average pooling，GAP)前添加Dropout層、初始學(xué)習(xí)率設(shè)置對模型性能的影響，為開發(fā)基于移動(dòng)終端的小麥病害智能識(shí)別系統(tǒng)提供模型構(gòu)建技術(shù)支持。

1 材料和方法

1.1 數(shù)據(jù)來源

在大田復(fù)雜自然環(huán)境中采集白粉病、條銹病和葉銹病共3種小麥葉部病害圖像，其中一部分于2017年5月在河南溫縣用佳能60D(鏡頭18-135 mm IS)數(shù)碼相機(jī)拍攝，大小為5 760像素×3 240像素；另一部分于2020年5月在河南原陽河南現(xiàn)代農(nóng)業(yè)研究開發(fā)基地用華為榮耀8X手機(jī)拍攝，大小為5 120像素×3 840像素。鑒于樣本類別不均衡對CNN性能有較大影響[17-18]，對每種小麥葉部病害拍攝基本均衡的數(shù)量，2次拍攝后選出1 200幅清晰圖像作為原始圖像。

1.2 數(shù)據(jù)預(yù)處理及數(shù)據(jù)增強(qiáng)

首先，將采集到的原始圖像利用圖像處理工具包Python image library(PIL)批量隨機(jī)裁剪出1 150像素×1 150像素、950像素×950像素、750像素×750像素、550像素×550像素、400像素×400像素等不同像素大小的圖像，從中篩選出每種病害樣本3 000幅，3種病害樣本共計(jì)9 000幅。通過上述操作擴(kuò)充了圖像數(shù)量且模擬了拍攝的尺度差異。然后，隨機(jī)選取部分圖像進(jìn)行水平或垂直翻轉(zhuǎn)以模擬拍攝的角度差異。最后，將9 000幅圖像尺寸統(tǒng)一調(diào)整為224像素×224像素，獲得最終的小麥葉部病害樣本集。圖1為小麥葉部病害樣本示例。

1.3 模型構(gòu)建

訓(xùn)練一個(gè)良好的CNN需要大規(guī)模規(guī)范的數(shù)據(jù)集和計(jì)算資源作為支撐，通過遷移學(xué)習(xí)，將在大型基準(zhǔn)數(shù)據(jù)集上訓(xùn)練好的成熟模型的參數(shù)遷移到新的目標(biāo)識(shí)別任務(wù)，可顯著降低對訓(xùn)練樣本集和計(jì)算資源的需求，并加速模型學(xué)習(xí)效率。本研究將在ImageNet數(shù)據(jù)集上訓(xùn)練好的MobileNetV2模型作為預(yù)訓(xùn)練模型進(jìn)行小麥葉部病害圖像識(shí)別。MobileNetV2采用深度可分離卷積(Depthwise separable convolution，DSC)[19]，在損失精度較少的情況下大幅度降低參數(shù)量和計(jì)算量，并在MobileNetV1基礎(chǔ)上引入具有線性瓶頸的倒殘差結(jié)構(gòu)。

本研究中構(gòu)建了表1所示的2種小麥葉部病害圖像識(shí)別模型。2種模型中，MobileNetV2的寬度乘子(α)均設(shè)置為1.0，分辨率乘子(β)均設(shè)置為224，去除MobileNetV2的原分類器，替換為用于小麥葉部病害圖像識(shí)別任務(wù)的新分類器。在新分類器中，采用了GAP，其相比傳統(tǒng)CNN中常用的全連接(Fully connected，F(xiàn)C)層極大減少了模型參數(shù)，使得模型抗過擬合能力更強(qiáng)，并提升了模型訓(xùn)練速度；最后采用Softmax函數(shù)輸出病害圖像屬于每個(gè)類別的概率。模型a和模型b的不同在于，模型a在GAP前增加了Dropout層，其丟棄概率(Rate)設(shè)置為0.5。Dropout技術(shù)通常用于全連接層，通過降低神經(jīng)元之間的相互依賴減少深層神經(jīng)網(wǎng)絡(luò)過擬合現(xiàn)象，是增強(qiáng)模型泛化能力常用的解決方案[20-21]。

表1 模型網(wǎng)絡(luò)結(jié)構(gòu)Tab.1 Model network architecture

1.4 模型訓(xùn)練及優(yōu)化

從每種病害圖像樣本中隨機(jī)選出2 160幅作為訓(xùn)練集，540幅作為驗(yàn)證集，300幅作為測試集，用于模型訓(xùn)練及測試。為研究圖像樣本數(shù)量對模型精度影響的大小，在每種病害訓(xùn)練集和驗(yàn)證集中隨機(jī)選取1/4(訓(xùn)練集540幅、驗(yàn)證集135幅)的圖像分別作為訓(xùn)練集和驗(yàn)證集進(jìn)行小樣本訓(xùn)練，其中，2種不同樣本量訓(xùn)練后，均采用相同的300幅測試集進(jìn)行模型評價(jià)。

深度學(xué)習(xí)模型訓(xùn)練時(shí)，學(xué)習(xí)率是最影響模型性能的超參數(shù)之一，本研究使用自適應(yīng)矩估計(jì)(Adaptive moment estimation，Adam)自動(dòng)優(yōu)化學(xué)習(xí)率，選擇0.000 01、0.000 1和0.001共3種初始學(xué)習(xí)率進(jìn)行學(xué)習(xí)。批訓(xùn)練樣本數(shù)(Batchsize)設(shè)置為16；迭代次數(shù)(Epoch)設(shè)置為100；每次迭代前隨機(jī)打亂訓(xùn)練集。

常用的遷移學(xué)習(xí)方法是首先凍結(jié)預(yù)訓(xùn)練模型所有層，利用目標(biāo)數(shù)據(jù)集對新分類器參數(shù)進(jìn)行訓(xùn)練；然后解凍預(yù)訓(xùn)練模型靠近輸出的部分卷積層，聯(lián)合訓(xùn)練新分類器和這部分解凍的卷積層，通過這種微調(diào)高階特征表示的方式，使模型與目標(biāo)任務(wù)更相關(guān)。由于MobileNetV2屬于輕量化模型，模型參數(shù)量相對較小，本研究采用不凍結(jié)任何網(wǎng)絡(luò)層，將模型所有層設(shè)置為可訓(xùn)練的遷移學(xué)習(xí)方式，即直接訓(xùn)練模型所有參數(shù)，并與凍結(jié)預(yù)訓(xùn)練模型的全部卷積層，僅對新分類器參數(shù)訓(xùn)練的遷移學(xué)習(xí)方式進(jìn)行對比。

基于上述模型訓(xùn)練及優(yōu)化方案，2種模型網(wǎng)絡(luò)結(jié)構(gòu)下共計(jì)進(jìn)行24組模型訓(xùn)練。本研究中建模及模型訓(xùn)練在深度學(xué)習(xí)框架Tensorflow 2.0下完成。

1.5 模型評價(jià)指標(biāo)

采用平均識(shí)別準(zhǔn)確率對模型進(jìn)行評價(jià)：

式中，ns表示樣本類別數(shù)量，本研究中為3；ni表示第i類樣本數(shù)量；nii表示第i類樣本預(yù)測正確的數(shù)量。本研究中，取模型100次迭代中驗(yàn)證集平均識(shí)別準(zhǔn)確率最高的迭代第次對應(yīng)模型的測試集平均識(shí)別準(zhǔn)確率評價(jià)模型。24組模型訓(xùn)練時(shí)，個(gè)別組出現(xiàn)最高驗(yàn)證集平均識(shí)別準(zhǔn)確率不唯一的情況，選擇其中訓(xùn)練集平均識(shí)別準(zhǔn)確率最高的迭代第次對應(yīng)的模型為最終模型。若最高訓(xùn)練集平均識(shí)別準(zhǔn)確率也不唯一，則選定其中最小的迭代第次對應(yīng)的模型為最終模型。

2 結(jié)果與分析

2.1 遷移學(xué)習(xí)方式對模型性能的影響

表2為24組模型訓(xùn)練后識(shí)別準(zhǔn)確率情況。從表2可以看出，24組模型中，在相同的樣本量、模型a或b及初始學(xué)習(xí)率下，直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方式均明顯優(yōu)于僅訓(xùn)練模型分類器參數(shù)的方式，測試集平均識(shí)別準(zhǔn)確率提升了5.56～24.66個(gè)百分點(diǎn)。直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方式下，方案19的測試集平均識(shí)別準(zhǔn)確率最高，達(dá)99.96%；僅訓(xùn)練模型分類器參數(shù)的遷移學(xué)習(xí)方式下，方案3的測試集平均識(shí)別準(zhǔn)確率最高，為91.11%。方案3和方案19的模型訓(xùn)練過程準(zhǔn)確率曲線如圖2所示，方案3在迭代8次時(shí)訓(xùn)練集平均識(shí)別準(zhǔn)確率上升到90%以上，之后較為穩(wěn)定，而驗(yàn)證集平均識(shí)別準(zhǔn)確率波動(dòng)較大，明顯過擬合；方案19在迭代8次時(shí)訓(xùn)練集平均識(shí)別準(zhǔn)確率上升到99%以上，且驗(yàn)證集平均識(shí)別準(zhǔn)確率曲線和訓(xùn)練集平均識(shí)別準(zhǔn)確率曲線基本一致，獲得了很好的識(shí)別效果。以上研究表明，基于MobileNetV2進(jìn)行小麥葉部病害圖像識(shí)別中，采用直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方式更為適宜。

表2 模型識(shí)別準(zhǔn)確率Tab.2 Recognition accuracy of model

a：方案3的訓(xùn)練曲線； b：方案19的訓(xùn)練曲線

2.2 樣本量對模型性能的影響

從表2中直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方式下的方案13—24可知，在同樣的模型a或b選擇及初始學(xué)習(xí)率下，采用大樣本量訓(xùn)練均比小樣本量訓(xùn)練獲得更高的測試集平均識(shí)別準(zhǔn)確率，尤其是采用0.001的初始學(xué)習(xí)率時(shí)，大樣本量訓(xùn)練相比小樣本量訓(xùn)練，模型a、b的測試集平均識(shí)別準(zhǔn)確率分別提升了2.11、4.00個(gè)百分點(diǎn)。大樣本量訓(xùn)練下獲得的最高測試集平均識(shí)別準(zhǔn)確率為99.96%，比小樣本量訓(xùn)練下獲得的最高測試集平均識(shí)別準(zhǔn)確率99.44%高出了0.52個(gè)百分點(diǎn)。本研究綜合考慮樣本類別均衡性、田間拍攝尺度和拍攝角度的差異性，設(shè)計(jì)了適宜的樣本數(shù)據(jù)采集、預(yù)處理及增強(qiáng)方案，通過增加樣本量有效提升了模型性能。同時(shí)，表2中小樣本量訓(xùn)練下方案14的測試集平均識(shí)別準(zhǔn)確率達(dá)到了99.44%，也表明在每種病害圖像樣本量低于1 000幅的情況下，基于MobileNetV2通過遷移學(xué)習(xí)即可很好地實(shí)現(xiàn)小麥葉部病害圖像識(shí)別建模。

2.3 GAP前添加Dropout層對模型性能的影響

從表2中方案13—24可知，在小樣本量訓(xùn)練下，分類器中添加Dropout層的方案13、14和15的測試集平均識(shí)別準(zhǔn)確率分別高于不添加Dropout層的方案16、17和18；在大樣本量訓(xùn)練下，初始學(xué)習(xí)率為0.000 01的方案19比22的測試集平均識(shí)別準(zhǔn)確率提升0.07個(gè)百分點(diǎn)，但初始學(xué)習(xí)率為0.000 1及0.001的方案20和21不如方案23和24的識(shí)別性能好。以上結(jié)果表明，GAP替代全連接層后，采用Dropout技術(shù)在提升模型泛化能力上未必一定有效，這是因?yàn)镚AP本身就是一種結(jié)構(gòu)性的規(guī)則項(xiàng)，不同于全連接層非常依賴Dropout進(jìn)行規(guī)則化，但也表明，在GAP前采用Dropout技術(shù)有可能起到提升模型性能的作用，實(shí)際應(yīng)用中可具體模型具體分析。

2.4 初始學(xué)習(xí)率對模型性能的影響

從表2中方案13—24可知，采用直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方法，除初始學(xué)習(xí)率較高的小樣本量訓(xùn)練，模型測試集平均識(shí)別準(zhǔn)確率均達(dá)到了99%以上。但從不同的初始學(xué)習(xí)率下模型訓(xùn)練過程平均識(shí)別準(zhǔn)確率曲線(圖2b、圖3)可以看出，初始學(xué)習(xí)率為0.000 01的方案19的訓(xùn)練集平均識(shí)別準(zhǔn)確率和驗(yàn)證集平均識(shí)別準(zhǔn)確率均穩(wěn)定保持在較高水平，走勢基本一致，而初始學(xué)習(xí)率為0.000 1和0.001的方案20和21雖訓(xùn)練集平均識(shí)別準(zhǔn)確率很高，但驗(yàn)證集平均識(shí)別準(zhǔn)確率呈現(xiàn)一定的波動(dòng)，尤其是方案21波動(dòng)幅度較大，模型不穩(wěn)定。以上結(jié)果表明，采用0.000 01的初始學(xué)習(xí)率模型泛化能力最強(qiáng)，效果最優(yōu)。這是因?yàn)榻?jīng)過遷移學(xué)習(xí)，預(yù)訓(xùn)練模型已獲得了較好的訓(xùn)練，設(shè)置較大的初始學(xué)習(xí)率會(huì)導(dǎo)致參數(shù)更新幅度大，結(jié)果易跨過最優(yōu)解，在最優(yōu)解兩端震蕩。

a：方案20的訓(xùn)練曲線； b：方案21的訓(xùn)練曲線

3 結(jié)論與討論

本研究針對小麥葉部病害便捷識(shí)別的需求，建立了白粉病、條銹病和葉銹病3 種小麥葉部病害圖像樣本集，基于MobileNetV2和遷移學(xué)習(xí)對這3種小麥病害圖像識(shí)別進(jìn)行建模。通過設(shè)置24組模型訓(xùn)練，篩選識(shí)別準(zhǔn)確率高、泛化能力強(qiáng)的模型。根據(jù)試驗(yàn)結(jié)果，得到如下結(jié)論：

1)基于MobileNetV2和遷移學(xué)習(xí)建立的小麥葉部病害圖像識(shí)別模型的平均識(shí)別準(zhǔn)確率高達(dá)99.96%，取得了非常好的識(shí)別效果。

2)利用ImageNet數(shù)據(jù)集上訓(xùn)練好的MobileNetV2模型進(jìn)行遷移學(xué)習(xí)時(shí)，由于MobileNetV2是輕量化模型，參數(shù)量級(jí)不大，且ImageNet數(shù)據(jù)集和小麥葉部病害圖像樣本集差異大，采用直接訓(xùn)練模型所有參數(shù)的遷移學(xué)習(xí)方式明顯優(yōu)于僅訓(xùn)練模型分類器參數(shù)的方式。在實(shí)際圖像分類任務(wù)中，當(dāng)采用的模型本身參數(shù)量級(jí)不太大，且與預(yù)訓(xùn)練數(shù)據(jù)集差異較大時(shí)，可嘗試采用直接對全部模型參數(shù)進(jìn)行訓(xùn)練的遷移學(xué)習(xí)方式。

3)采集到的圖像樣本進(jìn)行預(yù)處理及數(shù)據(jù)增強(qiáng)時(shí)，應(yīng)考慮到田間拍攝尺度和拍攝角度的差異，通過適宜的方式增加樣本量，可提升模型性能。每種病害樣本量達(dá)到1 000幅的情況下，就能較好地實(shí)現(xiàn)小麥葉部病害識(shí)別建模。經(jīng)遷移學(xué)習(xí)，模型已在預(yù)訓(xùn)練數(shù)據(jù)集上收斂，應(yīng)采用較小的初始學(xué)習(xí)率進(jìn)行訓(xùn)練，以防止模型跨過最優(yōu)解，在最優(yōu)解兩端震蕩。分類器中GAP前采用Dropout技術(shù)在一定的初始學(xué)習(xí)率、樣本量下有可能小幅提升模型性能，但作用不如全連接層中采用Dropout技術(shù)明顯，解決實(shí)際分類問題時(shí)可具體問題具體分析。

本研究建立的模型僅在3種小麥葉部病害圖像識(shí)別任務(wù)中獲得了很好的效果，而實(shí)際上小麥病害種類繁多，多種病害引起的危害癥狀可能類似，比如赤霉病、全蝕病、根腐病等都會(huì)引起小麥干穗死穗現(xiàn)象，這是小麥病害圖像識(shí)別丞待解決的問題，可能需采集多部位特征綜合識(shí)別。下一步對模型進(jìn)行推廣應(yīng)用時(shí)，還需增加更多的病害種類，增加同種病害不同癥狀的樣本以及多種病害混合發(fā)生的樣本，并研究同癥異病及混合病害識(shí)別方法，以提升模型的應(yīng)用價(jià)值。