王梓衡 沈繼鋒 左欣 武小紅 孫俊

DOI： 10.3969/j.issn.1671-7775.2024.03.006

開放科學(xué)（資源服務(wù)）標(biāo)識(shí)碼（OSID）：

摘要： 針對(duì)單網(wǎng)絡(luò)模型存在對(duì)數(shù)據(jù)產(chǎn)生學(xué)習(xí)偏好的缺陷，提出了一種基于多模型融合的農(nóng)作物病害識(shí)別方法.該方法首先對(duì)4種主流卷積神經(jīng)網(wǎng)絡(luò)ResNet50、DenseNet121、Xception和MobileNetV2進(jìn)行單模型性能評(píng)估，然后對(duì)這4種單模型分別進(jìn)行特征級(jí)和決策級(jí)多模型融合，最終輸出識(shí)別結(jié)果.特征級(jí)融合方法分別對(duì)每個(gè)子網(wǎng)絡(luò)的最后輸出特征層進(jìn)行平均化、最大值化和拼接壓縮融合，實(shí)現(xiàn)異質(zhì)特征的高效互補(bǔ)；而決策級(jí)融合方法分別對(duì)每個(gè)子網(wǎng)絡(luò)的輸出概率進(jìn)行最大化和平均化融合，實(shí)現(xiàn)概率分布決策的高效聯(lián)合.在農(nóng)作物病害數(shù)據(jù)集PDR2018上的試驗(yàn)結(jié)果表明：特征級(jí)融合明顯優(yōu)于決策級(jí)融合和單模型方法，且拼接壓縮特征融合方法具有最高的識(shí)別準(zhǔn)確率，達(dá)到了98.44%.此外該模型在PlantDoc數(shù)據(jù)子集和實(shí)際拍攝圖像的跨庫(kù)試驗(yàn)結(jié)果同樣表明：特征融合方法比單模型方法具有更好的精度和泛化性能.

關(guān)鍵詞：? 農(nóng)作物病害； 特征級(jí)融合； 決策級(jí)融合； 卷積神經(jīng)網(wǎng)絡(luò)； 泛化性能

中圖分類號(hào)： S126? 文獻(xiàn)標(biāo)志碼：? A? 文章編號(hào)：?? 1671-7775（2024）03-0286-09

引文格式：? 王梓衡，沈繼鋒，左? 欣，等. 基于特征級(jí)與決策級(jí)融合的農(nóng)作物葉片病害識(shí)別［J］.江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，45（3）：286-294.

收稿日期：?? 2022-08-31

基金項(xiàng)目：? 國(guó)家自然科學(xué)基金資助項(xiàng)目（61903164）； 江蘇省自然科學(xué)基金資助項(xiàng)目（BK20191427）； 江蘇大學(xué)農(nóng)業(yè)裝備學(xué)部項(xiàng)目（NZXB20210210）； 江蘇高校優(yōu)勢(shì)學(xué)科建設(shè)工程（三期）項(xiàng)目（PAPD-2018-87）

作者簡(jiǎn)介：?? 王梓衡（1997—），男，江蘇淮安人，碩士研究生（1205755897@qq.com），主要從事計(jì)算機(jī)視覺(jué)的研究.

沈繼鋒（1980—），男，江蘇宜興人，副教授（通信作者，shenjifeng@ujs.edu.cn），主要從事農(nóng)業(yè)智能信息處理與計(jì)算機(jī)視覺(jué)的研究.

Crop leaf disease recognition based on feature-level and

decision-level fusion

WANG Ziheng1， SHEN Jifeng1， ZUO Xin2， WU Xiaohong1， SUN Jun1

（1. School of Electrical and Information Engineering， Jiangsu University， Zhenjiang， Jiangsu 212013， China； 2. School of Computer， Jiangsu University of Science and Technology， Zhenjiang， Jiangsu 212003， China）

Abstract： To solve the shortcomings of single-network model with learning preference for data， the crop disease identification method was proposed based on multi-model fusion. The single model performance of four mainstream convolutional neural networks of ResNet50， DenseNet121， Xception and MobileNetV2 was evaluated by the proposed method， and the four single models were respectively conducted by multi-model feature-level and decision-level fusion to obtain the identification output. The feature-level fusion method was used to average， maximize and splice the final output feature layer of each sub-network to achieve efficient complementarity of heterogeneous features. The decision-level fusion method was used to maximize and average the output probability of each sub-network to achieve efficient union of probability distribution decisions. The experimental results on the PDR2018 crop disease datasets show that feature-level fusion outperforms decision-level fusion and single-model methods significantly. Among the fusion methods， splicing compression feature fusion achieves the highest recognition accuracy of 98.44%. The cross-database experiments on PlantDoc data subset and the actual images confirm that the feature fusion method exhibits superior accuracy and generalization performance compared to the single-model method.

Key words：? crop disease; feature-level fusion; decision-level fusion; convolutional neural network; generalization performance

農(nóng)作物病害是我國(guó)主要農(nóng)業(yè)災(zāi)害之一，不僅影響農(nóng)作物品質(zhì)，還會(huì)給農(nóng)業(yè)生產(chǎn)造成重大損失［1］.傳統(tǒng)農(nóng)作物病害識(shí)別主要是采用人工分類方法［2］，需要專業(yè)人員具備豐富的專業(yè)知識(shí).然而隨著樣本數(shù)量和病害種類的增加，人工分類方法存在主觀性效率低下、時(shí)效性無(wú)法保障等問(wèn)題［3］，會(huì)導(dǎo)致錯(cuò)失最佳治理時(shí)機(jī)而造成巨大的損失.因此精準(zhǔn)病害識(shí)別是農(nóng)作物病害治理的關(guān)鍵，也是目前精準(zhǔn)農(nóng)業(yè)和智慧農(nóng)業(yè)［4］面臨的一項(xiàng)重大挑戰(zhàn).

基于傳統(tǒng)機(jī)器學(xué)習(xí)［5］的病蟲害識(shí)別方法通常包含以下4個(gè)步驟：圖像捕捉、圖像預(yù)處理、圖像分割和特征提取.文獻(xiàn)［6］對(duì)葡萄葉片病害進(jìn)行研究，用k均值聚類算法（k-means clustering algorithm）聚類出病害區(qū)域，同時(shí)提取葉片紋理和顏色特征，并使用支持向量機(jī)（support vector machine，SVM）進(jìn)行病害分類，獲得了88.89%的準(zhǔn)確率.文獻(xiàn)［7］對(duì)水稻葉片病害研究，使用了k鄰近算法（k-nearest neighbor，KNN）進(jìn)行分類，最終獲得76.59%的準(zhǔn)確率.文獻(xiàn)［8］針對(duì)番茄葉片病害進(jìn)行研究，通過(guò)提取健康和不健康番茄植物圖像的顏色、形狀和紋理特征用決策樹算法進(jìn)行分類，獲得了97.3%的分類準(zhǔn)確率.文獻(xiàn)［9］提出了分段垂直投影的水稻秧苗中心線提取方法，使用最小二乘法進(jìn)行特征點(diǎn)擬合，準(zhǔn)確率達(dá)到了94.50%.雖然這些方法都能取得不錯(cuò)的結(jié)果，但是傳統(tǒng)機(jī)器學(xué)習(xí)方法需要對(duì)圖像進(jìn)行人工預(yù)處理及特征提取，對(duì)不同的任務(wù)不具有通用性.并且特征選擇直接影響圖像分類的準(zhǔn)確率，因此如何選擇最佳的處理方法是分類人員面臨的一項(xiàng)重要挑戰(zhàn).

隨著深度學(xué)習(xí)技術(shù)［10］的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)（convlution natural network，CNN）在計(jì)算機(jī)視覺(jué)領(lǐng)域獲得了廣泛的應(yīng)用.該方法首先堆疊多個(gè)卷積層來(lái)構(gòu)建深層神經(jīng)網(wǎng)絡(luò)模型，再利用池化層對(duì)數(shù)據(jù)進(jìn)行下采樣以減少數(shù)據(jù)量，從而降低計(jì)算成本；然后通過(guò)大量訓(xùn)練樣本自動(dòng)學(xué)習(xí)數(shù)據(jù)特征；最終使用全連接層實(shí)現(xiàn)分類任務(wù).文獻(xiàn)［11］提出的AlexNet網(wǎng)絡(luò)促進(jìn)了深度學(xué)習(xí)在農(nóng)作物智能化研究的發(fā)展.文獻(xiàn)［12］以玉米葉片病害為研究對(duì)象，將擴(kuò)張卷積和多尺度卷積應(yīng)用到AlexNet上，提高了模型的特征提取能力，最后引入批處理量綱一化防止模型過(guò)擬合，試驗(yàn)表明，改進(jìn)后的AlexNet在玉米數(shù)據(jù)集上取得了98.62%的準(zhǔn)確率.文獻(xiàn)［13］將批量綱一化、全局池化加入到傳統(tǒng)的AlexNet模型中，得到一種收斂迅速的模型，該模型在公共數(shù)據(jù)集Plant Village上獲得了99.56%的平均測(cè)試準(zhǔn)確率.文獻(xiàn)［14］提出的視覺(jué)幾何群網(wǎng)絡(luò)（visual geometry group network，VGG）系列模型增加了層數(shù)和通道數(shù)，并且用小卷積核代替大卷積核，其模型結(jié)構(gòu)簡(jiǎn)單、效果強(qiáng)大.文獻(xiàn)［15］針對(duì)棉花病害在原VGG16模型基礎(chǔ)上，優(yōu)化全連接層層數(shù)，共享卷積層和池化層參數(shù)，在棉花病害領(lǐng)域具有良好分類性能，達(dá)到了89.51%的分類準(zhǔn)確率.文獻(xiàn)［16］對(duì)VGG16網(wǎng)絡(luò)采取特征微調(diào)的方式，實(shí)現(xiàn)了對(duì)不同類別葡萄和蘋果葉片的分類，平均分類準(zhǔn)確率達(dá)到了97.87%.上述這些文獻(xiàn)可以看出，卷積神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)機(jī)器學(xué)習(xí)方法相比，在簡(jiǎn)化了數(shù)據(jù)預(yù)處理步驟的同時(shí)，還獲得了更高的識(shí)別準(zhǔn)確率.然而隨著卷積神經(jīng)網(wǎng)絡(luò)層數(shù)的加深，容易產(chǎn)生梯度消失、梯度爆炸問(wèn)題，導(dǎo)致網(wǎng)絡(luò)的分類性能下降.對(duì)此文獻(xiàn)［17］提出了ResNet模型，在模型中添加殘差塊，不僅加速了模型的收斂速度，而且大大提升了模型的分類性能.文獻(xiàn)［18］針對(duì)4類蘋果病害問(wèn)題，對(duì)ResNet18模型使用遷移學(xué)習(xí)，并結(jié)合使用正則化和Dropout層，在該數(shù)據(jù)集上得到了98.5%的分類精度.除了對(duì)卷積神經(jīng)網(wǎng)絡(luò)的層數(shù)加深和優(yōu)化器方法的改進(jìn)，近年來(lái)又涌現(xiàn)出了一批性能更加優(yōu)異并且層數(shù)更深的分類網(wǎng)絡(luò)模型： GoogleNet［19］、DenseNet［20］和InceptionV3［21］，為農(nóng)作物病害的識(shí)別提供了更多深度特征提取方法.文獻(xiàn)［22］針對(duì)蘋果葉片分類問(wèn)題，使用VGG16、ResNet101和DenseNet161，并引入半監(jiān)督噪聲學(xué)生訓(xùn)練的思想，能夠?qū)⒎诸惥忍岣咧?8.2%.文獻(xiàn)［23］使用InceptionV3、ResNet101、ResNet50、GoogleNet等多種卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，分別對(duì)小麥和馬鈴薯常見(jiàn)病害進(jìn)行分類，找到適用于小麥和馬鈴薯病害的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)，最終獲得95.4%的分類結(jié)果.

上述文獻(xiàn)成功將卷積神經(jīng)網(wǎng)絡(luò)成功應(yīng)用于農(nóng)作物病害識(shí)別中并取得了不錯(cuò)的結(jié)果，但都是只用了單個(gè)卷積神經(jīng)網(wǎng)絡(luò)，對(duì)分類結(jié)果具有不確定性［24］，且分類準(zhǔn)確率需要進(jìn)一步提高.文獻(xiàn)［25］針對(duì)蘋果5類病害，將VGG16和ResNet50作為并聯(lián)骨干網(wǎng)絡(luò)進(jìn)行融合，為模型的最后設(shè)置相同神經(jīng)元個(gè)數(shù)的全連接層，再通過(guò)2個(gè)非線性變換，進(jìn)一步提升融合效果.文獻(xiàn)［26］提取農(nóng)作物圖像的局部二值化模式和灰度共生矩陣特征，分別輸入支持向量機(jī)分類器并做分?jǐn)?shù)級(jí)融合，再進(jìn)行分類識(shí)別，在小麥和水稻的6種病害數(shù)據(jù)集獲得89.3%的分類精度.文獻(xiàn)［27］提出了一種卷積神經(jīng)網(wǎng)絡(luò)深度特征融合方法，針對(duì)番茄10類病害，首先自動(dòng)提取不同深度神經(jīng)網(wǎng)絡(luò)模型的深度特征，利用典型相關(guān)分析（canonical correlation analysis，CCA）進(jìn)行特征融合，增加特征空間的豐富性和魯棒性，再結(jié)合線性判別分析降維算法（linear discriminant analysis，LDA）最大化類間距離，彌補(bǔ)CCA算法的弱點(diǎn)，對(duì)最終得到的特征用SVM分類，試驗(yàn)結(jié)果表明所提方法有效.上述融合方法雖取得了不錯(cuò)的結(jié)果，但沒(méi)有考慮到不同特征之間存在互補(bǔ)關(guān)系.因此文中針對(duì)該問(wèn)題，對(duì)多個(gè)主流卷積神經(jīng)網(wǎng)絡(luò)模型分別進(jìn)行特征級(jí)和決策級(jí)融合以實(shí)現(xiàn)對(duì)農(nóng)作物病害圖像高精度分類，通過(guò)和其他方法進(jìn)行對(duì)比，發(fā)現(xiàn)文中方法可以取得良好的分類結(jié)果.

1? 試驗(yàn)數(shù)據(jù)

1.1? 數(shù)據(jù)來(lái)源

文中方法的第1個(gè)數(shù)據(jù)集來(lái)源于AI Challenger 2018比賽中的農(nóng)作物病害圖像（PDR2018），該數(shù)據(jù)集包含10類常見(jiàn)農(nóng)作物（蘋果、櫻桃、葡萄、柑桔、桃、草莓、番茄、辣椒、玉米、馬鈴薯）健康葉片和多種常見(jiàn)病害類型（黑星病，灰斑病，銹病等）的圖像，按“物種-病害-嚴(yán)重程度”共分為61類，部分圖像如圖1所示.文中主要研究基于多模型融合的農(nóng)作物病害識(shí)別，不考慮病害嚴(yán)重程度，因此將數(shù)據(jù)集重新整理成36類（10類健康與26類病害圖像）.

第2個(gè)數(shù)據(jù)集來(lái)源于Plant Doc，該數(shù)據(jù)集包含13個(gè)植物物種和27個(gè)病害類別（17個(gè)疾病和10個(gè)健康）的 2 598張真實(shí)環(huán)境下的圖像，部分病害圖像如圖2a、b、c所示.此外還拍攝了真實(shí)環(huán)境下的番茄葉片，將部分番茄病害和拍攝葉片進(jìn)行合成（圖2d）以作為對(duì)PlantDoc番茄葉片病害的補(bǔ)充，文中選取兩個(gè)數(shù)據(jù)集中相同的10類病害類別用于文中泛化性能測(cè)試.

1.2? 數(shù)據(jù)預(yù)處理

由于PDR2018數(shù)據(jù)集中存在一些重復(fù)樣本圖片，所以要進(jìn)行數(shù)據(jù)清理，文中刪除了存在標(biāo)簽交叉的圖像以及文件名中含“副本”的圖像，最終獲得36 020張圖像，按4∶1比例隨機(jī)劃分成訓(xùn)練集和測(cè)試集，如表1所示.由于PDR2018圖像數(shù)量分布不均勻，每個(gè)類別數(shù)量從100張到4 000張不等.如果直接使用原始的數(shù)據(jù)集進(jìn)行訓(xùn)練，會(huì)導(dǎo)致模型學(xué)習(xí)的權(quán)重偏向于樣本多的類別，為了避免該問(wèn)題的出現(xiàn)，選擇對(duì)數(shù)據(jù)集超過(guò)1 300張以上的類別數(shù)量不做處理.對(duì)于1 300張以下的類別采取多角度旋轉(zhuǎn)、錯(cuò)切變換、隨機(jī)縮放、隨機(jī)翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)方式，擴(kuò)大樣本數(shù)量，減少過(guò)擬合現(xiàn)象.

2? 文中方法

2.1? 單模型方法

受大規(guī)模圖像分類算法應(yīng)用的啟發(fā)，文中選擇4種主流卷積神經(jīng)網(wǎng)絡(luò)（ResNet50、DenseNet121、Xception［28］和MobileNetV2［29］）進(jìn)行單模型性能評(píng)估.ResNet50引入了“跳躍連接”的新思路可以讓梯度高效向后傳播，在眾多視覺(jué)任務(wù)上都能有效提升性能.與ResNet50思想類似，DenseNet121則是引入了一種密集跳躍連接模塊，能夠?qū)崿F(xiàn)跨多個(gè)密集塊的瓶頸連接，也有助于高效的梯度傳播.Xception網(wǎng)絡(luò)具有殘差連接的深度可分離卷積層，并且可以進(jìn)行線性堆疊，可以容易定義和修改體系結(jié)構(gòu).MobileNetV2網(wǎng)絡(luò)采用倒置殘差結(jié)構(gòu)，和ResNet相反，其作用是將輸入的低維特征擴(kuò)展到高維空間，再使用深度可分離卷積提取特征，最后映射到低維空間，進(jìn)行模型壓縮.與ResNet101、GoogleNet、DenseNet169等深層網(wǎng)絡(luò)模型相比，文中使用的網(wǎng)絡(luò)模型具有參數(shù)量少與性能均衡等優(yōu)點(diǎn).

2.2? 多模型融合方法

2.2.1? 特征級(jí)融合

特征級(jí)融合是將CNN從圖像中提取的特征進(jìn)行融合，融合后的特征相較于初始特征更具有判別能力.文中特征級(jí)融合做法是對(duì)每個(gè)CNN中的最后一層特征圖進(jìn)行融合，原因是CNN最后一層特征圖相比于之前層數(shù)的特征圖反映出來(lái)的特征更具有代表性，語(yǔ)義信息強(qiáng)，特征級(jí)融合流程如圖3所示.

首先輸入農(nóng)作物病害圖像，將單模型里的4個(gè)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行并聯(lián)，分別得到4個(gè)特征F1、F2、F3和F4，即

Fi=Ψi（x），i=1，2，3，4，（1）

式中： Ψi是特征提取函數(shù).接著對(duì)4個(gè)特征圖做特征級(jí)融合（平均化、最大值化和拼接壓縮）分別得到融合后的特征Fave、Fmax和Fconcat，接著在Fave、Fmax和Fconcat后添加全局平均池化層（global average pooling，GAP），變成1×1×C的向量，C代表特征圖的輸出通道數(shù).用GAP代替?zhèn)鹘y(tǒng)的全連接層，可以減少參數(shù)量和計(jì)算量.再通過(guò)1個(gè)全連接層的非線性變換，進(jìn)一步提升融合結(jié)果，最終通過(guò)Softmax層完成分類.

1） 平均融合.平均特征融合方面，每個(gè)CNN的最后一層特征圖維度不一樣，所以在進(jìn)行平均特征融合前，為各個(gè)模型設(shè)置一個(gè)具有相同神經(jīng)元個(gè)數(shù)的全連接層，將不同模型輸出特征圖的維度調(diào)整一致.目的是對(duì)每個(gè)特征圖進(jìn)行相加時(shí)避免出現(xiàn)維度不一致導(dǎo)致不能融合的問(wèn)題.平均融合的方式首先對(duì)4個(gè)特征圖進(jìn)行相加，在每一個(gè)特征圖上都有對(duì)應(yīng)像素點(diǎn)值，所以相加可以理解為對(duì)特征圖每點(diǎn)對(duì)應(yīng)位置像素值求和，這樣得到新的特征圖上的像素值是求和后的結(jié)果.為了降低計(jì)算量和保證融合信息的完整性，再對(duì)求和后的特征圖進(jìn)行平均化處理，得到最后的特征圖：

Fave=14（F1+F2+F3+F4）.（2）

式（2）表示在進(jìn)行平均融合時(shí)，每個(gè)特征圖對(duì)應(yīng)位置像素值按位置進(jìn)行逐個(gè)元素相加求算術(shù)平均值，以該算術(shù)平均值作為融合特征圖里對(duì)應(yīng)位置的像素值.

2） 最大值融合.由于4個(gè)特征圖維度不一致，為了在公平的環(huán)境下進(jìn)行比較，和平均融合方式一樣，在最大值特征融合之前，將每個(gè)特征圖維度調(diào)整相同.每張?zhí)卣鲌D上各點(diǎn)像素值大小不一樣，最大值特征融合是將特征圖對(duì)應(yīng)位置上的值進(jìn)行大小比較，取出最大的像素值出來(lái)，按照對(duì)應(yīng)位置順序重新排列并組合成新的特征圖：

Fmax=max（F1，F(xiàn)2，F(xiàn)3，F(xiàn)4）.（3）

式（3）表示在進(jìn)行最大融合處理時(shí)，比較每個(gè)特征圖對(duì)應(yīng)位置的像素值大小，以其中最大的像素值作為融合特征圖在對(duì)應(yīng)位置處的像素值.

3） 拼接壓縮融合.對(duì)拼接壓縮融合來(lái)說(shuō)，將4個(gè)特征圖按照通道進(jìn)行拼接，不需要額外地進(jìn)行維度調(diào)整操作.拼接后的特征圖會(huì)加強(qiáng)本身的特征，有益于分類.接著再壓縮通道進(jìn)行降維得到融合的特征圖：

Fconcat=σ1×1concat（F1，F(xiàn)2，F(xiàn)3，F(xiàn)4）.（4）

σ1×1用來(lái)調(diào)整拼接后的特征圖通道數(shù)，實(shí)現(xiàn)降維作用，降維后的通道數(shù)和平均值、最大值特征融合保持通道數(shù)一致，目的既是為了降低計(jì)算量，也是為了和前兩種特征融合方法在相同的維度下比較結(jié)果.拼接壓縮示意圖如圖4所示.

2.2.2? 決策級(jí)融合

對(duì)于決策級(jí)融合將采用最大概率決策融合和平均概率決策融合，兩種決策融合方法執(zhí)行效率高.文中的決策融合流程如圖5所示.輸入一張病害圖像，通過(guò)4個(gè)CNN的Softmax輸出概率值Pi（i=1，2，3，4）對(duì)其分別進(jìn)行最大和平均概率決策融合.最大概率決策融合是通過(guò)不同CNN對(duì)每一類病害的Softmax輸出概率值計(jì)算出最大值，并以該值作為輸入圖像為其所屬病害類型的概率.而平均決策融合兼顧到每個(gè)CNN的分類性能，通過(guò)不同CNN對(duì)每一類病害的概率進(jìn)行相加求平均值，得到輸入圖像最終所屬病害類型概率.

采用決策融合時(shí)輸入一個(gè)葉片病害圖像可以得到輸出概率：

P（x）=（P1（x），P2（x），P3（x），P4（x）），（5）

Pi∈Rc，P∈Rc×4，

Pmax（x）=max（P1（x），P2（x），P3（x），P4（x）） ，（6）

Pave（x）=14sum（P1（x），P2（x），P3（x），P4（x）），（7）

式中： P（x）表示每個(gè)CNN對(duì)輸入圖像判定為某一類的概率輸出值；c為農(nóng)作物病害類型數(shù)目；Pmax表示對(duì)每一行求最大值，即為最大決策融合判定輸入圖像所屬病害類別的概率值；Pave表示對(duì)Pi（x）求均值后的結(jié)果，以此表示預(yù)測(cè)類別平均后的概率值，以Pave的值作為每一類病害的準(zhǔn)確率.

3? 試驗(yàn)結(jié)果與分析

3.1? 試驗(yàn)環(huán)境

文中試驗(yàn)均在Ubuntu 18.04 LTS 64位系統(tǒng)環(huán)境下運(yùn)行，采用能夠支持GPU加速和動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)的Python3.6、Tensorflow1.13版本的深度學(xué)習(xí)開源框架，配合CUDA 10.1進(jìn)行訓(xùn)練.計(jì)算機(jī)搭載的處理器為Inter（R）Core（TM）i9-7980XE@2.6 GHz，內(nèi)存12 GB，顯卡NVIDIA1080Ti.

3.2? 評(píng)價(jià)指標(biāo)

對(duì)于分類模型，分類網(wǎng)絡(luò)的性能常常用準(zhǔn)確率進(jìn)行評(píng)估，但是當(dāng)正負(fù)樣本比例不均衡時(shí)，占比大的類別會(huì)對(duì)準(zhǔn)確率產(chǎn)生更大的影響.所以結(jié)合精確率Pi、召回率Ri和綜合評(píng)價(jià)指標(biāo)F1-score共同作為模型的評(píng)價(jià)指標(biāo)用來(lái)綜合評(píng)估模型.

3.3? 模型性能分析

常見(jiàn)農(nóng)作物病害圖像尺寸不一致，所以在訓(xùn)練之前提前縮放為256×256像素，訓(xùn)練的時(shí)候隨機(jī)裁剪成224×224像素，批處理大?。˙atch-size）設(shè)置為12，模型迭代次數(shù)共計(jì)60次.為了模型的識(shí)別準(zhǔn)確率能夠更好地收斂，本試驗(yàn)采用學(xué)習(xí)率衰減策略，初始學(xué)習(xí)率設(shè)置為0.001，每經(jīng)過(guò)20次，學(xué)習(xí)率便衰減為原來(lái)的80%，所有的訓(xùn)練模型采用SGD優(yōu)化器，其參數(shù)設(shè)置為默認(rèn).同時(shí)為避免模型發(fā)生過(guò)擬合，在全連接層前添加了參數(shù)設(shè)置為0.3的Dropout層.

為驗(yàn)證本方法的有效性，將本方法與單模型方法進(jìn)行對(duì)比試驗(yàn).表2給出了不同方法在數(shù)據(jù)集上的分類準(zhǔn)確率、每幅圖像的推理速度、參數(shù)總量、召回率、準(zhǔn)確率和F1-score.由表2可知，對(duì)模型進(jìn)行融合后，模型的各方面評(píng)價(jià)指標(biāo)都有提升，表明文中特征融合方法具有較好的識(shí)別準(zhǔn)確率.雖然多模型方法對(duì)于每幅圖像的推理速度比單模型方法的推理速度稍久，但是推理速度集中在0.01～0.10 ms，屬于可接受范圍內(nèi)，實(shí)際應(yīng)用中不會(huì)產(chǎn)生很大的影響.

決策融合僅用于測(cè)試集，雖然提升了分類效果，但是效果不如特征融合，原因是每個(gè)CNN模型對(duì)每一類的準(zhǔn)確率相差不大，進(jìn)行最大概率決策融合時(shí)最終的輸出結(jié)果也只是略高于所有的單模型方法.而進(jìn)行平均概率決策融合時(shí)，并未考慮到分配一定的權(quán)重，僅僅只是對(duì)每個(gè)CNN模型輸出概率做了算術(shù)平均運(yùn)算，使得最終結(jié)果略微低于單模型方法里的DenseNet121和Xception.

為便于觀察分析，最終生成的各個(gè)模型在農(nóng)作物病害數(shù)據(jù)集上的分類準(zhǔn)確率變化曲線如圖6所示.

由圖6可以直觀看出各個(gè)分類模型的準(zhǔn)確率整體呈現(xiàn)上升趨勢(shì)，模型在訓(xùn)練過(guò)程中不斷提取病害特征進(jìn)行學(xué)習(xí)，提升分類能力.文中構(gòu)建的特征級(jí)融合方法準(zhǔn)確率更高，原因是多模型里存在ResNet50和DenseNet121的跳過(guò)連接方式，使得模型在訓(xùn)練時(shí)，增加了梯度傳遞，能夠重復(fù)利用上一層的特征，Xception和MobileNetV2的深度可分離卷積結(jié)構(gòu)，擁有不同尺寸的卷積核可以對(duì)圖像進(jìn)行特征提取，都能夠豐富葉片病害特征信息，提高了分類結(jié)果.其中拼接壓縮融合方法準(zhǔn)確率更高，分類效果更好.拼接壓縮融合在擴(kuò)張維度的情況下，增加了特征圖描述的語(yǔ)義信息進(jìn)而增加了有用的特征信息，從而使得模型獲取更豐富的病害信息進(jìn)行分類.

3.4? 熱力圖可視化

類激活映射［30］能夠?qū)δＰ头诸惤Y(jié)果提供很好的可視化依據(jù)，可以進(jìn)一步直觀地理解分類模型.文中提取了部分測(cè)試圖像在單模型方法和特征融合方法對(duì)比試驗(yàn)中的熱力圖，如圖7所示.由圖可以看出特征級(jí)融合方法相比于單模型方法更能準(zhǔn)確定位選中葉片病害區(qū)域，更能正確地進(jìn)行分類.

3.5? 與其他分類方法對(duì)比

為進(jìn)一步驗(yàn)證本方法的有效性，將文中方法與近幾年代表性的分類方法進(jìn)行了對(duì)比，結(jié)果如表3所示.由表可以發(fā)現(xiàn)文中方法在PDR2018數(shù)據(jù)集上可以取得最高的分類準(zhǔn)確率.

3.6? 模型泛化性

模型的泛化性能可以反映模型適應(yīng)新數(shù)據(jù)的能力，為了進(jìn)一步驗(yàn)證多模型融合方法的泛化性能，選擇PlantDoc數(shù)據(jù)子集以及采集到的病害樣本，開展跨庫(kù)評(píng)估試驗(yàn)，評(píng)測(cè)了兩個(gè)數(shù)據(jù)集中相同的10類病害類別，同時(shí)選取單模型和多模型中性能最優(yōu)的DenseNet121和拼接壓縮特征級(jí)融合方法作為測(cè)試模型，最后測(cè)試結(jié)果如表4所示.

從表4可以看出，兩種方法在真實(shí)數(shù)據(jù)子集上泛化性能表現(xiàn)較差，是因?yàn)閷?shí)驗(yàn)室環(huán)境和真實(shí)環(huán)境背景下的圖像存在較大差異，真實(shí)圖像容易受到光照、背景更加復(fù)雜等外界因素干擾，所以DenseNet121和拼接壓縮融合方法在真實(shí)環(huán)境下的性能會(huì)下降，但是拼接壓縮融合相較于DenseNet121在真實(shí)環(huán)境下仍然對(duì)農(nóng)作物病害分類具有更好的分類效果，說(shuō)明多模型特征融合方法具有較好的泛化能力.

4? 結(jié)? 論

1） 提出了一種基于多模型的特征級(jí)融合和決策級(jí)融合方法.基于4種主流卷積神經(jīng)網(wǎng)絡(luò)作為基礎(chǔ)模型，特征級(jí)融合方法研究了將每個(gè)子網(wǎng)絡(luò)的輸出特征圖分別做平均化、最大值化和拼接壓縮特征級(jí)融合，而決策級(jí)融合使用4種不同子網(wǎng)絡(luò)獲得的輸出概率值，分別進(jìn)行最大概率決策和平均概率決策融合，產(chǎn)生最終分類結(jié)果.

2） 在PDR2018農(nóng)作物病害數(shù)據(jù)集上的試驗(yàn)結(jié)果表明，文中提出的多模型融合方法明顯優(yōu)于單模型分類方法及近幾年代表性的方法，并且模型收斂得更快，最高準(zhǔn)確率可達(dá)98.44%.

3） 為進(jìn)一步驗(yàn)證本方法的泛化性能，利用PDR2018數(shù)據(jù)集上訓(xùn)練的模型在PlantDoc數(shù)據(jù)子集以及采集到的真實(shí)環(huán)境農(nóng)作物病害圖像進(jìn)行了跨數(shù)據(jù)集測(cè)試.結(jié)果表明，本方法相比于傳統(tǒng)的單模型方法具有良好的分類精度和泛化能力.

[WT5HZ]參考文獻(xiàn)（References）[WT5”BZ]

［1］? 朱家輝，蘇維均，于重重.基于卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物葉片病害診斷［J］.植物檢疫，2021，35（2）：28-32.

ZHU J H，SU W J，YU C C.Diagnosis of crop foliar di-seases based on convolutional neural network［J］.Plant Quarantine， 2021，35（2）：28-32.（in Chinese）

［2］? 賈少鵬，高紅菊，杭瀟. 基于深度學(xué)習(xí)的農(nóng)作物病蟲害圖像別技術(shù)研究進(jìn)展［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2019，50（增刊1）：313-317.

JIA S P， GAO H J， HANG X. Researchprogress on ima-ge recognition technology of crop pests and diseases based on deep learning［J］. Transactions of the CSAM， 2019，50（Sup1）：313-317.（in Chinese）

［3］? 王東方，汪軍. 基于遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)的農(nóng)作物病害分類［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（4）：199-207.

WANG D F，WANG J.Crop disease classification with transfer learning and residual networks［J］.Transactions of the CSAE， 2021，37（4）：199-207.（in Chinese）

［4］? 張連寬，肖德琴，岑冠軍，等. 基于葉片匹配的作物植株圖像分離與計(jì)數(shù)方法［J］.江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2023，44（3）：293-301.

ZHANG L K，XIAO D Q，CEN G J，et al.Individual plant extraction and counting from field images based on leaf matching［J］.Journal of Jiangsu University（Natural Science Edition），2023，44（3）：293-301.（in Chinese）

［5］? 張善文，張傳雷. 基于局部判別映射算法的玉米病害識(shí)別方法［J］.農(nóng)業(yè)工程學(xué)報(bào)，2014，30（11）：167-172.

ZHANG S W，ZHANG C L. Maize disease recognition based on local discriminant algorithm［J］. Transactions of the CSAE， 2014，30（11）：167-172.（in Chinese）

［6］? PADOL P B， YADAV A A. SVM classifier based grape leaf disease detection［C］∥2016 Conference on Advances in Signal Processing， 2016：175-179.

［7］? SURESHA M， SHREEKANTH K N， THIRUMALESH B V. Recognition of diseases in paddy leaves using KNN classifier［C］∥2017 2nd International Conference for Convergence in Technology， 2017：663-666.

［8］? SABROL H， SATISH K. Tomato plant disease classification in digital images using classification tree［C］∥2016 International Conference on Communication and Signal Processing， 2016：1242-1246.

［9］? 陳俞松，耿長(zhǎng)興，王永，等. 基于分段垂直投影的水田秧苗列中心線提?。跩］.江蘇大學(xué)學(xué)報(bào)（自然科學(xué)版）， 2022，43（3）：289-295.

CHEN Y S，GENG C X，WANG Y，et al. Center line extraction of paddy seedling row based on segmented vertical projection［J］.Journal of Jiangsu University（Natural Science Edition），2022，43（3）：289-295.（in Chinese）

［10］? 蘇仕芳，喬焰，饒?jiān)? 基于遷移學(xué)習(xí)的葡萄葉片病害識(shí)別及移動(dòng)端應(yīng)用［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（10）：127-134.

SU S F， QIAO Y， RAO Y.Recognition of grape leaf di-seases and mobile application based on transfer learning［J］. Transactions of the CSAE， 201，37（10）：127-134.（in Chinese）

［11］? KRIZHEVSKY A， SUTSKEVER I， HINTON G E. Imagenet classification with deep convolutional neural networks［J］. Advances in Neural Information Processing Systems， 2012，60：25-33.

［12］? LYU M， ZHOU G， HE M， et al. Maize leaf disease identification based on feature enhancement and DMS-robust alexnet［J］. IEEE Access， 2020，8：57952-57966.

［13］? 孫俊，譚文軍，毛罕平，等. 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的多種植物葉片病害識(shí)別［J］.農(nóng)業(yè)工程學(xué)報(bào)，2017，33（19）：209-215.

SUN J， TAN W J， MAO H P， et al. Real-time recognition of sugar beet and weeds in complex backgrounds using multi-channel depth-wise separable convolution model［J］. Transactions of the CSAE， 2017，33（19）：209-215.（in Chinese）

［14］? SIMONYAN K， ZISSERMAN A.Very deep convolutional networks for large-scale image recognition［J］. Computer Science，2014，6：113-123.

［15］? 張建華，孔繁濤，吳建寨，等. 基于改進(jìn)VGG卷積神經(jīng)網(wǎng)絡(luò)的棉花病害識(shí)別模型［J］.中國(guó)農(nóng)業(yè)大學(xué)學(xué)報(bào)，2018，23（11）：161-171.

ZHANG J H，KONG F T，WU J Z，et al.Cotton disease identification model based on improved VGG convolution neural network［J］. Journal of China Agricultural University， 2018，23（11）：161-171.（in Chinese）

［16］? NAGARAJU Y， SWETHA S， STALIN S. Apple and grape leaf diseases classification using transfer learning via fine-tuned classifier［C］∥2020 IEEE International Conference on Machine Learning and Applied Network Technologies， 2020：1-6.

［17］? HE K， ZHANG X， REN S， et al. Deep residual lear-ning for image recognition［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：770-778.

［18］? LI X， RAI L. Apple leaf disease identification and classification using resnet models［C］∥2020 IEEE 3rd International Conference on Electronic Information and Communication Technology， 2020：738-742.

［19］? SZEGEDY C， LIU W， JIA Y， et al. Going deeper with convolutions［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2015：1-9.

［20］? HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：4700-4708.

［21］? SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：2818-2826.

［22］? KEH S S. Semi-supervised noisy student pre-training on efficientnet architectures for plant pathology classification［J］. arXiv， DOI：10.48550/arXiv.2012.00332.

［23］? KENDLER S， AHARONI R， YOUNG S， et al. Detection of crop diseases using enhanced variability imagery data and convolutional neural networks［J］. Computers and Electronics in Agriculture， 2022，193：1-8.

［24］? 任永梅，楊杰，郭志強(qiáng)，等. 基于多尺度卷積神經(jīng)網(wǎng)絡(luò)的自適應(yīng)熵加權(quán)決策融合船舶圖像分類方法［J］.電子與信息學(xué)報(bào)，2021，43（5）：1424-1431.

REN Y M，YANG J，GUO Z Q，et al.Self-adaptive entropy weighted decision fusion method for ship image classification based on multi-scale convolutional neural network［J］.Journal of Electronics and Information Techno-logy， 2021，43（5）：1424-1431.（in Chinese）

［25］? 李昊，王斌. 深度特征融合方法及其在葉片病害識(shí)別中的應(yīng)用［J］.計(jì)算機(jī)系統(tǒng)應(yīng)用，2022，31（7）：349-355.

LI H，WANG B.Deep feature fusion method and its application in leaf disease recognition［J］.Computer Systems & Applications，2022，31（7）：349-355.（in Chinese）

［26］? 馬玉琨，劉子瓊，張文武，等. 多特征融合的農(nóng)作物病害圖像識(shí)別［J］.河南科技學(xué)院學(xué)報(bào)（自然科學(xué)版）， 2021，49（4）：45-50，57.

MA Y K，LIU Z Q，ZHANG W W，et al.Image recognition of crop disease based on multi-feature fusion［J］.Journal of Henan Institute of Science and Technology（Natural Science Edition），2021，49（4）：45-50，57.（in Chinese）

［27］? 杜忠康，房勝，李哲，等. 基于卷積神經(jīng)網(wǎng)絡(luò)深度特征融合的番茄葉片病害檢測(cè)［J］.中國(guó)科技論文，2021，16（7）：701-707.

DU Z K，F(xiàn)ANG S，LI Z，et al.Tomato leaf disease detection based on deep feature fusion of convolution neural network［J］. China Science Paper，2021，16（7）：701-707.（in Chinese）

［28］? CHOLLET F. Xception：deep learning with depthwise separable convolutions［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017：1251-1258.

［29］? SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018：4510-4520.

［30］? ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization［C］∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2016：2921-2929.

［31］? 王美華，吳振鑫，周祖光. 基于注意力改進(jìn)CBAM的農(nóng)作物病蟲害細(xì)粒度識(shí)別研究［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2021，52（4）：239-247.

WANG M H，WU Z X，ZHOU Z G.Fine-grained identification research of crop pests and diseases based on improved CBAM via attention［J］.Transactions of the CSAM，2021，52（4）：239-247.（in Chinese）

［32］? 孫俊，朱偉棟，羅元秋，等. 基于改進(jìn)MobileNet-V2的田間農(nóng)作物葉片病害識(shí)別［J］.農(nóng)業(yè)工程學(xué)報(bào)，2021，37（22）：161-169.

SUN J， ZHU W D， LUO Y Q， et al. Recognizing the diseases of crop leaves in fields using improved MobileNet-V2［J］. Transactions of the CSAE，2021，37（22）：161-169.（in Chinese）

［33］? BEHERA A， WHARTON Z， HEWAGE P R P G， et al. Context-aware attentional pooling （cap） for fine-grained visual classification［C］∥Proceedings of the AAAI Conference on Artificial Intelligence，2021，35（2）：929-937.

[JY，2][HT5SS]（責(zé)任編輯? 祝貞學(xué)）