王春山，周 冀，吳華瑞，滕桂法,4，趙春江，李久熙

改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別

王春山1,2,3,4，周 冀1，吳華瑞2,3，滕桂法1,4，趙春江2,3※，李久熙5

（1. 河北農(nóng)業(yè)大學(xué)信息科學(xué)與技術(shù)學(xué)院，保定 071001；2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097；3. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京 100097；4. 河北省農(nóng)業(yè)大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，保定 071001；5. 河北農(nóng)業(yè)大學(xué)機(jī)電工程學(xué)院，保定 071001）

基于深度網(wǎng)絡(luò)的蔬菜葉部病害圖像識(shí)別模型雖然性能顯著，但由于存在參數(shù)量巨大、訓(xùn)練時(shí)間長、存儲(chǔ)成本與計(jì)算成本過高等問題，仍然難以部署到農(nóng)業(yè)物聯(lián)網(wǎng)的邊緣計(jì)算設(shè)備、嵌入式設(shè)備、移動(dòng)設(shè)備等硬件資源受限的領(lǐng)域。該研究在殘差網(wǎng)絡(luò)（ResNet18）的基礎(chǔ)上，提出了改進(jìn)型的多尺度殘差（Multi-scale ResNet）輕量級(jí)病害識(shí)別模型，通過增加多尺度特征提取模塊，改變殘差層連接方式，將大卷積核分解，進(jìn)行群卷積操作，顯著減少了模型參數(shù)、降低了存儲(chǔ)空間和運(yùn)算開銷。結(jié)果表明，在PlantVillage和AI Challenge2018中15種病害圖像數(shù)據(jù)集中取得了95.95%的準(zhǔn)確率，在自采集的7種真實(shí)環(huán)境病害圖像數(shù)據(jù)中取得了93.05%的準(zhǔn)確率，在準(zhǔn)確率較ResNet18下降約3.72%的情況下，模型的訓(xùn)練參數(shù)減少93%左右，模型總體尺寸縮減約35%。該研究提出的改進(jìn)型Multi-scale ResNet使蔬菜葉部病害識(shí)別模型具備了在硬件受限的場景下部署和運(yùn)行的能力，平衡了模型的復(fù)雜度和識(shí)別精度，為基于深度網(wǎng)絡(luò)模型的病害識(shí)別系統(tǒng)進(jìn)行邊緣部署提供了思路。

圖像處理；病害；圖像識(shí)別；多尺度；輕量化；殘差層；ResNet18

0 引 言

據(jù)農(nóng)業(yè)農(nóng)村部最新統(tǒng)計(jì)，中國蔬菜種植面積目前已突破2 000萬hm2，產(chǎn)量在7億t以上，產(chǎn)值超2萬億元，蔬菜總產(chǎn)值約占種植業(yè)總產(chǎn)值的35%[1]。在各類蔬菜上發(fā)生的病害種類有500多種，每年因各種病害造成的損失超過1 000億元。研究表明大多數(shù)的蔬菜病害通過葉部侵染，因此葉部癥狀分析是實(shí)現(xiàn)病害識(shí)別的重要手段之一。近年來，隨著深度學(xué)習(xí)在圖像分類中的優(yōu)異表現(xiàn)[2-6]，基于深度學(xué)習(xí)的蔬菜葉部病害識(shí)別模型逐漸成為了研究的熱點(diǎn)[7-10]。張善文等[11]和馬浚誠等[12]分別在LeNet基礎(chǔ)上設(shè)計(jì)了黃瓜葉部病害識(shí)別的網(wǎng)絡(luò)模型，取得了理想的識(shí)別效果；王艷玲等[13]和李淼等[14]在AlexNet和VGG網(wǎng)絡(luò)上引入遷移學(xué)習(xí)提高了識(shí)別準(zhǔn)確率，并解決了訓(xùn)練樣本少的問題；郭小清等[15]對(duì)AlexNet進(jìn)行了加寬，采用多種尺度的卷積核，使圖像特征得到不同層次的提取，并去掉批量歸一化（batch normalization）層，從而減少了網(wǎng)絡(luò)參數(shù)量，最終將模型應(yīng)用到移動(dòng)端，在電腦端識(shí)別平均準(zhǔn)確率為92.7%，在移動(dòng)端識(shí)別真實(shí)場景的圖片準(zhǔn)確率為89.2%；而吳瑞華[16]、胡志偉等[17]和曾偉輝[18]則進(jìn)一步在殘差網(wǎng)絡(luò)上引入注意力、高階殘差和參數(shù)共享機(jī)制提高了病害識(shí)別的細(xì)粒度水平、準(zhǔn)確率和魯棒性；Too等[19]評(píng)估了VGG16、Inception V4、具有50、101和152層的ResNet和121層的DenseNet，其中DenseNet在PlantVillage上的識(shí)別準(zhǔn)確率達(dá)到了99.75%；劉洋等[20]為了實(shí)現(xiàn)手機(jī)端的病害識(shí)別，對(duì)MobileNet和Inception V3網(wǎng)絡(luò)的模型尺寸、所占內(nèi)存、識(shí)別精度等方面做了比較。

盡管深度網(wǎng)絡(luò)模型在蔬菜病害識(shí)別任務(wù)上取得了優(yōu)異表現(xiàn)，但是考慮到有些應(yīng)用場景需要將其移植到硬件資源受限的嵌入式或者移動(dòng)設(shè)備上，它仍面臨模型參數(shù)量巨大、訓(xùn)練耗時(shí)長、存儲(chǔ)空間大等方面約束[21-22]。因此，如何在保證模型識(shí)別準(zhǔn)確率的前提下，對(duì)模型進(jìn)行緊湊和精簡設(shè)計(jì)已經(jīng)成為亟待解決的問題。一方面蔬菜葉部病害特征通常表現(xiàn)在不同大小的區(qū)域內(nèi)，模型需要多尺度感受野捕獲不同范圍的病害特征。另一方面，由于考慮到在移動(dòng)端和嵌入式設(shè)備進(jìn)行部署時(shí)對(duì)存儲(chǔ)和計(jì)算能力的限制，需在保障準(zhǔn)確率的前提下盡量壓縮模型的復(fù)雜度。

綜上，本研究通過增加多尺度特征提取模塊，改變殘差層連接方式，將大卷積核分解，進(jìn)行群卷積操作等設(shè)計(jì)手段，改進(jìn)了經(jīng)典殘差網(wǎng)絡(luò)ResNet18的多尺度識(shí)別能力，顯著壓縮了模型參數(shù)量、降低了存儲(chǔ)空間和運(yùn)算開銷。將模型的準(zhǔn)確率與復(fù)雜度控制在合理的范圍之內(nèi)，為硬件受限的場景下，部署和運(yùn)行基于深度網(wǎng)絡(luò)模型的病害識(shí)別系統(tǒng)進(jìn)行了探索。

1 材料與方法

1.1 數(shù)據(jù)來源

本研究共采用2種數(shù)據(jù)集，數(shù)據(jù)集1來自PlantVillage中10種番茄病害圖像（番茄早疫病、番茄晚疫病、番茄葉霉病、番茄細(xì)菌性斑點(diǎn)病、番茄斑枯病、番茄黃曲病、番茄二斑葉螨病、番茄輪斑病、番茄病毒病和健康）3種土豆病害（土豆早疫病、土豆晚疫病和健康）和AI Challenge2018比賽中辣椒的2種病害（辣椒瘡痂病和健康）共19 517張。數(shù)據(jù)集1中的樣本均為實(shí)驗(yàn)室環(huán)境下拍攝的簡單背景葉部病害圖像。數(shù)據(jù)集2來自采集蔬菜病害圖像（番茄健康、番茄白粉病、番茄早疫病、黃瓜健康、黃瓜白粉病、黃瓜病毒病、黃瓜霜霉?。┕? 855張。數(shù)據(jù)集2中的樣本均為實(shí)際生產(chǎn)環(huán)境下拍攝的復(fù)雜背景葉部病害圖像。2種數(shù)據(jù)集均按照7∶2∶1的比例分別劃分訓(xùn)練集、測試集和驗(yàn)證集，其中數(shù)據(jù)集1和數(shù)據(jù)集2的健康圖像和病害圖像示例如圖1所示。

圖1 2種數(shù)據(jù)集示例

1.2 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)主要出于2種考慮，一是盡可能的增加病害圖像的數(shù)量；二是盡量模擬實(shí)際環(huán)境中的不同光線和多種角度的拍照效果。為了模擬實(shí)際環(huán)境中拍照角度的隨機(jī)性，光照強(qiáng)度的變化，葉片上可能存在灰塵等情況，本研究2個(gè)數(shù)據(jù)集均采用了相同的5種增強(qiáng)方式，1）平移縮放旋轉(zhuǎn)：圖像本身不發(fā)生變化，只是圖像的位置、方向進(jìn)行改變，可模擬不同機(jī)位的圖像數(shù)據(jù)；2）隨機(jī)裁剪縮放：圖像進(jìn)行隨機(jī)位置裁剪，可以挑選不同位置的圖像進(jìn)行訓(xùn)練；3）隨機(jī)亮度對(duì)比度增強(qiáng)：圖像進(jìn)行隨機(jī)強(qiáng)度的亮度和對(duì)比度增強(qiáng)，可以增加病斑與葉片的差別和模擬不同的光照強(qiáng)度；4）隨機(jī)Gamma噪聲：圖像增加隨機(jī)Gamma噪聲，可以模擬不同質(zhì)量的圖像數(shù)據(jù)；5）垂直翻轉(zhuǎn)：圖像沿著水平線進(jìn)行垂直位置翻轉(zhuǎn)，可以模擬不同相機(jī)角度的圖像數(shù)據(jù)，最終經(jīng)過數(shù)據(jù)增強(qiáng)后訓(xùn)練數(shù)據(jù)增加到134 232張。

2 模型改進(jìn)

2.1 ResNet18優(yōu)點(diǎn)與不足

自AlexNet以來，越來越深的網(wǎng)絡(luò)為解決更復(fù)雜的問題被提出，如VGG16、VGG19、GoogleNet。但是隨著網(wǎng)絡(luò)深度的加深帶來了梯度消失、梯度爆炸等問題，2015年He等[6]提出了ResNet，解決了深層網(wǎng)絡(luò)梯度消失的問題。ResNet18共有18層，網(wǎng)絡(luò)的輸入為224×224的三通道圖像，經(jīng)過第一層卷積后圖像降維到112×112，通道數(shù)增加到64，在經(jīng)過最大池化層后圖像進(jìn)一步降維到56×56，通道數(shù)不增加，經(jīng)過前兩步操作后進(jìn)入殘差部分，每經(jīng)歷一部分殘差圖像降維一半，通道數(shù)增加到原來的2倍，圖像降維通過步長為2的卷積層實(shí)現(xiàn)，經(jīng)過4次殘差操作后圖像降維到7×7，通道數(shù)增加至512，最后連接平均池化層和全連接層。ResNet18雖然解決了梯度消失問題，但是在硬件資源受限的蔬菜葉部病害識(shí)別使用場景下，仍存在特征提取尺寸單一、模型參數(shù)多、資源需求大等問題。

2.2 ResNet18改進(jìn)步驟

本研究針對(duì)ResNet18存在的問題和蔬菜病害的特點(diǎn)設(shè)計(jì)了一種改進(jìn)版本的Multi-scale ResNet，該網(wǎng)絡(luò)借鑒了ResNet18的主體架構(gòu)，Multi-scale ResNet網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，在5個(gè)方面做了如下改進(jìn)：

1）更新殘差層連接方式

ResNet18通過學(xué)習(xí)相鄰網(wǎng)絡(luò)層殘差來更新學(xué)習(xí)參數(shù)，改進(jìn)兩層殘差連接使得網(wǎng)絡(luò)不僅學(xué)習(xí)相鄰網(wǎng)絡(luò)層的誤差也可以學(xué)習(xí)相鄰兩層網(wǎng)絡(luò)誤差，從而網(wǎng)絡(luò)更新更加細(xì)膩，特征學(xué)習(xí)更加充分。

2）添加多尺度提取特征

在ResNet18殘差模塊中只進(jìn)行了2個(gè)卷積核大小為3×3的卷積層堆疊實(shí)現(xiàn)圖像特征提取，但是蔬菜病害癥狀復(fù)雜多樣，病斑大小不一，顏色和發(fā)病部位均不相同。例如，番茄早疫病初期為水漬狀褐色小斑點(diǎn)，后轉(zhuǎn)為圓形或橢圓形暗褐色病斑；番茄潰瘍病發(fā)病初期發(fā)生部位為下部葉片，后為葉部邊緣最后整片葉片枯萎；番茄晚疫病病斑初期為暗綠色水漬狀病斑，后為暗褐色、黑褐色，本網(wǎng)絡(luò)將殘差模塊設(shè)置成2個(gè)通道，第一個(gè)通道采用卷積核大小為7×7的卷積層加上卷積核大小為3×3的卷積層，第二個(gè)通道采用卷積核大小為5×5的卷積層加上卷積核大小為3×3的卷積層，并在輸出部分將兩通道的特征圖相加，在整個(gè)殘差模塊中重復(fù)2次，最終構(gòu)成了完整的多尺度特征提取殘差模塊。

3）改進(jìn)特征圖降維方式

ResNet18將殘差模塊之間的特征圖降維卷積層放到殘差模塊里面，使得每個(gè)殘差模塊直接相連，本網(wǎng)絡(luò)將殘差模塊中的特征圖降維卷積層剝離出來，放置于2個(gè)殘差模塊之間，這樣既可以使網(wǎng)絡(luò)學(xué)習(xí)層間誤差又可以學(xué)習(xí)網(wǎng)絡(luò)層的輸出特征，并且在一定程度上簡化了網(wǎng)絡(luò)的復(fù)雜程度。

注：Conv1-1和Conv1-2代表卷積核為7×7的卷積層分解之后的卷積層1-1和卷積層1-2；Conv2、Conv3和Conv4分別代表卷積層2、卷積層3和卷積層4；殘差塊中Conv1_1_1、Conv1_1_2和Conv2_1_1、Conv2_1_2分別代表卷積核7×7分解之后的卷積層1_1_1、卷積層1_1_2和卷積層2_1_1、卷積層2_1_2；殘差塊中Conv1_2_1、Conv1_2_2和Conv2_2_1、Conv2_2_2分別代表卷積核5×5分解之后的卷積層1_2_1、卷積層1_2_2和卷積層2_2_1、卷積層2_2_2；殘差塊中Conv1_12、Conv2_12、Conv1_22和Conv2_22代表卷積核為3×3的卷積層1_12、卷積層2_12、卷積層1_12和卷積層2_22; 代表特征圖相加。 Note: Conv1-1 and Conv1-2 represent convolution layer 1-1 and convolution layer 1-2 after 7×7 convolution kernel decomposition; Conv2, Conv3, and Conv4 represent convolution layer 2, convolution layer 3 and convolution layer 4, respectively; Conv1_1_1, Conv1_1_2 and Conv2_1_1, Conv2_1_2 in residual block represent convolution layer 1_1_1, convolution layer 1_1_2 and convolution layer 2_1_1, convolution layer 2_1_2 after 7×7 convolution kernel decomposition, respectively; Conv1_2_1, Conv1_2_2 and Conv2_2_1, Conv2_2_2 in residual block represent convolution layer 1_2_1, convolution layer 1_2_2 and convolution layer 2_2_1, convolution layer 2_2_2 after 5×5 convolution kernel decomposition, respectively; Conv1_12, Conv2_12, Conv1_22, and Conv2_22 in residual block represent convolution layer 1_12, convolution layer 2_12, convolution layer 1_12 and convolution layer 2_22 with 3×3 convolution kernel, respectively;represents feature map addition.

4）進(jìn)行大卷積核分解

在2.2小節(jié)中使用7×7和5×5的卷積核獲取多尺度特征的同時(shí)也導(dǎo)致了網(wǎng)絡(luò)的訓(xùn)練參數(shù)大大增加。為了在不改變網(wǎng)絡(luò)卷積核感受野的前提下，壓縮模型的參數(shù)量，進(jìn)行了大卷積分解。Inception網(wǎng)絡(luò)結(jié)構(gòu)采用了2種方法進(jìn)行卷積核分解，第一種方法是使用3個(gè)3×3卷積核代替1個(gè)7×7卷積核，使用2個(gè)3×3卷積核代替1個(gè)5×5卷積核；第二種方法是使用7×1卷積核加上1×7卷積核代替7×7卷積核，使用5×1卷積核加上1×5卷積核代替5×5卷積核。這2種方法都能保證分解后的卷積核感受野不發(fā)生變化，理論分析第二種方法的訓(xùn)練參數(shù)縮減效果比第一種更明顯，本研究借鑒了Inception網(wǎng)絡(luò)第二種方法進(jìn)行大卷積核的分解。

5）進(jìn)行群卷積

在殘差塊結(jié)構(gòu)中的3×3卷積核的卷積層采用群卷積操作，群卷積可以顯著的壓縮模型訓(xùn)練參數(shù)，使訓(xùn)練參數(shù)縮減為原始訓(xùn)練的1/（為組數(shù)），并且由于特征被分為多個(gè)組，在向后傳遞特征時(shí)前一層的特征將被分到后一層的多個(gè)特征圖，增加了特征的使用率。

2.3 評(píng)價(jià)指標(biāo)

評(píng)價(jià)一個(gè)病害識(shí)別模型的性能有多種評(píng)價(jià)指標(biāo)，使用不同的評(píng)價(jià)指標(biāo)可以從不同角度對(duì)模型識(shí)別效果進(jìn)行評(píng)價(jià)，本研究使用以下4種評(píng)價(jià)方式對(duì)網(wǎng)絡(luò)模型的性能進(jìn)行評(píng)價(jià)。

2.3.1 平均識(shí)別準(zhǔn)確率

平均識(shí)別準(zhǔn)確率（，%）指模型中預(yù)測正確的樣本與全部觀測值的比值，如式（1）所示

式中TP、FP分別表示測試集中第類病害樣本預(yù)測正確的和預(yù)測錯(cuò)誤的樣本數(shù)，表示病害種類數(shù)。平均識(shí)別準(zhǔn)確率可以衡量模型對(duì)于整個(gè)蔬菜病害數(shù)據(jù)集15種病害的識(shí)別精度，便于從宏觀角度對(duì)比不同模型的識(shí)別性能。

2.3.2 最高識(shí)別準(zhǔn)確率

模型的最高識(shí)別準(zhǔn)確率（%）與平均識(shí)別準(zhǔn)確率不同之處在于其可以衡量一個(gè)模型的最佳性能，以便保存模型達(dá)到最佳性能時(shí)的模型參數(shù)。

2.3.3 模型訓(xùn)練時(shí)間

模型訓(xùn)練時(shí)間是衡量一個(gè)模型性能的重要參數(shù)，模型訓(xùn)練時(shí)間少有助于進(jìn)行參數(shù)學(xué)習(xí)，即使在沒有圖形處理器（Graphics Processing Unit，GPU）的情況下也應(yīng)能夠快速訓(xùn)練，有利于模型參數(shù)的更新。

2.3.4 模型尺寸

隨著不同網(wǎng)絡(luò)模型精度的不斷提高，在提高識(shí)別精度的同時(shí)考慮模型的部署和運(yùn)行所需的硬件資源，過于復(fù)雜的網(wǎng)絡(luò)模型占用大量的存儲(chǔ)和運(yùn)算資源，限制了它們?cè)谟布Y源受限場景下的部署和運(yùn)行，所以模型的尺寸大小也是需要考慮的關(guān)鍵因素之一。

3 試驗(yàn)設(shè)計(jì)

本試驗(yàn)與對(duì)照組均在Ubuntu18.04環(huán)境下進(jìn)行，處理器為Intel core i9 9820X，內(nèi)存為64G，顯卡為GeForce RTX 2080Ti 11G DDR6，采用深度學(xué)習(xí)框架Pytorch，配合Cuda10.1進(jìn)行訓(xùn)練，試驗(yàn)設(shè)計(jì)和對(duì)照過程中網(wǎng)絡(luò)批處理大?。╞atch-size）設(shè)置為32，樣本輸入尺寸均采用224×224，所有網(wǎng)絡(luò)模型均迭代次數(shù)為50輪。

3.1 Multi-scale ResNet不同設(shè)計(jì)方案比較

本研究從卷積核大小、通道數(shù)量、殘差層連接方式及殘差塊數(shù)量、卷積分組等角度對(duì)Multi-scale ResNet進(jìn)行了組合設(shè)計(jì)，設(shè)計(jì)方案如表1所示，不同方案性能參數(shù)對(duì)比如表2所示，可得出如下結(jié)論：

1）通道設(shè)計(jì)方面

比較方案1和方案2可知，在相同的卷積核大小和殘差層連接方式情況下，雙通道比單通道得到的最高準(zhǔn)確率高，在方案6中使用了三通道，雖然準(zhǔn)確率和收斂時(shí)間均比方案1和方案2效果好，但經(jīng)過驗(yàn)證是兩層連接設(shè)計(jì)起到了決定性作用。

2）卷積核設(shè)計(jì)方面

在方案1和方案3中采用了相同的通道設(shè)計(jì)和殘差層連接設(shè)計(jì)，卷積核分別使用了大卷積核和小卷積核，最終大卷積核的最高準(zhǔn)確率比小卷積核的最高準(zhǔn)確率高，并且方案3達(dá)到最高準(zhǔn)確率的時(shí)間也比方案1快，但是方案3采用大卷積核并沒有使用卷積核分解和群卷積操作，所以增加了模型的訓(xùn)練參數(shù)。

3）殘差層連接設(shè)計(jì)方面

在方案4和方案5中均采用相同的卷積核大小和通道設(shè)計(jì)，方案5中采用2個(gè)殘差塊就可以達(dá)到方案4中4個(gè)殘差塊的準(zhǔn)確率，從而說明采用兩層通道連接可以在精簡網(wǎng)絡(luò)參數(shù)的前提下提高模型的準(zhǔn)確率。

表1 Multi-scale ResNet設(shè)計(jì)方案

表2 Multi-scale ResNet設(shè)計(jì)方案性能對(duì)比結(jié)果

4）分組設(shè)計(jì)方面

前6種方案中均采用了不分組方法，方案7采用分組方案設(shè)計(jì)，從模型訓(xùn)練參數(shù)來看，采用分組方法可以顯著的降低模型的復(fù)雜程度，但是模型準(zhǔn)確率隨之下降了大約1.5%。

5）殘差塊數(shù)量設(shè)計(jì)方面

為了進(jìn)一步降低模型的復(fù)雜程度，方案4和方案7將殘差塊數(shù)量由4塊降低到2塊，在總體上維持原有準(zhǔn)確率的同時(shí)顯著的壓縮了模型的總體大小。

3.2 與對(duì)照組比較

本研究采用的對(duì)照組網(wǎng)絡(luò)分別為ResNet18、ResNet50、AlexNet、VGG16和SqueezeNet，其中對(duì)照組模型最終分類層均為15類。由表3可知本研究提出Multi-scale ResNet的模型整體大小比對(duì)照組的幾種網(wǎng)絡(luò)都小，在數(shù)據(jù)集1中驗(yàn)證集上最高識(shí)別準(zhǔn)確率基本與VGG16持平，僅比ResNet18減少2%左右，在數(shù)據(jù)集2中測試集上的平均識(shí)別準(zhǔn)確率僅比ResNet18減少3.72%，但是本模型尺寸比ResNet18尺寸縮小約35%，模型訓(xùn)練參數(shù)比ResNet18減少93%左右，顯著的精簡了模型尺寸。剩余幾種對(duì)照組網(wǎng)絡(luò)在模型大小和模型準(zhǔn)確率方面都不及本網(wǎng)絡(luò)，并且2個(gè)數(shù)據(jù)集上Multi-scale ResNet訓(xùn)練達(dá)到最高識(shí)別準(zhǔn)確率所用時(shí)間僅比SqueezeNet慢。由圖3可知，Multi-scale ResNet 的準(zhǔn)確率和參數(shù)量之間的差值，準(zhǔn)確率與模型所占內(nèi)存之間的差值在對(duì)照組中均為最大，由圖4可知本網(wǎng)絡(luò)在數(shù)據(jù)集1中訓(xùn)練集上損失值下降的過程十分平滑，在數(shù)據(jù)集2中訓(xùn)練集和驗(yàn)證集上損失值下降和準(zhǔn)確率上升過程都較為平滑，沒有出現(xiàn)大范圍損失值震蕩的現(xiàn)象，因此Multi-scale ResNet在兼顧了模型準(zhǔn)確率的同時(shí)實(shí)現(xiàn)了模型的精簡和壓縮，為模型在硬件受限的場景下部署奠定了基礎(chǔ)。

圖3 模型參數(shù)大小、總體大小和準(zhǔn)確率對(duì)比

表3 對(duì)照組模型對(duì)比

圖4 Multi-scale ResNet與對(duì)照組模型在數(shù)據(jù)集1和數(shù)據(jù)集2中最高識(shí)別準(zhǔn)確率和損失值對(duì)比

4 結(jié)果與分析

將Multi-scale ResNet模型分別應(yīng)用到數(shù)據(jù)集1和數(shù)據(jù)集2中的測試集上，得出混淆矩陣（圖5）和混淆矩陣（圖6）。其中，混淆矩陣包含了簡單背景下數(shù)據(jù)集1中測試集中預(yù)測正確和錯(cuò)誤的樣本圖像數(shù)，混淆矩陣包含了復(fù)雜背景下數(shù)據(jù)集2中測試集中預(yù)測正確和錯(cuò)誤的樣本圖像數(shù)。在混淆矩陣中，主對(duì)角線數(shù)字為預(yù)測正確樣本圖像數(shù)量，其他位置的數(shù)字為預(yù)測錯(cuò)誤樣本圖像數(shù)量。

由圖5可知，混淆矩陣中顯示了數(shù)據(jù)集1中測試集上每一類病害的識(shí)別準(zhǔn)確率和每種類別被錯(cuò)分的情況，其中可以發(fā)現(xiàn)種類8（番茄晚疫?。┖头N類12（番茄輪斑?。┑淖R(shí)別錯(cuò)誤率較高，結(jié)合混淆矩陣可以發(fā)現(xiàn)錯(cuò)分種類分別為4、5、6、7、8、10、11。從總體來看，其他種類被分為種類8和種類12的情況頻繁發(fā)生，分析原始數(shù)據(jù)集發(fā)現(xiàn)被錯(cuò)分的病害種類中，類間差異小，類內(nèi)差異大是病害被錯(cuò)分的最主要原因，如圖7a～圖7c所示為種類8番茄晚疫病的部分樣本圖像，在發(fā)病早期病葉并沒有什么明顯的變化，在發(fā)病中期和發(fā)病晚期與發(fā)病早期有明顯不同，發(fā)病中期出現(xiàn)病斑，到發(fā)病晚期病葉大范圍枯萎，并且出現(xiàn)變色現(xiàn)象，如圖7d～圖7f所示為種類11（番茄二斑葉螨病）和種類6（番茄早疫?。┲斜活A(yù)測為種類12（番茄輪斑?。┑牟『D像，可以發(fā)現(xiàn)3種病害癥狀表現(xiàn)十分相似，人工也很難辨別。但15種病害的平均識(shí)別準(zhǔn)確率為95.95%，在不引入遷移學(xué)習(xí)的前提下基本滿足蔬菜葉部病害檢測要求。

注：0為土豆健康、1為土豆早疫病、2為土豆晚疫病、3為辣椒健康、4為辣椒瘡痂病、5為番茄細(xì)菌性斑點(diǎn)病、6為番茄早疫病、7為番茄健康、8為番茄晚疫病、9為番茄葉霉病、10為番茄斑枯病、11為番茄二斑葉螨病、12為番茄輪斑病、13為番茄病毒病、14為番茄黃曲病。主對(duì)角線數(shù)字為預(yù)測正確圖像數(shù)量，其他數(shù)字為預(yù)測錯(cuò)誤圖像數(shù)量。

注：0為番茄健康、1為番茄白粉病、2為番茄早疫病、3為黃瓜健康、4為黃瓜白粉病、5為黃瓜病毒病、6為黃瓜霜霉病。主對(duì)角線數(shù)字為預(yù)測正確圖像數(shù)量，其他數(shù)字為預(yù)測錯(cuò)誤圖像數(shù)量。

圖7 簡單背景下數(shù)據(jù)集1中測試集被錯(cuò)分的典型番茄病害

由圖6可知，混淆矩陣中顯示了數(shù)據(jù)集2中測試集上每一類病害的識(shí)別準(zhǔn)確率和每種類別被錯(cuò)分的情況。其中可以發(fā)現(xiàn)種類1（番茄白粉?。┑淖R(shí)別準(zhǔn)確率最低，并且被錯(cuò)分的圖像中大部分被錯(cuò)分為種類2（番茄早疫?。?，經(jīng)過分析發(fā)現(xiàn)種類1和種類2在數(shù)據(jù)整體分布上呈現(xiàn)相似性，即類間差異小，如圖8所示，2種類別的葉片均錯(cuò)綜復(fù)雜的鋪滿整張圖像。最終數(shù)據(jù)集2中測試集的平均識(shí)別準(zhǔn)確率為93.05%，較簡單背景的數(shù)據(jù)集1中測試集的準(zhǔn)確率有所下降。

本研究使用2種數(shù)據(jù)集訓(xùn)練得到的模型互相測試，發(fā)現(xiàn)使用復(fù)雜背景圖像訓(xùn)練測試簡單背景圖像得到的識(shí)別準(zhǔn)確率會(huì)比使用簡單背景圖像訓(xùn)練測試復(fù)雜背景圖像得到的識(shí)別準(zhǔn)確率高，但是兩者得到的識(shí)別準(zhǔn)確率均在30%以下，在模型應(yīng)用到實(shí)際生產(chǎn)中時(shí)應(yīng)該盡可能的使模型的訓(xùn)練集和測試集服從獨(dú)立同分布，使得模型能夠發(fā)揮最大的功效。

圖8 復(fù)雜背景下數(shù)據(jù)集2中測試集被錯(cuò)分的典型番茄病害

5 結(jié) 論

本研究在分析了殘差網(wǎng)絡(luò)（ResNet18）的優(yōu)點(diǎn)與不足后，繼承了它的殘差學(xué)習(xí)優(yōu)點(diǎn)，克服了其缺少多尺度提取特征、網(wǎng)絡(luò)模型訓(xùn)練參數(shù)多、訓(xùn)練用時(shí)長等缺點(diǎn)。提出了改進(jìn)型Multi-scale ResNet蔬菜葉部病害識(shí)別網(wǎng)絡(luò)，其特點(diǎn)包括：1）添加了多尺度特征提取模塊，使病害特征得到不同卷積核尺寸的提?。?）將網(wǎng)絡(luò)使用的大卷積核分解，使網(wǎng)絡(luò)參數(shù)減少并增加網(wǎng)絡(luò)層數(shù)；3）增加殘差層連接層數(shù)，使網(wǎng)絡(luò)能夠?qū)W習(xí)兩層之間的差；改進(jìn)網(wǎng)絡(luò)降維方式，使網(wǎng)絡(luò)學(xué)習(xí)特征更加充分；4）進(jìn)行群卷積操作，使模型訓(xùn)練參數(shù)大大減少，并且增大特征利用率。改進(jìn)的Multi-scale ResNet蔬菜葉部病害識(shí)別模型參數(shù)數(shù)量僅為755 055個(gè)，模型大小僅68.75 MB，參數(shù)數(shù)量較ResNet18縮減93%左右，模型總體尺寸縮減約35%。顯著地減少了模型參數(shù)數(shù)量進(jìn)而降低了模型的存儲(chǔ)和計(jì)算開銷，克服了傳統(tǒng)深度模型因參數(shù)和計(jì)算量過大不適用于邊緣部署的缺點(diǎn)。較好的平衡了模型的復(fù)雜度和識(shí)別精度，為基于深度網(wǎng)絡(luò)模型的病害識(shí)別系統(tǒng)進(jìn)行邊緣部署提供了思路。

[1] 國家統(tǒng)計(jì)局. 2019中國統(tǒng)計(jì)年鑒[M]. 北京：中國統(tǒng)計(jì)出版社，2019.

[2] Lecun Y, Bengio Y, Hinton G E, et al. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[3] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]//Proceedings of the 25thInternational Conference on Neural Information Processing Systems, Siem Reap, Cambodia, 2012: 1097-1105.

[4] Rawat W, Wang Zenghui. Deep convolutional neural networks for image classification: A comprehensive review[J]. Neural Computation, 2017, 29(9): 2352-2449.

[5] Szegedy C, Liu Wei, Jia Yangqing, et al. Going deeper with convolutions[C]//2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, 10(1): 1-9.

[6] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[C]//IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(9): 1904-1916.

[7] Mohanty S P, Hughes D P, Salathe M, et al. Using deep learning for image-Based plant disease detection[J]. Frontiers in Plant Science, 2016, 7: 1419-1419.

[8] Ferentinos K. Deep learning models for plant disease detection and diagnosis[J]. Computers and Electronics in Agriculture, 2018, 145: 311-318.

[9] Grinblat G L, Uzal L C, Larese M G, et al. Deep learning for plant identification using vein morphological patterns[J]. Computers and Electronics in Agriculture, 2016, 127: 418-424.

[10] Ngugi L C, Abelwahab M, Abo-Zahhad M. Recent advances in image processing techniques for automated leaf pest and disease recognition: A review[J/OL]. Information Processing in Agriculture, 2020, [2020-04-21], https: //doi. org/10. 1016/j. inpa.

[11] 張善文，謝澤奇，張晴晴. 卷積神經(jīng)網(wǎng)絡(luò)在黃瓜葉部病害識(shí)別中的應(yīng)用[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2018，34(1)：62-67. Zhang Shanwen, Xie Zeqi, Zhang Qingqing. Application research on convolutional neural network for cucumber leaf disease recognition[J]. Jiangsu Journal of Agricultural Sciences, 2018, 34(1): 62-67. (in Chinese with English abstract)

[12] 馬浚誠，杜克明，鄭飛翔，等. 基于卷積神經(jīng)網(wǎng)絡(luò)的溫室黃瓜病害識(shí)別系統(tǒng)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2018，34(12)：186-192. Ma Juncheng, Du Keming, Zheng Feixiang, et al. Disease recognition system for greenhouse cucumbers based on deep convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(12): 186-192. (in Chinese with English abstract)

[13] 王艷玲，張宏立，劉慶飛，等. 基于遷移學(xué)習(xí)的番茄葉片病害圖像分類[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，24(6)：124-130. Wang Yanling, Zhang Hongli, Liu Qingfei, et al. Image classification of tomato leaf diseases based on transfer learning[J]. Journal of China Agricultural University, 2019, 24(6): 124-130. (in Chinese with English abstract)

[14] 李淼，王敬賢，李華龍，等. 基于CNN和遷移學(xué)習(xí)的農(nóng)作物病害識(shí)別方法研究[J]. 智慧農(nóng)業(yè)，2019，1(3)：46-55. Li Miao, Wang Jingxian, Li Huarong, et al. Method for identifying crop disease based on CNN and transfer learning[J]. Smart Agriculture, 2019, 1(3): 46-55. (in Chinese with English abstract)

[15] 郭小清，范濤杰，舒欣. 基于改進(jìn)Multi-scale AlexNet的番茄葉部病害圖像識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(13)：162-169. Guo Xiaoqing, Fan Taojie, Shu Xin. Tomato leaf diseases recognition based on improved Multi-scale AlexNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(13): 162-169. (in Chinese with English abstract)

[16] 吳華瑞. 基于深度殘差網(wǎng)絡(luò)的番茄葉片病害識(shí)別方法[J]. 智慧農(nóng)業(yè)，2019，1(4)：42-49. Wu Huarui. Method of tomato leaf diseases recognition method based on deep residual network[J]. Smart Agriculture, 2019, 1(4): 42-49. (in Chinese with English abstract)

[17] 胡志偉，楊華，黃濟(jì)民，等. 基于注意力殘差機(jī)制的細(xì)粒度番茄病害識(shí)別[J]. 華南農(nóng)業(yè)大學(xué)報(bào)，2019，40(6)：124-132. Hu Zhiwei, Yang Hua, Huang Jiming, et al. Fine-grained tomato disease recognition based on attention residual mechanism[J]. Journal of South China. 2019, 40(6): 124-132. (in Chinese with English abstract)

[18] 曾偉輝. 面向農(nóng)作物葉片病害魯棒性識(shí)別的深度卷積神經(jīng)網(wǎng)絡(luò)研究[D]. 合肥：中國科學(xué)技術(shù)大學(xué)，2018. Zeng Weihui. Research on Robust Recognition of Crop Leaf Diseases based on Deep Convolution Neural Network[D]. Hefei: University of Science and Technology of China, 2018. (in Chinese with English abstract)

[19] Too E C, Yujian L, Njuki S, et al. A comparative study of fine-tuning deep learning models for plant disease identification[J]. Computers and Electronics in Agriculture, 2019, 161: 272-279.

[20] 劉洋，馮全，王書志. 基于輕量級(jí)CNN的植物病害識(shí)別方法及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(17)：194-204. Liu Yang, Feng Quan, Wang Shuzhi. Plant disease identification method based on lightweight CNN and mobile application[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(17): 194-204. (in Chinese with English abstract)

[21] 雷杰，高鑫，宋杰，等. 深度網(wǎng)絡(luò)模型壓縮綜述[J]. 軟件學(xué)報(bào)，2018，29(2)：251-266. Lei Jie, Gao Xin, Song Jie, et al. Survey of deep neural network model compression[J]. Journal of Software, 2018, 29(2): 251-266. (in Chinese with English abstract)

[22] 李江昀，趙義凱，薛卓爾，等. 深度神經(jīng)網(wǎng)絡(luò)模型壓縮綜述[J]. 工程科學(xué)學(xué)報(bào)，2019，41(10)：1229-1239. Li Jiangyun, Zhao Yikai, Xue Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese Journal of Engineering, 2019, 41(10): 1229-1239. (in Chinese with English abstract)

Identification of vegetable leaf diseases based on improved Multi-scale ResNet

Wang Chunshan1,2,3,4, Zhou Ji1, Wu Huarui2,3, Teng Guifa1,4, Zhao Chunjiang2,3※, Li Jiuxi5

(1.,,071001,; 2.,100097,; 3.,100097,; 4.,071001,; 5.,,071001,)

Although the performance of the deep network-based image recognition model of vegetable leaf disease is excellent, it is still difficult to deploy to the edge computing equipment, embedded equipment, mobile equipment, and other areas of agricultural Internet of Things (IoT) due to the problems of huge parameters, long training time, high storage cost, and calculation cost. Therefore, how to reduce the size of the model while ensuring the accuracy of model recognition has become a hot issue. Based on the study of the advantages and disadvantages of ResNet18, this study proposed an improved Multi-scale ResNet lightweight disease recognition model. The Multi-scale ResNet had made improvements in network structure design, multi-scale feature extraction, feature mapping dimensionality reduction, and complexity reduction. In order to test the effectiveness of the network, this study used two datasets. Dataset 1 used 15 vegetable diseases in the public dataset of the Plantvillage and the AI Challenge2018, and dataset 2 was self-collecting 7 disease images. Each image was resized to 224 × 224 using bilinear interpolation. In order to prevent overfitting due to too few data, the original dataset was enhanced through translation, scaling and rotation, random clipping and scaling, random brightness contrast enhancement, random gamma noise, and vertical flip. The original dataset was expanded to 134 232, and the training set, verification set, and test set were divided according to the ratio of 7∶2∶1. The experimental scheme included model structure design and comparison with other models. In the model structure design experiment, five options were included convolution kernel design, channel design, residual layer connection design, grouping design, and residuablock number design. The effectiveness of network design mode was verified by changing one design method by fixing other design methods. Finally, the network structure of Multi-scale ResNet was determined, including the network structure of using large convolution kernel and group convolution, two channels, two-layer connection mode, and two residua blocks. The accuracy of Multi-scale ResNet on dataset 1 and dataset 2 reached 95.95% and 93.05% respectively. Compared with other models (AlexNet, VGG16, ResNet50, SqueezeNet), the improved Multi-scale ResNet has the least number of parameters and the smallest model volume. And the accuracy of Multi-scale ResNet was 3.72% lower than the original ResNet18, but the training parameters of the model were reduced about 93% and the overall size of the model was reduced about 35%. The minimum size of Multi-scale ResNet was 68.75 MB, and the accuracy was only about 1.5% lower than ResNet50. Moreover, the loss value of the model decreases smoothly, and there was no similar oscillation phenomenon of the original ResNet18 and ResNet50. Experiments showed that the Multi-scale ResNet has the characteristics of small size and high accuracy. It made the vegetable leaf disease identification model had the ability to deploy and run in the scene of limited hardware. It overcame the shortcomings of the traditional depth model which was not suitable for edge deployment because of its large parameters and calculation. It could meet the urgent need of realizing long-term, large-scale, and low-cost automatic identification of vegetable diseases under the condition of resource constraints.

image processing; diseases; image recognition; multi-scale; lightweight; residual layer; ResNet18

王春山，周冀，吳華瑞，等. 改進(jìn)Multi-scale ResNet的蔬菜葉部病害識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(20)：209-217.doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

Wang Chunshan, Zhou Ji, Wu Huarui, et al. Identification of vegetable leaf diseases based on improved Multi-scale ResNet[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(20): 209-217. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.20.025 http://www.tcsae.org

2020-07-07

2020-08-28

國家大宗蔬菜產(chǎn)業(yè)技術(shù)體系（CARS-23-C06）；國家重點(diǎn)研發(fā)計(jì)劃（2019YFD1101105）；國家自然科學(xué)基金項(xiàng)目（61771058）；河北省重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（20327402D）；河北省研究生創(chuàng)新資助項(xiàng)目（CXZZBS2020103）

王春山，在職博士生，副教授，主要從事人工智能、智慧農(nóng)業(yè)、圖像識(shí)別研究。Email：chunshan9701@163.com

趙春江，研究員，中國工程院院士，博士生導(dǎo)師，主要從事人工智能、智慧農(nóng)業(yè)、智能農(nóng)業(yè)裝備和農(nóng)業(yè)信息技術(shù)研究。Email：zhaocj@nercita.org.cn

10.11975/j.issn.1002-6819.2020.20.025

S511

A

1002-6819(2020)-20-0209-09