李 輝， 嚴(yán)康華， 景 浩， 侯 銳， 梁曉菡

(河南理工大學(xué) 電氣工程與自動(dòng)化學(xué)院，河南 焦作 454000)

0 引 言

在蘋果的生產(chǎn)過程中，保果的基礎(chǔ)是保葉[1]，由于我國農(nóng)民通常是自我經(jīng)驗(yàn)來對(duì)病害進(jìn)行識(shí)別，很容易造成誤判，影響蘋果的質(zhì)量和產(chǎn)量。因此研究蘋果葉部病理檢測(cè)智能化的意義重大。

隨著計(jì)算機(jī)技術(shù)的普及，深度學(xué)習(xí)[2]迅猛發(fā)展并應(yīng)用于農(nóng)業(yè)病害檢測(cè)中[3]，Zeng W H等人[4]提出了一種自注意力卷積神經(jīng)網(wǎng)絡(luò)(self-attention convolutional neural network,SACNN)，提取作物病害點(diǎn)的有效特征來識(shí)別作物病害。Waheed A等人[5]提出了一種用于玉米葉病識(shí)別和分類的優(yōu)化稠密卷積神經(jīng)網(wǎng)絡(luò)(DenseNet)結(jié)構(gòu)，監(jiān)測(cè)作物的健康狀況。Zhong Y等人[6]提出基于DenseNet—121的深度卷積網(wǎng)絡(luò)對(duì)蘋果葉病的回歸、多貝爾分類和焦點(diǎn)丟失函數(shù)三種識(shí)別方法。師韻等人[7]提出一種基于主成分分析(principal component analysis,PCA)算法的蘋果病害識(shí)別方法。劉翠翠等人[8]利用圖像處理、PCA、支持向量機(jī)(support vector machine,SVM)等技術(shù)開發(fā)麥冬葉部病害識(shí)別系統(tǒng)。郭小清等人[9]通過粒子群優(yōu)化(PSO)算法實(shí)現(xiàn)參數(shù)自動(dòng)尋優(yōu)的SVM模型，識(shí)別番茄葉部病害。周敏敏研討通過Faster R-CNN算法對(duì)蘋果葉面5種病害的檢測(cè)，5種病害的均值平均精度(mean average precision,mAP)為76.55 %[10]，但該方法對(duì)病斑小目標(biāo)的識(shí)別精度和速度較低。

以上研究表明，在農(nóng)業(yè)病害檢測(cè)領(lǐng)域中，基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks,CNN)的目標(biāo)檢測(cè)算法得到了廣泛的應(yīng)用?；诘哪繕?biāo)檢測(cè)算法包括二階(two-stage)目標(biāo)檢測(cè)算法以Fast R-CNN、Faster R-CNN等為代表。一階(one-stage)目標(biāo)檢測(cè)算法以SSD(single shot multibox detector),YOLO等為代表[11]，本文選擇精度和效率高的單級(jí)目標(biāo)檢測(cè)算法 SSD 作為基本框架。

在蘋果葉部病理檢測(cè)時(shí)，存在以下問題：較小的目標(biāo)難以識(shí)別；部分背景區(qū)域識(shí)別為目標(biāo)；重復(fù)識(shí)別目標(biāo)。針對(duì)此，對(duì)SSD算法進(jìn)行改進(jìn)，包含以下3點(diǎn)：1)融合SSD的高低層特征圖的特征,各層取長補(bǔ)短,提升小目標(biāo)的識(shí)別精度;2)考慮到蘋果葉部病害目標(biāo)易受背景干擾，一些背景信息可能分布在特征圖的某些通道上，對(duì)用于生成候選區(qū)域的不同尺度特征圖引入通道注意力機(jī)制;3)引入Focal Loss，代替原有的損失函數(shù)，主要解決正負(fù)樣本比例失衡的問題。在不增加模型參數(shù)的數(shù)量上，提升了檢測(cè)的精度，實(shí)驗(yàn)結(jié)果驗(yàn)證了本文提出的改進(jìn)算法的優(yōu)越性。

1 蘋果葉部病理檢測(cè)算法

1.1 特征融合模塊

引入一個(gè)輕量級(jí)特征融合模塊[12,13]，選用VGG16作為改進(jìn)SSD的Backbone,輸入圖像的大小為300×300，利用VGG16的Conv4_3、FC7，額外層Conv7_2做特征融合，先將1×1Conv降低特征圖的通道數(shù)變?yōu)?56，并將Conv4_3的特征圖設(shè)置Base尺度為38像素×38像素對(duì)應(yīng)Stride=8，設(shè)置Conv6_2的stride=1，則Conv7_2 的分辨率也為10像素×10像素。對(duì)于尺度小于38像素×38像素的特征圖的 FC7 和 Conv7_2 就使用雙線性插值做上采樣操作，尺度縮放為38像素×38像素；在空間維度信息保持一致后，將FC7 ，Conv7_2與Conv4_3連接做Concate得到一個(gè)合并層，如圖1虛線框所示，接著BN(batch normalization)以正則化該合并層，以此層為Base Layer,通過Down-Sampling Blocks生成新的特征金字塔，并最終在新生成的特征金字塔上檢測(cè)葉部病斑，補(bǔ)充的細(xì)節(jié)信息在一定程度上也能夠提高模型的識(shí)別精準(zhǔn)度,且新增的速度消耗也非常小。

圖1 特征融合模塊

1.2 通道注意力模塊

本文使用通道注意力網(wǎng)絡(luò) SENet (squeeze-and-excitation networks)[14]，SENet中的注意力機(jī)制分為3個(gè)部分：擠壓(squeeze)，激勵(lì)(excitation)，以及注意(attention)，其結(jié)構(gòu)如圖2所示。

圖2 通道注意力模塊

圖2中，最左邊是輸入特征圖X∈RH×W×C,X有C個(gè)通道，每個(gè)通道的權(quán)重都是通過對(duì)特征圖在空間維度H×W進(jìn)行壓縮得到。為了可以自適應(yīng)生成各通道的注意力權(quán)重，使用具有一個(gè)隱含層的多層感知機(jī)，隱含層的神經(jīng)元個(gè)數(shù)為C/r，r為縮放比例，合適的r可以提高計(jì)算效率，本文的r取2。使用Sigmoid得到最終的權(quán)重，公式如下

Sc=Fex(Z,W)=σ(g(Z,W))=σ(W2δ(W1Z))

(1)

式中δ函數(shù)為ReLU激活函數(shù)，σ為Sigmoid激活函數(shù)，Sc的維度為1×1×C,Sc對(duì)應(yīng)生成的通道注意力權(quán)重。

最終使用得到Sc對(duì)輸入通道進(jìn)行調(diào)整，通道注意力加權(quán)公式為

(2)

1.3 Focal Loss損失函數(shù)

在一階中，由于樣本不均衡帶來的主要問題是網(wǎng)絡(luò)學(xué)不到有用信息，訓(xùn)練被大量負(fù)樣本所主導(dǎo)，少量正樣本所提供的關(guān)鍵信息不能在損失函數(shù)中正常發(fā)揮作用，無法對(duì)蘋果葉部病斑小目標(biāo)進(jìn)行準(zhǔn)確分類，造成漏檢和誤檢。本文引入的Focal Loss函數(shù)[15]是在對(duì)交叉熵?fù)p失(cross-entropy loss)函數(shù)的基礎(chǔ)上進(jìn)行的修改。

Focal Loss 在交叉熵?fù)p失的原有基礎(chǔ)上，增加了一個(gè)因子γ，自動(dòng)降低Easy Examples的損失，幫助模型集中于訓(xùn)練更加困難的樣本。Focal Loss函數(shù)定義公式如下

FL(pt)=-at(1-pt)γlog(pt)

(3)

式中pt為不同類別t的概率；平衡因子at為Positive和Negative的比例，用來平衡樣本不均衡；γ為聚焦參數(shù)，來調(diào)節(jié)簡(jiǎn)單和困難樣本權(quán)重降低的速率；pt越大，通過增大γ，權(quán)重(1-pt)γ就越小，通過權(quán)重對(duì)簡(jiǎn)單樣本進(jìn)行抑制，當(dāng)γ增加時(shí)，平衡因子at也在增加。根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)，本文實(shí)驗(yàn)中的參數(shù)at,γ分別取0.25和2。

1.4 基于改進(jìn)的SSD網(wǎng)絡(luò)結(jié)構(gòu)

本文的檢測(cè)結(jié)構(gòu)如圖3所示，特征融合Conv4_3,FC7，Conv7_2的合并層，與另外5個(gè)額外卷積層，且每個(gè)卷積層都能夠減小特征圖的尺寸，作為用于檢測(cè)的特征圖。其次，合并層與每個(gè)額外層作為SENet的輸入X，經(jīng)過全局平均池化與兩個(gè)全連接層，再通過激活函數(shù)Sigmoid得到各通道的權(quán)值，與原輸入X對(duì)應(yīng)相乘得到最終用于檢測(cè)的特征圖，如圖3下部虛線框SENet為具體網(wǎng)絡(luò)結(jié)構(gòu)。本文在SSD上新增一個(gè)輕量級(jí)的特征融合模塊，利用淺層細(xì)節(jié)特征與高級(jí)語義特征相結(jié)合的高效特征提取能力，得到一個(gè)合并層，然后與5個(gè)額外層得到6種不同尺度的特征圖，再經(jīng)過通道注意力機(jī)制后得到最終特征顯著的特征圖，隨后進(jìn)行目標(biāo)檢測(cè)。

圖3 基于改進(jìn)SSD的蘋果葉部病理檢測(cè)模型結(jié)構(gòu)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)環(huán)境與數(shù)據(jù)集

本文使用PyTorch1.4框架進(jìn)行實(shí)驗(yàn)，并采用圖形處理器(graphic processing unit,GPU)進(jìn)行加速運(yùn)算，具體實(shí)驗(yàn)環(huán)境如下：Windows 10系統(tǒng)，PyTorch 1.4框架，Python 3.7語言，Intel?CoreTMi7—4790@3.60 GHz CPU,RTX 2060S GPU,16 GB RAM。

本文所設(shè)計(jì)的數(shù)據(jù)集共包括23 729張?zhí)O果葉部病理的大小為300×300圖像，來源于百度AI公共數(shù)據(jù)集庫，共分為5類葉部病害：斑點(diǎn)落葉病(alternaria)、褐斑病(brown)、花葉病(mosaic)、灰斑病(grey)、銹病(rust)。數(shù)據(jù)集中的訓(xùn)練集包含了16 251張病害圖像，測(cè)試集和驗(yàn)證集分別含有3 739張病害圖像。

2.2 評(píng)價(jià)指標(biāo)

本文采用的評(píng)價(jià)指標(biāo)為mAP，AP為各類檢測(cè)精確率的評(píng)價(jià)指標(biāo)。mAP和AP與精確率(precision，P)P=TP/(TP+FP),召回率(recall，R)R=TP/(TP+FN)有關(guān)， TP表示被正確識(shí)別正樣本的數(shù)量，F(xiàn)P表示被錯(cuò)誤識(shí)別正樣本的數(shù)量，F(xiàn)N代表被錯(cuò)誤識(shí)別負(fù)樣本的數(shù)量。

通過計(jì)算的召回率R和精確率P組成P-R曲線，對(duì)該曲線圍成的面積進(jìn)行積分，得到的即是AP值，AP值越大，表示算法性能越好，其積分公式為

(6)

mAP為對(duì)5類蘋果葉部病害的AP值計(jì)算均值，其公式為

(7)

式中M為類別總數(shù)， AP(k)為第k類的AP值。

本文中設(shè)定的閾值IoU為0.5，當(dāng)IoU≥0.5時(shí)，表示目標(biāo)被檢測(cè)成功；反之，則目標(biāo)沒有被檢測(cè)成功。

2.3 模型訓(xùn)練

本文采用端到端的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。其中，設(shè)置初始學(xué)習(xí)率分別為0.001，0.000 1,0.000 01三種情況下進(jìn)行訓(xùn)練，設(shè)定迭代總數(shù)為120 000，在模型初始化中，對(duì)共享卷積層在ImageNet數(shù)據(jù)集上訓(xùn)練的VGG—16模型進(jìn)行初始化，每次訓(xùn)練設(shè)置每500次保存一次模型，這樣便于找到效果最好的模型。

2.4 不同參數(shù)實(shí)驗(yàn)分析對(duì)比

改進(jìn)的SSD算法在不同學(xué)習(xí)率情況下，5種蘋果葉部病理的AP值對(duì)比，以及mAP值，如表1所示。

表1 不同參數(shù)的實(shí)驗(yàn)結(jié)果

由表1可知，學(xué)習(xí)率影響訓(xùn)練效果，在3種學(xué)習(xí)率不同的情況下，實(shí)驗(yàn)結(jié)果表明，在學(xué)習(xí)率設(shè)定為0.000 1，迭代次數(shù)為120 000次時(shí)，得到的網(wǎng)絡(luò)模型效果最佳，mAP值為81.95 %，其中,斑點(diǎn)落葉病的AP值為78.23 %，褐斑病的AP值為74.51 %，花葉病的AP值為90.74 %，灰斑病的AP值為75.58 %，銹病的AP值為90.70 %。

2.5 不同算法實(shí)驗(yàn)分析對(duì)比

在上述實(shí)驗(yàn)中選取最佳效果的網(wǎng)絡(luò)模型，將其與SSD，YOLO和Fast R—CNN，F(xiàn)aster R-CNN和ZF網(wǎng)絡(luò)特征提取的Faster R—CNN算法做實(shí)驗(yàn)對(duì)比，結(jié)果如表2和圖4所示。

表2 不同算法的實(shí)驗(yàn)結(jié)果

由表2可知，本文的檢測(cè)方法的mAP值明顯高于其他5種算法。其中,在檢測(cè)速度上，最快的YOLO—V1為0.219 s/張，這是因?yàn)橹恍枰獙?duì)一階網(wǎng)絡(luò)生成的Anchor框進(jìn)行分類和回歸，生成的Anchor框會(huì)映射到特征圖的區(qū)域，然后該區(qū)域被重新輸入到全連接層進(jìn)行分類和回歸，這樣的分類和回歸需要對(duì)每個(gè)Anchor映射的區(qū)域進(jìn)行，所以一階速度快了很多；但在檢測(cè)精度方面，以特征提取網(wǎng)絡(luò)VGG—16的Faster R-CNN為代表的檢測(cè)mAP值達(dá)到76.55 %，這是由于一階網(wǎng)絡(luò)最終學(xué)習(xí)的Anchor有很多，但對(duì)最終網(wǎng)絡(luò)學(xué)習(xí)有利的只有少數(shù)Anchor，而大部分都是不利的，而最主要影響整個(gè)網(wǎng)絡(luò)學(xué)習(xí)的是這部分的Anchor，降低整體的準(zhǔn)確率；雖然二階網(wǎng)絡(luò)最終學(xué)習(xí)的Anchor不多，但二階不需要考慮太多樣本不均衡的問題，所以它的準(zhǔn)確率比一階要高；相反，一階會(huì)存在一個(gè)嚴(yán)重的正負(fù)樣本失衡問題。實(shí)驗(yàn)結(jié)果表明，本文改進(jìn)的SSD算法在引入Focal Loss函數(shù)，加入通道注意力機(jī)制、特征融合模塊后，在精確度方面，本文模型的最佳檢測(cè)效果mAP值為81.95 %，相比其他對(duì)比算法的最優(yōu)mAP值高5.4 %；在檢測(cè)速度方面，本文模型測(cè)試的平均時(shí)間為0.311 s/張，相比檢測(cè)速度最優(yōu)的算法僅相差0.092 s；這說明本文對(duì)SSD網(wǎng)絡(luò)的3個(gè)方面進(jìn)行的改進(jìn)，在提高精度的同時(shí)，并沒有增加過多的計(jì)算量。

圖4 檢測(cè)結(jié)果

3 結(jié) 論

針對(duì)蘋果葉部病理目標(biāo)小且相似度高的檢測(cè)困難問題，本文提出了一種基于改進(jìn)SSD的蘋果葉部病理檢測(cè)方法，首先，將淺層細(xì)節(jié)與高層語義相融合；其次，構(gòu)建了通道注意力機(jī)制；最后，用Focal Loss函數(shù)替換原有的損失函數(shù)，提高模型精度。實(shí)驗(yàn)結(jié)果表明：與其他算法比較，本文改進(jìn)的SSD算法的檢測(cè)精度得到明顯的提高，mAP達(dá)到81.95 %，速度損耗極小。下一步將繼續(xù)研究特征融合和注意力機(jī)制，在盡可能不增加計(jì)算量的情況下，提升蘋果葉部病理的檢測(cè)精度。