田有文 吳 偉 林 磊 姜鳳利 張 芳

(1.沈陽(yáng)農(nóng)業(yè)大學(xué)信息與電氣工程學(xué)院， 沈陽(yáng) 110866；2.農(nóng)業(yè)農(nóng)村部園藝作物農(nóng)業(yè)裝備重點(diǎn)實(shí)驗(yàn)室， 沈陽(yáng) 110866)

0 引言

藍(lán)莓生長(zhǎng)過(guò)程中容易受到果蠅蟲害侵染[1-3]，果蠅會(huì)在藍(lán)莓果實(shí)中產(chǎn)卵，幼蟲將藍(lán)莓果肉作為養(yǎng)分，藍(lán)莓顏色較深，且果蠅產(chǎn)卵蟲眼較小，人類肉眼難以分辨藍(lán)莓遭受蟲害情況，而人工分類費(fèi)時(shí)費(fèi)力、效率低、準(zhǔn)確性差，因此實(shí)現(xiàn)藍(lán)莓蟲害自動(dòng)、快速、準(zhǔn)確的無(wú)損檢測(cè)十分重要。

近年來(lái)，高光譜成像作為一種新興的無(wú)損檢測(cè)技術(shù)，集成了光譜信息和成像技術(shù)，具有較高的光譜和空間分辨率，已被證明是一種有效的水果質(zhì)量和安全檢測(cè)技術(shù)[4]。利用高光譜成像技術(shù)檢測(cè)水果蟲害的研究已有報(bào)道[5-8]。通過(guò)高光譜成像獲得的綜合信息有助于從不同方面研究水果品質(zhì)，其主要的挑戰(zhàn)是處理大量數(shù)據(jù)并有效地學(xué)習(xí)有用信息。其中最關(guān)鍵是引入各種機(jī)器學(xué)習(xí)方法來(lái)識(shí)別水果蟲害，從而取得良好的性能。除了傳統(tǒng)的機(jī)器學(xué)習(xí)方法外，深度學(xué)習(xí)模型已被引入高光譜數(shù)據(jù)分析[9-14]。AGARWAL等[9]獲得了約2 000幅高光譜圖像，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural networks，CNN)和膠囊網(wǎng)絡(luò)兩種深度學(xué)習(xí)模型，對(duì)谷倉(cāng)中谷蠹和變形蟲的全身及其碎片圖像進(jìn)行圖像處理，獲得90%以上的識(shí)別準(zhǔn)確率。HAN等[10]采集黃曲霉毒素污染前后73個(gè)花生樣品的146幅高光譜圖像，提出一種像素光譜的圖像重構(gòu)方法。通過(guò)CNN方法與不同的識(shí)別模型進(jìn)行比較，發(fā)現(xiàn)深度學(xué)習(xí)識(shí)別模型優(yōu)于傳統(tǒng)的識(shí)別模型。SONIA等[11]采集馬鈴薯泥上死的和活的產(chǎn)孢梭菌孢子高光譜圖像，采用深度神經(jīng)網(wǎng)絡(luò)(CNN)和隨機(jī)森林模型(RF)對(duì)不同孢子菌株數(shù)量進(jìn)行檢測(cè)，結(jié)果表明CNN模型總體準(zhǔn)確率達(dá)90%～94%。GAO等[12]對(duì)早熟和成熟草莓的高光譜圖像提取前3個(gè)主成分空間特征圖像，采用預(yù)訓(xùn)練的AlexNet卷積神經(jīng)網(wǎng)絡(luò)對(duì)樣品草莓成熟度進(jìn)行實(shí)時(shí)分類，測(cè)試數(shù)據(jù)集準(zhǔn)確率達(dá)98.6%。費(fèi)婧怡[13]提出了基于A-ResNet元學(xué)習(xí)模型的大豆食心蟲蟲害高光譜檢測(cè)方法，并進(jìn)行了改進(jìn)，模型準(zhǔn)確率達(dá)94.57%±0.19%。馮喆等[14]分別采用一維神經(jīng)網(wǎng)絡(luò)1DCNN和二維卷積神經(jīng)網(wǎng)絡(luò)2DCNN，建立山核桃內(nèi)源性異物的檢測(cè)模型，2DCNN模型性能較好，訓(xùn)練集和測(cè)試集分類準(zhǔn)確率分別提高至100%和98.5%。

本文針對(duì)藍(lán)莓受果蠅蟲害侵染后存在人工分揀效率低、準(zhǔn)確度差等問(wèn)題，采用高光譜成像技術(shù)采集藍(lán)莓果蠅蟲害高光譜圖像并進(jìn)行降維獲取圖像數(shù)據(jù)集，然后構(gòu)建VGG16、InceptionV3與ResNet50 3種深度學(xué)習(xí)模型對(duì)藍(lán)莓果蠅蟲害進(jìn)行數(shù)據(jù)處理與無(wú)損檢測(cè)，并提出對(duì)深度學(xué)習(xí)模型結(jié)構(gòu)、損失函數(shù)和激活函數(shù)加以改進(jìn)的方法。采用Grad-CAM進(jìn)行可解釋性分析，以證明改進(jìn)模型識(shí)別藍(lán)莓果蠅蟲害的準(zhǔn)確性。

1 材料與方法

1.1 樣本制備

本文所用藍(lán)莓樣本是在2021年6—7月期間采摘于沈陽(yáng)農(nóng)業(yè)大學(xué)小漿果實(shí)踐教學(xué)與科研基地，有杜克與藍(lán)豐2個(gè)品種。采摘后置入5℃冰柜中去除田間熱，4 h后取出藍(lán)莓，選取大小與質(zhì)量相似、果實(shí)外表勻稱、無(wú)明顯損傷或病蟲害的健康果實(shí)進(jìn)行試驗(yàn)。試驗(yàn)樣本質(zhì)量在1.5～2.5 g之間，直徑為10～15 mm。選取200個(gè)杜克品種與200個(gè)藍(lán)豐品種共計(jì)400個(gè)藍(lán)莓樣本，混合后進(jìn)行分組試驗(yàn)。將樣本分為8組，每組50個(gè)樣本，隨機(jī)選取6組樣本進(jìn)行蟲害試驗(yàn)，其余2組作為健康樣本進(jìn)行培養(yǎng)。將每組藍(lán)莓樣本放置于培養(yǎng)器皿中并編號(hào)記錄。

為了保證果蠅生存環(huán)境，在培養(yǎng)器皿一側(cè)打出若干個(gè)孔洞，采用透氣的紗布將孔洞部分蓋住，這樣在保證空氣流通的同時(shí)，能夠減少細(xì)菌和灰塵等雜質(zhì)進(jìn)入培養(yǎng)皿，也能防止果蠅逃出培養(yǎng)器皿。隨后在6組培養(yǎng)皿中各放入15只成熟期果蠅進(jìn)行培養(yǎng)。將培養(yǎng)器皿置于25℃±3℃、相對(duì)濕度為30%的恒溫培養(yǎng)箱中培育，每2 d采集一次高光譜圖像，待到果蠅在藍(lán)莓中產(chǎn)卵，果蠅幼蟲通過(guò)蟲洞鉆出藍(lán)莓，即可知該樣本已遭受蟲害，篩選對(duì)應(yīng)藍(lán)莓的高光譜圖像作為果蠅蟲害圖像。

1.2 數(shù)據(jù)采集

本文所用光譜成像系統(tǒng)包括[15]：1個(gè)金屬暗箱(120 cm×50 cm×140 cm)、1個(gè)成像光譜儀(ImSpector V10E型，Spectral Imaging Ltd.，芬蘭)、1臺(tái)高性能CCD相機(jī)(IGV-B1410M型， IMPERX incorporated，美國(guó))、1個(gè)可控位移平臺(tái)(IRCP0076-1型，中國(guó))、2個(gè)鹵素?zé)?150W，3900 Illuminatior，Illumination Technologies Inc.，美國(guó))、1個(gè)DELL工作站(Vostro 5560D-1528型)。成像光譜儀光譜范圍為400～1 000 nm，光譜分辨率1.27 nm。CCD相機(jī)配有一個(gè)相機(jī)鏡頭(IGV-B1410型，分辨率1 392像素×1 040像素)。

采用高光譜成像系統(tǒng)采集健康藍(lán)莓和受果蠅侵染的藍(lán)莓高光譜圖像。首先成像儀預(yù)熱30 min，保證試驗(yàn)過(guò)程中成像儀正常運(yùn)轉(zhuǎn)。將CCD相機(jī)鏡頭與藍(lán)莓樣本之間距離設(shè)為30～32 cm并進(jìn)行鏡頭調(diào)焦。然后設(shè)置位移控制平臺(tái)的最佳橫移速度，采用硬幣進(jìn)行反復(fù)測(cè)試后認(rèn)為橫移速度在1.2 mm/s時(shí)成像效果最佳。最后進(jìn)行黑白板校正。因?yàn)樵囼?yàn)所用高光譜成像系統(tǒng)中鹵素?zé)粑恢霉潭?，無(wú)法跟隨位移平臺(tái)移動(dòng)，會(huì)導(dǎo)致光源照射強(qiáng)度發(fā)生變化；其次電流波動(dòng)也會(huì)對(duì)光譜數(shù)據(jù)產(chǎn)生干擾。因此需要對(duì)采集的高光譜圖像R0進(jìn)行校正操作，以減小外部環(huán)境帶來(lái)的干擾，黑白板校正計(jì)算式為[16]

(1)

式中Rx——校正后高光譜圖像

Rw——掃描標(biāo)準(zhǔn)白板得到的圖像

Rd——蓋上鏡頭采集到的黑色圖像

采用藍(lán)莓樣本進(jìn)行高光譜圖像采集，按照蟲害樣本圖像與健康樣本圖像進(jìn)行分類保存，其中蟲害樣本圖像300幅，健康樣本圖像100幅，共計(jì)400幅藍(lán)莓樣本高光譜圖像。

1.3 藍(lán)莓高光譜圖像降維

采集到的藍(lán)莓高光譜圖像是一個(gè)數(shù)據(jù)立方體[17]，含有大量的冗余信息[18]。本文采用PCA算法[19]對(duì)藍(lán)莓?dāng)?shù)據(jù)集進(jìn)行降維操作。在試驗(yàn)過(guò)程中，保留每幅高光譜圖像99.9%的特征，每幅高光譜圖像獲得PC1、PC2、…、PC7前7個(gè)主成分圖像，基本能夠反映出圖像中藍(lán)莓樣本的形狀、紋理、亮度、顏色和邊緣等信息，結(jié)果如圖1所示。

圖1 PCA方法降維結(jié)果Fig.1 Dimensionality reduction result of PCA method

由圖1可知，PC1圖像顯示的蟲害特異性不明顯，PC4以后的主成分圖像相對(duì)于前幾個(gè)主成分圖像含有明顯噪聲，PC2和PC3圖像顯示的蟲害特異性比較明顯，故本試驗(yàn)將優(yōu)先選取PC2與PC3數(shù)據(jù)集進(jìn)行后續(xù)試驗(yàn)。并在此基礎(chǔ)上，將PC2與PC3圖像進(jìn)行拼接，組成PC23數(shù)據(jù)集。

1.4 圖像增強(qiáng)

由于數(shù)據(jù)集所含圖像數(shù)據(jù)較少，每個(gè)數(shù)據(jù)集所含圖像數(shù)量不足1 000，而后續(xù)試驗(yàn)中深度學(xué)習(xí)算法需要大量的圖像進(jìn)行模型訓(xùn)練，為防止模型產(chǎn)生過(guò)擬合，故采用數(shù)據(jù)增強(qiáng)技術(shù)[20]，對(duì)各類圖像增加水平、垂直翻轉(zhuǎn)、模糊、高亮、低亮、鏡像、隨機(jī)添加噪聲等操作(圖2)，使各數(shù)據(jù)集容量擴(kuò)增為原始容量的18倍，將每類圖像樣本由原來(lái)的1 200幅增加到21 600幅。因數(shù)據(jù)增強(qiáng)前后圖像大小存在差異，使用Matlab自編函數(shù)將其統(tǒng)一調(diào)整至224像素×224像素，圖像增強(qiáng)結(jié)果如圖2所示。進(jìn)行圖像增強(qiáng)之后各數(shù)據(jù)集PC2、PC3、PC23所含圖像數(shù)量為7 200幅。

圖2 圖像增強(qiáng)結(jié)果Fig.2 Result of image enhancement

1.5 深度學(xué)習(xí)模型與評(píng)價(jià)指標(biāo)

卷積神經(jīng)網(wǎng)絡(luò)模型(Convolutional neural network，CNN)在圖像分類應(yīng)用方面比較突出[21]，主要由輸入層、卷積層、池化層、激活函數(shù)、全連接層、損失函數(shù)和輸出層等部分組成。圖像輸入之后，經(jīng)過(guò)多層卷積層和池化層對(duì)圖像進(jìn)行特征提取，最后經(jīng)過(guò)全連接層由輸出層輸出結(jié)果。常用卷積神經(jīng)網(wǎng)絡(luò)模型有VGGNet、InceptionV3、ResNet50等[22-25]。

采用VGG16、InceptionV3和ResNet50 3種卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行果蠅蟲害藍(lán)莓深度學(xué)習(xí)試驗(yàn)，探究在蟲害藍(lán)莓無(wú)損檢測(cè)試驗(yàn)中準(zhǔn)確率最高、損失率最低的深度學(xué)習(xí)模型，并對(duì)模型進(jìn)行改進(jìn)，進(jìn)一步提高模型檢測(cè)準(zhǔn)確率。

深度學(xué)習(xí)模型評(píng)價(jià)指標(biāo)為準(zhǔn)確率和損失函數(shù)值。

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)環(huán)境

試驗(yàn)均采用華碩Rog計(jì)算機(jī)，在Anaconda 3集成環(huán)境與Pytorch 1.6.0環(huán)境下完成。具體試驗(yàn)環(huán)境如表1所示。

表1 試驗(yàn)環(huán)境Tab.1 Experimental environment

2.2 數(shù)據(jù)集篩選

初步選擇3個(gè)藍(lán)莓樣本圖像數(shù)據(jù)集PC2、PC3和PC23，將各數(shù)據(jù)集按照4∶1的比例分為訓(xùn)練集與測(cè)試集。對(duì)所有數(shù)據(jù)集分別采用ResNet50、InceptionV3、VGG16深度學(xué)習(xí)模型進(jìn)行試驗(yàn)。采用不同數(shù)據(jù)集對(duì)3個(gè)模型分別進(jìn)行訓(xùn)練與測(cè)試，根據(jù)各數(shù)據(jù)集的識(shí)別準(zhǔn)確率選取效果最佳的數(shù)據(jù)集進(jìn)行后續(xù)深度學(xué)習(xí)試驗(yàn)。3個(gè)模型的測(cè)試集識(shí)別準(zhǔn)確率如表2所示。

表2 藍(lán)莓果蠅蟲害數(shù)據(jù)集試驗(yàn)識(shí)別準(zhǔn)確率Tab.2 Experimental performance of blueberry fruit fly pests in three data sets %

由表2可知，在3個(gè)模型測(cè)試中PC23的數(shù)據(jù)集準(zhǔn)確率均高于PC2與PC3數(shù)據(jù)集的檢測(cè)準(zhǔn)確率，因此后續(xù)試驗(yàn)中將選取PC23數(shù)據(jù)集作為試驗(yàn)數(shù)據(jù)集。

2.3 模型對(duì)比分析

采用圖像增強(qiáng)后的PC23數(shù)據(jù)集作為試驗(yàn)數(shù)據(jù)集，將數(shù)據(jù)集按比例9∶1分為訓(xùn)練集(6 480幅)與測(cè)試集(720幅)。

在試驗(yàn)之前，采用集成環(huán)境中的Resize函數(shù)調(diào)整輸入圖像尺寸，創(chuàng)建每次試驗(yàn)的記錄文件。采用VGG16、InceptionV3與ResNet50 3種網(wǎng)絡(luò)模型進(jìn)行深度學(xué)習(xí)試驗(yàn)，損失函數(shù)采用交叉熵?fù)p失函數(shù)，激活函數(shù)采用ReLU，記錄每次試驗(yàn)準(zhǔn)確率與損失率。經(jīng)多次試驗(yàn)，設(shè)置處理批次為16，訓(xùn)練輪次為50，初始學(xué)習(xí)率為0.001時(shí)模型訓(xùn)練效果最佳。各個(gè)模型訓(xùn)練集評(píng)價(jià)指標(biāo)如圖3所示。

圖3 3種模型訓(xùn)練集性能對(duì)比Fig.3 Performance comparison of three model training sets

由圖3可知，VGG16、InceptionV3與ResNet50 3個(gè)模型準(zhǔn)確率、損失率都在訓(xùn)練到達(dá)第30個(gè)輪次以后趨于平穩(wěn)狀態(tài)，直至第50個(gè)輪次并未發(fā)生明顯劇烈波動(dòng)，證明模型已收斂至穩(wěn)定狀態(tài)。由圖3a可知，InceptionV3模型訓(xùn)練收斂最快，ResNet50模型次之，VGG16最慢。由圖3b可知，InceptionV3模型收斂速度較慢，VGG16模型收斂速度最快，但最終出現(xiàn)了波動(dòng)，穩(wěn)定性不如其他2個(gè)模型。總體3個(gè)模型都達(dá)到了較好的識(shí)別效果，ResNet50模型訓(xùn)練用時(shí)明顯低于VGG16與InceptionV3模型，3個(gè)深度學(xué)習(xí)模型的測(cè)試結(jié)果如表3所示。

表3 3種深度學(xué)習(xí)模型試驗(yàn)結(jié)果對(duì)比Tab.3 Comparison of experimental results of three deep learning models

由表3可知，3個(gè)深度學(xué)習(xí)模型VGG16、InceptionV3與ResNet50在藍(lán)莓果蠅蟲害識(shí)別方面都取得了較好的效果，準(zhǔn)確率都不小于89.84%，其中ResNet50模型在3個(gè)模型中性能最好，其準(zhǔn)確率達(dá)到92.92%。原因?yàn)镽esNet50模型加深了網(wǎng)絡(luò)層數(shù)，并采用殘差結(jié)構(gòu)緩解梯度爆炸與梯度度消失的問(wèn)題。同時(shí)殘差塊的存在大幅減少了模型參數(shù)量，提高了模型計(jì)算效率，使其僅用較少的訓(xùn)練時(shí)間就獲得了較高的識(shí)別性能，因此ResNet50模型在藍(lán)莓蟲害無(wú)損檢測(cè)方面性能較佳。

2.4 改進(jìn)ResNet50模型

采用ECA注意力機(jī)制、Focal Loss損失函數(shù)與Mish激活函數(shù)對(duì)ResNet50模型進(jìn)行改進(jìn)，以期望能夠進(jìn)一步提高果蠅蟲害藍(lán)莓的檢測(cè)性能。

2.4.1ECA注意力機(jī)制

對(duì)藍(lán)莓果蠅蟲害進(jìn)行識(shí)別時(shí)，主要依靠卷積層識(shí)別藍(lán)莓蟲害部位的局部特征。近些年來(lái)，注意力通道機(jī)制被證明在提高各種卷積神經(jīng)網(wǎng)絡(luò)模型局部特征識(shí)別性能及整體模型識(shí)別精度方面有很高的研究?jī)r(jià)值。注意力機(jī)制從數(shù)學(xué)原理可解讀為加權(quán)求和，從人類感知方面可解讀為人類對(duì)環(huán)境的觀察中所關(guān)注到的最重要的局部信息。在深度學(xué)習(xí)模型進(jìn)行訓(xùn)練時(shí)，加入注意力機(jī)制可以使模型在局部特征的識(shí)別過(guò)程中對(duì)貢獻(xiàn)率較大的局部特征加以更高的權(quán)重，以提高模型準(zhǔn)確率。

為了提高模型性能，多數(shù)注意力機(jī)制模塊設(shè)計(jì)十分復(fù)雜，導(dǎo)致注意力模塊含有大量參數(shù)，在提高性能的同時(shí)也不可避免增加了模型參數(shù)量，占用更多計(jì)算資源，增加了模型計(jì)算時(shí)間。本文采用高效注意力通道(Efficient channel attention，ECA)模塊[26]，通過(guò)允許跨通道交互，避免了降維帶來(lái)的損失，而且ECA注意力模塊僅包含少量參數(shù)，同時(shí)能有效提高模型精度。

ECA模塊從輸入信息中獲取通道維度C后，將圖像進(jìn)行全局平均池化，自適應(yīng)選擇卷積核后進(jìn)行卷積獲取每個(gè)特征所含權(quán)重，最后將帶有權(quán)重信息的特征通過(guò)激活函數(shù)后將激活的權(quán)重信息賦值到對(duì)應(yīng)的特征中，作為ECA模塊的輸出。本文在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將ECA模塊添加至ResNet50模型的Bottleneck卷積過(guò)程中，構(gòu)建ECA-ResNet50模型，果蠅蟲害藍(lán)莓檢測(cè)的獨(dú)立試驗(yàn)結(jié)果如圖4與表4所示。

圖4 ECA-ResNet50模型訓(xùn)練準(zhǔn)確率與損失率對(duì)比Fig.4 ECA-ResNet50 model training accuracy and loss rate

表4 ECA -ResNet50模型與其他3種模型測(cè)試集結(jié)果對(duì)比Tab.4 Comparison of test set results between ECA-ResNet50 model and other three models

由圖4可知，ECA-ResNet50的準(zhǔn)確率、損失率在訓(xùn)練時(shí)較快達(dá)到平穩(wěn)狀態(tài)。由于各模型最終訓(xùn)練差異在整體圖像中顯示不明顯，因此將最終階段圖像放大顯示，可以更清晰地觀測(cè)各模型試驗(yàn)結(jié)果的差異。最終ECA-ResNet50模型訓(xùn)練集的準(zhǔn)確率優(yōu)于VGG16、InceptionV3和ResNet50模型的準(zhǔn)確率。由表4可知，將ResNet50模型中添加ECA注意力模塊后，損失率有所下降，測(cè)試集準(zhǔn)確率得到提升，表明ECA注意力模塊能夠提升模型性能。由于在模型中添加了新的模塊，增加了參數(shù)量，因此訓(xùn)練耗時(shí)也有一定程度增加。

2.4.2損失函數(shù)改進(jìn)

在藍(lán)莓果蠅蟲害檢測(cè)試驗(yàn)過(guò)程中，數(shù)據(jù)集內(nèi)的部分早期果蠅蟲害樣本與健康藍(lán)莓樣本差異性較小，在分類過(guò)程中屬于較難分類樣本；而與健康藍(lán)莓差異性較大的樣本則可歸類為較易分類樣本。在ResNet50模型默認(rèn)的交叉熵函數(shù)中，對(duì)于較易分類樣本和較難分類樣本的計(jì)算權(quán)重相同，不利于較難分類樣本的計(jì)算。當(dāng)較易分類樣本所占比重較大時(shí)，對(duì)損失率影響過(guò)大，使得損失函數(shù)對(duì)參數(shù)的更新無(wú)法有效提高較難分類樣本的預(yù)測(cè)能力。因此本文采用在二分類問(wèn)題中效果較好的Focal Loss損失函數(shù)[27]，構(gòu)建Focalloss-ResNet50模型，以降低較易分類樣本對(duì)Loss的影響，其原理為

FL(pt)=-αt(1-pt)γlgpt

(2)

式中γ為聚焦參數(shù)，取值大于等于0，(1-pt)γ是調(diào)制系數(shù)，通過(guò)調(diào)制系數(shù)可以有效降低較易分類樣本權(quán)重，提高較難分類樣本權(quán)重。在二分類問(wèn)題中，γ通常賦值為2。通過(guò)改變參數(shù)αt的賦值改變正負(fù)樣本對(duì)總損失率共享權(quán)重，αt取值越小，負(fù)樣本權(quán)重越低。

在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將Focal Loss損失函數(shù)代替ResNet模型中的交叉熵，試驗(yàn)結(jié)果如圖5與表5所示。

由圖5與表5可知，將ResNet50模型中的交叉熵?fù)p失函數(shù)改為Focal Loss損失函數(shù)后，訓(xùn)練集的準(zhǔn)確率、損失率都優(yōu)于VGG16、InceptionV3和ResNet50模型，測(cè)試集準(zhǔn)確率得到提升，訓(xùn)練耗時(shí)幾乎沒(méi)有變化，表明更換的Focal Loss損失函數(shù)效果優(yōu)于原始的交叉熵?fù)p失函數(shù)，能夠提升模型性能。

圖5 Focalloss-ResNet50模型訓(xùn)練集準(zhǔn)確率與損失率對(duì)比Fig.5 Focalloss-ResNet50 model training accuracy and loss rate

表5 Focalloss-ResNet50模型與其他3種模型測(cè)試集結(jié)果對(duì)比Tab.5 Comparison of test set results between Focalloss-ResNet50 model and other three models

2.4.3激活函數(shù)改進(jìn)

本文深度學(xué)習(xí)模型采用激活函數(shù)ReLU。當(dāng)輸入為負(fù)值時(shí)會(huì)被截?cái)酁?，通常情況下認(rèn)為負(fù)值表示引入了背景信息或噪聲信息，因此將負(fù)值截?cái)嗉扰懦烁蓴_信息也增加了網(wǎng)絡(luò)稀疏性。但ReLU帶來(lái)的稀疏性也可能阻礙網(wǎng)絡(luò)訓(xùn)練過(guò)程，負(fù)值并不表示必然存在干擾信息，截?cái)酁?代表屏蔽該特征，可能會(huì)導(dǎo)致模型學(xué)習(xí)過(guò)程中漏掉某些關(guān)鍵特征，在學(xué)習(xí)率較大的情況下，可能會(huì)使大部分神經(jīng)元進(jìn)入截?cái)酄顟B(tài)，在當(dāng)次訓(xùn)練中的被截?cái)嗌窠?jīng)元都將無(wú)法再學(xué)習(xí)。為了解決負(fù)值截?cái)鄦?wèn)題，本文采用Mish激活函數(shù)[28]代替ResNet50模型中的ReLU激活函數(shù)進(jìn)行試驗(yàn)，Mish激活函數(shù)為

f(x)=xtanh(softplus(x))=xtanh(ln(1+ex))

(3)

Mish激活函數(shù)是一個(gè)平滑、連續(xù)、自正則、非單調(diào)的激活函數(shù)。與ReLU激活函數(shù)類似，Mish激活函數(shù)也存在有下界無(wú)上界的特點(diǎn)，但是Mish在負(fù)值輸入時(shí)理論上可接受，雖隨著負(fù)值越小而越趨近于0，但與ReLU的硬性截?cái)嗖⒉幌嗤Ｔ试S負(fù)值輸入使得Mish激活函數(shù)擁有更好的梯度流，其平滑性遠(yuǎn)優(yōu)于ReLU激活函數(shù)，在一定程度上提高對(duì)特征的接受能力，提高模型訓(xùn)練效果。

在保持?jǐn)?shù)據(jù)集、降維所用方法不變的情況下，將ResNet50模型中的ReLU激活函數(shù)替換為Mish激活函數(shù)后，構(gòu)建Mish-ResNet50模型，果蠅蟲害藍(lán)莓檢測(cè)的獨(dú)立試驗(yàn)結(jié)果如圖6與表6所示。

圖6 Mish-ResNet50模型訓(xùn)練準(zhǔn)確率與損失率對(duì)比Fig.6 Mish-ResNet50 model training accuracy and loss rate

表6 Mish-ResNet50模型與其他3種模型測(cè)試集結(jié)果對(duì)比Tab.6 Comparison of test set results between Mish-ResNet50 model and other three models

由圖6與表6可知，采用Mish-ResNet50模型對(duì)果蠅蟲害藍(lán)莓檢測(cè)，訓(xùn)練集準(zhǔn)確率有較大提升、損失率有較大下降，都優(yōu)于VGG16、InceptionV3和ResNet50模型，測(cè)試集準(zhǔn)確率從92.92%提升至94.17%，效果較為明顯，同時(shí)訓(xùn)練耗時(shí)略有增加，表明Mish激活函數(shù)提升能夠提升ResNet50模型在蟲害藍(lán)莓檢測(cè)性能。

2.4.4結(jié)果與分析

將ECA注意力模塊、Focal Loss損失函數(shù)、Mish激活函數(shù)引入ResNet50模型后，均有利于準(zhǔn)確率與損失率，故將這三者一同引入ResNet50模型中，構(gòu)建im-ResNet50模型，進(jìn)行果蠅蟲害藍(lán)莓檢測(cè)訓(xùn)練與測(cè)試。得出im-ResNet50模型的訓(xùn)練集損失率降為1.52%，降低1.56個(gè)百分點(diǎn)，測(cè)試集準(zhǔn)確率提高到95.69%，提高2.77個(gè)百分點(diǎn)。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)圖如圖7所示。將訓(xùn)練結(jié)果的準(zhǔn)確率與損失率與VGG16模型、ResNet50模型、InceptionV3模型進(jìn)行對(duì)比，如圖8所示，4個(gè)模型的測(cè)試集性能指標(biāo)如表7所示。

圖7 im-ResNet50網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.7 Architectures for im-ResNet50

圖8 4種模型訓(xùn)練集性能對(duì)比Fig.8 Performance comparison of training sets of four model trainings

由圖8和表7可知，改進(jìn)后的im-ResNet50模型準(zhǔn)確率最高與損失率最低。但也可以看出，由于引入了ECA模塊，替換了損失函數(shù)與激活函數(shù)，增加了模型的參數(shù)量，模型訓(xùn)練用時(shí)相較于ResNet50模型略有增加，但仍低于VGG16模型與InceptionV3模型，以少量的計(jì)算代價(jià)獲得了較為明顯的識(shí)別性能提升。

表7 im-ResNet50模型與其他3種模型測(cè)試集結(jié)果對(duì)比Tab.7 Comparison of test set results between im-ResNet50 model and other three models

2.5 模型可解釋性分析

(4)

式中y——概率c——類別標(biāo)簽

Z——特征圖分辨率

(5)

采用Grad-CAM將模型識(shí)別結(jié)果貢獻(xiàn)率最高部分可視化，如圖9所示。

圖9 藍(lán)莓Grad-CAM可視化結(jié)果Fig.9 Visualization results of Grad-CAM

由圖9可知，顏色越藍(lán)，表示特征所占權(quán)重越低；顏色越紅，表示特征所占權(quán)重越高，對(duì)檢測(cè)分類判別貢獻(xiàn)越大。由圖9a可看出，im-ResNet模型在識(shí)別性能較高的同時(shí)，對(duì)果蠅蟲害部位的識(shí)別也比較準(zhǔn)確，模型中占有較高權(quán)重的局部特征與藍(lán)莓遭受蟲害部位相符合，由圖9b可看出，藍(lán)莓所在部位皆為深藍(lán)色，即沒(méi)有蟲害特征。通過(guò)Grad-CAM熱力圖可以直觀地顯示出對(duì)模型檢測(cè)分類最有價(jià)值部分，提高了模型可解釋性。

3 結(jié)論

(1)對(duì)藍(lán)莓高光譜圖像采用PCA進(jìn)行降維，從7個(gè)主成分?jǐn)?shù)據(jù)集中選取最佳數(shù)據(jù)集為PC2與PC3兩個(gè)數(shù)據(jù)集，將其進(jìn)行拼接得到PC23數(shù)據(jù)集試驗(yàn)效果更優(yōu)，選用PC23數(shù)據(jù)集作為藍(lán)莓果蠅蟲害圖像試驗(yàn)數(shù)據(jù)集。對(duì)數(shù)據(jù)集中圖像進(jìn)行90°旋轉(zhuǎn)、180°旋轉(zhuǎn)、模糊、高亮、低亮、鏡像和高斯噪聲共計(jì) 7種增強(qiáng)操作，使各數(shù)據(jù)集容量擴(kuò)增為原始容量18倍。

(2)采用VGG16、ResNet50與InceptionV3深度學(xué)習(xí)模型對(duì)藍(lán)莓蟲害圖像進(jìn)行識(shí)別檢測(cè)，均取得了較高的識(shí)別準(zhǔn)確率。其中ResNet50模型效率最高，訓(xùn)練用時(shí)明顯少于VGG16模型與InceptionV3模型，而且ResNet50模型的準(zhǔn)確率最高，達(dá)到92.92%，損失率最低，僅有3.08%。

(3)從ECA注意力模塊、Focal Loss損失函數(shù)與Mish激活函數(shù)3方面對(duì)ResNet50模型進(jìn)行改進(jìn)，構(gòu)建了改進(jìn)的im-ResNet50模型，提升了藍(lán)莓蟲害識(shí)別能力，其相對(duì)于ResNet50模型將識(shí)別準(zhǔn)確率提升2.77個(gè)百分點(diǎn)，同時(shí)損失率降低1.56個(gè)百分點(diǎn)，但由于增加了參數(shù)量，訓(xùn)練用時(shí)也略有增加。整體而言，im-ResNet50模型以少量的計(jì)算代價(jià)獲得了較為明顯的識(shí)別性能提升。