樊景超

摘 要：為在小數(shù)據(jù)集上構(gòu)建果園害蟲分類識(shí)別模型，并在普通安卓手機(jī)運(yùn)行，本研究收集了6種常見果園害蟲共計(jì)3 058張圖像，首先對(duì)害蟲圖像進(jìn)行反卷積遴選，再通過MobileNets構(gòu)建深度學(xué)習(xí)模型進(jìn)行分類識(shí)別。結(jié)果表明，所構(gòu)建模型在安卓手機(jī)上運(yùn)行流暢，可對(duì)所采集的6種果園害蟲進(jìn)行識(shí)別，其準(zhǔn)確率均在90%以上，效果良好。

關(guān)鍵詞：果園害蟲；MobileNets；分類識(shí)別

中圖分類號(hào)：TP311 文獻(xiàn)標(biāo)識(shí)碼：A DOI 編碼：10.3969/j.issn.1006-6500.2018.09.004

Study on Classification and Recognition of Orchard Pests Based on MobileNets

FAN Jingchao

（Agricultural Information Institute， Chinese Academy of Agricultural Sciences， Beijing 100081， China）

Abstract： In order to construct the model of orchard pest classification on the small data set and run identification of model on ordinary Android mobile phone， a total of 3 058 images of 6 common orchard pests were collected. First， the image of the pest was selected by deconvolution， and then the depth learning model was constructed by MobileNets. The constructed model could run well on Android mobile， and identify the selected 6 common orchard pests. The result showed that the recognition accuracy was over 90%.

Key words： orchard pest； MobileNets； classification and recognition

我國是蘋果生產(chǎn)大國[1-3]，同時(shí)又是有害生物危害較為嚴(yán)重的國家之一，蘋果生產(chǎn)中有害生物的種類多，發(fā)生頻率高，且分布地域廣[4-11]。害蟲分類識(shí)別是蟲情預(yù)測(cè)、精準(zhǔn)施藥等工作的前提基礎(chǔ)，在蘋果生產(chǎn)、倉儲(chǔ)、檢疫等領(lǐng)域有著強(qiáng)烈的現(xiàn)實(shí)需要，其傳統(tǒng)方法依靠專家遠(yuǎn)程診斷和農(nóng)技推廣人員的識(shí)別，勞動(dòng)強(qiáng)度高、效率低。隨著信息技術(shù)的興起，在果園害蟲圖像分類識(shí)別方法上基于紋理特征提取的計(jì)算機(jī)視覺識(shí)別方法成為熱點(diǎn)，如直方圖、集合不變量、子空間等[12-15]，其本質(zhì)是以專家經(jīng)驗(yàn)進(jìn)行人工特征的設(shè)計(jì)，這類方法一般要求識(shí)別環(huán)境可控，如將害蟲放置在實(shí)驗(yàn)室條件下的單一背景中進(jìn)行特征數(shù)據(jù)采集，然而在實(shí)際應(yīng)用環(huán)境——野外自然條件中，背景和光照以及昆蟲姿態(tài)均屬于不可控因素，大大增加了特征提取的難度。再加上害蟲本身紋理豐富、結(jié)構(gòu)復(fù)雜，尤其在自然環(huán)境下，害蟲姿態(tài)變化豐富，種內(nèi)和種間差異大，且背景環(huán)境復(fù)雜，使圖像識(shí)別成為一種細(xì)粒度識(shí)別問題[16]，不可避免主觀誤差，造成所構(gòu)建模型的適應(yīng)性較差，技術(shù)難度大大增加。

近年來，隨著深度學(xué)習(xí)的興起，相關(guān)研究單位推出了很多性能優(yōu)異的網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)秀的深度神經(jīng)網(wǎng)絡(luò)識(shí)別模型，從VGG、Inception到ResNet等在識(shí)別精度上逐步提高，甚至超越人類的水平。深度學(xué)習(xí)通過機(jī)器自我學(xué)習(xí)的方式，跳過了人工特征的提取步驟，使得模型的適應(yīng)性主要取決于圖像的標(biāo)注質(zhì)量，大大提高了模型的普適性和準(zhǔn)確度。隨著模型深度的加大，參數(shù)越多、越精細(xì)，耗費(fèi)的資源也越多。為實(shí)現(xiàn)低成本、操作簡(jiǎn)便、準(zhǔn)確率高、低延遲等實(shí)際需求，Google推出面向嵌入式設(shè)備的神經(jīng)網(wǎng)絡(luò)模型MobileNets，本研究通過將這一方法應(yīng)用于果園蟲害圖像的分類識(shí)別上，在普通千元級(jí)別的安卓手機(jī)上進(jìn)行驗(yàn)證，旨在探索一種符合我國農(nóng)業(yè)信息化需求的害蟲圖像分類識(shí)別方法，為從事農(nóng)業(yè)信息化的相關(guān)工作人員提供參考或服務(wù)。

1 材料和方法

1.1 數(shù)據(jù)收集

本研究以果園害蟲為測(cè)試對(duì)象，選取6類常見害蟲圖像，圖像來源主要通過搜索引擎獲得?？紤]模型的適應(yīng)度問題，圖片尺寸屬性不做固定尺寸要求；考慮到顯卡的顯存容量以及運(yùn)行時(shí)間，圖片尺寸控制在100～300 px之間。收集具體圖像數(shù)據(jù)如表1所示。

1.2 反卷積遴選

對(duì)于小數(shù)據(jù)集分類識(shí)別任務(wù)來說，數(shù)據(jù)集的圖像質(zhì)量至關(guān)重要。Hinton提出的深度學(xué)習(xí)模型在圖像分類等領(lǐng)域展現(xiàn)了驚人的準(zhǔn)確度，通過加深網(wǎng)絡(luò)深度并不斷調(diào)優(yōu)模型參數(shù)使其識(shí)別精度不斷提高，但是基于深度學(xué)習(xí)的圖像特征提取一直是個(gè)黑箱模型，使深度學(xué)習(xí)對(duì)于圖像的特征提取結(jié)果一直不能直觀判定，導(dǎo)致圖像對(duì)模型構(gòu)建的貢獻(xiàn)度無法得知。為解決這個(gè)問題，Zeiler等[17]提出了反卷積方法來可視化深度神經(jīng)網(wǎng)絡(luò)在各層的特征提取。由于本文所采用的數(shù)據(jù)集屬于小規(guī)模數(shù)據(jù)集，因此圖像質(zhì)量好壞對(duì)模型的構(gòu)建會(huì)有較大的影響，能否提取到有效的害蟲特征是提高模型精度的關(guān)鍵步驟。因此對(duì)害蟲圖像使用已經(jīng)訓(xùn)練好的AlexNet網(wǎng)絡(luò)模型進(jìn)行反卷積可視化，通過逐層的反卷積圖像來判斷當(dāng)前圖像能否有效提取出害蟲的識(shí)別特征。圖1中從左到右依次是原始害蟲、低維特征、特征組合及全局的高維特征圖像，由此可見，利用反卷積可視化方法可以有效地遴選適合進(jìn)行模型構(gòu)建的原始圖像樣本。

通過上述過程將成功進(jìn)行特征提取的樣本進(jìn)行遴選得到高質(zhì)量的樣本集合，同時(shí)為提高訓(xùn)練精度，將每類數(shù)據(jù)樣本量大、分辨率高的圖像進(jìn)行適量刪減，最終樣本集合控制在2 500張，用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證。每種類別隨機(jī)選擇70%作為訓(xùn)練集合，30%作為驗(yàn)證集合。

1.3 MobileNets

MobileNets[18]是由Google研究者們?cè)O(shè)計(jì)的基于一個(gè)流線型的架構(gòu)，它使用深度可分離的卷積來構(gòu)建輕量級(jí)的深層神經(jīng)網(wǎng)絡(luò)，是一組移動(dòng)設(shè)備優(yōu)先的計(jì)算機(jī)視覺模型。主要設(shè)計(jì)目標(biāo)是高效優(yōu)化準(zhǔn)確度，同時(shí)要考慮移動(dòng)及嵌入式設(shè)備的限制。使得模型能夠在手機(jī)上運(yùn)行，計(jì)算消耗小、運(yùn)行速度快，因此很適合在移動(dòng)端上應(yīng)用。MobileNets和傳統(tǒng)的CNN（卷積神經(jīng)網(wǎng)絡(luò)）在結(jié)構(gòu)上的差別主要是：傳統(tǒng)CNN規(guī)范化和ReLU（線性整流函數(shù)）中使用的卷積核是1個(gè)3×3卷積層，而MobileNets將卷積過程分為1個(gè)3×3深度方向的卷積和1個(gè)1×1點(diǎn)對(duì)點(diǎn)的卷積。針對(duì)ImageNet的深度學(xué)習(xí)分類模型帶有數(shù)百萬個(gè)參數(shù)，可以處理上千個(gè)分類，足以用來區(qū)別其他子分類對(duì)象。通過利用已經(jīng)訓(xùn)練完畢的神經(jīng)網(wǎng)絡(luò)模型，將具體蟲害類別圖像作為輸入項(xiàng)，具體蟲害類別標(biāo)簽作為最終分類層，以實(shí)現(xiàn)本研究的分類。MobileNets只訓(xùn)練網(wǎng)絡(luò)的最后一層，所以訓(xùn)練會(huì)在一個(gè)相對(duì)合理的時(shí)間停止，經(jīng)過參數(shù)優(yōu)化后的模型適應(yīng)于低功耗、低延遲等小型應(yīng)用。

2 結(jié)果與分析

2.1 模型訓(xùn)練

本試驗(yàn)采用的實(shí)驗(yàn)設(shè)備為一臺(tái)聯(lián)想Thinkstation圖形工作站，顯卡是Nivida Quadro K4000顯存3 GB，GPU運(yùn)算能力3.0。訓(xùn)練前將蟲害圖像放入以蟲害名稱命名的文件夾，并將對(duì)應(yīng)蟲害英文名稱寫入標(biāo)簽文件retrain_labels.txt完成圖像標(biāo)注工作。

模型訓(xùn)練首先要設(shè)定幾個(gè)關(guān)鍵參數(shù)進(jìn)行模型調(diào)整以得到最佳精度，所涉及的參數(shù)有：（1）圖像分辨率，訓(xùn)練提供的輸入圖像分辨率有128，160，192和224，輸入模型圖像的分辨率越高，則耗費(fèi)時(shí)間越多，但是結(jié)果會(huì)越精確，故本研究使用224作為初始參數(shù)設(shè)定；（2）學(xué)習(xí)率，該參數(shù)控制著在訓(xùn)練期間模型最終層更新的大小，初始學(xué)習(xí)率制定為0.01，如果制定一個(gè)更小的學(xué)習(xí)率比如0.005，訓(xùn)練將會(huì)耗費(fèi)更多時(shí)間，但是總體精度亦會(huì)增加，反之如果調(diào)整為1.0，訓(xùn)練速度會(huì)增加，但是精度會(huì)降低，甚至使訓(xùn)練過程不穩(wěn)定；（3）寬度因子（width multiplier），相對(duì)于最大MobileNets模型，參數(shù)主要有1.0，0.75，0.50，0.25，參數(shù)越小模型訓(xùn)練越快，但是精度損失越大，一般推薦0.50作為初始訓(xùn)練參數(shù)；（4）訓(xùn)練步數(shù)（how_many_training_steps），默認(rèn)情況下選擇4 000步訓(xùn)練，可根據(jù)實(shí)際數(shù)據(jù)集大小進(jìn)行微調(diào)，每一次從訓(xùn)練集選擇10個(gè)隨機(jī)圖像，再把他們送入最終層來進(jìn)行預(yù)測(cè)，這些預(yù)測(cè)結(jié)果再與實(shí)際的分類標(biāo)簽進(jìn)行對(duì)比，并通過反向傳播來更新最終層的權(quán)重。

本文選用平均準(zhǔn)確率作為模型訓(xùn)練的衡量指標(biāo)，其主要調(diào)整參數(shù)為模型寬度和學(xué)習(xí)率，訓(xùn)練結(jié)果如表2所示。通過模型參數(shù)的調(diào)整結(jié)果可以看出寬度因子和學(xué)習(xí)率會(huì)顯著影響模型的精度，其中二者分別在1.0和0.05時(shí)，取得最高平均準(zhǔn)確率，為95.9%。

2.2 模型驗(yàn)證

2.2.1 模型部署 為驗(yàn)證模型的有效性，利用Tensorflow 提供的Android demo工程，部署到Android手機(jī)。利用Android studio 編譯該工程，原有工程使用的是Inception V3 模型文件，刪除原有模型文件，并修改ClassifierActivity.java對(duì)應(yīng)的模型文件名和標(biāo)簽文件名，同時(shí)對(duì)應(yīng)的要修改INPUT_SIZE、INPUT_MEAN、IMAGE_STD三個(gè)參數(shù)與模型優(yōu)化的數(shù)值相對(duì)應(yīng)，本文均修改為224。通過Build菜單下Generate APK命令生成安裝包，將該安裝包導(dǎo)入安卓手機(jī)，軟件需要授予使用照相機(jī)和本地存取的權(quán)限。

2.2.2 驗(yàn)證結(jié)果 為驗(yàn)證方法的有效性，通過搜索引擎搜索以害蟲名稱為關(guān)鍵詞，隨機(jī)選擇搜索圖片作為測(cè)試對(duì)象，點(diǎn)擊TF Classify名稱的手機(jī)應(yīng)用程序，將手機(jī)攝像頭對(duì)準(zhǔn)屏幕進(jìn)行圖像的分類識(shí)別。識(shí)別結(jié)果圖2所示，在圖片上方藍(lán)色部分顯示當(dāng)前蟲害的識(shí)別分類與精度，可以看到該模型可準(zhǔn)確地實(shí)現(xiàn)分類識(shí)別，且識(shí)別精度均在90%以上。

3 結(jié) 論

通過對(duì)果園6種常見害蟲進(jìn)行分類識(shí)別研究，利用MobileNets進(jìn)行神經(jīng)網(wǎng)絡(luò)模型的壓縮，所構(gòu)建模型僅為15.23 MB，能夠在普通安卓手機(jī)上流暢運(yùn)行且精確度良好，識(shí)別準(zhǔn)確度在90%以上，證明了該模型的有效性。使用本研究的害蟲圖像識(shí)別方法可以免去原有復(fù)雜的圖像特征提取過程，大大簡(jiǎn)化害蟲識(shí)別模型的構(gòu)建過程，達(dá)到快速構(gòu)建模型的目的，同時(shí)該方法不受限于特定的害蟲種類，易于推廣到其他作物的害蟲分類識(shí)別研究，在果園蟲害的分類識(shí)別上具有重要的參考意義。

參考文獻(xiàn)：

[1]劉軍弟，霍學(xué)喜，韓明玉，等.中國蘋果產(chǎn)業(yè)發(fā)展現(xiàn)狀及趨勢(shì)分析[J]. 北方園藝，2012（20）： 164-168.

[2]翟衡，史大川，束懷瑞.我國蘋果產(chǎn)業(yè)發(fā)展現(xiàn)狀與趨勢(shì)[J]. 果樹學(xué)報(bào)，2007（3）： 355-360.

[3]陳學(xué)森，韓明玉，蘇桂林.當(dāng)今世界蘋果產(chǎn)業(yè)發(fā)展趨勢(shì)及我國蘋果產(chǎn)業(yè)優(yōu)質(zhì)高效發(fā)展意見[J].果樹學(xué)報(bào)， 2010（4）： 598-604.

[4]馬永翠，李平松，馬列，等.2016年云南昭通蘋果病蟲危害損失評(píng)估試驗(yàn)[J].中國植保導(dǎo)刊，2017（8）： 51-57.

[5]李曉榮.蘋果幼園常見病蟲害的防治[J]. 西北園藝：果樹?？?，2013（5）： 30-31.

[6]韓健，陳臻，徐秉良，等.甘肅省蘋果病蟲害發(fā)生情況初探[J].植物保護(hù)，2012（6）： 134-139.

[7]梁魁景，王樹桐，胡同樂，等.河北省蘋果主要病蟲害發(fā)生現(xiàn)狀調(diào)查[J].植物保護(hù)，2010（5）： 123-127.

[8]陳武杰，蘇曉娟.蘋果病蟲害防治的原則和關(guān)鍵技術(shù)[J].中國果菜，2017（4）： 71-72.

[9]仇貴生，閆文濤，張懷江，等.渤海灣蘋果產(chǎn)區(qū)主要病蟲害發(fā)生動(dòng)態(tài)及綜合防治策略[J].中國果樹，2012（2）： 72-75.

[10]趙菊蓮，尹寶重.甘肅隴東蘋果樹主要病蟲害的發(fā)生與防治對(duì)策[J].中國果樹，2013（3）： 73-75.

[11]張振芳，李保華，練森，等.我國蘋果產(chǎn)業(yè)節(jié)本增效關(guān)鍵技術(shù)Ⅵ：蘋果病蟲害節(jié)本增效防控的原則與技術(shù)[J].中國果樹，2017（6）： 1-7.

[12]王愛新，李春友，張喆.基于計(jì)算機(jī)視覺的農(nóng)業(yè)圖像害蟲定位檢測(cè)算法[J]. 江蘇農(nóng)業(yè)科學(xué)，2016（7）： 361-364.

[13]李小林，周蓬勃，周明全，等.基于可區(qū)分二進(jìn)制局部模式特征的蛾類昆蟲識(shí)別[J]. 計(jì)算機(jī)應(yīng)用與軟件，2016，33（3）：172-175.

[14]梁巧玲，陸平，張皓，等.檢疫害蟲黑森癭蚊的形態(tài)特征與為害狀識(shí)別[J]. 植物保護(hù)，2014，40（5）：126-129.

[15]張超凡，王儒敬，謝成軍.基于多特征字典學(xué)習(xí)的害蟲圖像自動(dòng)分類方法[J]. 計(jì)算機(jī)應(yīng)用與軟件，2017，34（3）：142-147.

[16]楊國國， 鮑一丹，劉子毅.基于圖像顯著性分析與卷積神經(jīng)網(wǎng)絡(luò)的茶園害蟲定位與識(shí)別[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017（6）：156-162.

[17]MATTHEW D Z，ROB F. Visualizing and understanding con-volutional networks[J/OL].https：//arxiv. org/abs/1311.2901.[18]HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications[J/OL].（2017-04-17）https：//arxiv.org/abs/1704.04861.