劉 彬, 楊選將, 鐘昌源, 胡澤林,郭盼盼, 李華龍, 劉先旺, 李 淼*

(1. 安徽建筑大學(xué),安徽 合肥 230061;2.中國(guó)科學(xué)院 合肥物質(zhì)科學(xué)研究院 智能機(jī)械研究所，安徽 合肥 230031;3.中國(guó)科學(xué)技術(shù)大學(xué),安徽 合肥 230026)

農(nóng)業(yè)是經(jīng)濟(jì)建設(shè)與發(fā)展的支柱,得益于農(nóng)業(yè)的發(fā)展,人民生活水平得到了廣泛的提高。隨著科技的發(fā)展,自動(dòng)灌溉、自動(dòng)收獲等先進(jìn)技術(shù)的出現(xiàn),農(nóng)業(yè)發(fā)展較快,但仍有許多因素如病蟲(chóng)害制約著農(nóng)業(yè)的進(jìn)一步提升。據(jù)統(tǒng)計(jì),我國(guó)農(nóng)作物病害總體呈現(xiàn)偏重發(fā)生姿態(tài),其中草地貪夜蛾嚴(yán)重影響了玉米的生產(chǎn)量,稻飛虱和稻縱卷葉螟制約著水稻的生產(chǎn),小麥條銹病、赤霉病、白粉病則是小麥的常見(jiàn)病害。據(jù)統(tǒng)計(jì)2020年小麥條銹病在我國(guó)危害種植面積高達(dá)1 300多萬(wàn)畝,嚴(yán)重影響了我國(guó)的糧食豐收,防治農(nóng)作物病害的任務(wù)迫切而緊急。

傳統(tǒng)農(nóng)作物病害的防治主要是通過(guò)噴灑大量農(nóng)藥來(lái)對(duì)農(nóng)作物病害進(jìn)行防治,效果一般且會(huì)對(duì)環(huán)境造成嚴(yán)重危害,也給食品安全帶來(lái)了較大的隱患。有意識(shí)、針對(duì)性的診斷農(nóng)作物病害信息并進(jìn)行防治,可達(dá)到專(zhuān)門(mén)治理的效果。而農(nóng)作物生長(zhǎng)環(huán)境復(fù)雜,病害種類(lèi)繁多且形狀、紋理、顏色差異細(xì)微,普通農(nóng)戶難以作出精準(zhǔn)診斷。農(nóng)作物病害診斷主要通過(guò)農(nóng)業(yè)專(zhuān)家進(jìn)行,效率低,準(zhǔn)確度隨個(gè)人主觀意識(shí)發(fā)生偏移,治理慢,成本高,嚴(yán)重限制了現(xiàn)代農(nóng)業(yè)的快速發(fā)展。隨著農(nóng)作物種類(lèi)和病害種類(lèi)的增多,人工診斷的方式嚴(yán)重制約著病害的防治和農(nóng)業(yè)的發(fā)展。

隨著計(jì)算機(jī)視覺(jué)的發(fā)展,越來(lái)越多的研究成果應(yīng)用于農(nóng)業(yè)領(lǐng)域。如李淼等基于卷積神經(jīng)網(wǎng)絡(luò)和遷移學(xué)習(xí)對(duì)農(nóng)作物病害進(jìn)行識(shí)別,準(zhǔn)確率達(dá)到98.3%。任東等通過(guò)使用支持向量機(jī)(Support Vector Machines, SVM)提取溫室黃瓜病害的不同特征對(duì)三種黃瓜疾病進(jìn)行識(shí)別,準(zhǔn)確率達(dá)到 90%。近年來(lái),農(nóng)業(yè)的發(fā)展和提高食品安全的呼聲日益劇增,實(shí)現(xiàn)精準(zhǔn)噴藥迫在眉睫。精準(zhǔn)噴藥的前提是獲取病害的類(lèi)別信息以及相應(yīng)位置,傳統(tǒng)的病害識(shí)別方式只能提供類(lèi)別信息而忽略了病害農(nóng)作物的位置。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks, CNN)是一種高效的圖像處理技術(shù),基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)定位可以有效的提供病害位置信息,劉小剛等使用改進(jìn)的YOLOv3對(duì)大量的草莓圖像進(jìn)行訓(xùn)練,實(shí)現(xiàn)對(duì)草莓的定位識(shí)別?；诰矸e神經(jīng)網(wǎng)絡(luò)的語(yǔ)意分割則是另外一種定位方法,常應(yīng)用于無(wú)人汽車(chē)駕駛技術(shù)。趙兵等替換傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的全連接層為卷積層,對(duì)葡萄葉片進(jìn)行特征提取,實(shí)現(xiàn)了對(duì)葡萄病害葉片的分割效果。本研究利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)農(nóng)作物病害進(jìn)行語(yǔ)意分割,研究實(shí)時(shí)農(nóng)作物病害葉片語(yǔ)義分割模型,在該模型的基礎(chǔ)上,利用樹(shù)莓派4B開(kāi)發(fā)精準(zhǔn)噴藥小車(chē),滿足數(shù)字農(nóng)業(yè)精準(zhǔn)噴藥和精準(zhǔn)施肥的需求,為研究應(yīng)用落地提供參考。

1 材料與方法

1.1 PlantVillage數(shù)據(jù)集

本試驗(yàn)數(shù)據(jù)集來(lái)自PlantVillage數(shù)據(jù)集,該數(shù)據(jù)集包含了54 305張農(nóng)作物病害圖片,包含13種農(nóng)作物,38類(lèi)病害類(lèi)別，圖1展示了PlantVillage數(shù)據(jù)集部分樣本。

圖1 PlantVillage數(shù)據(jù)集6種病害樣本Fig.1 Six disease samples in plantvillage dataset

1.2 數(shù)據(jù)集預(yù)處理

PlantVillage數(shù)據(jù)集提供3種類(lèi)型圖片,分別為原始圖片、灰度圖片和語(yǔ)意分割圖片。本試驗(yàn)利用PlantVillage數(shù)據(jù)集的語(yǔ)意分割圖片數(shù)據(jù)集訓(xùn)練模型,將背景設(shè)置為類(lèi)別0,其他38類(lèi)病害種類(lèi)分別設(shè)置為類(lèi)別1到類(lèi)別38。為了加強(qiáng)數(shù)據(jù)集的多樣性,采用隨機(jī)水平翻轉(zhuǎn)、隨機(jī)垂直翻轉(zhuǎn)、隨機(jī)縮放和隨機(jī)旋轉(zhuǎn)等操作增加數(shù)據(jù)集多樣性。按照8∶1∶1的比例分割訓(xùn)練集、驗(yàn)證集和測(cè)試集,其中43 440張圖片作為訓(xùn)練集,5 430張圖片作為驗(yàn)證集,5 430張作為測(cè)試集。

1.3 實(shí)時(shí)農(nóng)作物病害葉片語(yǔ)義分割模型

早期語(yǔ)意分割網(wǎng)絡(luò)通過(guò)將卷積神經(jīng)網(wǎng)絡(luò)的全部全連接層替換成卷積層來(lái)實(shí)現(xiàn)語(yǔ)意分割,如圖2a所示。但是,由于下采樣層的增加,圖片特征和細(xì)節(jié)丟失嚴(yán)重,導(dǎo)致效果不理想。隨著語(yǔ)意分割的發(fā)展,U-shape網(wǎng)絡(luò)被提出,如圖2b所示,通過(guò)添加逆卷積層上采樣高級(jí)特征以及級(jí)連同分辨率的特征圖來(lái)恢復(fù)在下采樣過(guò)程中損失的細(xì)節(jié),準(zhǔn)確度得到了很大的提高。但是，由于卷積層的增加,運(yùn)行速度緩慢。為實(shí)現(xiàn)實(shí)時(shí)語(yǔ)義分割的目的,多流網(wǎng)絡(luò)模型利用多種粒度大小特征實(shí)現(xiàn)語(yǔ)義分割精度和效率的平衡,如圖2c所示。BiSeNet是目前采用Resnet18模型作為特征提取器,且利用雙路特征提取來(lái)獲取高級(jí)語(yǔ)意信息和保留細(xì)節(jié)特征的網(wǎng)絡(luò)模型。

圖2 三種基礎(chǔ)語(yǔ)意分割模型Fig.2 Three basic semantic segmentation models

1.3.1 感受野加強(qiáng)模塊 由于不同植物種類(lèi)間外觀、形狀差異巨大,擴(kuò)張?zhí)卣鞲惺芤按笮∮兄谀Ｐ完P(guān)注細(xì)微特征,提高特征表達(dá)能力。本節(jié)提出一種感受野加強(qiáng)模塊(Receptive Enhance Module, FEM),如圖3所示。感受野加強(qiáng)模塊共有3條支路,為方便描述,從上至下分別命名為第一支路、第二支路和第三支路(圖3)。

圖3 感受野加強(qiáng)模塊結(jié)構(gòu)示意圖Fig.3 Structural diagram of receptive enhancement module

F

=Concat(

F

+

F

,

F

+

F

)

(1)

圖4 實(shí)時(shí)農(nóng)作物病害葉片語(yǔ)義分割模型結(jié)構(gòu)示意圖Fig.4 Structure diagram of real time crop leaf disease semantic segmentation model注:圖中REM代表感受野加強(qiáng)模塊。

1.4 精準(zhǔn)噴藥智能小車(chē)

1.4.1 智能小車(chē)整體設(shè)計(jì) 精準(zhǔn)噴藥智能小車(chē)整體設(shè)計(jì)方案如圖5所示,包含智能小車(chē)、圖像處理服務(wù)器和客戶控制終端,共3部分構(gòu)成。

圖5 智能小車(chē)設(shè)計(jì)方案Fig.5 Intelligent car design scheme

1.4.2 智能小車(chē)制作 樹(shù)莓派(Raspberry Pi)是一類(lèi)卡片式微型電腦,僅有信用卡大小,但擁完整的電腦處理能力和運(yùn)算功能。最新版樹(shù)莓派4B擁有1.5 GHz四核CPU、高達(dá)8G內(nèi)存和千兆網(wǎng)卡,僅需5 V電源即可驅(qū)動(dòng),適合開(kāi)發(fā)服務(wù)器、智能小車(chē)主控板。因此本節(jié)選用樹(shù)莓派4B作為智能小車(chē)的主控板,由樹(shù)莓派4B接收和處理信息。

智能小車(chē)主要由樹(shù)莓派4B、小車(chē)底盤(pán)、攝像頭云臺(tái)和電動(dòng)噴壺等零件構(gòu)成,具體配件及其功能作用如表1所示。樹(shù)莓派4B作為智能小車(chē)的主控板,作用如下:

表1 精準(zhǔn)噴藥智能小車(chē)配件詳情T(mén)able 1 Precise spray intelligent car accessories details

(1)通過(guò)樹(shù)莓派4B可編程GPIO端口控制大功率電機(jī),驅(qū)動(dòng)小車(chē)前進(jìn)后退,左右轉(zhuǎn)向;

(2)USB端口連接攝像頭云臺(tái),通過(guò)攝像頭采集環(huán)境圖像;

(3)通過(guò)樹(shù)莓派4B可編程GPIO端口控制電動(dòng)噴壺開(kāi)關(guān);

(4)開(kāi)啟局域網(wǎng)熱點(diǎn),運(yùn)行控制終端服務(wù)器,供客戶通過(guò)手機(jī)或電腦連接并操控智能小車(chē);

(5)連接圖像處理服務(wù)器,將采集的圖像上傳至圖像處理服務(wù)器解析并根據(jù)返回結(jié)果執(zhí)行對(duì)應(yīng)操作。

精準(zhǔn)噴藥智能小車(chē)實(shí)物如圖6所示,智能小車(chē)按系統(tǒng)劃分可分為:識(shí)別系統(tǒng)、行走系統(tǒng)和噴藥系統(tǒng),共3個(gè)系統(tǒng)。識(shí)別系統(tǒng)指樹(shù)莓派4B從攝像頭云臺(tái)采集數(shù)據(jù)并上傳至圖像處理服務(wù)器進(jìn)行病害葉片語(yǔ)義分割,小車(chē)行走系統(tǒng)指樹(shù)莓派4B驅(qū)動(dòng)小車(chē)行走,系統(tǒng)根據(jù)識(shí)別系統(tǒng)語(yǔ)義分割結(jié)果控制電動(dòng)噴壺運(yùn)作。

圖6 精準(zhǔn)噴藥智能小車(chē)實(shí)物展示Fig.6 Precision spraying intelligent car physical display

1.4.3 智能小車(chē)行走控制 智能小車(chē)?yán)脴?shù)莓派4B、L298N電機(jī)驅(qū)動(dòng)模塊和2個(gè)直流減速電機(jī)來(lái)實(shí)現(xiàn)小車(chē)的行走控制,整體架構(gòu)如圖7所示。樹(shù)莓派4B具有具有豐富的可編程GPIO端口,輸出脈沖寬度調(diào)制,通過(guò)改變單位時(shí)間內(nèi)的高電平占空比達(dá)到控制電壓,進(jìn)而控制電機(jī)轉(zhuǎn)速。L298N驅(qū)動(dòng)電機(jī)模塊具有6個(gè)輸入和4個(gè)輸出,分別接收樹(shù)莓派4B的2路脈沖寬度調(diào)制信息和4路控制信號(hào),輸出4路電壓,分別控制2個(gè)電機(jī)轉(zhuǎn)速。L298N電機(jī)驅(qū)動(dòng)模塊輸入信號(hào)和驅(qū)動(dòng)邏輯如表2所示, IN1和IN2的不同電壓組合控制電機(jī)1的狀態(tài),當(dāng)IN1和IN2分別為高電平和低電平時(shí),電機(jī)1正轉(zhuǎn),當(dāng)IN1和IN2分別為低電平和高電平時(shí),電機(jī)1反轉(zhuǎn),當(dāng)IN1和IN2均為低電平時(shí),電機(jī)1停止,電機(jī)2同理。

圖7 智能小車(chē)行走控制Fig.7 Intelligent car walking control

表2 L298N驅(qū)動(dòng)電機(jī)模塊輸入信息和驅(qū)動(dòng)邏輯表Table 2 L298N drive motor module input information and drive logic table

1.4.4 圖像處理服務(wù)器 服務(wù)器搭建在擁有NVIDIA GTX1080Ti顯卡的Ubuntu 20.04系統(tǒng),采用客戶端/服務(wù)器模型,向外提供HTTP請(qǐng)求接口供智能小車(chē)通過(guò)網(wǎng)絡(luò)或無(wú)線網(wǎng)卡請(qǐng)求訪問(wèn)。圖像處理服務(wù)器收到智能小車(chē)的語(yǔ)義分割請(qǐng)求時(shí)處理時(shí)序圖如圖8所示,步驟為保存圖片,有利于增加數(shù)據(jù)集或排查問(wèn)題；對(duì)圖片分辨率修改為900×600像素；對(duì)圖片進(jìn)行預(yù)處理:圖片標(biāo)準(zhǔn)化、光照均衡等處理；將預(yù)處理圖片輸入至基于分組注意力模塊的實(shí)時(shí)黃瓜病害葉片語(yǔ)義分割模型；將語(yǔ)義分割結(jié)果以圖片的形式返回用戶。

圖8 圖像處理服務(wù)器處理流程Fig.8 Image processing server processing flow

1.4.5 客戶控制終端 客戶通過(guò)電腦或手機(jī)連接精準(zhǔn)噴藥智能小車(chē)樹(shù)莓派4B主控板輻射的熱點(diǎn),在瀏覽器進(jìn)入控制終端網(wǎng)頁(yè),控制智能小車(chē)執(zhí)行對(duì)應(yīng)動(dòng)作。精準(zhǔn)噴藥智能小車(chē)控制終端采取客戶端/服務(wù)器模型,服務(wù)器搭建在樹(shù)莓派4B上,隨樹(shù)莓派4B開(kāi)機(jī)自啟動(dòng)?？蛻艨刂平K端界面如圖9所示,主要功能有:可視化攝像頭云臺(tái)采集的圖像；控制智能小車(chē)的前后左右行動(dòng)；控制攝像頭云臺(tái)的三維轉(zhuǎn)動(dòng)；控制智能小車(chē)的行動(dòng)速度；打開(kāi)/關(guān)閉電動(dòng)噴壺功能；檢測(cè)當(dāng)前攝像頭云臺(tái)采集的圖片；開(kāi)啟自動(dòng)檢測(cè)功能,當(dāng)精準(zhǔn)噴藥智能小車(chē)檢測(cè)到病害葉片時(shí)自動(dòng)執(zhí)行噴藥動(dòng)作。

圖9 客戶控制終端界面Fig.9 Customer control terminal interface

1.4.6 精準(zhǔn)噴藥設(shè)計(jì) 精準(zhǔn)噴藥主要由行走系統(tǒng)、黃瓜病害葉片語(yǔ)義分割模型和噴藥系統(tǒng),共3部分組成。行走系統(tǒng)提供行走功能,移動(dòng)至不同地方采集圖像,黃瓜病害葉片語(yǔ)義分割模型提供黃瓜病害葉片診斷功能,噴藥系統(tǒng)則提供編程控制噴藥功能。

精準(zhǔn)噴藥運(yùn)行步驟為樹(shù)莓派4B控制智能小車(chē)行走,通過(guò)攝像頭采集圖像;樹(shù)莓派4B通過(guò)HTTP請(qǐng)求圖像處理服務(wù)器對(duì)采集圖像進(jìn)行語(yǔ)義分割;樹(shù)莓派4B獲取圖像處理服務(wù)器返回結(jié)果;當(dāng)圖像處理服務(wù)器檢測(cè)到黃瓜病害葉片時(shí),樹(shù)莓派4B執(zhí)行以下操作:控制小車(chē)停止運(yùn)動(dòng);控制電動(dòng)噴壺噴藥;等待噴藥完成;當(dāng)服務(wù)器沒(méi)有檢測(cè)到病害或已完成精準(zhǔn)噴藥動(dòng)作時(shí),樹(shù)莓派4B控制小車(chē)運(yùn)動(dòng)。

2 結(jié)果與分析

試驗(yàn)使用的硬件配置為:Intel Core Xeon CPU E5-2620(2.10 GHz,20 MB 緩存)CPU、64 GB RAM 和 NVIDIA GTX1080Ti(11 GB,1 582 MHz)GPU。

2.1 模型訓(xùn)練

在數(shù)據(jù)增強(qiáng)方面,對(duì)訓(xùn)練過(guò)程中的所有數(shù)據(jù)集采用均值減法、隨機(jī)水平翻轉(zhuǎn)和動(dòng)態(tài)隨機(jī)縮放。最后,如果需要,我們使用零填充將圖像隨機(jī)裁剪成固定大小。

2.2 試驗(yàn)指標(biāo)

為了便于解釋試驗(yàn)指標(biāo)，假設(shè)數(shù)據(jù)集共有

k

+1個(gè)類(lèi)別，

p

表示將屬于第

i

個(gè)類(lèi)別預(yù)測(cè)成第

j

個(gè)類(lèi)別的像素個(gè)數(shù)，即

p

表示預(yù)測(cè)正常的像素個(gè)數(shù)，

p

和

p

表示假負(fù)和假正的個(gè)數(shù)。

基于像素的精度計(jì)算(Pixel Accuracy,PA)是評(píng)估指標(biāo)中最為基本也最為簡(jiǎn)單的指標(biāo),其衡量的是預(yù)測(cè)正確的像素占總像素的比例。平均交并比(mean Intersection over Union, mIoU)是語(yǔ)意分割和目標(biāo)檢測(cè)中常用的衡量指標(biāo),用于評(píng)價(jià)預(yù)測(cè)物體與目標(biāo)物體交并的比例,即重合比例。相比于像素精度,均交并比可以提供更多的信息,如重合度。

2.3 試驗(yàn)結(jié)果

本試驗(yàn)語(yǔ)義分割模型迭代訓(xùn)練200次,共130 000次循環(huán),圖10～11 展示了像素精度和均交并隨迭代次數(shù)變化的曲線?？梢钥吹侥Ｐ驮谇?0 000次循環(huán)快速擬合,隨著循環(huán)次數(shù)增加以及學(xué)習(xí)率的逐漸降低(最后降為0),模型擬合減少震蕩并穩(wěn)步增長(zhǎng),最終達(dá)到93.1% 精確度和86.6% mIoU。

圖10 像素精確度隨迭代次數(shù)變化曲線Fig.10 Curve of pixel accuracy with iterations

圖11 均交并比隨迭代次數(shù)變化曲線Fig.11 Curve of mean intersection over union with iterations

2.4 模型驗(yàn)證

在本節(jié)內(nèi)容中,將驗(yàn)證感受野加強(qiáng)模塊的作用,最后將與BiSeNet進(jìn)行對(duì)比試驗(yàn)。如表3所示,首先驗(yàn)證不同感受野加強(qiáng)模塊下,本研究語(yǔ)義分割模型的性能。由表3可知,更多感受野加強(qiáng)模塊可以帶來(lái)較大的提升,當(dāng)有3個(gè)感受野加強(qiáng)模塊時(shí),模型精度和平均交并比分別達(dá)到93.1% 和 86.6%,說(shuō)明感受野加強(qiáng)模塊有效增加特征感受野范圍,優(yōu)化語(yǔ)義分割結(jié)果。

表3 驗(yàn)證試驗(yàn)Table 3 Verification experiment

表4展示了本模型與原始BiSeNet、ENet的對(duì)比效果。相比于原始BiSeNet,本模型通過(guò)注意力模塊,精度和平均交并比增加了3.7%與 2.1%。本模型部分試驗(yàn)結(jié)果圖片如圖12所示。

圖12 試驗(yàn)結(jié)果Fig.12 Experimental result

為驗(yàn)證本研究語(yǔ)義分割模型的運(yùn)行速度，將輸入1 000張分辨率為224×224像素的圖片輸入至本研究語(yǔ)義分割模型、BiSeNet模型和ENet模型，然后計(jì)算平均運(yùn)行時(shí)間，以衡量模型的運(yùn)行速度。測(cè)試結(jié)果如表4所示，本研究模型運(yùn)行速度達(dá)到每秒107幀，BiSeNet模型和ENet模型，滿足實(shí)時(shí)語(yǔ)義分割的需求。

表4 對(duì)比試驗(yàn)Table4 Comparative experiment

3 結(jié)論

該研究以公共數(shù)據(jù)集PlantVillage為研究對(duì)象,開(kāi)展基于語(yǔ)義分割的農(nóng)作物病害識(shí)別模型。該研究提出基于注意力模塊的雙流語(yǔ)意分割網(wǎng)絡(luò)結(jié)構(gòu),在PlantVillage農(nóng)作物病害數(shù)據(jù)集上取得了較好的結(jié)果,相比于原始BiSeNet,精度和均交并分別增加了 3.7%與 2.1%。通過(guò)將農(nóng)作物病害語(yǔ)義分割模型應(yīng)用到智能小車(chē)實(shí)現(xiàn)農(nóng)作物病害葉片精準(zhǔn)噴藥系統(tǒng),滿足現(xiàn)代農(nóng)業(yè)精準(zhǔn)噴藥的需求,為后續(xù)農(nóng)作物病害識(shí)別研究提供參價(jià)值。