翟長(zhǎng)遠(yuǎn) 付 豪 鄭 康 鄭申玉 吳華瑞 趙學(xué)觀

(1.北京市農(nóng)林科學(xué)院智能裝備技術(shù)研究中心，北京 100097；2.廣西大學(xué)機(jī)械工程學(xué)院，南寧 530004)

0 引言

甘藍(lán)是我國廣泛種植的蔬菜之一，種植面積超過2.53×106hm2，位居所有蔬菜種植面積第3位。其產(chǎn)量與質(zhì)量受到病蟲害影響，目前病蟲害防治最有效的手段依然是化學(xué)農(nóng)藥噴施[1-3]。目前甘藍(lán)植保作業(yè)中多采用連續(xù)均一的噴藥方式，導(dǎo)致田間殘留量大，不僅增加生產(chǎn)成本，同時(shí)嚴(yán)重污染環(huán)境。對(duì)靶施藥是提高農(nóng)藥利用率的有效方式，而靶標(biāo)精準(zhǔn)識(shí)別定位是實(shí)現(xiàn)對(duì)靶施藥技術(shù)的首要條件。目前常用的大田靶標(biāo)識(shí)別技術(shù)，主要有機(jī)器視覺技術(shù)[4-5]、超聲波傳感器探測(cè)技術(shù)[6]、三維激光雷達(dá)探測(cè)技術(shù)[7]，超聲波傳感器及三維激光雷達(dá)能判斷區(qū)域內(nèi)靶標(biāo)是否存在，但其難以準(zhǔn)確區(qū)分出大田中的作物與雜草。機(jī)器視覺技術(shù)憑借獲取信息量大、準(zhǔn)確和智能的優(yōu)點(diǎn)，在甘藍(lán)識(shí)別中具備一定的優(yōu)勢(shì)。

甘藍(lán)和雜草顏色相近，且土壤受濕度、光照、枯草等因素影響，背景復(fù)雜多變，使得利用單一的圖像特征來檢測(cè)甘藍(lán)存在很大的困難，為了提高識(shí)別精度，研究者相繼采用多特征融合的特征分類器進(jìn)行靶標(biāo)識(shí)別[8]，主要包括支持向量機(jī)[9]、神經(jīng)網(wǎng)絡(luò)[10]、遺傳算法[11]等，取得了優(yōu)異的識(shí)別效果。與特征分類器的思想相比，深度學(xué)習(xí)最大的優(yōu)勢(shì)在于不依賴圖像預(yù)處理與數(shù)據(jù)轉(zhuǎn)換，自主獲取圖像中的有用特征信息。近年被越來越多的應(yīng)用于農(nóng)業(yè)靶標(biāo)識(shí)別[12-13]。

采用深度學(xué)習(xí)技術(shù)進(jìn)行田間甘藍(lán)在線識(shí)別，面臨兩個(gè)主要問題：田間環(huán)境復(fù)雜，作物識(shí)別準(zhǔn)確率低；深度學(xué)習(xí)模型推理過程計(jì)算量大，對(duì)于移動(dòng)端部署設(shè)備要求算力高、體積小、功耗低。針對(duì)以上問題研究人員探索了深度學(xué)習(xí)模型優(yōu)化與模型應(yīng)用方法。在模型的優(yōu)化過程中側(cè)重于提高模型的識(shí)別精度而忽略了識(shí)別速度[14-16]，通過對(duì)網(wǎng)絡(luò)模型的優(yōu)化[17-19]，一定程度上提高了作物識(shí)別準(zhǔn)確率，但圖像處理時(shí)間增加較大，對(duì)于高速行駛下的實(shí)時(shí)操作，較長(zhǎng)的模型圖像處理時(shí)間，不可避免地影響作業(yè)性能，田間實(shí)際應(yīng)用存在一定困難[20]。在深度學(xué)習(xí)模型的應(yīng)用方面眾多學(xué)者將模型部署于配備GPU的高性能計(jì)算機(jī)進(jìn)行目標(biāo)識(shí)別[21-23]。上述研究推動(dòng)了深度學(xué)習(xí)在對(duì)靶施藥領(lǐng)域的應(yīng)用，但研究中使用的GPU功率高，不能滿足大田條件下長(zhǎng)時(shí)間持續(xù)工作要求。

本文以甘藍(lán)為靶標(biāo)，結(jié)合其生長(zhǎng)早期及中早期病蟲害對(duì)靶施藥的需求，針對(duì)基于深度學(xué)習(xí)的甘藍(lán)識(shí)別模型圖像處理時(shí)間長(zhǎng)，田間在線識(shí)別時(shí)使用高功率GPU，不能長(zhǎng)時(shí)間持續(xù)工作的問題，基于深度學(xué)習(xí)方法搭建一種甘藍(lán)在線靶標(biāo)識(shí)別模型，對(duì)深度學(xué)習(xí)模型進(jìn)行輕量化優(yōu)化，以提高甘藍(lán)識(shí)別速度，滿足實(shí)際生產(chǎn)需要。同時(shí)模型部署于低功率嵌入式設(shè)備上，實(shí)現(xiàn)大田甘藍(lán)實(shí)時(shí)識(shí)別與定位，并輸出甘藍(lán)直徑數(shù)據(jù)，為后續(xù)甘藍(lán)病害防治與對(duì)靶施藥提供依據(jù)。

1 甘藍(lán)識(shí)別模型構(gòu)建

1.1 數(shù)據(jù)采集與數(shù)據(jù)集制作

于2021年5月1日—6月10日，在北京小湯山國家精準(zhǔn)農(nóng)業(yè)研究示范基地，從甘藍(lán)定植后第5天開始，分6次進(jìn)行采集，主要采集甘藍(lán)幼苗期到蓮座期前期，甘藍(lán)之間存在間隙，無相互交疊時(shí)期的圖像，如圖1所示，采集設(shè)備為大恒工業(yè)相機(jī)，分辨率為2 592像素×1 944像素，USB 3.0接口，采用垂直向下的方式進(jìn)行圖像及視頻采集。為保證樣本的全面性，圖像視頻采集時(shí)間分別為晴天、多云、陰雨3種室外光照條件，共采集圖像1 380幅。獲得的甘藍(lán)圖像數(shù)據(jù)集雜草生長(zhǎng)位置及密度多樣，圖像中均包含多個(gè)甘藍(lán)目標(biāo)以及不同雜草，與實(shí)際應(yīng)用情況相同。為提高數(shù)據(jù)樣本的豐富性，本研究采用圖像旋轉(zhuǎn)90°、亮度調(diào)整、模糊、對(duì)比度增強(qiáng)4種方式增強(qiáng)數(shù)據(jù)集，將數(shù)據(jù)總數(shù)擴(kuò)充為原來的4倍，采用LabelImg軟件手動(dòng)標(biāo)注為YOLO文件格式，獲取到每幅圖像中目標(biāo)的邊界框坐標(biāo)矩陣。按照COCO數(shù)據(jù)集格式，根據(jù)比例4∶1∶1將數(shù)據(jù)集劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集。訓(xùn)練集用于訓(xùn)練網(wǎng)絡(luò)參數(shù)，測(cè)試集用于模型訓(xùn)練后模型的泛化誤差評(píng)估，驗(yàn)證集用于對(duì)訓(xùn)練過程中所用到的超參數(shù)進(jìn)行調(diào)優(yōu)，以提高模型的性能。

圖1 不同生長(zhǎng)階段甘藍(lán)圖像Fig.1 Cabbage images at different growth stages

1.2 甘藍(lán)目標(biāo)檢測(cè)模型構(gòu)建

本研究選擇目前3種主流目標(biāo)檢測(cè)模型Faster R-CNN[24]、YOLO v5s[25]、SSD[26]進(jìn)行對(duì)比研究，以選擇最優(yōu)甘藍(lán)識(shí)別遷移學(xué)習(xí)模型。Faster R-CNN是二階段檢測(cè)模型，首先通過RPN網(wǎng)絡(luò)(Region proposal network)生成甘藍(lán)目標(biāo)候選框，將候選框映射到特征圖上，輸入全連接層進(jìn)行目標(biāo)分類；相較于Faster R-CNN的二階段檢測(cè)，YOLO v5s算法將甘藍(lán)的分類、定位功能融合于一個(gè)神經(jīng)網(wǎng)絡(luò)當(dāng)中，輸入甘藍(lán)圖像只需經(jīng)過一次網(wǎng)絡(luò)計(jì)算即可得到圖像中目標(biāo)邊界框位置以及目標(biāo)種類。SSD模型結(jié)合多尺度檢測(cè)的思想，采用多個(gè)不同尺度的甘藍(lán)特征圖進(jìn)行檢測(cè)，能顯著提高大目標(biāo)的檢測(cè)效果[27]。

根據(jù)對(duì)比試驗(yàn)結(jié)果，選擇YOLO v5s神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，搭建針對(duì)復(fù)雜大田環(huán)境中甘藍(lán)識(shí)別速度快、準(zhǔn)確率高的甘藍(lán)目標(biāo)檢測(cè)模型。主要優(yōu)化內(nèi)容包括：優(yōu)化卷積計(jì)算方式以及甘藍(lán)主干特征提取網(wǎng)絡(luò)。

1.2.1融合深度可分離卷積

傳統(tǒng)神經(jīng)網(wǎng)絡(luò)使用普通卷積，卷積計(jì)算過程如圖2a所示，采用多個(gè)3維卷積核對(duì)輸入的3通道彩色甘藍(lán)圖像進(jìn)行卷積運(yùn)算，運(yùn)算過程中卷積核作用于輸入圖像或者特征圖的每一個(gè)通道，其計(jì)算量計(jì)算公式為

圖2 卷積計(jì)算示意圖Fig.2 Convolution calculation diagram

FLOPs=WHCD2K

(1)

式中FLOPs——浮點(diǎn)運(yùn)算次數(shù)

W——圖像像素列數(shù)

H——圖像像素行數(shù)

C——圖像(特征圖)通道數(shù)

D——卷積核尺寸

K——輸出特征圖數(shù)量

計(jì)算量與輸入圖像分辨率W、H成正比，輸入圖像像素?cái)?shù)越大，計(jì)算量越大，同時(shí)計(jì)算量是導(dǎo)致圖像處理時(shí)間變長(zhǎng)的決定性因素之一。甘藍(lán)識(shí)別定位中，圖像處理時(shí)間限制了圖像處理幀率，同一運(yùn)動(dòng)速度下處理幀率越低定位精度越差。同時(shí)，嵌入式部署要求模型計(jì)算量較小。本文采用深度可分離卷積[28](Depthwise separable convolution)進(jìn)行甘藍(lán)特征提取，深度可分離卷積計(jì)算過程如圖2b所示，首先采用二維卷積核分別對(duì)彩色甘藍(lán)圖像中每一個(gè)通道進(jìn)行卷積運(yùn)算，得到單通道圖像的甘藍(lán)特征，接著使用1×1×M卷積核對(duì)通道卷積結(jié)果進(jìn)行卷積運(yùn)算，融合不同通道下的甘藍(lán)特征信息，深度可分離卷積的計(jì)算量計(jì)算公式為

FLOPs=WHCD2+D2CK

(2)

以采集的3通道彩色甘藍(lán)圖像為例，分辨率為480像素×360像素，進(jìn)行一次卷積時(shí)輸出特征圖數(shù)量為16，卷積核尺寸為3×3，使用傳統(tǒng)卷積計(jì)算量為7.46×107，使用深度可分離卷積計(jì)算量為4.67×106。使用深度可分離卷積進(jìn)行甘藍(lán)特征提取相對(duì)于傳統(tǒng)卷積計(jì)算量減少了93.7%。因此本文使用深度可分離卷積代替YOLO v5s中的傳統(tǒng)卷積。

1.2.2甘藍(lán)主干特征提取網(wǎng)絡(luò)

主干特征提取網(wǎng)絡(luò)用于自動(dòng)提取圖像中甘藍(lán)特征，對(duì)識(shí)別準(zhǔn)確率有重要影響，同時(shí)主干特征提取網(wǎng)絡(luò)的深度決定模型識(shí)別的速度，網(wǎng)絡(luò)深度越淺識(shí)別速度越快，根據(jù)實(shí)時(shí)識(shí)別的要求，本研究通過對(duì)比YOLO v5s、MobileNet v3s[29]、ShuffleNet v2[30]輕量化主干特征提取網(wǎng)絡(luò)對(duì)甘藍(lán)特征的提取效果，根據(jù)試驗(yàn)結(jié)果選擇MobileNet v3s作為甘藍(lán)識(shí)別模型的主干特征提取網(wǎng)絡(luò)。MobileNet v3s使用H-SWISH代替?zhèn)鹘y(tǒng)計(jì)算耗時(shí)較長(zhǎng)的SWISH激活函數(shù)，提高了網(wǎng)絡(luò)的運(yùn)算速度。針對(duì)甘藍(lán)與背景土壤顏色差異較大的特點(diǎn)，采用輕度注意力模塊(Squeeze-and-excitation，SE)，SE模塊來源于SENet[31]，通過學(xué)習(xí)不同圖像通道之間的相關(guān)性，提高模型對(duì)甘藍(lán)圖像綠色通道的注意力，SENet模塊計(jì)算如圖3所示，甘藍(lán)特征圖經(jīng)過全局池化壓縮成大小1×1×C特征圖，將特征圖輸入兩個(gè)全連接層組成的激勵(lì)網(wǎng)絡(luò)，最后輸出的各通道權(quán)重參數(shù)與原特征圖對(duì)應(yīng)通道相乘得到經(jīng)注意力機(jī)制處理的特征圖，以提高對(duì)圖像中甘藍(lán)目標(biāo)的關(guān)注度，提高識(shí)別準(zhǔn)確率。

圖3 SE模塊Fig.3 SE module

1.2.3甘藍(lán)檢測(cè)模型整體結(jié)構(gòu)

本研究采用YOLO-mdw，模型結(jié)構(gòu)如圖4所示。YOLO-mdw由主干特征提取網(wǎng)絡(luò)、Neck網(wǎng)絡(luò)和輸出網(wǎng)絡(luò)構(gòu)成。本文采用輕量級(jí)主干特征提取網(wǎng)絡(luò)MobileNet v3s代替原始YOLO v5s中的主干特征提取網(wǎng)絡(luò)，MobileNet v3s采用深度可分離卷積，相較于傳統(tǒng)卷積計(jì)算量大幅度減?。籒eck網(wǎng)絡(luò)部分采用特征金字塔網(wǎng)絡(luò)(Feature pyramid networks，F(xiàn)PN)和金字塔注意力網(wǎng)絡(luò)(Pyramid attention network，PAN)，F(xiàn)PN提取不同尺度下的甘藍(lán)特征信息，并將其融合，在不增加計(jì)算量的情況下，提高對(duì)小個(gè)體甘藍(lán)的檢測(cè)精度，PAN網(wǎng)絡(luò)將甘藍(lán)圖像深淺層語意特征進(jìn)行融合，避免了經(jīng)過多次卷積操作后特征信息丟失的問題。輸出網(wǎng)絡(luò)部分輸出檢測(cè)目標(biāo)邊界框的坐標(biāo)以及目標(biāo)種類和置信度。

圖4 甘藍(lán)目標(biāo)識(shí)別模型Fig.4 Cabbage target detection model

1.3 模型訓(xùn)練

本文在對(duì)比Faster R-CNN、SSD、YOLO v5s深度學(xué)習(xí)模型以及測(cè)試YOLO v5s、YOLO v5+ShuffleNet v2、YOLO v5+MobileNet v3s、YOLO-mdw不同主干特征提取網(wǎng)絡(luò)對(duì)甘藍(lán)的識(shí)別效果時(shí)，采用獲取到的甘藍(lán)圖像數(shù)據(jù)集訓(xùn)練模型。

1.3.1訓(xùn)練平臺(tái)

模型訓(xùn)練平臺(tái)為臺(tái)式工作站，工作站配置為：48 GB內(nèi)存，搭載Intel(R)Core(TM)i9-10900K CPU，主頻3.70 GHz，GPU為NVIDIA RTX 3090，運(yùn)行環(huán)境為Windows 10(64位)操作系統(tǒng)，Python 3.8編程語言版本，Pytorch 1.7深度學(xué)習(xí)框架。

1.3.2訓(xùn)練策略

系統(tǒng)實(shí)時(shí)檢測(cè)要求圖像處理速度較快，通過對(duì)比不同輸入圖像像素對(duì)模型性能影響，選擇訓(xùn)練輸入圖像尺寸為480像素×360像素，訓(xùn)練時(shí)以16幅圖像作為一個(gè)批次進(jìn)行訓(xùn)練，每訓(xùn)練一次更新一次權(quán)重，通過前期試驗(yàn)得到，不同模型收斂時(shí)最大迭代次數(shù)為500次，為保證試驗(yàn)時(shí)參數(shù)的統(tǒng)一性，所有模型訓(xùn)練迭代次數(shù)均為500次，為提升模型性能防止過擬合，選擇隨機(jī)梯度下降法(Stochastic gradient descent，SGD)作為訓(xùn)練優(yōu)化方法，初始學(xué)習(xí)率為0.025，動(dòng)量因子0.6，權(quán)重衰減系數(shù)0.001。模型訓(xùn)練完成后，采用Pytorch框架部署于NVIDIA Xavier NX開發(fā)板上。

1.3.3評(píng)價(jià)指標(biāo)

為全面評(píng)估模型性能，采用基于精準(zhǔn)率和召回率計(jì)算的模型綜合性能評(píng)價(jià)參數(shù)——識(shí)別準(zhǔn)確率與平均圖像處理時(shí)間作為模型評(píng)價(jià)指標(biāo)。

1.4 模型測(cè)試結(jié)果分析

1.4.1目標(biāo)檢測(cè)模型選擇與結(jié)果分析

Faster R-CNN、SSD、YOLO v5s目標(biāo)檢測(cè)模型在甘藍(lán)數(shù)據(jù)集上的試驗(yàn)結(jié)果如表1所示。

表1 不同模型性能測(cè)試結(jié)果Tab.1 Performance test results for different models

由表1可知，YOLO v5s的甘藍(lán)識(shí)別準(zhǔn)確率為95.10%，比Faster R-CNN高3.14個(gè)百分點(diǎn)，比SSD高5.21個(gè)百分點(diǎn)；YOLO v5s的單幀圖像平均處理時(shí)間為7.20 ms，是Faster R-CNN的19%，比SSD快0.95 ms。綜上所述，在甘藍(lán)識(shí)別準(zhǔn)確率以及圖像處理速度上YOLO v5s相對(duì)于Faster R-CNN和SSD都有一定的優(yōu)勢(shì)，因此本文選擇YOLO v5s為甘藍(lán)目標(biāo)識(shí)別遷移學(xué)習(xí)模型。

1.4.2不同主干特征網(wǎng)絡(luò)模型測(cè)試結(jié)果與分析

YOLO v5s采用不同主干特征網(wǎng)絡(luò)以及本文提出的YOLO-mdw甘藍(lán)目標(biāo)檢測(cè)模型，在甘藍(lán)數(shù)據(jù)集上的試驗(yàn)結(jié)果如表2所示。

表2 不同主干特征網(wǎng)絡(luò)模型測(cè)試結(jié)果Tab.2 Cabbage recognizes model test results

從表2可以看出，本文提出的融合MobileNet v3s主干特征提取網(wǎng)絡(luò)與深度可分離卷積的YOLO-mdw模型，平均圖像處理時(shí)間低于YOLO v5s以及采用ShuffleNet v2和MobileNet v3s主干網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型，在識(shí)別準(zhǔn)確率方面YOLO-mdw的識(shí)別準(zhǔn)確率為95.67%，高于YOLO v5s、YOLO v5+ShuffleNet v2、YOLO v5+MobileNet v3s。因此本文提出的甘藍(lán)目標(biāo)檢測(cè)算法相對(duì)于傳統(tǒng)YOLO v5s、YOLO v5+ShuffleNet v2、YOLO v5+MobileNet v3s算法，在甘藍(lán)識(shí)別準(zhǔn)確率和圖像處理時(shí)間上有一定優(yōu)勢(shì)。

模型部署于NVIDIA Xavier NX開發(fā)板上，性能參數(shù)如表3所示。

表3 模型在NVIDIA Xavier NX開發(fā)板上性能Tab.3 Model performance on NVIDIA Xavier NX development boards

從表3可以看出，在NVIDIA Xavier NX開發(fā)板上模型識(shí)別準(zhǔn)確率與計(jì)算機(jī)上相同，在模型圖像處理時(shí)間方面，YOLO-mdw模型為53.30 ms，低于YOLO v5s、YOLO v5+ShuffleNet v2、YOLO v5+MobileNet v3s。試驗(yàn)表明在移動(dòng)端部署后YOLO-mdw模型在識(shí)別準(zhǔn)確率和圖像處理時(shí)間方面，仍然比YOLO v5s、YOLO v5+ShuffleNet v2、YOLO v5+MobileNet v3s模型有一定優(yōu)勢(shì)。

1.4.3不同圖像分辨率模型測(cè)試結(jié)果與分析

測(cè)試了YOLO-mdw甘藍(lán)目標(biāo)檢測(cè)模型在1 296像素×972像素、640像素×480像素、480像素×360像素、360像素×240像素4種不同分辨率下模型的識(shí)別準(zhǔn)確率和圖像處理時(shí)間，試驗(yàn)結(jié)果如表4所示。

從表4可以看出，分辨率為360像素×240像素時(shí)，識(shí)別準(zhǔn)確率相對(duì)于1 296像素×972像素下降了3.99個(gè)百分點(diǎn)。分辨率為480像素×360像素時(shí)識(shí)別準(zhǔn)確率下降不超過1個(gè)百分點(diǎn)，圖像處理時(shí)間縮短了154.03 ms，因此選擇480像素×360像素作為識(shí)別系統(tǒng)的輸入圖像分辨率。

表4 不同分辨率模型測(cè)試結(jié)果Tab.4 Results of model performance at different resolutions

2 甘藍(lán)定位方法

本文提出的甘藍(lán)定位方法流程如圖5所示，主要包括4個(gè)步驟：①使用目標(biāo)檢測(cè)模型對(duì)相機(jī)拍攝到的甘藍(lán)視頻中每一幀圖像進(jìn)行處理，目標(biāo)檢測(cè)模型輸出甘藍(lán)目標(biāo)的邊界框坐標(biāo)。②將獲取的t幀甘藍(lán)目標(biāo)邊界框坐標(biāo)使用卡爾曼濾波算法進(jìn)行處理，對(duì)目標(biāo)在t+1幀中的位置進(jìn)行預(yù)測(cè)，同時(shí)該預(yù)測(cè)結(jié)果結(jié)合目標(biāo)檢測(cè)中的檢測(cè)結(jié)果，更新t+1幀中的目標(biāo)結(jié)果。③采用匈牙利算法對(duì)比t、t+1兩幀圖像中甘藍(lán)目標(biāo)邊界框的馬氏距離，進(jìn)行最優(yōu)匹配，建立兩幀圖像中同一個(gè)目標(biāo)的運(yùn)動(dòng)關(guān)系，避免了同一甘藍(lán)在不同幀圖像中重復(fù)識(shí)別。④在相機(jī)視場(chǎng)固定位置設(shè)置虛擬線，如圖6所示，當(dāng)滿足前幀甘藍(lán)邊界框前端中點(diǎn)在虛線前，下一幀圖像甘藍(lán)邊界框前端中點(diǎn)在虛線后的條件時(shí)，判定甘藍(lán)運(yùn)動(dòng)到指定位置，控制器發(fā)出信號(hào)，為后續(xù)對(duì)靶施藥提供信號(hào)依據(jù)。

圖5 甘藍(lán)定位算法流程圖Fig.5 Flow chart of cabbage positioning algorithm

圖6 虛擬線定位示意圖Fig.6 Schematic of virtual line positioning

3 臺(tái)架試驗(yàn)

3.1 光照強(qiáng)度影響試驗(yàn)

為驗(yàn)證算法在不同光照強(qiáng)度下的魯棒性，搭建了可調(diào)光照強(qiáng)度試驗(yàn)臺(tái)，獲取不同光照強(qiáng)度下的甘藍(lán)圖像。其組成如圖7所示，包括載物臺(tái)、相機(jī)(PSNSSX5268-1080P型)、LED條形光源(沃德普公司，HDL3型)、光源控制器(科麥視覺公司，ACS2.0-2C060W-24PS型)、光照強(qiáng)度傳感器、單片機(jī)(Arduino UNO)、計(jì)算機(jī)(FX-PLUS)。夏季太陽光直射下光照強(qiáng)度為60 000～100 000 lx，選擇的LED條形光源光照強(qiáng)度在0～124 000 lx之間可調(diào)。參考文獻(xiàn)[32]將光照強(qiáng)度分級(jí)為50、24 800、49 600、74 400、99 200、124 000 lx 6個(gè)等級(jí)，每個(gè)等級(jí)拍攝100幅甘藍(lán)圖像，使用甘藍(lán)目標(biāo)檢測(cè)模型進(jìn)行識(shí)別檢測(cè)，并統(tǒng)計(jì)識(shí)別準(zhǔn)確率及目標(biāo)平均置信度。

圖7 可調(diào)光照強(qiáng)度試驗(yàn)臺(tái)Fig.7 Adjustable light intensity test bench1.光源控制器 2.載物臺(tái) 3.光照強(qiáng)度傳感器 4.單片機(jī) 5.計(jì)算機(jī) 6.LED條形光源 7.相機(jī)

將采集到的6個(gè)等級(jí)光照下的圖像，每個(gè)等級(jí)100幅，輸入甘藍(lán)目標(biāo)檢測(cè)模型，進(jìn)行識(shí)別驗(yàn)證，識(shí)別結(jié)果如圖8所示。

圖8 不同光照強(qiáng)度下目標(biāo)識(shí)別結(jié)果Fig.8 Target recognition results under different illumination intensities

不同光照強(qiáng)度下相機(jī)采集到的圖像表明，當(dāng)光照強(qiáng)度低于99 200 lx時(shí)，圖像紋理特征較為清晰，當(dāng)光照強(qiáng)度增加到124 000 lx，甘藍(lán)葉片表現(xiàn)出整體或局部反光現(xiàn)象，紋理特征減弱，增加了模型識(shí)別難度。

表5為每個(gè)光照強(qiáng)度等級(jí)下識(shí)別準(zhǔn)確率和置信度結(jié)果，每個(gè)光照等級(jí)下識(shí)別準(zhǔn)確率均為100%，但識(shí)別置信度有區(qū)別，置信度為甘藍(lán)目標(biāo)檢測(cè)模型輸出的每個(gè)檢測(cè)框的種類是甘藍(lán)的概率，本文設(shè)置置信度閾值為0.5，即檢測(cè)框置信度大于0.5時(shí)，判定檢測(cè)框中目標(biāo)種類為甘藍(lán)，光照強(qiáng)度在50～124 000 lx之間，最小平均識(shí)別置信度為0.87，所以在實(shí)驗(yàn)室中，YOLO-mdw模型輸入的圖像光照強(qiáng)度為50～124 000 lx之間時(shí)，靜態(tài)條件下光照強(qiáng)度變化對(duì)甘藍(lán)識(shí)別準(zhǔn)確率無影響。

表5 不同光照條件下識(shí)別結(jié)果Tab.5 Recognition results of different lighting conditions

3.2 甘藍(lán)識(shí)別定位精度試驗(yàn)

為檢測(cè)甘藍(lán)靶標(biāo)識(shí)別系統(tǒng)的識(shí)別、定位準(zhǔn)確性以及甘藍(lán)識(shí)別直徑誤差，搭建了甘藍(lán)識(shí)別定位試驗(yàn)臺(tái)，其結(jié)構(gòu)如圖9所示。

圖9 甘藍(lán)識(shí)別定位試驗(yàn)臺(tái)構(gòu)成圖Fig.9 Composition diagram of cabbage identification and positioning test bench1.同步帶 2.甘藍(lán) 3.電機(jī) 4.電機(jī)調(diào)速器 5.示波器 6.光柵傳感器 7.NVIDIA Xavier NX開發(fā)板 8.顯示器 9.相機(jī)

工作時(shí)，在電機(jī)的驅(qū)動(dòng)下同步帶可按照設(shè)定速度運(yùn)動(dòng)，調(diào)速范圍在0～1 m/s。同步帶兩側(cè)安裝有蘇州固函機(jī)械科技公司生產(chǎn)的A06-20型對(duì)射式光柵傳感器，傳感器響應(yīng)時(shí)間小于10 ms，光束間距20 mm，常開類型，傳感器對(duì)射光線與定位方法設(shè)置的虛擬線位于同一位置，當(dāng)有物體遮擋對(duì)射光線時(shí)輸出12 V高電平信號(hào)，反之輸出低電平。運(yùn)動(dòng)甘藍(lán)開始遮擋光柵傳感器光幕時(shí)，傳感器輸出信號(hào)出現(xiàn)上升沿，甘藍(lán)離開光幕時(shí)刻，信號(hào)出現(xiàn)下降沿，通過示波器記錄，同時(shí)位于同步帶正上方的攝像頭采集甘藍(lán)視頻信息，相機(jī)像素100萬像素，幀率為30 f/s，部署于NVIDIA Xavier NX開發(fā)板的甘藍(lán)靶標(biāo)識(shí)別系統(tǒng)對(duì)下方運(yùn)動(dòng)甘藍(lán)進(jìn)行實(shí)時(shí)識(shí)別定位處理，開發(fā)板的具體參數(shù)如下：功率為15 W，集成384個(gè)CUDA核心、48個(gè)Tensor 核心和2個(gè)NVDLA引擎，操作系統(tǒng)為Ubuntu 20.10，同時(shí)配置有Pytorch深度學(xué)習(xí)框。當(dāng)識(shí)別定位系統(tǒng)識(shí)別定位到甘藍(lán)時(shí)，輸出高電平，反之輸出低電平，同時(shí)將電平信號(hào)保存于示波器(TDS2000型)。試驗(yàn)臺(tái)實(shí)物如圖10所示。

圖10 試驗(yàn)臺(tái)實(shí)物圖Fig.10 Physical view of test bench

試驗(yàn)時(shí)，通過電機(jī)調(diào)速器調(diào)節(jié)同步帶分別以速度0.2、0.4、0.6、0.7、0.8 m/s運(yùn)動(dòng)，當(dāng)同步帶速度運(yùn)行平穩(wěn)后，選擇10棵種植于育苗杯中的甘藍(lán)，人工平放于同步帶上，隨同步帶運(yùn)動(dòng)，在運(yùn)動(dòng)到同步帶盡頭時(shí)，人工從同步帶上取下甘藍(lán)，每棵甘藍(lán)重復(fù)放置10次，放置順序隨機(jī)，根據(jù)大田中甘藍(lán)株距為30 cm,相鄰放置的兩顆甘藍(lán)距離范圍在10～50 cm之間，每個(gè)速度下采集100組數(shù)據(jù)。將同步帶運(yùn)動(dòng)方向記為正方向，示波器采集光柵傳感器及甘藍(lán)識(shí)別系統(tǒng)的輸出信號(hào)。

使用甘藍(lán)識(shí)別定位試驗(yàn)臺(tái)進(jìn)行試驗(yàn)，采集到光柵傳感器與識(shí)別系統(tǒng)信號(hào)，如圖11所示，圖中D1為甘藍(lán)實(shí)際直徑，D2為系統(tǒng)檢測(cè)到的甘藍(lán)直徑；ΔL為定位誤差。

圖11 光柵傳感器與識(shí)別定位系統(tǒng)輸出信號(hào)Fig.11 Output signal of grating sensor and identification and positioning system

光柵傳感器檢測(cè)到甘藍(lán)時(shí)輸出的高電平信號(hào)時(shí)間乘以同步帶速度得到甘藍(lán)實(shí)際直徑D1，識(shí)別系統(tǒng)輸出的高電平信號(hào)時(shí)間乘以同步帶速度得系統(tǒng)檢測(cè)到的甘藍(lán)直徑D2，兩信號(hào)的時(shí)間差乘以速度，得到甘藍(lán)靶標(biāo)識(shí)別系統(tǒng)的定位誤差ΔL。

不同速度下甘藍(lán)識(shí)別準(zhǔn)確率如表6所示，試驗(yàn)結(jié)果表明，本文提出的模型能在甘藍(lán)運(yùn)動(dòng)速度低于0.6 m/s時(shí)有較高的識(shí)別效果。當(dāng)速度提升至0.7 m/s時(shí)，由于產(chǎn)生運(yùn)動(dòng)模糊，影響甘藍(lán)特征提取，識(shí)別準(zhǔn)確率降低。

(1)還需通過實(shí)驗(yàn)分析改變溫度，實(shí)驗(yàn)時(shí)長(zhǎng)等條件的變化下對(duì)SiBCN先驅(qū)體進(jìn)行分子動(dòng)力學(xué)模擬，并分析結(jié)果規(guī)律。

表6 甘藍(lán)識(shí)別準(zhǔn)確率Tab.6 Cabbage identification accuracy

在驗(yàn)證識(shí)別準(zhǔn)確率的同時(shí)，根據(jù)光柵傳感器與甘藍(lán)識(shí)別系統(tǒng)輸出信號(hào)的時(shí)間差計(jì)算甘藍(lán)定位誤差，結(jié)果如表7所示，試驗(yàn)表明甘藍(lán)平均定位誤差隨速度的增加而增大，該定位誤差主要由圖像處理時(shí)間產(chǎn)生。

表7 甘藍(lán)定位誤差Tab.7 Cabbage positioning error

甘藍(lán)直徑識(shí)別誤差如表8所示，可以看出在不同速度下，甘藍(lán)直徑識(shí)別平均誤差范圍為1.33～1.56 cm，采用SPSS Statistics26數(shù)據(jù)分析軟件對(duì)所得識(shí)別直徑誤差數(shù)據(jù)進(jìn)行單因素方差分析，分析結(jié)果如表9所示，取顯著性水平α=0.05，表中計(jì)算得P=0.351，大于著性水平0.05。在實(shí)驗(yàn)室條件下，甘藍(lán)直徑識(shí)別平均誤差不超過1.56 cm，且誤差與甘藍(lán)運(yùn)動(dòng)速度無顯著關(guān)系。

表8 甘藍(lán)直徑識(shí)別誤差Tab.8 Detection error of cabbage diameter

表9 單因素方差分析結(jié)果Tab.9 Results of one-factor variance analysis

甘藍(lán)識(shí)別定位準(zhǔn)確性試驗(yàn)表明，在實(shí)驗(yàn)室中甘藍(lán)直徑識(shí)別誤差與運(yùn)動(dòng)速度無顯著關(guān)系，甘藍(lán)運(yùn)動(dòng)速度不大于0.6 m/s時(shí)，本文提出的甘藍(lán)識(shí)別系統(tǒng)對(duì)甘藍(lán)識(shí)別準(zhǔn)確率為94%，當(dāng)速度提升至0.7 m/s時(shí)，識(shí)別準(zhǔn)確率下降為61%，考慮噴霧作業(yè)質(zhì)量要求，作業(yè)速度應(yīng)小于0.6 m/s，此時(shí)平均定位誤差為4.13 cm。

4 田間試驗(yàn)

為驗(yàn)證甘藍(lán)識(shí)別模型在大田條件下識(shí)別準(zhǔn)確性，于2021年9月18日(天氣多云，北風(fēng)2級(jí)，氣溫15～24℃)、2021年9月23日(天氣小雨，東風(fēng)2級(jí)，氣溫17～27℃)、2021年9月29日(天氣晴，東風(fēng)1級(jí)，氣溫16～27℃)在北京市小湯山國家精準(zhǔn)農(nóng)業(yè)研究示范基地進(jìn)行田間試驗(yàn)。試驗(yàn)主要采集不同光照條件下的甘藍(lán)視頻，采集時(shí)將相機(jī)安裝于田間移動(dòng)平臺(tái)前端，相機(jī)垂直向下拍攝，移動(dòng)平臺(tái)以速度0.5 m/s勻速行進(jìn)，將視頻輸入甘藍(lán)識(shí)別模型，統(tǒng)計(jì)田間條件下甘藍(lán)識(shí)別準(zhǔn)確率。

不同天氣條件下甘藍(lán)識(shí)別模型識(shí)別結(jié)果如圖12所示。多云條件下，光照較均勻，甘藍(lán)與雜草顏色相近，但紋理差異較明顯；晴天條件下，光照強(qiáng)度大，圖像亮度大，甘藍(lán)葉片葉脈部分反光情況較為嚴(yán)重；陰雨天氣條件下，光照較均勻，甘藍(lán)紋理輪廓特征清晰，地面存在水印，背景較為復(fù)雜。3種天氣條件下均有較好識(shí)別效果。

圖12 不同天氣識(shí)別結(jié)果Fig.12 Results for different weather recognition results

表10為田間甘藍(lán)識(shí)別準(zhǔn)確率結(jié)果，其中晴天條件下識(shí)別準(zhǔn)確率相較于多云天氣低1.61個(gè)百分點(diǎn)。晴天條件下識(shí)別準(zhǔn)確率略低的原因是，強(qiáng)光環(huán)境下，作物與雜草表面反光較為嚴(yán)重，獲取到的圖像紋理特征變?nèi)?，降低了作物與雜草的區(qū)分度，增加了目標(biāo)檢測(cè)的難度。本研究中未識(shí)別甘藍(lán)中存在部分甘藍(lán)苗較小，相鄰的雜草較大，對(duì)甘藍(lán)產(chǎn)生了遮擋，影響了靶標(biāo)準(zhǔn)確識(shí)別，進(jìn)而造成了漏識(shí)別。

表10 大田環(huán)境甘藍(lán)識(shí)別準(zhǔn)確率Tab.10 Identification accuracy of cabbage in field environment

5 討論

本研究以大田甘藍(lán)為研究對(duì)象，實(shí)現(xiàn)大田復(fù)雜環(huán)境下甘藍(lán)實(shí)時(shí)識(shí)別定位，分析不同光照條件以及不同速度對(duì)模型識(shí)別定位性能的影響。YOLO-mdw模型部署于NVIDIA Xavier NX開發(fā)板上，圖像處理時(shí)間為53.30 ms，相對(duì)于原始模型提高了19.69 ms，根據(jù)識(shí)別定位方法原理，速度為0.6 m/s時(shí)定位誤差可減小1.18 cm。在0.6 m/s時(shí)，平均定位誤差為4.13 cm，定位誤差與圖像處理時(shí)間成正相關(guān)，該方法用于田間對(duì)靶施藥時(shí)可進(jìn)行定位誤差補(bǔ)償，即

L=0.053 3v

(3)

v——噴霧機(jī)作業(yè)速度，m/s

本文甘藍(lán)檢測(cè)模型部署采用功率為15 W的嵌入式設(shè)備，相較于文獻(xiàn)[21，23]采用高功率的英偉達(dá)顯卡進(jìn)行模型部署，在田間無外接電源情況下，能大幅度提高設(shè)備工作時(shí)間。

在構(gòu)建甘藍(lán)目標(biāo)識(shí)別系統(tǒng)時(shí)，本文采用甘藍(lán)視頻輸入甘藍(lán)目標(biāo)模型的方式，結(jié)合卡爾曼濾波以及匈牙利算法，通過對(duì)識(shí)別目標(biāo)進(jìn)行跟蹤，建立兩幀圖像間同一個(gè)甘藍(lán)目標(biāo)的運(yùn)動(dòng)關(guān)系，解決攝像頭視場(chǎng)內(nèi)幀間目標(biāo)重復(fù)識(shí)別的問題，相較于姜紅花等[22]采用相機(jī)每間隔0.5 s拍攝一幅圖像進(jìn)行目標(biāo)識(shí)別的方式，本文提出的方法不會(huì)因平臺(tái)移動(dòng)速度變化而重復(fù)識(shí)別甘藍(lán)目標(biāo)，系統(tǒng)使用普適性更具有優(yōu)勢(shì)；本文甘藍(lán)識(shí)別系統(tǒng)在工作速度為0.6 m/s時(shí)，仍有超過94%的識(shí)別準(zhǔn)確率。相較于文獻(xiàn)[22]中采用計(jì)算量較大的Mask R-CNN的對(duì)靶施藥系統(tǒng)時(shí)工作速度只有0.2 m/s，有效提高了噴藥作業(yè)的效率。在速度進(jìn)一步提高時(shí)，識(shí)別準(zhǔn)確率急劇下降，提取不同速度下相機(jī)拍攝到的圖像，如圖13所示，在速度0.2、0.4 m/s時(shí)相機(jī)拍攝到圖像中的甘藍(lán)目標(biāo)紋理特征以及輪廓特征相對(duì)清晰，甘藍(lán)運(yùn)動(dòng)速度提升到0.6 m/s后，輪廓特征出現(xiàn)一定的模糊，受相機(jī)曝光時(shí)間影響，速度提升到0.7 m/s和0.8 m/s時(shí)，甘藍(lán)目標(biāo)出現(xiàn)嚴(yán)重運(yùn)動(dòng)模糊，造成甘藍(lán)目標(biāo)檢測(cè)模型提取到的有效特征變少，降低甘藍(lán)的辨識(shí)度，導(dǎo)致識(shí)別準(zhǔn)確率降低，與文獻(xiàn)[21]得出結(jié)論相同?？稍趫D像輸入深度學(xué)習(xí)模型前增加圖像去模糊算法，來解決高速運(yùn)動(dòng)狀態(tài)下識(shí)別準(zhǔn)確率低的問題。

圖13 不同速度下甘藍(lán)拍攝圖像Fig.13 Cabbage shooting effects at different speeds

大田試驗(yàn)結(jié)果顯示本文模型在不同天氣條件下平均識(shí)別準(zhǔn)確率為94.03%，有5.97%的甘藍(lán)未識(shí)別或錯(cuò)誤識(shí)別，未識(shí)別甘藍(lán)如圖14所示。

圖14 未識(shí)別甘藍(lán)Fig.14 Unrecognized cabbage

從圖14可以看出，甘藍(lán)受到惡劣天氣或病蟲害影響，葉片出現(xiàn)殘缺情況，如圖14a所示，這類情況導(dǎo)致甘藍(lán)特征數(shù)量少、模糊，影響模型識(shí)別準(zhǔn)確性；對(duì)于補(bǔ)栽甘藍(lán)，如圖14b，幼苗未成活，葉片數(shù)量少，面積小，相機(jī)拍攝到甘藍(lán)特征少，大部分為甘藍(lán)葉片背面特征，模型訓(xùn)練使用的數(shù)據(jù)集圖像均為垂直拍攝，更多是甘藍(lán)葉片正面特征，導(dǎo)致補(bǔ)栽未成活甘藍(lán)識(shí)別準(zhǔn)確率較低。晴天條件下，如圖14c，對(duì)于葉片出現(xiàn)殘缺的甘藍(lán)，白色葉脈占比增大，在強(qiáng)光照下，反光嚴(yán)重，獲取甘藍(lán)紋理特征少，導(dǎo)致出現(xiàn)未識(shí)別現(xiàn)象。

3組試驗(yàn)中總共將179株雜草識(shí)別為甘藍(lán)，識(shí)別錯(cuò)誤情況如圖15所示。在強(qiáng)光條件下，葉片較光滑類型雜草反光嚴(yán)重，與甘藍(lán)相似度高，且輸入模型的圖像尺寸為480像素×360像素，分辨率較低，目標(biāo)特征模糊，進(jìn)一步降低甘藍(lán)與雜草的差異，導(dǎo)致出現(xiàn)識(shí)別錯(cuò)誤現(xiàn)象。

圖15 錯(cuò)誤識(shí)別Fig.15 Error identification

針對(duì)小目標(biāo)、甘藍(lán)殘缺信息量少的問題，可構(gòu)建包含受氣候?yàn)?zāi)害或病蟲害影響和健康甘藍(lán)的均勻的綜合性大型數(shù)據(jù)集，或在輸入甘藍(lán)目標(biāo)檢測(cè)模型前，使用相應(yīng)的圖像處理技術(shù)將小目標(biāo)或殘缺甘藍(lán)進(jìn)行放大，再合并到原圖位置，增加信息量，提高檢測(cè)精度。

6 結(jié)論

(1)提出一種融合MobileNet v3s主干特征提取網(wǎng)絡(luò)與深度可分離卷積的YOLO-mdw甘藍(lán)識(shí)別模型，并結(jié)合卡爾曼濾波、匈牙利算法設(shè)計(jì)了甘藍(lán)定位方法。

(2)實(shí)驗(yàn)室試驗(yàn)表明，甘藍(lán)目標(biāo)檢測(cè)模型輸入圖像尺寸為480像素×360像素，部署于嵌入式設(shè)備NVIDIA Xavier NX開發(fā)板時(shí)推理時(shí)間為53.30 ms，光照強(qiáng)度在50～124 000 lx之間識(shí)別準(zhǔn)確率不受光照強(qiáng)度影響。識(shí)別定位試驗(yàn)表明，甘藍(lán)運(yùn)動(dòng)速度對(duì)甘藍(lán)直徑檢測(cè)無顯著影響，對(duì)識(shí)別準(zhǔn)確率以及定位準(zhǔn)確性有一定影響，速度不大于0.6 m/s時(shí)，平均定位誤差為4.13 cm，識(shí)別準(zhǔn)確率為94%。

(3)田間試驗(yàn)表明，晴天、多云、陰雨天氣條件下甘藍(lán)識(shí)別準(zhǔn)確率分別為93.14%、94.75%和94.23%，圖像處理時(shí)間為54.09 ms，識(shí)別效果滿足實(shí)際生產(chǎn)中在線精準(zhǔn)識(shí)別的要求，該方法可為大田甘藍(lán)中早期對(duì)靶施藥提供技術(shù)支撐。