羅鑫 李加強(qiáng) 何超

摘要：針對(duì)大規(guī)模澳洲堅(jiān)果種植園管理困難的問(wèn)題，提出一種基于改進(jìn)YOLOv4的林地澳洲堅(jiān)果生長(zhǎng)監(jiān)測(cè)方法。在澳洲堅(jiān)果種植基地中進(jìn)行圖像采集，記錄3種常見(jiàn)的澳洲堅(jiān)果存在形式，制作VOC數(shù)據(jù)集并用于模型訓(xùn)練。對(duì)樣本數(shù)量較少的類(lèi)別進(jìn)行數(shù)據(jù)增強(qiáng)，使訓(xùn)練樣本均衡分布。在原始YOLOv4方法的基礎(chǔ)上進(jìn)行改進(jìn)，用DenseNet121網(wǎng)絡(luò)替換原來(lái)的主干網(wǎng)絡(luò)，并使用Focalloss優(yōu)化檢測(cè)模型的分類(lèi)損失函數(shù)，有效提升檢測(cè)模型精度，同時(shí)緩解類(lèi)別間檢測(cè)精度不平衡問(wèn)題。試驗(yàn)結(jié)果表明，與YOLOv4、YOLOv3方法相比，所提改進(jìn)YOLOv4方法對(duì)每種澳洲堅(jiān)果形式的平均精度（AP）均為最高，檢測(cè)模型的平均精度均值（mAP）達(dá)到93.33%，檢測(cè)速度達(dá)到28.7 FPS，實(shí)現(xiàn)對(duì)林地澳洲堅(jiān)果落果、病害等生長(zhǎng)信息的實(shí)時(shí)、高效獲取，為精確監(jiān)測(cè)澳洲堅(jiān)果生長(zhǎng)狀態(tài)提供依據(jù)。

關(guān)鍵詞：澳洲堅(jiān)果；果園監(jiān)測(cè)；深度學(xué)習(xí)；改進(jìn)YOLOv4；目標(biāo)檢測(cè)

中圖分類(lèi)號(hào)：S776.01

文獻(xiàn)標(biāo)識(shí)碼：A

文章編號(hào)：2095-5553 （2024） 05-0217-06

收稿日期：2022年10月3日? 修回日期： 2022年11月14日*基金項(xiàng)目：國(guó)家自然科學(xué)基金（51968065）；云南省教育廳科學(xué)研究基金（2022Y571）；云南省高層次人才培養(yǎng)支持計(jì)劃（YNWR—QNBJ—2018—066，YNQR—CYRC—2019—001）

第一作者：羅鑫，男，1997年生，四川宜賓人，碩士研究生；研究方向?yàn)闄C(jī)器視覺(jué)、林產(chǎn)品檢測(cè)。E-mail： luox9707@163.com

通訊作者：何超，男，1980年生，湖北荊門(mén)人，博士，教授；研究方向?yàn)闄C(jī)器視覺(jué)。E-mail： hcsmile@163.com

A visual monitoring method for Macadamia nuts based on improved YOLOv4

Luo Xin， Li Jiaqiang， He Chao

（School of Mechanical and Traffic Engineering， Southwest Forestry University， Kunming， 650224， China）

Abstract：

In response to the management difficulty of large-scale Macadamia nuts orchards，? a forest Macadamia nut growth monitoring method based on improved YOLOv4 was proposed. Image acquisition was carried out in a Macadamia plantation， where three common forms of Macadamia presence were recorded to produce a VOC dataset and used for model training. Data augmentation was applied to classes with fewer samples to equalize the distribution of training samples. Improved on the basis of? the original YOLOv4 method， DenseNet121 network was used to replace the original backbone network， and Focal loss was used to optimize the classification loss function of the detection model， which effectively improved the detection model accuracy and alleviated the problem of unbalanced detection accuracy between classes. The experimental results showed that the improved YOLOv4 method had the highest average precision （AP） for each Macadamia nut form， compared to the YOLOv4 and YOLOv3， the mean average precision （mAP） of the detection model reached 93.33% and the detection speed reached 28.7 FPS， which achieved the real-time and efficient acquisition of growth information of Macadamia nut， such as Macadamia nut drop and disease in orchards， and provided a basis for Macadamia nut growth monitoring.

Keywords：

Macadamia nuts; orchard monitoring; deep learning; improved YOLOv4; object detection

0 引言

澳洲堅(jiān)果富含優(yōu)質(zhì)的不飽和脂肪酸和植物蛋白，食用價(jià)值和經(jīng)濟(jì)價(jià)值高［1］。自20世紀(jì)80年代起，在我國(guó)西南地區(qū)開(kāi)始廣泛種植，目前我國(guó)澳洲堅(jiān)果種植面積為全球第一［2］。澳洲堅(jiān)果種植園管理是實(shí)現(xiàn)豐產(chǎn)、優(yōu)產(chǎn)目標(biāo)的關(guān)鍵［3］。然而，現(xiàn)階段的種植園管理主要依靠技術(shù)人員在園林中巡視觀察，進(jìn)行種植園病蟲(chóng)害預(yù)防和判斷施肥施藥時(shí)機(jī)等。隨著種植面積擴(kuò)大以及果樹(shù)掛果率提高，加之西南地區(qū)地形多以山地為主，這導(dǎo)致種植園管理效率低、工作強(qiáng)度大。

近年來(lái)，隨著深度學(xué)習(xí)和機(jī)器視覺(jué)的發(fā)展，許多學(xué)者將視覺(jué)檢測(cè)技術(shù)和農(nóng)業(yè)信息感知相結(jié)合，以此獲取農(nóng)情信息，使園林管理更加方便快捷、科學(xué)精準(zhǔn)［4， 5］。樊湘鵬等［6］提出了一種改進(jìn)CNN模型，實(shí)現(xiàn)葡萄葉部病害的檢測(cè)識(shí)別，對(duì)6種葉部病害的分類(lèi)準(zhǔn)確率達(dá)到98.02%，為葡萄病害及時(shí)防治提供依據(jù)。王云露等［7］基于改進(jìn)FasterR-CNN實(shí)現(xiàn)蘋(píng)果葉部病害識(shí)別，模型的平均精度均值達(dá)到86.2%，該方法為蘋(píng)果病害的早期干預(yù)和治療提供科學(xué)依據(jù)。王國(guó)偉等［8］改進(jìn)了LeNet網(wǎng)絡(luò)模型，實(shí)現(xiàn)了5種玉米病害的檢測(cè)識(shí)別，準(zhǔn)確率達(dá)到96%。趙越等［9］使用FasterR-CNN實(shí)現(xiàn)馬鈴薯葉片病害檢測(cè)，與YOLOv3、YOLOv4進(jìn)行對(duì)比，該模型的檢測(cè)精度最高，達(dá)到99.5%。韋錦等［10］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)和SPP結(jié)構(gòu)并進(jìn)行綠籬植物識(shí)別，檢測(cè)精度和速度比原來(lái)提高了8.1%和14.9FPS，模型性能得到有效提高。候瑞環(huán)等［11］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)結(jié)構(gòu)并用于檢測(cè)林業(yè)害蟲(chóng)，精確率和召回率分別達(dá)到 85.9% 和 91.2%，與SSD、FasterR-CNN、YOLOv4方法進(jìn)行對(duì)比，有較大的檢測(cè)精度優(yōu)勢(shì)。Li等［12］應(yīng)用YOLOv3、YOLOv4檢測(cè)算法進(jìn)行獼猴桃花苞和花朵的多分類(lèi)識(shí)別，實(shí)驗(yàn)表明YOLO V4的檢測(cè)精度更高，速度更快，泛化能力更強(qiáng)。Roy等［13］改進(jìn)YOLOv4的主干網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)芒果生長(zhǎng)階段的實(shí)時(shí)檢測(cè)，為實(shí)現(xiàn)果園估產(chǎn)和智能灌溉等提供技術(shù)支持。

從上述研究可以看出，深度學(xué)習(xí)在農(nóng)林領(lǐng)域的研究應(yīng)用已較為廣泛。然而，在利用深度學(xué)習(xí)技術(shù)進(jìn)行澳洲堅(jiān)果的檢測(cè)識(shí)別及應(yīng)用方面，仍缺乏研究。獲取種植基地內(nèi)的澳洲堅(jiān)果生長(zhǎng)狀態(tài)信息是實(shí)現(xiàn)果園高效管理的關(guān)鍵，因此，本文提出基于改進(jìn)YOLOv4的澳洲堅(jiān)果檢測(cè)方法，對(duì)澳洲堅(jiān)果種植基地的病蟲(chóng)害、果樹(shù)掛果情況以及堅(jiān)果成熟掉落程度進(jìn)行檢測(cè)識(shí)別，定期獲取管理澳洲堅(jiān)果種植園所需的園林信息，為種植基地病蟲(chóng)害防治、定期清理落果和確定采收時(shí)機(jī)等種植園管理工作提供依據(jù)。

1 數(shù)據(jù)與方法

數(shù)據(jù)集是影響檢測(cè)模型性能的關(guān)鍵因素。在澳洲堅(jiān)果結(jié)果期間，在云南的多個(gè)種植基地進(jìn)行圖像采集，并制作目標(biāo)檢測(cè)數(shù)據(jù)集。圖像采集時(shí)間為2021年6月到2022年9月的澳洲堅(jiān)果結(jié)果期，在不同的天氣狀況、光照條件、拍攝距離和角度下進(jìn)行圖像采集，共2 400張?jiān)紙D像。圖像中的澳洲堅(jiān)果主要以3種形式存在，包括樹(shù)上的未成熟澳洲堅(jiān)果（標(biāo)簽名為“immature”）、成熟后自然掉落于地面的澳洲堅(jiān)果落果（標(biāo)簽名為“macadamia”）和一種廣泛分布于堅(jiān)果基地的薊馬病害果（標(biāo)簽名為“thrips”）。

使用labelImg軟件對(duì)數(shù)據(jù)集進(jìn)行圖像標(biāo)注。共3種標(biāo)簽分別對(duì)應(yīng)上述3種澳洲堅(jiān)果狀態(tài)。在標(biāo)注過(guò)程中忽略位于圖像邊緣以及被遮擋面積大于70%的澳洲堅(jiān)果個(gè)體，以PASCAL VOC格式保存標(biāo)注信息并獲得XML文件作為標(biāo)簽文件。保持圖像高寬比4∶3不變，將圖像分辨率處理為768像素×576像素，并按照8∶1∶1的比例，將數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。

1.1 數(shù)據(jù)增強(qiáng)

數(shù)據(jù)增強(qiáng)是提高模型泛化能力的有效途徑，在使用有限的數(shù)據(jù)來(lái)進(jìn)行模型訓(xùn)練時(shí)，數(shù)據(jù)增強(qiáng)操作是不可缺少的一步［14］。本文在圖像處理過(guò)程中使用的數(shù)據(jù)增強(qiáng)方法包括以下兩種：一種是簡(jiǎn)單的圖像增強(qiáng)方法，該方法獨(dú)立于模型訓(xùn)練過(guò)程，主要采用鏡像、翻轉(zhuǎn)及旋轉(zhuǎn)等方式對(duì)圖像進(jìn)行簡(jiǎn)單的幾何處理，達(dá)到擴(kuò)充圖像數(shù)據(jù)集的目的，此外，還對(duì)圖像的飽和度、亮度進(jìn)行了調(diào)整，用于模擬不同光照條件下的澳洲堅(jiān)果生長(zhǎng)狀態(tài)，該方法的處理結(jié)果如圖1所示；另一種是在模型訓(xùn)練過(guò)程中進(jìn)行的數(shù)據(jù)增強(qiáng)方法，本文采用了“Mosaic”數(shù)據(jù)增強(qiáng)方法和“mixup”混合增強(qiáng)方法，其處理效果如圖2所示。“Mosaic”數(shù)據(jù)增強(qiáng)方法將四張圖片進(jìn)行隨機(jī)裁剪，并將其拼接為一張圖片作為訓(xùn)練數(shù)據(jù)，該方法豐富了檢測(cè)目標(biāo)所處的背景，并提高模型訓(xùn)練時(shí)對(duì)計(jì)算機(jī)顯存的利用效率。“mixup”混合增強(qiáng)方法是將兩張隨機(jī)選取的圖片進(jìn)行混合，構(gòu)建虛擬樣本作為訓(xùn)練數(shù)據(jù)，該方法可以增加每幅圖像中的檢測(cè)目標(biāo)的數(shù)量，減少圖像中的非信息像素的占比，提高模型訓(xùn)練效率。

對(duì)數(shù)據(jù)集的標(biāo)簽信息進(jìn)行統(tǒng)計(jì)，數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集中，包含了19 373個(gè)未成熟澳洲堅(jiān)果（immature）樣本、19 268個(gè)澳洲堅(jiān)果落果（macadamia）樣本和18 918個(gè)澳洲堅(jiān)果病害果（thrips）樣本，各類(lèi)別的樣本數(shù)量分布基本均勻，以避免因數(shù)據(jù)本身引起不平衡問(wèn)題。

1.2 改進(jìn)YOLOv4及其網(wǎng)絡(luò)結(jié)構(gòu)

本文提出的澳洲堅(jiān)果監(jiān)測(cè)方法在YOLOv4［15］的基礎(chǔ)上進(jìn)行改進(jìn)，使用Densnet網(wǎng)絡(luò)替換了YOLOv4的主干特征提取網(wǎng)絡(luò)，以此提高改進(jìn)YOLOv4模型對(duì)澳洲堅(jiān)果目標(biāo)的檢測(cè)識(shí)別能力。

由模型檢測(cè)精度AP的定義可知，PR曲線與兩坐標(biāo)軸圍成的面積代表模型對(duì)各個(gè)類(lèi)別物體的檢測(cè)精度，而在多類(lèi)別檢測(cè)任務(wù)中，mAP為多個(gè)類(lèi)別的平均精度AP之和的平均值。

2.3 模型性能評(píng)估

本文改進(jìn)網(wǎng)絡(luò)的訓(xùn)練結(jié)果見(jiàn)圖7，模型訓(xùn)練經(jīng)過(guò)250個(gè)epoch，模型訓(xùn)練的損失值保持在0.037，表明模型訓(xùn)練已達(dá)到收斂；當(dāng)重疊率為0.5時(shí)，模型精度在0.975上下浮動(dòng)。結(jié)果表明，隨著訓(xùn)練迭代次數(shù)的增加，改進(jìn)模型的損失值不斷降低，模型訓(xùn)練最終達(dá)到收斂；檢測(cè)模型的訓(xùn)練精度較高，有較強(qiáng)的檢測(cè)識(shí)別能力。

在相同設(shè)置下，將改進(jìn)YOLOv4與YOLOv4和YOLOv3［20］的性能進(jìn)行對(duì)比（圖8）。其中，改進(jìn)YOLOv4對(duì)各類(lèi)檢測(cè)物體的P-R曲線如圖8（a）所示，該模型對(duì)3種類(lèi)別物體的檢測(cè)精度較高，且不同類(lèi)別的檢測(cè)精度相差較小，表明改進(jìn)YOLOv4模型對(duì)不同類(lèi)別物體的檢測(cè)能力較強(qiáng)并且對(duì)不同類(lèi)別物體的檢測(cè)精度較為平衡。此外，由圖8（b）、圖8（c）可以看出，YOLOv4與YOLOv3對(duì)3個(gè)類(lèi)別物體的檢測(cè)精度相差較大，類(lèi)別間檢測(cè)精度不平衡，且P-R曲線與坐標(biāo)軸之間的面積明顯小于改進(jìn)YOLOv4模型，表明前兩者的檢測(cè)精度與改進(jìn)YOLOv4模型存在較大差距。

表2對(duì)比了不同檢測(cè)方法對(duì)澳洲堅(jiān)果的檢測(cè)精度。可以看出，改進(jìn)YOLOv4對(duì)每個(gè)類(lèi)別物體的檢測(cè)精度均為最高，平均檢測(cè)精度達(dá)到93.33%，且類(lèi)別間的檢測(cè)精度差異為3種方法中最小，表明本文提出的改進(jìn)方法有效提升了檢測(cè)模型的檢測(cè)精度，有效緩解了類(lèi)別間的檢測(cè)精度不平衡問(wèn)題。與YOLOv4和YOLOv3相比，改進(jìn)YOLOv4的檢測(cè)速度達(dá)到28.7 FPS，分別提高了8 FPS、2.4 FPS，在3種模型中檢測(cè)速度最快。

2.4 檢測(cè)效果可視化

圖9是分別使用改進(jìn)YOLOv4、YOLOv4和YOLOv3對(duì)相同測(cè)試圖像的檢測(cè)結(jié)果。從圖9可以看出，改進(jìn)YOLOv4模型對(duì)3個(gè)類(lèi)別的區(qū)分辨別能力最強(qiáng)。在圖9（a）中，只有改進(jìn)YOLOv4將成功地區(qū)分識(shí)別出地面落果，YOLOv4和YOLOv3均將其錯(cuò)誤識(shí)別為其他類(lèi)別；在圖9（b）只有改進(jìn)YOLOv4將地面落果全部識(shí)別，YOLOv4模型存在漏檢問(wèn)題，而YOLOv3模型存在明顯的錯(cuò)誤識(shí)別問(wèn)題；圖9（c）中改進(jìn)YOLOv4將有病害的澳洲堅(jiān)果全部識(shí)別，而其余檢測(cè)模型存在不同程度的錯(cuò)檢、漏檢問(wèn)題。

本文提出的改進(jìn)YOLOv4模型有明顯的性能提升，對(duì)每個(gè)類(lèi)別物體的檢測(cè)精度均為最高。從可視化結(jié)果來(lái)看，改進(jìn)YOLOv4模型對(duì)每個(gè)類(lèi)別物體的檢測(cè)區(qū)分能力較強(qiáng)，有效避免了在其他檢測(cè)方法中常見(jiàn)的漏檢、錯(cuò)檢等問(wèn)題。

3 結(jié)論

1）? 本文對(duì)實(shí)際園林環(huán)境中的不同狀態(tài)的澳洲堅(jiān)果進(jìn)行圖像采集并制作目標(biāo)檢測(cè)數(shù)據(jù)集，提出一種改進(jìn)YOLOv4檢測(cè)模型對(duì)果園中的澳洲堅(jiān)果進(jìn)行檢測(cè)識(shí)別。

2）? 本文基于YOLOv4檢測(cè)方法進(jìn)行改進(jìn)，與YOLOv4、YOLOv3相比，改進(jìn)YOLOv4模型的平均檢測(cè)精度最高，達(dá)到93.33%，分別提升2.41%、6.24%；其檢測(cè)速度最快，達(dá)到28.7 FPS。

3）? 使用Focalloss優(yōu)化檢測(cè)模型的分類(lèi)損失函數(shù)，有效緩解多類(lèi)別檢測(cè)任務(wù)中的精度不平衡問(wèn)題。

參 考 文 獻(xiàn)

［1］ Hu W， Fitzgerald M， Topp B， et al. A review of biological functions， health benefits， and possible de novo biosynthetic pathway of palmitoleic acid in macadamia nuts ［J］. Journal of Functional Foods， 2019， 62： 103520.

［2］ Tu X H， Wu B， Xie Y， et al. A comprehensive study of raw and roasted macadamia nuts： Lipid profile， physicochemical， nutritional， and sensory properties ［J］. Food Science & Nutrition， 2021， 9（3）： 1688-1697.

［3］ Trueman S J. The reproductive biology of macadamia ［J］. Scientia Horticulturae， 2013， 150： 354-359.

［4］ Mavridou E， Vrochidou E， Papakostas G A， et al. Machine vision systems in precision agriculture for crop farming ［J］. Journal of Imaging， 2019， 5（12）： 89.

［5］ Yang B， Xu Y. Applications of deep-learning approaches in horticultural research： A review ［J］. Horticulture Research， 2021， 8： 445.

［6］ 樊湘鵬， 許燕， 周建平， 等. 基于遷移學(xué)習(xí)和改進(jìn)CNN的葡萄葉部病害檢測(cè)系統(tǒng)［J］. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（6）： 151-159.

Fan Xiangpeng， Xu Yan， Zhou Jianping， et al. Detection system for grape leaf diseases based on transfer learning and updated CNN ［J］. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（6）： 151-159.

［7］ 王云露， 吳杰芳， 蘭鵬， 等. 基于改進(jìn)Faster R-CNN的蘋(píng)果葉部病害識(shí)別方法［J］. 林業(yè)工程學(xué)報(bào)， 2022， 7（1）： 153-159.

Wang Yunlu， Wu Jiefang， Lan Peng， et al. Apple disease identification using improved Faster R-CNN ［J］. Journal of Forestry Engineering， 2022， 7（1）： 153-159.

［8］ 王國(guó)偉， 劉嘉欣. 基于卷積神經(jīng)網(wǎng)絡(luò)的玉米病害識(shí)別方法研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2021， 42（2）： 139-145.

Wang Guowei， Liu Jiaxin. Research on corn disease recognition method based on convolutional neural network ［J］. Journal of Chinese Agricultural Mechanization， 2021， 42（2）： 139-145.

［9］ 趙越， 趙輝， 姜永成， 等. 基于深度學(xué)習(xí)的馬鈴薯葉片病害檢測(cè)方法［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（10）： 183-189.

Zhao Yue， Zhao Hui， Jiang Yongcheng， et al. Detection method of potato leaf diseases based on deep learning ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（10）： 183-189.

［10］ 韋錦， 李正強(qiáng)， 許恩永， 等. 基于DA2-YOLOv4算法綠籬識(shí)別研究［J］. 中國(guó)農(nóng)機(jī)化學(xué)報(bào)， 2022， 43（9）： 122-130.

Wei Jing， Li Zhenqiang， Xu Enyong， et al. Research on hedge recognition based on DA2-YOLOv4 algorithm ［J］. Journal of Chinese Agricultural Mechanization， 2022， 43（9）： 122-130.

［11］ 候瑞環(huán)， 楊喜旺， 王智超， 等. 一種基于YOLOv4-TIA的林業(yè)害蟲(chóng)實(shí)時(shí)檢測(cè)方法［J］. 計(jì)算機(jī)工程， 2022， 48（4）： 255-261.

Hou Ruihuan， Yang Xiwang， Wang Zhichao， et al. A real-time detection method for forestry pests based on YOLOv4-TIA ［J］. Computer Engineering， 2022， 48（4）： 255-261.

［12］ Li G， Suo R， Zhao G， et al. Real-time detection of kiwifruit flower and bud simultaneously in orchard using YOLOv4 for robotic pollination ［J］. Computers and Electronics in Agriculture， 2022， 193： 106641.

［13］ Roy A M， Bhaduri J. Real-time growth stage detection model for high degree of occultation using DenseNet-fused YOLOv4［J］. Computers and Electronics in Agriculture， 2022， 193： 106694.

［14］ Shorten C， Khoshgoftaar T M. A survey on image data augmentation for deep learning ［J］. Journal of Big Data， 2019， 6（1）： 1-48.

［15］ Bochkovskiy A， Wang C Y， Liao H Y M. Yolov4： Optimal speed and accuracy of object detection ［J］. ArXiv Preprint ArXiv： 2004， 2020： 10934.

［16］ Huang G， Liu Z， Van Der Maaten L， et al. Densely connected convolutional networks ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2017： 4700-4708.

［17］ Liu S， Qi L， Qin H， et al. Path aggregation network for instance segmentation ［C］. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition， 2018： 8759-8768.

［18］ Lin T Y， Goyal P， Girshick R， et al. Focal loss for dense object detection ［C］. Proceedings of the IEEE International Conference on Computer Vision， 2017： 2980-2988.

［19］ Liu Y， Sun P， Wergeles N， et al. A survey and performance evaluation of deep learning methods for small object detection ［J］. Expert Systems with Applications， 2021， 172： 114602.

［20］ Farhadi A， Redmon J. Yolov3： An incremental improvement ［C］. Computer Vision and Pattern Recognition. Berlin/Heidelberg， Germany： Springer， 2018， 1804： 1-6.