關(guān)鍵詞：雜草特征提?。惶鞖鈹?shù)據(jù)增強；遷移學(xué)習(xí)；Yolov8；輕量級；深度相機

雜草是影響農(nóng)業(yè)生產(chǎn)的主要因素，農(nóng)田中雜草與作物競爭水分、養(yǎng)分以及空間位置等資源，直接影響作物的產(chǎn)量與品質(zhì)[1-3]。因此，合理有效地防治雜草成為當前農(nóng)業(yè)發(fā)展的重要任務(wù)，而雜草檢測是智能除草的基礎(chǔ)，也是其中的難點，因此研究雜草的精準識別與定位非常重要[4-7]。

深度學(xué)習(xí)因其檢測精度高、魯棒性強，近幾年成為圖像分類的熱門方法，其中，卷積神經(jīng)網(wǎng)絡(luò)被廣泛應(yīng)用于對作物、雜草的檢測[8-11]。Jiang等[12]提出基于CNN（cable news network）特征的圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks， GCN），通過GCN-Resnet-101方法在4種不同的雜草數(shù)據(jù)集上實現(xiàn)了97.8%、99.37%、98.93% 和96.51% 的識別準確率。Chen 等[13]使用添加注意力機制和特征融合的Yolov4算法檢測芝麻伴生雜草，檢測精度達到96.16%。Jin等[14]將Yolov3應(yīng)用于菜田除草，識別出蔬菜作物，將其他植物分類為雜草，Yolov3對蔬菜的檢測精度達到97%以上，避免了因雜草種類繁多導(dǎo)致檢測精度低的問題。Tang等[15]構(gòu)建了K-means 結(jié)合CNN 的雜草識別模型，采用K-means預(yù)訓(xùn)練代替CNN的權(quán)值隨機初始化，對雜草識別準確率為92.89%。Wang等[16]提出了基于Swin Transformer 和兩階段遷移學(xué)習(xí)的細粒度雜草識別方法，利用遷移學(xué)習(xí)策略解決訓(xùn)練數(shù)據(jù)不足的問題，并在deepweed公共數(shù)據(jù)集上證明了所提方法的有效性。趙輝等[17]在DenseNet網(wǎng)絡(luò)上引入注意力機制，通過正則化增強不同雜草類型適應(yīng)性，對玉米幼苗及6種伴生雜草平均識別準確率達到98.63%。以上研究表明，卷積神經(jīng)網(wǎng)絡(luò)在作物、雜草識別中有很好的適用性，但是大多數(shù)研究采用背景環(huán)境單一的數(shù)據(jù)集，在模型訓(xùn)練時沒有獲得作物與雜草背景復(fù)雜或者天氣環(huán)境變化的特征信息，在實際應(yīng)用中遇到此類情況時，作物和雜草的識別精度會大幅度下降，因此如何在復(fù)雜環(huán)境背景與多變天氣情況中提高對作物與雜草的識別精度與魯棒性仍是亟待解決的問題。

基于以上原因，本研究采用天氣數(shù)據(jù)增強的方法對訓(xùn)練數(shù)據(jù)進行增強，同時利用Yolov8模型在大型雜草數(shù)據(jù)集上進行預(yù)訓(xùn)練得到所需的雜草特征參數(shù)，使用自采雜草數(shù)據(jù)集對模型進行微調(diào)，使模型具有較高的準確率與泛化性。最終得到所需的模型，將其部署至安卓移動端，實現(xiàn)對雜草的快速、輕量級的識別。

1 材料與方法

1.1 雜草數(shù)據(jù)集

本研究采用兩組數(shù)據(jù)集，一是預(yù)訓(xùn)練所用的Jiang數(shù)據(jù)集[12]和Weed25數(shù)據(jù)集[18]，二是SXAU自采數(shù)據(jù)集。其中，Jiang數(shù)據(jù)集擁有玉米、藜、薊、莎草等共4 800 幅圖像，Weed25 數(shù)據(jù)集擁有稗、馬唐、狗尾巴草、蒼耳、薊等25 種雜草圖像，共14 035幅。

1.1.1 預(yù)訓(xùn)練數(shù)據(jù)集 coco 數(shù)據(jù)集中主要包括人、動物、物體等，并且都為生活場景中的粗粒度圖像，Yolo官方提供的coco數(shù)據(jù)集預(yù)訓(xùn)練模型，模型難以直接通過微調(diào)獲取作物與雜草的特征信息。因此，使用開源數(shù)據(jù)集Jiang 數(shù)據(jù)集與Weed25數(shù)據(jù)集對卷積神經(jīng)網(wǎng)絡(luò)進行預(yù)訓(xùn)練，這2個數(shù)據(jù)集具有豐富的雜草細粒度特征，卷積神經(jīng)網(wǎng)絡(luò)可以從中獲取大量的作物、雜草相關(guān)參數(shù)特征，符合雜草識別研究類型，通過遷移學(xué)習(xí)以獲得訓(xùn)練充分的所需模型參數(shù)。

1.1.2 SXAU 數(shù)據(jù)集 SXAU 雜草數(shù)據(jù)集采集自山西農(nóng)業(yè)大學(xué)榆次李坊試驗基地與山西農(nóng)業(yè)大學(xué)牧站試驗地，采集對象為幼苗期的玉米、大豆及其伴生雜草。于2023年5月20日至2023年6月5日，使用Canon 單反相機EOS70D、Nikon 單反相機D3 300與智能手機采集圖像。采集玉米、大豆、薊、藜、劍葉鳳尾蕨、打碗花、馬齒莧、馬唐、苣荬菜、反枝莧、龍葵圖像共5 891幅，其中，玉米992幅、大豆1 265幅、薊417幅、藜691幅、劍葉鳳尾蕨392幅、打碗花452幅、馬齒莧384幅、馬唐400幅、苣荬菜326幅、反枝莧372幅、龍葵200幅。

1.2 數(shù)據(jù)增強

由于自建數(shù)據(jù)集中的原始圖像數(shù)量較少，且各種類數(shù)量不均勻，為了防止由于圖像數(shù)量少而造成模型過擬合，本研究采用數(shù)據(jù)增強方法對已有的數(shù)據(jù)集進行擴充，增加數(shù)據(jù)的多樣性，進而學(xué)習(xí)更多作物與雜草的相關(guān)特征，提升模型的應(yīng)用能力。本研究采用天氣數(shù)據(jù)增強與在線數(shù)據(jù)增強的方式，利用Python中的Albumentations庫的圖像數(shù)據(jù)增強算法來模仿不同天氣條件引起的圖像變化。

選取玉米幼苗的原圖像進行數(shù)據(jù)增強：利用隨機霧變換，可以將霧隨機添加到圖像的不同位置并模糊背景；泥濺變換可以模擬圖像采集操作時造成的泥濺形式的鏡頭遮擋；當作物、雜草靠近時，容易受到葉片遮擋造成陰影，這種現(xiàn)象可以通過陰影變化來進行模擬；雨水變換可以模擬雨天采集到的圖像，提高下雨時的檢測精度；采用隨機的日光變換，利用自然光和光調(diào)節(jié)技術(shù)模擬圖像，產(chǎn)生隨機的太陽耀斑。

對每幅圖像隨機使用3 種天氣進行數(shù)據(jù)增強，使數(shù)據(jù)集擴充到原來的4倍，共23 564幅圖像。按照訓(xùn)練集：驗證集：測試集為7∶1∶2的比例建立數(shù)據(jù)集，其中訓(xùn)練集16 495幅，驗證集2 356幅，測試集4 713幅。為保證數(shù)據(jù)可靠，采用隨機的方法進行數(shù)據(jù)集劃分，數(shù)據(jù)集之間互不重合。訓(xùn)練集用于擬合模型，通過設(shè)置的超參數(shù)訓(xùn)練出分類模型，驗證集用于調(diào)整模型參數(shù)，測試集用于對模型進行性能評價。使用標注工具LabelIMG對圖像進行標注，生成為Pascal VOC數(shù)據(jù)集格式。

使用在線數(shù)據(jù)增強的方法，在訓(xùn)練過程中每個step有50%的概率使用Mosaic數(shù)據(jù)增強，并且50%的概率對Mosaic增強后的圖像進行mixup數(shù)據(jù)增強處理。同時訓(xùn)練中對訓(xùn)練集進行隨機的翻轉(zhuǎn)、色域變換，對圖像多余的部分添加灰條，增強模型的魯棒性與泛化性。相比離線數(shù)據(jù)增強該方法不需要對增強后的數(shù)據(jù)進行保存，節(jié)省了大量的存儲空間，減少計算機硬件的功耗，具有很強的靈活性。

1.3 基于微調(diào)的Yolov8 試驗方法

遷移學(xué)習(xí)可以更好地幫助模型學(xué)習(xí)雜草的特征，減少訓(xùn)練時神經(jīng)網(wǎng)絡(luò)所需的計算資源和數(shù)據(jù)大小[1920]。為了解決數(shù)據(jù)集數(shù)量偏少以及各種類圖像數(shù)量不均勻的問題，本研究先使用Jiang數(shù)據(jù)集和Weed25數(shù)據(jù)集對Yolov8等深度學(xué)習(xí)模型進行預(yù)訓(xùn)練，通過遷移學(xué)習(xí)的方法減少模型對數(shù)據(jù)集數(shù)量的需求，具體方法如圖3所示。在獲得預(yù)訓(xùn)練模型之后，使用SXAU數(shù)據(jù)集對模型進行訓(xùn)練微調(diào)，獲得最終的雜草識別模型。

1.3.1 Yolov8 算法 YOLOv8[21]是基于YOLO 系列的目標檢測算法，相比于之前的Yolo版本，它的速度和準確性都有了顯著提高，因此非常適合實時目標檢測[22]。經(jīng)與EfficientDet[23]、Yolov5[2425]、Yolov7-tiny[26]模型對比分析，本研究選擇Yolov8模型作為作物與雜草的識別模型。

1.3.2 定位算法 本研究使用D435i深度相機與HBV-1 780-2 雙目視覺相機計算物體的深度距離，將物體二維像素平面的中心點映射到三維世界中的位置點，需要經(jīng)過像素坐標系、圖像坐標系、相機坐標系一系列的轉(zhuǎn)換。二維坐標中心點由Yolov8模型通過檢測RGB圖像獲取，深度值通過深度相機可以直接獲取，D435i深度相機內(nèi)參出廠已默認標定，不需要再進行人工標定。HBV-1 780-2雙目相機運用張正友標定法先拍攝包含標定板的圖像進行人工標定，讓標定板在不同位置和角度有足夠的變化，檢測每幅圖像標定板上的角點，獲取雙目相機的參數(shù)矩陣與畸變系數(shù)。之后通過識別到的作物與雜草的中心點像素坐標后，結(jié)合深度信息，采用立體匹配算法提取三維空間坐標信息。

1.3.3 可視化分析 細粒度圖像分類任務(wù)的關(guān)鍵在于模型是否能關(guān)注圖像中最具判別性的部分[27]，而模型對于使用者來說卻如同黑箱[28]，無法了解到模型是否關(guān)注到了圖像中的重點。利用模型的可視化作為診斷工具，驗證模型是否觀察到了圖像中判別性的部分。

1.4 環(huán)境配置與參數(shù)設(shè)置

環(huán)境系統(tǒng)選用Windows11 專業(yè)版，內(nèi)存為64 GB，搭載Intel CoreI7-13 700KF處理器，GPU采用NVIDIA GeForce RTX 4 080，以Pytorch 為開發(fā)環(huán)境，Python版本選用3.8。使用訓(xùn)練集對模型進行訓(xùn)練，訓(xùn)練時采用fp16 混合精度訓(xùn)練，訓(xùn)練100次迭代，前50次迭代進行凍結(jié)訓(xùn)練，模型的學(xué)習(xí)率設(shè)置為0.001，采用Adam優(yōu)化器，優(yōu)化器內(nèi)動量因子（momentum）參數(shù)設(shè)為0.937，權(quán)值衰減系數(shù)設(shè)為0，Batch Size 設(shè)為32，調(diào)整學(xué)習(xí)率采用余弦退火衰減策略。

1.5 模型評價指標

為了表示模型的性能，決定使用類別精度（average precison，AP）、類別精度均值（mean AP，mAP）、F1-score、參數(shù)量以及模型占用內(nèi)存作為模型評價指標。AP與精確率（precision，P）和召回率（recall，R）有關(guān)，是PR曲線的曲線下面積，AP值更能反映出模型的效果。具體計算公式如下。

式中，TP為正確預(yù)測為正樣本的數(shù)量；FP為錯誤預(yù)測為正樣本的數(shù)量；FN為錯誤預(yù)測為負樣本的數(shù)量；n 為預(yù)測樣本數(shù)量。

2 結(jié)果與分析

2.1 不同神經(jīng)網(wǎng)絡(luò)對雜草特征提取效果的比較

從表1可以看出，Yolov8的精度值、準確率、召回率、F1值均高于其他網(wǎng)絡(luò)，平均精度比其他神經(jīng)網(wǎng)絡(luò)高1～7個百分點，準確率和召回率相比其他網(wǎng)絡(luò)也高出了1～37 個百分點，F(xiàn)1 值相比Yolov7-tiny高24個百分點，由此證明了Yolov8在雜草識別中的有效性，在經(jīng)過微調(diào)之后，Yolov8可以更好的遷移雜草特征參數(shù)，對雜草特征提取效果更好。同時，Yolov8 的平均檢測時間僅需13.032 ms，優(yōu)于Yolov5和Effcientdet，可以滿足除草作業(yè)中雜草識別算法的實時性要求。

2.2 微調(diào)對神經(jīng)網(wǎng)絡(luò)提取雜草特征效果的影響

為了評估微調(diào)對神經(jīng)網(wǎng)絡(luò)提取雜草特征的效果，使用預(yù)訓(xùn)練Jiang數(shù)據(jù)集和Weed25數(shù)據(jù)集的模型對比未經(jīng)過預(yù)訓(xùn)練的模型。由圖4 可以看出，經(jīng)過預(yù)訓(xùn)練的模型在迭代10次精度就已經(jīng)達到了90%，而未經(jīng)過預(yù)訓(xùn)練的模型在迭代70次之后精度才達到90%，并且經(jīng)過預(yù)訓(xùn)練的模型精度要超過未經(jīng)過預(yù)訓(xùn)練模型的精度，由此可以判斷，通過遷移學(xué)習(xí)將預(yù)訓(xùn)練模型的雜草特征參數(shù)轉(zhuǎn)移至新的模型并對其微調(diào)，可以更快地獲得較高的檢測精度。

為判斷2種模型的實際檢測能力，在測試集中抽取3幅圖像，對預(yù)測結(jié)果進行比較（圖5）。測試圖像打碗花，經(jīng)過微調(diào)的模型對其檢測置信度達到了80%，而沒有經(jīng)過微調(diào)的模型打碗花的置信度只達到了30%，并沒有檢測出雜草的種類，說明微調(diào)提高了模型對雜草檢測的準確率。在測試圖像反枝莧時，經(jīng)過微調(diào)的模型對檢測反枝莧的置信度達到了90%，而劍葉鳳尾蕨的置信度僅有10%，不影響模型對雜草的精準識別，而沒有經(jīng)過微調(diào)的模型雖然對反枝莧的置信度有60%，但誤檢為大豆的置信度也接近了40%，在實際應(yīng)用中極容易錯誤分類，將雜草錯分為作物。以上結(jié)果表明，微調(diào)有助于卷積神經(jīng)網(wǎng)絡(luò)快速提取雜草特征參數(shù)，提升模型對雜草正確種類的判斷，降低模型錯分的概率，建立精準的雜草識別模型。

2.3 天氣數(shù)據(jù)增強對雜草識別效果的影響

為驗證天氣數(shù)據(jù)增強對復(fù)雜天氣下雜草識別效果的影響，對使用天氣數(shù)據(jù)增強方法與未使用增強方法的模型進行對比，結(jié)果（表2）表明，使用天氣數(shù)據(jù)增強方法模型的平均精度、準確率、召回率、F1值都有提高，證實經(jīng)過天氣數(shù)據(jù)增強與微調(diào)的模型達到了最高的性能。為了解模型對雜草的分類情況，對測試集隨機抽取不同天氣情況下各類圖像50幅進行混淆矩陣分析，并與未經(jīng)過天氣數(shù)據(jù)增強與微調(diào)的Yolov8模型進行對比。由圖6可以看出，龍葵、藜、薊、打碗花、反枝莧、劍葉鳳尾蕨與苣荬菜有3～5幅被誤分為其他種類，在經(jīng)過天氣數(shù)據(jù)增強與微調(diào)之后，誤分的數(shù)量最多不超過1幅，證明該模型更好地學(xué)習(xí)到了雜草之間的細粒度特征，誤分率降低，具有很好的有效性。

2.4 模型可視化分析

從測試集中隨機抽取幾幅圖像，使用CAM方法將其可視化，如圖7所示?？梢钥闯?，模型將熱區(qū)很好地集中在作物與雜草幼苗上，忽略了背景區(qū)域所造成的影響，能夠準確提取圖像中作物與雜草的關(guān)鍵特征。

2.5 模型定位精度試驗

通過張正友標定法得到雙目相機的參數(shù)矩陣、畸變系數(shù)，結(jié)果如表3所示。

以劍葉鳳尾蕨為檢測對象，在0.5～1.0 m 距離內(nèi)，對D435i 深度相機和HBV-1780-2 雙目相機的距離測量和誤差進行評價分析，測得距離的最大誤差分別為0.02 和0.04 m。同時可以看出，在近距離時，雜草的測量結(jié)果更為精確，隨著與相機之間距離的增加，誤差逐漸增大。這主要歸因于相機本身的分辨率，相機對距離較遠的雜草深度信息獲取不夠充分。從誤差（表4）來看，兩者的測量誤差都均能滿足實時測距的要求。然而，深度相機相較于普通雙目相機，測量效果要更為精確，具有更高的穩(wěn)定性。另外，由于無需人工標注，深度相機更加便捷，更適用于對雜草進行三維空間定位。

2.6 移動端雜草識別驗證

為驗證該模型在實際應(yīng)用中的效果，將其部署至Android手機端，開發(fā)為手機APP。在測試集中抽取了100幅圖像，其中檢測正確的97幅，檢測錯誤的3幅，平均準確率達到97%，具體識別結(jié)果如圖8所示。該模型部署至移動端可以保持較高的準確性與實時性，可為輕量級模型部署提供可行的方法。

3 討論

本研究采用公開的雜草數(shù)據(jù)集對Yolov8 模型進行遷移學(xué)習(xí)，構(gòu)建了SXAU雜草數(shù)據(jù)集，并通過天氣數(shù)據(jù)增強與在線數(shù)據(jù)增強相結(jié)合的方法對自建數(shù)據(jù)集進行增強，對預(yù)訓(xùn)練模型微調(diào)實現(xiàn)了對玉米、大豆以及9 種雜草的精準檢測。Wang等[18]使用YOLO算法在自采的雜草數(shù)據(jù)集上達到了92.40% 的精度值，張偉康等[29] 通過改良的Yolov5 算法在自采的雜草數(shù)據(jù)集上達到95.70%的精度值。本研究在預(yù)訓(xùn)練之后，對自采的SXAU數(shù)據(jù)集達到了97.43%的精度值，這種差異可能來自于測試數(shù)據(jù)集的不同，但在預(yù)訓(xùn)練前后同樣對SXAU數(shù)據(jù)集進行測試，精度值差值大約為2個百分點，說明預(yù)訓(xùn)練對提升雜草識別精度是有效的。同時，在預(yù)訓(xùn)練之后，模型通過短時間的訓(xùn)練即可獲得較高的識別精度，具有訓(xùn)練時間短的優(yōu)點。本研究采用輕量型模型，相較于Jiang等[12]和Chen等[13]方法具有平均檢測速度快的優(yōu)勢。在數(shù)據(jù)集方面，與大部分雜草識別試驗不同，本研究采用了天氣數(shù)據(jù)增強方法，用于對不同天氣情況下的雜草進行特征提取學(xué)習(xí)，最終得到的模型試驗結(jié)果表明，天氣數(shù)據(jù)增強相較于傳統(tǒng)的數(shù)據(jù)增強可以提高模型的特征學(xué)習(xí)能力，適應(yīng)復(fù)雜農(nóng)田環(huán)境下雜草的高精度識別。綜上所述，本方法可為后續(xù)雜草識別研究提供參考。