收稿日期:2024-04-15
基金項目:云南省科技廳重大科技專項(202302AE0900200105);云南省科技廳科技計劃農(nóng)業(yè)聯(lián)合專項(202301BD070001-105)
作者簡介:趙玉清(1975-),男,白族,云南大理人,碩士,教授,主要研究方向為智能農(nóng)業(yè)機械裝備。(E-mail)331863839@qq.com
通訊作者:張 悅,(E-mail)zyue1234@163.com
摘要: 水果采摘機器人作業(yè)是提高水果采摘效率,解決勞動力短缺的重要途經(jīng)。準(zhǔn)確高效的柑橘果實采摘機器人已成為農(nóng)業(yè)機器人研究的熱點之一。目標(biāo)識別是柑橘果實采摘機器人精準(zhǔn)高效完成采摘作業(yè)的首要任務(wù)與關(guān)鍵技術(shù)。本文綜述了近年來應(yīng)用于柑橘果實采摘機器人中的傳統(tǒng)目標(biāo)識別算法、機器學(xué)習(xí)算法和深度學(xué)習(xí)算法,闡述了不同目標(biāo)識別算法的特征及應(yīng)用情況,最后指出當(dāng)前柑橘果實目標(biāo)識別算法存在的問題,并對柑橘果實目標(biāo)識別算法發(fā)展趨勢進行展望。
關(guān)鍵詞: 柑橘;采摘機器人;目標(biāo)識別;研究進展
中圖分類號: TP391.41 文獻標(biāo)識碼: A 文章編號: 1000-4440(2024)08-1552-09
Research progress on target recognition algorithms for citrus fruit picking robots
ZHAO Yuqing1,2,3, JIA Aoying1,3, WANG Baijuan4, DENG Hangyu1,3, XIANG Kaiming1,3, ZHANG Yue3,5
(1.Faculty of Mechanical and Electrical Engineering, Yunnan Agricultural University, Kunming 650201, China;2.Faculty of Transportation Engineering, Kunming University of Science and Technology, Kunming 650093, China;3.The Key Laboratory for Crop Production and Smart Agriculture of Yunnan Province, Kunming 650201, China;4.College of Tea Science, Yunnan Agricultural University, Kunming 650201, China;5.College of Big Data, Yunnan Agricultural University, Kunming 650201, China)
Abstract: Fruit picking robot operation is an important way to improve fruit picking efficiency and solve labor shortage. Accurate and efficient citrus fruit picking robot has become one of the hotspots in agricultural robot research. Target recognition is the primary task and key technology for citrus fruit picking robots to complete picking operations accurately and efficiently. The traditional target recognition algorithms, machine learning algorithms and deep learning algorithms applied to citrus fruit picking robots in recent years were reviewed in this paper, and the characteristics and applications of different target recognition algorithms were discussed. Finally, the problems existing in the current citrus fruit target recognition algorithms were pointed out, and the future development trend of citrus fruit target recognition algorithms was prospected.
Key words: citrus;picking robot;target recognition;research progress
隨著國民經(jīng)濟水平的提升和居民生活質(zhì)量的提高,人們對水果的需求量和消費量在日益增加[1]。柑橘是全球最重要的經(jīng)濟農(nóng)作物之一,是世界第一大類水果。自2012年起,中國柑橘的種植面積和產(chǎn)量均位居世界第一,2022年,中國柑橘果實總產(chǎn)量高達6.0×107 t[2],約為全球總產(chǎn)量的25%。采摘是柑橘生產(chǎn)過程中復(fù)雜程度最高、勞動力需求最大的一個環(huán)節(jié)。傳統(tǒng)的柑橘果實采收基本依賴人工作業(yè),采摘效率低下,同時隨著中國人口老齡化,勞動力短缺,導(dǎo)致人工采摘柑橘果實的生產(chǎn)成本增加和果農(nóng)收入減少[3]。為降低采摘成本,提高果農(nóng)收入,促進中國柑橘產(chǎn)業(yè)更快更好發(fā)展,研制柑橘果實采摘機器人是當(dāng)前智慧種植的一個重要方向。
柑橘果實自動采摘作業(yè)主要包括果實感知識別、精確定位和機械臂采摘3個部分。柑橘果實采摘機器人首先利用果實識別系統(tǒng)從復(fù)雜的果園環(huán)境中感知和識別可采摘的柑橘果實,其次通過定位技術(shù)確定柑橘果實的位置坐標(biāo),最后根據(jù)果實的坐標(biāo),機械臂按規(guī)定的路徑運動到相應(yīng)位置,通過末端執(zhí)行器完成采摘作業(yè)。其中,柑橘果實的識別是實現(xiàn)自動采摘的首要任務(wù),也是機器人完成精準(zhǔn)采摘的關(guān)鍵技術(shù)之一,對智慧種植有重要的意義[4]。柑橘果實目標(biāo)識別技術(shù)是采用視覺圖像采集、圖像分割與目標(biāo)識別等技術(shù),從采集的圖像數(shù)據(jù)中識別出可采摘的柑橘目標(biāo),并進行相關(guān)信息的分析和處理[5]。目前柑橘果實目標(biāo)識別方法主要有傳統(tǒng)目標(biāo)識別方法、機器學(xué)習(xí)方法和基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的深度學(xué)習(xí)方法等3種[6]。
1 傳統(tǒng)目標(biāo)識別算法
傳統(tǒng)目標(biāo)識別算法是基于顏色、幾何形狀、紋理等特征對圖像進行分割及識別目標(biāo)的檢測和分類[7]?;陬伾卣鞯母涕俟麑嵶R別方法主要是通過選取合適的顏色模型,利用柑橘果實與背景的顏色差異進行區(qū)分;基于紋理特征的柑橘識別方法主要是通過柑橘果實與背景的細微紋理、形狀及色彩差異進行區(qū)分[8]。Kurtulmus等[9]采用顏色和Gabor紋理特征對未成熟柑橘果實進行識別,測試集柑橘果實成功識別率為75.3%,模型對枝葉遮擋的柑橘果實識別精度較低。Lu等[10]利用數(shù)碼相機獲取不同天氣(晴天和陰天)和不同遮擋條件下樹冠內(nèi)的柑橘果實圖像,采用融合色差信息和歸一化RGB模型的圖像分割方法,通過檢測色差圖的邊緣以及這些邊緣的拐角點,構(gòu)建輪廓片段集合,根據(jù)輪廓片段的長度、彎曲度和凹凸性選擇有效子集,并對有效輪廓片段組合分析和橢圓擬合,以恢復(fù)被遮擋的柑橘果實輪廓,該方法可有效恢復(fù)被遮擋柑橘果實圖像,相對誤差為5.27%,但邊緣特征處理方法較為復(fù)雜。鄒繼欣等[11]提出了基于DSP(數(shù)字信號處理技術(shù))的柑橘果實自動識別系統(tǒng),該系統(tǒng)通過提取顏色空間中紅色色差分量,使用DSP對柑橘視頻數(shù)據(jù)進行圖像分割、柑橘特征提取,成功識別出柑橘果實,該系統(tǒng)識別自然光環(huán)境下單個柑橘果實的時間小于40 ms且準(zhǔn)確率達96.26%,但光照不足時識別誤差較大。鄒偉[12]利用工業(yè)相機獲取柑橘果實圖像,采用HSV顏色模型檢測柑橘成熟度,準(zhǔn)確率達到90%以上。
上述研究中當(dāng)柑橘果實所在背景簡單時,基于顏色、形狀和紋理特征的柑橘果實識別均取得了較高的精度,然而,在實際的果園環(huán)境中,常出現(xiàn)果實成簇重疊、枝條枝葉遮擋、光照變化等現(xiàn)象,在這些情況下,上述目標(biāo)識別方法的準(zhǔn)確率明顯下降。
2 基于機器學(xué)習(xí)的目標(biāo)識別算法
機器學(xué)習(xí)是一種利用信息(數(shù)據(jù))或經(jīng)驗優(yōu)化計算機算法的研究方法[13],是人工智能的核心技術(shù)和實現(xiàn)手段。機器學(xué)習(xí)算法可分為監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)3大類。監(jiān)督學(xué)習(xí)是利用一組已知類別的樣本調(diào)整分類器的參數(shù),實現(xiàn)目標(biāo)識別與分類[6]。方東玉[14]利用HSV顏色模型中S分量進行圖像灰度處理,采用Canny邊緣檢測算法提取柑橘果實的周長、面積與圓形度等信息作為特征參數(shù)輸入到支持向量機(SVM)分類器中進行訓(xùn)練,驗證集柑橘果實等級分類檢測準(zhǔn)確率達95%以上。李華[15]利用主成分分析(PCA)算法對柑橘果實顏色、形狀和紋理等31個特征進行降維,比較KNN(K-近鄰)、SVM、MLP(多層感知機)和Adaboost(Adaptive Boosting)4種機器學(xué)習(xí)模型的分類效果,發(fā)現(xiàn)SVM的分類精度較好,準(zhǔn)確率達到93.43%。Lin等[16]利用深度濾波器和密度聚類方法將濾波后的圖像中相鄰點聚成簇,再基于貝葉斯分類器的圖像分割方法去除復(fù)雜的果園背景,構(gòu)建了一個基于顏色、梯度和幾何特征的支持向量機分類器,用于果園環(huán)境中柑橘果實的檢測,識別精確度為98.28%。申飄[17]為檢測柑橘果皮表面是否存在缺陷,構(gòu)建了基于改進天鷹算法的支持向量機(IAO-SVM)分類模型,并與基于天鷹算法的支持向量機模型 (AO-SVM)、基于粒子群算法的支持向量機模型 (PSO-SVM)、誤差逆向傳播的神經(jīng)網(wǎng)絡(luò)模型 (BP)和SVM等機器學(xué)習(xí)模型相比較,發(fā)現(xiàn)IAO-SVM模型效果最好,分類準(zhǔn)確率達95.83%。Cai等[18]在相同的光照條件下采集柑橘圖像,利用變分模型去除柑橘圖像的噪聲,基于植物細胞群算法(PCSA)優(yōu)化2D-Otsu閾值分割算法,并利用混沌灰狼算法(CGWO)優(yōu)化DT-SVM模型,進而實現(xiàn)柑橘果皮表面的缺陷識別,總體識別準(zhǔn)確率達96.71%。Behera等[19]將殘差網(wǎng)絡(luò)ResNet101的特征提取與SVM的分類相結(jié)合,對12個柑橘品種進行分類,識別準(zhǔn)確率高達99.81%。半監(jiān)督學(xué)習(xí)是利用有限的已知樣本類別數(shù)據(jù)和大量的未知樣本類別數(shù)據(jù)用于網(wǎng)絡(luò)訓(xùn)練,常用于標(biāo)記樣本數(shù)量較少的情況[20]。為解決柑橘果實套袋后形狀發(fā)生變化導(dǎo)致的檢測困難問題,呂佳等[21]采集了不同光照(順光、逆光、側(cè)光)和不同遮擋程度下的套袋柑橘果實圖像,提出一種基于教師學(xué)生模型的SPM-YOLO V5算法,結(jié)果發(fā)現(xiàn),在無標(biāo)記樣本1 500張和有標(biāo)記樣本500張時檢測效果最佳,識別精確度達到85%,嚴(yán)重遮擋時總體識別精確度達到82.6%。Roy等[22]采集了不同光照(順光、逆光)和不同成熟度(紅色、綠色)下的蘋果果實圖像,利用半監(jiān)督聚類算法進行任意形狀的蘋果樹簇中的蘋果數(shù)量估算,該方法對蘋果的計數(shù)準(zhǔn)確率為89%~98%。Ciarfuglia等[23]將弱邊界框標(biāo)簽訓(xùn)練分割算法和三維運動結(jié)構(gòu)算法相組合,形成一個完整的半監(jiān)督方法用于識別不同光照(晴天、陰天)時的葡萄串,該方法的平均精度均值(mAP0.5)達到77.23%。無監(jiān)督學(xué)習(xí)無需人工標(biāo)注,主要通過聚類算法實現(xiàn)目標(biāo)的檢測,其在小規(guī)模數(shù)據(jù)集上展現(xiàn)強大的優(yōu)勢[24]。姜欣悅[25]利用工業(yè)相機獲取柑橘成熟期不同天氣條件下(晴天和陰天)正午和黃昏的柑橘圖像,采用K-Means聚類算法分割圖像,利用基于梯度的Hough變換對單株柑橘果實進行計數(shù),柑橘果實平均識別率為92.7%。Sun等[26]改進K-Means聚類算法,利用夜間采集的果園圖像,采用SVM模型識別果皮存在缺陷的柑橘果實,結(jié)果發(fā)現(xiàn)柑橘果實缺陷檢測準(zhǔn)確率為96.32%,精確率為95.24%,召回率為87.91%。
以上研究中采用SVM、深度濾波器、基于貝葉斯分類器等算法實現(xiàn)了柑橘果實目標(biāo)的自動檢測及表面缺陷識別,識別準(zhǔn)確率和效率較傳統(tǒng)目標(biāo)識別算法有所提升,然而這些研究都是針對特定的數(shù)據(jù)集而展開,識別方法在不同場景下的通用性還有待提高,且其面對復(fù)雜的柑橘果園場景時識別能力不足。
3 基于深度學(xué)習(xí)目標(biāo)識別算法
深度學(xué)習(xí)算法是一種新興的、現(xiàn)代的圖像處理和數(shù)據(jù)分析技術(shù),具有廣闊的應(yīng)用前景?;谏疃葘W(xué)習(xí)的目標(biāo)檢測模型是端到端的檢測模型,可將目標(biāo)的特征提取、特征選擇和特征分類融合在同一模型中[27]。深度學(xué)習(xí)模型在目標(biāo)識別方面具有獨特優(yōu)勢[28]?;谏疃葘W(xué)習(xí)的目標(biāo)識別算法可分為兩種:兩階段檢測與單階段檢測。
3.1 兩階段檢測
兩階段檢測是將目標(biāo)定位與目標(biāo)分類分開,先利用區(qū)域建議網(wǎng)絡(luò)(RPN)生成候選區(qū)域,再對這些區(qū)域進行分類和定位,又稱為基于候選區(qū)域的檢測[29]。常見的兩階段目標(biāo)檢測模型有R-CNN[30]、Fast R-CNN[31]、Faster R-CNN、Mask R-CNN、Cascade R-CNN[32]。其中,F(xiàn)aster R-CNN為R-CNN系列的最新優(yōu)化模型,同時也是公認(rèn)的第一個真正實現(xiàn)端到端的深度學(xué)習(xí)檢測算法[33]。任會等[34]利用獲取的果園影像,比較了傳統(tǒng)目標(biāo)檢測方法與Faster R-CNN方法對柑橘果實的識別效果,發(fā)現(xiàn)無遮擋的情況下,傳統(tǒng)目標(biāo)檢測方法比深度學(xué)習(xí)方法更具優(yōu)勢,而在存在遮擋、果實重疊時,深度學(xué)習(xí)方法具有更好的識別效果。Yang等[35]利用雙目相機采集了不同時間(早、中、晚)和不同光照條件(前照燈、背光燈、側(cè)光燈)下的柑橘果園圖像,基于Mask R-CNN和分支段合并算法,開發(fā)了可同時檢測柑橘果實和分支的集成系統(tǒng)。在Mask R-CNN識別出的分塊掩膜區(qū)域的基礎(chǔ)上,計算掩膜區(qū)的最小外接矩形,得到更精確的邊界框,利用分支段合并算法重建分支和主干。該系統(tǒng)對柑橘果實的平均識別精度為88.15%。黃磊磊等[36]在Mask R-CNN中引入神經(jīng)網(wǎng)絡(luò)模塊(Pointrend)以解決在不同光照(正光、背光)條件下柑橘果實受到遮擋與重疊時的輪廓分割問題,采用該方法對柑橘果實識別的平均精確度達93.66%,分割精確度達96.30%。Behera等[37]基于手機獲取自然環(huán)境下的柑橘圖像,利用平均交并比函數(shù)(MIoU)來代替?zhèn)鹘y(tǒng)的交并比(IoU)函數(shù)改進Faster R-CNN模型并進行柑橘果實識別,改進后的模型對柑橘果實的識別精度達97.94%。Lu等[38]利用數(shù)碼相機采集自然環(huán)境中柑橘果園影像,采用深淺層特征融合的方法增加Mask R-CNN主干網(wǎng)絡(luò)在每個階段提取的特征信息量,并引入組合連接塊以減少通道數(shù)對Mask R-CNN進行改進,改進后的Mask R-CNN模型對綠色柑橘的平均識別精度達95.36%,比原模型提高1.42%。Min等[39]通過對CNN不同層次注意力的考察,將不同層次注意力特征進行整合形成一個綜合注意力,建立了一個多尺度注意力網(wǎng)絡(luò)(MSANet)用于水果果實的識別。孫國奇[40]利用深度相機(Azure Kinect DK)和數(shù)碼相機獲取不同天氣條件(晴天和陰天)、不同時間(上午和下午)柑橘果園圖像,采用加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BiFPN)及MobileNet V3特征提取網(wǎng)絡(luò)對Mask R-CNN模型進行優(yōu)化,改進后的Mask R-CNN模型對柑橘果實的平均識別精度為87.99%,相較原算法提高2.38%。賈艷平等[41]利用數(shù)碼相機采集自然環(huán)境中不同的水果圖像,在Faster R-CNN框架中添加一個似然函數(shù)和一個正則化函數(shù)以保證每個卷積層的大小與核參數(shù)在合理范圍內(nèi),進而開展不同水果的識別,該算法對19種水果的整體識別準(zhǔn)確率達到99.69%,其中對橙果實識別率為77.30%。
上述研究大多針對采集圖像的屬性,通過對R-CNN模型的部分改進以提升目標(biāo)識別的準(zhǔn)確率。雖然這些研究取得了一定的效果,但大多數(shù)是對算法的局部調(diào)整,并沒有形成一個通用的普適的改進算法。
3.2 單階段檢測
單階段檢測則是省略生成候選區(qū)域的步驟,直接在特征圖上生成目標(biāo)的類概率和位置坐標(biāo),再進行分類回歸。單階段檢測過程相對于兩階段檢測過程更加簡單。常見的單階段目標(biāo)檢測模型有YOLO、SSD[42]、MobileNet[43]、ShuffleNet[44]、Swin-Transformer[45]。其中,YOLO系列模型應(yīng)用最為廣泛。為實現(xiàn)柑橘果實產(chǎn)量的早期預(yù)測,宋中山等[46]利用手機在自然環(huán)境中采集不同天氣狀況(晴天、陰天)下的綠色柑橘圖像,采用密集連接的卷積網(wǎng)絡(luò)(DenseNet)替換YOLO V3模型中特征提取網(wǎng)絡(luò)Darknet53后的3個下采樣層,建立改進的D-YOLO V3算法,其對綠色柑橘果實的識別精確率達83.01%,平均單張圖像識別時間為0.28 s。陳文康等[47]在YOLO V4的每個不同尺度特征的輸出層前增加調(diào)整層,修改回歸框損失函數(shù),并對網(wǎng)絡(luò)中不重要的通道和網(wǎng)絡(luò)層進行剪枝,建立改進的YOLO V4模型,并將其與YOLO V4、MLKP(Multi-scale Location-aware Kernel Representation)和Cascade R-CNN 3種目標(biāo)檢測算法用于生長期(青果期)和成熟期柑橘果實的識別,研究發(fā)現(xiàn)改進后的YOLO V4模型在識別生長期(青果期)柑橘果實時準(zhǔn)確率分別比YOLO V4、MLKP和Cascade R-CNN模型提高3個百分點、7個百分點和4個百分點,在識別成熟期柑橘果實時準(zhǔn)確率分別提高4個百分點、7個百分點和4個百分點,改進后的YOLO V4算法識別平均準(zhǔn)確率達96.04%,且平均單張圖像的檢測時間為0.06 s。劉芳[48]采用LEIoU函數(shù)作為回歸框損失函數(shù)并優(yōu)化相關(guān)參數(shù)對YOLO V5模型進行改進,并用于柑橘果園圖像的識別,發(fā)現(xiàn)改進后的算法對柑橘果實的平均識別精度高達98.9%,相較于原算法提高了2.7個百分點。Chen等[49]通過在YOLO V4網(wǎng)絡(luò)不同尺度特征的輸出層前加入SimAM(A simple,parameter-free attention module for convolutional neural networks)注意力模塊,在網(wǎng)絡(luò)頸部上采樣前加入深度可分離卷積模塊,采用基于科學(xué)控制的神經(jīng)網(wǎng)絡(luò)剪枝(SCOP)算法對網(wǎng)絡(luò)進行剪枝,將其用于不同果實生長階段柑橘果園圖像的識別,發(fā)現(xiàn)改進后的算法對果實生長期和成熟期輕微遮擋的柑橘果實識別準(zhǔn)確率分別為94.15%和95.32%,嚴(yán)重遮擋的柑橘果實識別準(zhǔn)確率分別為90.19%和91.02%。莊昊龍等[50]在YOLO V5的主干部分中引入SE注意力機制,采用DeepSort(Deep learning based SORT)算法為每個柑橘果實分配獨立的身份編號(ID),實現(xiàn)柑橘果實的精確計數(shù),改進后的算法對不同光照和不同遮擋情況下的柑橘果實平均識別準(zhǔn)確率達93.712%,比CenterNet、EfficientDet、SSD、YOLO V4、YOLOX等模型分別提高5.753個百分點、9.404個百分點、14.525個百分點、8.992個百分點、2.555個百分點。Jing等[51]在YOLO V7-tiny網(wǎng)絡(luò)基礎(chǔ)上引入BiFormer雙層路由注意力機制,并使用輕量化卷積GSConv代替常規(guī)卷積,在頸部網(wǎng)絡(luò)中加入VoVGSCSP模塊,并在主干網(wǎng)絡(luò)中采用部分卷積(PConv)代替簡化的高效層聚合網(wǎng)絡(luò)(ELAN),建立了YOLO V7-tiny-BVP目標(biāo)識別網(wǎng)絡(luò),并利用其對手機采集的不同光照、不同角度和不同遮擋條件下的柑橘圖像中的果實進行識別,發(fā)現(xiàn)YOLO V7-tiny-BVP網(wǎng)絡(luò)對柑橘果實識別準(zhǔn)確率達97.9%,且其網(wǎng)絡(luò)參數(shù)量和占用空間比YOLO V7-tiny分別減少38.47%和4.6 MB。
自然環(huán)境下,柑橘園通常是遠距離大視場,對該類場景識別時會存在柑橘果實被樹葉嚴(yán)重遮擋與小而密集柑橘果實漏檢的情況。為改善這些問題,易詩等[52]利用感受野更小的CSPResNest50(Cross Stage Partial Network)網(wǎng)絡(luò)作為YOLO V4骨干網(wǎng)絡(luò)進行主干特征提取,以提高小目標(biāo)的識別能力,并采用遞歸特征金字塔網(wǎng)絡(luò)進行特征遞歸融合以提高被遮擋和密集分布的柑橘果實檢測精度,建立了基于特征遞歸融合YOLO V4網(wǎng)絡(luò)模型(FR-YOLO V4),并利用其對不同天氣條件和遮擋條件下采集柑橘果園圖像進行果實識別,發(fā)現(xiàn)FR-YOLO V4算法對柑橘果實識別準(zhǔn)確率達94.6%,比原算法提高8.9個百分點。黃彤鑌等[53]為改善小柑橘果實漏檢問題,在YOLO V5中引入注意力機制模塊(CBAM)并采用α-IoU函數(shù)作為邊界框回歸損失函數(shù),建立了改進的YOLO V5識別模型。并利用其對數(shù)碼相機采集的不同天氣和光照條件、不同焦距的柑橘果園圖像中的果實進行識別,發(fā)現(xiàn)改進后的算法對柑橘果實識別的平均精度為91.3%,比原算法提高1.6個百分點。Liu等[54]在YOLO V5主干網(wǎng)絡(luò)中引入?yún)f(xié)同注意力模塊(CA),利用BiFPN模塊代替原來的PANet模塊,并利用變分損失函數(shù)來計算模型損失,對YOLO V5模型進行優(yōu)化并用于果園環(huán)境下的柑橘果實識別和計數(shù),結(jié)果發(fā)現(xiàn)改進后的模型對成熟期柑橘果實計數(shù)準(zhǔn)確率達96.08%,且平均每張圖像的識別時間僅為0.019 s。李子茂等[55]將可形變卷積網(wǎng)絡(luò)(Deformable convolution)引入YOLO V4模型,并在特征融合模塊增加新的檢測尺度并融合SimAM注意力機制,建立了DS-YOLO優(yōu)化算法以提高模型對小而密集柑橘果實的識別能力,不同天氣(晴天、陰天)條件下采集的柑橘圖像識別結(jié)果顯示DS-YOLO算法對綠色柑橘果實的識別精確率比YOLO V4算法提高8.75個百分點。周劍等[56]在YOLO V3的基礎(chǔ)上加入空間金字塔池化(SPP)模塊,使網(wǎng)絡(luò)能夠接受不同尺度的輸入特征,并對不同尺度的特征進行提取,優(yōu)化后的YOLO V3-SPP算法對自然光照條件下的柑橘果實分級檢測精確率達95.08%。Li等[57]在YOLO V5中嵌入卷積塊注意力機制(CBAM),并對目標(biāo)邊界框損失函數(shù)進行優(yōu)化,以提高網(wǎng)絡(luò)的特征提取能力和目標(biāo)框的定位精度,實現(xiàn)密植環(huán)境下柑橘果實的準(zhǔn)確識別,利用Apple2orange數(shù)據(jù)集對模型的優(yōu)化效果進行驗證,結(jié)果發(fā)現(xiàn)優(yōu)化后的模型對自然密植環(huán)境下的柑橘果實識別F1值為92.41%,相較于原算法提高2.81%。蹇川等[58]在YOLO V5s網(wǎng)絡(luò)中引入1個由3層上下文集成塊(Context Aggregation Block)組成的金字塔結(jié)構(gòu)特征提取層,實現(xiàn)模型的優(yōu)化,并利用其對不同天氣、不同時間和不同光照條件下采集的單株整樹、局部冠層圖像中的柑橘果實進行識別,結(jié)果發(fā)現(xiàn)改進后的YOLO V5s對柑橘果實識別的檢測準(zhǔn)確率與平均精度分別為98.21%與98.07%,對遮擋、重疊與小目標(biāo)柑橘果實的平均識別精度分別為99.4%、97.2%與98.0%。
自然環(huán)境下生長的柑橘果實會受到枝條枝葉遮擋、光照度變化、果實重疊、未成熟綠色柑橘果實與枝葉背景顏色相似導(dǎo)致識別不清等問題,湯旸等[59]在YOLO V3-tiny模型的基礎(chǔ)上,利用距離交并比函數(shù)(DIOU)替代原有的損失函數(shù),采用MobileNetv3-Small作為主干特征提取網(wǎng)絡(luò),引入簡化的空間金字塔池化(SPP)和深度可分離卷積層,添加1個下采樣層將不同尺度間的特征信息充分融合,并引入Hard Swish激活函數(shù),實現(xiàn)模型的優(yōu)化,優(yōu)化后的模型對柑橘果實的平均識別精度為96.52%,在光照充足且未遮擋、光照充足且遮擋、光照不足且未遮擋、光照不足且遮擋時的柑橘果實正確識別率分別比原模型提高0.7個百分點、6.5個百分點、3.2個百分點、7.7個百分點。楊國等[60]比較了基于VGG16的Faster R-CNN、基于Resnet的Faster R-CNN以及YOLO V5s對自然環(huán)境中得到的黃色和綠色柑橘圖像中的果實識別效果,發(fā)現(xiàn)YOLO V5s模型的識別性能最好,其對黃色柑橘果實和綠色柑橘果實的平均識別精度分別達97.40%和97.20%,平均檢測速度分別為每秒27幀和32幀。Yang等[61]在YOLO V5s主干網(wǎng)絡(luò)和頸部網(wǎng)絡(luò)之間加入雙向交叉注意力機制(BCAM),構(gòu)建BCo-YOLO V5網(wǎng)絡(luò)模型,并用其對COCO數(shù)據(jù)集和果園采集的柑橘圖像中的果實進行識別,發(fā)現(xiàn)BCo-YOLO V5算法對柑橘果實的平均識別精度達97.70%,比原算法提高7.39個百分點。殷獻博等[62]根據(jù)不同卷積層提取特征的特點與不同注意力機制的作用,在YOLOX-Nano網(wǎng)絡(luò)引入多個注意力機制,進行模型改進,并對手機采集的不同天氣(晴天、陰天、小雨)和不同生長階段的柑橘圖像中的柑橘新梢進行識別,發(fā)現(xiàn)各改進模型平均精度均值達87.14%。黃輝等[63]在YOLO V5的主干網(wǎng)絡(luò)中引入輕量化XZZMB+0m+eM3tObkoGL1ig==網(wǎng)絡(luò)Mobilenetv3、ShufflenetV2、Ghost等,在頸部(Neck)網(wǎng)絡(luò)中的C3部分融入注意力機制,并采用Ghost Conv模塊代替Conv模塊,進行YOLO V5模型的優(yōu)化并用于柑橘果實識別,優(yōu)化后的模型對柑橘果實的平均識別精度(mAP0.5)達0.957。帖軍等[64]在YOLO V5主干網(wǎng)絡(luò)中添加混合注意力機制,改進網(wǎng)絡(luò)模型特征融合結(jié)構(gòu)和分類損失函數(shù),提出優(yōu)化的YOLO V5-SC模型。該模型能加強綠色柑橘果實特征信息的提取,提高綠色柑橘果實檢測精度。改進后的YOLO V5-SC模型準(zhǔn)確率為91.74%,平均精度為95.09%,在自然環(huán)境下對綠色柑橘果實的識別具有更高的準(zhǔn)確率和更好的魯棒性。
針對自然環(huán)境中YOLO V4對柑橘果實識別時精度低、速度慢等問題,劉潔等[65]利用MobileNet V2網(wǎng)絡(luò)替換的主干網(wǎng)絡(luò)CSPDarkNet、采用深度可分離卷積替代YOLO V4頸部結(jié)構(gòu)中的傳統(tǒng)卷積,對YOLO V4模型進行改進,改進后的模型對不同天氣(晴天、陰天)、不同光照(順光、逆光)、不同角度(仰視、俯視、正面、側(cè)面)和不同遮擋程度下采集的柑橘果園圖像中果實平均識別精度達到97.24%,模型的平均檢測時間更短,模型更加輕量化。姜錕[66]在YOLO V4模型中引入SENet注意力模塊、設(shè)計CSPConv改進頸部網(wǎng)絡(luò)結(jié)構(gòu)、重構(gòu)置信度損失函數(shù)、利用BN層的γ系數(shù)作為通道稀疏因子,構(gòu)建了YOLO V4-L識別模型,并用其對深度相機采集的果園中不同光照(正光、背光)、不同天氣(晴天、多云)和不同遮擋程度下的果園影像中的柑橘果實進行識別,平均精度為95.78%,識別速度為每秒53.8幀。王乙涵[67]提出的LT-YOLO V7模型對YOLO V7進行了4個方面的改進,即使用輕量級特征提取網(wǎng)絡(luò)RepVGG作為主干網(wǎng)絡(luò)以加強復(fù)雜背景下柑橘果實特征提取能力,引入深度可分離卷積至頸部網(wǎng)絡(luò)以降低網(wǎng)絡(luò)參數(shù)量,采用通道注意力機制(ECA)提高檢測性能,使用soft DIoU_NMS(soft DIoU Non-Maximum Suppression)算法對預(yù)測框進行優(yōu)化。優(yōu)化后的LT-YOLO V7模型對重度遮擋的柑橘果實平均識別精度為96.98%。Kong等[68]將動態(tài)感知稀疏性的注意力機制BiFormer模塊引入YOLO V8s的骨干網(wǎng)絡(luò),并在其Neck中增加1個小目標(biāo)檢測層,同時使用EIoU損失函數(shù)替代原來的損失函數(shù),對YOLO V8s模型進行改進并用于數(shù)碼相機采集的不同光照(強光、背光)和不同遮擋情況下的柑橘果園圖像中的果實進行識別,改進后的YOLO V8s對柑橘果實的識別平均準(zhǔn)確率為94.7%。
為解決夜間環(huán)境下被遮擋的柑橘果實能夠被準(zhǔn)確識別的問題,熊俊濤等[69]采用BiFPN模塊實現(xiàn)多尺度特征的交叉連接和融合,融入帶有Transformer結(jié)構(gòu)的C3TR模塊,引入CA模塊對YOLO V5s模型進行優(yōu)化,提出BI-YOLO V5s算法。該算法對夜間采集的柑橘果園圖像中果實的識別平均準(zhǔn)確率為97.1%,檢測速度為每秒40幀。
柑橘果實表面缺陷不僅影響外觀與質(zhì)量,還會降低市場價值,因此,有效識別柑橘果實表面缺陷對保證柑橘果實質(zhì)量與市場競爭力非常重要。孫寶霞等[70]利用YOLO V4深度學(xué)習(xí)模型,進行夜間樹上柑橘果實表征的視覺檢測。模型對測試集的識別精確率為95.32%,比Faster R-CNN模型提高5.14個百分點。Feng等[71]在YOLOX中引入基于殘差和級聯(lián)的金字塔自底向上特征網(wǎng)絡(luò)(PAFPN)、后驗注意力模塊(SE)以及Focal loss和CIoU損失函數(shù),提出的MSDD-YOLOX算法對自然環(huán)境中柑橘果皮表面疤痕的識別準(zhǔn)確率為80.4%。賈雪瑩等[72]在YOLO V7的主干網(wǎng)絡(luò)中引入CA機制以增強對缺陷部分的識別能力,同時在網(wǎng)絡(luò)頭部中引入CT模塊,融合靜態(tài)和動態(tài)上下文表征特征,以提升缺陷部分特征的表達能力,構(gòu)建的YOLO V7-CACT模型對果皮有缺陷的柑橘果實總體識別精度達94.4%,單幅柑橘圖像檢測時間為2.15 ms。
上述研究探討了YOLO算法對不同光照條件、不同果實遮擋程度柑橘果園圖像的識別效果及有缺陷柑橘果實的分級,總體均取得了較高的識別準(zhǔn)確率,但在柑橘果實面臨重度遮擋時的識別準(zhǔn)確性仍較低。
4 不同目標(biāo)識別算法的對比
傳統(tǒng)目標(biāo)識別算法計算簡單,僅需要較少的標(biāo)記數(shù)據(jù)即可實現(xiàn)模型的調(diào)試和優(yōu)化,在小樣本單一場景下表現(xiàn)較穩(wěn)定。自然環(huán)境中生長的柑橘果實未成熟時顏色呈綠色,與枝葉顏色相似,相比于顏色特征,利用紋理或形狀特征能更好地區(qū)分柑橘果實與背景。柑橘果實成熟時呈現(xiàn)鮮艷的橙色,與枝葉之間存在明顯的顏色差異,利用這種顯著的顏色差異可實現(xiàn)圖像的有效分割及目標(biāo)和背景的區(qū)分。當(dāng)柑橘果實受到光照變化產(chǎn)生陰影或柑橘果實成簇重疊時,利用紋理特征能較好地區(qū)分柑橘果實與背景,原因在于紋理特征是柑橘的質(zhì)地和紋路特征,在光照不均勻或果實重疊時,柑橘紋理特征變化較小。在果園復(fù)雜的背景條件下,傳統(tǒng)目標(biāo)識別算法在處理柑橘果實重疊、枝條遮擋與光照變化等復(fù)雜場景時,往往難以準(zhǔn)確地提取出有效信息。同時,傳統(tǒng)目標(biāo)識別算法依賴于主觀判斷,在更換識別目標(biāo)時需人工更改算法設(shè)置,缺乏泛化性。
機器學(xué)習(xí)算法是從數(shù)據(jù)中學(xué)習(xí)特征和模式,不需要人工干預(yù)和手動調(diào)整參數(shù),根據(jù)數(shù)據(jù)自動調(diào)整模型參數(shù)從而實現(xiàn)對圖像的目標(biāo)識別與分類。相較于傳統(tǒng)目標(biāo)識別算法,機器學(xué)習(xí)算法有以下優(yōu)點:1)自適應(yīng)性較強,在面對不同遮擋程度的環(huán)境條件下,能夠更準(zhǔn)確地提取出有效的信息,提高識別準(zhǔn)確率;2)特征學(xué)習(xí)能力較強,具有學(xué)習(xí)數(shù)據(jù)中復(fù)雜特征與模式的能力,無需手動提取特征,能夠更好地識別目標(biāo)的形狀、顏色等特征,提高識別準(zhǔn)確性;3)經(jīng)過訓(xùn)練的機器學(xué)習(xí)模型具有較強的泛化能力,能適用于不同品種與生長狀態(tài)的柑橘果實識別。機器學(xué)習(xí)算法在小規(guī)模數(shù)據(jù)集上可以取得較好的識別效果,但在處理大規(guī)模數(shù)據(jù)集與復(fù)雜任務(wù)時,檢測速度與精度較差,難以滿足實時性要求。
深度學(xué)習(xí)算法具有多層次的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可以更好地處理一些復(fù)雜情況,提高目標(biāo)識別的準(zhǔn)確性和魯棒性。采用兩階段與單階段目標(biāo)檢測算法,在柑橘果實目標(biāo)識別上都取得了顯著的成就。不同生長階段的柑橘果實會呈現(xiàn)不同的外觀和形狀特征,面對這種復(fù)雜環(huán)境,兩階段目標(biāo)檢測方法可以更準(zhǔn)確地識別和定位各類柑橘果實,提供更細致的目標(biāo)檢測和定位信息。單階段目標(biāo)檢測由于實時性較高,檢測速度較快,故適用于柑橘果實形狀規(guī)則、背景清晰的場景,由于單階段目標(biāo)檢測通常具有簡單的模型結(jié)構(gòu)和較高的計算效率,所以適用于在嵌入式設(shè)備上的應(yīng)用。相較于傳統(tǒng)目標(biāo)識別算法與機器學(xué)習(xí)算法,深度學(xué)習(xí)算法在圖像分類、目標(biāo)檢測與位置識別等方面表現(xiàn)出明顯優(yōu)勢,尤其是在處理具有隨機分布、重疊遮擋與多樣形狀等非結(jié)構(gòu)化特征的自然環(huán)境中具有更高的準(zhǔn)確率,但深度學(xué)習(xí)算法需要大規(guī)模的標(biāo)記數(shù)據(jù)來訓(xùn)練模型,訓(xùn)練時間較長,計算資源消耗高,會增加計算成本。
5 發(fā)展趨勢
雖然傳統(tǒng)目標(biāo)識別算法、機器學(xué)習(xí)算法與深度學(xué)習(xí)算法在柑橘果實目標(biāo)識別方面均有廣泛的應(yīng)用,但近年來,深度學(xué)習(xí)算法在柑橘果實產(chǎn)量預(yù)測、遮擋重疊果實識別及表面缺陷果實檢測等方面的應(yīng)用不斷增加。然而,由于果園環(huán)境條件的復(fù)雜多變,目前的柑橘果實目標(biāo)識別模型的識別能力普適性不強。因此,結(jié)合多源數(shù)據(jù),進一步優(yōu)化和改進現(xiàn)有算法和模型,仍是未來研究的重點。從目前柑橘果實目標(biāo)識別算法的發(fā)展趨勢看,以下2個方向需要重點關(guān)注:
(1)模型算法。一方面,隨著深度學(xué)習(xí)模型的不斷發(fā)展,以YOLO為代表的深度學(xué)習(xí)算法需要不斷改進以適應(yīng)不斷變化的柑橘果實識別需求,可以通過在模型中引入注意力機制、改變特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化損失函數(shù)以及調(diào)整網(wǎng)絡(luò)深度和寬度等方法提高柑橘果實目標(biāo)識別的準(zhǔn)確率、加快識別速度,并降低漏檢率和誤檢率。另一方面,如何借鑒其他領(lǐng)域中表現(xiàn)卓越的大模型,如Transformer等,用于柑橘果實目標(biāo)識別,進一步提升柑橘果實目標(biāo)識別的準(zhǔn)確率和效率。
(2)通用數(shù)據(jù)集。目前研究使用的數(shù)據(jù)集通常是根據(jù)特定研究目的所構(gòu)建。未來研究中可以構(gòu)建1個包含不同天氣條件(晴天、陰天)、不同光照條件(順光、逆光)、不同遮擋程度和果實重疊情況,并覆蓋多個生長階段的多品種柑橘影像數(shù)據(jù)集。通過構(gòu)建這樣一個全面且多樣化的統(tǒng)一數(shù)據(jù)集,可以提高模型的泛化能力和魯棒性,使得訓(xùn)練出來的模型能夠更好地適應(yīng)實際的果園環(huán)境。此外,構(gòu)建數(shù)據(jù)集時還應(yīng)考慮數(shù)據(jù)的標(biāo)注質(zhì)量和標(biāo)準(zhǔn)化,確保數(shù)據(jù)集的質(zhì)量和可靠性。
參考文獻:
[1] 鄭 涵,羅 強,張益維,等. 柑橘采摘機器人目標(biāo)檢測算法研究進展[J]. 南方農(nóng)業(yè),2022,16(21):119-122.
[2] 國家統(tǒng)計局. 2023中國統(tǒng)計年鑒[M]. 北京:中國統(tǒng)計出版社,2023.
[3] 李會賓,史 云. 果園采摘機器人研究綜述[J]. 中國農(nóng)業(yè)信息,2019,31(6):1-9.
[4] 毛嘉威. 柑橘采摘機械臂及其控制系統(tǒng)設(shè)計[D]. 成都:四川農(nóng)業(yè)大學(xué),2021.
[5] XIAO Y, TIAN Z, YU J, et al. A review of object detection based on deep learning[J]. Multimedia Tools and Applications,2020,79(33/34):23729-23791.
[6] 孔翰博,王克強,蔡 肯,等. 基于機器視覺的采摘機器人目標(biāo)識別定位研究應(yīng)用進展[J]. 電子技術(shù)與軟件工程,2022(10):160-165.
[7] TIAN Y, YANG G, WANG Z, et al. Instance segmentation of apple flowers using the improved Mask R-CNN model[J]. Biosystems Engineering,2020,193:264-278.
[8] 宋懷波,尚鈺瑩,何東健. 果實目標(biāo)深度學(xué)習(xí)識別技術(shù)研究進展[J]. 農(nóng)業(yè)機械學(xué)報,2023,54(1):1-19.
[9] KURTULMUS F, LEE W S, VARDAR. A green citrus detection using ‘eigenfruit’, color and circular Gabor texture features under natural outdoor conditions[J]. Computers and Electronics in Agriculture,2011,78(2):140-149.
[10]LU J, SANG N. Detecting citrus fruits and occlusion recovery under natural illumination conditions[J]. Computers and Electronics in Agriculture,2015,110:121-130.
[11]鄒繼欣,崔天時,邢 偉. 基于DSP的柑橘果實自動識別系統(tǒng)[J]. 農(nóng)機化研究,2015,37(2):166-170.
[12]鄒 偉. 基于機器視覺技術(shù)的柑橘果實成熟度分選研究[J]. 農(nóng)業(yè)與技術(shù),2023,43(17):41-44.
[13]張 珺. 基于機器學(xué)習(xí)的智能農(nóng)機采摘控制實驗與仿真[J]. 集成電路應(yīng)用,2023,40(6):70-72.
[14]方東玉. 基于SVM的柑橘品質(zhì)檢測技術(shù)[D]. 長沙:中南林業(yè)科技大學(xué),2016.
[15]李 華. 基于機器視覺的柑橘外觀品質(zhì)鑒定技術(shù)研究[D]. 鄭州:河南農(nóng)業(yè)大學(xué),2024.
[16]LIN G, TANG Y, ZOU X, et al. In-field citrus detection and localisation based on RGB-D image analysis[J]. Biosystems Engineering,2019,186:34-44.
[17]申 飄. 基于圖像處理與機器學(xué)習(xí)的柑橘表面缺陷檢測研究[D]. 長沙:中南林業(yè)科技大學(xué),2023.
[18]CAI C, ZHOU G, LU C. Citrus surface defect identification based on PCS-2D-Otsu and CGWO-DT-SVM[J]. Multimedia Tools and Applications,2023,83(15):43649-43672.
[19]BEHERA S K, ANITHA K, AMAT R, et al. ResNet101-SVM:hybrid convolutional neural network for citrus fruits classification[J]. Journal of Intelligent & Fuzzy Systems,2024,46(3):7035-7045.
[20]BERTHELOT D, CARLINI N, GOODFELLOW I, et al. Mixmatch:a holistic approach to semi-supervised learning[C/OL]//WALLACH H, LAROCHELLE H, BAYGELZIMER A, et al. Advances in neural information processing systems32(NeurIPS 2019). San Diego,USA:NeurIPS Foundation,2019. https://arxiv.org/pdf/1905.02249v2.
[21]呂 佳,李帥軍,曾夢瑤,等. 基于半監(jiān)督SPM-YOLO V5的套袋柑橘檢測算法[J]. 農(nóng)業(yè)工程學(xué)報,2022,38(18):204-211.
[22]ROY P, KISLAY A, PLONSKI P A, et al. Vision-based preharvest yield mapping for apple orchards[J]. Computers and Electronics in Agriculture,2019,164:104897.
[23]CIARFUGLIA T A, MOTOI I M, SARACENI L, et al. Weakly and semi-supervised detection, segmentation and tracking of table grapes with limited and noisy data[J]. Computers and Electronics in Agriculture,2023,205:107624.
[24]ALBELWI S. Survey on self-supervised learning:auxiliary pretext tasks and contrastive learning methods in imaging[J]. Entropy,2022,24(4):551.
[25]姜欣悅. 基于圖像識別的單株成熟柑橘樹產(chǎn)量預(yù)估研究[J]. 南方農(nóng)機,2022,53(23):66-68.
[26]SUN B, LIU K, FENG L, et al. The surface defects detection of citrus on trees based on a support vector machine[J]. Agronomy,2022,13(1):43.
[27]趙永強,饒 元,董世鵬,等. 深度學(xué)習(xí)目標(biāo)檢測方法綜述[J]. 中國圖像圖形學(xué)報,2020,25(4):629-654.
[28]董 戈. 基于深度學(xué)習(xí)和圖像處理的水果收獲機器人抓取系統(tǒng)[J]. 農(nóng)機化研究,2021,43(3):260-264.
[29]WANG Z, UNDERWOOD J, WALSH K B. Machine vision assessment of mango orchard flowering[J]. Computers and Electronics in Agriculture,2018,151:501-511.
[30]GIRSHICK R, DONAHUE J, DARRELL T, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey:IEEE Computer Society,2014:580-587.
[31]GIRSHICK R. Fast R-cnn[C]// IEEE. Proceedings of the IEEE international conference on computer vision. New Jersey:IEEE Computer Society,2015:1440-1448.
[32]CAI Z, VASCONCELOS N. Cascade R-cnn:delving into high quality object detection[C]//IEEE. Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey:IEEE Computer Society,2018:6154-6162.
[33]楊 國. 基于深度學(xué)習(xí)的自然環(huán)境下柑橘檢測研究[D]. 長沙:中南林業(yè)科技大學(xué),2023.
[34]任 會,朱洪前. 基于深度學(xué)習(xí)的目標(biāo)橘子識別方法研究[J]. 計算機時代,2021(1):57-60,64.
[35]YANG C H, XIONG L Y, WANG Z, et al. Integrated detection of citrus fruits and branches using a convolutional neural network[J]. Computers and Electronics in Agriculture,2020,174:105469.
[36]黃磊磊,苗玉彬. 基于深度學(xué)習(xí)的重疊柑橘分割與形態(tài)復(fù)原[J]. 農(nóng)機化研究,2023,45(10):70-75.
[37]BEHERA S K, RATH A K, SETHY P K. Fruits yield estimation using Faster R-CNN with MIoU[J]. Multimedia Tools and Applications,2021,80(12):19043-19056.
[38]LU J, YANG R, YU C, et al. Citrus green fruit detection via improved feature network extraction[J]. Frontiers in Plant Science,2022,13:946154.
[39]MIN W, WANG Z, YANG J, et al. Vision-based fruit recognition via multi-scale attention CNN[J]. Computers and Electronics in Agriculture,2023,210:107911.
[40]孫國奇. 基于深度學(xué)習(xí)的果園環(huán)境下柑橘果實與枝干分割定位方法研究[D]. 桂林:廣西師范大學(xué),2023.
[41]賈艷平,桑妍麗,李月茹. 基于改進Faster R-CNN模型的水果分類識別[J]. 食品與機械,2023,39(8):129-135.
[42]LIU W, ANGUELOV D, ERHAN D, et al. SSD:single shot multibox detector[C]//ECCV. European conference on computer vision 2016(Part I). Amsterdam:Springer International Publishing,2016:21-37.
[43]HOWARD A G, ZHU M, CHEN B, et al. Mobilenets:efficient convolutional neural networks for mobile vision applications[Z/OL]. (2017-04-17). http://arxiv.org/abs/1704.04861.
[44]ZHANG X, ZHOU X, LIN M, et al. Shufflenet:an extremely efficient convolutional neural network for mobile devices[C]//IEEE:Proceedings of the IEEE conference on computer vision and pattern recognition. New Jersey:IEEE Computer Society,2018:6848-6856.
[45]LIU Z, LIN Y, CAO Y, et al. Swin transformer:hierarchical vision transformer using shifted windows[C]//IEEE. Proceedings of the IEEE/CVF international conference on computer vision. New Jersey:IEEE Computer Society,2021:10012-10022.
[46]宋中山,劉 越,鄭 祿,等. 基于改進YOLO V3的自然環(huán)境下綠色柑橘的識別算法[J]. 中國農(nóng)機化學(xué)報,2021,42(11):159-165.
[47]陳文康,陸聲鏈,劉冰浩,等. 基于改進YOLO V4的果園柑橘檢測方法研究[J]. 廣西師范大學(xué)學(xué)報(自然科學(xué)版),2021,39(5):134-146.
[48]劉 芳. 基于YOLO V5的柑橘果實目標(biāo)檢測研究[J]. 信息與電腦(理論版),2022,34(2):152-154.
[49]CHEN W, LU S, LIU B, et al. Citrus YOLO:a algorithm for citrus detection under orchard environment based on YOLO V4[J]. Multimedia Tools and Applications,2022,81(22):31363-31389.
[50]莊昊龍,周嘉灝,林毓翰,等. 基于改進YOLO V5+DeepSort的柑橘果實識別與計數(shù)研究[J]. 南方農(nóng)機,2023,54(15):9-13.
[51]JING J, ZHAI M, DOU S, et al. Optimizing the YOLO V7-Tiny model with multiple strategies for citrus fruit yield estimation in complex scenarios[J]. Agriculture,2024,14(2):303.
[52]易 詩,李俊杰,張 鵬,等. 基于特征遞歸融合YOLO V4網(wǎng)絡(luò)模型的春見柑橘檢測與計數(shù)[J]. 農(nóng)業(yè)工程學(xué)報,2021,37(18):161-169.
[53]黃彤鑌,黃河清,李 震,等. 基于YOLO V5改進模型的柑橘果實識別方法[J]. 華中農(nóng)業(yè)大學(xué)學(xué)報,2022,41(4):170-177.
[54]LIU X, LI G, CHEN W, et al. Detection of dense citrus fruits by combining coordinated attention and cross-scale connection with weighted feature fusion[J]. Applied Sciences,2022,12(13):6600.
[55]李子茂,李嘉暉,尹 帆,等. 基于可形變卷積與SimAM注意力的密集柑橘檢測算法[J]. 中國農(nóng)機化學(xué)報,2023,44(2):156-162.
[56]周 劍,徐中貴,謝知音. 基于空間金字塔池化的YOLOv3的柑橘多分級研究[J]. 現(xiàn)代農(nóng)業(yè)裝備,2023,44(2):35-43,97.
[57]LI C, MA W, LIU F, et al. Recognition of citrus fruit and planning the robotic picking sequence in orchards[J]. Signal, Image and Video Processing,2023,17(8):4425-4434.
[58]蹇 川,鄭永強,劉艷梅,等. 目標(biāo)檢測算法YOLO V5s用于柑桔成熟果實檢測的改進[J]. 中國南方果樹,2024,53(1):224-231.
[59]湯 旸,楊光友,王焱清. 面向采摘機器人的改進YOLO V3-tiny輕量化柑橘識別方法[J]. 科學(xué)技術(shù)與工程,2022,22(31):13824-13832.
[60]楊 國,黃文靜,朱洪前,等. 自然環(huán)境下黃綠柑橘檢測通用模型的構(gòu)建[J]. 林業(yè)工程學(xué)報,2022,7(5):134-141.
[61]YANG R, HU Y, YAO Y, et al. Fruit target detection based on BCo-YOLO V5 model[J]. Mobile Information Systems,2022,2022:8457173.
[62]殷獻博,鄧小玲,蘭玉彬,等. 基于改進YOLO X-Nano算法的柑橘梢期長勢智能識別[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報,2023,44(1):142-150.
[63]黃 輝,蘇成悅,王銀海. 基于改進YOLO V5的柑橘目標(biāo)識別研究[J]. 電腦與信息技術(shù),2024,32(2):27-29.
[64]帖 軍,趙 捷,鄭 祿,等. 改進YOLO V5模型在自然環(huán)境下柑橘識別的應(yīng)用[J]. 中國農(nóng)業(yè)科技導(dǎo)報,2024,26(7):1-10.
[65]劉 潔,李 燕,肖黎明,等. 基于改進YOLO V4模型的橙果識別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報,2022,38(12):173-182.
[66]姜 錕. 柑橘采摘機器人目標(biāo)識別、定位與采摘研究[D]. 鎮(zhèn)江:江蘇大學(xué),2023.
[67]王乙涵. 基于改進YOLO V7的自然環(huán)境下柑橘果實識別與定位方法研究[D]. 成都:四川農(nóng)業(yè)大學(xué),2023
[68]KONG D, WANG J, ZHANG Q, et al. Research on fruit spatial coordinate positioning by combining improved yolov8s and adaptive multi-resolution model[J]. Agronomy,2023,13(8):2122.
[69]熊俊濤,霍釗威,黃啟寅,等. 結(jié)合主動光源和改進YOLO V5s模型的夜間柑橘檢測方法[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報,2024,45(1):97-107.
[70]孫寶霞,梁翠曉,劉 凱,等. 夜間環(huán)境下樹上柑橘表征缺陷深度學(xué)習(xí)檢測方法[J]. 林業(yè)工程學(xué)報,2021,6(6):148-155.
[71]FENG J, WANG Z, WANG S, et al. MSDD-YOLOX:An enhanced YOLO X for real-time surface defect detection of oranges by type[J]. European Journal of Agronomy,2023,149:126918.
[72]賈雪瑩,趙春江,周 娟,等. 基于改進YOLO V7模型的柑橘表面缺陷在線檢測[J]. 農(nóng)業(yè)工程學(xué)報,2023,39(23):142-151.
(責(zé)任編輯:石春林)