李興旭，陳雯柏，王一群，楊 順，吳華瑞，趙春江

基于級聯(lián)視覺檢測的櫻桃番茄自動采收系統(tǒng)設(shè)計與試驗

李興旭1,2，陳雯柏1，王一群1，楊 順3，吳華瑞2，趙春江2※

（1. 北京信息科技大學(xué)自動化學(xué)院，北京 100192；2. 國家農(nóng)業(yè)信息化工程技術(shù)研究中心，北京 100097；3. 北京中科原動力科技有限公司，北京 100085）

櫻桃番茄串生長姿態(tài)多樣、果實成熟度不一，采摘機器人進行“粒收”作業(yè)時，常面臨果梗干涉末端執(zhí)行器、成熟度判斷錯誤等問題，導(dǎo)致采摘效率低下、難以有效實現(xiàn)分級采收。針對上述問題，該研究提出一種級聯(lián)視覺檢測流程，包括采收目標(biāo)檢測、目標(biāo)果實特性判別、果實與果梗位置關(guān)系判斷3個關(guān)鍵環(huán)節(jié)。首先根據(jù)農(nóng)藝要求按成熟度將番茄果實分為4個等級，引入YOLOv5目標(biāo)檢測模型對番茄串和番茄果實進行檢測并輸出成熟度等級，實現(xiàn)分期采收。然后對果實與果梗的相對位置進行判斷，利用MobileNetv3網(wǎng)絡(luò)模型對膨脹包圍盒進行果實與果梗相對位置關(guān)系判斷，實現(xiàn)末端執(zhí)行器采摘位姿控制。日光溫室實際測試結(jié)果表明，本文提出的級聯(lián)檢測系統(tǒng)平均推理用時22 ms，在I（intersection over union）閾值為0.5的情況下，櫻桃番茄串與果實的平均檢測精度達(dá)到89.9%，滿足采摘機器人的視覺檢測精度和實時性要求，相比末端執(zhí)行器以固定角度靠近待采目標(biāo)的方法，本文方法采收效率提升28.7個百分點。研究結(jié)果可為各類果蔬采摘機器人研究提供參考。

機器人；目標(biāo)檢測；日光溫室；櫻桃番茄；YOLOv5

0 引 言

國內(nèi)鮮食果蔬采摘的人力成本逐年遞增[1-2]，推動了采摘機器人的快速發(fā)展[3-5]。櫻桃番茄串中果實成熟時間并不一致，為追求鮮食品質(zhì)和經(jīng)濟收益，通常要求分期、分級采收成熟果實。為實現(xiàn)自動化的櫻桃番茄分期采收，需要采摘機器人不僅能夠精準(zhǔn)識別、定位每一顆番茄[6]，還要求其能夠分析番茄成熟度[7]，同時規(guī)避果梗遮擋等，對機器人的視覺檢測系統(tǒng)提出了巨大挑戰(zhàn)。

采摘機器人的首要任務(wù)是學(xué)習(xí)農(nóng)作物的特征信息，發(fā)現(xiàn)環(huán)境中的目標(biāo)并完成定位[8-9]。機器視覺算法提供信息的準(zhǔn)確性、效率和豐富程度，影響著采摘機器人的決策系統(tǒng)設(shè)計和收獲效率[10-11]。JUN等[12]使用YOLOv3模型[13]檢測番茄，利用深度相機和機械臂完成了實驗室條件下的番茄單果采收實驗。張勤等[14-15]通過YOLOv4目標(biāo)檢測算法[16]識別番茄串和可采摘果梗的區(qū)域，利用深度、顏色等特征信息獲得串番茄果梗采摘點，完成了櫻桃番茄串采收試驗。近年來，為實現(xiàn)分期采收，學(xué)者們對番茄成熟度視覺檢測方法展開研究。WANG等[17]利用Otsu二值化算法和橢圓模板法自動識別成熟番茄。李天華等[18]將YOLOv4和HSV相結(jié)合，以實現(xiàn)自然環(huán)境下成熟期番茄的準(zhǔn)確識別。BENAVIDES等[19]通過顏色識別與分割獲取果梗區(qū)域和番茄采摘點位置。單純通過顏色信息對果實進行成熟度判斷，方法簡便可行，但顏色閾值設(shè)定需要豐富的農(nóng)業(yè)先驗知識且單一閾值通常難以應(yīng)對采摘現(xiàn)場復(fù)雜的光照條件。ZHANG等[20]研究了一種改進的深度學(xué)習(xí)方法，通過少量訓(xùn)練數(shù)據(jù)即可完成對番茄成熟度判斷。AFONSO等[21]采用Mask R-CNN模型[22]檢測溫室內(nèi)成熟和未成熟番茄果實，準(zhǔn)確率分別達(dá)到95%和94%。龍潔花等[23]使用改進的Mask R-CNN完成了溫室環(huán)境下不同成熟度番茄的分割，在溫室種植環(huán)境中具有較好的魯棒性，但Mask R-CNN模型尺寸大、實時性仍有提一定升空間。

收獲效率較低是采摘機器人難以邁向商業(yè)化的一個因素[24]。國內(nèi)外學(xué)者針對各類番茄的視覺檢測方法、機器人采摘應(yīng)用做了大量研究，然而針對實際生產(chǎn)場景的果實成熟度快速區(qū)分相關(guān)研究較少，末端執(zhí)行器執(zhí)行單果采收時應(yīng)當(dāng)如何靠近待采目標(biāo)也鮮有研究。為更好地完成分期采收、進一步提高串番茄粒收的采摘效率，本文提出一種級聯(lián)視覺檢測流程，包括采收目標(biāo)檢測、目標(biāo)果實特性判別、果實與果梗位置關(guān)系判斷環(huán)節(jié)，并搭建了適配實際生產(chǎn)場景的采摘機器人在日光溫室中對櫻桃番茄進行自動分期采收試驗。

1 基于視覺引導(dǎo)的櫻桃番茄采摘流程

為實現(xiàn)分期采收、提高粒收作業(yè)效率，本文提出包括待采目標(biāo)檢測、目標(biāo)特性判別和果實果梗位置關(guān)系判斷的檢測流程，并設(shè)計相應(yīng)的基于視覺引導(dǎo)的采摘系統(tǒng)，技術(shù)流程如圖1所示。櫻桃番茄果實眾多，考慮到機器人檢測實時性要求，引入高效的YOLOv5檢測模型對櫻桃番茄果實進行檢測，并輸出成熟度信息。根據(jù)成熟度、距離等條件完成待采目標(biāo)篩選后，引入MobileNetv3網(wǎng)絡(luò)模型進行果實果梗位置關(guān)系進行快速判斷，為采摘機器人選擇接近果實的方向提供依據(jù)。

圖1 基于級聯(lián)視覺檢測的櫻桃番茄自動采收技術(shù)流程

2 樣本采集與數(shù)據(jù)集構(gòu)建

2.1 數(shù)據(jù)集樣本采集

訓(xùn)練集圖像采自北京海淀某日光溫室番茄培育園中國外某品牌代號“72-008”的櫻桃番茄品種。圖像采集設(shè)備為Intel Realsense D435i深度相機。將兩個相機固定于采摘機器人不同位置處，提供多種視野條件。機器人沿導(dǎo)軌勻速移動，相機以固定頻率采集RGB圖像。數(shù)據(jù)集中部分圖像見圖2。

圖2 訓(xùn)練集中不同拍攝視角下的樣本示例

為實現(xiàn)番茄的檢測和成熟度快速輸出，參考農(nóng)藝要求將目標(biāo)分為番茄串和4種不同成熟度[25]的果實，分別為果實充分膨大但果皮為白綠色的綠熟期、果實頂端由白變紅的轉(zhuǎn)色期、果實超過四分之三面積為紅色或黃色的成熟期以及果實表皮完全變紅的完熟期，共5種目標(biāo)。不同顏色的標(biāo)注框所代表的目標(biāo)類型如圖3所示。其中綠熟期和轉(zhuǎn)色期果實不是常規(guī)意義下的采摘目標(biāo)，只有成熟期和完熟期的果實需要被采摘。

圖3 目標(biāo)標(biāo)注和數(shù)據(jù)集構(gòu)建流程

2.2 櫻桃番茄檢測數(shù)據(jù)集構(gòu)建

2.2.1 目標(biāo)檢測數(shù)據(jù)集構(gòu)建

機器人受臂長以及結(jié)構(gòu)限制，僅能采摘當(dāng)前位置兩側(cè)培養(yǎng)架上的番茄，無法“跨壟”采摘。生長在其他培養(yǎng)架上的番茄，如圖4中虛線框中的部分所示，在標(biāo)注階段無需進行標(biāo)注。經(jīng)過挑選和數(shù)據(jù)清洗，以1 320張圖像作為目標(biāo)檢測數(shù)據(jù)集，包括不含任何目標(biāo)的背景圖像50張，各類目標(biāo)共計71 123個，平均單張圖片包含目標(biāo)56個。

圖4 標(biāo)注結(jié)果展示

2.2.2 果實果梗位置關(guān)系判斷數(shù)據(jù)集構(gòu)建

為提高采摘效率，引導(dǎo)末端執(zhí)行器以合適角度靠近待采目標(biāo)，需要建立一個果實果梗位置關(guān)系判斷數(shù)據(jù)集。利用目標(biāo)檢測數(shù)據(jù)集中已經(jīng)完成的果實標(biāo)注邊界框，將長和寬均放大10%，使得目標(biāo)周圍果柄、果萼、果梗等利于判斷的關(guān)鍵信息納入框內(nèi)，如圖3中③所示。裁剪框內(nèi)圖像，構(gòu)建果實果梗位置關(guān)系分類數(shù)據(jù)集。番茄生產(chǎn)中，工人會去作多余花序和幼果。經(jīng)過人工“疏花疏果”操作后的果實大多生長于果梗兩側(cè)，極少數(shù)會成簇生長。為簡化后續(xù)試驗，忽略特殊情況，將位置關(guān)系分為2類：果實在果梗左側(cè)記為類別0，如圖5a所示；果實在果梗右側(cè)的樣本記為類別1，如圖5b所示。

圖5 果實果梗位置關(guān)系分類數(shù)據(jù)集

3 級聯(lián)視覺檢測方法

3.1 番茄檢測與成熟度分析

從畫面中檢測并識別果實及其成熟度，是實現(xiàn)機器人自動采摘的前提，也是影響采摘效率的重要環(huán)節(jié)，本文引入YOLOv5目標(biāo)檢測算法一次性快速輸出番茄串和果實的目標(biāo)檢測、成熟度水平信息。

3.1.1 基于YOLOv5番茄串和果實目標(biāo)檢測模型框架

YOLO（you only look once）系列目標(biāo)檢測模型是一種單階段檢測模型，相比Mask R-CNN等兩階段檢測網(wǎng)絡(luò)更加輕量、高效，在各類采摘機器人上應(yīng)用廣泛[26-29]，易于部署與測試。YOLOv5目標(biāo)檢測模型系列，包括YOLOv5s、YOLOv5m、YOLOv5l等多個在深度、寬度有區(qū)分的模型，相比YOLOv3和YOLOV4等作做出了許多工程化應(yīng)用上的改進，保證精度的同時，提高了推理速度。

YOLOv5模型可以分為主干網(wǎng)絡(luò)（Backbone）、頸部網(wǎng)絡(luò)（Neck）和檢測頭（Head）3個部分，如圖6。輸入主干網(wǎng)絡(luò)前，圖像被縮放至固定的640×640(像素)大小。主干網(wǎng)絡(luò)完成特征提取，待進一步豐富特征并轉(zhuǎn)換之后，由檢測頭部分輸出80×80、40×40和20×20三種不同尺度的特征圖，在多個特征圖上進行邊界框預(yù)測。經(jīng)過非極大值抑制部分（non-maximum suppression，NMS）完成對檢測框信息的合并、篩選，輸出預(yù)測框的中心點坐標(biāo)(,)、高寬(,)、類別()、置信度(C)的預(yù)測結(jié)果。YOLOv5損失值由3個部分組成，分別為類別損失、置信度損失、定位損失。

3.1.2 基于多任務(wù)學(xué)習(xí)的檢測方法改進

多任務(wù)學(xué)習(xí)旨在利用不同任務(wù)之間的相似性，同時解決多個不同的任務(wù)。與之對應(yīng)的概念是單任務(wù)學(xué)習(xí)，即將復(fù)雜的系統(tǒng)或問題分解為簡單且獨立的子問題并逐一解決。通常情況下，多任務(wù)學(xué)習(xí)相比單任務(wù)學(xué)習(xí)有著學(xué)習(xí)效率高、過擬合風(fēng)險更小的優(yōu)勢。

YOLOv5模型對預(yù)測框位置、高寬、類別的學(xué)習(xí)，屬于多任務(wù)學(xué)習(xí)。主干網(wǎng)絡(luò)對于目標(biāo)檢測任務(wù)所提取的輪廓、顏色、大小等特征與成熟度判斷任務(wù)所需的特征存在重合，為僅使用YOLOv5模型一次完成番茄的檢測和成熟度判斷提供了理論條件。不同成熟程度的番茄顏色、大小不同，按照各生長階段特點和農(nóng)藝要求將果實進行成熟度標(biāo)注，相比將所有果實均列為一類目標(biāo)，前者類內(nèi)差異較小、類間差距大，有利于識別和降低過擬合風(fēng)險。經(jīng)過此項改進，YOLOv5模型能夠在檢測串與果實的同時，輸出果實的成熟度分級信息。

另外，采摘機器人僅能對所處軌道兩側(cè)的目標(biāo)進行抓取，無法跨壟采摘，如圖7。完成番茄目標(biāo)檢測后，需要濾除生長在其他培養(yǎng)架上的非目標(biāo)番茄。已知成熟果實可以近似看做赤道直徑和極直徑為2.5 cm左右的橢球體，培養(yǎng)架壟間距在1.55 m左右，培養(yǎng)架寬0.75 m左右。網(wǎng)絡(luò)模型輸入圖像分辨率為640×640（像素）條件下，根據(jù)相機針孔模型進行計算和標(biāo)注結(jié)果統(tǒng)計，處于其他培養(yǎng)架上的櫻桃番茄單果目標(biāo)（無法采摘的目標(biāo)）在輸入畫面中的像素大小小于10×10（像素）。相機針孔模型描述如下式：

圖6 櫻桃番茄的級聯(lián)視覺檢測方法示意圖

式中（,）為目標(biāo)像素點在畫面中像素位置；（,,）為目標(biāo)像素點在相機坐標(biāo)系下的空間位置；為相機的內(nèi)參數(shù)矩陣。

對于這類小目標(biāo)，即便使用80×80（像素）的大尺寸特征層（即感受野為8×8（像素））仍難以檢測。為減少網(wǎng)絡(luò)對這類不必要的目標(biāo)計算，可以去掉網(wǎng)絡(luò)檢測頭尺寸為80×80（像素）及以上的特征層。在數(shù)據(jù)標(biāo)注階段，無需標(biāo)注畫面中不屬于當(dāng)前培養(yǎng)架上的非待采目標(biāo)，進一步減少果實樣本類內(nèi)差距的同時，節(jié)省大量標(biāo)注人力（如圖4中所示，畫面中不屬于機械臂工作空間內(nèi)的番茄（虛線區(qū)域內(nèi)）均未被標(biāo)注）。

圖7 采摘機器人工作空間示意圖

3.2 基于MobileNet的果實果梗位置關(guān)系判斷

櫻桃番茄串生長狀態(tài)各異，面對采摘機器人的角度并不固定。采摘機器人末端執(zhí)行器以固定角度執(zhí)行采摘作業(yè)面臨因果實、果梗干涉導(dǎo)致采摘失敗或效率低的問題。如圖8a，末端執(zhí)行器以垂直于培養(yǎng)架的固定角度執(zhí)行采摘任務(wù)，經(jīng)常與其他果實發(fā)生干涉，導(dǎo)致整串番茄發(fā)生偏移，需要多次采摘才能成功。在圖8b中，使用錯誤的角度進行采摘，待采果實與末端執(zhí)行器之間存在果梗遮擋，導(dǎo)致失敗。圖8c中，末端執(zhí)行器以合適的角度接近目標(biāo)，順利完成果實采摘。因此，在檢測階段應(yīng)當(dāng)獲取待采摘目標(biāo)的和果梗的位置關(guān)系，指導(dǎo)末端執(zhí)行器以選擇合適角度靠近待采目標(biāo)，以此提高采摘成功率、效率。

圖8 末端執(zhí)行器方向選擇及結(jié)果

谷歌MobileNet系列網(wǎng)絡(luò)作為輕量化網(wǎng)絡(luò)中的佼佼者，被廣泛應(yīng)用于工業(yè)界作為主干網(wǎng)絡(luò)分類、檢測、語義分割等任務(wù)。MobileNetv3[30]于2019年發(fā)表，綜合了MobileNetv1[31]和MobileNetv2[32]的優(yōu)點，是利用NAS（Network architecture search）方法對網(wǎng)絡(luò)配置進行調(diào)優(yōu)獲得的產(chǎn)物，保持精度的同時進一步提升了速度，適合部署在采摘機器人上。在果實果梗位置關(guān)系數(shù)據(jù)集中訓(xùn)練MobileNetv3網(wǎng)絡(luò)，使之能夠?qū)麑嵪鄬５奈恢米龀雠袛?，為機械臂選擇接近目標(biāo)的角度提供依據(jù)（如圖6中果實果梗位置關(guān)系判斷環(huán)節(jié)所示）。

4 基于視覺引導(dǎo)的櫻桃番茄機器人采收方法

4.1 櫻桃番茄采摘機器人系統(tǒng)

為試驗搭建的采摘機器人系統(tǒng)如圖9所示，該系統(tǒng)由移動平臺、機械臂、末端執(zhí)行器、深度相機和控制器組成。機械臂采用針對溫室番茄種植設(shè)施高度定制的Z-Arm四軸協(xié)作機械臂，最大負(fù)載3.5 kg，重復(fù)定位精度±0.05 mm，相比六軸機械臂操作更為簡便。末端執(zhí)行器采摘方式為負(fù)壓吸入，對視覺系統(tǒng)中產(chǎn)生的誤差有更好的容錯性，采摘同時完成果實收集，存儲在移動平臺后方的置物箱中。深度相機選擇Intel Realsense D435i RGB-D相機，該相機體積小巧、配套資源完備，在20～60 cm范圍內(nèi)能夠提供60幀/s的高精度深度信息?？刂破靼惭b在移動平臺，采用的GPU為NVIDIA Geforce GTX 1050Ti，搭配顯示器用于實時關(guān)注檢測結(jié)果。

1.機械臂 2.深度相機 3.末端執(zhí)行器 4.運動底盤 5.控制器

4.2 目標(biāo)手眼轉(zhuǎn)換

獲得目標(biāo)在機械臂坐標(biāo)系下的位置后，驅(qū)動機械臂攜帶末端執(zhí)行器接近目標(biāo)在空間中的位置，并執(zhí)行采摘動作。

5 自動采收系統(tǒng)性能試驗

5.1 檢測模型訓(xùn)練及性能對比

1）網(wǎng)絡(luò)訓(xùn)練

按照8∶2的比例劃分櫻桃番茄數(shù)據(jù)集為訓(xùn)練集和測試集，將不同深度的YOLOv5系列模型及YOLOv3系列模型在數(shù)據(jù)集中進行訓(xùn)練?？紤]到不同深度、寬度網(wǎng)絡(luò)的參數(shù)量、浮點運算次數(shù)（floating point operations, FLOPs）和占用顯存不同，為方便后續(xù)對比試驗，統(tǒng)一設(shè)定批大小為32。根據(jù)網(wǎng)絡(luò)深度和參數(shù)量的不同設(shè)置初始學(xué)習(xí)率為0.01，動量設(shè)置為0.937，懲罰項設(shè)置為0.000 5，迭代最大次數(shù)設(shè)置為600～700輪。訓(xùn)練期間各網(wǎng)絡(luò)模型損失變化曲線及均值平均精度m變化曲線如圖10a和圖10b所示。各模型在前200次迭代中m迅速增加，各項損失迅速減小。大約400次迭代之后，網(wǎng)絡(luò)各類損失值、m趨于穩(wěn)定，此時認(rèn)為各網(wǎng)絡(luò)模型已完成收斂。

圖10 各網(wǎng)絡(luò)模型在訓(xùn)練集上損失和均值平均精度曲線

2）最優(yōu)模型選擇

為避免信息泄露對模型性能造成影響，拍攝50張獨立于訓(xùn)練數(shù)據(jù)集的圖像（包含各類目標(biāo)共3 753個），作為獨立驗證集用于檢驗不同深度和類型網(wǎng)絡(luò)模型的檢測性能，使用準(zhǔn)確率、召回率、均值平均精度和1得分量化結(jié)果。在Pytorch、TensorRT框架中加載各模型并運行在GPU型號為NVIDIA 2060、GPU1050Ti的工控機中，測試各模型在硬件上的平均推理時間。

各網(wǎng)絡(luò)模型在驗證集上的性能表現(xiàn)如表1所示。YOLOv5n在YOLOv5系列中網(wǎng)絡(luò)深度最小，在驗證集中精度最差。在I閾值為0.5的情況下，YOLOv5n與YOLOv3-tiny與同屬于輕量化模型，在驗證集中均值平均精度和1值與YOLOv3-tiny相比高2.23個百分點。從訓(xùn)練集上損失曲線圖10a中可以發(fā)現(xiàn)YOLOv3-tiny相比其他網(wǎng)絡(luò)損失值更高，意味著無法更深入地擬合目標(biāo)數(shù)據(jù)，和驗證集中該網(wǎng)絡(luò)效果最差的結(jié)果相吻合，精度過低無法被當(dāng)前采摘機器人應(yīng)用場景所接受。YOLOv3系列模型中精度表現(xiàn)最優(yōu)的YOLOv3-SPP模型[18]，在驗證集中的表現(xiàn)處于YOLOv5s與YOLOv5m之間，但在所有被測模型之中推理速度最慢。

表1 各網(wǎng)絡(luò)在驗證集的性能測試結(jié)果

隨著網(wǎng)絡(luò)深度的加深，網(wǎng)絡(luò)對目標(biāo)特征的提取能力和識別能力逐步上升，從網(wǎng)絡(luò)深度最淺的YOLOv5n到所試驗的模型中網(wǎng)絡(luò)深度最深的YOLOv5l，均值平均精度和1值都在逐步上升。如I閾值為0.5與0.95情況下，YOLOv5s在驗證集中的識別均值平均精度較YOLOv5n分別高4.85個和4.92個百分點。但從目前驗證集中測試結(jié)果來看，網(wǎng)絡(luò)深度加深和性能提升并不是線性關(guān)系，客觀存在一個性能瓶頸。如YOLOv5l的計算量為YOLOv5m的2倍以上，但驗證集中的精度表現(xiàn)差異較小，僅高0.24個百分點（I閾值為0.5）。推測是因為櫻桃番茄單果及串目標(biāo)特征相對簡單，并不需要過于復(fù)雜的主干網(wǎng)絡(luò)即可完成對目標(biāo)特征的提取。櫻桃番茄體積較小，遮擋嚴(yán)重的目標(biāo)很難被識別，也是導(dǎo)致模型檢測結(jié)果出現(xiàn)瓶頸的重要原因之一。

由此可以看出，在當(dāng)前場景YOLOv5s模型相比所提到的YOLO系列其他模型有著計算量更小、精度較高的綜合優(yōu)勢，滿足采摘機器人對實時性、精度的綜合需要，因此本文選擇YOLOv5s網(wǎng)絡(luò)模型作為后續(xù)研究和應(yīng)用的主要模型。

5.2 YOLOv5櫻桃番茄及成熟度檢測準(zhǔn)確率測試

目標(biāo)檢測試驗在北京海淀某溫室日光櫻桃番茄園中進行，采摘機器人在軌道上勻速移動并對待采番茄進行檢測。不同光照條件及不同形態(tài)櫻桃番茄檢測結(jié)果，如圖11所示?？梢钥闯鏊媚Ｐ驮诔Ｒ姽庹諚l件及陽光直射、白平衡變化等異常光照條件下對各目標(biāo)均有著良好的識別效果穩(wěn)定。同時，檢測結(jié)果中未包含處于機器人工作空間范圍外的無關(guān)目標(biāo)，起到了過濾、篩選的作用。

圖11 實際檢測結(jié)果展示

保留20幀采摘機器人工作時的輸入圖像，人工標(biāo)注、統(tǒng)計各類目標(biāo)的數(shù)量及網(wǎng)絡(luò)模型預(yù)測正確率，結(jié)果記錄在表2。由表2可知，經(jīng)過調(diào)整后得到的YOLOv5s檢測模型，在實際場景中，對各成熟度番茄單果和串目標(biāo)均值平均精度達(dá)到89.9%，有著良好的識別效果，單幀推理時間11.5 ms左右（I閾值0.5，GPU 1050Ti，TensorRT7庫部署的情況下測得）。

表2 多任務(wù)學(xué)習(xí)思路下改進后的檢測模型測試結(jié)果

表2表明，經(jīng)多任務(wù)學(xué)習(xí)思路改進后的YOLOv5目標(biāo)檢測方法能夠完成櫻桃番茄的檢測、成熟度識別與非待采目標(biāo)過濾。此項改進快捷且有效，在所需要的標(biāo)注量大幅減少、無需修改網(wǎng)絡(luò)結(jié)構(gòu)的情況下，模型檢測精度得以提升、并能輸出高準(zhǔn)確率的成熟分級信息，適合采摘機器人運用。

5.3 MobileNetv3判斷果實果梗位置關(guān)系測試

在果實與果梗位置關(guān)系數(shù)據(jù)集中訓(xùn)練模型并測試網(wǎng)絡(luò)性能。用于判斷果實與果梗相對位置MobileNetv3分類網(wǎng)絡(luò)損失和準(zhǔn)確率曲線，如圖12a和圖12b所示。迭代25輪后模型的損失值趨于穩(wěn)定，在驗證集中模型準(zhǔn)確率處于85%附近。取精度為85%的模型作為在采摘機器人中實際部署的模型，判斷結(jié)果展示在圖13中。改進YOLOv5和MobileNetV3級聯(lián)模型的單幀推理時間平均為22 ms（MobileNetV3的批處理大小為8，其他參數(shù)同5.2節(jié)）。其中，“L”代表果實在果梗左側(cè),末端執(zhí)行器應(yīng)當(dāng)從番茄串左側(cè)進行果實采摘，“R”代表果實在果梗右側(cè)。

5.4 基于視覺引導(dǎo)的采摘對比實驗

圖14中展示了機器人視角下番茄的幾種常見生長姿態(tài)。圖14a，相機能夠直接觀察到每一粒果實、果梗、果蒂和果萼，定義為“正面面對（正對）”相機。圖14b和圖14c中僅能看見部分果梗、果萼，果實之間存在前后遮擋。圖14d，此時無法觀察到果梗、果萼、果蒂等部分，定義為“背面相對（背對）”。

圖12 MobileNetv3網(wǎng)絡(luò)訓(xùn)練中損失與準(zhǔn)確率曲線

圖13 果實與果梗位置關(guān)系判斷結(jié)果展示

在以往的研究中，完成對目標(biāo)位置的獲取后，機械臂攜帶末端執(zhí)行器以垂直培養(yǎng)槽的固定角度靠近果實，執(zhí)行采摘動作，完成采摘或進行下一次嘗試（方法1）。為避免末端執(zhí)行器與果實發(fā)生摩擦、干涉，通過視覺方法獲取果實與果梗的位置關(guān)系后，選擇從左或從右，更大角度地靠近目標(biāo)（方法2）。

試驗中，設(shè)定同樣的機械臂速度，約8 s完成一次“機械臂移動-末端執(zhí)行器動作-保持-機械臂收回”的流程，使用方法1與方法2分別嘗試采摘圖14中4種不同姿態(tài)的番茄，作為對比試驗。如果一顆番茄嘗試采摘5次均未成功，則認(rèn)為存在無法采摘的目標(biāo)，其嘗試次數(shù)也將計入測試結(jié)果中。人工摘除這顆“無法采摘”的番茄，以便機器人繼續(xù)進行測試。以采摘效率（采摘成功次數(shù)與動作次數(shù)之比值）和是否存在無法采摘的目標(biāo)作為評價指標(biāo)，采摘結(jié)果如表3。

由表3可知，串姿態(tài)為“背對”情況的櫻桃番茄串相對容易被采摘，兩種視覺檢測引導(dǎo)采摘方法的采摘效率均在85%左右；串姿態(tài)為“完全側(cè)對”的櫻桃番茄串，方法1的采摘效率最低，僅有16.6%，主要是因為處于串另一側(cè)的果實因果梗阻擋末端執(zhí)行器無法采摘（情況類似圖8b），嘗試次數(shù)過多導(dǎo)致。方法2因獲得果實與果梗的相對位置，能夠一定程度上繞開果梗，從果梗對側(cè)方向完成采摘。對于串姿態(tài)為“正對”、“輕微側(cè)對”的櫻桃番茄串，方法1雖然能夠完成采摘，但因缺少目標(biāo)與果梗的位置關(guān)系，采摘過程中末端執(zhí)行器以固定角度多次干涉果梗或其他果實導(dǎo)致當(dāng)次采摘失敗，效率相比方法2更低。

圖14 機器人相機視角下櫻桃番茄串的不同姿態(tài)

表3 兩種視覺引導(dǎo)方式采摘結(jié)果對比

末端執(zhí)行器以固定角度執(zhí)行采摘，綜合效率為47.5%，平均單顆收獲時長約為16.8 s；經(jīng)過判斷果梗與果實位置關(guān)系后選擇方向?qū)δ繕?biāo)進行采摘，綜合效率為76.2%，平均單顆收獲時長10.4 s，相比末端執(zhí)行器以固定角度采摘的方法，采摘效率高出28.7個百分點，平均單顆收獲用時少6.4 s，且不存在“無法采摘”的目標(biāo)。試驗結(jié)果表明，本研究提出的基于級聯(lián)視覺檢測的番茄采收方法，在一定程度上減輕末端執(zhí)行器與櫻桃番茄串干涉的情況，提升了采摘效率，有效完成了分期采收。

6 結(jié) 論

本研究面向櫻桃番茄采摘機器人果實單顆采收的應(yīng)用場景，提出“采收目標(biāo)檢測-目標(biāo)果實成熟度判別-果實與果梗位置關(guān)系判斷”的級聯(lián)視覺檢測流程，并搭建機器人系統(tǒng)，在日光溫室場景中進行檢測、采摘試驗，主要結(jié)論如下：

1）基于多任務(wù)學(xué)習(xí)的思路，在數(shù)據(jù)標(biāo)注環(huán)節(jié)進行改進，對櫻桃番茄目標(biāo)按成熟度進行了分類標(biāo)注、不標(biāo)注畫面中屬于機器人工作空間外的櫻桃番茄目標(biāo)。相比常規(guī)方法，本方法有著無需修改檢測網(wǎng)絡(luò)結(jié)構(gòu)、所需標(biāo)注量大幅減少的優(yōu)勢。使用YOLOv5s作為檢測網(wǎng)絡(luò)測試模型，在該項改進下，對綠熟期、轉(zhuǎn)色期、成熟期、完熟期的櫻桃番茄和櫻桃番茄串5類目標(biāo)的均值平均精度（I閾值為0.5）值達(dá)到89.9%，實現(xiàn)了采摘機器人對櫻桃番茄的快速檢測、成熟度判斷，可為各類基于果蔬成熟度水平進行作業(yè)的采摘機器人提供參考。

2）針對采摘過程中，末端執(zhí)行器容易與櫻桃番茄串果梗產(chǎn)生干涉，導(dǎo)致采摘效率、收獲率低下的問題，在機器人常規(guī)采摘流程中加入果實與果梗位置關(guān)系判斷環(huán)節(jié)。試驗中，使用正確率為85%的MobileNetv3果實果梗位置關(guān)系判斷模型的情況下，采摘機器人采摘效率約為76.2%，相比機械臂以固定角度靠近目標(biāo)執(zhí)行采摘的方法采摘效率高出28.7個百分點，平均單顆采摘用時為10.4 s，滿足采摘機器人對提升抓取效率、分期采收效果的要求，具有一定實用價值。

[1] 朱光磊，裴新偉. 中國農(nóng)民規(guī)模問題的不同判斷、認(rèn)知誤區(qū)與治理優(yōu)化[J]. 北京師范大學(xué)學(xué)報（社會科學(xué)版），2021，288(6)：127-138.

ZHU Guanglei, PEI Xinwei. The scale of chinese farmers : different judgments, cognitive misunderstandings and governance optimization[J]. Journal of Beijing Normal University (Social Sciences), 2021, 288(6): 127-138. (in Chinese with English abstract)

[2] 蔣和平，王克軍，楊東群. 我國鄉(xiāng)村振興面臨的農(nóng)村勞動力斷代危機與解決的出路[J]. 江蘇大學(xué)學(xué)報（社會科學(xué)版），2019，21(1)：28-34.

JIANG Heping, WANG Kejun, YANG Dongqun. Labor crisi and solution in the revival of rural china[J]. Journal of Jiangsu University(Social Science Edition). 2019, 21(1): 28-34. (in Chinese with English abstract)

[3] 劉成良，貢亮，苑進，等. 農(nóng)業(yè)機器人關(guān)鍵技術(shù)研究現(xiàn)狀與發(fā)展趨勢[J]. 農(nóng)業(yè)機械學(xué)報，2022，53(7): 1-22，55.

LIU Chengliang, GONG liang, YUAN Jin, et al. Current status and development trends of agriculture robots[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(7): 1-22, 55. (in Chinese with English abstract)

[4] ZHOU H, WANG X, AU W, et al. Intelligent robots for fruit harvesting: Recent developments and future challenges[J]. Precision Agriculture, 2022, 23(5): 1856-1907.

[5] Kootstra G, WANG X, BLOK P M, et al. Selective harvesting robotics: Current research, trends, and future directions[J]. Current Robotics Reports, 2021, 2: 95-104.

[6] 王海楠，弋景剛，張秀花. 番茄采摘機器人識別與定位技術(shù)研究進展[J]. 中國農(nóng)機化學(xué)報，2020，41(5)：188-196.

WANG Hainan, YI Jinggang, ZHANG Xiuhua. Research progress on recognition and localization technology of tomato picking robot[J]. Journal of Chinese Agricultural Mechanization, 2020, 41(5): 188-196. (in Chinese with English abstract)

[7] 伍鎣芮，張志勇，韓小平，等. 基于圖像處理技術(shù)的番茄成熟度檢測研究[J]. 農(nóng)業(yè)技術(shù)與裝備，2021，376(4)：50-51，54.

WU Yingrui, ZHANG Zhiyong, HAN Xiaoping, et al. Research on Tomato Maturity Detection Based on Image Processing Technology[J]. Agricultural Technology & Equipment, 2021, 376(4): 50-51, 54. (in Chinese with English abstract)

[8] 岳有軍，孫碧玉，王紅君，等. 基于級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的番茄果實目標(biāo)檢測[J]. 科學(xué)技術(shù)與工程，2021，21(6): 2387-2391.

YUE Youjun, SUN Biyu, WANG Hongjun, et al. Object detection of tomato fruit based on cascade RCNN[J]．Science Technology and Engineering, 2021, 21( 6): 2387-2391. (in Chinese with English abstract)

[9] TANG Y, CHEN M, WANG C, et al. Recognition and localization methods for vision-based fruit picking robots: A review[J]. Frontiers in Plant Science, 2020, 11: 510.

[10] 鄭太雄，江明哲，馮明馳. 基于視覺的采摘機器人目標(biāo)識別與定位方法研究綜述[J]. 儀器儀表學(xué)報，2021，42(9)：28-51.

ZHENG Taixiong, JIANG Mingzhe, FENG Mingchi. Vision based target recognition and location for picking robot: Areview[J]. Scientific Instrument, 2021, 42(9): 28-51. (in Chinese with English abstract)

[11] 李天華，孫萌，婁偉，等. 采摘機器人分割與識別算法的研究現(xiàn)狀[J]. 山東農(nóng)業(yè)科學(xué)，2021，53(10)：140-148.

LI Tianhua, SUN Meng, LOU Wei, et al. Research status of picking robot segmentation and recognition algorithms[J]. Shandong Agricultural Sciences, 2021, 53(10):140-148. (in Chinese with English abstract)

[12] JUN J, KIM J , SEOL J, et al. Towards an efficient tomato harvesting robot: 3D perception, manipulation, and end-effector[J]. IEEE Access, 2021, 9: 17631-17640.

[13] REDMON J, FARHADI A. YOLOv3: An incremental improvement[EB/OL]. arXiv preprint arXiv:1804.02767, 2018.

[14] 張勤，陳建敏，李彬，等. 基于RGB-D信息融合和目標(biāo)檢測的番茄串采摘點識別定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(18)：143-152.

ZHANG Qin, CHEN Jianmin, LI Bin, et al. Method for recognizing and locating tomato cluster picking points based on RGB-D information fusion and target detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 143-152. (in Chinese with English abstract)

[15] 張勤，劉豐溥，蔣先平，等. 番茄串收機械臂運動規(guī)劃方法與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(9)：149-156.

ZHANG Qin, LIU Fengpu, JIANG Xianping, et al. Motion planning method and experiments of tomato bunch harvesting manipulator[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(9): 149-156. (in Chinese with English abstract)

[16] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: Optimal speed and accuracy of object detection[EB/OL]. arXiv preprint arXiv: 2004.10934, 2020.

[17] WANG L L, ZHAO B, FAN J W, et al. Development of a tomato harvesting robot used in greenhouse[J]. International Journal of Agriculture and Biological Engineering, 2017, 10(4): 140-149.

[18] 李天華，孫萌，丁小明，等. 基于YOLO v4+HSV的成熟期番茄識別方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(21)：183-190.

LI Tianhua, SUN Meng, DING Xiaoming, et al. Tomato recognition method at the ripening stage based on YOLO v4 and HSV[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 183-190. (in Chinese with English abstract)

[19] BENAVIDES M, CANTóN-GARBíN M, SáNCHEZ- MOLINA J A, et al. Automatic tomato and peduncle location system based on computer vision for use in robotized harvesting[J]. Applied Sciences, 2020, 10(17): 5887-5908.

[20] ZHANG L, JIA J, GUI G, et al. Deep learning based improved classification system for designing tomato harvesting robot[J]. IEEE Access, 2018, 6: 67940-67950.

[21] AFONSO M, FONTEIJN H, FIORENTIN F S, et al. Tomato fruit detection and counting in greenhouses using deep Learning[J]. Frontiers in Plant Science, 2020, 11: 571299-571311.

[22] HE K M, GKIOXARI G, DOLLAR P, et al. Mask R-CNN[C]. Proceedings of 2017 Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2980-2988.

[23] 龍潔花，趙春江，林森，等. 改進Mask R-CNN的溫室環(huán)境下不同成熟度番茄果實分割方法[J]. 農(nóng)業(yè)工程學(xué)報，2021，37(18)：100-108.

LONG Jiehua, ZHAO Chunjiang, LIN Sen, et al. Segmentation method of the tomato fruits with different maturities under greenhouse environment based on improved Mask R-CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(18): 100-108. (in Chinese with English abstract)

[24] JIA W, ZHANG Y, LIAN J, et al. Apple harvesting robot under information technology: a review[J]. International Journal of Advanced Robotic Systems, 2020, 17(3): 1-16.

[25] 章永年，張任飛，孫曄，等. 局部按壓對不同成熟度番茄機械損傷的影響[J].農(nóng)業(yè)工程學(xué)報，2021，37(11)：292-298.

ZHANG Yongnian, ZHANG Renfei, SUN Guoxiang, et al. Effects of local compression on the mechanical damage of tomato with different maturity[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(11): 292-298. (in Chinese with English abstract)

[26] TANG Y, ZHOU H, WANG H, et al. Fruit detection and positioning technology for aC. Abel orchard based on improved YOLOv4-tiny model and binocular stereo vision[J]. Expert Systems with Applications, 2023, 211: 118573.

[27] 劉芳，劉玉坤，林森，，等. 基于改進型YOLO的復(fù)雜環(huán)境下番茄果實快速識別方法[J]. 農(nóng)業(yè)機械學(xué)報，2020，51(6)：239-248.

LIU Fang, LIU Yukun, LIN Sen, et al. Fast recognition method for tomatoes under complex environments based on improved YOLO[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(6): 239-248. (in Chinese with English abstract)

[28] 閆彬，樊攀，王美茸，等. 基于改進YOLOv5m的采摘機器人蘋果采摘方式實時識別[J]. 農(nóng)業(yè)機械學(xué)報，2022，53(9)：28-38，59.

YAN Bin, FAN Pan, WANG Meirong, et al. Real-time Apple picking pattern recognition for picking robot based on improved YOLOv5m[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(9): 28-38, 59.(in Chinese with English abstract)

[29] TIAN Y, YANG G, WANG Z, et al. Apple detection during different growth stages in orchards using the improved YOLO-V3 model[J]. Computers and Electronics in Agriculture, 2019, 157:417-426.

[30] HOWARD A, SANDLER M, CHU G, et al. Searching for mobilenetv3[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, 2019: 1314-1324.

[31] HOWARD A G, ZHU M, CHEN B, et al. MobileNets: Efficient convolutional neural networks for mobile vision applications[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Hawaii: IEEE, 2017: 1704-1712.

[32] SANDLER M, HOWARD A, ZHU M, et al. MobileNetV2: Inverted residuals and linear bottlenecks[C]. IEEE. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 4510- 4520.

Design and experiment of an automatic cherry tomato harvesting system based on cascade vision detection

LI Xingxu1,2, CHEN Wenbai1, WANG Yiqun1, YANG Shun3, WU Huarui2, ZHAO Chunjiang2※

(1.,,100192,; 2.,100097,; 3..,.,100085,)

Cherry tomatoes are a small variety of tomatoes with a shape size of not large than 2.5 cm and mostly grow in bunches. Furthermore, the bunches of cherry tomatoes also grow in variable postures. These growth conditions have posed a great challenge to the harvesting robot at a fixed angle. Once the robots automatically perform single-fruit harvesting operations, the stems can be found to usually interfere with the end-effectors, resulting in low picking efficiency. The reason may be that the picking robots cannot move towards commercialization. Particularly, not all fruits in a tomato bunch grow and ripen simultaneously. It is very necessary to pick the ripe fruits on time, in order to ensure a fresh taste with high economic profits. Therefore, a robotic vision system is highly required to rapidly and accurately identify fruit ripeness. In this study, a cascaded vision detection approach was proposed to harvest the single tomatoes from the robotic spikes. The processing procedure included three key aspects: the detection of the harvesting target, the determination of target maturity, and the fruit-stalk position relationship. Firstly, the YOLOv5 model of target detection was introduced to detect the tomato fruits and bunches. The tomato fruits were labelled into four categories using agronomic growing and harvesting requirements, including green, turning, ripe, and fully ripe fruit. It was totally difference from the simply classified ripeness than before. Among them, the ripe, and fully ripe fruit were targeted for robotic harvesting. The overlap of visual features was then fully considered for ripeness determination and target detection. The original YOLOv5 was improved for ripeness detection using multi-task learning. The robot was confined to only picking the tomatoes on both sides of the culture rack, due mainly to the structure of the greenhouse facility. The target detection was then filtered out for the targets beyond the execution range of the robot. The distance was also set as 1.55 m between the culture racks in this case. The region of interest (ROI) of the target fruit was then approximated as an ellipsoid with an equatorial diameter and a polar diameter of approximately 2.5 cm. The pinhole camera model was used to calculate the ROI picking range. Specifically, the tomatoes growing on the incubator outside the working range of the robot were mostly smaller than the 10 pixel×10 pixel region in the 640 pixel×640 pixel RGB image. At the same time, a large number of feature layers were cropped to choose the unlabeled targets in the annotation stage. As such, better performance was achieved to reduce the labor cost, particularly when filtering the targets without being captured. This end-to-end approach was required without post-processing. It was much more adaptable to real scenarios, compared with the traditional approach of filtering targets by the threshold setting. The field experiments show that the fruit stalk interfering with the end-effector was a major cause of robot picking failure or low efficiency. Correspondingly, the optimal angle was one of the most important parameters for the harvesting action. After the screening of targets to be picked, the target rectangle detection box was enlarged by 10% in length and width, in order to contain the peripheral information, such as pedicels and calyces. The expanded image block was then input into the Mobilenetv3 network model, in order to evaluate the relative position relationship between the target fruit and the fruit stalk. As such, the input was provided for the end-effector to change the picking position, and then choose the direction favorable for the fruit picking, in order to approach the fruit and then perform the action using the pose of the string. A harvesting robot system was also built consisting of a depth camera, a four-degree-of-freedom robot arm, a chassis, and a negative-pressure end-effector. The harvesting system was tested in the greenhouses at different times of the year, particularly for object detection, the prediction of the position relationship between fruit stalks, and fruit harvesting. The results showed that the average detection accuracy of cherry tomato bunches and fruits with different ripeness reached 89.9% with the Intersection over the union threshold of 0.5. The average inference time was 22 ms in the cascade detection system. Furthermore, the harvesting efficiency was improved by 28.7 percentage points, compared with targeting to be picked at a fixed angle. The average time was 10.4 s per fruit for harvesting fruits, indicating the better performance of the improved system. This finding can also provide a strong reference for fruit and vegetable harvesting robots.

robot; object detection; greenhouse; cherry tomato; YOLOv5

10.11975/j.issn.1002-6819.202210099

TP391.4

A

1002-6819(2023)-01-0136-10

李興旭，陳雯柏，王一群，等. 基于級聯(lián)視覺檢測的櫻桃番茄自動采收系統(tǒng)設(shè)計與試驗[J]. 農(nóng)業(yè)工程學(xué)報，2023，39(1)：136-145.doi：10.11975/j.issn.1002-6819.202210099 http://www.tcsae.org

LI Xingxu, CHEN Wenbai, WANG Yiqun, et al. Design and experiment of an automatic cherry tomato harvesting system based on cascade vision detection[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(1): 136-145. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202210099 http://www.tcsae.org

2022-10-13

2022-12-26

財政部和農(nóng)業(yè)農(nóng)村部，國家現(xiàn)代農(nóng)業(yè)產(chǎn)業(yè)技術(shù)體系（CARS-23-D07）；科技創(chuàng)新2030“新一代人工智能”重大項目（2021ZD0113600）

李興旭，研究方向為智能農(nóng)業(yè)機器人。Email：lixx@nercita.org.cn

趙春江，研究員，研究方向為農(nóng)業(yè)信息技術(shù)與精準(zhǔn)農(nóng)業(yè)技術(shù)體系。Email：zhaocj@nercita.org.cn