袁天旺 康朋飛 陳祥 董超 王向東

摘要：在國(guó)家“鄉(xiāng)村振興”“科技助農(nóng)”政策的號(hào)召下，科技不斷帶動(dòng)農(nóng)業(yè)的發(fā)展，提高農(nóng)業(yè)生產(chǎn)效率，文章對(duì)農(nóng)業(yè)采摘機(jī)器人進(jìn)行了研究測(cè)試，并將其投入實(shí)地果實(shí)采摘。文章提出了基于視覺(jué)識(shí)別的柔性機(jī)械爪采摘機(jī)器人設(shè)計(jì)，其結(jié)構(gòu)主要由樹(shù)莓派主板、6自由度機(jī)械臂及柔性機(jī)械爪構(gòu)成?；贠pen CV為框架開(kāi)發(fā)的CNN神經(jīng)網(wǎng)絡(luò)算法系統(tǒng)可以通過(guò)果實(shí)的顏色、形狀，判斷其在三維空間的位置及成熟度，從而完成采摘作業(yè)。該設(shè)計(jì)通過(guò)解決采摘業(yè)的自動(dòng)化采摘以及單一采摘等問(wèn)題，響應(yīng)國(guó)家科技助農(nóng)計(jì)劃，促進(jìn)鄉(xiāng)村振興戰(zhàn)略。

關(guān)鍵詞：采摘機(jī)器人；Open CV；樹(shù)莓派；科技助農(nóng)

中圖分類號(hào)：TP242中圖分類號(hào)文獻(xiàn)標(biāo)志碼：A文獻(xiàn)標(biāo)志碼

0 引言

近年來(lái)，隨著工業(yè)的迅速發(fā)展，世界各國(guó)均面臨人口老齡化問(wèn)題，農(nóng)業(yè)勞動(dòng)力逐漸向其他行業(yè)轉(zhuǎn)移，勞動(dòng)力不僅成本高，而且比較缺乏。果實(shí)采摘作業(yè)是果實(shí)生產(chǎn)中最耗時(shí)、最費(fèi)力的一個(gè)環(huán)節(jié)，人工在果實(shí)采收期存在很大的采摘壓力，人工采摘效率低下［1-2］。利用科技代替農(nóng)業(yè)采摘的研究越來(lái)越受到關(guān)注，而通過(guò)機(jī)器人來(lái)解放農(nóng)業(yè)生產(chǎn)勞動(dòng)力已成為一項(xiàng)重要科技研究。

解決農(nóng)業(yè)采摘效率低的問(wèn)題迫在眉睫，本文為此專門設(shè)計(jì)了一種基于視覺(jué)識(shí)別的柔性機(jī)械爪采摘機(jī)器人。本設(shè)計(jì)主要由控制系統(tǒng)、移動(dòng)裝置、采摘執(zhí)行器、柔性機(jī)械爪、供電裝置、視覺(jué)系統(tǒng)及驅(qū)動(dòng)系統(tǒng)組成。采摘機(jī)器人以樹(shù)莓派微型硬件作為核心控制器件，實(shí)現(xiàn)了識(shí)別、判斷、采摘、移動(dòng)及避障為一體的自動(dòng)化采摘［3］。

1 整體結(jié)構(gòu)設(shè)計(jì)

本項(xiàng)目設(shè)計(jì)了一種基于視覺(jué)識(shí)別的柔性機(jī)械爪采摘機(jī)器人，以樹(shù)莓派（Raspberry Pi4 Computer，Model B 4GB RAM）作為核心模塊進(jìn)行控制，通過(guò)履帶運(yùn)動(dòng)的方式，在農(nóng)業(yè)中自動(dòng)采摘。以O(shè)pen CV為框架開(kāi)發(fā)的CNN神經(jīng)網(wǎng)絡(luò)算法系統(tǒng)，通過(guò)6自由度機(jī)械爪代替人工采摘，不但在機(jī)械結(jié)構(gòu)和識(shí)別算法上具有自主創(chuàng)新性，而且可以通過(guò)雙目攝像頭及二自由度云臺(tái)來(lái)判斷不同類型果實(shí)的位置及成熟度，并用柔性機(jī)械爪進(jìn)行精準(zhǔn)采摘。另外，通過(guò)多種傳感器配合，該機(jī)器人具有遠(yuǎn)端操控監(jiān)視系統(tǒng)以及自動(dòng)避障功能，操作更加方便，利于農(nóng)民使用，整體結(jié)構(gòu)框架如圖1所示。

2 硬件設(shè)計(jì)

2.1 機(jī)械結(jié)構(gòu)

本文設(shè)計(jì)的基于視覺(jué)識(shí)別的柔性機(jī)械爪采摘機(jī)器人，其總機(jī)械結(jié)構(gòu)主要由3部分組成，分別為履帶移動(dòng)小車部分、機(jī)械臂部分及柔性機(jī)械爪部分。其機(jī)械結(jié)構(gòu)如圖2所示。

2.1.1 履帶移動(dòng)小車部分

該履帶移動(dòng)小車由兩側(cè)的動(dòng)力履帶、4個(gè)擺臂履帶和車架平臺(tái)連接而成。小車的動(dòng)力來(lái)源由4個(gè)減速電機(jī)提供，減速電機(jī)由12 V鉛蓄電池供電，其運(yùn)動(dòng)形式由主控制板控制，能夠?qū)崿F(xiàn)前進(jìn)、后退及轉(zhuǎn)彎行走等功能。本小車的4個(gè)擺臂履帶發(fā)揮著重要的作用，可以輕松通過(guò)土塊石頭等障礙物，具有良好的適應(yīng)性。

2.1.2 機(jī)械臂部分

該采摘機(jī)器人的機(jī)械臂采用6自由度機(jī)械臂，其應(yīng)用廣泛，具有靈敏度高、運(yùn)動(dòng)范圍大、兼容性強(qiáng)等特點(diǎn)，基本可以實(shí)現(xiàn)360°無(wú)死角運(yùn)行。該機(jī)械臂由步進(jìn)電機(jī)控制，可以提高機(jī)械臂的精度，從而提高工作效率。

2.1.3 柔性機(jī)械爪部分

該機(jī)器人的機(jī)械爪采用柔性三爪，它與剛性機(jī)械爪相比具有高切合性、高穩(wěn)定性及高可靠性等優(yōu)勢(shì)。該柔性機(jī)械爪的自身重量548 g，抓取范圍為10～150 mm，抓取重量大約為3 kg，控制電壓為12～24 V，抓取頻率40次每分鐘，可抓取圓柱、圓球、條形、長(zhǎng)方、易碎、易損等物品［4］。柔性機(jī)械爪如圖3所示。

柔性機(jī)械爪由硅膠材質(zhì)制成，具有仿生特性，可以根據(jù)果實(shí)的不同外形來(lái)改變抓取特性。其優(yōu)點(diǎn)是增加了手爪與果實(shí)之間的貼合度，解決機(jī)械爪因果實(shí)形狀怪異而無(wú)法抓取的問(wèn)題，增加了機(jī)械爪工作的穩(wěn)定性與可靠性，最重要的是避免了對(duì)抓取相對(duì)較軟的果實(shí)產(chǎn)生損壞，極大地提高了采摘的成功率［5］。

對(duì)于氣動(dòng)和電動(dòng)動(dòng)力來(lái)源的選擇，發(fā)現(xiàn)電動(dòng)裝置作為機(jī)械爪動(dòng)力來(lái)源有較可靠的優(yōu)勢(shì)。相同指標(biāo)下，電動(dòng)裝置可抓取更重的物體，而且對(duì)于整個(gè)系統(tǒng)而言便于系統(tǒng)間協(xié)調(diào)作業(yè)，提高了整體性能的穩(wěn)定性。通過(guò)增加機(jī)械指的數(shù)目，可以實(shí)現(xiàn)對(duì)不同類型大小、形態(tài)、重量等指標(biāo)特點(diǎn)果實(shí)的準(zhǔn)確抓取。電動(dòng)三爪相對(duì)果徑較小的果實(shí)（d<5 cm）抓取時(shí)，更加適應(yīng)表面貼合，從而成功摘取。對(duì)于較大果實(shí)，電動(dòng)四爪電動(dòng)更能輕易對(duì)其進(jìn)行采摘。使用多套裝置，可實(shí)現(xiàn)對(duì)不同種類果實(shí)的采摘，解決了單一果實(shí)的采摘。

2.2 控制模塊

該采摘機(jī)器人的控制部分主要由樹(shù)莓派4B主板、電機(jī)驅(qū)動(dòng)拓展板、雙目攝像頭、HC-SR04超聲波測(cè)距傳感器及OLED顯示屏模塊組成，其組成關(guān)系如圖4所示。

電源采用12 V直流電，主控板為樹(shù)莓派，通過(guò)樹(shù)莓派微型硬件控制系統(tǒng)可以引導(dǎo)采摘機(jī)器人完成識(shí)別、定位、抓取、放置任務(wù)的高度協(xié)同的自動(dòng)化流程。電機(jī)驅(qū)動(dòng)拓展板主要控制機(jī)械臂中的步進(jìn)電機(jī)及履帶小車的減速直流電機(jī)，從而控制整個(gè)機(jī)器人的運(yùn)動(dòng)和抓取。當(dāng)采摘機(jī)器人通過(guò)雙目攝像頭對(duì)果實(shí)進(jìn)行框架定位時(shí)，移動(dòng)履帶平臺(tái)可結(jié)合田間路況進(jìn)行追蹤。采摘機(jī)器人借助超聲波傳感器HC-SR04對(duì)外界進(jìn)行測(cè)距，最終完成避障功能。OLED顯示屏可以顯示采摘機(jī)器人的電量及采摘數(shù)，方便農(nóng)民使用，同時(shí)還可以通過(guò)和手機(jī)電腦移動(dòng)終端設(shè)備進(jìn)行連接，可根據(jù)當(dāng)前環(huán)境進(jìn)行路徑規(guī)劃，調(diào)用移動(dòng)履帶平臺(tái)進(jìn)行避障操作。

3 系統(tǒng)設(shè)計(jì)

3.1 主程序設(shè)計(jì)

整個(gè)流程如圖5所示，將采摘機(jī)器人放入作業(yè)環(huán)境，首先雙目攝像頭開(kāi)始識(shí)別周圍環(huán)境，當(dāng)掃描到所需采摘果實(shí)時(shí)，樹(shù)莓派將調(diào)用Open CV，之后攝像頭進(jìn)行初始化，將視頻幀使用Open CV進(jìn)行檢索，通過(guò)CNN神經(jīng)網(wǎng)絡(luò)判斷視頻幀中水果的輪廓與顏色，之后驅(qū)動(dòng)小車接近水果，此時(shí)雙目攝像頭計(jì)算目標(biāo)與小車的距離，從而控制機(jī)械臂移動(dòng)執(zhí)行采摘作業(yè)并將目標(biāo)放入果籃，重復(fù)以上流程直到視頻幀中無(wú)所需目標(biāo)為止，最終結(jié)束作業(yè)。

3.2 核心算法設(shè)計(jì)

Open CV 是一個(gè)開(kāi)源的計(jì)算機(jī)視覺(jué)庫(kù)，它提供了很多函數(shù)，這些函數(shù)非常高效地實(shí)現(xiàn)了計(jì)算機(jī)算法［6］。本采摘機(jī)器人通過(guò)CNN神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)水果的正確識(shí)別，CNN為BP神經(jīng)網(wǎng)絡(luò)的一種變體，將圖片的像素值經(jīng)過(guò)一系列處理（卷積、池化），之后輸出值作為特征訓(xùn)練模型，通過(guò)此方法可以保留圖片的多維信息，提高模型分類的精度。為了訓(xùn)練CNN進(jìn)行特征提取，并且將搜集到的水果圖片進(jìn)行預(yù)訓(xùn)練，通過(guò) VGG-16 等架構(gòu)進(jìn)行訓(xùn)練。將圖片中的信息輸入CNN網(wǎng)絡(luò)模型獲得特征圖［7］，之后再將視頻幀傳入神經(jīng)網(wǎng)絡(luò)，將其與特征圖進(jìn)行對(duì)比，最終找出視頻幀中所包含的水果框架。

經(jīng)典的CNN由3種結(jié)構(gòu)組成：卷積層、池化層、全連續(xù)層。其中，卷積層用于提取圖像中的局部特征，即使用一個(gè)過(guò)濾器（卷積核）來(lái)過(guò)濾圖像的各個(gè)小區(qū)域，從而得到這些小區(qū)域的特征值，卷積層原理如圖6所示。

在經(jīng)過(guò)卷積層后，圖像依然很大，為了進(jìn)一步降低數(shù)據(jù)維度，需要在池化層進(jìn)行進(jìn)一步降維。在池化層中將會(huì)對(duì)圖片進(jìn)行下采樣，通過(guò)池化層處理后，可以使計(jì)算速度更快，同時(shí)也能防止過(guò)擬合的情況，池化層原理如圖7所示。

在經(jīng)過(guò)若干次卷積層和池化層的處理后，圖像的信息已經(jīng)通過(guò)抽象使得特征信息含量足夠高，將這些數(shù)據(jù)傳入全連接層進(jìn)行處理，通過(guò)全連接層分類即可得出結(jié)果。

通過(guò)CNN神經(jīng)網(wǎng)絡(luò)識(shí)別，找出水果對(duì)應(yīng)的位置后，需要對(duì)水果進(jìn)行成熟度判斷，絕大部分水果在成熟狀態(tài)和未成熟狀態(tài)會(huì)有很明顯的不同，可通過(guò)色調(diào)和飽和度的不同輕易地判斷出果實(shí)的成熟度情況?？梢砸怨麑?shí)成熟時(shí)的色調(diào)和飽和度的范圍定義一個(gè)數(shù)值區(qū)間函數(shù)，將水果分為成熟和未成熟兩類，最后保留成熟的水果框架。

在確定水果在畫(huà)面中的框架位置后，需要判斷水果離小車的距離，可以通過(guò)雙目攝像頭［8］測(cè)距，從而獲得水果離小車的距離，其空間位置測(cè)量過(guò)程如圖8所示。

點(diǎn)c為需要測(cè)距的水果，A，B為兩個(gè)攝像頭，點(diǎn)K、點(diǎn)L分別是待測(cè)水果C在相機(jī)A、B傳感器上的成像點(diǎn)，t為相機(jī)焦距，則n即為水果離小車的距離。

由公式可得，在獲得GK-IL即視差的情況下，便可計(jì)算出水果與小車的距離，之后獲取到水果的相對(duì)空間位置，便可用機(jī)械臂對(duì)水果進(jìn)行精準(zhǔn)抓取。

4 測(cè)試與結(jié)果

4.1 實(shí)驗(yàn)?zāi)康?/p>

為了測(cè)試采摘機(jī)器人的機(jī)械臂、履帶底盤、視覺(jué)識(shí)別與柔性機(jī)械爪高度配合的能力，本文將對(duì)采摘機(jī)器人的3種重要指標(biāo)進(jìn)行測(cè)試，最終得到采摘完成率。對(duì)此設(shè)計(jì)出下列實(shí)驗(yàn)，來(lái)測(cè)試該采摘機(jī)器人。

4.2 實(shí)驗(yàn)過(guò)程

選取草莓進(jìn)行實(shí)地測(cè)試，此次實(shí)驗(yàn)的柔性機(jī)械爪采用電動(dòng)三爪。

首先在草莓種植大棚中隨機(jī)選取13個(gè)1 m2的草莓種植區(qū)域，其中草莓總數(shù)約為450個(gè)，包含了成熟與未成熟、形狀大小各異的草莓，之后使用本文設(shè)計(jì)的采摘機(jī)器人對(duì)草莓進(jìn)行實(shí)地采摘實(shí)驗(yàn)。實(shí)驗(yàn)測(cè)試數(shù)據(jù)如表1所示。

經(jīng)調(diào)查分析得到采摘作業(yè)中的誤差如下：

（1）其中成熟草莓未能識(shí)別的原因有以下幾種：①草莓葉片對(duì)草莓的遮擋，視覺(jué)識(shí)別系統(tǒng)無(wú)法對(duì)草莓進(jìn)行正確識(shí)別判斷；②形狀怪異，通過(guò)與自建的數(shù)據(jù)庫(kù)進(jìn)行比對(duì)，沒(méi)有與之匹配的樣本參照；③其他客觀原因。

（2）柔性機(jī)械爪對(duì)草莓抓取不成功的原因有以下幾種：①葉片干擾；②草莓形狀過(guò)大或過(guò)小，機(jī)械爪未抓穩(wěn)，導(dǎo)致草莓脫落；③其他客觀原因，如識(shí)別鏡頭被污染導(dǎo)致定位偏移。

（3）機(jī)械爪對(duì)草莓抓取成功有破損的原因有：①草莓存在壞果；②采摘運(yùn)輸中擦傷草莓；③其他客觀原因。

4.3 實(shí)驗(yàn)結(jié)果

本次實(shí)地實(shí)驗(yàn)測(cè)試了采摘機(jī)器人的3個(gè)重要指標(biāo)，而實(shí)驗(yàn)最終得到的采摘完成率由識(shí)別精度、抓取精度及機(jī)械爪可靠性這3個(gè)指標(biāo)決定，從而求出本文采摘機(jī)器人的采摘完成率為75.3%。采摘完成率綜合表現(xiàn)了本采摘機(jī)器人采摘作業(yè)與適應(yīng)采摘環(huán)境的良好性能，充分檢驗(yàn)了采摘機(jī)器人對(duì)果實(shí)采摘的可靠性，整體具有人工及其他機(jī)器人無(wú)法比擬的優(yōu)勢(shì)，具有比較可觀的前景方向。計(jì)算結(jié)果具體為：

果實(shí)機(jī)器人采摘完成率=識(shí)別精度×抓取精度×抓取成功未破損率=75.3%。

5 結(jié)語(yǔ)

本文設(shè)計(jì)了一種基于視覺(jué)識(shí)別的柔性機(jī)械爪采摘機(jī)器人，以樹(shù)莓派作為核心控制模塊，通過(guò)履帶運(yùn)動(dòng)的方式，在農(nóng)業(yè)中自動(dòng)采摘。機(jī)械爪采用柔性機(jī)械爪增加與果實(shí)之間的貼合度，從而避免了對(duì)抓取相對(duì)較軟的果實(shí)產(chǎn)生損壞，使采摘成功未破損率達(dá)到95.8%?；贠pen CV及6自由度機(jī)械爪代替人工采摘，不但在機(jī)械結(jié)構(gòu)和識(shí)別算法上具有自主創(chuàng)新性，而且可以通過(guò)雙目攝像頭及二自由度云臺(tái)來(lái)判斷不同類型果實(shí)的位置及成熟度，從而使識(shí)別成功率達(dá)到85.7%，使采摘成功率達(dá)到91.7%。另外，通過(guò)多種傳感器配合，具有遠(yuǎn)端操控監(jiān)視系統(tǒng)以及自動(dòng)避障功能，使其操作更加方便，利于農(nóng)民使用，使采摘完成率達(dá)到75.3%，大大提高了采摘行業(yè)的效率，為響應(yīng)國(guó)家科技助農(nóng)計(jì)劃、促進(jìn)鄉(xiāng)村振興戰(zhàn)略貢獻(xiàn)了力量。

參考文獻(xiàn)

［1］張文翔，張兵園，貢宇，等.果蔬采摘機(jī)器人機(jī)械臂研究現(xiàn)狀與展望［J］.中國(guó)農(nóng)機(jī)化學(xué)報(bào)，2022（9）：232-237，244.

［2］郭思臣，王昊杰，謝叢，等.蘋果采摘機(jī)器人的研發(fā)與相關(guān)問(wèn)題［J］.大眾標(biāo)準(zhǔn)化，2022（14）：115-117.

［3］任雪林.設(shè)施農(nóng)業(yè)采摘機(jī)器人控制系統(tǒng)研究與設(shè)計(jì)［D］.重慶：重慶三峽學(xué)院，2022.

［4］于有河，李建，周燕，等.氣壓驅(qū)動(dòng)仿生柔性機(jī)械臂的設(shè)計(jì)［J］.機(jī)電信息，2022（17）：23-26.

［5］于豐華，周傳琦，楊鑫，等.日光溫室番茄采摘機(jī)器人設(shè)計(jì)與試驗(yàn)［J］.農(nóng)業(yè)機(jī)械學(xué)報(bào)，2022（1）：41-49.

［6］王壯飛，盧海林，耿文濤，等.基于OpenCV的水果采摘機(jī)器人目標(biāo)檢測(cè)與定位系統(tǒng)研究［J］.電子技術(shù)與軟件工程，2022（2）：137-140.

［7］任鈺.基于Faster R-CNN的小目標(biāo)檢測(cè)研究與應(yīng)用［D］.安慶：安慶師范大學(xué)，2022.

［8］孔圣文，馬平帥，丁永賢.基于樹(shù)莓派的雙目攝像系統(tǒng)設(shè)計(jì)與制作［J］.現(xiàn)代信息科技，2022（16）：104-106，109.

（編輯 王雪芬）