摘要：針對(duì)黃蜀葵花朵特定采收的時(shí)間和人工采摘效率過(guò)低的問(wèn)題，為實(shí)現(xiàn)各類(lèi)花朵采摘機(jī)械化和智能化的需求，以黃蜀葵花朵為例并結(jié)合其生長(zhǎng)特性，設(shè)計(jì)一種輪式采花機(jī)器人。采用工控機(jī)和嵌入式微控制器作為采花機(jī)器人的主控系統(tǒng)，執(zhí)行機(jī)構(gòu)采用電力驅(qū)動(dòng)，以蓄電池供電，通過(guò)多個(gè)推桿電機(jī)、舵機(jī)和動(dòng)態(tài)基座（基于航姿參考系統(tǒng)，可自動(dòng)調(diào)節(jié)工作平臺(tái)傾角的機(jī)構(gòu)）構(gòu)成輪式行走機(jī)構(gòu)，采用兩個(gè)攝像頭分別同時(shí)獲取黃蜀葵花朵圖像，通過(guò)深度識(shí)別算法以篩選識(shí)別可采摘的目標(biāo)，采用多個(gè)舵機(jī)配合帶輪結(jié)構(gòu)構(gòu)成機(jī)械臂和夾爪的控制機(jī)構(gòu)，以完成花朵的采摘與收集。試驗(yàn)結(jié)果表明，機(jī)器人對(duì)花朵定位的準(zhǔn)確率可達(dá)75%，識(shí)別率高達(dá)100%。采花機(jī)器人通過(guò)主控制系統(tǒng)在試驗(yàn)田里能成功完成采摘作業(yè)，由機(jī)械臂配合其夾爪成功抓取花朵，上位機(jī)軟件可以完成圖像采集識(shí)別、機(jī)械臂控制和機(jī)器人工作路線的行駛等操作。該機(jī)器人適用于各地黃蜀葵和其他部分植物花朵的采集。

關(guān)鍵詞：黃秋葵；機(jī)器視覺(jué)；深度學(xué)習(xí)；農(nóng)業(yè)自動(dòng)化；花朵采摘；慣性導(dǎo)航系統(tǒng)

中圖分類(lèi)號(hào)：S225.99" " " 文獻(xiàn)標(biāo)識(shí)碼：A" " " 文章編號(hào)：2095?5553 （2024） 09?0202?07

Design of a wheeled flower picking robot： Taking Abelmoschus manihot （Linn.） Medicus

as an example

Sang Yinan Xu Zenglai Wang Qiong Ge Haitao Wang Dianguang

（1. SYD Dynamics ApS， Odense M， 5230， Denmark; 2. Jiangsu Key Laboratory for the Research

and Utilization of Plant Resources， Institute of Botany， Jiangsu Province and Chinese Academy of Sciences

（Nanjing Botanical Garden Mem. Sun Yat?Sen）， Nanjing， 210014， China;

3. Jiangsu Suzhong Pharmaceutical Research Institute Co.， Ltd.， Nanjing， 210018， China）

Abstract： In order to solve the problem that the specific harvesting time and the manual picking efficiency of Abelmoschus manihot are too low， and to meet the needs of mechanization and intelligence in picking all kinds of flowers， a wheeled flower picking robot is designed by taking Abelmoschus manihot （Linn.） Medicus as an example and combining their growth characteristics. The system adopts industrial computer and embedded microcontroller as the main control system of the machine. The actuator of the machine is powered by electric drive in the form of battery. The wheel type walking mechanism is composed of multiple pusher motor actuators and dynamic bases （a mechanism that can automatically adjust the inclination of the working platform based on the attitude reference system）. Two cameras are used to obtain the flower images of hollyhock respectively， and the depth recognition algorithm is used to screen and identify the picking targets. Multiple steering gears and pulley structure are used to form the control structure of mechanical arm and gripper to complete the picking and collection of flowers. The experimental results show that the robot can locate flowers with 75% accuracy and 100% recognition rate. The picking robot can successfully complete the picking operation in the test field through the main control system. The robot arm cooperates with its gripper to successfully grasp the flowers. The upper computer software can complete the operations such as image acquisition and recognition， robot arm control and robot working route driving. It is suitable for the collection of yellow marshmallow and other plant flowers.

Keywords： Abelmoschus manihot; machine vision; deep learning; agricultural automation; flower picking; inertial navigation system

0 引言

黃蜀葵（Abelmoschus manihot （Linn.） Medic.）是一種具備較高效益的經(jīng)濟(jì)作物。其各個(gè)部位可用作蔬菜、飼料、油料[1]。而最受關(guān)注的，則是其花的應(yīng)用。黃蜀葵花含有黃酮類(lèi)化合物，具有清利濕熱，消腫解毒等功效?？捎糜跐駸巅斩?，淋濁水腫；外治癰疽腫毒，水火燙傷，臨床上對(duì)水腫、腎炎等癥狀的治療具有良好效果[2]，是《中國(guó)藥典》收載的品種[3]。農(nóng)作物的收成依賴(lài)于較為龐大的采摘作業(yè)體系，無(wú)論是黃蜀葵花朵的采摘還是在果蔬的采摘生產(chǎn)中都是需要較高的人力成本。對(duì)黃蜀葵的栽種培養(yǎng)技術(shù)的研究指出因其開(kāi)放時(shí)間僅有一天，所有開(kāi)放的花均需要當(dāng)天采摘[4]，所需的勞動(dòng)強(qiáng)度很大。根據(jù)相關(guān)數(shù)據(jù)統(tǒng)計(jì)表明，我國(guó)在果蔬及其他生產(chǎn)過(guò)程中的采摘工作所需勞動(dòng)力占整個(gè)生產(chǎn)過(guò)程40%，而人工采摘成本占整個(gè)生產(chǎn)成本的60%[5?8]。其次是黃蜀葵花朵自身生長(zhǎng)的特性，目前制約黃蜀葵花藥材生產(chǎn)的主要因素是其采摘時(shí)間的問(wèn)題。每朵黃蜀葵花盛開(kāi)時(shí)間僅有一天，為保證黃蜀葵花朵的新鮮程度采摘的時(shí)間點(diǎn)就顯得極為重要。此外，隨著城市化不斷推進(jìn)和社會(huì)老齡化的不斷加劇，我國(guó)從事農(nóng)業(yè)生產(chǎn)的人口出現(xiàn)嚴(yán)重的高齡化現(xiàn)象[5， 8]，勞動(dòng)力不足成為黃蜀葵花生產(chǎn)的主要制約因素，因此對(duì)于農(nóng)業(yè)中黃蜀葵花朵及其他特殊藥材花朵采摘的需求日益增加并逐漸迫切。

近年來(lái)，隨著機(jī)器視覺(jué)和深度學(xué)習(xí)技術(shù)的發(fā)展，國(guó)內(nèi)外各研發(fā)人員對(duì)自動(dòng)采摘機(jī)器人的研究及其相關(guān)技術(shù)都廣泛應(yīng)用于果蔬類(lèi)[9， 10]或果梗類(lèi)[11， 12]等作物的識(shí)別和采摘，Avigad等[13]以可伸縮三指式末端執(zhí)行器，采用深度相機(jī)識(shí)別配合其三指式末端執(zhí)行器可抓取蘋(píng)果；徐麗明等[14]設(shè)計(jì)了一種雙V型手指臍橙采摘機(jī)器人末端執(zhí)行器，通過(guò)視覺(jué)系統(tǒng)獲取果實(shí)和果梗的位姿進(jìn)行定位，而后末端執(zhí)行器通過(guò)吸附，夾持和旋切三部分機(jī)構(gòu)對(duì)果實(shí)進(jìn)行抓取；陳燕等[15]研發(fā)了基于雙目立體視覺(jué)預(yù)定位的方式提前對(duì)果實(shí)的分布進(jìn)行識(shí)別定位，采摘時(shí)再對(duì)果實(shí)的采摘點(diǎn)進(jìn)行精準(zhǔn)定位；根據(jù)上述所提的研究案例無(wú)論國(guó)內(nèi)外，對(duì)于果蔬的識(shí)別定位和采摘的研發(fā)技術(shù)逐漸趨向于成熟并且不斷的取得進(jìn)展和成果，而對(duì)于黃蜀葵花朵的采摘其實(shí)是異曲同工[16]，即宏觀來(lái)說(shuō)都是采用圖像識(shí)別定位技術(shù)和末端執(zhí)行器的執(zhí)行采摘，縱觀國(guó)內(nèi)對(duì)于花朵采摘的研究情況屈指可數(shù)，且現(xiàn)有的采摘機(jī)器人普遍都存在如下缺點(diǎn)：設(shè)計(jì)和制造成本過(guò)高；花朵識(shí)別以及采摘成功率不高；市場(chǎng)的推廣性不高。

基于此，本文對(duì)黃蜀葵試驗(yàn)田實(shí)地調(diào)研后，結(jié)合其花朵的生長(zhǎng)特性和采摘的具體要求，對(duì)機(jī)器人手臂和底座結(jié)構(gòu)進(jìn)行設(shè)計(jì)，對(duì)花朵識(shí)別算法進(jìn)行測(cè)試，最后全機(jī)實(shí)地驗(yàn)證。

1 黃蜀葵采收要求

傳統(tǒng)的采花機(jī)器開(kāi)發(fā)主要集中在金銀花、川紅花等少數(shù)作物上。通常使用打擊式采摘，將大量花朵和葉片打下，在之后再進(jìn)行后處理。較新式的機(jī)器使用的采摘原理大致可分為3種：吸入式，篩選式和拉斷式。2013年，劉啟超等[17]提出的金銀花采花機(jī)使用軟滾輪對(duì)花朵進(jìn)行篩選。2016年，姬長(zhǎng)英等[18]提出的手推式杭白菊梳齒摘花機(jī)則利用梳齒控制力度保證將花剪下。2021年，徐虹等[19]提出的川紅花采摘裝置則使用風(fēng)機(jī)將花吸入。以上幾種采花機(jī)器有兩個(gè)共同的缺點(diǎn)：一方面，對(duì)花朵的識(shí)別仍然有賴(lài)于操作人員，機(jī)器只實(shí)現(xiàn)了半自動(dòng)化，不利于進(jìn)一步提升采收效率；另一方面，無(wú)論是碎花、吸入、篩選還是拉斷，都對(duì)花的力學(xué)性能提出了要求：對(duì)于更為脆弱的花朵，這些方法均無(wú)法實(shí)現(xiàn)有效的采摘，因而也難以適用于黃蜀葵上。此外，黃蜀葵為無(wú)限花序植物，其開(kāi)花方式為花序下部的花先開(kāi)，每日開(kāi)1～3朵，逐次向上開(kāi)放，這種開(kāi)花方式也決定了不能使用滾筒、梳齒等任何對(duì)花序后續(xù)生長(zhǎng)有破壞性的采收方式。

2 機(jī)械結(jié)構(gòu)設(shè)計(jì)

2.1 總體結(jié)構(gòu)

輪式采花機(jī)器人主要由底盤(pán)、機(jī)械臂平臺(tái)和機(jī)械臂三部分組成，采用立柱式設(shè)計(jì)，如圖1所示。其外形尺寸為長(zhǎng)91 cm，寬65 cm，高212 cm；該機(jī)器人是以電力驅(qū)動(dòng)為主，通過(guò)電池供電，考慮到機(jī)器在使用周期內(nèi)應(yīng)無(wú)需更換電池，且機(jī)器或者電池達(dá)到使用壽命時(shí)，確保其能有效進(jìn)行資源回收和環(huán)保處理，其供電方式采用磷酸鐵鋰電池供電。根據(jù)設(shè)計(jì)電壓范圍，以及考慮機(jī)器在作業(yè)時(shí)的續(xù)航能力，其選用電壓為12 V，容量為80 Ah，平均功率約2 kW的磷酸鐵鋰電池。使用該電池即可以為機(jī)器人提供長(zhǎng)達(dá)約4 h的工作時(shí)長(zhǎng)，又能節(jié)省機(jī)器電源設(shè)備的成本。

機(jī)器人整體都以電池提供電源，由電動(dòng)機(jī)直接驅(qū)動(dòng)動(dòng)力輪前進(jìn)，通過(guò)動(dòng)力輪差速控制方向?qū)崿F(xiàn)行走功能。萬(wàn)向輪為從動(dòng)，僅起到支撐作用。電池同時(shí)還向機(jī)械臂以及工控機(jī)供電。機(jī)器人頂部含有可以旋轉(zhuǎn)的攝像頭和兩個(gè)機(jī)械臂同時(shí)進(jìn)行作業(yè)。一臺(tái)機(jī)器一般可以安裝2個(gè)采摘機(jī)械臂（或者等同效果機(jī)械裝置，本文以1個(gè)機(jī)械臂為例進(jìn)行研究），每個(gè)機(jī)械臂水平作業(yè)半徑為1 m，垂直作業(yè)半徑約1 m，完成作業(yè)操作范圍覆蓋。作業(yè)時(shí)，將采花機(jī)器人置于田地中，采花機(jī)器人通過(guò)攝像頭識(shí)別花朵并判斷花的位置，然后控制動(dòng)力輪移動(dòng)自身位置，控制推桿電機(jī)平衡機(jī)器人的重心以保持穩(wěn)定，最后通過(guò)伺服電機(jī)控制機(jī)械臂完成對(duì)花朵的摘取，并置于收集桶中，完成采集。

2.2 底盤(pán)

機(jī)器人的底盤(pán)包含動(dòng)力輪、萬(wàn)向輪、電池包和硬件控制電路等部分，如圖2所示。因考慮到該機(jī)器人輪子是在田間旱地行駛，為防止其在運(yùn)作時(shí)打滑及保證其對(duì)地面有較強(qiáng)的適應(yīng)性和耐磨性，故該機(jī)器人采用具有高齒且有高花紋的農(nóng)用人字輪胎動(dòng)力輪。該機(jī)器人底盤(pán)的輪子選擇高齒高花紋的動(dòng)力輪為兩個(gè)獨(dú)立控制的固定軸輪組，通過(guò)兩個(gè)伺服電機(jī)來(lái)驅(qū)動(dòng)輪子轉(zhuǎn)動(dòng)行駛，利用主控機(jī)調(diào)控伺服電機(jī)轉(zhuǎn)速的差動(dòng)來(lái)實(shí)現(xiàn)轉(zhuǎn)向。萬(wàn)向輪為從動(dòng)，僅起到支持作用，與兩個(gè)動(dòng)力輪共同構(gòu)成底盤(pán)支承的三個(gè)點(diǎn)。田間地勢(shì)崎嶇，對(duì)采花機(jī)器人的平衡性以及機(jī)械臂平臺(tái)的水平性提出了較高的要求。為了盡可能降低重心、提高采花機(jī)器人的平衡性，將較重的電池包以及控制驅(qū)動(dòng)硬件電路固定于底盤(pán)上。底盤(pán)上的兩個(gè)推桿電機(jī)以及一個(gè)連桿通過(guò)球關(guān)節(jié)軸承與機(jī)械臂平臺(tái)連接。

2.3 機(jī)械臂平臺(tái)

為使機(jī)器人獲得足夠的平衡性并讓機(jī)械臂平臺(tái)具有足夠的水平性，除了結(jié)構(gòu)上盡可能降低重心外，為此還使用機(jī)械臂平臺(tái)對(duì)機(jī)器人的傾斜進(jìn)行主動(dòng)的平衡和補(bǔ)償。機(jī)械臂平臺(tái)材料選用玻璃纖維層壓板，板厚4 mm。此外，為了解決機(jī)器人在采摘黃蜀葵花朵時(shí)，因凹凸不平的地面會(huì)使得機(jī)體發(fā)生些許的傾斜或因硬件架構(gòu)本身的活動(dòng)范圍受限等因素，導(dǎo)致機(jī)械臂與花朵之間產(chǎn)生過(guò)大的間距而無(wú)法順利抓取花朵等問(wèn)題，為此該機(jī)器人的機(jī)械臂平臺(tái)是利用兩個(gè)額定電壓為12 V，行程400 mm的推桿電機(jī)（平衡推桿）配合1個(gè)阻尼支點(diǎn)，使用鋁型材并安裝集成的慣性測(cè)量單元（IMU）所搭建的一個(gè)航姿參考系統(tǒng)自動(dòng)調(diào)節(jié)工作平臺(tái)傾角的機(jī)構(gòu)。該慣性測(cè)量單元選用了SYD Dynamics的TransducerM系列航向姿態(tài)儀，型號(hào)為T(mén)M200。如圖3所示，機(jī)械臂平臺(tái)便可通過(guò)集成的慣性測(cè)量單元實(shí)時(shí)測(cè)量平臺(tái)傾角，將與水平面的角度差導(dǎo)入PID控制算法計(jì)算補(bǔ)償量并驅(qū)動(dòng)推桿電機(jī)維持平臺(tái)水平。機(jī)械臂平臺(tái)頂端集成攝像頭云臺(tái)，通過(guò)旋轉(zhuǎn)攝像頭實(shí)時(shí)采集周?chē)ǘ涞男畔?。機(jī)械臂平臺(tái)外掛收集桶，用于收集采摘到的花朵。

2.4 機(jī)械臂

機(jī)械臂由肩關(guān)節(jié)電機(jī)、大臂電機(jī)、小臂電機(jī)、大臂、小臂、夾爪6個(gè)部分組成，如圖4所示。肩關(guān)節(jié)電機(jī)固連在機(jī)械臂平臺(tái)上，為機(jī)械臂提供在水平面旋轉(zhuǎn)的自由度。機(jī)械臂選用肩關(guān)節(jié)電機(jī)，型號(hào)為普蘭特傳動(dòng)35STH28。大臂電機(jī)直接驅(qū)動(dòng)大臂，大臂電機(jī)選用普蘭特傳動(dòng)42STH61，材料為鋁6061合金。而小臂電機(jī)則通過(guò)同步帶與肘關(guān)節(jié)的同步帶輪相連，從而驅(qū)動(dòng)小臂。小臂電機(jī)選用普蘭特傳動(dòng)20STH30，材料為鋁6061合金。大臂電機(jī)和小臂電機(jī)均固定于肩關(guān)節(jié)處，以降低驅(qū)動(dòng)負(fù)載。夾爪由伺服電機(jī)驅(qū)動(dòng)，通過(guò)伺服電機(jī)旋轉(zhuǎn)角度控制夾爪張合角度大小，夾爪材料為UHMW。

3 控制系統(tǒng)

3.1 硬件連接

采花機(jī)器人的硬件部分的連接如圖5所示。其硬件部分主要由兩個(gè)控制單元組成：工控機(jī)以及總控Arduino平臺(tái)。其中工控機(jī)主要負(fù)責(zé)處理采花機(jī)器人的感知系統(tǒng)，總控Arduino平臺(tái)則根據(jù)工控機(jī)處理后的決定來(lái)控制采花機(jī)器人具體的動(dòng)作執(zhí)行。工控機(jī)控制攝像頭云臺(tái)按照一定的角度間隔掃描機(jī)器人前方的扇面，然后再通過(guò)USB接口讀取兩個(gè)攝像頭的數(shù)據(jù)。工控機(jī)通過(guò)UART串口給總控Arduino發(fā)送指令，并獲得航向角數(shù)據(jù)。

總控Arduino平臺(tái)通過(guò)UART串口接收由慣性傳感器提供的俯仰、滾轉(zhuǎn)、偏航角度等信息，通過(guò)生成方波向大臂伺服電機(jī)、小臂伺服電機(jī)以及夾爪伺服電機(jī)發(fā)送轉(zhuǎn)動(dòng)指令?？偪谹rduino平臺(tái)也會(huì)通過(guò)UART串口向下游輪組Arduino平臺(tái)發(fā)送指令，以控制動(dòng)力輪的驅(qū)動(dòng)?？偪谹rduino平臺(tái)還通過(guò)輸入輸出口向推桿Arduino平臺(tái)發(fā)送啟動(dòng)停止指令，以控制推桿電機(jī)，來(lái)使采花機(jī)器人保持自身的平衡以及機(jī)械臂平臺(tái)的水平。

3.2 反饋流程

采花機(jī)器人的控制系統(tǒng)由路徑控制、平臺(tái)平衡穩(wěn)定、花朵定位采摘3個(gè)獨(dú)立的反饋回路組成。

3.2.1 路徑控制反饋回路

路徑控制反饋回路如圖6所示。該回路通過(guò)全球衛(wèi)星定位系統(tǒng)實(shí)時(shí)獲取采花機(jī)器人的位置，并結(jié)合航向角，與預(yù)設(shè)的路徑采摘?？奎c(diǎn)位置朝向計(jì)算差值，將偏差量導(dǎo)入PID控制算法，計(jì)算出需要補(bǔ)償?shù)妮喗M轉(zhuǎn)動(dòng)角度，再驅(qū)動(dòng)輪組將機(jī)器人移動(dòng)到合適的位置朝向。

3.2.2 機(jī)械臂平臺(tái)平衡穩(wěn)定反饋回路

機(jī)械臂平臺(tái)平衡穩(wěn)定反饋回路如圖7所示。該回路通過(guò)慣性傳感器讀取機(jī)械臂平臺(tái)的俯仰、滾轉(zhuǎn)角度，與預(yù)設(shè)的平臺(tái)傾角（完全水平，即0°）計(jì)算差值，然后將偏差量導(dǎo)入PID控制算法，計(jì)算出需要補(bǔ)償?shù)耐茥U高度，再驅(qū)動(dòng)兩個(gè)推桿電機(jī)將機(jī)械臂平臺(tái)支撐調(diào)節(jié)到水平面。

3.2.3 花朵采摘定位反饋回路

花朵采摘定位反饋回路如圖8所示。該回路通過(guò)云臺(tái)攝像頭掃描植物，并通過(guò)深度學(xué)習(xí)算法識(shí)別花朵。之后，肩關(guān)節(jié)電機(jī)將機(jī)械臂旋轉(zhuǎn)至攝像頭方向，通過(guò)小臂攝像頭選定目標(biāo)花朵并持續(xù)跟蹤。小臂攝像頭還通過(guò)雙目視覺(jué)對(duì)花朵進(jìn)行持續(xù)測(cè)距，并以此計(jì)算花朵與夾爪間的偏移量。最后將該偏移量導(dǎo)入PID算法，驅(qū)動(dòng)機(jī)械臂靠近目標(biāo)花朵，啟動(dòng)夾爪并完成采集和收集工作。

4 花朵識(shí)別算法

4.1 花朵識(shí)別算法簡(jiǎn)介

花朵識(shí)別算法被用于云臺(tái)攝像頭掃描花朵和小臂攝像頭跟蹤花朵兩處。采花機(jī)器人使用的花朵識(shí)別算法被置于工控機(jī)中，使用TensorFlow 2實(shí)現(xiàn)。將預(yù)訓(xùn)練的模型置于工控機(jī)中，調(diào)用TensorFlow 2 Object Detection API，即可對(duì)攝像頭所攝圖像中的花朵進(jìn)行識(shí)別。再利用Block Matching算法，即可完成對(duì)花朵的測(cè)距。

TensorFlow 2是計(jì)算機(jī)領(lǐng)域一種相對(duì)標(biāo)準(zhǔn)化的用于實(shí)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)技術(shù)的軟件計(jì)算框架，其中包括的子框架名為T(mén)ensorFlow 2 Object Detection API，該子框架提供了一套相對(duì)完整的基于計(jì)算機(jī)學(xué)習(xí)算法的視覺(jué)處理軟件體系，包括識(shí)別和訓(xùn)練。對(duì)于常見(jiàn)的物體的識(shí)別，如人體、動(dòng)物和植物的簡(jiǎn)單辨別，在該子框架下可以借助已有的訓(xùn)練模型實(shí)現(xiàn)運(yùn)算和識(shí)別，典型的訓(xùn)練模型包括SSD MobileNet卷積神經(jīng)網(wǎng)絡(luò)模型。在本文中，因黃蜀葵花的特殊性，常規(guī)的訓(xùn)練模型不具備識(shí)別該目標(biāo)的能力，故需要結(jié)合現(xiàn)場(chǎng)采集的照片素材，經(jīng)過(guò)人工分類(lèi)標(biāo)記作為輸入數(shù)據(jù)，對(duì)模型進(jìn)行進(jìn)一步改進(jìn)，這個(gè)過(guò)程稱(chēng)為“學(xué)習(xí)”或者“訓(xùn)練”，如圖9所示。

4.2 識(shí)別訓(xùn)練素材

通過(guò)實(shí)地拍攝照片實(shí)現(xiàn)訓(xùn)練素材的收集，采集的設(shè)備為機(jī)載攝像頭和便攜式照相機(jī)。本文針對(duì)黃蜀葵花朵訓(xùn)練識(shí)別模型所用的部分素材如圖10所示。通過(guò)人工框選圖片中的黃蜀葵實(shí)例完成相關(guān)素材的標(biāo)記，并通過(guò)TensorFlow 2提供的軟件工具，轉(zhuǎn)換成可以由TensorFlow 2 Object Detection API進(jìn)行訓(xùn)練的數(shù)據(jù)集。在測(cè)試試驗(yàn)中，選取了76張照片，每張照片中含有一個(gè)或者多個(gè)黃蜀葵花朵，對(duì)于靠近攝像頭區(qū)域的約5 m內(nèi)盛開(kāi)花朵，進(jìn)行上述人工標(biāo)記，標(biāo)記總數(shù)超過(guò)700件。

4.3 模型訓(xùn)練

在建立好圖片素材和標(biāo)記數(shù)據(jù)倉(cāng)庫(kù)后，便可借助TensorFlow 2提供的運(yùn)算庫(kù)，按照SSD MobileNet模型構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練。為了取得較佳的訓(xùn)練效果，提升識(shí)別模型的可靠度和精確度，可采取增加訓(xùn)練圖片素材的方式，或者通過(guò)增加訓(xùn)練算法的迭代次數(shù)。試驗(yàn)中，采用了11 000 MOps/Sec浮點(diǎn)運(yùn)算能力的桌面架構(gòu)CPU，訓(xùn)練時(shí)長(zhǎng)為5 h，該浮點(diǎn)運(yùn)算能力近似于一臺(tái)普通電腦的運(yùn)算性能；嘗試并挑選合適的卷積神經(jīng)網(wǎng)絡(luò)模型，本文采用了SSD MobileNet模型；根據(jù)被識(shí)別物體的大小選取合適的圖像分辨率，本文圖像的分辨率為320像素×320像素。

5 全機(jī)實(shí)地測(cè)試驗(yàn)證

5.1 花朵識(shí)別算法測(cè)試驗(yàn)證

本項(xiàng)測(cè)試通過(guò)黃蜀葵花試驗(yàn)田中的實(shí)地驗(yàn)證來(lái)測(cè)試并改進(jìn)花朵拍攝的相關(guān)參數(shù)以及識(shí)別算法。試驗(yàn)現(xiàn)場(chǎng)如圖11所示。在進(jìn)行大量的花朵圖像采集篩選后，在試驗(yàn)中發(fā)現(xiàn)采摘機(jī)器人機(jī)頂安裝的攝像頭拍攝和截取的圖片，在不同分辨率和不同色調(diào)參數(shù)下的拍攝，都會(huì)使得花朵的識(shí)別率存在一些差異。因此為作對(duì)比試驗(yàn)，一組黃蜀葵花朵由采花機(jī)器人機(jī)頂安裝的默認(rèn)參數(shù)的攝像頭拍攝，另一組黃蜀葵花朵由調(diào)整過(guò)色調(diào)（曝光、白平衡、飽和度等）參數(shù)的攝像頭進(jìn)行人工移動(dòng)拍攝。

5.1.1 算法評(píng)價(jià)方法

驗(yàn)證一個(gè)基于計(jì)算機(jī)圖像識(shí)別的算法準(zhǔn)確性能，通?？刹捎玫姆椒ㄈ缦拢浩渲笜?biāo)包含True Positive指標(biāo)（簡(jiǎn)稱(chēng)TP），即被識(shí)別圖像中，目標(biāo)真實(shí)存在且被算法正確識(shí)別的目標(biāo)數(shù)量；False Positive指標(biāo)（簡(jiǎn)稱(chēng)FP），即被識(shí)別圖像中目標(biāo)不存在，但是算法誤將非目標(biāo)區(qū)域判斷為目標(biāo)的數(shù)量；True Negative指標(biāo)（簡(jiǎn)稱(chēng)TN），即被識(shí)別圖像中目標(biāo)不存在，且算法判斷出該目標(biāo)不存在；False Negative指標(biāo)（簡(jiǎn)稱(chēng)FN），即被識(shí)別圖像中目標(biāo)真實(shí)存在，但是算法誤認(rèn)為目標(biāo)不存在的目標(biāo)數(shù)量。

準(zhǔn)確率表示圖像算法從干擾信息中辨別正確目標(biāo)的能力；識(shí)別率表示圖像算法識(shí)別過(guò)程中，真實(shí)世界的被識(shí)別目標(biāo)往往存在多種形態(tài)光照條件，而識(shí)別率是一種考察算法在識(shí)別目標(biāo)形態(tài)多樣化的環(huán)境下的發(fā)現(xiàn)能力。

準(zhǔn)確率

Accuracy=TP+TN/TP+TN+FP+FN×100% （1）

識(shí)別率

Precision=TP/TP+FP×100% （2）

上述準(zhǔn)確率和識(shí)別率的計(jì)算可以針對(duì)某一幀圖片進(jìn)行，也可以針對(duì)具有一段時(shí)間長(zhǎng)度的視頻流進(jìn)行統(tǒng)計(jì)。在本文中采用第一種方法，即以幀為單位對(duì)圖片上的目標(biāo)識(shí)別情況進(jìn)行統(tǒng)計(jì)。

5.1.2 性能優(yōu)化試驗(yàn)

通常情況下，用于訓(xùn)練和識(shí)別的原始圖像素材質(zhì)量將直接影響訓(xùn)練效果和識(shí)別率。確定同一套攝像頭在不同的軟件配置下的性能優(yōu)劣，成為優(yōu)化設(shè)備識(shí)別性能的關(guān)鍵之一。將拍攝的兩組圖片通過(guò)深度學(xué)習(xí)識(shí)別算法程序?qū)C(jī)器人的識(shí)別系統(tǒng)進(jìn)行不斷的框選和訓(xùn)練，而后將這些框選和訓(xùn)練的數(shù)據(jù)加載到采花機(jī)器人里，讓機(jī)器人在試驗(yàn)田中行走，使用機(jī)頂安裝的攝像頭實(shí)時(shí)拍攝的場(chǎng)景來(lái)對(duì)比花朵的識(shí)別率。其結(jié)果也證實(shí)，調(diào)整過(guò)色調(diào)（曝光、白平衡、飽和度等）參數(shù)的該組黃蜀葵花朵的圖片識(shí)別率較高。同等分辨率下不同色調(diào)參數(shù)的圖片所得到的識(shí)別效果如圖12所示。在機(jī)器人約1.2 m范圍內(nèi)，基于前述指標(biāo)對(duì)圖12中的識(shí)別效果進(jìn)行參數(shù)化對(duì)比如表1所示。

由圖13可知，使用手機(jī)等其他拍攝工具拍攝的高清晰度高分辨率的黃蜀葵花朵圖片，相比這兩組使用攝像頭拍攝的花朵具有更高的識(shí)別準(zhǔn)確率。這就意味著，高清晰度高分辨率的圖片更能讓識(shí)別系統(tǒng)精準(zhǔn)識(shí)別到黃蜀葵花朵，但其所占用的內(nèi)存就會(huì)更大，深度學(xué)習(xí)算法運(yùn)行時(shí)也將更耗費(fèi)時(shí)間；而低分辨率低清晰度的圖片雖然內(nèi)存占用不大，但其識(shí)別準(zhǔn)確率將會(huì)有所降低。經(jīng)過(guò)對(duì)黃蜀葵花姿態(tài)大量圖像的篩選和訓(xùn)練，采摘機(jī)器人的識(shí)別算法對(duì)其周邊近處的黃蜀葵花朵定位的準(zhǔn)確率達(dá)到75%，識(shí)別率高達(dá)100%。

5.2 機(jī)器人實(shí)地測(cè)試驗(yàn)證

采花機(jī)器人的實(shí)地測(cè)驗(yàn)證如圖14所示。在黃蜀葵種植基地中，測(cè)試區(qū)域占地0.066 7 hm²，分為8列，每列寬度2.6 m，其中包含行駛區(qū)域?qū)?.3～1.4 m，將測(cè)試機(jī)器人設(shè)備置于行駛區(qū)域中完成自動(dòng)化識(shí)別后，進(jìn)行采摘作業(yè)并記錄識(shí)別率以及采摘成功率。

該機(jī)器人通過(guò)各種傳感器感知和計(jì)算機(jī)處理，對(duì)試驗(yàn)現(xiàn)場(chǎng)作業(yè)環(huán)境下盛開(kāi)的黃蜀葵花自動(dòng)化完成識(shí)別和標(biāo)注，而后計(jì)算機(jī)通過(guò)自動(dòng)化引導(dǎo)機(jī)械臂完成采摘操作。該機(jī)器人主體可以完成按照事先規(guī)劃路徑在測(cè)試種植場(chǎng)地內(nèi)行駛，完成采摘場(chǎng)地的遍歷。

通過(guò)測(cè)試發(fā)現(xiàn)，在作業(yè)半徑1.2～1.5 m內(nèi)，機(jī)器人具有一定應(yīng)對(duì)環(huán)境變化的能力，例如避障和越障能力。該機(jī)器人可以準(zhǔn)確完成包括識(shí)別、抓、摘、放等采花步驟，按照設(shè)計(jì)要求完成花朵的采摘工作，其中識(shí)別率超過(guò)75%，抓取成功率不低于80%。

6 結(jié)論

1） 設(shè)計(jì)一款黃蜀葵輪式采花機(jī)器人。以電動(dòng)機(jī)為動(dòng)力行進(jìn)，通過(guò)攝像頭雙目視覺(jué)識(shí)別花朵并測(cè)定方位距離后，由處理器控制機(jī)械臂及其上的夾爪完成采摘并置于收集桶中。

2） 采用單目視覺(jué)的測(cè)量方法，在遮擋不嚴(yán)重的情況下能夠有效識(shí)別可采摘的黃蜀葵花朵，并較為準(zhǔn)確地獲取黃蜀葵的位置。試驗(yàn)結(jié)果表明，機(jī)器人對(duì)花朵定位的準(zhǔn)確率可達(dá)75%，識(shí)別率高達(dá)100%。單目視覺(jué)的識(shí)別準(zhǔn)確度和成功率會(huì)受到光照環(huán)境的影響，其魯棒性需進(jìn)一步提高。

3） 此機(jī)器人仍有一些地方有待后續(xù)改進(jìn)，如機(jī)器穩(wěn)定性尚不足、在摘取花瓣的時(shí)候不能自動(dòng)分離花萼與花瓣、對(duì)于花梗韌性較大的花采收有一定困難等。

參 考 文 獻(xiàn)

[ 1 ] 金玉松. 值得開(kāi)發(fā)的經(jīng)濟(jì)作物：黃蜀葵[J]. 農(nóng)村新技術(shù)， 2003（1）： 66.

[ 2 ] 溫銳， 謝國(guó)勇， 李旭森， 等. 黃蜀葵化學(xué)成分與藥理活性研究進(jìn)展[J]. 中國(guó)野生植物資源， 2015， 34（2）： 37-44.

Wen Rui， Xie Guoyong， Li Xusen， et al. Advance research on chemical constituents and pharmacological activities of Abelmoschus manihot （L.） Medic [J]. Chinese Wild Plant Resources， 2015， 34（2）： 37-44.

[ 3 ] 國(guó)家藥典委員會(huì)編. 中華人民共和國(guó)藥典（2020年版）一部[M]. 北京： 中國(guó)醫(yī)藥科技出版社， 2020.

[ 4 ] 郭淑英， 馬金貴， 馬書(shū)燕. 黃蜀葵標(biāo)準(zhǔn)化生產(chǎn)優(yōu)質(zhì)高效栽培技術(shù)規(guī)程[J]. 現(xiàn)代農(nóng)村科技， 2016（11）： 14-15.

[ 5 ] 宋健， 張鐵中， 徐麗明， 等. 果蔬采摘機(jī)器人研究進(jìn)展與展望[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2006， 37（5）： 158-162.

Song Jian， Zhang Tiezhong， Xu Liming， et al. Research actuality and prospect of picking robot for fruits and vegetables [J]. Transactions of the Chinese Society for Agricultural Machinery， 2006， 37（5）： 158-162.

[ 6 ] 劉繼展. 溫室采摘機(jī)器人技術(shù)研究進(jìn)展分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2017， 48（12）： 1-18.

Liu Jizhan. Research progress analysis of robotic harvesting technologies in greenhouse [J]. Transactions of the Chinese Society for Agricultural Machinery， 2017， 48（12）： 1-18.

[ 7 ] 耿端陽(yáng)， 張鐵中， 羅輝， 等. 我國(guó)農(nóng)業(yè)機(jī)械發(fā)展趨勢(shì)分析[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2004， 35（4）： 208-210.

Geng Duanyang， Zhang Tiezhong， Luo Hui， et al. Analysis on the development trend of agricultural machinery in China [J]. Transactions of the Chinese Society for Agricultural Machinery， 2004， 35（4）： 208-210.

[ 8 ] 陳威， 郭書(shū)普. 中國(guó)農(nóng)業(yè)信息化技術(shù)發(fā)展現(xiàn)狀及存在的問(wèn)題[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2013， 29（22）： 196-205.

Chen Wei， Guo Shupu. Current situation and existing problems of agricultural informatization in China [J]. Transactions of the Chinese Society of Agricultural Engineering， 2013， 29（22）： 196-205.

[ 9 ] 周增產(chǎn)， Bontsema J， VanKollenburg?Crisan L. 荷蘭黃瓜收獲機(jī)器人的研究開(kāi)發(fā)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2001（6）： 77-80.

Zhou Zengchan， Bontsema J， Vankollenburg?Crisan L. Development of cucumber harvesting robot in Netherlands [J]. Transactions of the Chinese Society of Agricultural Engineering， 2001（6）： 77-80.

[10] 陳軍， 王虎， 蔣浩然， 等. 獼猴桃采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2012， 43（10）： 151-154， 199.

Chen Jun， Wang Hu， Jiang Haoran， et al. Design of end?effector for kiwifruit harvesting robot [J]. Transactions of the Chinese Society for Agricultural Machinery， 2012， 43（10）： 151-154， 199.

[11] 蔣志林， 王佳盛， 李嘉威， 等. 機(jī)器人采摘荔枝的跌落碰撞損傷試驗(yàn)[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào)， 2017， 38（6）： 112-117.

Jiang Zhilin， Wang Jiasheng， Li Jiawei， et al. Experiment on drop collision damages during litchi picking by robot [J]. Journal of South China Agricultural University， 2017， 38（6）： 112-117.

[12] 彭紅星， 黃博， 邵園園， 等. 自然環(huán)境下多類(lèi)水果采摘目標(biāo)識(shí)別的通用改進(jìn)SSD模型[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（16）： 155-162.

Peng Hongxing， Huang Bo， Shao Yuanyuan， et al. General improved SSD model for picking object recognition of multiple fruits in natural environment [J]. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（16）： 155-162.

[13] Avigad G， Salomon S， Kahani A， et al. Robotic fruit harvesting machine with fruit?pair picking and hybrid motorized?pneumatic robot arms [P]. US Patent： US2020/0128744A1， 2020-04-30.

[14] 徐麗明， 劉旭東， 張凱良， 等. 臍橙采摘機(jī)器人末端執(zhí)行器設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2018， 34（12）： 53-61.

Xu Liming， Liu Xudong， Zhang Kailiang， et al. Design and test of end effector of navel orange picking robot [J]. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（12）： 53-61.

[15] 陳燕， 王佳盛， 曾澤欽， 等. 大視場(chǎng)下荔枝采摘機(jī)器人的視覺(jué)預(yù)定位方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2019， 35（23）： 48-54.

Chen Yan， Wang Jiasheng， Zeng Zeqin， et al. Research on vision pre?positioning for litchi picking robot under large field of view [J]. Transactions of the Chinese Society of Agricultural Engineering， 2019， 35（23）： 48-54.

[16] 陳飛， 葛云， 張立新， 等. 紅花采摘機(jī)器人集條預(yù)定位機(jī)構(gòu)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)工程學(xué)報(bào)， 2021， 37（15）： 10-19.

Chen Fei， Ge Yun， Zhang Lixin， et al. Design and experiment of the strip?collected pre?positioning mechanism for safflower picking robots [J]. Transactions of the Chinese Society of Agricultural Engineering， 2021， 37（15）： 10-19.

[17] 劉啟超， 龍福東. 輕便式金銀花采花機(jī)[P]. 中國(guó)專(zhuān)利： CN203289907U， 2013-11-20.

[18] 姬長(zhǎng)英， 王春香， 顧寶興， 等. 手推式杭白菊梳齒摘花機(jī)結(jié)構(gòu)設(shè)計(jì)與試驗(yàn)[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)， 2016， 47（7）： 143-150， 142.

Ji Changying， Wang Chunxiang， Gu Baoxing， et al. Structure design and experiment of hand?push Chrysanthemum morifolium comb?teeth picking machine [J]. Transactions of the Chinese Society for Agricultural Machinery， 2016， 47（7）： 143-150， 142.

[19] 徐虹， 凌準(zhǔn). 一種具有可調(diào)節(jié)結(jié)構(gòu)的川紅花采摘裝置[P]. 中國(guó)專(zhuān)利： CN215530054U， 2022-01-18.