李楊,董春旺,陳建能,賈江鳴
1.中國(guó)農(nóng)業(yè)科學(xué)院茶葉研究所,浙江 杭州 310008;2.浙江理工大學(xué)機(jī)械與自動(dòng)控制學(xué)院,浙江 杭州 310018
中國(guó)是茶葉生產(chǎn)大國(guó),茶葉種植面積大、分布廣、產(chǎn)量高。2021年,全國(guó)干毛茶產(chǎn)量和產(chǎn)值分別達(dá)到306.32 萬(wàn)t 和2 928.14 億元,據(jù)統(tǒng)計(jì),2021年我國(guó)生產(chǎn)茶葉86.17%在國(guó)內(nèi)消費(fèi),名優(yōu)茶作為產(chǎn)業(yè)價(jià)值的絕對(duì)擔(dān)當(dāng),對(duì)內(nèi)銷(xiāo)額貢獻(xiàn)率長(zhǎng)期保持在70%~75%。茶產(chǎn)業(yè)屬于勞動(dòng)密集型產(chǎn)業(yè),尤其采摘環(huán)節(jié)需耗費(fèi)大量勞動(dòng)力,其中名優(yōu)茶的人工采摘消耗占整個(gè)茶園管理用工的60%左右。近年來(lái),農(nóng)業(yè)勞動(dòng)力老齡化趨勢(shì)明顯加劇,招工難、用工貴已成為制約茶產(chǎn)業(yè)發(fā)展的瓶頸。因此,研究智能采茶技術(shù)對(duì)促進(jìn)我國(guó)茶產(chǎn)業(yè)發(fā)展具有重要意義。
目前國(guó)內(nèi)外大宗茶機(jī)械化采摘主要采用往復(fù)切割的方式,屬于無(wú)差別采摘方法,存在茶葉芽葉完整率低、齊整度差(鮮葉組成復(fù)雜,老葉、老梗、碎片多)、后續(xù)加工品質(zhì)難以控制等問(wèn)題,其主要用于大宗炒青綠茶、珠茶、烏龍茶、紅碎茶等原料的采摘。國(guó)內(nèi)主要采用單人手持式、雙人抬式等中小型采茶機(jī)。南京農(nóng)業(yè)機(jī)械化研究所以及錢(qián)爭(zhēng)光等、宋揚(yáng)揚(yáng)等還設(shè)計(jì)了多種試驗(yàn)型中小型采茶機(jī)。對(duì)于乘坐式采茶機(jī),日本的研究較早,已有一些商品化的產(chǎn)品,如落合、川崎等公司均有生產(chǎn)乘坐式采茶機(jī)。國(guó)內(nèi)對(duì)乘坐式采茶機(jī)研究起步相對(duì)較晚,南京農(nóng)業(yè)機(jī)械化研究所研發(fā)的4CJ-1500 型采茶機(jī),其采用全液壓驅(qū)動(dòng)和高地隙底盤(pán)設(shè)計(jì)。浙江工業(yè)大學(xué)設(shè)計(jì)了一種基于機(jī)器視覺(jué)的乘用式智能采茶機(jī),初步提出了自動(dòng)識(shí)別茶葉嫩芽和割刀自動(dòng)調(diào)平控制方法。對(duì)于采用末端采摘執(zhí)行器的方式進(jìn)行選擇性采摘的研究,國(guó)內(nèi)浙江理工大學(xué)、青島科技大學(xué)、四川農(nóng)業(yè)大學(xué)、長(zhǎng)春理工大學(xué)等單位都做了初步的探索研究。
綜上,國(guó)內(nèi)外采茶機(jī)多采用往復(fù)切割方式采摘茶鮮葉,所采芽葉勻整度不高,易出現(xiàn)芽葉破損、誤采、漏采等現(xiàn)象。名優(yōu)茶對(duì)芽葉的嫩度和完整度有極高的標(biāo)準(zhǔn)(包括一芽、一芽一葉、一芽二葉),目前包括日本、印度在內(nèi)的產(chǎn)茶國(guó)其高檔優(yōu)質(zhì)茶原料仍依靠手工采摘。高檔名優(yōu)茶芽葉(包括一芽、一芽一葉、一芽二葉)采摘時(shí)葉梢細(xì)嫩、目標(biāo)較小、相互間易遮擋,且生長(zhǎng)的位置、姿態(tài)和密集程度不一,特別在微風(fēng)和光照變換的非結(jié)構(gòu)化環(huán)境下機(jī)器采摘實(shí)現(xiàn)難度大。由于國(guó)內(nèi)飲茶習(xí)慣對(duì)名優(yōu)茶有著較高的要求,目前針對(duì)高檔名優(yōu)茶的智能采摘技術(shù)受到廣泛關(guān)注,本文對(duì)智能化采摘技術(shù)中的基于圖像處理的芽葉識(shí)別技術(shù)、末端采摘執(zhí)行器、智能控制系統(tǒng)等方面的國(guó)內(nèi)外研究現(xiàn)狀進(jìn)行了分析,對(duì)智能采茶機(jī)的應(yīng)用前景提出了展望,為后續(xù)的研究提供思路與借鑒。
實(shí)現(xiàn)自動(dòng)化采茶,首先必須解決的是茶樹(shù)嫩芽的精準(zhǔn)識(shí)別。近年來(lái),隨著計(jì)算機(jī)技術(shù)的發(fā)展和應(yīng)用,基于圖像處理的茶葉嫩芽的準(zhǔn)確識(shí)別成為研究的熱點(diǎn),其主要包括:基于顏色空間的傳統(tǒng)圖像處理算法、基于傳統(tǒng)機(jī)器學(xué)習(xí)的識(shí)別方法和基于深度學(xué)習(xí)的識(shí)別方法。
由于茶葉嫩芽與老葉、樹(shù)干存在明顯顏色差異,可利用顏色特征提取出圖像中的嫩芽區(qū)域,因此早期的茶葉嫩芽分割研究大多是基于顏色特征的?;陬伾臻g的傳統(tǒng)圖像處理算法,其主要過(guò)程包括圖像預(yù)處理、顏色特征選取與分割等步驟。
1.1.1 圖像預(yù)處理
圖像預(yù)處理是傳統(tǒng)圖像處理算法完成識(shí)別的重要步驟,目的是通過(guò)一些基本圖像處理方式盡可能改善圖像數(shù)據(jù),去除噪聲的影響,并增強(qiáng)某些重要的圖像特征,提高識(shí)別系統(tǒng)實(shí)時(shí)性以及精確性。常用的圖像處理算法包括均值濾波、中值濾波、低通濾波等。
吳雪梅等對(duì)比了均值濾波、高斯濾波、中值濾波、雙邊濾波等多種預(yù)處理方法,結(jié)果表明中值濾波法計(jì)算簡(jiǎn)便,處理時(shí)間最短,去噪效果較好。黃海軍等使用偏微分方程去噪模型去除圖像中的噪點(diǎn)。為防止茶葉嫩芽灰度值較高的部分在濾波去噪時(shí)被處理掉,袁加紅等利用維納濾波和梯度增強(qiáng)術(shù)對(duì)圖像進(jìn)行濾波去噪。由于中值濾波方法具有計(jì)算時(shí)間短、適用性強(qiáng)等優(yōu)點(diǎn),目前采用此方法的研究最多。在背景較簡(jiǎn)單的情況下,其濾波效果優(yōu)于均值濾波,但仍無(wú)法抑制嚴(yán)重的圖像噪聲。
1.1.2 顏色特征選取與分割
基于顏色空間的傳統(tǒng)圖像處理算法首先要進(jìn)行顏色空間選取,由于直接獲得的彩色圖像大多是RGB圖像,在研究中為增加研究對(duì)象和背景間的差異,也會(huì)使用其他的,如HSⅠ、Lab、YⅠQ、YCbCr、HSV等顏色空間,通過(guò)直接使用某個(gè)顏色空間中的單個(gè)或幾個(gè)分量來(lái)區(qū)分嫩芽與背景,進(jìn)而利用分割算法實(shí)現(xiàn)圖像分割。用色差法分割嫩芽與老葉及茶梗成為了其中一個(gè)主流方法,其中Zhang 等提出了一種基于改進(jìn)分水嶺算法的茶芽自動(dòng)分割新方法,通過(guò)分段線(xiàn)性變換增強(qiáng)G-B 成分,提高老葉和茶芽分化程度。試驗(yàn)結(jié)果表明改進(jìn)后的算法在100 個(gè)樣本的平均分割準(zhǔn)確率為94.26%。周禮贊等利用灰度拉伸擴(kuò)大G-B 色差圖對(duì)比度,然后應(yīng)用迭代法獲取全局閾值,實(shí)現(xiàn)自然條件下茶葉嫩芽分割。Shao等使用HSⅠ顏色空間中的S因子對(duì)茶芽進(jìn)行識(shí)別和分離。Bojie等采用HSV空間變換對(duì)圖片進(jìn)行分割,通過(guò)設(shè)置閾值組合3 個(gè)通道分量的方法可以獲得嫩芽的圖像,實(shí)際應(yīng)用效果良好。姚波等利用G-B 灰度圖結(jié)合直方圖閾值法實(shí)現(xiàn)了新茶(嫩芽與鮮梗)分割,對(duì)新茶二值圖像進(jìn)行形態(tài)學(xué)腐蝕操作確定嫩芽與鮮梗的分割點(diǎn),通過(guò)逐行掃描實(shí)現(xiàn)了自然環(huán)境下嫩芽與鮮梗的采摘點(diǎn)標(biāo)記。還有一些研究利用不同顏色空間組合進(jìn)行識(shí)別,如韋佳佳等研究了不同顏色組合對(duì)識(shí)別效果的影響,結(jié)果表明基于R-B和Ⅰ分量的識(shí)別方法在處理時(shí)間和識(shí)別率上較其他方法更優(yōu)。
常用的分割算法包括:閾值分割算法、顏色特征聚類(lèi)分割算法、邊緣分割算法和區(qū)域生長(zhǎng)分割算法。唐仙等研究了不同閾值分割方法〔直方圖法、迭代法、大津法(OTSU)〕的優(yōu)劣點(diǎn),結(jié)果表明OTSU法用時(shí)最少。Ya通過(guò)對(duì)G和B的差異增強(qiáng)圖像進(jìn)行OTSU 動(dòng)態(tài)閾值分割,得到初始萌芽區(qū)域。以實(shí)地獲取的茶葉圖像為研究對(duì)象,提出了一種混合圖像分割算法。該算法使用改進(jìn)的基于標(biāo)記的分水嶺變換和基于統(tǒng)計(jì)的快速區(qū)域合并算法從茶葉圖像中分割茶芽。吳雪梅等提取嫩芽與老葉的G、G-B顏色信息進(jìn)行背景分割,利用改進(jìn)的最大方差自動(dòng)取閾法計(jì)算G 和G-B 分量的分割閾值對(duì)圖像進(jìn)行閾值分割,研究結(jié)果表明采用圖像的G、G-B分量差異能有效區(qū)分嫩芽和老葉,同時(shí)設(shè)定初始分割閾值可有效縮短計(jì)算時(shí)間,在相機(jī)與茶樹(shù)距離10 cm 時(shí)采用本算法,其識(shí)別率高達(dá)92%以上。
國(guó)內(nèi)外研究團(tuán)隊(duì)在傳統(tǒng)圖像處理方法的基礎(chǔ)上,引入了新的思路和方法。如蔡麗萍等針對(duì)優(yōu)質(zhì)嶗山茶的種植及生長(zhǎng)特點(diǎn),通過(guò)設(shè)置藍(lán)光作為拍攝環(huán)境背景對(duì)一芽二葉嶗山茶的嫩梢識(shí)別、芽尖的特征提取及定位等進(jìn)行了方法研究。方坤禮等提出一種新的彩色紋理圖像的分割技術(shù)(JBSEG),該技術(shù)克服了基于顏色和紋理的分割算法的局限性,基于邊緣檢測(cè)方向算子的幅值來(lái)調(diào)節(jié)JSEG,同時(shí)兼顧局部區(qū)域相似性和邊界非連續(xù)性。試驗(yàn)表明該技術(shù)能更好地避免過(guò)分割現(xiàn)象的發(fā)生,同時(shí)結(jié)合超綠特征2R-G-B能有效分離茶葉中的嫩芽。
綜上所述,為避免光照變化帶來(lái)的影響,基于顏色空間的圖像分割算法在提取顏色分量時(shí),一般提取如G分量、R-B分量、Ⅰ分量、b分量、S分量、Cb 分量以及綜合G 和G-B 分量等?;陬伾臻g的圖像分割算法,雖然廣泛應(yīng)用于學(xué)術(shù)研究中,在茶葉相互遮擋較小的情況下具有較優(yōu)的識(shí)別效果,但當(dāng)茶園環(huán)境中茶葉目標(biāo)和背景相似且芽葉生長(zhǎng)密集,對(duì)茶樹(shù)芽葉的檢測(cè)造成了困難?;诠潭ㄩ撝档姆指钏惴ㄌ幚硭俣容^快,但由于實(shí)際環(huán)境中自然光照強(qiáng)度不斷變化,因此很難滿(mǎn)足光照強(qiáng)度不斷變化下的分割要求,同時(shí)在逆光情況下,茶葉表面較暗,其與背景顏色的色差變小,較難直接分割。OTSU 法自動(dòng)閾值法可以自動(dòng)獲取茶葉分割閾值,且可滿(mǎn)足不同光照強(qiáng)度下的分割,但不能滿(mǎn)足圖像直方圖單峰分布下的分割。
為了進(jìn)一步解決自然條件下茶葉分割易受老葉、樹(shù)枝、土壤等外界環(huán)境影響,茶葉互相遮擋與重疊的問(wèn)題,后續(xù)研究中引入了機(jī)器學(xué)習(xí)的方法,通過(guò)提取并綜合各種特征樣本數(shù)據(jù)進(jìn)行訓(xùn)練來(lái)識(shí)別檢測(cè),常見(jiàn)的嫩芽識(shí)別方法是基于顏色、紋理、形狀等特征,結(jié)合使用諸如K 均值(Kmeans)聚類(lèi)法、支持向量機(jī)方法(SVM)、貝葉斯判別方法以及級(jí)聯(lián)分類(lèi)器等。
張可等提出了K-means 的茶葉嫩芽分割方法,通過(guò)與傳統(tǒng)的顏色閾值分割方法比較,基于聚類(lèi)的茶葉分割方法可有效抑制顏色閾值分割受光照的影響,且實(shí)現(xiàn)了自然光照下茶葉嫩芽有效分割。黃海軍等提出改進(jìn)分水嶺算法的圖像分割方法,其通過(guò)OTSU 法和分水嶺算法對(duì)去噪后的圖像進(jìn)行2 次分割,得到茶葉嫩葉的分割圖。結(jié)果表明:圖像第一次用OTSU 法和第二次用分水嶺算法進(jìn)行分割,茶葉圖像中嫩葉均被很好地分割出來(lái)。王琨等基于顏色及區(qū)域生長(zhǎng)實(shí)現(xiàn)茶葉嫩芽圖像分割。Shao 等采用改進(jìn)的K-means算法對(duì)茶芽進(jìn)行識(shí)別和分離,試驗(yàn)結(jié)果表明,改進(jìn)的K-means 算法對(duì)茶葉圖像中嫩葉的分割有很好的效果。吳雪梅等基于Lab 顏色模型中a 分量、b分量信息的K-means聚類(lèi)法識(shí)別彩色圖像中的茶葉嫩芽,對(duì)比分析OTSU法和3個(gè)聚類(lèi)中心的K-means 聚類(lèi)法的目標(biāo)識(shí)別效果和識(shí)別效率。結(jié)果表明,OTSU 法雖然可以完成嫩芽的識(shí)別,平均識(shí)別率在89%左右,但不能較好地保證分割后嫩芽的完整度?;贚ab顏色模型和K-means聚類(lèi)法的識(shí)別算法能較好地區(qū)分嫩芽和背景,平均識(shí)別率達(dá)到94%左右,且能較好地保證分割后嫩芽的完整度,為智能采摘技術(shù)研究提供技術(shù)支持和理論基礎(chǔ)。Li 等設(shè)計(jì)了一種基于支持向量機(jī)的茶葉圖像自動(dòng)識(shí)別方法。該方法從茶芽圖像中提取顏色和形狀紋理兩種圖像特征進(jìn)行判別。采用RGB 模型提取顏色特征,利用LBP/C 算子提取芽葉的形狀和紋理特征。將提取的特征作為訓(xùn)練樣本的特征向量,進(jìn)行支持向量機(jī)模型訓(xùn)練,得到支持向量機(jī)分類(lèi)器,實(shí)現(xiàn)對(duì)茶芽圖像的識(shí)別。試驗(yàn)結(jié)果表明,該方法的識(shí)別率、召回率和綜合評(píng)價(jià)指數(shù)均高于傳統(tǒng)方法,證明該方法具有較高的識(shí)別準(zhǔn)確率。
綜合比較上述方法,K-means 聚類(lèi)法原理比較簡(jiǎn)單,容易實(shí)現(xiàn),可解釋度也比較強(qiáng),但當(dāng)樣本集規(guī)模大,算法收斂速度會(huì)變慢,對(duì)孤立點(diǎn)數(shù)據(jù)也較為敏感。支持向量機(jī)分類(lèi)方法能解決小樣本、非線(xiàn)性的問(wèn)題,但對(duì)核函數(shù)的高維映射解釋力不強(qiáng)。而基于傳統(tǒng)機(jī)器視覺(jué)的識(shí)別方法仍依賴(lài)圖像預(yù)處理與數(shù)據(jù)轉(zhuǎn)換,前期處理如不合理將會(huì)嚴(yán)重影響模型的精度。
基于深度學(xué)習(xí)的算法在復(fù)雜背景下具有較高的精度,為復(fù)雜背景下茶葉嫩芽的智能化采摘設(shè)備的研究提供了基礎(chǔ)。近年來(lái),國(guó)內(nèi)外學(xué)者也通過(guò)基于深度學(xué)習(xí)的方法對(duì)茶葉的識(shí)別進(jìn)行了開(kāi)發(fā)與研究?;谏疃葘W(xué)習(xí)的算法可以分為3 類(lèi),分別是分類(lèi)算法、目標(biāo)檢測(cè)算法和語(yǔ)義分割算法。
基于深度學(xué)習(xí)的分類(lèi)算法是對(duì)1 副圖像進(jìn)行分類(lèi),判別出圖像是否是嫩芽或者識(shí)別圖像中的嫩芽的狀態(tài),如芽葉開(kāi)面狀態(tài)、是否處于可采摘的狀態(tài)等。羅浩倫等提出了基于VGG16 卷積神經(jīng)網(wǎng)絡(luò)的茶葉嫩芽自動(dòng)檢測(cè)方法,能夠有效減少特征選擇和重疊等對(duì)檢測(cè)結(jié)果的影響。呂軍等提出一種基于AlexNet卷積神經(jīng)網(wǎng)絡(luò)的茶葉嫩芽狀態(tài)識(shí)別方法,試驗(yàn)結(jié)果表明該方法可有效識(shí)別自然光照下茶葉嫩芽狀態(tài)。Paranavithana 等基于CNN 開(kāi)發(fā)了一個(gè)可以識(shí)別和預(yù)測(cè)茶芽是否適合采摘的模型。結(jié)果表明,CNN 模型對(duì)10 000 張圖像樣本的識(shí)別準(zhǔn)確率為70.15%,而支持向量機(jī)(SVM) 和Ⅰnception V3 的識(shí)別準(zhǔn)確 率 分別為65.86%和68.70%。因此,CNN 的分類(lèi)表現(xiàn)更好,可以有效提高茶芽的分類(lèi)效率。
在基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法方面,許高建等選用了基于VGG-16、ResNet-50 和ResNet-101 特征提取網(wǎng)絡(luò)的Faster R-CNN 深度網(wǎng)絡(luò)模型,分別對(duì)茶葉嫩芽數(shù)據(jù)樣本進(jìn)行訓(xùn)練,同時(shí),該方法與3 種相同特征提取網(wǎng)絡(luò)的SSD 深度網(wǎng)絡(luò)模型進(jìn)行對(duì)比,為茶葉的智能化采摘提供了技術(shù)支撐。孫肖肖等提出了基于深度學(xué)習(xí)的茶葉嫩芽圖像目標(biāo)檢測(cè)算法,其改進(jìn)了YOLO 網(wǎng)絡(luò)架構(gòu),選用大尺度和中尺度檢測(cè)方法。Chen 等先使用Faster R-CNN 檢測(cè)茶葉芽葉區(qū)域,然后使用全卷積網(wǎng)絡(luò)FCN 實(shí)現(xiàn)對(duì)采摘點(diǎn)的定位,實(shí)現(xiàn)了茶樹(shù)芽葉的檢測(cè)和采摘點(diǎn)的2D 定位。Yang 等提出了一種利用改進(jìn)的YOLO-v3深度卷積神經(jīng)網(wǎng)絡(luò)算法識(shí)別嫩芽采摘點(diǎn)的方法,并從預(yù)測(cè)幀中的芽葉的圖像中提取骨架,找到骨架的最低點(diǎn)來(lái)確定采摘點(diǎn)的位置。Chen 等提出了一種通過(guò)圖像增強(qiáng)和改進(jìn)的融合SSD 開(kāi)發(fā)了檢測(cè)新鮮茶芽的新方法,其通過(guò)基于RGB通道變換的圖像增強(qiáng)算法獲得增強(qiáng)圖像,該算法使用原始新鮮茶芽彩色圖像作為輸入。增強(qiáng)的圖像可以提供更多的輸入信息,其中新鮮茶芽區(qū)域的對(duì)比度增加,背景區(qū)域減少。結(jié)果表明,所提出的方法茶芽測(cè)試數(shù)據(jù)集平均準(zhǔn)確率為83.9,具有良好的性能。
還有一些研究人員基于深度學(xué)習(xí)的語(yǔ)義分割算法對(duì)茶葉嫩芽進(jìn)行分割,如Qian 等提出一種基于改進(jìn)的深度卷積編碼器-解碼器網(wǎng)絡(luò)(TSSegNet)的茶芽分割新方法,通過(guò)綜合利用類(lèi)內(nèi)緊湊性和類(lèi)間可分離性,自動(dòng)提取更具判別力的茶芽特征。結(jié)果表明,與其他深度架構(gòu)相比,所提出的方法具有較高的精度。臺(tái)灣大學(xué)的Lin等訓(xùn)練了包括FCNs 和ENet 在內(nèi)的語(yǔ)義分割模型,以實(shí)現(xiàn)像素級(jí)別的茶行、粘蟲(chóng)紙和人的自動(dòng)分類(lèi)。ENet模型的平均交并比為0.734,平均處理時(shí)間為每張圖像0.176 s。系統(tǒng)導(dǎo)航線(xiàn)的角度偏差為6.2°,距離為13.9個(gè)像素。
分析并綜合比較上述方法,基于深度學(xué)習(xí)的方法具有較好的識(shí)別效果,不僅能準(zhǔn)確識(shí)別茶葉嫩芽,同時(shí)還可區(qū)分不同嫩芽的狀態(tài),其可滿(mǎn)足自然光照下茶葉嫩芽識(shí)別要求,實(shí)用性較好。但基于深度學(xué)習(xí)的方法依賴(lài)大樣本,同時(shí)檢測(cè)效率較低。因此還需要進(jìn)一步開(kāi)展茶樹(shù)芽葉檢測(cè)研究,增加芽葉圖像數(shù)量,開(kāi)發(fā)速度更快、精度更高、穩(wěn)定性更優(yōu)的算法。
末端采摘執(zhí)行器是農(nóng)業(yè)機(jī)器人機(jī)械臂前端直接作用于采摘對(duì)象的部分,直接影響整體采摘性能,是采摘機(jī)器人的核心部件之一。由于農(nóng)產(chǎn)品種類(lèi)多樣且特性各異,所以不同的采摘對(duì)象需要采用不同的采摘方式,設(shè)計(jì)不同的末端采摘執(zhí)行器。茶葉的采摘對(duì)象是芽葉而非果實(shí),傳統(tǒng)的末端采摘執(zhí)行器難以適用,因此相關(guān)的研究人員針對(duì)茶葉嫩芽開(kāi)發(fā)了新的末端采摘執(zhí)行器。如2014年秦廣明等研制了一種采摘手爪,收獲茶葉芽葉的完整率約為76.6%。范元瑞等提出了核心部件為Delta 并聯(lián)機(jī)構(gòu)的茶葉采摘機(jī)器人,通過(guò)對(duì)Delta并聯(lián)機(jī)構(gòu)進(jìn)行運(yùn)動(dòng)學(xué)分析,推導(dǎo)出采摘機(jī)器人的運(yùn)動(dòng)學(xué)反解模型。利用單支鏈約束方程求解了采摘機(jī)器人的采摘空間,并基于MATLAB建立了采摘機(jī)器人工作空間模型,繪制了工作空間立體圖像。2018年郝淼等研制了一種能夠模仿人工“提手采”動(dòng)作的仿生采摘指,并完成了氣力驅(qū)動(dòng)與控制系統(tǒng)的設(shè)計(jì),室內(nèi)初步試驗(yàn)的采摘成功率近70%。許多設(shè)計(jì)了提采式夾持裝置,通過(guò)建立爪指尺寸與采摘力的數(shù)學(xué)模型,借助MATLAB 軟件進(jìn)行了優(yōu)化設(shè)計(jì),并通過(guò)ADAMS 動(dòng)力學(xué)仿真驗(yàn)證了優(yōu)化結(jié)果的正確性和合理性。2019年,尚凱歌提出了一種茶葉采摘機(jī)器人的總體構(gòu)思和結(jié)構(gòu)設(shè)計(jì),對(duì)采茶機(jī)Delta并聯(lián)機(jī)器人機(jī)械結(jié)構(gòu)進(jìn)行設(shè)計(jì),運(yùn)用解析法對(duì)其運(yùn)動(dòng)學(xué)正逆解進(jìn)行推導(dǎo)解算,并對(duì)并聯(lián)機(jī)構(gòu)進(jìn)行ADAMS 運(yùn)動(dòng)學(xué)正解仿真。為采茶機(jī)裝備并聯(lián)機(jī)構(gòu)樣機(jī)設(shè)計(jì)與制作提供理論依據(jù)。2021年,許麗佳等設(shè)計(jì)了一種可夾提式采摘茶葉嫩梢的末端執(zhí)行器,通過(guò)對(duì)其控制實(shí)現(xiàn)茶園采摘。試驗(yàn)結(jié)果表明,一芽一葉的漏采率為2.8%、采摘完整率為91%;一芽二葉的漏采率<3%、采摘完整率為94%。
這些現(xiàn)有的茶葉采摘末端執(zhí)行器大多采用單純的機(jī)械式結(jié)構(gòu),基本沒(méi)有誤差補(bǔ)償能力,無(wú)法確保采摘成功率和嫩梢完整率。為解決此問(wèn)題,浙江理工大學(xué)Zhu等人設(shè)計(jì)了一種基于負(fù)壓導(dǎo)向的名茶采摘末端執(zhí)行器。這種末端執(zhí)行器利用負(fù)壓以自上而下的方式引導(dǎo)茶芽,從而糾正它們的姿勢(shì)和空間位置。試驗(yàn)結(jié)果表明,設(shè)計(jì)的末端執(zhí)行器具有偏差容限性能,可以提高拾取成功率,可為類(lèi)似名茶采摘末端執(zhí)行器的設(shè)計(jì)提供參考。
由于茶葉嫩芽質(zhì)地較為柔軟,在茶園非結(jié)構(gòu)化及微風(fēng)環(huán)境下易存在定位誤差和隨機(jī)誤差,因此為提高名優(yōu)茶芽葉采摘成功率和完整率,既要在采摘的同時(shí)做到不傷害嫩芽,也要采用合適的誤差補(bǔ)償方法,故需要研究具有容差能力的柔性末端采摘執(zhí)行器。同時(shí),目前末端采摘執(zhí)行器均為單個(gè),為了進(jìn)一步提高效率,未來(lái)還需要研發(fā)設(shè)計(jì)多組芽葉末端采摘執(zhí)行結(jié)構(gòu)。
為了實(shí)現(xiàn)茶園機(jī)械對(duì)茶芽的自動(dòng)采摘,智能控制系統(tǒng)必不可少。智能控制系統(tǒng)的功能主要包括行駛系統(tǒng)的控制和采摘裝置的控制。日本在茶園智能機(jī)械行駛系統(tǒng)控制上已有一些研究成果,如日本松元株式會(huì)社利用人工智能(AⅠ)和傳感器開(kāi)發(fā)出在無(wú)人駕駛的情況下走動(dòng)收獲茶葉的“無(wú)人采茶機(jī)”,并已開(kāi)始銷(xiāo)售。
在采摘裝置的控制上,針對(duì)傳統(tǒng)往復(fù)切割式采收裝置,湯一平等設(shè)計(jì)了一種基于機(jī)器視覺(jué)的乘用式智能采茶機(jī),提出了自動(dòng)識(shí)別茶葉嫩芽和割刀自動(dòng)調(diào)平控制方法,試驗(yàn)表明該機(jī)可解決現(xiàn)有采茶機(jī)無(wú)選擇性切割老葉和嫩芽的弊端。還有一些研究針對(duì)采摘機(jī)械手進(jìn)行控制,如辛文文對(duì)采茶機(jī)器人自動(dòng)控制系統(tǒng)進(jìn)行設(shè)計(jì)與分析,該控制系統(tǒng)依據(jù)TMS320F2812DSP 內(nèi)核實(shí)現(xiàn),以C 語(yǔ)言進(jìn)行編寫(xiě),并置入DSP 控制板內(nèi),滿(mǎn)足串口通信與數(shù)據(jù)分析的伺服控制,確保了茶葉采摘的回收率與品質(zhì)。為了實(shí)現(xiàn)茶芽的自動(dòng)采摘,浙江理工大學(xué)的Li 等開(kāi)發(fā)了一種基于RGBD 相機(jī)圖像的算法用于茶葉采摘機(jī)器人檢測(cè)和定位田間茶芽。在這項(xiàng)研究中,首先為茶園中多個(gè)時(shí)期和品種收集的圖像建立了標(biāo)簽標(biāo)準(zhǔn)。然后,使用YOLO 網(wǎng)絡(luò)在RGB-D 相機(jī)收集的RGB 圖像上檢測(cè)茶芽(一芽一葉)區(qū)域。此外,茶芽的檢測(cè)精度為93.1%,召回率為89.3%。為了實(shí)現(xiàn)采摘位置的三維(3D)定位,通過(guò)融合RGB-D相機(jī)捕獲的深度圖像和RGB圖像來(lái)獲取檢測(cè)到的目標(biāo)區(qū)域的3D 點(diǎn)云。然后,使用點(diǎn)云預(yù)處理去除噪聲,并使用歐幾里德聚類(lèi)處理和目標(biāo)點(diǎn)云提取算法獲得茶芽的點(diǎn)云。最后,結(jié)合茶樹(shù)生長(zhǎng)特征、點(diǎn)云特征和套筒采摘方案確定茶芽的3D采摘位置,初步解決了采摘點(diǎn)在田間可能不可見(jiàn)的問(wèn)題。茶園茶芽定位和采摘試驗(yàn)表明,茶芽采摘成功率為83.18%,每個(gè)目標(biāo)的平均定位時(shí)間約為24 ms。Yang 等提出了一種基于計(jì)算機(jī)視覺(jué)的可模仿人手采摘的優(yōu)質(zhì)茶葉采摘機(jī)器人。機(jī)器人樣機(jī)由3部分組成:機(jī)械結(jié)構(gòu)(MS)、視覺(jué)識(shí)別系統(tǒng)(VRS)、運(yùn)動(dòng)控制系統(tǒng)(MCS)。根據(jù)全局相機(jī)獲取的整體茶葉圖像,首先利用PSO-SVM算法從老茶葉背景中提取嫩茶芽,并獲得它們?cè)诠ぷ鲄^(qū)域的初步坐標(biāo)。MCS會(huì)根據(jù)枝條的坐標(biāo)分布,調(diào)用改進(jìn)的蟻群算法來(lái)規(guī)劃采摘路徑,尋找機(jī)械手的最優(yōu)平滑軌跡。一旦機(jī)械手到達(dá)要采摘的茶芽附近,安裝在機(jī)械手上的攝像頭就會(huì)快速拍攝到茶芽的圖像。然后采用改進(jìn)的深度卷積神經(jīng)YOLOv3 模型來(lái)識(shí)別茶梗上的采摘定位。最后,安裝在機(jī)械手上的剪刀將采摘茶芽。對(duì)嫩茶芽提取、采摘點(diǎn)定位、最優(yōu)路徑規(guī)劃和軌跡平滑進(jìn)行仿真和實(shí)驗(yàn)室平臺(tái)實(shí)驗(yàn),結(jié)果表明PSO-SVM可以快速準(zhǔn)確地提取嫩茶芽,無(wú)需大量數(shù)據(jù)和用于計(jì)算的內(nèi)存。改進(jìn)后的YOLOv3 模型可以準(zhǔn)確識(shí)別各種姿勢(shì)的茶芽采摘點(diǎn)。
目前針對(duì)采摘手控制系統(tǒng)所控制的末端采摘執(zhí)行器個(gè)數(shù)均為單個(gè),此時(shí)的采摘效率仍不高,未來(lái)還需針對(duì)多個(gè)末端采摘執(zhí)行器、多機(jī)械臂協(xié)同控制系統(tǒng)進(jìn)行研發(fā)。
在過(guò)去幾年,盡管智能采茶技術(shù)受到較多的關(guān)注,但目前國(guó)內(nèi)外針對(duì)高檔名優(yōu)茶采摘機(jī)器的研究剛起步,尚處于概念樣機(jī)試驗(yàn)階段。在實(shí)際應(yīng)用中仍然存在一些挑戰(zhàn),如當(dāng)前農(nóng)業(yè)生產(chǎn)中存在著農(nóng)機(jī)農(nóng)藝結(jié)合不緊密的問(wèn)題、嫩芽識(shí)別受光照影響較大、難以分割含與嫩芽顏色相近背景的圖像、葉子間的遮擋和重疊造成識(shí)別效果不理想等。相比較傳統(tǒng)的機(jī)器學(xué)習(xí)而言,目前基于深度學(xué)習(xí)的芽葉識(shí)別方法具有良好的應(yīng)用前景,但需要大量的標(biāo)記樣本進(jìn)行訓(xùn)練,且隨著網(wǎng)絡(luò)復(fù)雜程度的升高,硬件系統(tǒng)升級(jí)也是一個(gè)需要解決的問(wèn)題。隨著機(jī)器視覺(jué)、人工智能技術(shù)的飛速發(fā)展,這為智能采茶機(jī)的研發(fā)提供了良好的基礎(chǔ)。未來(lái)的智能采茶機(jī)將會(huì)有以下發(fā)展趨勢(shì)。
目前茶芽識(shí)別和定位的難點(diǎn)在于茶葉種類(lèi)和生長(zhǎng)環(huán)境的多樣性、遮擋和重疊情況下茶葉嫩芽識(shí)別策略、動(dòng)態(tài)干擾,以及算法穩(wěn)定性和通用性較差。未來(lái)應(yīng)對(duì)不同品種、不同茶季、不同等級(jí)、不同產(chǎn)區(qū)、不同光照下的茶園茶葉圖像進(jìn)行數(shù)據(jù)采集,實(shí)現(xiàn)茶葉圖像樣本的數(shù)據(jù)集擴(kuò)充,豐富樣本的多樣性,建立多品種、多等級(jí)茶葉芽葉數(shù)據(jù)庫(kù),提高算法普適性。
茶葉嫩芽質(zhì)地較為柔軟,常規(guī)末端采摘執(zhí)行器采摘易對(duì)嫩芽造成傷害。同時(shí)在茶園非結(jié)構(gòu)化及微風(fēng)環(huán)境下易存在定位誤差和隨機(jī)誤差,因此既要在采摘的同時(shí)做到不傷害嫩芽,還要采用合適的誤差補(bǔ)償方法,故需要研究具有容差能力的柔性末端采摘執(zhí)行器。
針對(duì)茶葉采摘機(jī)械臂輕巧、柔順和高速的需求,可通過(guò)結(jié)構(gòu)輕量化設(shè)計(jì)和相應(yīng)的運(yùn)動(dòng)控制算法實(shí)現(xiàn)采茶專(zhuān)用末端采摘執(zhí)行器及其控制系統(tǒng)。同時(shí)單個(gè)末端采摘執(zhí)行器效率過(guò)低,未來(lái)為進(jìn)一步提高采摘效率,應(yīng)研發(fā)多末端采摘執(zhí)行器以及高效控制系統(tǒng),實(shí)現(xiàn)多末端采摘執(zhí)行器任務(wù)分配和運(yùn)動(dòng)協(xié)同規(guī)劃,提高茶葉采摘效率。