張巍 趙幫泰 楊昌敏 程方平 王義鵬 宋樂見
摘要:茶葉生產(chǎn)作為勞動密集型產(chǎn)業(yè)急需標(biāo)準(zhǔn)化和機械化,無論是大宗茶還是名優(yōu)茶,都需要實現(xiàn)機械化采摘才能滿足日益增長的生產(chǎn)需求。隨著計算機視覺、人工智能、自動控制等新技術(shù)的發(fā)展,智能農(nóng)機被應(yīng)用到農(nóng)業(yè)生產(chǎn)的各個方面。綜合分析我國名優(yōu)茶智能化采摘關(guān)鍵技術(shù)研究方面的最新進展,重點從嫩芽圖像分割技術(shù)研究、嫩芽識別及采摘點定位技術(shù)研究方面進行介紹,指出目前研究存在分割算法魯棒性差、識別定位精度低、機藝不融合等問題,提出通過改進算法、技術(shù)創(chuàng)新、宜機改良等方法提高采摘精度,旨在為實現(xiàn)名優(yōu)茶智能化采摘提供理論參考。
關(guān)鍵詞:名優(yōu)茶;智能采摘;圖像分割;嫩芽識別;采摘點定位
中圖分類號:S24; TP391.4
文獻標(biāo)識碼:A
文章編號:2095-5553 (2024) 05-0202-09
收稿日期:2022年7月15日? 修回日期:2022年9月28日*基金項目:四川省科學(xué)技術(shù)廳基本科研業(yè)務(wù)費項目(2021JBKY0014—01)
第一作者:張巍,女,1989年生,成都人,碩士,助理工程師;研究方向為農(nóng)業(yè)機械與農(nóng)業(yè)工程。E-mail: 1091844783@qq.com
通訊作者:趙幫泰,男,1981年生,四川瀘縣人,高級工程師;研究方向為農(nóng)業(yè)機械化。E-mail: 870048173@qq.com
Research progress on key technology of intelligent picking of high-quality tea
Zhang Wei, Zhao Bangtai, Yang Changmin, Cheng Fangping, Wang Yipeng, Song Lejian
(Sichuan Academy of Agricultural Machinery Sciences, Chengdu, 610066, China)
Abstract:
At present, the tender bud picking of high-quality tea is still in the stage of manual picking. Labor shortage and lack of machinery have become the limiting factors for expanding production of high-quality tea. As a labor-intensive industry, tea production is in urgent need of standardization and mechanization. Whether it is bulk tea or famous tea, mechanization picking is needed to meet the growing production demand. With the development of computer vision, artificial intelligence, automatic control and other new technologies, intelligent agricultural machines have been applied to all aspects of agricultural production. This paper comprehensively analyzes the latest progress in research on key technologies for intelligent picking of high-quality tea in our country focuses on the introduction of tender buds image segmentation technology research, tender bud recognition and picking point location technology research, and points out that the current research has problems such as poor robustness of segmentation algorithms, low identification and positioning accuracy, and non-integration of agricultural machinery and agronomy. In order to improve the precision of picking, the methods such as improved algorithms, technological innovation, integration of agricultural machinery and agronomy are proposed. The aim is to provide a theoretical reference for the realization of intelligent picking of high-quality tea.
Keywords:
high-quality tea; intelligent picking; image segmentation; tender? bud recognition; picking point localization
0 引言
茶業(yè)是我國傳統(tǒng)優(yōu)勢產(chǎn)業(yè),茶葉種植面積和產(chǎn)量均為世界首位[1]。2022年全國18個主要產(chǎn)茶省的茶園總面積達到3330.3khm2,同比增長2.03%,茶葉總產(chǎn)量達到3350kt,同比增產(chǎn)5.7%[2]。
隨著經(jīng)濟的發(fā)展和人們生活水平的逐步提高,名優(yōu)茶的需求日益增加,但發(fā)展規(guī)模和速度相較大宗茶依然緩慢,其主要原因:一是名優(yōu)茶采摘季節(jié)性強且標(biāo)準(zhǔn)高、要求嚴(yán),一般只采一芽二三葉處或頂芽,且要完整鮮嫩[3],需要采茶機具有較強的交互性和選擇性,而現(xiàn)有的采茶機主要采取“一刀切”的采摘模式,采摘時將老葉嫩芽同一高度進行切割,破壞了芽葉的形狀和質(zhì)量,不適合于名優(yōu)茶采摘。二是現(xiàn)階段名優(yōu)茶采摘主要依靠人工手采,勞動力投入高,采摘環(huán)節(jié)用工占整個茶葉生產(chǎn)用工的60%以上[4],隨著農(nóng)業(yè)勞動力結(jié)構(gòu)的轉(zhuǎn)變,用工量大、勞動強度高的名優(yōu)茶采摘,用工荒的問題日漸嚴(yán)重。因此名優(yōu)茶采摘對“機器換人”的需求越來越迫切。
茶葉生產(chǎn)作為勞動密集型產(chǎn)業(yè)急需標(biāo)準(zhǔn)化和機械化,無論是大宗茶還是名優(yōu)茶,都需要實現(xiàn)機械化采摘才能滿足日益增長的生產(chǎn)需求。本文結(jié)合國內(nèi)外采茶機及名優(yōu)茶智能化采摘關(guān)鍵技術(shù)研究進展,分析闡述嫩芽圖像分割技術(shù)、識別以及采摘點定位技術(shù)等方面,指出當(dāng)前研究中存在的問題和制約因素,提出發(fā)展建議及措施,展望名優(yōu)茶智能化采摘機發(fā)展趨勢。
1 國內(nèi)外采茶機械研究現(xiàn)狀
1.1 國外采茶機械研究現(xiàn)狀
日本是采茶機械化研究較早的國家,自20世紀(jì)初采茶剪的出現(xiàn)開始,日本就開啟了采茶機械的研究和應(yīng)用,1960年,日本落合刃物株式會社研制出第一臺機動式采茶機并在茶葉生產(chǎn)中應(yīng)用,從此之后又先后出現(xiàn)了雙人式采茶機、自走式采茶機和乘坐式采茶機,到1979年,機采茶的產(chǎn)量在日本全國茶葉總產(chǎn)量中的占比達到90%,機械化采茶得到基本普及。日本的采茶機種類繁多,從動力形式分類有電動式、手動式、機動式;從操作方式分類有單人手提式、雙人抬式、自走式、乘坐式。日本對采茶機的工作原理及刀片切割方式進行了多種研究和試驗,其中往復(fù)切割式的采茶效果最好,也是目前日本應(yīng)用和出口采茶機采用最多的型式[5]。
蘇聯(lián)在1930年研制出一種三輪往復(fù)切割式采茶機,在1949年對折斷式采摘原理展開研究,在1965年研制并投入使用一種折斷和切割方式相結(jié)合的自走式采茶機。澳大利亞、英國、法國、印度等國家也相應(yīng)地進行了采茶機的研究,從采摘原理來看,大多都為往復(fù)切割式采茶機[6]。
1.2 我國采茶機械研究現(xiàn)狀
我國的采茶機研究起步也比較早,1947年,杭州農(nóng)業(yè)改進所就開始研究茶葉采摘器,但因使用效率低而作罷。1955年正式開始研究采茶機,1959年被列入國家重點研究項目,之后在全國大范圍地開展采茶機研究。我國首臺被定型的采茶機是“手動南茶702型往復(fù)切割式采茶機”,首臺通過鑒定的采茶機是中國農(nóng)業(yè)科學(xué)院茶葉研究所研制的“電動往復(fù)切割式N1C型手提采茶機”,但因當(dāng)時我國機械制造水平低,故而研制的采茶機未能在實際生產(chǎn)中推廣使用[7]。直到20世紀(jì)70年代后期從日本引進技術(shù),到20世紀(jì)90年代初與日本公司合資生產(chǎn),再到近幾年國內(nèi)的農(nóng)機生產(chǎn)企業(yè)、科研院所自主研發(fā)采茶機,相繼提出了不同動力形式(手動式、電動式、機動式)、不同切割模式(螺旋滾刀式、水平勾刀式、往復(fù)切割式)的采茶機[8]。近年來,我國自主研制的采茶機已經(jīng)在全國各地的茶區(qū)推廣使用,主流采茶機大致分為便攜式微型采茶機、單人采茶機、雙人采茶機及乘坐式采茶機等[9],其技術(shù)參數(shù)及特點如表1所示。隨著農(nóng)業(yè)機械化的深入發(fā)展,全國各大茶區(qū)已逐漸普及大宗采茶機,機械化采茶成為茶葉生產(chǎn)的必然趨勢[10]。
2 我國名優(yōu)茶智能化采摘關(guān)鍵技術(shù)研究
世界上有160多個國家和地區(qū)的人民有飲茶的習(xí)慣,飲茶風(fēng)格迥異,各具特色,造就了對茶葉采摘標(biāo)準(zhǔn)的不同,大多只需采下芽葉即可,無需考慮完整性。目前對芽葉要求均勻、條索完整的名優(yōu)茶只有我國生產(chǎn),其主要市場在國內(nèi),所以名優(yōu)茶采茶機械國外無從引進。近年來,國內(nèi)的許多高校、科研院所、農(nóng)機生產(chǎn)企業(yè)都圍繞名優(yōu)茶采茶機械進行了研究,隨著計算機視覺技術(shù)及現(xiàn)代農(nóng)業(yè)裝備不斷的深入研究,智能農(nóng)機更多地應(yīng)用于農(nóng)業(yè)生產(chǎn)中,茶葉嫩芽智能化識別與定位是實現(xiàn)名優(yōu)茶機械采摘的關(guān)鍵,實現(xiàn)過程如圖1所示,其中嫩芽圖像分割、嫩芽識別及采摘點定位是實現(xiàn)智能化采摘的核心技術(shù),也是目前研究的重中之重[11]。
2.1 名優(yōu)茶嫩芽圖像分割算法的研究
圖像分割(image segmentation)是圖像識別和計算機視覺至關(guān)重要的預(yù)處理,為目標(biāo)檢測、識別定位提供先決條件[12]。實現(xiàn)名優(yōu)茶智能化采摘的首要任務(wù)就是將嫩芽從老葉、枝條、土壤等復(fù)雜背景中識別出來,圖像識別的質(zhì)量取決于圖像分割效果[13],因此研究適合茶葉嫩芽圖像分割的算法至關(guān)重要。近年來,在嫩芽圖像分割算法研究中,常用的嫩芽圖像分割算法如圖2所示。
2.1.1 嫩芽圖像閾值分割算法研究
基于閾值的圖像分割方法是通過獲得的閾值將圖像中的像素點劃分為幾個區(qū)域,使各區(qū)域內(nèi)部具有一致屬性,相鄰區(qū)域之間不具有這種一致屬性[14]。汪洋等[15]采集自然環(huán)境下茶葉嫩芽圖像,特征分析選取R-B分量和飽和度S分量進行Otsu算法分割,R-B分量分割在魯棒性和正確率上效果要優(yōu)于S分量分割。周贊禮等[16]以自然環(huán)境下毛峰茶葉為研究對象,利用中值濾波、灰度拉伸獲得G-B分量色差圖對比度,采用基于迭代法的Otsu算法實現(xiàn)毛峰嫩芽圖像的自動分割。姜苗苗等[17]通過魔鬼魚覓食優(yōu)化算法(MRFO)計算獲得超綠色系數(shù),增加嫩芽與背景的差異,對Otsu算法獲得的閾值進行偏移校正,以此獲得最佳閾值完成分割。
Otsu算法計算簡單,通常不會受到對比度和光照強弱變化的干擾,被廣泛地應(yīng)用于圖像分割中,但在求取最佳閾值時,需遍歷灰度值范圍內(nèi)所有像素來計算方差。但該方法有非常高的環(huán)境和拍攝場景的要求,自然環(huán)境下的茶葉嫩芽細小密集且背景復(fù)雜,噪聲較多,會使Otsu算法的計算量變得巨大以致分割效率降低,從而影響后續(xù)識別定位的精度,不適合用于茶葉嫩芽動態(tài)實時采摘。
2.1.2 嫩芽圖像區(qū)域分割算法研究
基于區(qū)域的圖像分割是以直接尋找區(qū)域為基礎(chǔ)的分割技術(shù),根據(jù)事先定義的一組準(zhǔn)則把一幅圖像分割為相似的多個區(qū)域[18]。邵明[19]首先采用分水嶺算法對龍井茶葉圖像初始分割,對過分割現(xiàn)象,提出區(qū)域合并算法,分析顏色、紋理特征定義相似度,升序排列得到合并順序,滿足合并準(zhǔn)則的區(qū)域進行快速合并得到嫩芽分割圖像。黃海軍等[20]利用微分方程對圖像去噪,提高圖片質(zhì)量,Otsu算法初始分割,再利用分水嶺算法對圖像進行二次分割。Zhang等[21]對茶葉圖像經(jīng)高斯平滑濾波,分段線性變換提高嫩芽與背景的差異,二值化圖像后,Canny算子邊緣檢測,確定前景和背景,計算標(biāo)記未知區(qū)域,最后利用分水嶺完成分割,平均分割準(zhǔn)確率達95.79%。分水嶺算法分割原理清晰直觀且速度快,但該方法對噪聲干擾非常敏感,易產(chǎn)生嚴(yán)重過分割和無法找到有效邊界,為獲得精確連續(xù)的邊界信息,需采取濾波去噪、標(biāo)記提取或區(qū)域合并等方法有效克服過分割現(xiàn)象。
此外,方坤禮等[22]利用邊緣檢測方向算子的幅值B調(diào)節(jié)JSEG,形成一種新的彩色紋理分割圖像的技術(shù)(JBSEG),將通過JBSEG分割后的圖像再結(jié)合2R-G-B超綠特征,更好地分離出了茶葉嫩芽。JSEG法是一種同時兼顧顏色及紋理信息的分割方法,分割準(zhǔn)確率高,算法魯棒性強,但JSEG法易產(chǎn)生過分割,在茶葉嫩芽時,通常需要改進算法,提高像素顏色邊界信息,減少過分割現(xiàn)象。
2.1.3 嫩芽圖像聚類分割算法研究
基于聚類的圖像分割方法是根據(jù)提取的特征矩陣的相似性將像素點聚集到一起,通過不斷地迭代更新各個區(qū)域中的特征像素點直至收斂,最終達到圖像分割的目的[23]。吳雪梅等[24]選取自然采集圖像的Lab空間a、b分量分別進行Otsu閾值分割和K-means聚類分割,通過對比試驗,Otsu閾值分割計算時間相對較短,但K-means聚類分割準(zhǔn)確率比之較高,平均識別率達93%。張可等[25]采集黃山毛峰茶葉茶隴圖像,選取圖像RGB模型下R-B分量和Lab空間下b分量進行灰度直方圖閾值分割,選取Lab空間下a、b分量進行K-means分割,通過對比研究表明,K-means分割效果更好。黃濤等[26]對采集自晴天和陰天條件下的茶葉圖像,首先進行Tenen-grad梯度法選取清晰度區(qū)域,然后通過顏色模型分析,選取HSV模型進行K-means聚類分割,兩種天氣條件下分割準(zhǔn)確率分別為72.48%和77.83%。K-means算法計算簡單,容易實現(xiàn),收斂速度快,但算法對噪聲和離散點比較敏感,對自然環(huán)境下采集的嫩芽圖片需進行去噪及去除離散點處理,再聚類,以此提高分割效果。
夏華鹍等[27]對茶葉圖像多個顏色空間分量統(tǒng)計分析,提取嫩芽與背景差異較大的G-B、超紅、Cg分量合成待分割圖,采用SLIC超像素法獲取超像素塊,分別提取超像素塊的橫坐標(biāo)、縱坐標(biāo)、超紅、Cg、G-B 分量的平均值作為分割特征進行分割,并與原始RGB圖像進行“邏輯與”操作,得到嫩芽的彩色分割圖像,平均分割率為75.6%。SLIC超像素法分割效率高,是目前較為出色的圖像分割算法,算法在顏色和空間距離相似性上局部聚類,與K-means全局搜索相比,大大降低了計算復(fù)雜度,提高了分割速度,但是SLIC在處理大批量的圖像時,速度和準(zhǔn)確度上還不夠理想,機采茶園面積普遍較大,適采期的嫩芽數(shù)量巨大且密集,若考慮應(yīng)用到實際茶葉嫩芽采摘中,還需進一步解決實時性和準(zhǔn)確率的問題。
2.1.4 基于圖論的嫩芽圖像分割算法研究
基于圖論的圖像分割方法是將圖像構(gòu)建成帶權(quán)無向圖,把像素點作為節(jié)點,利用最小剪切準(zhǔn)則得到圖像的最佳分割[28]。毛騰躍等[29]提出一種基于顯著性檢測的Grab Cut茶葉嫩芽圖像分割算法,將顯著性目標(biāo)預(yù)測模塊設(shè)計成類似U-Net的編解碼網(wǎng)絡(luò)進行特征提取,得到茶葉嫩芽顯著性圖像,結(jié)合Grab Cut的掩碼圖像方式精確的分割出了嫩芽圖像,這為智能化采茶提供了一種新的方法。Grab Cut法采用高斯混合模型(GMM)建立模型,只需通過少量的人機交互操作實現(xiàn)分割,在彩色圖像分割中占有重要地位。但是名優(yōu)茶智能化采摘需要全自動的實現(xiàn)方式,交互式分割顯然不適合嫩芽采摘,需要對Grab Cut法進行非交互式改進,實現(xiàn)自動分割,才能應(yīng)用于名優(yōu)茶智能化采摘。
綜合上述研究可以看出,研究學(xué)者們提出了多種多樣的嫩芽圖像分割算法,但大多數(shù)研究都是采集特定環(huán)境下或單一品種的茶葉圖像進行室內(nèi)研究,分割效果普遍較好,如果將其用于不同環(huán)境、不同品種的茶葉或現(xiàn)場采摘試驗時,往往達不到精度和速度要求,不能滿足實際實時采摘;又或者結(jié)合了多種算法進行多次分割以達到更好的分割效果,卻又增加了算法的復(fù)雜度,降低了分割速度。故目前還沒有任何一種分割算法適用于不同場景和不同品種的茶葉,嫩芽圖像分割仍然是名優(yōu)茶智能化采摘研究中非常重要的課題,還需進一步優(yōu)化現(xiàn)有算法、探索融合新的分割技術(shù),提高算法魯棒性,為后續(xù)嫩芽的正確識別、精確定位奠定基礎(chǔ)。
2.2 名優(yōu)茶嫩芽識別定位技術(shù)的研究
名優(yōu)茶嫩芽識別和采摘點定位是實現(xiàn)采摘機器人有選擇性自主采摘的前提,嫩芽的識別包括了對嫩芽品級(單芽或一芽一二葉等)和芽葉成熟度的識別等,采摘點定位包括了采摘點平面二維坐標(biāo)的確定和三維空間位置的求解[30]。
2.2.1 名優(yōu)茶嫩芽識別技術(shù)研究
目標(biāo)檢測的核心是找出圖像中的所有目標(biāo),并確定目標(biāo)的大小及位置,因此其主要的兩大任務(wù)就是圖像識別和圖像定位,其中圖像識別又包含了目標(biāo)類別的區(qū)分和形狀大小的考慮。傳統(tǒng)的目標(biāo)檢測方法需要人工進行選擇設(shè)計特征,存在重復(fù)計算,耗時長等問題。而深度神經(jīng)網(wǎng)絡(luò)模型通過大量數(shù)據(jù)運算訓(xùn)練,提取特征的能力比人工選擇強,訓(xùn)練后的模型泛化能力強,Ross等[31]提出R-CNN將卷積神經(jīng)網(wǎng)絡(luò)引入目標(biāo)檢測領(lǐng)域,大大提高了目標(biāo)檢測精度。
在實際的采摘過程中,需要根據(jù)茶葉的品級要求和制茶的需要采摘一芽一葉、一芽兩葉或單芽,所以在分割出嫩芽的基礎(chǔ)上,還要對茶葉嫩芽品級進一步的細分,表2為各研究學(xué)者對嫩芽品級識別算法的研究對比分析。
從表2可以看出,研究學(xué)者們主要采用了Faster R-CNN和YOLOv3識別嫩芽品級,在對單一品級(如一芽一葉,一芽兩葉),單一背景(如睛天,陰天)分別分類識別時,兩種算法都有較高的識別精度,但對于復(fù)雜環(huán)境、不同品種混合識別時,識別能力還不夠,錯誤率較高。Faster R-CNN使用端到端的網(wǎng)絡(luò)進行目標(biāo)檢測,實現(xiàn)目標(biāo)定位與分類同步,采用RPN使網(wǎng)絡(luò)直接產(chǎn)生候選區(qū)域,目標(biāo)檢測精度較高,但是Faster R-CNN計算量較大,不能實現(xiàn)實時檢測,而YOLOv3采用回歸思想,不用事先生成預(yù)選框,直接在目標(biāo)圖像上回歸判定類別,計算簡單,速度快,能夠?qū)崿F(xiàn)實時檢測,更適合名優(yōu)茶智能化采摘,但是由于沒有了候選區(qū)域,使得YOLOv3不能非常精確定位目標(biāo),在檢測精度上還需尋找進一步提高的方法。
除了品級的識別,合理的采摘時間也是提高茶葉品質(zhì)的關(guān)鍵,嫩芽葉片的開放幅度關(guān)系到名優(yōu)茶鮮葉的鮮嫩程度和成品茶的質(zhì)量。針對嫩芽葉片全開狀態(tài)、半開狀態(tài)和未開狀態(tài),方夢瑞等[32]建立基于GoogLeNet的卷積神經(jīng)網(wǎng)絡(luò)識別模型,研究采集不同時期的葉片生長狀態(tài)樣本,制作成4種不同尺寸的樣本庫,試驗結(jié)果顯示,尺寸在256×256下平均識別率87.75%,效果最好,在該尺寸下,葉片未開狀態(tài)識別率最高,達96%。呂軍等[33]建立基于AlexNet的卷積神經(jīng)網(wǎng)絡(luò)識別模型,研究采集了不同年份、不同光照條件下、不同品種的嫩芽生長狀態(tài)圖像建立樣本庫,試驗結(jié)果顯示葉片全開狀態(tài)識別率最高達98%。
以上兩種網(wǎng)絡(luò)模型都能實現(xiàn)嫩芽葉片生長狀態(tài)的識別,但被誤判的情況較多,主要原因有相機拍攝角度問題、自然環(huán)境影響、尺度改變的影響,仍需進一步結(jié)合新的圖像處理技術(shù)提高樣本質(zhì)量,豐富不同拍攝角度樣本數(shù)據(jù)庫,采用多層分類訓(xùn)練,提高模型識別精度。
2.2.2 名優(yōu)茶嫩芽采摘點定位技術(shù)研究
相對理想的采摘點選在嫩芽與茶梗連接處下方3mm左右較為合適[39],茶葉嫩芽采摘點的定位過程首先需要從分割處理后的茶葉嫩芽二維圖像中尋找嫩芽區(qū)域的特征及采摘點二維坐標(biāo),再依據(jù)二維坐標(biāo)信息求解其三維空間位置。質(zhì)心法和最小外接矩形法是常用的目標(biāo)定位算法,其在嫩芽采摘點二維坐標(biāo)定位中的研究如表3所示。
質(zhì)心定位算法中基本質(zhì)心法計算簡單,但是對嫩芽葉片對稱性要求較高,由于拍攝角度問題導(dǎo)致圖片中葉片對稱性較差,定位出的質(zhì)心大多落在葉片邊緣,甚至是背景枝干上;加權(quán)質(zhì)心法克服了對稱性的問題,識別誤差率較基本質(zhì)心法有所降低,但處理速度沒有基本質(zhì)心法快,還需進一步改進算法提高算法精度及速度。最小外接矩形法用于描述目標(biāo)輪廓,提取嫩芽外形輪廓或骨架的最小外接矩形,標(biāo)記其中心點或嫩芽與其底部的交點作為采摘點信息,相比質(zhì)心法,最小外接矩形法更能反映嫩芽茶梗所在,但其對于嫩芽外形輪廓要求相對理想,在俯視情況下則無法定位采摘點二維坐標(biāo),還需后續(xù)輔助工作來完成采摘任務(wù)。
由于茶葉嫩芽生長在不同高度,識別出采摘點二維信息還不能作為最終的采摘依據(jù),只有準(zhǔn)確判定出茶葉嫩芽的空間三維坐標(biāo)才能實現(xiàn)最終的采摘。光學(xué)三維測量技術(shù)以其具有大量程、速度快、精度高、非接觸等優(yōu)點,廣泛應(yīng)用于機器人視覺系統(tǒng)當(dāng)中,其測量方式有主動式和被動式兩種,在采摘點三維坐標(biāo)求解中的研究如表4所示。
從表4可以看出,雙目立體視覺被廣泛用于嫩芽采摘點三維坐標(biāo)求解,雙目立體視覺依靠左右位置相對固定的兩個相機的視差來確定嫩芽的深度,在嫩芽紋理清晰的情況下,能很好地求解采摘點深度,但由于它不需要額外特定光源,易受環(huán)境光照影響,環(huán)境光過強或過弱都會使捕捉到的嫩芽圖像葉片紋理清晰變低,從而導(dǎo)致圖像匹配出現(xiàn)錯誤。光柵投影法是通過計算物體相位的變化值實現(xiàn)三維測量,一次投影就能實現(xiàn)整個茶蓬面的測量,與雙目視覺相比,對環(huán)境要求低,受光照影響小,測量精度高且速度快,但是由于投影儀不能捕捉圖像,無法明確投影儀的像素與世界坐標(biāo)系間的關(guān)系,為此研究學(xué)者提出坐標(biāo)映射標(biāo)定法和坐標(biāo)變化標(biāo)定法,前者標(biāo)定準(zhǔn)確,但過程復(fù)雜,受到映射精度的限制,后者過程簡單,但標(biāo)定精度誤差較大,所以仍需進一步優(yōu)化光柵投影儀的標(biāo)定方法。
3 存在問題
1) 嫩芽圖像分割算法魯棒性差。目前大多研究都是針對單一環(huán)境中的茶葉嫩芽,且分割算法常采用顏色或亮度作為分割特征,在自然環(huán)境下,茶葉嫩芽生長密集,顏色與老葉差別不大,并且容易受到光照不均勻、陰影的影響,這極大地增加了分割難度。也有少數(shù)研究針對自然環(huán)境下的茶葉嫩芽圖像分割,但準(zhǔn)確率并不高。
2) 嫩芽視覺識別定位技術(shù)有待進一步優(yōu)化。自然環(huán)境中,茶葉葉片之間往往遮擋嚴(yán)重,且易隨風(fēng)晃動導(dǎo)致芽葉發(fā)生比例、變形、位置等變化,不同姿態(tài)的嫩芽采摘點也要分類討論,這些都對識別和定位提出極大地挑戰(zhàn)。而目前采用的識別定位方法對嫩芽自身形狀要求過于理想化,具有一定局限性,自適應(yīng)性不高,使得確定的采摘點落到葉片或者背景上,從而導(dǎo)致機械手損壞葉片或采摘落空。
3) 農(nóng)機與農(nóng)藝融合度不高。茶樹的生長環(huán)境與姿態(tài)對機械化采摘影響較大,傳統(tǒng)的茶園分散,地塊普遍較小,且大多位于山地丘陵地帶,不利于采茶機作業(yè)。加之種植模式不標(biāo)準(zhǔn),茶行之間土地不平整,會使機械進入茶園產(chǎn)生巨大晃動,降低識別定位精度,不利于機械采摘。
4 發(fā)展建議
1) 融合新理論提高分割算法魯棒性。對于自然環(huán)境中的茶葉嫩芽,結(jié)構(gòu)復(fù)雜,需要更多地結(jié)合圖像中除顏色、紋理、亮度等較低層次信息以外的高層內(nèi)容,融合多種特征、創(chuàng)新新理論及新技術(shù),如人工神經(jīng)網(wǎng)絡(luò)、遺傳算法、小波變換等,極大地豐富圖像分割算法,提高魯棒性。
2) 深入研究快速動態(tài)識別方法,提高視覺識別定位精度。尋找能準(zhǔn)確快速識別定位嫩芽采摘點三維數(shù)據(jù)的測量方法,結(jié)合優(yōu)化算法,多次校準(zhǔn)降低誤差,引入新的目標(biāo)檢測方法,考慮芽尖大小、采摘時間、制作工藝、茶樹品種等因素,更細致的進行種類劃分,適應(yīng)不同品種茶葉嫩芽的精確采摘,提高識別定位系統(tǒng)普適性和交互性。
3) 加強農(nóng)機農(nóng)藝融合。提高適宜機采的無性系茶葉良種培育,嚴(yán)格按照標(biāo)準(zhǔn)的機采茶園模式種植,加快茶園宜機化、集約化改造,土地平整方便采茶機通過。提升采摘機械硬件水平,行走機構(gòu)運動平穩(wěn),可適應(yīng)復(fù)雜地形,結(jié)構(gòu)尺寸合理、通過性好,作業(yè)空間要覆蓋整個茶蓬面,減少觸碰茶樹引起晃動,操作系統(tǒng)簡單,便于廣大茶農(nóng)使用。
5 結(jié)語
智能化采摘是未來機采名優(yōu)茶鮮葉的發(fā)展方向,將會有力地促進我國名優(yōu)茶產(chǎn)業(yè)的發(fā)展。名優(yōu)茶智能化采摘技術(shù)是一個多學(xué)科交叉融合的新興研究方向,研究學(xué)者開展大量的研究及試驗,也取得一定的成果,但是距離實際推廣應(yīng)用還有很大距離。隨著計算機視覺技術(shù)、人工智能、機械制造技術(shù)的不斷發(fā)展,茶園管理逐漸規(guī)范化、結(jié)構(gòu)化,為實現(xiàn)名優(yōu)茶智能化采摘提供良好條件。
參 考 文 獻
[1] 李遠華. 我國茶產(chǎn)業(yè)發(fā)展的思考[J]. 武夷學(xué)院學(xué)報, 2017(7): 27-32.
Li Yuanhua. Consideration for the development of tea industry [J]. Journal of Wuyi University, 2017(7): 27-32.
[2] 國家統(tǒng)計局. 中華人民共和國2022年國民經(jīng)濟和社會發(fā)展統(tǒng)計公報[EB/OL]. http://www.stats.gov.cn/sj/zxfb/202302/t20230228_1919011.html, 2023-02-28.
[3] 楊勁松. 名優(yōu)茶鮮葉采摘技術(shù)[J]. 云南農(nóng)業(yè), 2021(9): 56-59.
[4] 李體喜. 名優(yōu)茶采摘技術(shù)[J]. 農(nóng)民致富之友, 2018, (21): 37.
[5] 王升. 便攜式電動采茶機關(guān)鍵部件設(shè)計與試驗研究[D]. 鎮(zhèn)江: 江蘇大學(xué), 2018.
Sheng Wang. Research design and experimental study on portable electric tea plucking machine [D]. Zhenjiang: Jiangsu University, 2018.
[6] 韓余, 肖宏儒, 秦廣明, 等. 國內(nèi)外采茶機械發(fā)展?fàn)顩r研究[J]. 中國農(nóng)機化學(xué)報, 2014, 35(2): 20-24.
Han Yu, Xiao Hongru, Qin Guangming, et al. Studies on develop situations of tea-leaf picker both at home and abroad [J]. Journal of Chinese Agricultural Mechanization, 2014, 35(2): 20-24.
[7] 權(quán)啟愛. 采茶機械的研制和我國采茶機械化事業(yè)的發(fā)展[J].中國茶葉, 2018, 40(8): 14-17.
[8] 權(quán)啟愛. 采茶機械的研制和我國采茶機械化事業(yè)的發(fā)展(續(xù))[J]. 中國茶葉, 2018, 40(9): 8-12.
[9] 王文明, 肖宏儒, 宋志禹, 等. 茶葉生產(chǎn)全程機械化技術(shù)研究現(xiàn)狀與展望[J]. 中國農(nóng)機化學(xué)報, 2020, 41(5): 226-236.
Wang Weiming, Xiao Hongru, Song Zhiyu, et al. Research status and prospects of tea production mechanization technology [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(5): 226-236.
[10] 趙博杰. 基于機器視覺的茶葉嫩芽識別關(guān)鍵技術(shù)研究[D]. 鞍山: 遼寧科技大學(xué), 2020.
Zhao Bojie. Tea bud segmentation and recognition based on machine vision [D]. Anshan: University of Science and Technology Liaoning, 2020.
[11] 易文裕, 程方平, 邱云橋, 等. 單人采茶機研究現(xiàn)狀與發(fā)展趨勢[J]. 中國農(nóng)機化學(xué)報, 2020, 41(11): 33-38.
Yi Wenyu, Cheng Fangping, Qiu Yunqiao, et al. Research status and development trend of single tea-picking machine [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(11): 33-38.
[12] 張冬生. 基于閾值的圖像分割算法研究[D]. 大慶: 東北石油大學(xué), 2011.
Zhang Dongsheng. The study of image segmentation algorithm based on the threshold [D]. Daqing: Northeast Petroleum University, 2011.
[13] 黃旭, 張世義, 李軍. 圖像分割技術(shù)研究綜述[J]. 裝備機械, 2021, (2): 6-9.
[14] 劉碩. 閾值分割技術(shù)發(fā)展現(xiàn)狀綜述[J]. 科技創(chuàng)新與應(yīng)用, 2020(24): 129-130.
[15] 汪洋, 胡靖, 邵煜坤, 等. 茶葉嫩芽圖像自動分割方法的研究[J]. 黃山學(xué)院學(xué)報, 2015, 17(3): 14-16.
Wang Yang, Hu Jing, Shao Yukun, et al. A study on the methods of image segmentation for tea leaf sprouts [J]. Journal of Huangshan University, 2015, 17(3): 14-16.
[16] 周禮贊, 方夢瑞, 呂軍. 低對比度茶葉嫩芽圖像自動分割方法的研究[J]. 蠶桑茶葉通訊, 2019(2): 22-25.
[17] 姜苗苗, 問美倩, 楊芷羽, 等. 基于MRFO的茶葉嫩芽圖像分割方法[J]. 農(nóng)業(yè)裝備與車輛工程, 2021, 59(5): 29-32.
Jiang Miaomiao, Wen Meiqian, Yang Zhiyu, et al. Tea sprout image segmentation method based on MRFO [J]. Agricultural Equipment & Vehicle Engineering, 2021, 59(5): 29-32.
[18] 侯紅英, 高甜, 李桃. 圖像分割方法綜述[J]. 電腦知識與技術(shù), 2019, 15(5): 176-177.
[19] 邵明. 基于計算機視覺的龍井茶葉嫩芽識別方法研究[D]. 杭州: 中國計量學(xué)院, 2013.
Shao Ming. Research on computer vision based recognition methods of Longjing tea sprouts [D]. Hangzhou: China Jiliang University, 2013.
[20] 黃海軍, 吳明暉, 王先偉, 等. 基于改進分水嶺算法的茶葉嫩葉圖像識別[J]. 貴州農(nóng)業(yè)科學(xué), 2018, 46(4): 136-138.
Huang Haijun, Wu Minghui, Wang Xianwei, et al. Image recognition of tender leaves based on improved watershed algorithm in tea [J]. Guizhou Agricultural Sciences, 2018, 46(4): 136-138.
[21] Zhang L, Zou L, Wu C Y, et al. Method of famous tea sprout identification and segmentation based on improved watershed algorithm [J]. Computers and Electronics in Agriculture, 2021, 184: 106-108.
[22] 方坤禮, 廖建平, 劉曉輝. 基于改進JSEG技術(shù)的茶葉圖像嫩芽分割與識別研究[J]. 食品工業(yè), 2017, 38(4): 134-138.
Fang Kun-li, Liao Jian-ping, Liu Xiao-hui. Research on tea leaf of image segmentation and recognition using improved JSEG algorithm [J]. The Food Industry, 2017, 38(4): 134-138.
[23] 鄭曉霞, 曹建芳, 趙青杉. 聚類算法在圖像分割中的應(yīng)用[J]. 忻州師范學(xué)院學(xué)報, 2021, 37(2): 24-27.
Zheng Xiaoxia, Cao Jianfang, Zhao Qingshan. Application of clustering algorithm in image segmentation [J]. Journal of Xinzhou Teachers University, 2021, 37(2): 24-27.
[24] 吳雪梅, 唐仙, 張富貴, 等. 基于K-means聚類法的茶葉嫩芽識別研究[J]. 中國農(nóng)機化學(xué)報, 2015, 36(5): 161-164, 179.
Wu Xuemei, Tang Xian, Zhang Fugui, et al. Tea buds image identification based on lab color model and K-means clustering [J]. Journal of Chinese Agricultural Mechanization, 2015, 36(5): 161-164, 179.
[25] 張可, 呂軍. 自然條件下茶葉嫩芽圖像分割方法的研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報, 2016, 28(2): 100-104.
Zhang Ke, Lü Jun. Study on automatic segmentation of tea sprouts under natural conditions [J]. Journal of Heilongjiang Bayi Agricultural University, 2016, 28(2): 100-104.
[26] 黃濤, 方夢瑞, 夏華鵾, 等. 基于清晰度的茶葉嫩芽聚類分割方法[J]. 湖北農(nóng)業(yè)科學(xué), 2020, 59(8): 154-157.
Huang Tao, Fang Mengrui, Xia Huakun, et al. Method of clustering segmentation for tea sprouts based on sharpness function [J]. Hubei Agricultural Sciences, 2020, 59(8): 154-157.
[27] 夏華鹍, 方夢瑞, 黃濤, 等. 基于SLIC超像素的茶葉嫩芽圖像分割方法研究[J]. 西昌學(xué)院學(xué)報(自然科學(xué)版), 2019, 33(4): 75-77, 124.
Xia Huakun, Fang Mengrui, Huang Tao, et al. Study on the method of image segmentation of tea sprouts based on SLIC super-pixel [J]. Journal of Xichang University(Natural Science Edition), 2019, 33(4): 75-77, 124.
[28] 侯葉. 基于圖論的圖像分割技術(shù)研究[D]. 西安: 西安電子科技大學(xué), 2011.
Hou Ye. Research on graph theory based image segmentation [D]. Xian: Xidian University, 2011.
[29] 毛騰躍, 張雯娟, 帖軍. 基于顯著性檢測和Grabcut算法的茶葉嫩芽圖像分割[J]. 中南民族大學(xué)學(xué)報(自然科學(xué)版), 2021, 40(1): 80-88.
Mao Tengyue, Zhang Wenjuan, Tie Jun. Image segmentation of tea buds based on salient object detection and Grabcut [J]. Journal of South-Central University for Nationalities(Natural Science Edition), 2021, 40(1): 80-88.
[30] 王文明, 肖宏儒, 陳巧敏, 等.基于圖像處理的茶葉智能識別與檢測技術(shù)研究進展分析[J]. 中國農(nóng)機化學(xué)報, 2020, 41(7): 178-184.
Wang Weiming, Xiao Hongru, Chen Qiaoming, et al. Research progress analysis of tea intelligent recognition and detection technology based on image processing [J]. Journal of Chinese Agricultural Mechanization, 2020, 41(7): 178-184.
[31] Ross B Girshick, Jeff Donahue, Trevor Darrell, et al. Rich feature hierarchies for accurate object detection and semantic segmentation [C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 580-587.
[32] 方夢瑞, 夏華鵾, 周禮贊, 等. 基于GoogLeNet的茶葉嫩芽生長狀態(tài)智能識別[J]. 黃山學(xué)院學(xué)報, 2019, 21(5): 17-21.
Fang Mengrui, Xia Huakun, Zhou Lizan, et al. Intelligent identification of tea buds growth state based on GoogLeNet [J]. Journal of Huangshan University, 2019, 21(5): 17-21.
[33] 呂軍, 夏華鹍, 方夢瑞, 等. 基于AlexNet的茶葉嫩芽狀態(tài)智能識別研究[J]. 黑龍江八一農(nóng)墾大學(xué)學(xué)報, 2019, 31(2): 72-78.
Lü Jun, Xia Huakun, Fang Mengrui, et al. Research on intelligent identification of tea sprouts state based on AlexNet [J]. Journal of Heilongjiang Bayi Agricultural University, 2019, 31(2): 72-78.
[34] 許高建, 張?zhí)N, 賴小燚. 基于Faster R-CNN深度網(wǎng)絡(luò)的茶葉嫩芽圖像識別方法[J]. 光電子·激光, 2020, 31(11): 1131-1139.
Xu Gaojian, Zhang Yun, Lai Xiaoyi. Recognition approaches of tea bud image based on faster R-CNN depth network [J]. Journal of Optoelectronics Laser, 2020, 31(11): 1131-1139.
[35] 羅浩倫, 馮澤霖, 冉鐘南, 等. 基于VGG16網(wǎng)絡(luò)的茶葉嫩芽自動檢測研究[J]. 農(nóng)業(yè)與技術(shù), 2020, 40(1): 15-17.
[36] 朱紅春, 李旭, 孟煬, 等. 基于Faster R-CNN網(wǎng)絡(luò)的茶葉嫩芽檢測[J]. 農(nóng)業(yè)機械學(xué)報, 2022, 53(5): 217-224.
Zhu Hongchun, Li Xu, Meng Yang, et al. Tea bud detection based on Faster R-CNN network [J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(5): 217-224.
[37] 施瑩瑩, 李祥瑞, 孫凡. 基于YOLOv3的自然環(huán)境下茶葉嫩芽目標(biāo)檢測方法研究[J]. 電腦知識與技術(shù), 2021, 17(3): 14-16.
[38] Yang H L, Chen L, Chen M T, et al. Tender tea shoots recognition and positioning for picking robot using improved YOLO-V3 model [J]. IEEE Access, 2019, 7.
[39] 白雪. 基于計算機視覺的名優(yōu)茶嫩芽識別與定位[J]. 數(shù)碼世界, 2020(2): 42.
[40] 孫曉鋒. 名優(yōu)茶智能化采摘中新梢識別及其中心點確定的方法研究[D]. 南京: 南京林業(yè)大學(xué), 2014.
Sun Xiaofeng. Researches on high-quality tea flush identification and centering method for intelligent plucking [D]. Nanjing: Nanjing Forestry University, 2014.
[41] 邵佩迪. 基于機器視覺的茶葉嫩芽識別關(guān)鍵算法研究[D]. 上海: 上海工程技術(shù)大學(xué), 2020.
Shao Peidi. Research on key algorithms of tea bud recognition based on machine vision [D]. Shanghai: Shanghai University of Engineering Science, 2020.
[42] 裴偉, 王曉林. 基于圖像信息的茶葉二維采摘坐標(biāo)的提?。跩]. 浙江農(nóng)業(yè)學(xué)報, 2016, 28(3): 522-527.
Pei Wei, Wang Xiaolin. The two-dimension coordinates extraction of tea shoots picking based on image information [J]. Acta Agriculturae Zhejiangensis, 2016, 28(3): 522-527.
[43] 姜宏濤, 何博俠, 章亞非. 采茶機械手嫩芽識別與定位方法研究[J]. 機械與電子, 2021, 39(7): 60-64, 69.
Jiang Hongtao, He Boxia, Zhang Yafei. Research on the method of recognizing and positioning the shoots of the picking manipulator [J]. Machinery & Electronics, 2021, 39(7): 60-64, 69.
[44] 龍樟, 姜倩, 王健, 等. 茶葉嫩芽視覺識別與采摘點定位方法研究[J]. 傳感器與微系統(tǒng), 2022, 41(2): 39-41, 45.
Long Zhang, Jiang Qian, Wang Jian, et al. Research on method of tea flushes vision recognition and picking point localization [J]. Transducer and Microsystem Technologies, 2022, 41(2): 39-41, 45.
[45] 邵佩迪, 吳明暉. 基于視覺測量的茶葉嫩芽定位方法研究[J]. 農(nóng)業(yè)裝備與車輛工程, 2020, 58(9): 50-53.
Shao Peidi, Wu Minghui. Tea bud positioning method based on visual measurement [J]. Agricultural Equipment & Vehicle Engineering, 2020, 58(9): 50-53.
[46] 陳妙婷. 基于計算機視覺的名優(yōu)茶嫩芽識別與定位[D]. 青島: 青島科技大學(xué), 2019.
Chen Miaoting. Recognition and location of high-quality tea buds based on computer vision [D]. Qingdao: Qingdao University of Science and Technology, 2019.
[47] 鄒浪. 基于視覺的名優(yōu)綠茶識別及采摘路徑規(guī)劃[D]. 杭州: 浙江理工大學(xué), 2021.
Zou Lang. Identification and picking path planning of famous green tea based on vision [D]. Hangzhou: Zhejiang Sci-Tech University, 2021.
[48] 張浩, 陳勇, 汪巍, 等. 基于主動計算機視覺的茶葉采摘定位技術(shù)[J]. 農(nóng)業(yè)機械學(xué)報, 2014, 45(9): 61-65, 78.
Zhang Hao, Chen Yong, Wang Wei, et al. Positioning method for tea picking using active computer vision [J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(9): 61-65, 78.