劉繼展 朱新新 袁 妍

(江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江 212013)

枝上柑橘果實(shí)深度球截線識別方法

劉繼展 朱新新 袁 妍

(江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江 212013)

針對柑橘果、葉、枝對象具有球體、片體和細(xì)柱體不同的三維幾何特征，提出一種識別柑橘果實(shí)的深度球截線方法。首先提出了球形果實(shí)特征提取的深度球截線方法的基本原理和關(guān)鍵參數(shù)，進(jìn)而分別針對枝上果、葉孤立和貼碰區(qū)域提出了孤立果實(shí)的特征提取算法和貼碰果實(shí)的特征提取算法，得到了復(fù)雜枝環(huán)境下的深度數(shù)據(jù)處理與果實(shí)識別策略，并綜合根據(jù)Intel RealSense F200型深度傳感器參數(shù)、柑橘果實(shí)尺寸、近景探測范圍、數(shù)據(jù)預(yù)處理與特征提取需要完成了深度球截線方法的參數(shù)確定。大量室內(nèi)試驗(yàn)結(jié)果表明，深度球截線方法對孤立果實(shí)提取的平均成功率為97.8%，貼碰區(qū)域內(nèi)果實(shí)提取的平均成功率為76%，而復(fù)雜枝環(huán)境的果實(shí)提取綜合成功率為63.8%。該深度球截線的識別方法僅利用有限的深度數(shù)據(jù)點(diǎn)，在保證原始數(shù)據(jù)精度的同時(shí)降低了運(yùn)算量和果實(shí)特征提取復(fù)雜性，能有效應(yīng)對果葉遮擋問題，實(shí)現(xiàn)對貼碰果葉的有效區(qū)分，對柑橘果實(shí)具有良好的適應(yīng)性，為采摘機(jī)器人在復(fù)雜環(huán)境下的果實(shí)識別與定位提供了新的技術(shù)思路。

柑橘； 采摘； 識別； 深度信息； 球截線； 特征提取

引言

識別定位是采摘機(jī)器人的核心技術(shù)，而快速準(zhǔn)確地提取采摘目標(biāo)特征是果實(shí)識別的前提[1-3]。由于傳統(tǒng)的基于可見光圖像識別的定位方法在實(shí)時(shí)性、重疊對象分割和光照敏感性上存在著局限性，研究者陸續(xù)進(jìn)行了其他途徑的探索，其中利用深度信息進(jìn)行果實(shí)的識別定位成為研究熱點(diǎn)。

近年來，研究者開展了利用激光掃描測距[4-5]、TOF成像[6-7]和RGB-D傳感器[8-10]等深度信息獲取手段進(jìn)行果實(shí)識別定位的研究。文獻(xiàn)[2，11-12]主要基于顏色特征進(jìn)行果實(shí)識別，深度信息主要用于輔助定位，未能有效發(fā)揮深度信息的優(yōu)勢以克服現(xiàn)有技術(shù)局限；而文獻(xiàn)[13-15]利用顏色與深度點(diǎn)云的匹配進(jìn)行三維重構(gòu)，進(jìn)而在三維空間中同時(shí)利用顏色與形狀特征完成果實(shí)的識別與定位，其融合重構(gòu)和果實(shí)分割算法復(fù)雜，實(shí)時(shí)性受到影響；文獻(xiàn)[16-20]則將深度信息還原為深度圖像，進(jìn)而利用二維圖像的邊緣輪廓提取算法完成果實(shí)分割，未能充分發(fā)揮真實(shí)深度數(shù)據(jù)的優(yōu)勢，導(dǎo)致“原始深度數(shù)據(jù)—圖像化—灰度數(shù)值計(jì)算—輪廓曲線提取—果實(shí)特征辨識”的分析處理過程復(fù)雜化，而且圖像化轉(zhuǎn)換產(chǎn)生的誤差導(dǎo)致相鄰對象的深度差異銳減，從而影響了目標(biāo)分割與識別的可靠性。

本文針對目前各類基于深度信息實(shí)現(xiàn)果實(shí)識別方法的不足，提出柑橘果實(shí)識別的深度球截線方法并進(jìn)行試驗(yàn)驗(yàn)證。

1 基于深度球截線的果實(shí)特征提取方法

1.1 深度球截線特征提取方法的提出

柑橘植株的果實(shí)、葉片和枝干分別具有實(shí)球體、片體和細(xì)柱體的幾何特征(圖1)。根據(jù)幾何學(xué)關(guān)系(圖2)，當(dāng)以深度傳感器獲取植株冠層空間的三維深度點(diǎn)云數(shù)據(jù)(D、θ、φ)后，如以一定深度D為半徑的球面分別對具有實(shí)球體、片體和細(xì)柱體特征的果、葉、枝深度點(diǎn)云數(shù)據(jù)進(jìn)行切割計(jì)算，將分別獲得圓、曲線段和近似圓點(diǎn)3類截線，進(jìn)而可根據(jù)截線特征差異實(shí)現(xiàn)果、葉、枝3類對象的區(qū)分。

圖1 柑橘果實(shí)、葉、枝幾何特征與球面切割示意圖Fig.1 Geometric characteristics of citrus fruit, leaves and branches and sketch of spherical cutting1.實(shí)球體 2.深度球面 3.封閉圓 4.片體 5.曲線段 6.細(xì)柱體 7.近似圓點(diǎn)

1.2 深度球截線方法的理論模型

1.2.1球形果實(shí)的深度點(diǎn)云邊界

如圖2所示，當(dāng)三維深度傳感器對球形果實(shí)進(jìn)行探測時(shí)，可獲得深度點(diǎn)云數(shù)據(jù)的果實(shí)表面范圍為：由深度傳感器到果實(shí)表面的切點(diǎn)B所決定的近似球冠Z。

圖2 球形實(shí)體的深度球切割平面示意圖Fig.2 Schematic plan of spherical entity by depth-sphere cutting1.深度傳感器 2.截線 3.深度球面 4.最大深度球面 5.球形果實(shí)

其中最近點(diǎn)A具有被探測果實(shí)表面范圍內(nèi)的最小深度

DA=minDZ

(1)

而最遠(yuǎn)點(diǎn)則為從深度傳感器到果實(shí)表面的切點(diǎn)B，深度為

DB=maxDZ

(2)

1.2.2球形果實(shí)的深度球切割參數(shù)

如圖2所示，當(dāng)以深度傳感器為中心、以一定半徑的深度球面對球形果實(shí)進(jìn)行切割時(shí)，定義

L=DC-DA

(3)

式中L——球切深度，mm

DC——球切面到傳感器中心的深度，mm

圖2所示的幾何關(guān)系為

(4)

式中RC——截線圓半徑，mm

R——球形果實(shí)半徑，mm

將式(3)代入式(4)可得

(5)

由式(5)知，當(dāng)球形果實(shí)被深度球面切的越深，所獲得的截線圓越大。由可獲得深度點(diǎn)云數(shù)據(jù)的果實(shí)表面范圍所決定，其最大球切深度為

(6)

因而，球切深度L總不超過果實(shí)的半徑。而當(dāng)球切深度過小時(shí)，理論獲得的截線圓過小，同時(shí)考慮實(shí)際柑橘果實(shí)的形狀誤差和果皮表面粗糙性，難以保證獲得滿意的截線圓曲線。

1.2.3深度球截線的特征提取

當(dāng)柑橘果實(shí)被果、葉、枝等遮擋時(shí)，深度傳感器將無法獲得完整的表面點(diǎn)云，深度球切割方法亦無法獲得封閉的截線圓。綜合考慮柑橘枝、葉截線的近似圓點(diǎn)和曲線段與果實(shí)截線的封閉圓和非封閉圓的特征差異，引入截線的離心率和像素?cái)?shù)共同判斷的方法實(shí)現(xiàn)果實(shí)截線的判別函數(shù)關(guān)系

(7)

式中C(DC)——DC處利用深度球切割方法所獲得的對象截線

E——與截線各區(qū)域具有相同標(biāo)準(zhǔn)二階中心矩的橢圓離心率

AN——截線各連通域所包含深度像素點(diǎn)數(shù)

E0——E的閾值

AN0——AN的閾值

其中，橢圓離心率E可表示截線各連通區(qū)域的彎曲程度，在標(biāo)準(zhǔn)圓的離心率(0)和直線段的離心率(1)之間，利用離心率可有效濾除葉片對象；而考慮到柑橘果、葉、枝截線的尺寸差異，進(jìn)一步利用像素?cái)?shù)AN差異濾除枝、葉對象。

E0和AN0分別為截線各連通域的離心率閾值和像素?cái)?shù)閾值，由試驗(yàn)統(tǒng)計(jì)的果、葉截線的參數(shù)確定。當(dāng)截線滿足式(7)時(shí)，則剔除枝、葉截線干擾，篩選出柑橘果實(shí)的截線。

2 柑橘果實(shí)對象特征提取策略

2.1 枝上果實(shí)的深度點(diǎn)云特征與預(yù)處理

2.1.1前景、背景干擾信息剔除

枝上場景內(nèi)的柑橘果葉原始深度點(diǎn)云中包含了大量的前景、背景點(diǎn)云數(shù)據(jù)以及因在相機(jī)探測范圍外深度值被置為0的空洞噪聲。因此，以深度閾值對柑橘果實(shí)對象前景與背景進(jìn)行點(diǎn)云分割，從而剔除前景、背景的干擾信息并縮減數(shù)據(jù)量，為后續(xù)果實(shí)快速提取提供有利條件。

2.1.2點(diǎn)云聚類與分類

在枝上空間內(nèi)，具有細(xì)柱體特征的枝干在深度探測中呈現(xiàn)離散或連續(xù)的線類點(diǎn)云，而柑橘果、葉與枝干連接呈現(xiàn)復(fù)雜的點(diǎn)云結(jié)構(gòu)，從而造成深度球截線方法無法實(shí)施。

為此，首先通過點(diǎn)云聚類濾除枝干等的線類點(diǎn)云與散點(diǎn)等干擾而獲得若干離散點(diǎn)云聚集區(qū)域，其中存在果、葉孤立和相互貼碰的不同情況，孤立的果、葉分別呈現(xiàn)出實(shí)球體和片體的幾何特征，而果葉相互貼碰連接呈現(xiàn)復(fù)雜的幾何結(jié)構(gòu)。為實(shí)現(xiàn)枝上果實(shí)的識別，根據(jù)點(diǎn)云數(shù)量閾值N0將其劃分為孤立區(qū)域與貼碰區(qū)域，從而針對孤立和貼碰兩類不同區(qū)域中的果實(shí)給出相應(yīng)的特征提取策略。

2.2 孤立果實(shí)的特征提取算法

針對孤立點(diǎn)云區(qū)域，只需要通過深度球面的一次切割即可完成果實(shí)特征的提取：

(1)針對所有孤立區(qū)域，在其深度數(shù)據(jù)點(diǎn)內(nèi)搜尋各自的最近點(diǎn)A，并利用選定的球切深度L進(jìn)行球面切割獲取各截線。

(2)計(jì)算各截線離心率E和像素?cái)?shù)AN，以離心率閾值E0和像素?cái)?shù)閾值A(chǔ)N0作為柑橘果、葉截線的判斷依據(jù)，從而從孤立果、葉中完成對果實(shí)的識別。

2.3 貼碰果實(shí)的特征提取算法

如圖3所示，以2個(gè)果實(shí)的貼碰點(diǎn)云區(qū)域?yàn)槔紫人褜ぴ撡N碰區(qū)域的最近點(diǎn)A和最遠(yuǎn)點(diǎn)B，當(dāng)從最近點(diǎn)A起以固定球切深度L進(jìn)行深度球切割時(shí)，僅能提取到靠前的果實(shí)2的截線圓，而造成后方相貼碰果實(shí)3的漏判。為此，在A和B之間逐次增加球切深度

DCi=DA+iL(i=1,2,…；DCi

(8)

通過DCi的逐次切割從而獲得多個(gè)截線，進(jìn)而根據(jù)各截線的特征識別各果實(shí)。

圖3 貼碰區(qū)域中多次深度球切割示意圖Fig.3 Schematic diagram of multiple depth-sphere cutting in adhering area1.深度傳感器 2.靠近深度傳感器的果實(shí) 3.與果實(shí)2相貼碰的果實(shí)

在多次切割過程中，會出現(xiàn)同一果實(shí)被多次切割獲得不同截線圓的現(xiàn)象。如圖3所示，果實(shí)2被DC1和DC2兩次切割，通過增加兩相鄰果實(shí)截線的相對位置關(guān)系作為輔助判斷依據(jù)，從而避免被誤判為多個(gè)果實(shí)。

(9)

該逐次深度球切割的貼碰果實(shí)識別方法對果、葉貼碰的情況也同樣適用。

2.4 復(fù)雜枝環(huán)境的果實(shí)識別策略

綜合深度點(diǎn)云數(shù)據(jù)預(yù)處理、孤立與貼碰果實(shí)的提取算法，復(fù)雜枝環(huán)境的柑橘果實(shí)識別策略如圖4所示。

圖4 復(fù)雜枝環(huán)境的果實(shí)識別流程圖Fig.4 Flow chart of fruit recognition in complex on-branch environment

3 試驗(yàn)與結(jié)果分析

3.1 試驗(yàn)對象與材料

試驗(yàn)于2016年8月—11月在江蘇大學(xué)現(xiàn)代農(nóng)業(yè)裝備與技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室進(jìn)行。試驗(yàn)所用柑橘品種為鎮(zhèn)江江心洲無核蜜桔，利用游標(biāo)卡尺分別測量100個(gè)成熟蜜桔果實(shí)的極直徑和赤道直徑，得到剔除畸形果的果實(shí)半徑R上、下限分別為29.66、19.32 mm。

如圖5所示，選擇Intel RealSense F200型傳感器作為深度信息的采集設(shè)備，采用Light Coding工作原理，其深度分辨率為640像素×480像素，水平方向探測角為73°，垂直方向探測角為59°，有效深度探測范圍為0.2～1.2 m?？紤]到RealSense F200型傳感器個(gè)體差異，利用光滑平面為對象進(jìn)行傳感器有效探測范圍標(biāo)定，結(jié)果表明RealSense F200型可獲取的最小穩(wěn)定深度數(shù)據(jù)流為180 mm。此外，綜合柑橘果實(shí)尺寸和采摘機(jī)器人近景作業(yè)的需要，設(shè)定柑橘果實(shí)識別的近景探測范圍為180～600 mm，便于減小機(jī)器人視野內(nèi)柑橘對象的復(fù)雜度。

圖5 RealSense F200型傳感器Fig.5 RealSense F200 sensor

3.2 深度球截線方法的參數(shù)確定

3.2.1近景探測的數(shù)據(jù)預(yù)處理

(1)近景處理范圍

根據(jù)3.1節(jié)設(shè)定的近景探測范圍，以180～600 mm的距離閾值對場景內(nèi)柑橘對象的前景與背景進(jìn)行點(diǎn)云分割，分割后有效剔除了前景、背景的干擾信息，同時(shí)不同枝上場景內(nèi)對象的點(diǎn)云數(shù)量從307 200銳減至6 000～45 000，為后續(xù)果實(shí)快速提取提供了有利條件(圖6)。

圖6 枝上果葉深度點(diǎn)云的前景、背景剔除Fig.6 Foreground and background culling of depth point cloud on branch

(2)孤立與貼碰區(qū)域的劃分

如圖7所示，每一點(diǎn)云聚集區(qū)域內(nèi)的理論最大深度點(diǎn)數(shù)為

(10)

式中θ、φ——每一點(diǎn)云聚集區(qū)域所對應(yīng)的水平、豎直角，(°)

θ0、φ0——深度傳感器水平方向、垂直方向探測角，(°)

m、n——深度傳感器水平、豎直分辨率，像素

圖7 分割后的深度點(diǎn)云及其區(qū)域分類Fig.7 Segmented depth point cloud and its classification

由RealSense F200型傳感器分別對單獨(dú)的柑橘果、葉進(jìn)行探測，統(tǒng)計(jì)發(fā)現(xiàn)當(dāng)DA為180 mm時(shí)，單個(gè)柑橘果、葉區(qū)域的深度點(diǎn)數(shù)分別在15 000和13 000以內(nèi)。而由式(10)可知，當(dāng)特定點(diǎn)云聚集區(qū)域距深度傳感器越遠(yuǎn)時(shí)，所對應(yīng)的水平與豎直角θ和φ越小，其點(diǎn)云深度點(diǎn)數(shù)也越小。故在近景探測范圍內(nèi)，根據(jù)讀取的每個(gè)點(diǎn)云聚集區(qū)域的DA，計(jì)算孤立與貼碰區(qū)域區(qū)分的深度點(diǎn)數(shù)閾值為

(11)

3.2.2深度球切割與特征提取

(1)球切截線圓上的深度點(diǎn)云數(shù)量

對柑橘果實(shí)進(jìn)行深度球切割實(shí)際獲得的為若干離散深度點(diǎn)，因而深度點(diǎn)云的數(shù)量決定了能否獲得理想的截線圓曲線，其計(jì)算式為

(12)

式中Na——柑橘果實(shí)截線圓上的深度點(diǎn)云個(gè)數(shù)

ka——柑橘果實(shí)的極半徑、赤道半徑、形狀誤差和果實(shí)表面粗糙性的安全系數(shù)，ka<1

將式(3)、(5)代入式(12)得

(13)

由式(13)可知，對特定的柑橘果實(shí)品種及尺寸、深度傳感器參數(shù)和近景探測范圍，必須保證一定的球切深度L才能獲得用于截線圓特征提取的足夠深度數(shù)據(jù)點(diǎn)云。

(2)離心率和像素?cái)?shù)

選擇100組不同尺寸和姿態(tài)的柑橘果、葉在近景探測范圍內(nèi)所獲得的完整與非完整深度球截線，利用Matlab分別計(jì)算相應(yīng)不同形態(tài)的果、葉、枝截線的離心率E和像素?cái)?shù)AN，統(tǒng)計(jì)得到完整與非完整柑橘果實(shí)截線離心率的上限閾值為0.85，而像素?cái)?shù)下限閾值為100。

(3)球切深度范圍

根據(jù)3.1節(jié)統(tǒng)計(jì)的柑橘果實(shí)半徑R和近景探測范圍確定DA的上下限，取安全系數(shù)ka為0.8，由式(13)可求得最小球切深度L為4.43 mm，取整為5 mm進(jìn)行果實(shí)的識別試驗(yàn)，以保證深度球截線方法能夠滿足近景處理范圍內(nèi)對柑橘果實(shí)識別的實(shí)際應(yīng)用需要。

3.3 試驗(yàn)方法

3.3.1孤立對象的提取

圖8 試驗(yàn)裝置和場景Fig.8 Test device and scene1.RealSense F200型傳感器 2.鉗口夾具 3.葉片 4.微型三腳架 5.三自由度支座 6.果實(shí) 7.枝干 8.落地三腳架

如圖8a所示，將RealSense F200型傳感器固定在微型三腳架上并保持傳感器平面與桌面垂直，在距離傳感器表面的近景范圍內(nèi)擺放果、葉對象。RealSense F200型傳感器通過USB接口與計(jì)算機(jī)相連，并利用Intel RealSense SDK工具包和Microsoft Visual Studio 2013軟件平臺進(jìn)行試驗(yàn)場景深度信息的采集。

為盡可能還原枝上柑橘果、葉的實(shí)際生長狀態(tài)，利用三自由度支座和鉗口夾具活動(dòng)調(diào)節(jié)被夾持對象的姿態(tài)。選取8個(gè)新鮮的柑橘果實(shí)為試驗(yàn)對象，利用夾具分別對每個(gè)果實(shí)隨機(jī)調(diào)節(jié)使其呈現(xiàn)8種不同的位置姿態(tài)，共采集64個(gè)孤立果實(shí)場景的深度信息。而考慮到枝上葉片姿態(tài)的多樣性，選取6個(gè)新鮮的柑橘葉片為試驗(yàn)對象，并利用夾具隨機(jī)調(diào)節(jié)葉片使每個(gè)葉片呈現(xiàn)20種姿態(tài)，共采集120個(gè)孤立葉片場景的深度信息。進(jìn)而對獲得的184個(gè)孤立對象的深度數(shù)據(jù)分別應(yīng)用2.2節(jié)提出的孤立果實(shí)的特征提取算法，利用3.2.2節(jié)中得到的5 mm球切深度L獲得相應(yīng)深度球截線，并依據(jù)閾值E0為0.85和AN0為100進(jìn)行相應(yīng)孤立對象的判別。

3.3.2貼碰果實(shí)的識別

如圖8b所示，將RealSense F200型傳感器固定在落地三腳架上，在傳感器近景范圍內(nèi)將果、葉放置在盆栽柑橘枝干系統(tǒng)上。貼碰果、葉場景的深度信息采集同3.2.1節(jié)。此外，根據(jù)貼碰試驗(yàn)中盆栽枝干上果、葉的數(shù)量差異，將試驗(yàn)進(jìn)一步細(xì)分為單果單葉、單果兩葉、單果多葉和兩果一葉、兩果兩葉、兩果多葉6個(gè)貼碰類別。

以新鮮柑橘果、葉為試驗(yàn)對象，首先通過改變果、葉懸掛在枝上的相對位置以呈現(xiàn)不同的姿態(tài)，其次又對每種姿態(tài)利用花盆底座以45°為間隔，原地水平旋轉(zhuǎn)各獲得8個(gè)姿態(tài)(圖8b)。貼碰試驗(yàn)共采集40個(gè)單果單葉、40個(gè)單果兩葉、40個(gè)單果多葉、32個(gè)兩果一葉、40個(gè)兩果兩葉和48個(gè)兩果多葉場景的深度信息。最后分別對每個(gè)深度信息用2.3節(jié)提出的貼碰果實(shí)的特征提取算法，利用5 mm的球切深度L多次切割獲得多個(gè)深度球截線，依據(jù)閾值E0為0.85和AN0為100連同果實(shí)半徑R的下限作為輔助判斷參數(shù)，以進(jìn)行相應(yīng)貼碰果實(shí)的識別。

3.3.3復(fù)雜枝環(huán)境的果實(shí)特征提取

試驗(yàn)布置參照圖8b，每組場景以3～4個(gè)新鮮柑橘果實(shí)與葉片為對象，并通過果、葉相對位置的調(diào)節(jié)呈現(xiàn)果、葉孤立與貼碰共存的枝上復(fù)雜姿態(tài)，再對每組姿態(tài)通過花盆底座以45°為間隔，原地水平旋轉(zhuǎn)獲得8個(gè)不同姿態(tài)，共采集80個(gè)枝上復(fù)雜場景的深度信息。

對每個(gè)深度信息應(yīng)用2.4節(jié)所提出的復(fù)雜枝環(huán)境的果實(shí)識別策略，針對剔除枝干后的各點(diǎn)云聚集區(qū)域計(jì)算其最小深度DA，利用式(11)獲得相應(yīng)孤立與貼碰區(qū)域劃分的深度點(diǎn)數(shù)閾值N0，進(jìn)而對劃分出的孤立區(qū)域和貼碰區(qū)域分別應(yīng)用孤立和貼碰果實(shí)的特征提取算法以進(jìn)行果實(shí)的識別。

3.4 果實(shí)識別試驗(yàn)結(jié)果與分析

3.4.1孤立果實(shí)的識別

孤立果、葉的典型截線結(jié)果如圖9所示。其中63條果實(shí)截線被準(zhǔn)確識別，117條葉片截線被成功排除，總識別成功率為97.8%。

圖9 孤立果、葉及相應(yīng)深度球截線Fig.9 Fruit and leaf with corresponding transversals in isolated area

其中所出現(xiàn)的一條果實(shí)截線被漏判，是由于試驗(yàn)中鉗口夾具與被夾持柑橘果實(shí)的不當(dāng)布置造成干擾所導(dǎo)致(圖10a)，而其中3條葉片截線由于葉片彎曲相對嚴(yán)重而被誤判為果實(shí)(圖10b)。試驗(yàn)結(jié)果表明，對于孤立果、葉，單次深度球切割即可達(dá)到極高的識別成功率，而通過探測中的深度傳感器位姿變化有望進(jìn)一步降低誤判率。

圖10 孤立果、葉誤判截線Fig.10 Isolated fruit and leaf with misjudgment transversals

3.4.2貼碰果實(shí)的識別

圖11所示為典型果葉貼碰情況下多次深度球切割所判出的果實(shí)截線結(jié)果。

圖11 貼碰果葉與相應(yīng)判出為果實(shí)的深度球截線Fig.11 Success fruit transversals in adhering area1、2.單果單葉貼碰果實(shí)及其截線 3、4.兩果多葉貼碰中的果實(shí) 5、6.果實(shí)3、4的對應(yīng)截線

表1為不同類果葉貼碰情況下柑橘果實(shí)識別效果。

表1 不同類果葉貼碰情況下果實(shí)識別效果Tab.1 Success rate of fruit extraction in different types of touching fruits and leaves 個(gè)

單果單葉輕微貼碰時(shí)，果實(shí)識別成功率為92.0%，隨著相貼碰果、葉數(shù)量的增加識別成功率隨之下降，但兩果多葉嚴(yán)重貼碰時(shí)的果實(shí)識別成功率仍可達(dá)到57.7%。當(dāng)果實(shí)存在與葉片的輕微貼碰時(shí)，一部分經(jīng)深度球面切割仍可獲得完整的果實(shí)截線(圖11a)，另一部分經(jīng)深度球面切割盡管得到非封閉的截線，但其截線仍呈現(xiàn)出二分之一及以上近封閉圓的特征，利用離心率和像素?cái)?shù)的篩選仍然可被準(zhǔn)確判別為果實(shí)(圖11b)。

隨著葉片與果實(shí)的貼碰程度增加，截線的圓形特征驟降，多次深度球面切割均難以獲得符合離心率和像素?cái)?shù)判據(jù)的截線，因此，可能出現(xiàn)果實(shí)未成功判別的漏判現(xiàn)象(圖12a)。如表1所示，嚴(yán)重貼碰時(shí)的果實(shí)漏判率從少量貼碰時(shí)的6.6%驟增至25.8%。同時(shí)，當(dāng)視場角度內(nèi)葉片姿態(tài)恰巧經(jīng)深度球切割獲得封閉截線或嚴(yán)重彎曲截線時(shí)，則出現(xiàn)葉片被誤判為果實(shí)的現(xiàn)象(圖12b)。但此類葉片恰巧姿態(tài)出現(xiàn)的概率較低，少量貼碰和嚴(yán)重貼碰時(shí)的葉片誤判率分別為3.3%和5.3%。

圖12 誤判與漏判現(xiàn)象Fig.12 Misjudgment and misdetection phenomenons1、2.嚴(yán)重貼碰的葉片和果實(shí) 3.漏判的果實(shí)截線 4.特殊姿態(tài)葉片 5.誤判為果實(shí)的葉片截線

3.4.3復(fù)雜枝上環(huán)境下的果實(shí)提取

圖13所示為典型果、葉孤立與貼碰并存的復(fù)雜枝環(huán)境下所判出的果實(shí)截線結(jié)果。對多果、葉復(fù)雜枝環(huán)境，柑橘的前背景快速剔除、區(qū)域聚類劃分和單次、多次深度球切割均得以快速實(shí)現(xiàn)，果實(shí)識別的綜合成功率為63.8%。由枝上果實(shí)近景識別的視場范圍和前、背景剔除所決定，每幀點(diǎn)云數(shù)據(jù)內(nèi)被應(yīng)用深度球截線方法檢測的果、葉數(shù)量有限。

圖13 復(fù)雜枝上環(huán)境與相應(yīng)判出為果實(shí)的深度球截線Fig.13 Success fruit transversals in complex environment1.孤立果實(shí) 2、3.貼碰果實(shí) 4.孤立果實(shí)的截線 5、6.貼碰果實(shí)2、3的對應(yīng)截線

試驗(yàn)發(fā)現(xiàn)，深度球截線的枝上果實(shí)識別方法具有較為突出的優(yōu)勢：

(1)由于深度球面切割直接利用原始深度值進(jìn)行截線提取，有效利用了傳感器的原始數(shù)據(jù)精度并大大降低了果實(shí)特征提取過程的復(fù)雜性，算法極為簡單便捷。

(2)本方法將冠層內(nèi)普遍存在的因果葉空間遠(yuǎn)近差異所導(dǎo)致的遮擋情況，利用點(diǎn)云聚類方法將其劃分為孤立對象而得以準(zhǔn)確檢出，在少量貼碰下也能保證較高的識別率，因而對有效改善“重疊遮擋”問題對果實(shí)識別的巨大困擾具有重要價(jià)值。

4 結(jié)論

(1)基于柑橘的果、葉、枝對象分別具有實(shí)球體、片體和細(xì)柱體的三維幾何特征與深度傳感器能夠采集對象深度點(diǎn)云的優(yōu)勢，提出一種柑橘果實(shí)識別的深度球截線方法，并分析了球切割參數(shù)對果實(shí)特征提取效果的影響。

(2)針對點(diǎn)云聚類后得到的果、葉孤立和貼碰區(qū)域，分別提出了孤立果實(shí)的特征提取算法和貼碰果實(shí)的特征提取算法，并提出了復(fù)雜枝上環(huán)境中果、葉孤立與貼碰并存情況下的果實(shí)識別策略。

(3)試驗(yàn)結(jié)果顯示，深度球截線方法對孤立果實(shí)提取的平均成功率為97.8%，貼碰區(qū)域內(nèi)果實(shí)提取的平均成功率為76.0%，而復(fù)雜枝環(huán)境下果實(shí)提取的綜合成功率為63.8%。其中貼碰與復(fù)雜環(huán)境的對象過多或果、葉嚴(yán)重貼碰的情況會對果實(shí)提取的成功率造成影響。

(4)該深度球截線的識別方法僅依賴單一深度信息，能有效應(yīng)對果葉遮擋問題，整體運(yùn)算量也小于傳統(tǒng)彩色信息，而且達(dá)到了較高的識別成功率。該方法為樹上果實(shí)的全天候?qū)崟r(shí)識別與定位作業(yè)提供了新思路。

1 苗中華，沈一籌，王小華，等.自然環(huán)境下重疊果實(shí)圖像識別算法與試驗(yàn)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(6)：21-26.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160603&flag=1.DOI：10.6041/j.issn.1000-1298.2016.06.003.

MIAO Zhonghua，SHEN Yichou，WANG Xiaohua，et al.Image recognition algorithm and experiment of overlapped fruits in natural environment[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2016，47(6)：21-26.(in Chinese)

2 王輝，毛文華，劉剛，等.基于視覺組合的蘋果作業(yè)機(jī)器人識別與定位[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2012，43(12)：165-170.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20121230&flag=1.DOI：10.6041/j.issn.1000-1298.2012.12.030.

WANG Hui，MAO Wenhua，LIU Gang，et al.Identification and location system of multi-operation apple robot based on vision combination[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2012，43(12)：165-170.(in Chinese)

3 司永勝，喬軍，劉剛，等.蘋果采摘機(jī)器人果實(shí)識別與定位方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2010，41(9)：148-153.

SI Yongsheng，QIAO Jun，LIU Gang，et al.Recognition and location of fruits for apple harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery，2010，41(9)：148-153.(in Chinese)

4 JIMéNEZ A R，CERES R，PONS J L.A vision system basedon a laser range-finder applied to robotic fruit harvesting[J].Machine Vision and Applications，2000，11(6)：321-329.

5 馮娟，劉剛，司永勝，等.蘋果采摘機(jī)器人激光視覺系統(tǒng)的構(gòu)建[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29(增刊1)：32-37.

FENG Juan，LIU Gang，SI Yongsheng，et al.Construction of laser vision system for apple harvesting robot[J].Transactions of the CSAE，2013，29(Supp.1)：32-37.(in Chinese)

6 ZHU J，WANG L，YANG R，et al.Fusion of time-of-flight depth and stereo for high accuracy depth maps[C]∥2008.IEEE Conference on Computer Vision and Pattern Recognition，2008：1-8.

7 孫力，蔡健榮，李永平，等.基于TOF成像技術(shù)的柑橘實(shí)時(shí)識別與定位[J].江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2013，34(3)：293-297.

SUN Li，CAI Jianrong，LI Yongping，et al.Real-time citrus recognition and location based on TOF image technology[J].Journal of Jiangsu University：Natural Science Edition，2013，34(3)：293-297.(in Chinese)

8 AS’ARI M A，SHEIKH U U，SUPRIYANTO E.3D shape descriptor for object recognition based on Kinect-like depth image[J].Image & Vision Computing，2014，32(4)：260-269.

9 ALHWARIN F，F(xiàn)ERREIN A，SCHOLL I.IR stereo Kinect：improving depth images by combining structured light with IR stereo[M]∥PRICAI 2014：Trends in Artificial Intelligence.Springer International Publishing，2014：409-421.

10 LEHNERT C，SA I，MCCOOL C，et al.Sweet pepper pose detection and grasping for automated crop harvesting[C]∥IEEE International Conference on Robotics and Automation，2016：2428-2434.

11 董建民，陳偉海，岳昊嵩，等.基于Kinect視覺系統(tǒng)的西紅柿自動(dòng)識別與定位[J].中國農(nóng)機(jī)化學(xué)報(bào)，2014，35(4)：169-173.

DONG Jianmin，CHEN Weihai，YUE Haosong，et al.Automatic recognition and location of tomatoes based on Kinect vision system[J].Journal of Chinese Agricultural Mechanization，2014，35(4)：169-173.(in Chinese)

12 BULANON D M，KATAOKA T.A fruit detection system and an end effector for robotic harvesting of Fuji apples[J].Agricultural Engineering International：The CIGR E-journal, 2010, 12(1)：203-210.

13 CHEN X，CHAUDHARY K，TANAKA Y，et al.Reasoning-based vision recognition for agricultural humanoid robot toward tomato harvesting[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems，2015.

14 麥春艷，鄭立華，孫紅，等.基于RGB-D相機(jī)的果樹三維重構(gòu)與果實(shí)識別定位[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊)：35-40.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S006&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.006.

MAI Chunyan，ZHENG Lihua，SUN Hong，et al.Research on 3D reconstruction of fruit tree and fruit recognition and location method based on RGB-D camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：35-40.(in Chinese)

15 NGUYEN T T.Structured light-based 3D reconstruction system for plants[J].Sensors，2015，15(8)：18587-18612.

16 NISSIMOV S，GOLDBERGER J，ALCHANATIS V.Obstacle detection in a greenhouse environment using the Kinect sensor[J].Computers & Electronics in Agriculture，2015，113：104-115.

17 LI D，XU L，TAN C，et al.Digitization and visualization of greenhouse tomato plants in indoor environments[J].Sensors，2015，15(2)：4019-4051.

18 宗澤，郭彩玲，張雪，等.基于深度相機(jī)的玉米株型參數(shù)提取方法研究[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(增刊)：50-56.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=2015S009&flag=1.DOI：10.6041/j.issn.1000-1298.2015.S0.009.

ZONG Ze，GUO Cailing，ZHANG Xue，et al.Maize plant type parameters extraction based on depth camera[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2015，46(Supp.)：50-56.(in Chinese)

19 XIA C，WANG L，CHUNG B K，et al.In situ 3D segmentation of individual plant leaves using a RGB-D camera for agricultural automation[J].Sensors，2014，15(8)：20463-20479.

20 馮娟，劉剛，司永勝，等.基于激光掃描三維圖像的樹上蘋果識別算法[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(4)：217-222.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20130438&flag=1.DOI：10.6041/j.issn.1000-1298.2013.04.038.

FENG Juan，LIU Gang，SI Yongsheng，et al.Apple fruit recognition algorithm based on laser scanning 3-D image[J/OL].Transactions of the Chinese Society for Agricultural Machinery，2013，44(4)：217-222.(in Chinese)

Depth-sphereTransversalMethodforon-branchCitrusFruitRecognition

LIU Jizhan ZHU Xinxin YUAN Yan

(KeyLaboratoryofModernAgriculturalEquipmentandTechnology,MinistryofEducation,JiangsuUniversity,Zhenjiang212013,China)

Considering the three-dimensional geometric characteristics of the fruit, leaf and branch objects of citrus are real sphere, slice and thin cylinder, and together with the advantage of depth sensors can collect the depth point cloud of the object.A method to recognize citrus fruits based on depth-sphere transversal was proposed.Firstly, the basic principle and the key parameters of the depth-sphere transversal method for spherical fruits feature extraction were proposed.Secondly, point cloud clustering and regional division method were used to obtain isolated and adhering area, and the feature extraction algorithms of isolated fruits and adhering fruits were put forward to fruit and leaf in isolated areas and fruits or leaves in touching areas, respectively.In addition, in-depth data processing and fruits recognition strategy of a complex environment were obtained.According to the Intel RealSense F200 depth sensor parameters, citrus fruit size, close-range detection range, data preprocessing and the requirements for feature extraction algorithm to determine the parameters of the depth-sphere transversal method were carried out.A large number of indoor tests results indicated that the average success rate was 98.4% by the depth-sphere transversal method in isolated area, and the average success rate was 76% in touching region, while the comprehensive success rate was 63.8% in complex environment.The depth-sphere transversal identification method only used the limited depth data points to ensure the accuracy of the original data and at the same time to reduce the amount of computation and the complexity of fruit feature extraction.This can effectively deal with the problem of fruit and leaf occlusion, and achieve the effective distinction between sticking fruits and leaves.The method had a good adaptability to the citrus fruit, which provided a new idea for robots to recognize and locate fruits in complex environment.

citrus; picking; recognition; depth information; sphere transversal; feature extraction

10.6041/j.issn.1000-1298.2017.10.004

TP391

A

1000-1298(2017)10-0032-08

2017-02-21

2017-03-24

國家自然科學(xué)基金項(xiàng)目(51475212)、江蘇省自然科學(xué)基金項(xiàng)目(BK20151339)、江蘇省高校自然科學(xué)研究重大項(xiàng)目(16KJA210002)和江蘇省高校優(yōu)勢學(xué)科建設(shè)工程項(xiàng)目(PAPD)

劉繼展(1976—)，男，研究員，博士生導(dǎo)師，主要從事農(nóng)業(yè)機(jī)器人研究，E-mail: liujizhan@163.com