牟向偉，孫國奇，陳林濤，于新業(yè)，彭柱菁，伍倩

(1.廣西師范大學(xué)電子工程學(xué)院,廣西桂林,541004;2.廣西師范大學(xué)職業(yè)技術(shù)師范學(xué)院,廣西桂林,541004)

0 引言

果蔬采摘作業(yè),在果蔬生產(chǎn)過程中是一個至關(guān)重要的環(huán)節(jié),傳統(tǒng)人工采摘方式勞動強(qiáng)度大,生產(chǎn)效率低[1]。利用機(jī)器人采摘果蔬,可有效降低成本提高采摘效率。果蔬采摘機(jī)器人實現(xiàn)自動采摘主要由果實識別、安全抓取和果實與植株分離3個步驟組成[2],任何一個環(huán)節(jié)出現(xiàn)問題都將導(dǎo)致采摘失敗。對果實識別常用的方法有轉(zhuǎn)化不同顏色空間的方法[3-5]進(jìn)行分割,以及使用神經(jīng)網(wǎng)絡(luò)[6-7]等方法。針對不同的果蔬,采摘方式也有所不同。近年來,機(jī)械臂式采摘機(jī)器人研究日益受到國內(nèi)外學(xué)者的重視[8]。研究發(fā)現(xiàn),以接近果實生長姿態(tài)的采摘方式進(jìn)行采摘作業(yè)比一般的以水平方式直接抓取的采摘成功率有明顯提升[9]。另外,通過剪斷果實的果梗也可實現(xiàn)果實與植株的分離,利用果實的生長方向有助于研究人員在果梗存在遮擋情況下預(yù)測果梗的位置[10-11]。由此可見,果實在空間中三維姿態(tài)的識別對果實采摘有著重要的意義,能為果實成功抓取與分離提供有效的信息。果實生長姿態(tài)確定方法的研究:文獻(xiàn)[12-13]通過對二維圖像處理確定蘋果的姿態(tài),并未給出果實的三維空間姿態(tài)。在三維點云的處理上,Yin等[14]將分割出葡萄目標(biāo)利用圓柱模型擬合,由于該模型與葡萄形狀相差較大,只能提供一個大致的預(yù)估姿態(tài)。Lin等[15]在提取番石榴果實和樹枝后使用一種三維線段檢測方法對分割后的番石榴分支進(jìn)行重構(gòu),將果實中心位置和最近分支信息估計果實的三維位姿;Li等[16]提出一種對稱軸的水果姿態(tài)估計方法,取得了較好的效果,但此方法只適用于成對稱狀的水果姿態(tài)估計;Bac等[17]開發(fā)的甜椒采摘機(jī)器人,通過雙目相機(jī)確定果實位置,在甜椒預(yù)采摘點通過單目相機(jī)獲取果柄方位信息,從而確定采摘姿態(tài),但此方法只能用于果柄無遮擋情況。

綜上,早期工作在果實姿態(tài)提取上取得一定進(jìn)展,但有仍然存在一定局限性。例如,所提出的算法只能適用于某一種果實或某一類果實,或者精確度太低,難以滿足實際的生產(chǎn)需求,尤其是在存在遮擋的情況下無法準(zhǔn)確估計出果實的姿態(tài)。

為解決現(xiàn)有研究存在的問題,在點云配準(zhǔn)階段提高兩視角下甜椒點云的配準(zhǔn)精度,對點云配準(zhǔn)后的甜椒姿態(tài)進(jìn)行估計,并計算檢測精度。本研究以成熟甜椒為研究對象,提出一種基于多視角下RGB-D信息的甜椒姿態(tài)估計方法,通過點云配準(zhǔn)融合獲取的兩視角下的點云信息,彌補(bǔ)因葉子或枝干遮擋導(dǎo)致甜椒點云信息殘缺導(dǎo)致的姿態(tài)估計偏差大、精度低等關(guān)鍵技術(shù)問題,使用視覺算法來確定甜椒生長姿態(tài),為果蔬采摘機(jī)器人的智能化發(fā)展提供理論依據(jù)和技術(shù)支撐。

1 材料與方法

1.1 圖像采集與相機(jī)標(biāo)定

試驗地點在室內(nèi),研究對象為成熟甜椒(含水率為78.8%,室內(nèi)溫度為28 ℃);研究對象距離圖像采集設(shè)備為0.8 m;日光燈照射下,使用Azure Kinect DK作為圖像采集設(shè)備。工作時如圖1所示,Kinect相機(jī)水平安裝在三腳架上,距離甜椒姿態(tài)固定裝置底部垂直高度15 cm,通過間隔60°的雙視角方式獲取目標(biāo)點云的信息,并以30幀/s成像獲取1 920像素×1 080像素分辨率的彩色圖像與512像素×421像素分辨率的深度圖像;試驗平臺所用計算機(jī)為Windows10操作系統(tǒng)、Intel(R) Core(TM) i5-7200U CPU @ 2.5 GHZ、NVIDA GeForce 940MX顯卡、12 G內(nèi)存,在Visual Studio 2019平臺上配置Microsoft.Azure.Kinect.Sensor1.4.1、OpenCV3.4.1、PCL1.11.1、Open3D編寫算法。

圖1 點云采集視角布局圖

在獲取甜椒彩色圖像與深度圖像后,需將彩色圖與深度圖融合生成彩色點云,建立從圖像坐標(biāo)系到世界坐標(biāo)系之間的數(shù)學(xué)關(guān)系。使用Azure Kinect DK相機(jī)對5 mm×7 mm×30 mm的黑白棋盤格,采集不同角度下標(biāo)定板(共30張),使用MATLAB軟件中的Camera Calibrator(相機(jī)標(biāo)定工具箱)對該相機(jī)進(jìn)行參數(shù)標(biāo)定,得到其內(nèi)部參數(shù),計算初始點云,如圖2所示。

圖2 初始點云數(shù)據(jù)圖

1.2 圖像預(yù)處理

相機(jī)空間坐標(biāo)系下包含了原始場景的點云集合,點云中包含了多余的背景信息。因此需要對原始點云進(jìn)行預(yù)處理,將所需的甜椒點云數(shù)據(jù)從背景中分割出來。基于顏色信息的分割是常用的一種分割方式,由于甜椒RGB信息與背景RGB信息差別較明顯,因此根據(jù)獲取的點云RGB信息,設(shè)置點云的顏色閾值范圍,將果實從背景中分割出來。同時對點云數(shù)據(jù)進(jìn)行下采樣與濾波處理,提高后續(xù)配準(zhǔn)速度與精度。本文經(jīng)過對果實與背景顏色信息分析,設(shè)定當(dāng)R與G分量的差值大于閾值t時,該點被判定為果實上一點,反之則視為無用點刪掉,這樣可以很好地將有用數(shù)據(jù)從龐大的背景信息中篩選出來。本文經(jīng)過對果實與背景顏色信息分析,將有用數(shù)據(jù)從龐大的背景信息中篩選出來,使用統(tǒng)計濾波的方式剔除存在的噪聲。

1.3 點云配準(zhǔn)算法

常見的配準(zhǔn)算法有迭代最近點(ICP)算法[18]、正態(tài)分布法(NDT)以及奇異值分解法(SVD)。ICP算法配準(zhǔn)效果顯著,但存在一些缺點,如對配準(zhǔn)點云初始狀態(tài)敏感,計算速度慢,在求解最優(yōu)目標(biāo)函數(shù)時易陷入局部最優(yōu)解[19]。由于本文采集的兩視角下甜椒點云距離較遠(yuǎn),重疊度低,直接使用ICP算法會陷入局部最優(yōu)解,因此在精配準(zhǔn)前需對點云進(jìn)行粗配準(zhǔn),提供給ICP配準(zhǔn)較好的初始狀態(tài)。首先利用SIFT算法[20]提取甜椒點云的關(guān)鍵特征點,通過FPFH(快速點特征直方圖)[21]建立特征點的特征向量描述,之后經(jīng)過SAC-IA(采樣一致性)算法[22]完成兩視角下的甜椒點云粗配準(zhǔn),經(jīng)過粗配準(zhǔn)后源點云和目標(biāo)點云有了一定的重疊度,最后對點云進(jìn)行精配準(zhǔn)。

1.3.1 法向量閾值約束

ICP精配準(zhǔn)時,對于目標(biāo)點云p與源點云中距離最近的點形成對應(yīng)點對記作q,利用該ICP算法尋找對應(yīng)點對并形成點集,使距離公式趨于最小值,由于相對應(yīng)的兩匹配點具有相似的局部特征,因此兩點的法向量相似。在點云表面處處光滑的情況下,任何點的局部鄰域特征都可由曲面重建的方式或基于與其鄰近的K個點計算可得,本文利用鄰域信息的方法計算點的法向量,對于qi鄰域中的點,建立協(xié)方差矩陣

(1)

C·Vj=λj·Vjj∈{1,2,3}

(2)

式中:Pi——所要求的法向量特征的點;

λj——矩陣C的特征值;

Vj——對應(yīng)的特征向量。

通過計算矩陣C的特征值[λ1,λ2,λ3]和其對應(yīng)的特征向量V1、V2、V3,所求的三個特征向量的最大值即為該點的法向量。計算出法向量特征后,在實際情況下,兩向量之間會存在一定夾角,記作θ。通過限制對應(yīng)點對p1與p2的法向量夾角的閾值刪除錯誤點對,如圖3所示,若θ小于設(shè)定的閾值ε1,則認(rèn)為是正確點對并保留,兩向量之間會存在的一定夾角θ計算如式(3)所示。

圖3 對應(yīng)點夾角閾值示意圖

cosθ=(e1·e2)/(|e1||e2|)

(3)

式中:e1、e2——對應(yīng)點對p1、p2處的法向量。

1.3.2 曲率閾值約束

經(jīng)法向量閾值約束后,具有相似法向量特征值的錯誤點對仍會被保留。因此,本文加入點云的曲率約束條件進(jìn)一步提純其對應(yīng)關(guān)系。在式(2)中通過計算點云鄰域的協(xié)方差矩陣的特征值后,得到λ1、λ2、λ3這3個特征值,若特征值滿足λ1<λ2<λ3,則pi的曲率

(4)

同樣,兩片點云中公共部分對應(yīng)點p1與p2理論上是相同的,實際上仍會存在一定偏差。故將兩對應(yīng)點曲率的差值記作β,若β小于設(shè)定的閾值ε2則認(rèn)為是錯誤點對并刪除,反之則保留。最終得到剔除錯誤點后的最近鄰點云對,其中兩對應(yīng)點曲率的差值

β=|gi-gj|

(5)

式中:gi、gj——對應(yīng)點對pi、pj處的曲率。

1.4 雙約束項的ICP算法

經(jīng)過粗配準(zhǔn)后,源點云和目標(biāo)點云有了一定的重疊度,接著使用ICP配準(zhǔn)算法進(jìn)行精配準(zhǔn)。構(gòu)建KD-tree加速搜索速度,并對相對應(yīng)的匹配點的法向量夾角與曲率閾值雙約束條件刪除錯誤配準(zhǔn)點,提高配準(zhǔn)精度。雙約束項的ICP算法步驟如下。

1) 分別構(gòu)建點云P與Q的KD-tree。

2) 從目標(biāo)點云P中搜索與源點云Q中的點qi,相應(yīng)的距離最近的點pi,并使用雙約束條件確定對應(yīng)點對。

3) 根據(jù)篩選后的對應(yīng)點對,求出點云Q和P之間的變換關(guān)系R和T。

4) 更新源點云Q,求出Q′=Rqi+T。根據(jù)新點云集Q′重復(fù)上述3個步驟。同時計算點云P與點云Q′間的距離平方和f如式(6)所示,若平方和小于所設(shè)置的閾值則停止迭代,并返回最終的[R,T]矩陣。

(6)

1.5 基于PCA的姿態(tài)估計算法

本文整體流程如圖4所示。

圖4 整體技術(shù)流程圖

對甜椒點云進(jìn)行配準(zhǔn),解決因遮擋導(dǎo)致甜椒點云缺失的問題后,利用配準(zhǔn)后的點云信息對甜椒姿態(tài)進(jìn)行估計。主成分分析法(PCA)原理是將原有的一組變量組合成一組新的相互無關(guān)的幾個綜合變量,在代數(shù)上表現(xiàn)為將原隨機(jī)向量的協(xié)方差矩陣轉(zhuǎn)換成對角陣,使數(shù)據(jù)指向樣本點散布最開的n個方向,對多維數(shù)據(jù)進(jìn)行降維處理。PCA主成分分析應(yīng)用于點云平面檢測,法向量特征、降維等方面[23]。PCA算法處理點云步驟如下。

1) 假設(shè)點云P={p1,p2,…,pi},點云數(shù)目為N,計算其均值,求得該組點云中心點如式(7)所示。

(7)

2) 計算點云樣本集的協(xié)方差矩陣M=PPT,并將矩陣進(jìn)行特征分解由于點云是三維數(shù)據(jù),計算出三個最大的特征值對應(yīng)的特征向量,求得的特征向量即為點云3個主方向。

3) 將求解的點云中心點和三個主方向,建立點云朝向的最小包圍盒。

4) 通過點云最小包圍盒上表面中心點與下表面中心點連線確定點云姿態(tài)軸向,如圖5所示,直線即為估算出甜椒的生長方向。

圖5 基于PCA的姿態(tài)估計算法求解的姿態(tài)結(jié)果

2 試驗設(shè)計與結(jié)果

2.1 配準(zhǔn)參數(shù)分析

為驗證本文所提出的算法的穩(wěn)定性與可行性,在經(jīng)由預(yù)處理后得到目標(biāo)甜椒點云,將兩片不同視角下點云進(jìn)行配準(zhǔn),配準(zhǔn)過程中各參數(shù)的設(shè)置影響著甜椒點云的配準(zhǔn)效果。其中,SIFT算法中參數(shù)的設(shè)置影響著提取特征點的個數(shù),進(jìn)而影響SAC-IA的效果。同時,SAC-IA算法中誤差閾值與迭代次數(shù)也都影響著最終的配準(zhǔn)效果。對于本文所提出的雙約束項的ICP配準(zhǔn)算法中法向量夾角與曲率的閾值的設(shè)置,若閾值設(shè)置過大,則仍然會存在錯誤的匹配點對,若閾值過小,會讓對應(yīng)點不足,則會使配準(zhǔn)誤差更大,甚至無法完成配準(zhǔn)。因此設(shè)置合理的參數(shù)對最終的配準(zhǔn)效果起著至關(guān)重要的作用。

2.2 SIFT特征提取算法參數(shù)整定

為研究SIFT特征提取算法對點云配準(zhǔn)的效果,本文通過改變sift特征提取算法中每層尺度空間的計算尺數(shù)octaver,變化區(qū)間為3～12,步長為1,研究參數(shù)變化對配準(zhǔn)效果的影響,并將10次數(shù)據(jù)變化記錄,SIFT參數(shù)對甜椒配準(zhǔn)效果的影響如圖6所示。

圖6 Octaver參數(shù)對配準(zhǔn)效果的影響

分析試驗結(jié)果可知SIFI算法所提取的關(guān)鍵點個數(shù)影響后期配準(zhǔn)所消耗的時間,當(dāng)提取關(guān)鍵點較少時,雖然配準(zhǔn)所消耗的時間短,但配準(zhǔn)的精度得不到保障。當(dāng)octaver的值逐漸變大時,所提取的甜椒特征點逐漸增多,點云匹配消耗的時間相應(yīng)越長,配準(zhǔn)精度也在提升,當(dāng)octaver數(shù)值大于一定范圍后點云配準(zhǔn)效果反而在一定范圍內(nèi)波動,而不是趨于收斂。由圖6可以看出當(dāng)octaver設(shè)置為8時,在點云配準(zhǔn)的時間較短情況下,仍然有著較好的配準(zhǔn)效果。

2.3 其他算法參數(shù)配置

通過顏色閾值分割算法用來將配準(zhǔn)后的甜椒果實點云從環(huán)境中分割出來,好的分割效果能將無用點云都濾除,只保留有用的甜椒信息,提供給甜椒姿態(tài)估計一個好的環(huán)境。經(jīng)過反復(fù)試驗發(fā)現(xiàn),將R-G的值設(shè)置為140,B-G的值設(shè)置為20時能很好地分割效果。FPFH特征描述算子用來描述特征點鄰域空間的幾何信息,鄰域范圍選擇的合理性,一定程度上決定了特征點空間信息能否準(zhǔn)確描述,試驗發(fā)現(xiàn)當(dāng)鄰域數(shù)設(shè)置為20時,能保證配準(zhǔn)具有較好的效果。ICP算法中迭代的次數(shù),點云對法向量夾角的閾值、曲率的閾值都影響著ICP配準(zhǔn)算法的效果。試驗發(fā)現(xiàn)當(dāng)ICP迭代次數(shù)設(shè)置為25時,法向量夾角閾值設(shè)置為10°時,曲率閾值設(shè)置為0.005可實現(xiàn)較高的配準(zhǔn)速度與精度。

3 結(jié)果分析與討論

3.1 基于雙約束項的ICP配準(zhǔn)算法誤差分析

為驗證本文所提出的改進(jìn)的配準(zhǔn)算法的可行性,本文使用斯坦福數(shù)據(jù)集中Bunny模型與Dragon模型的點云數(shù)據(jù)。通過比較點云配準(zhǔn)消耗的時間和均方根誤差RMES。

(8)

本文算法與SAC-IA+ICP算法比較結(jié)果,如表1所示。

表1 本文算法與其他算法效果的對比表

從表1中可以看出,在耗時上,由于本文的算法在配準(zhǔn)時引入兩項條件約束,即使在構(gòu)建雙向KD-tree加速搜索點云對,本文算法在時間上僅僅略快于SAC-IA+ICP算法;在配準(zhǔn)誤差上,本文算法在Bunny和Dragon數(shù)據(jù)集上都得到了明顯的改善。因此本文所提出的點云配準(zhǔn)算法,在點云配準(zhǔn)總體效果更優(yōu)。配準(zhǔn)效果圖如圖7所示。

(a) Bunny配準(zhǔn)前效果圖

3.2 基于PCA算法的對稱軸檢測結(jié)果

3.2.1 甜椒姿態(tài)確定方法與裝置誤差分析

為驗證本文甜椒姿態(tài)檢測算法的檢測準(zhǔn)確性,分別在無遮擋情況與遮擋情況下,用本文算法所提出的方法對估計甜椒點云姿態(tài)。在試驗過程中,使用物理裝置將甜椒固定在某一姿態(tài),裝置結(jié)構(gòu)示意圖如圖8所示。

該裝置由一個基座,2個U型連接器和一個尾部調(diào)節(jié)器組成,裝置各部分可繞定位孔旋轉(zhuǎn)實現(xiàn)繞x-y-z這3個坐標(biāo)軸旋轉(zhuǎn)形成不同的姿態(tài),裝置尾部調(diào)節(jié)器上有一筆直的圓筒型長桿,用于穿過甜椒尾部中心點并使之固定,使甜椒的生長方向與長桿朝向一致,本文將圓筒長桿點云擬合成的直線的方向向量作為真實空間甜椒的朝向,并與使用本文算法估計出來的甜椒點云軸向進(jìn)行對比,驗證本文所提出方法用于估計甜椒姿態(tài)的精確度。

為了驗證裝置中細(xì)圓柱形長桿點云擬合出來的直線的方向向量能夠作為甜椒真實的朝向,對此,本文在試驗前先針對長桿點云所擬合出的直線與空間中長桿的真實姿態(tài)的誤差進(jìn)行試驗分析,將裝置尾部調(diào)節(jié)器旋轉(zhuǎn)不同的角度,用長桿點云使用直線擬合算法求出方向向量并求出其繞Z軸旋轉(zhuǎn)的度數(shù),實際度數(shù)與測量出的度數(shù)特征曲線如圖9所示。由于線性擬合度R2>0.99,因此可以認(rèn)為尾部長桿點云擬合出來的直線的方向向量可以代表甜椒點云的真實朝向。

圖9 測量度數(shù)與實際度數(shù)的擬合曲線

在驗證姿態(tài)調(diào)整裝置上尾部長桿方向向量可代表甜椒真實生長姿態(tài)后,通過尾部長桿點云擬合出的方向向量(白線)與本文方法計算出的甜椒點云姿態(tài)向量(綠線)的夾角如圖10所示,來評價本文算法的精確度。

圖10 長桿方向向量與計算的姿態(tài)向量夾角示意圖

為便于觀察,將計算出的甜椒姿態(tài)向量移動到長桿方向向量同一頂點上。

3.2.2 無遮擋情況試驗結(jié)果分析

首先分析了無遮情況下本文算法的穩(wěn)定性,在無遮擋情況下,調(diào)整不同姿態(tài)使用本文方法計算甜椒姿態(tài)向量與甜椒姿態(tài)調(diào)整裝置長桿方向向量的夾角作為相對誤差值,并進(jìn)行20次試驗。結(jié)果顯示,在無遮擋情況下,誤差最小值為4.22°,最大誤差為7.11,平均誤差為5.15°,相較于文獻(xiàn)[17]的姿態(tài)誤差夾角精度可提高1.85°,具體誤差結(jié)果如圖11所示。

圖11 無遮擋情況下甜椒姿態(tài)誤差值

3.2.3 遮擋情況下試驗結(jié)果分析

為具體研究遮擋情況下本文方法估計甜椒姿態(tài)的誤差,隨機(jī)在甜椒前方不同位置放置葉子若干,并通過Kinect相機(jī)采集甜椒圖像,使獲取的甜椒圖像不同部位造成不同程度的遮擋,本文在試驗過程中為界定甜椒受枝葉遮擋程度,并將遮擋成為分為輕微遮擋(遮擋30%以下)、一般遮擋(遮擋30%～50%)和嚴(yán)重遮擋(遮擋50%以上)3種情形,如圖12所示,通過直接觀察獲取的甜椒區(qū)域的點云圖像并綜合多人意見將不同視角采集的點云劃入以上三種遮擋情形之中。

(a) 輕微遮擋

本文將遮擋試驗分為2組,第1組試驗為單視角不同遮擋情況,第2組為雙視角不同遮擋情況。第1組試驗為90次,且兩視角下只有一視角存在不同遮擋情況,另一視角則無遮擋情況,每種情況各試驗30次,記錄每組數(shù)據(jù)誤差的平均值δ1與標(biāo)準(zhǔn)差σ1,試驗結(jié)果如表2所示。

表2 單視角不同遮擋情況下姿態(tài)估計誤差值

由第1組試驗可以得出,當(dāng)輕微遮擋情況下時,誤差最小值為4.27°,平均誤差為5.31°;一般遮擋情況下時,誤差最小值為4.66°,平均誤差為5.71°;嚴(yán)重遮擋情況下時,誤差最小值為4.72°,平均誤差為5.98°,綜合3種情況下的平均誤差為5.67°。由此可見,由于存在另一視角對甜椒點云補(bǔ)充,即使某一視角存在遮擋問題對甜椒姿態(tài)的估計也無過大的影響。

第2組試驗為30次,一共180次試驗。在甜椒前方隨機(jī)放置葉子若干,模擬甜椒真實環(huán)境下的遮擋情況,使甜椒兩組視角都有上述三種不同程度的遮擋,使用本文方法對甜椒姿態(tài)進(jìn)行計算得到的平均誤差值δ2與標(biāo)準(zhǔn)差σ2和直接從左或右任意單一視角計算出的最小平均誤差值δ3與標(biāo)準(zhǔn)差σ3進(jìn)行對比分析,試驗結(jié)果如表3所示。

表3 雙視角不同遮擋情況下姿態(tài)估計誤差值

由第2組試驗可以得出當(dāng)視角B存在輕微遮擋時,視角A在三種遮擋情況下(輕微、一般、嚴(yán)重)的平均誤差為5.71°、6.05°、5.71°,與單視角計算出的姿態(tài)誤差值相比都有著較大的改善效果;當(dāng)視角B存在一般遮擋時,視角A在一般遮擋與嚴(yán)重遮擋時的誤差值為7.92°與8.61°,相比單視角下的15.72°與15.49°,本文方法識別結(jié)果誤差小,在可行性范圍之內(nèi)。

在兩視角都存在嚴(yán)重遮擋情況下,若兩視角遮擋面積過大,即使融合兩視角下點云也會有較大的識別誤差,因此,在兩視角都嚴(yán)重遮擋時,將嚴(yán)重遮擋面積上限設(shè)置在70%,通過本文方法融合兩視角下的甜椒點云如圖13所示。

可見當(dāng)存在嚴(yán)重遮擋時,A和B視角下獲取的甜椒點云大部分缺失,點云配準(zhǔn)時A與B視角下公共區(qū)域視角的點較少,本文算法在ICP算法中加入雙約束的條件提純了公共區(qū)域?qū)?yīng)點對關(guān)系,提高了點云配準(zhǔn)時的精度,在嚴(yán)重遮擋條件下,兩片點云融合度仍然較高,由于配準(zhǔn)的點云信息仍然有限,在使用PCA算法對點云姿態(tài)估計時精度上有所降低,最終在雙視角嚴(yán)重遮擋情況下識別結(jié)果平均誤差為13.18°。

3.3 算法效率分析

本文進(jìn)行了算法性能分析,模擬一株甜椒植株(共4個甜椒)的生長環(huán)境,如圖14所示,并隨機(jī)對植株上的甜椒造成不同情況的遮擋,對兩個視角下獲取的甜椒點云信息進(jìn)行融合,并分割出單個甜椒對象,使用基于PCA的姿態(tài)估計算法對每個甜椒姿態(tài)進(jìn)行估計,并進(jìn)行5次試驗。

圖14 模擬的甜椒植株示意圖

其中對整個甜椒植株中的甜椒進(jìn)行識別、配準(zhǔn)、分割的平均總運行時間為7.613 s,單個甜椒的姿態(tài)估計時間均低于0.4 s,能夠滿足果實采摘機(jī)器人的實時性能要求,并能移植到采摘機(jī)器人系統(tǒng)上。

4 結(jié)論

1) 針對在復(fù)雜環(huán)境下由于存在遮擋,獲取的甜椒點云不完整,導(dǎo)致甜椒姿態(tài)識別精度低,甚至無法識別的問題,提出一種融合多視角下的甜椒RGB-D信息,利用點云配準(zhǔn)算法將甜椒點云轉(zhuǎn)化到同一角度下,擴(kuò)充甜椒點云信息,并提高配準(zhǔn)精度,運用PCA算法對甜椒姿態(tài)進(jìn)行解析,得到計算出的甜椒姿態(tài)向量。

2) 對原始的ICP配準(zhǔn)算法進(jìn)行改進(jìn),提出基于點云法向量與曲率約束的ICP配準(zhǔn)算法,并在不同數(shù)據(jù)集與拍攝的甜椒點云進(jìn)行驗證,與傳統(tǒng)的ICP算法相比,配準(zhǔn)精度均有所提高,在略短的配準(zhǔn)時間下降低了甜椒點云的配準(zhǔn)誤差,提高了兩視角下甜椒點云的融合度,進(jìn)一步提高甜椒姿態(tài)向量的計算精度。

3) 為驗證本文所提出方法的可行性,本文在不同情況下進(jìn)行試驗(無遮擋、單視角遮擋,雙視角遮擋)進(jìn)行試驗。結(jié)果表明,在無遮擋情況下,本文算法誤差均值為5.15°,在雙視角中其中某一視角有遮擋情況下三種遮擋情況綜合均值誤差為5.67°,雙視角均有遮擋情況下綜合平均誤差為7.86°,完成兩視角甜椒點云信息配準(zhǔn)后,單個甜椒的姿態(tài)估計時間均小于0.4 s。