錢美，馬保建，李學(xué)志，蔣煥煜

(1.新疆理工學(xué)院機(jī)電工程學(xué)院,新疆阿克蘇,843100;2.浙江省農(nóng)業(yè)智能裝備與機(jī)器人重點(diǎn)實(shí)驗(yàn)室,杭州市,310058)

0 引言

對(duì)于休眠期果樹剪枝機(jī)器人首先要獲取高質(zhì)量的果樹枝干三維信息,為后續(xù)果樹枝干的識(shí)別與剪枝點(diǎn)定位提供數(shù)據(jù)依據(jù)[1],許多學(xué)者分別利用雙目相機(jī)、激光雷達(dá)、深度相機(jī)等傳感設(shè)備獲取果樹的三維信息,同時(shí)開展果樹重建的相關(guān)研究[2-4]。蔡健榮等[5]采用雙目相機(jī)采集柑橘樹的左右圖像,通過左右視差獲得其枝干的深度信息。Wu等[6]采集2幅無葉核桃樹圖像進(jìn)行重建,然后提取其骨架并結(jié)合軟件重建完整的核桃樹。對(duì)于采用立體視覺重建果樹枝干三維模型時(shí),不僅需要依賴果樹枝干具有豐富的紋理信息,還要克服復(fù)雜的自然光照環(huán)境影響。激光雷達(dá)傳感器可以主動(dòng)獲取果樹枝干的三維信息,并且光照對(duì)其影響較小。Medeiros等[7]利用激光雷達(dá)傳感器(2D)獲取休眠期蘋果樹40幅不同視角下的三維點(diǎn)云,在1 h內(nèi)可以重建2棵樹,重建過程復(fù)雜且重建結(jié)果誤差較大。Bai等[8]利用車載平臺(tái)搭載2D激光雷達(dá)采集無葉蘋果樹點(diǎn)云數(shù)據(jù),為后續(xù)蘋果樹的粗剪提供數(shù)據(jù)支持。由于2D激光雷達(dá)傳感器獲取的點(diǎn)云數(shù)據(jù)分辨率較低,很難得到枝干的細(xì)節(jié)信息,而3D激光雷達(dá)設(shè)備相比于2D激光雷達(dá),具有較高的分辨率。比如Sultan Mahmud等[9]利用3D激光雷達(dá)獲取帶葉蘋果樹的三維點(diǎn)云,基于采集的數(shù)據(jù)分析了蘋果樹冠層密度的分布情況。

相對(duì)于2D/3D激光雷達(dá)傳感器,深度相機(jī)的價(jià)格便宜并能夠獲取較稠密的三維點(diǎn)云,在采集果樹三維信息時(shí)得到了廣泛的應(yīng)用[10]。Wang等[11]采用2個(gè)Kinect V1(結(jié)構(gòu)光原理)深度相機(jī)并間隔90°搭建了一套采集系統(tǒng),能夠重建出較好的無葉荔枝樹的三維點(diǎn)云,但是在自然光照條件下重建結(jié)果有待進(jìn)一步驗(yàn)證。Elfiky等[12]通過Kinect V2(ToF原理)深度相機(jī)采集2幅休眠期蘋果樹前后的點(diǎn)云,并結(jié)合Kinect Fusion算法對(duì)果樹點(diǎn)云進(jìn)行部分重建。付昱興等[13]利用Kinect V2在單個(gè)視角下采集多幅點(diǎn)云融合得到1幅棗樹點(diǎn)云,并結(jié)合標(biāo)定球方法對(duì)無葉棗樹兩側(cè)的2幅點(diǎn)云進(jìn)行配準(zhǔn),然后利用Alpha-shape算法對(duì)棗樹進(jìn)行表面重建,但沒有具體解釋融合幾幅點(diǎn)云能夠得到1幅較好的果樹枝干信息。任棟宇等[14]通過Kinect V2在實(shí)驗(yàn)室內(nèi)每間隔50°采集一次桃樹三維點(diǎn)云,結(jié)合迭代最近點(diǎn)(Iterative Closest Point,ICP)算法對(duì)桃樹點(diǎn)云進(jìn)行配準(zhǔn),平均配準(zhǔn)誤差為0.52 cm,采集過程較為繁瑣以及重建結(jié)果在室外有待進(jìn)一步驗(yàn)證。馬保建等[15]利用Kinect V3在同側(cè)相隔55°采集2幅休眠期棗樹點(diǎn)云,結(jié)合骨架點(diǎn)進(jìn)行點(diǎn)云配準(zhǔn),但文中未涉及采集兩側(cè)點(diǎn)云以及配準(zhǔn)的方法。

視覺感知系統(tǒng)是休眠期果樹修剪機(jī)器人重要的組成部分,其決定了修剪機(jī)器人完成剪枝作業(yè)的質(zhì)量。本文以樹齡為3年的核桃樹為研究對(duì)象,基于Kinect V3深度相機(jī)搭建視覺系統(tǒng),分別采集0°和180°時(shí)核桃樹的三維點(diǎn)云,結(jié)合人工標(biāo)記物對(duì)2幅點(diǎn)云進(jìn)行粗配準(zhǔn)計(jì)算其初始轉(zhuǎn)換矩陣,然后利用ICP算法進(jìn)行精配準(zhǔn),通過Alpha-shape算法對(duì)點(diǎn)云表面重建,為后續(xù)核桃樹自動(dòng)化剪枝提供數(shù)據(jù)依據(jù)。

1 材料與方法

1.1 視覺系統(tǒng)搭建與數(shù)據(jù)采集

Kinect V3深度相機(jī)是基于飛行時(shí)間的原理(Time of Flight,ToF),于2019年發(fā)布的新一代傳感器,相比于前兩代Kinect深度相機(jī),該款相機(jī)各個(gè)方面的性能更高而且價(jià)格低廉,具體參數(shù)如表1所示。由于Kinect V3相機(jī)可以通過音頻線實(shí)現(xiàn)2個(gè)相機(jī)的實(shí)時(shí)數(shù)據(jù)通訊,根據(jù)這個(gè)特點(diǎn),本文利用2臺(tái)深度相機(jī)搭建核桃樹視覺感知平臺(tái),如圖1所示,主要包括:移動(dòng)平臺(tái)、2個(gè)(左、右)深度相機(jī)、聯(lián)想電腦Y70、云臺(tái)底座、音頻線、戶外電源等。本文算法在 Ubuntu 18.04 系統(tǒng)上的 Clion編譯器上結(jié)合Open 3D 1.3庫(kù)、PCL 1.9庫(kù)、Open CV 4.5庫(kù)編寫。

表1 不同Kinect深度相機(jī)的主要參數(shù)對(duì)比

圖1 視覺感知平臺(tái)

本文的試驗(yàn)場(chǎng)地在新疆阿克蘇新疆理工學(xué)院核桃園,如圖2(a)所示。數(shù)據(jù)采集時(shí)間在15:30—17:30時(shí)間內(nèi)天氣晴朗無風(fēng)的自然條件下,距離單棵核桃樹在1.1～1.3 m位置進(jìn)行兩側(cè)點(diǎn)云獲取(相隔180°獲取1幅點(diǎn)云),如圖2(b)所示。

(a) 采集地點(diǎn)

1.2 視覺系統(tǒng)的標(biāo)定

由于Kinect V3深度相機(jī)內(nèi)部參數(shù)在出廠前已經(jīng)標(biāo)定好,對(duì)于搭建的視覺系統(tǒng)只需標(biāo)定2臺(tái)相機(jī)的位姿關(guān)系。本文利用ArUco標(biāo)定板對(duì)2個(gè)深度相機(jī)的位姿進(jìn)行標(biāo)定,此標(biāo)定過程相對(duì)于棋盤格標(biāo)定更加方便,把標(biāo)定板放置在視覺系統(tǒng)前面1～1.3 m的位置對(duì)相機(jī)位姿進(jìn)行標(biāo)定,如圖3所示。已知Kinect V3相機(jī)的內(nèi)部參數(shù)矩陣K,通過相機(jī)獲取標(biāo)定板的三維點(diǎn)p坐標(biāo)(X,Y,Z)T,其齊次坐標(biāo)(X,Y,Z,1)T,且該點(diǎn)的投影點(diǎn)坐標(biāo)是(U,V)T以及齊次坐標(biāo)(U,V,1)T。利用式(1)計(jì)算左相機(jī)相對(duì)標(biāo)定板的位姿矩陣T左→標(biāo)定板,同樣可計(jì)算右相機(jī)對(duì)于標(biāo)定板的矩陣T右→標(biāo)定板。利用式(2)計(jì)算2個(gè)相機(jī)之間的初始轉(zhuǎn)換矩陣T左→右,然后利用重配準(zhǔn)算法[16]對(duì)初始矩陣T左→右進(jìn)行優(yōu)化,獲得最終的相機(jī)之間位姿轉(zhuǎn)換矩陣T最終,最后利用式(3)得到視覺系統(tǒng)采集的1幅融合點(diǎn)云P輸出。

(1)

T左→右=T左→標(biāo)定板·T右→標(biāo)定板-1

(2)

P輸出=P左+T最終·P右

(3)

式中:s——放縮系數(shù);

T左→右——左相機(jī)相對(duì)于右相機(jī)的位姿矩陣;

T右→標(biāo)定板-1——右相機(jī)相對(duì)于標(biāo)定板之間的逆矩陣;

P左——左相機(jī)采集的點(diǎn)云;

P右——右相機(jī)采集的點(diǎn)云。

1.3 核桃樹點(diǎn)云預(yù)處理

在自然條件下,利用搭建的視覺系統(tǒng)采集休眠期核桃樹點(diǎn)云,其包含了一些背景噪聲和枝干之間的離群點(diǎn)(圖4紅色圓圈內(nèi)的點(diǎn)),為了后續(xù)數(shù)據(jù)的處理,需進(jìn)行點(diǎn)云預(yù)處理。首先利用深度信息去除核桃樹點(diǎn)云中的背景噪聲,根據(jù)深度距離1.1～1.6 m的范圍,去除不在范圍內(nèi)的點(diǎn)云。其次,針對(duì)枝干間的離群點(diǎn)噪聲,利用統(tǒng)計(jì)濾波算法進(jìn)行去除,該算法根據(jù)k近鄰的原則,首先查詢點(diǎn)pi(xi,yi,zi)的k近鄰的點(diǎn)pj(xj,yj,zj),然后計(jì)算該點(diǎn)到k附近點(diǎn)的平均距離di(mm),并計(jì)算平均值μ(mm)和標(biāo)準(zhǔn)差σ(mm),計(jì)算公式如式(4)所示。

(4)

式中:k——核桃樹點(diǎn)云的近鄰個(gè)數(shù);

n——核桃樹點(diǎn)云中的數(shù)量。

若點(diǎn)的平均距離閾值di在標(biāo)準(zhǔn)范圍[μ-γσ,μ+γσ]之外,那么該點(diǎn)被認(rèn)為是離群點(diǎn),將該點(diǎn)從點(diǎn)云中刪除,其中γ值選擇0.2、0.4和0.8,k值選擇20、40和80進(jìn)行試驗(yàn)。依據(jù)試驗(yàn)結(jié)果可知,當(dāng)k=20,γ=2時(shí),離群點(diǎn)去除最好,并能最大程度的保留核桃樹枝干信息。

1.4 核桃樹點(diǎn)云配準(zhǔn)

為了得到完整的休眠期核桃樹枝干信息,對(duì)核桃樹進(jìn)行雙側(cè)點(diǎn)云獲取,然后對(duì)2幅點(diǎn)云進(jìn)行配準(zhǔn)。由于采集的2幅點(diǎn)云之間基本沒有重疊的部分,而且2幅點(diǎn)云也不在同一個(gè)坐標(biāo)系下,直接利用ICP算法配準(zhǔn)誤差很大[17],根據(jù)師翊等[18]的研究,利用3個(gè)公共點(diǎn)可以把不同坐標(biāo)系下的點(diǎn)云轉(zhuǎn)換到同一坐標(biāo)系下,其過程就是利用旋轉(zhuǎn)、平移和縮放將2幅點(diǎn)云轉(zhuǎn)換到同一坐標(biāo)系內(nèi),轉(zhuǎn)換公式如式(5)所示。

(5)

λ——縮放因子;

R——旋轉(zhuǎn)矩陣;

(a) 初始位姿

和λ實(shí)現(xiàn)點(diǎn)云的初始配準(zhǔn)。

(6)

(7)

(8)

式中:a、b、c——反對(duì)稱矩陣的獨(dú)立參數(shù);

Xs21、Ys21、Zs21——原坐標(biāo)系下2個(gè)標(biāo)記板之間對(duì)應(yīng)點(diǎn)的X,Y,Z坐標(biāo)之間的差值;

Xs31、Zs31——原坐標(biāo)系下2個(gè)標(biāo)記板之間應(yīng)點(diǎn)的X,Z坐標(biāo)之間的差值;

Xt21、Yt21、Zt21——目標(biāo)坐標(biāo)系下標(biāo)記板之間對(duì)應(yīng)點(diǎn)的X,Y,Z坐標(biāo)的差值;

Xt31、Yt31、Zt31——目標(biāo)坐標(biāo)系下標(biāo)記板之間另外的對(duì)應(yīng)點(diǎn)的X,Y,Z坐標(biāo)之間的差值;

對(duì)核桃樹點(diǎn)云粗配準(zhǔn)以后,2幅點(diǎn)云在空間位置上已基本接近如圖5(c)所示。為了進(jìn)一步提高核桃樹點(diǎn)云的配準(zhǔn)精度,以及避免陷入局部最優(yōu)解,將粗配準(zhǔn)得到的轉(zhuǎn)換矩陣作為ICP算法的初始值,對(duì)初始轉(zhuǎn)換矩陣進(jìn)行優(yōu)化,最后實(shí)現(xiàn)點(diǎn)云的精配準(zhǔn),得到完整的核桃樹三維點(diǎn)云,如圖5(d)所示。

1.5 核桃樹表面重構(gòu)

對(duì)完整的核桃樹點(diǎn)云進(jìn)行表面重構(gòu),能更好地體現(xiàn)枝干的表面信息,對(duì)完整的核桃樹點(diǎn)云計(jì)算其法向向量,然后進(jìn)行三角面片化,大量的面片構(gòu)成了核桃樹三維模型的表面。本文采用Alpha-shape算法[19]對(duì)核桃樹點(diǎn)云進(jìn)行表面重建,該算法通過半徑值為α的小球在核桃樹點(diǎn)云集上進(jìn)行滾動(dòng),與滾動(dòng)球相交的3個(gè)空間點(diǎn)所構(gòu)成的三角形面,把所有三角形面連接即構(gòu)成核桃樹的表面,具體步驟如下:(1)在核桃樹點(diǎn)云集S中選擇任意一個(gè)點(diǎn)P1,把與其距離小于2α值的點(diǎn)云構(gòu)成新的點(diǎn)云集S1,在S1中任選一組點(diǎn)P2,P3,計(jì)算半徑為α且過三個(gè)點(diǎn)P1,P2和P3的球心位置O1與O2;(2)進(jìn)一步遍歷新的點(diǎn)云集S1,分別計(jì)算另外的點(diǎn)到球心O1與O2的距離d1和d2,如果求出的d1和d2中有1個(gè)集合距離閾值大于等于α值,則判別為不是該點(diǎn)集的邊緣輪廓點(diǎn),停止遍歷并進(jìn)行步驟3;(3)將繼續(xù)選取S1中的一組點(diǎn),按照步驟1、步驟2判斷,直至所有點(diǎn)集S1中的點(diǎn)被遍歷一遍;(4)選取S中的另外一個(gè)點(diǎn),繼續(xù)按照以上3個(gè)步驟判斷,直至所有S點(diǎn)集中的點(diǎn)判斷結(jié)束,并得到點(diǎn)云邊界三角形的矩陣。

2 結(jié)果與分析

2.1 視覺系統(tǒng)獲取點(diǎn)云質(zhì)量分析

為了驗(yàn)證搭建的視覺系統(tǒng)的必要性,首先斷開視覺系統(tǒng)音頻線的連接,并關(guān)閉其中一個(gè)相機(jī)的電源,然后分別利用視覺系統(tǒng)上的左、右相機(jī)單獨(dú)采集核桃樹點(diǎn)云。對(duì)采集的2幅點(diǎn)云通過主成分分析方法計(jì)算其初始位姿矩陣,然后結(jié)合ICP算法優(yōu)化初始矩陣,實(shí)現(xiàn)2幅點(diǎn)云的精確配準(zhǔn),結(jié)果如圖6所示。

(a) 左相機(jī)采集

通過結(jié)果可以看出搭建的系統(tǒng)采集的核桃樹點(diǎn)云質(zhì)量高于左、右相機(jī)單獨(dú)采集并配準(zhǔn)的結(jié)果,主要原因在于深度相機(jī)在自然條件下受光照影響較大,左、右相機(jī)采集的原始點(diǎn)云質(zhì)量不高,配準(zhǔn)后的點(diǎn)云質(zhì)量也不高。而搭建的視覺系統(tǒng)通過音頻線實(shí)現(xiàn)實(shí)時(shí)通訊,使得2個(gè)深度相機(jī)獲取的點(diǎn)云之間實(shí)時(shí)融合在一起,得到的融合點(diǎn)云存在冗余信息,即使光照對(duì)視覺系統(tǒng)有一定影響,但在自然環(huán)境下也能夠獲取較高質(zhì)量的點(diǎn)云。

2.2 配準(zhǔn)誤差分析

利用平均歐式距離對(duì)雙側(cè)核桃樹點(diǎn)云配準(zhǔn)結(jié)果進(jìn)行評(píng)價(jià),其值越小說明配準(zhǔn)精度越高,利用本文提出的算法分別與基于Kd-tree的ICP算法[20]、SIFT-ICP算法[21]、ISS-ICP算法[22]對(duì)7棵核桃樹配準(zhǔn)對(duì)比分析,如圖7所示。

由配準(zhǔn)結(jié)果可知,利用Kd-tree-ICP算法、SIFT-ICP算法和ISS-ICP算法的配準(zhǔn)平均誤差分別為2.38 cm、1.03 cm和1.12 cm,而本文算法的平均配準(zhǔn)誤差為0.58 cm,配準(zhǔn)誤差更小且配準(zhǔn)精度相對(duì)于基于Kd-tree的ICP算法、SIFT-ICP算法、ISS-ICP算法分別提高了75.6%、43.7%和48.2%,進(jìn)一步保證休眠期核桃樹真實(shí)的三維空間結(jié)構(gòu)。

2.3 重構(gòu)模型尺寸精度分析與驗(yàn)證

通過試驗(yàn)確定Alpha-shape算法中的半徑值α,當(dāng)α值越大時(shí),枝干之間連接位置的重構(gòu)模型出現(xiàn)較大偏差,當(dāng)其取值為0.02,能夠重建較好的表面質(zhì)量,如圖8～圖10所示。

(a) α=0.01

(a) α=0.01

為了評(píng)價(jià)重構(gòu)核桃樹模型(α=0.02)精度,對(duì)7棵完整核桃樹進(jìn)行建模,整體模型基本接近自然生長(zhǎng)的核桃樹。利用游標(biāo)卡尺測(cè)量固定標(biāo)記點(diǎn)附近的核桃樹枝干尺寸(測(cè)量三次取平均值),同時(shí)利用MeshLab開源軟件測(cè)量重建的核桃樹三維模型對(duì)應(yīng)點(diǎn)的位置(測(cè)量三次取平均),實(shí)際測(cè)量值與三維模型測(cè)量值的誤差,如表2所示。重建結(jié)果表明枝干的尺寸誤差在2 mm以內(nèi),相比于參考文獻(xiàn)[16]對(duì)休眠期果樹的重建尺寸誤差進(jìn)一步降低,重構(gòu)的模型精度更高,且能夠準(zhǔn)確反映休眠期核桃樹的真實(shí)結(jié)構(gòu)。

表2 核桃樹實(shí)際值與模型測(cè)量值對(duì)比

3 結(jié)論

1) 基于2個(gè)消費(fèi)級(jí)傳感器Kinect V3搭建了視覺感知平臺(tái),并對(duì)2個(gè)深度相機(jī)進(jìn)行了位姿標(biāo)定。對(duì)采集的休眠期核桃樹點(diǎn)云進(jìn)行了背景噪聲和離群點(diǎn)的去除。

2) 提出了人工標(biāo)記點(diǎn)結(jié)合ICP算法的配準(zhǔn)方法,通過對(duì)7棵核桃樹進(jìn)行配準(zhǔn)試驗(yàn),驗(yàn)證了配準(zhǔn)方法的穩(wěn)定性,核桃樹點(diǎn)云的平均配準(zhǔn)誤差為0.58 cm,并且相對(duì)于基于Kd-tree的ICP算法、SIFT-ICP算法、ISS-ICP算法配準(zhǔn)精度分別提高了75.6%、43.7%和48.2%。在后續(xù)研究中,結(jié)合深度學(xué)習(xí)方法對(duì)兩側(cè)點(diǎn)云進(jìn)行配準(zhǔn),實(shí)現(xiàn)全過程自動(dòng)化。

3) 利用Alpha-shape算法對(duì)完整的核桃樹點(diǎn)云進(jìn)行三維重構(gòu),建模后的枝干尺寸誤差控制在2 mm以內(nèi),試驗(yàn)結(jié)果表明重建的三維模型精度較高,能夠準(zhǔn)確反映核桃樹的空間結(jié)構(gòu),為后續(xù)核桃樹智能剪枝提供數(shù)據(jù)依據(jù)。