麥春艷，鄭立華，肖昌一，陳　元，李民贊，劉　剛（中國農(nóng)業(yè)大學(xué)現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京　100083）

?

一種基于信息融合蘋果果實世界定位方法

麥春艷，鄭立華*，肖昌一，陳元，李民贊，劉剛
（中國農(nóng)業(yè)大學(xué)現(xiàn)代精細農(nóng)業(yè)系統(tǒng)集成研究教育部重點實驗室，北京100083）

摘要：構(gòu)建由Kinect設(shè)備、差分GPS設(shè)備和陀螺儀組成的信息獲取系統(tǒng)，推導(dǎo)RGB圖像中蘋果果實世界坐標的計算方法。利用Kinect設(shè)備獲取果園果樹RGB圖像和深度圖像，差分GPS全球定位系統(tǒng)和陀螺儀分別獲取Kinect相機位置信息和姿態(tài)信息。融合RGB圖像和深度圖像，利用相對位置定位模型，計算蘋果圓心相機空間坐標，融合相機位置信息和姿態(tài)信息，利用空間三維坐標轉(zhuǎn)換原理，建立絕對位置定位模型計算蘋果世界坐標，對每個果實進行世界空間位置唯一標定。結(jié)果表明，果實相對平均定位誤差0.035 m，果實絕對定位經(jīng)度誤差0.117 m，緯度誤差0.437 m，海拔誤差0.145 m。

關(guān)鍵詞：Kinect；陀螺儀；差分GPS；信息融合；果實世界定位；坐標轉(zhuǎn)換

麥春艷,鄭立華,肖昌一,等.一種基于信息融合蘋果果實世界定位方法[J].東北農(nóng)業(yè)大學(xué)學(xué)報, 2016, 47(1): 74-80.

Mai Chunyan, Zheng Lihua, Xiao Changyi, et al. A world positioning method for apple fruits based on information fusion[J]. Journal of Northeast Agricultural University, 2016, 47(1): 74-80. (in Chinese with English abstract)

隨機器視覺技術(shù)發(fā)展，在精細化農(nóng)業(yè)中得到廣泛應(yīng)用。機器視覺技術(shù)對自然條件下果實定位逐漸引起關(guān)注[1]。果實生長位置隨機性、個體形狀差異性和環(huán)境復(fù)雜性等，增加了果實采摘機器人視覺定位難度。一方面，果實采摘機器人需探測作業(yè)區(qū)域內(nèi)果實，確定果實準確位置，作出正確采摘動作。另一方面，對于果園果實估產(chǎn)應(yīng)用，需在復(fù)雜自然條件下識別果實，對果實進行世界坐標絕對定位，確定蘋果在世界空間中唯一位置，以避免探測設(shè)備不同角度下對同一果實重復(fù)計數(shù)。

Stajunko等使用雙目視覺技術(shù)獲取蘋果、柑橘和番茄等果實形心的三維坐標信息以指導(dǎo)果實機器人采摘[2-6]。但雙目視覺方法易受外界自然光照影響。李明喜等提出一種雙目彩色圖像信息和近紅外圖像信息融合番茄三維定位方法，解決多目標圖像特征匹配不確定問題，利用遺傳算法和神經(jīng)網(wǎng)絡(luò)算法修正成像過程測距誤差，但定位穩(wěn)定性和精度受雙目結(jié)構(gòu)變換影響[7]。Nguyen等和Dong等使用Kinect代替?zhèn)鹘y(tǒng)雙目視覺相機分別獲取蘋果樹和番茄植株的RGB彩色圖像和深度圖像，并識別和定位果實[8-9]。Wang等開發(fā)一套基于立體視覺蘋果估產(chǎn)系統(tǒng)，在HSV顏色空間下，利用蘋果和樹葉顏色區(qū)間不同檢測果實像素點，結(jié)合形態(tài)學(xué)和定位算法計量樹上蘋果，但該系統(tǒng)需在夜間且有人工光源和人工背景條件下進行，且未考慮不同角度拍攝相同果實可能多次計數(shù)問題[8]。

以上定位方法均屬于果實相對位置定位，在基于圖像果園果樹估產(chǎn)應(yīng)用中，由于視覺系統(tǒng)視角有限，需對同一株或若干株果樹進行多角度信息采集。采集過程中，存在相同果實被重復(fù)拍攝情況，如僅基于相對位置定位計量每幅果樹圖像中果實并將其累加值作為果樹產(chǎn)量，將增加果樹產(chǎn)量，導(dǎo)致錯誤估產(chǎn)結(jié)果。為解決此問題，本文提出基于信息融合蘋果果實世界坐標定位計算方法。利用第二代Kinect RGB-D相機拍攝果樹，得到RGB彩色圖像和深度圖像。根據(jù)RGB彩色圖像、深度圖像和Kinect相機空間坐標系之間坐標映射關(guān)系確定RGB圖像中蘋果圓心在Kinect相機空間坐標系中位置；再結(jié)合Kinect相機差分GPS定位信息和空間拍攝姿態(tài)信息，利用空間三維坐標轉(zhuǎn)換原理，完成蘋果圓心坐標從Kinect相機空間坐標系到世界坐標系轉(zhuǎn)換。該方法可實現(xiàn)果園果實絕對位置定位，獲得較為準確的空間位置坐標，可對每個果實在世界空間中進行位置唯一標識。通過計算果實絕對位置，可避免不同角度下信息采集系統(tǒng)對相同果實重復(fù)計數(shù)。

1　材料與方法

1.1果實定位信息獲取系統(tǒng)

為獲得果實準確空間位置坐標，實現(xiàn)果實精準定位，搭建果園果實定位信息獲取系統(tǒng)，如圖1所示，該系統(tǒng)硬件設(shè)備包括：第二代Kinect設(shè)備（Kinect for windows，微軟公司）、差分GPS定位系統(tǒng)（M600 GNSS接收機，司南公司）及數(shù)字式三軸陀螺儀（MPU6050，應(yīng)美盛公司）。第二代Kinect體感設(shè)備為3D攝像機，能同時采集目標物體RGB圖像和深度圖像[9]。采用ToF（Time of flight，飛行時間）主動光源技術(shù)，能在自然環(huán)境下使用不受外界光照變化影響。基于第二代Kinect具有出色深度信息采集能力、快速獲取目標場景RGB-D信息、操作簡單、價格低廉等優(yōu)點，廣泛應(yīng)用于目標物體三維信息獲取。為獲取Kinect相機世界位置信息，本文采用高精度差分GPS定位Kinect相機。M600姿態(tài)定位定向型GNSS接收機是專門為特種設(shè)備設(shè)計的高精度姿態(tài)定位定向設(shè)備，采用中國BDS（Bei?Dou Navigation Satellite System，中國北斗衛(wèi)星導(dǎo)航系統(tǒng)）和美國GPS雙星五頻GNSS板卡，實現(xiàn)在樹下、樓群等遮擋較嚴重和高動態(tài)情況下對目標物體快速高精度定位和定向。該定位系統(tǒng)靜態(tài)差分水平精度為±（2.5+1×10-6D）mm，靜態(tài)差分垂直精度為± （5 + 1×10-6D）mm。因此，定位精度理論上可滿足果實絕對位置定位要求。采用數(shù)字式三軸陀螺儀監(jiān)測Kinect相機空間拍攝姿態(tài)，獲得其姿態(tài)信息，包括仰角、滾角和方向角。

圖1系統(tǒng)硬件設(shè)備Fig. 1 Hardware devices of the system

1.2果實定位信息采集

選取中國農(nóng)業(yè)大學(xué)東校區(qū)校內(nèi)仿真蘋果樹作為試驗對象，使用Kinect相機拍攝，獲取自然條件下蘋果樹RGB圖像和深度圖像，如圖2所示。高精度差分GPS確定Kinect相機世界位置信息，得到相機經(jīng)緯度及海拔數(shù)據(jù)；數(shù)字式三軸陀螺儀采集Kinect相機拍攝姿態(tài)信息，得到相機仰角、滾角及方向角。

圖2 Kinect相機圖像采集Fig. 2 Images acquired using Kinect camera

1.3蘋果相對位置計算

為獲得蘋果圓心在Kinect相機空間坐標系中位置，首先建立Kinect相機空間坐標系，如圖3所示。其中，Kinect相機空間坐標系以RGB攝像頭為坐標原點Oc，以右側(cè)為Xc軸正方向，以正上方為Yc軸正方向，以正前方為Zc軸正方向，結(jié)果值能夠反映目標物體景深情況，坐標系距離（m）。

圖3 Kinect相機空間坐標系Fig. 3 Camera space coordinate system of Kinect

Kinect相機采集果樹RGB圖像和深度圖像，利用微軟提供軟件開發(fā)工具包Kinect SDK 2.0以及應(yīng)用程序編程接口API可獲得RGB圖像像素坐標系、深度圖像像素坐標系和相機空間坐標系三者之間坐標映射關(guān)系，鼠標點擊RGB圖像中果樹上一個蘋果，即可得到其在RGB圖像像素坐標系、深度圖像像素坐標系以及相機空間坐標系中的坐標值。

基于Kinect相機蘋果相對位置計算流程如圖4所示。

1.4蘋果絕對位置計算

計算蘋果在Kinect相機空間坐標系中位置后，利用空間三維坐標轉(zhuǎn)換原理，融合相機拍攝時的姿態(tài)信息和差分GPS定位信息，建立果實絕對位置定位模型，計算果實世界坐標。1.4.1本地經(jīng)緯度到距離轉(zhuǎn)換關(guān)系測定

圖4相對位置計算流程Fig. 4 Flow chart of relative positioning calculation

GPS定位系統(tǒng)對待測點的測定值采用經(jīng)緯度及海拔表示，而Kinect相機空間坐標系中各坐標值使用距離單位表示，由于地球表面是不規(guī)則球面，不同地方每一度經(jīng)度和緯度代表的距離不同[12]。因此，在將Kinect相機空間坐標轉(zhuǎn)為世界坐標之前，將Kinect相機空間坐標系距離坐標轉(zhuǎn)換為經(jīng)緯度形式，測量當?shù)孛慷冉?jīng)緯度差和距離（m）間轉(zhuǎn)換關(guān)系，才能計算蘋果絕對位置。

由于蘋果尺寸約束，要判斷在不同角度下拍攝的果實是否為同一果實，果實絕對位置定位精確度須小于1個蘋果半徑（約4 cm）。選用高精度差分GPS完成該項參數(shù)測量，測定果實定位地點經(jīng)緯度和距離轉(zhuǎn)換關(guān)系。選擇果園中平坦地面作為實驗地以避免實驗結(jié)果受海拔高度影響，選擇地面上某一點作為起始點O，使用移動天線測定其經(jīng)度值Olat和緯度值Olon。第一組實驗，保持經(jīng)度不變，將移動天線分別移至距離起點O10個不同距離處，分別測量緯度值，根據(jù)公式（1）求解緯度差到距離轉(zhuǎn)換值Clat：

其中，Plat(i)表示不同距離處緯度值，D(i)表示距離值。第2組試驗，保持緯度不變；同理，測定不同距離處經(jīng)度值，根據(jù)公式(2)求解經(jīng)度差到距離轉(zhuǎn)換值Clon：

其中，Plon(i)表示不同距離處經(jīng)度值。不同距離處測量經(jīng)緯度到距離轉(zhuǎn)換值結(jié)果見圖5。

圖5本地經(jīng)緯度到距離轉(zhuǎn)換值測量Fig. 5 Measurement results of the conversion value of local latitude and longitude to distance

由圖5可知，當測量距離較小時，結(jié)果波動較大，但隨測量距離增加，結(jié)果趨于穩(wěn)定。因距離較小時，測量結(jié)果易受細小誤差，如人為操作、GPS測量時擾動誤差等影響，距離逐漸增大時，人為操作和擾動引入測量誤差影響較小，故測量結(jié)果趨于穩(wěn)定。因此，本文選取測量結(jié)果中穩(wěn)定值均值作為本地經(jīng)緯度到距離轉(zhuǎn)換值，其中，緯度到距離測定轉(zhuǎn)換值Clat為0.03242''·m-1，經(jīng)度到距離測定轉(zhuǎn)換值Clon為0.04214''·m-1。

1.4.2蘋果世界坐標絕對位置定位

為推導(dǎo)出Kinect相機空間坐標系中蘋果圓心世界坐標，果園果實定位一般性場景見圖6。世界坐標系中：Yw軸指向正北方，與經(jīng)線平行，Xw軸指向正東方，與緯線平行，Zw軸和本地水平面垂直，正方向與地心引力方向相反。Oc-XcYcZc坐標系是Kinect相機空間坐標系。

圖6果園果實定位場景Fig. 6 Fruit location scene in orchard

假設(shè)1個蘋果P在Kinect相機空間中坐標為Pac(xac,yac, zac)，拍攝相機姿態(tài)角度為Ac(α,β,γ)，其中α、β、γ分別表示Kinect相機俯仰角、橫滾角和方位角。相機GPS坐標為Pcw(Ncw,Ecw,Hcw)，其中Ncw為緯度，Ecw為經(jīng)度，Hcw為海拔高度。蘋果世界坐標計算步驟為：

①調(diào)整Kinect相機空間坐標系，使其與世界坐標系對齊，得到空間坐標系O'c-X'cY'cZ'c，Kinect相機空間坐標系調(diào)整變換公式如式(3)所示：

其中，Pac表示Kinect相機空間坐標系中一點，Reversex和Reversez分別表示對當前Xc軸和Zc軸取反，Rx（90°）表示坐標系繞Xc軸順時針旋轉(zhuǎn)90°。

②融合相機姿態(tài)信息和GPS定位信息，根據(jù)空間三維坐標系轉(zhuǎn)換原理[13]，由公式(4)得到果實世界坐標：

其中，旋轉(zhuǎn)變換矩陣Rx(α)、Ry(β)、Rz(γ)分別表示調(diào)整后Kinect相機空間坐標系分別繞世界坐標系Xw、Yw、Zw軸順時針旋轉(zhuǎn)角度α、β、γ，表達式分別為：

平移變換矩陣T表示Kinect相機空間坐標系原點Oc在世界坐標系中位置，其表達式如式(8)。

③根據(jù)計算得到果園本地經(jīng)緯度到距離轉(zhuǎn)換關(guān)系，根據(jù)式（9）將式（4）中計算的世界坐標進一步轉(zhuǎn)換為用經(jīng)緯度表示的坐標。

完成蘋果世界坐標計算，蘋果世界坐標由經(jīng)度、緯度、海拔高度構(gòu)成?；谛畔⑷诤咸O果果實世界絕對位置定位方法流程見圖7。

圖7果園果實絕對定位流程Fig. 7 Flow chart of absolute positioning of fruit in orchard

2結(jié)果與分析

2.1蘋果絕對定位及其誤差分析

本文提出一種基于多源信息融合蘋果果實世界坐標定位方法。首先，融合果樹RGB圖像和深度圖像信息，采用相對位置定位模型，實現(xiàn)果實在Kinect相機空間坐標系中定位。然后，在相對位置定位基礎(chǔ)上，融合相機拍攝姿態(tài)信息和差分GPS定位信息，計算果園當?shù)亟?jīng)緯度到距離之間轉(zhuǎn)換關(guān)系，建立絕對位置定位模型，得到果實世界坐標。表1顯示圖8中蘋果樹上每個果實世界坐標值計算值、實際測量值及距離誤差。

圖8蘋果樹果實世界坐標Fig. 8 World coordinates of fruits in theapple tree

由表1可知，平均定位誤差在經(jīng)度上達0.117 m，在緯度上達0.437 m，海拔上達0.145 m。在果實絕對位置定位方面，絕對位置定位模型在理論上計算誤差為0，而在實際果實定位中，由于樹葉遮擋等原因，GPS信號接收影響較大，導(dǎo)致可接收信號衛(wèi)星數(shù)量減少，影響GPS定位精度，使絕對位置定位精度波動較大。同時，陀螺儀在實際工作中，也受環(huán)境和人為等因素影響產(chǎn)生擾動誤差，影響絕對位置定位精度。

2.2蘋果相對位置測定及其誤差分析

測量圖像中各蘋果果實之間實際距離，根據(jù)各果實經(jīng)緯度和海拔計算值求解各蘋果之間相對距離計算值，表2顯示圖8中各個蘋果果實之間距離計算值、真實值和距離誤差。由表2可知，相對定位距離誤差為0.035 m。

表1果實絕對定位誤差分析Table 1 Analysis of fruit absolute positioning error

比較相對距離計算值和實際值，得到結(jié)果如圖9，可知，各果實之間距離計算值和實際距離很接近，相關(guān)系數(shù)達0.9336。因此，相對定位精度可滿足果實采摘機器人應(yīng)用需求。

圖9相對定位精度Fig. 9 Relative positioning accuracy

3結(jié)論

a.基于Kinect相機可快速實時獲取果樹RGB圖像和深度圖像，利用信息融合技術(shù)，可解析果實在Kinect相機空間中坐標值，實現(xiàn)果實相對位置計算，相對定位平均距離誤差為0.035 m。

b.果實絕對位置定位方面，理論上計算誤差為0，實際定位中，經(jīng)度誤差為0.117 m，緯度誤差為0.437 m，海拔誤差為0.145 m。

c. GPS定位系統(tǒng)定位精度易受果樹枝葉遮擋影響，因此絕對位置定位穩(wěn)定性較差。同時陀螺儀也會受外界環(huán)境和人為等因素影響產(chǎn)生擾動誤差。提高GPS定位系統(tǒng)及陀螺儀抗干擾能力，增加絕對位置定位穩(wěn)定性和準確性，有待進一步探討。

[參考文獻]

[ 1 ] Bulanon D M, Kataoka T, Ota Y, et al. A color model for recogni? tion of apples by a robotic harvesting system[J]. Journal of the JSAM, 2002, 64(5): 123－133.

[ 2 ] Stajnko D, Cmelik Z. Modeling of apple fruit growth by applica?tion of image analysis[J]. Agricultural Conspectus Scientificus (ACS), 2005, 70(2): 59-64.

[ 3 ]尹建軍.基于顏色差異的果實自動識別方法與雙目定位技術(shù)研究[D].鎮(zhèn)江:江蘇大學(xué), 2006.

[ 4 ]蔡健榮,范軍,李玉良.立體視覺系統(tǒng)標定及成熟果實定位[J].農(nóng)機化研究, 2007(11): 38-40.

[ 5 ]司永勝,喬軍,劉剛.蘋果采摘機器人果實識別與定位方法[J].農(nóng)業(yè)機械學(xué)報, 2010, 41(9): 148-153.

[ 6 ] Mehta S. S, Burks T. F. Vision-based control of robotic manipula?tor for citrus harvesting[J]. Computers and Electronics in Agricul?ture, 2014, 102: 146-158.

[ 7 ]李明喜.基于多源圖像融合收獲目標準確定位研究[D].鎮(zhèn)江:江蘇大學(xué), 2008.

[ 8 ] Nguyen T T, Vandevoorde K, Kayacan E, et al. Apple detection algorithm for robotic harvesting using a rgb-d camera[C]. Interna?tional Conference of Agricultural Engineering, Zurich, Switzer?land, 2014.

[ 9 ] Dong J M, Chen W H, Yue H S, et al. Automatic recognition and location of tomatoes based on kinect vision system[J]. Journal of Chinese Agricultural Mechanization, 2014, 35(4): 169-173.

[10] Wang Q, Nuske S, Bergerman M, et al. Automated crop yield esti?mation for apple orchards[C]. Experimental Robotics Springer In?ternational Publishing, 2013: 745-758.

[11] Catuhe D. Programming with the kinect for windows software de?velopment kit[M]. Massachusetts Microsoft Press, 2012.

[12]黎珍惜,黎家勛.基于經(jīng)緯度快速計算兩點間距離及測量誤差[J].測繪與空間地理信息, 2013, 36(11): 235-237.

[13]柯金樸.空間三維坐標轉(zhuǎn)換原理及實現(xiàn)[J].江西測繪, 2008(3): 16-20.

A world positioning method for apple fruits based on information fusion

MAI Chunyan, ZHENG Lihua, XIAO Changyi, CHEN Yuan, LI Minzan, LIU Gang(Key Laboratory of Modern Precision Agriculture System Integration Research, China Agricultural University, Ministry of Education, Beijing 100083, China)

Abstract:An information acquisition system was designed and built, which consisted of a Kinect, a differential GPS receiver and an attitude sensor, and a world coordinates calculation approach for apple fruits in a color image was developed depending on this system. The color image and corresponding depth image of fruit tree were taken by the second generation Kinect which was an RGB-D camera, and the world position and the spatial attitude information was obtained by the differential GPS and the digital attitude sensor respectively according to the information acquisition system. Firstly, the camera coordinates of apples' centers were computed by fusing both the RGB and depth information of the color and depth images. Secondly, an absolute positioning model was established according to the three-dimension space coordinate transformation algorithmto calculate the world coordinates of apples, by which the unique world space position of each apple could be acquired. The experiment was carried out, and the results showed that the mean error of the relative positioning was 0.035 m, and for the absolute positioning, the mean distance error of the longitude reached 0.117 m, that of the latitude reached 0.437 m, and that of the altitude reached 0.145 m.

Key words:Kinect; attitude sensor; differential GPS; information fusion; fruit world positioning; coordinate transformation

*通訊作者：鄭立華，教授，博士生導(dǎo)師，研究方向為農(nóng)業(yè)信息化。E-mail: zhenglh@cau.edu.cn

作者簡介：麥春艷（1991-），女，碩士研究生，研究方向為農(nóng)業(yè)信息化。E-mail: 916205854@qq.com

基金項目：國家自然科學(xué)基金項目（31371532）

收稿日期：2015-08-08

中圖分類號：TP391.41; S216

文獻標志碼：A

文章編號：1005-9369（2016）01-0074-07