張振乾，李世超，李晨陽，曹如月，張 漫，李 寒，李修華

基于雙目視覺的香蕉園巡檢機(jī)器人導(dǎo)航路徑提取方法

張振乾1，李世超2，李晨陽1，曹如月1，張 漫1※，李 寒2，李修華3

（1. 中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室，北京 100083；2. 中國農(nóng)業(yè)大學(xué)農(nóng)業(yè)農(nóng)村部農(nóng)業(yè)信息獲取技術(shù)重點(diǎn)實(shí)驗(yàn)室，北京 100083； 3. 廣西大學(xué)電氣工程學(xué)院，南寧 530004）

為實(shí)現(xiàn)移動機(jī)器人香蕉園巡檢自動導(dǎo)航，研究提出了一種基于雙目視覺的香蕉園巡檢路徑提取方法。首先由機(jī)器人搭載的雙目相機(jī)獲取機(jī)器人前方點(diǎn)云，進(jìn)行預(yù)處理后對點(diǎn)云感興趣區(qū)域進(jìn)行二維投影并將投影結(jié)果網(wǎng)格化，得到網(wǎng)格地圖；然后采用改進(jìn)的K-means算法將道路兩側(cè)香蕉樹分離，其中初始聚類中心通過對網(wǎng)格地圖進(jìn)行垂直、水平投影以及一、二階高斯擬合確定；最后基于最小包圍矩形提取導(dǎo)航路徑，將道路兩側(cè)網(wǎng)格以最小矩形框包圍，提取兩包圍框中間線作為期望導(dǎo)航路徑。測試結(jié)果表明，改進(jìn)的K-means算法聚類成功率為93%，較傳統(tǒng)方法提高了12個百分點(diǎn)；導(dǎo)航路徑提取平均橫向偏差為14.27 cm，平均航向偏差為4.83°，研究方法可為香蕉園巡檢機(jī)器人自動導(dǎo)航提供支持。

機(jī)器人；機(jī)器視覺；香蕉園；巡檢；路徑提取

0 引 言

香蕉是重要水果之一，中國作為傳統(tǒng)香蕉生產(chǎn)大國，香蕉產(chǎn)量常年位居世界前列，并且近年來產(chǎn)業(yè)處于持續(xù)增長態(tài)勢[1-2]。長期以來，香蕉園工作以人工為主，屬于勞動密集型工作，強(qiáng)度極大，工作環(huán)境濕熱[3]。隨著城市化的推進(jìn)和人口老齡化問題加深，香蕉種植采摘工作人力成本不斷升高，傳統(tǒng)作業(yè)方式已無法滿足現(xiàn)階段生產(chǎn)需要[4]，未來香蕉種植方式應(yīng)向智能化、無人化方向發(fā)展。

在香蕉種植過程中，需要時刻關(guān)注其生長情況、病蟲害、果穗情況等并采取對應(yīng)管理措施，這直接關(guān)系到香蕉產(chǎn)量及品質(zhì)[5]。傳統(tǒng)管理模式中管理人員需要步行或駕駛非機(jī)動車在區(qū)域內(nèi)部進(jìn)行巡檢，耗費(fèi)較多人力，因此由巡檢機(jī)器人的研發(fā)具有重要意義。實(shí)現(xiàn)自動巡檢的前提是香蕉園內(nèi)機(jī)器人導(dǎo)航技術(shù)，其中核心是導(dǎo)航路徑提取方法。受香蕉種植工藝影響，香蕉園內(nèi)存在兩種道路。一是不同種植區(qū)域間的機(jī)動車道，可以行駛汽車，二是區(qū)域內(nèi)部留出的巡檢道路，主要供管理人員駕駛非機(jī)動車進(jìn)行巡檢，無法行駛大型農(nóng)機(jī)。農(nóng)業(yè)機(jī)器人體型較小，行駛靈活，能夠在上述兩種道路上行駛，本文旨在研究一種導(dǎo)航路徑提取方法能夠適應(yīng)香蕉園內(nèi)兩種道路。

目前已經(jīng)有多種技術(shù)能夠?qū)崿F(xiàn)農(nóng)田環(huán)境下的路徑探測[6-8]。基于GNSS（Global Navigation Satellite System）的農(nóng)業(yè)導(dǎo)航系統(tǒng)已經(jīng)廣泛應(yīng)用，能夠在已知邊界的地塊自動規(guī)劃作業(yè)路徑。對于成熟期香蕉樹，巨大的葉片遮擋了衛(wèi)星信號，測試中發(fā)現(xiàn)在香蕉樹下接收的GNSS信號無法提供高精度導(dǎo)航信息。激光雷達(dá)實(shí)現(xiàn)了對前方作物的精準(zhǔn)探測但是成本較高，另外在存在較多香蕉樹殘茬、枯葉等復(fù)雜因素的香蕉園環(huán)境下，激光雷達(dá)稀疏的點(diǎn)云給路徑提取帶來了一定困難。視覺傳感器分辨率較高，成本低，在果園環(huán)境下能夠取得較好的效果[9]。因此本研究中香蕉園巡檢機(jī)器人采用視覺導(dǎo)航方法。

近年來國內(nèi)外研究人員已開展了基于視覺的農(nóng)業(yè)機(jī)器人導(dǎo)航路徑提取。Hiremath等基于粒子濾波研究了田間機(jī)器人在玉米地內(nèi)的路徑提取方法[10]。孟慶寬等通過粒子群算法對大豆、小麥、圓白菜作物進(jìn)行了作物行提取[11]。Zhai等將PCA（Principal Component Analysis）方法和RANSAC（Random Sample Consensus）方法結(jié)合，在三維視覺下實(shí)現(xiàn)了棉花采摘路徑檢測[12]。王帥先提出了基于單目視覺測量與二維碼標(biāo)靶相結(jié)合的果園機(jī)器人視覺導(dǎo)航方法[13]。García-Santillán等研究了基于最小二乘法的路徑提取方法[1415]。王鵬等采用視覺傳感器識別地面導(dǎo)航線和QR（Quick Response）碼實(shí)現(xiàn)了溫室內(nèi)視覺導(dǎo) 航[16]。張雄楚等對單目圖像進(jìn)行Otsu法二值化和Hough變換實(shí)現(xiàn)了紅棗收獲機(jī)路徑提取[17]。李秀智等使用RANSAC算法結(jié)合最小二乘法針對小麥、花生、玉米、馬鈴薯作物進(jìn)行了研究[18]。Kim等運(yùn)用patch-based CNN方法實(shí)現(xiàn)了半結(jié)構(gòu)化地面的機(jī)器人巡檢路徑檢測[19]。

目前國內(nèi)外相關(guān)研究解決了部分農(nóng)業(yè)場景下的導(dǎo)航路徑提取問題，但是幾乎沒有涉及香蕉園環(huán)境?，F(xiàn)有研究大多基于單目圖像，過去受相機(jī)分辨率和計(jì)算機(jī)算力的限制，雙目視覺在重建效果和實(shí)時性上的不佳表現(xiàn)影響了其應(yīng)用。隨著GPU（Graphics Processing Unit）技術(shù)的發(fā)展，移動機(jī)器人可搭載的邊緣計(jì)算設(shè)備算力逐步提高，為基于雙目視覺技術(shù)進(jìn)行導(dǎo)航路徑快速提取提供了基礎(chǔ)。在對雙目圖像進(jìn)行三維重建獲取前方作物及地面點(diǎn)云后，通過作物三維點(diǎn)云形態(tài)特征及其與地面的高度差實(shí)現(xiàn)作物區(qū)域識別與定位，進(jìn)而提取可行駛地面區(qū)域及導(dǎo)航路徑[20]。此類方法不受陰影和光線照射角度變化的影響，但只適用于高度上與地面有明顯區(qū)分的作物。對于香蕉園環(huán)境，地面情況復(fù)雜不利于基于顏色、紋理的單目圖像檢測方法，香蕉樹和地面具有明顯區(qū)分，立體圖像的優(yōu)點(diǎn)更加凸顯。因此本研究以雙目視覺傳感器為感知設(shè)備，研究香蕉園巡檢機(jī)器人導(dǎo)航路徑提取方法，使機(jī)器人能夠在香蕉園內(nèi)兩種路徑下實(shí)現(xiàn)導(dǎo)航。

1 材料與方法

1.1 巡檢機(jī)器人系統(tǒng)總體設(shè)計(jì)

1.1.1 硬件平臺

巡檢機(jī)器人由雙目相機(jī)、主控單元和機(jī)器人底盤組成，如圖1所示。

圖1 香蕉園巡檢機(jī)器人組成

雙目相機(jī)選用Stereo Labs公司的ZED雙目相機(jī)，水平視場角為90°，垂直視場角為60°，最高支持15 Hz頻率輸出4416×1242（像素）的雙目圖像，通過USB3.0傳輸至主控單元。主控單元選用NVIDIA Jetson Nano開發(fā)板，搭載Tegra X1異構(gòu)SOC，大小為100 mm×80 mm×29 mm，在Ubuntu 18.04系統(tǒng)下以ROS為導(dǎo)航基礎(chǔ)框架，通過RS-485與底盤進(jìn)行通信。底盤選用四驅(qū)機(jī)器人底盤結(jié)構(gòu)件（巨匠機(jī)器人有限公司，惠州，中國），如圖2a所示，長414 mm，寬325 mm。底盤控制芯片為STM32單片機(jī)，輸出PWM信號通過LS伺服驅(qū)動器控制4個GM37-520直流電機(jī)實(shí)現(xiàn)機(jī)器人直線行駛及左右側(cè)輪差速轉(zhuǎn)向。ZED相機(jī)在機(jī)器人上的安裝效果如圖2b所示，相機(jī)固定于球形云臺上，可以較方便調(diào)整相機(jī)角度。機(jī)器人在香蕉園中的數(shù)據(jù)采集場景如圖2c所示。

圖2 巡檢機(jī)器人平臺

1.1.2 導(dǎo)航路徑提取方法

導(dǎo)航路徑提取流程如圖3所示。由ZED相機(jī)采集雙目圖像，由Jetson Nano完成提取導(dǎo)航路徑的相關(guān)操作。首先對雙目圖像進(jìn)行三維重建獲取前方作物及地面點(diǎn)云，然后對點(diǎn)云進(jìn)行坐標(biāo)系轉(zhuǎn)換、空間限制等操作完成點(diǎn)云預(yù)處理。對預(yù)處理后點(diǎn)云進(jìn)行雙閾值分割，投影至二維平面。然后對投影結(jié)果通過改進(jìn)的K-means聚類分離左右兩側(cè)網(wǎng)格，分別用最小矩形框包圍，最后進(jìn)行導(dǎo)航路徑提取。

圖3 導(dǎo)航路徑提取流程

1.2 點(diǎn)云獲取

由ZED相機(jī)獲取行駛方向道路環(huán)境的雙目圖像，如圖4所示。由廠商Stereo Labs提供的SDK部署在Jetson Nano開發(fā)板上，能夠?qū)﹄p目圖像進(jìn)行實(shí)時三維重建，獲取0.4～40 m深度范圍內(nèi)的點(diǎn)云。原始點(diǎn)云如圖5a所示，坐標(biāo)系為三維笛卡爾右手坐標(biāo)系，方向?yàn)闄C(jī)器人橫向，方向?yàn)闄C(jī)器人航向，為垂直地面方向，坐標(biāo)系原點(diǎn)為相機(jī)左目。

圖4 香蕉園雙目圖像

因?yàn)橹恍璞Ａ羟胺揭欢ǚ秶鷥?nèi)的道路信息，為減小計(jì)算量，對點(diǎn)云進(jìn)行空間限制，只保留{∈[–10 000 mm, 10 000 mm]，∈[0, 20 000 mm]，∈[–500 mm, 2 000 mm]}范圍內(nèi)點(diǎn)云的位置信息。為使地面高度置為0，將點(diǎn)云位置在軸方向進(jìn)行28 cm（相機(jī)中心距離地面高度）的補(bǔ)償，并且將點(diǎn)云沿軸進(jìn)行–6 cm（相機(jī)左目到相機(jī)中心的距離）補(bǔ)償，將點(diǎn)云坐標(biāo)系原點(diǎn)從相機(jī)左目轉(zhuǎn)換至相機(jī)中心在地面的投影點(diǎn)。預(yù)處理后的點(diǎn)云如圖5b所示。

注：坐標(biāo)原點(diǎn)為相機(jī)中心點(diǎn)在地面的投影點(diǎn)。

1.3 雙閾值分割點(diǎn)云

由于預(yù)處理后的點(diǎn)云依然包含部分香蕉樹冠及地面壟溝，會對導(dǎo)航路徑提取產(chǎn)生干擾，需要將樹冠及地面點(diǎn)云濾除，只保留香蕉樹干部分作為參考。取20幅圖像進(jìn)行分析，預(yù)處理后的點(diǎn)云高度直方圖如圖6a所示，地面點(diǎn)主要分布在–0.2～0.3 m之間。根據(jù)香蕉種植經(jīng)驗(yàn)，壟的高度在0.5 m以下，濾除高度低于0.5 m的點(diǎn)云可消除地面高度變化及壟溝帶來的干擾。成熟期香蕉樹1.5 m以上部分主要為葉片，需要將其濾除，因此將高閾值設(shè)置為1.5 m。因此高程0.5～1.5 m范圍作為機(jī)器人導(dǎo)航路徑提取的感興趣區(qū)域。

將感興趣區(qū)域內(nèi)點(diǎn)云在--平面上進(jìn)行投影，得到二維投影結(jié)果如圖6b。藍(lán)色部分是香蕉樹產(chǎn)生的點(diǎn)云投影，兩側(cè)投影中間的為巡檢道路，機(jī)器人行駛路徑應(yīng)在道路中心。

1.4 點(diǎn)云網(wǎng)格化

為減小計(jì)算量，對點(diǎn)云投影結(jié)果進(jìn)行網(wǎng)格化，即將一定范圍的點(diǎn)歸入同一個網(wǎng)格。網(wǎng)格設(shè)置越大，計(jì)算量越小，但是精度越低。綜合考慮計(jì)算量和提取精度，根據(jù)經(jīng)驗(yàn)將網(wǎng)格設(shè)置為100 mm×100 mm，點(diǎn)云二維投影結(jié)果被分為200×200個網(wǎng)格。香蕉園內(nèi)存在機(jī)動車道和非機(jī)動車道兩種道路，對機(jī)器人在2種道路下采集的點(diǎn)云分別進(jìn)行網(wǎng)格化，效果如圖7所示。

圖7 點(diǎn)云投影網(wǎng)格化

1.5 改進(jìn)的K-means算法聚類

在機(jī)器人巡檢過程中，道路左右兩側(cè)始終為香蕉樹區(qū)域，將兩側(cè)區(qū)域分別識別后可以得到中間的道路范圍，進(jìn)而提取導(dǎo)航路徑。對于此類問題通常采用聚類方法，K-means算法由于伸縮性好、復(fù)雜度低，實(shí)際應(yīng)用較廣，但是存在需要人為預(yù)先設(shè)定期望的簇?cái)?shù)量（值）、對初始聚類中心敏感、只能得到局部最優(yōu)解的不足。在香蕉園巡檢導(dǎo)航路徑檢測任務(wù)中，道路左右兩側(cè)分別為一個類別，因此簇?cái)?shù)目可以確定為2。若能夠指定較準(zhǔn)確的初始聚類中心，一方面可以提高聚類成功率，避免陷入局部最優(yōu)解，另一方面可以提升聚類速度。傳統(tǒng)K-means算法初始聚類中心為隨機(jī)生成，在此提出了可以自動判斷合適的初始聚類中心的改進(jìn)的K-means算法。由于道路兩側(cè)香蕉樹分為2簇，簇中心應(yīng)位于點(diǎn)云網(wǎng)格分布較為密集的位置范圍，通過投影和高斯擬合計(jì)算點(diǎn)云網(wǎng)格在畫面中的分布情況可近似得到較接近真實(shí)中心的初始聚類中心。改進(jìn)的K-means算法流程如圖8所示。

圖8 改進(jìn)的K-means聚類流程

以圖7a為例進(jìn)行改進(jìn)的K-means聚類。首先按式（1）對網(wǎng)格地圖進(jìn)行垂直投影。

式中()表示第列的投影結(jié)果；(,)表示第行第列網(wǎng)格的值，值為0代表該網(wǎng)格中沒有點(diǎn)云，值為1代表存在點(diǎn)云。投影結(jié)果如圖9a所示，橫坐標(biāo)為列號，縱坐標(biāo)為該列的非空白網(wǎng)格的數(shù)量。由圖可知，投影結(jié)果明顯分為左右兩部分。中間投影結(jié)果為0的部分對應(yīng)沒有作物存在的道路位置。兩側(cè)香蕉樹點(diǎn)云網(wǎng)格的垂直投影存在明顯的峰值。投影結(jié)果近似呈雙峰分布，峰值代表在水平方向上網(wǎng)格最集中的位置，通過對投影結(jié)果進(jìn)行擬合，求擬合曲線極大值點(diǎn)來求得峰值橫坐標(biāo)，將其作為初始聚類中心的橫坐標(biāo)。對垂直投影結(jié)果進(jìn)行二階高斯擬合，得到擬合曲線如式（2）。

式中1，1，1，2，2，2為擬合參數(shù)，擬合曲線如圖9a中紅色曲線所示。將擬合曲線的兩個極大值點(diǎn)的橫坐標(biāo)1，2作為兩個初始聚類中心橫坐標(biāo)。

以式（3）作為分界線將網(wǎng)格地圖初步劃分為左、右兩個區(qū)域，將道路兩側(cè)的網(wǎng)格分離，式中c表示分界線橫坐標(biāo)。按式（4）～（5）分別對左、右兩個區(qū)域進(jìn)行水平投影，并對投影結(jié)果進(jìn)行一階高斯擬合，式中(L)表示左側(cè)區(qū)域第行的水平投影結(jié)果，(R)表示右側(cè)區(qū)域第行的水平投影結(jié)果；(,)表示第行第列網(wǎng)格的值。結(jié)果如圖9b、9c所示，橫坐標(biāo)為行號，縱坐標(biāo)為該行的非空白網(wǎng)格的數(shù)量。左、右側(cè)區(qū)域在豎直方向上網(wǎng)格集中在圖9b、9c擬合曲線峰值附近。因此將圖9b、9c擬合曲線的極大值點(diǎn)分別作為左、右兩側(cè)初始聚類中心的縱坐標(biāo)。

至此，通過以上計(jì)算得到兩側(cè)網(wǎng)格最為集中的位置。以該位置作為初始聚類中心，然后計(jì)算各網(wǎng)格到聚類中心的歐氏距離并將各網(wǎng)格歸入距離最近的聚類中心，所有網(wǎng)格被分類到兩個簇中，計(jì)算簇質(zhì)心作為新的聚類中心。不斷重復(fù)以上過程直至質(zhì)心不再發(fā)生變化。對兩類道路的聚類效果如圖10所示。

圖9 網(wǎng)格地圖投影結(jié)果與高斯擬合曲線

圖10 機(jī)動車道和非機(jī)動車道點(diǎn)云網(wǎng)格聚類效果

1.6 基于最小包圍矩形的路徑提取

將左右兩側(cè)點(diǎn)云網(wǎng)格分離后，為獲取兩側(cè)香蕉樹中間的道路范圍，對每一簇網(wǎng)格以最小矩形框進(jìn)行包圍，具體計(jì)算流程如圖11所示。

圖11 最小包圍矩形計(jì)算流程

兩包圍框中間區(qū)域即為道路，將兩包圍框靠近中心線一側(cè)的邊的延長線作為路徑參考邊緣，兩條延長線的中心線作為導(dǎo)航路徑。2種道路的包圍框和導(dǎo)航路徑提取效果如圖12所示。

2 結(jié)果與分析

在香蕉園中對路徑檢測方法進(jìn)行驗(yàn)證。試驗(yàn)時間為2021年4月14日至4月17日。試驗(yàn)地點(diǎn)是位于廣西壯族自治區(qū)崇左市扶綏縣的廣西亞熱帶農(nóng)科新城，該基地共種植香蕉130余公頃，第一代苗于2018年末種植，品種為威廉斯B6，種植株間距為2.5 m，試驗(yàn)時已生長至第三代。香蕉園內(nèi)存在不同種植區(qū)域間的機(jī)動車道以及區(qū)域內(nèi)部留出的供管理人員巡檢的非機(jī)動車道。在香蕉園內(nèi)機(jī)動車道和非機(jī)動車道上手動控制機(jī)器人進(jìn)行巡檢作業(yè)，巡檢過程中通過基于編碼器的里程計(jì)監(jiān)測作業(yè)速度，保持行駛速度為0.2 m/s，同時通過ZED雙目相機(jī)以1 Hz頻率對機(jī)器人前方點(diǎn)云數(shù)據(jù)進(jìn)行采集。

2.1 改進(jìn)的K-means聚類測試與分析

在機(jī)動車道和非機(jī)動車道巡檢過程中采集的點(diǎn)云圖像中各隨機(jī)選取50幅圖像，分別采用傳統(tǒng)K-means方法和改進(jìn)的K-means方法進(jìn)行聚類測試。采用傳統(tǒng)K-means方法聚類成功率平均為81%，其中機(jī)動車道的50幅圖像中的45幅聚類成功；非機(jī)動車道的50幅圖像中的36幅圖像聚類成功。采用改進(jìn)的K-means方法聚類成功率平均為93%，較傳統(tǒng)K-means方法提高了12個百分點(diǎn)，其中機(jī)動車道的50幅圖像中49幅圖像聚類成功，非機(jī)動車道的50幅圖像中的44幅圖像聚類成功。

改進(jìn)的K-means聚類方法在機(jī)動車道環(huán)境中聚類效果較好，聚類失敗大部分發(fā)生在非機(jī)動車道環(huán)境。主要原因是非機(jī)動車道較窄并且遠(yuǎn)端點(diǎn)云簇稀疏，在路邊枯葉、分生幼苗等因素的干擾下，兩側(cè)點(diǎn)云距離過近導(dǎo)致被歸為一類。下一步將根據(jù)香蕉園道路點(diǎn)云特征研究新的聚類方法以進(jìn)一步提升聚類成功率。

2.2 導(dǎo)航路徑提取測試與分析

將本文方法提取的路徑與人工標(biāo)注的路徑進(jìn)行對比。機(jī)器人期望路徑應(yīng)為道路中線，道路邊界可由兩側(cè)香蕉樹位置確定。因此標(biāo)注道路兩側(cè)香蕉樹位置可計(jì)算得到道路中心線位置。以圖6為例，人工標(biāo)注期望導(dǎo)航路徑的方法如下：

1）在原始點(diǎn)云中香蕉園巡檢道路左側(cè)與右側(cè)邊界各人工標(biāo)注5個特征點(diǎn)，記錄其在––平面的坐標(biāo)，結(jié)果如表1所示。

表1 人工標(biāo)注特征點(diǎn)坐標(biāo)

2）將左右兩側(cè)特征點(diǎn)以最小二乘法擬合為道路邊界線，得到左、右側(cè)邊界描述方程，如式（6）～（7）。

left=31.695 7+124.920 6 （6）

right=108.237 8–258.144 8 （7）

3）求解左右邊界線的中心線，得到期望導(dǎo)航路徑如式（8）。

=49.048+38.080 4 （8）

導(dǎo)航路徑提取結(jié)果如圖13所示，紅線為人工標(biāo)注的導(dǎo)航路徑，藍(lán)線為提取的導(dǎo)航路徑。對改進(jìn)的K-means聚類測試中聚類成功的93幅圖像進(jìn)行測試，統(tǒng)計(jì)方向0～2 m范圍的導(dǎo)航路徑平均橫向距離偏差和航向角偏差，得到導(dǎo)航路徑平均橫向偏差為14.27 cm，平均航向角度偏差為4.83°。

圖13 人工標(biāo)注與本研究提取的導(dǎo)航路徑對比

由測試結(jié)果可知，導(dǎo)航路徑平均偏差較大，一方面是網(wǎng)格化降低了提取精度，另一方面是因?yàn)榈缆穬蓚?cè)的香蕉樹并不是嚴(yán)格沿道路邊排列，同時在道路邊分生的香蕉幼苗也對最小包圍框產(chǎn)生了干擾。下一步將減小點(diǎn)云網(wǎng)格面積，并采用RANSAC方法提取道路地面點(diǎn)云生成導(dǎo)航路徑，與本方法提取的路徑進(jìn)行融合，提高路徑檢測精度。

3 結(jié) 論

本研究針對香蕉園環(huán)境提出了一種巡檢機(jī)器人導(dǎo)航路徑提取方法，該方法在一定程度上能適應(yīng)香蕉園內(nèi)兩種不同路徑。提出了一種改進(jìn)的K-means聚類方法，以投影結(jié)合高斯擬合確定初始聚類中心，在兩種道路樣本范圍內(nèi)聚類成功率為93%，相較傳統(tǒng)K-means算法提高了12個百分點(diǎn)。提出了一種基于最小包圍矩形的路徑檢測方法，以兩矩形框靠中心側(cè)邊的中心線作為參考導(dǎo)航路徑，在0～2 m范圍提取路徑平均橫向偏差為14.27 cm，平均航向偏差為4.83°。測試結(jié)果表明，本研究能夠?yàn)橄憬秷@巡檢機(jī)器人提供一定支持。

[1] 劉以道，張慧堅(jiān). 世界香蕉產(chǎn)業(yè)發(fā)展概況及發(fā)展趨勢[J]. 世界農(nóng)業(yè)，2013(10)：76-79.

[2] 凌榮娟. 廣西香蕉產(chǎn)業(yè)發(fā)展現(xiàn)狀與對策研究[D]. 南寧：廣西大學(xué)，2018.

Ling Rongjuan. Research on Present Situation and Countermeasures of Banana Industry Development in Guangxi[D]. Nanning: Guangxi University, 2018. (in Chinese with English abstract)

[3] 李斌，王先敬，劉碧光. 香蕉栽培技術(shù)[J]. 現(xiàn)代園藝，2017，(1)：43-44.

[4] 蘇繼龍，劉遠(yuǎn)力，吳金東. 香蕉采摘機(jī)械的研究現(xiàn)狀與發(fā)展趨勢[J]. 中國農(nóng)業(yè)大學(xué)學(xué)報(bào)，2019，24(7)：131-137.

Su Jilong, Liu Yuanli, Wu Jindong. Research status and development trend of banana picking machine[J]. Journal of China Agricultural University, 2019, 24(7): 131-137. (in Chinese with English abstract)

[5] 高廣平，易干軍，魏岳榮. 香蕉栽培管理技術(shù)研究概況[J]. 中國農(nóng)學(xué)通報(bào)，2010，26(10)：337-342.

[6] Roshanianfard A, Noguchi N, Okamoto H, et al. A review of autonomous agricultural vehicles (The experience of Hokkaido University)[J]. Journal of Terramechanics, 2020, 91: 155-183.

[7] 張漫，季宇寒，李世超，等. 農(nóng)業(yè)機(jī)械導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(4)：1-18.

Zhang Man, Ji Yuhan, Li Shichao, et al. Research progress of agricultural machinery navigation technology[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(4): 1-18.(in Chinese with English abstract)

[8] Ball D, Ross P, English A, et al. Farm workers of the future: Vision-based robotics for broad-acre agriculture[J]. IEEE Robotics & Automation Magazine, 2017, 24(3): 97-107.

[9] Radcliffe J, Cox J, Bulanon D M. Machine vision for orchard navigation[J]. Computers in Industry, 2018, 98: 165-171.

[10] Hiremath S, Van Evert F, Braak C, et al. Image-based particle filtering for navigation in a semi-structured agricultural environment[J]. Biosystems Engineering, 2014, 121: 85-95.

[11] 孟慶寬，張漫，楊耿煌，等. 自然光照下基于粒子群算法的農(nóng)業(yè)機(jī)械導(dǎo)航路徑識別[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2016，47(6)：11-20.

Meng Qingkuan, Zhang Man, Yang Genghuang, et al. Guidance line recognition of agricultural machinery based on particle swarm optimization under natural illumination[J]. Transactions of the Chinese Society for Agricultural Machinery, 2016, 47(6): 11-20. (in Chinese with English abstract)

[12] Zhai Zhiqiang, Zhu Zhongxiang, Du Yuefeng, et al. Multi-crop-row detection algorithm based on binocular vision[J]. Biosystems Engineering, 2016, 150: 89-103.

[13] 王帥先. 基于農(nóng)業(yè)機(jī)器人試驗(yàn)平臺的郁閉型果園視覺導(dǎo)航系統(tǒng)研究[D]. 楊凌：西北農(nóng)林科技大學(xué)，2017.

Wang Shuaixian. Research on Visual Navigation System in Canopy Orchard Based on Agricultural Robot Test Platform[D]. Yangling: Northwest A&F University, 2017. (in Chinese with English abstract)

[14] García-Santillán I, Guerrero J M, Montalvo M, et al. Curved and straight crop row detection by accumulation of green pixels from images in maize fields[J]. Precision Agriculture, 2018, 19(1): 18-41.

[15] 李云伍，徐俊杰，王銘楓，等. 丘陵山區(qū)田間道路自主行駛轉(zhuǎn)運(yùn)車及其視覺導(dǎo)航系統(tǒng)研制[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2019，35(1)：52-61.

Li Yunwu, Xu Junjie, Wang Mingfeng, et al. Development of autonomous driving transfer trolley on field roads and its visual navigation system for hilly areas[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(1): 52-61. (in Chinese with English abstract)

[16] 王鵬，耿長興，王蓬勃. 設(shè)施農(nóng)業(yè)噴霧機(jī)器人的組合視覺導(dǎo)航方法[J]. 江蘇大學(xué)學(xué)報(bào)：自然科學(xué)版，2019，40(3)：307-312.

Wang Peng, Geng Zhangxing, Wang Pengbo. Visual navigation method of agro-spraying robot based on navigation line and QR code combination[J]. Journal of Jiangsu University : Natural Science Edition, 2019, 40(3): 307-312. (in Chinese with English abstract)

[17] 張雄楚，陳兵旗，李景彬，等. 紅棗收獲機(jī)視覺導(dǎo)航路徑檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2020，36(13)：133-140.

Zhang Xiongchu, Chen Bingqi, Li Jingbin, et al. Path detection of visual navigation for jujube harvesters[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(13): 133-140. (in Chinese with English abstract)

[18] 李秀智，彭小彬，方會敏，等. 基于RANSAC算法的植保機(jī)器人導(dǎo)航路徑檢測[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51(9)： 40-46.

Li Xiuzhi, Peng Xiaobin, Fang Huimin, et al. Navigation path detection of plant protection robot based on RANSAC algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(9): 40-46. (in Chinese with English abstract)

[19] Kim W, Lee D, Kim Y, et al. Path detection for autonomous traveling in orchards using patch-based CNN[J]. Computers and Electronics in Agriculture, 2020, 175: 105620.

[20] Kneip J, Fleischmann P, Berns K . Crop edge detection based on stereo vision[J]. Robotics and Autonomous Systems, 2020, 123: 103323.

Navigation path detection method for a banana orchard inspection robot based on binocular vision

Zhang Zhenqian1, Li Shichao2, Li Chenyang1, Cao Ruyue1, Zhang Man1※, Li Han2, Li Xiuhua3

(1.100083; 2.100083,; 3.530004)

Banana is one of the most important fruits. A non-motorized vehicle can often be driven to inspect an orchard during the traditional planting management. However, the labor-intensive and time-consuming mode cannot fully meet the large-scale production in modern agriculture. Alternatively, it is very necessary to develop inspection robots with automatic navigation for banana orchards, particularly on the detection of navigation paths in a complex field. In this study, a navigation path detection was proposed to realize the automatic inspection in a banana orchard using binocular vision of mobile robots. The inspection robot also consisted of a binocular camera, a main control unit, and a robot chassis. The specific procedure was as follows. 1) The binocular images were acquired to reconstruct in three dimensions using the ZED camera mounted on the mobile robot. Then, the point cloud was preprocessed, including the coordinate system conversion and space limit. After that, the point cloud was segmented by double thresholds. Specifically, the height of the point cloud was obtained for the banana trees, where the heights of ground points were mainly distributed below 0.5 m, and those of leaves were above 1.5 m. Therefore, the height range of 0.5～1.5 m was selected as the region of interest (ROI) of the point cloud in the navigation path detection. 2) The ROI region was projected onto a two-dimensional plane. The projection of the point cloud was also gridded to reduce the amount of calculation. A traditional K-means clustering was improved, according to the grid’s distribution of banana trees. The initial centers of the cluster were also determined to improve the clustering effect using the vertical and horizontal projection of the grid map, together with the first and the second order Gaussian fitting. Specifically, the grid map was first projected vertically, thereby to be fitted using the second-order Gaussian curve. Among them, the-axis for the two maximum points of the fitted curve was taken as the-axis for the two initial centers of the cluster. The grid map was then divided into two areas on the left and right by the center line of two-axes. After that, a horizontal projection was performed on the two regions, further to be fitted by the first-order Gaussian curve. The maximum points of two curves were selected as the coordinates of the initial cluster centers on the left and right areas. A calculated position was utilized as the initial clustering center. The grids of banana trees on both sides of the road were also divided into two clusters using the K-means clustering. Correspondingly, the clusters were surrounded by the smallest rectangular boxes. The middle line of the two boxes was detected as the navigation path. 3) The path detection was tested in the banana orchards. The robot was manually controlled to perform the inspection operations on the motorized and non-motorized lanes in the banana garden, while the point cloud images in the front were acquired simultaneously. The point cloud images were used to test the path detection. The results showed that the clustering success rate of the improved K-means clustering was 93%, compared with the traditional one of 81%. The positions on the edge of banana trees near the road were also labeled manually. The least square method was then utilized to fit the positions for the road boundary line. The center line of the left and right boundary lines was taken as the desired navigation path. The 93 clustered images were tested successfully by the improved K-means. Consequently, the path extraction demonstrated that the average distance deviation of the navigation path within 2 m was 14.27 cm, and the average angle deviation was 4.83°, compared with the manually labeled path. The findings can provide strong support to the automatic navigation of inspection robots in a banana orchard.

robots; machine vision; banana orchard; inspection; path extraction

10.11975/j.issn.1002-6819.2021.21.002

S24

A

1002-6819(2021)-21-0009-07

張振乾，李世超，李晨陽，等. 基于雙目視覺的香蕉園巡檢機(jī)器人導(dǎo)航路徑提取方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2021，37(21)：9-15.doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

Zhang Zhenqian, Li Shichao, Li Chenyang, et al. Navigation path detection method for a banana orchard inspection robot based on binocular vision[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(21): 9-15. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2021.21.002 http://www.tcsae.org

2021-05-15

2021-10-18

廣西創(chuàng)新驅(qū)動發(fā)展專項(xiàng)資金（桂科AA18118037）；國家重點(diǎn)研發(fā)計(jì)劃（2019YFB1312305）；中國農(nóng)業(yè)大學(xué)建設(shè)世界一流大學(xué)（學(xué)科）；特色發(fā)展引導(dǎo)專項(xiàng)資金（2021AC006）

張振乾，博士生，研究方向?yàn)檗r(nóng)業(yè)機(jī)器人自主導(dǎo)航技術(shù)。Email：cauzzq@126.com

張漫，教授，博士，研究方向?yàn)榫?xì)農(nóng)業(yè)及其支持技術(shù)。Email：cauzm@cau.edu.cn