聶　森，王丙龍，郝歡歡，陳　軍

(西北農(nóng)林科技大學 機械與電子工程學院，陜西 楊凌　712100)

?

基于機器視覺的果園導航中線提取算法研究

聶森，王丙龍，郝歡歡，陳軍

(西北農(nóng)林科技大學 機械與電子工程學院，陜西 楊凌712100)

摘要：為實現(xiàn)果園作業(yè)自動化，對基于機器視覺的果園自然情況下的導航路徑擬合方法進行了研究。針對果園環(huán)境特點，基于HSV色彩模型和最大類間方差法對果園果樹樹行特征進行了增強。同時，使用Hough變換對果樹樹行線進行了擬合，并最終獲得了相鄰兩樹行的中線作為導航路徑。最終試驗結(jié)果表明：該方法能有效克服行間生草、光照陰影和修剪枯枝的干擾，可提取果園果樹樹行線并擬合出果園導航中線。

關(guān)鍵詞：果園環(huán)境；機器視覺；導航；Hough變換；圖像處理

0引言

我國雖然是水果的生產(chǎn)大國，但與發(fā)達國家相比，果園管理技術(shù)和果樹種植技術(shù)較為落后，果園管理機械化水平較低，大多數(shù)果園植保機械為大田作業(yè)通用機械，造成了水果生產(chǎn)效率較低，水果成本較高[1]。針對這一問題，研究開發(fā)適合果園的現(xiàn)代化和自動化的果園機械裝備在很大程度上可以解決這種問題。

隨著計算機科學和傳感器技術(shù)的發(fā)展，果園移動機器人成為了近年來國內(nèi)外研究的重點。在研究之初，國外學者基于物理導軌導航技術(shù)開發(fā)了物理軌道的自動噴藥和運輸機器人[2-4]；但這種導航方式需預先在果園內(nèi)鋪設(shè)物理軌道，道軌鋪設(shè)成本較高。國內(nèi)外學者還就基于電磁導航技術(shù)開發(fā)了一套基于電磁導航的果園移動植保機器人，但此類方法存在結(jié)構(gòu)復雜、后期設(shè)備維護維修較為困難等問題，不適宜大范圍推廣[5-7]。后來，為簡化果園機器人結(jié)構(gòu)和減少果園機器人運行成本，一些學者開發(fā)了基于超聲波導航、激光導航和視覺導航的果園機器人，優(yōu)點是使用了果園現(xiàn)有果樹作為導航參照物，不需要再鋪設(shè)導航軌道，且適應性較強[8-12]。

在基于機器視覺的導航機器人研究中最為重要的就是移動機器人的導航路徑擬合。袁佐云通過處置投影法對大豆作物行進行提取，獲取了基于大豆作物行的導航方法[13]。袁池等通過利用Lab色彩模型對果園圖像進行處理最終使用最小二乘法獲取了果園導航中線[14]。Torri等學者利用作物和溝底的特征差異及最小二乘法擬合出了導航路徑[15]。

目前，許多基于機器視覺的導航方法都被用于 大田作業(yè)中，而果園方面的應用較少。本文選取HSV色彩模型中H通道和V通道差值對果園樹行特征進行增強，然后對圖像進行閾值分割和邊緣檢測。最后，利用Hough變換提取果樹樹行線并擬合出導航中線。

1圖像預處理

1.1　顏色空間轉(zhuǎn)換

采集的原始圖像如圖1所示。由于果樹樹冠和地面的顏色差異，因此在不同的顏色空間下對圖像進行分割會產(chǎn)生明顯的區(qū)別。HSV(Hue, Saturation, Value)是1978年由A. R. Smith創(chuàng)建的一種顏色空間，也稱六角錐體模型。HSV色彩空間中這3個通道分別代表色調(diào)(H)、飽和度(S)，亮度(V)。通過大量果園照片對比發(fā)現(xiàn)，HSV模型中H分量和V分量的差值可以很好地從圖像中分離出果樹樹行特征。但是，一般采集的圖像多為RGB圖像，因此在做處理前需將圖像從RGB空間轉(zhuǎn)換到HSV空間，轉(zhuǎn)換公式為

V=max(R,G,B)

IfH<0 thenH=H+360

on output 0≤H≤1, 0≤S≤1, 0≤H≤360

圖1　果園采集原始圖像

在對圖像進行色彩空間轉(zhuǎn)換后，提取HSV色彩空間中H分量和V分量并做差，其結(jié)果如圖2所示。

圖2　HSV空間H分量和V分量差值圖

1.2　基于灰度直方圖的陰影圖像分割方法

Ostu方法又叫最大類間方差法，是一種使用十分廣泛的圖像分割算法。其基本原理是：通過初始閾值將圖像分成兩類，然后計算這兩類圖像之間的方差，接著更新閾值，然后重新計算類間方差；當所計算的方差滿足類間方差最大時，所求閾值即為最優(yōu)閾值?；贠stu方法圖像分割結(jié)果如圖3所示。

圖3　最大類間方差法處理結(jié)果

1.3　圖像的形態(tài)學處理與邊緣檢測

圖像的形態(tài)學處理是利用具有形態(tài)結(jié)構(gòu)的元素去度量和提取圖像中對應形狀已達到圖像分析和識別的目的。圖像的形態(tài)學處理一般為一種鄰域運算形式，其主要用途是簡化圖形，保持圖像中物體的基本形狀，并將不相關(guān)結(jié)構(gòu)剔除。開運算和閉運算是圖像形態(tài)學處理的重要操作，開運算可以使圖像輪廓變平滑、分離較小的狹頸并消除細小的突出；而閉操作的功能剛好與開操作相反，閉操作通常彌合較窄的間斷和細長的溝壑，可以消除小的空洞和填補物體的輪廓線。為消除經(jīng)過閾值分割后圖像中的干擾點，對其依次進行開運算和閉運算，結(jié)果如圖4所示。

圖4　開運算閉運算結(jié)果

圖像的邊緣檢測可以大幅減少所要處理的數(shù)據(jù)量，剔除不相關(guān)的信息，保留樹行特征主要信息。因此，在利用Hough提取樹行線之前，為提高這種檢測方法的實時性，本研究利用Soble算子對圖像進行邊緣檢測，結(jié)果如圖5所示。

圖5　邊緣檢測結(jié)果

2基于Hough變換的導航路徑擬合

Hough變換是1962年由Paul Hough提出一種從圖像空間到參數(shù)空間的映射關(guān)系。由于其具有良好的容錯性和魯棒性，長期以來多被用于圖像空間內(nèi)直線或曲線的檢測。

Hough變換主要使用表決原理的參數(shù)估計技術(shù)，利用圖像空間和Hough參數(shù)空間的點線對偶性，將圖像空間的直線檢測問題轉(zhuǎn)化到了參數(shù)空間進行運算。在直角坐標系中，直線方程可用y=kx+b表示。Hough的主要原理就是將方程中的參數(shù)(k,b)和變量(x,y)進行交換，即利用k、b作為變量，x、y作為參數(shù)并將轉(zhuǎn)換后的方程轉(zhuǎn)化到極坐標中。在進行直線檢測時,凡是在同一條直線的點都會在參數(shù)空間中變成相交的正弦曲線，因此利用這種原理對圖像空間的直線進行檢測。極坐標方程為

r=xcosθ+ysinθ

其中，r為直線到原點的直線的距離；θ為r和x軸正方向的夾角。

極坐標中對應直線方程為

通過極坐標中檢測出的r和θ通過上式可以求得直線方程，本研究利用Hough變換提取的樹行線如圖6所示。

圖6　Hough變換

最后，通過求取樹行線的中線可以獲取移動機器人導航路徑，如圖7所示。

圖7　檢測結(jié)果

3試驗結(jié)果及分析

圖像采集于西北農(nóng)林科技大學果園試驗園，采集了自然環(huán)境下20幅果園樹行照片。 采集設(shè)備為尼康D750相機，2 504×1 664像素大小，采集天氣為晴天。圖像處理過程在2.5 GHz處理器，4GB內(nèi)存的筆記本電腦上完成。所編程序均在在MatLab R2013a軟件中運行。試驗結(jié)果表明：本算法能夠克服果園行間生草、修剪枯枝及光照陰影對果樹樹冠提取的影響，能夠有效地提取出適合導航要求的果園樹行線并擬合出導航中線。

4結(jié)論

1)基于HSV色彩模型中H通道和V通道的差值和最大類間方差方法將果園果樹樹行信息特征進行了增強，并能夠在一定程度上克服地面生草和修剪枯枝的影響。

2)基于Hough變換利用果樹樹冠信息提取了果園果樹樹行線，并成功擬合出了導航中線，為果園視覺導航提供了參考。

3)圖像處理平均時間為1 166ms，為提高圖像處理實時性，可將圖像劃分區(qū)域，然后只對樹冠所在感興趣區(qū)域進行處理。

4)本研究所提出的算法在光照較差或落葉季節(jié)可能出現(xiàn)失效，可利用多傳感器融合的方法提高系統(tǒng)魯棒性。

參考文獻：

[1]王萬章，洪添勝，李捷，等.果樹農(nóng)藥精確噴霧技術(shù)[J]．農(nóng)業(yè)工程學報，2004，20(6)：98-101.

[2]朱磊磊，陳軍，白曉鴿，等．基于曲柄滑塊機構(gòu)原理導航的農(nóng)業(yè)機器人設(shè)計[J]．農(nóng)業(yè)機械學報，2009，40(S1)：33-36.

[3]M Kanamitsu,S Yamanoto,K AJiki, et al. Development of multipurpose monorail for hillside orchards(Part 2): development of S-shaped monorail system and the results of field test[J].Journal of the Japanese Society of Agricultural Machinery, 2008, 70(3): 115-123.

[4]K Okazaki, M Miyazaki, Y Nagasaki, et al. Automation of farm work by an overhead monorail system in steep sloped citrus orchard[J].Journal of the Japanese Society of Agricultural Machinery,1996,58(3):103-169.

[5]宋健,張賓,張鐵中.電磁誘導式噴霧機器人導航系統(tǒng)[J]．農(nóng)業(yè)機械學報，2005，36(12)：91-94.

[6]K Tosaki, S Miyahara, T Ichikawa, et al.Development of microcomputer controlled driverless air blast Sprayer (Part 1), Unmanned Traveling System[J].Journal of the Japanese Society of gricultural Machinery, 1996, 58(6):101-110.

[7]S.-S. Yang, B. Zhang, S.-F. Yu, et al. Design and implementation of the navigation system for an electromagnetic guided agricultural spraying robot [J].Jiqiren/Robot, 2007,29 (1):78-81,87.

[8]J. Tang, X. Jing, D. He, et al. Visual navigation control for agricultural robot using serial BP neural network[J].Nongye Gongcheng Xuebao/Transactions of the Chinese Society of Agricultural Engineering, 2011, 27 (2):194-198.

[9]T. Torii. Research in autonomous agriculture vehicles in Japan[J].Computers and Electronics in Agriculture, 2000,25 (1-2):133-153.

[10]N. Harper, P. McKerrow. Recognizing plants with ultrasonic sensing for mobile robot navigation [J]. Robotics and Autonomous Systems, 2001, 34(2-3):71-82.

[11]L. V. Mogensen, S. Hansen, J. C. Andersen, et al. Kalmtool used for laser scanner aided navigation in orchard[C]//15th IFAC Symposium on System Identification,SYSID 2009, July 6, 2009- July 8, 2009. Saint-Malo.France: IFAC Secretariat,2009:764-769.

[12]V.Mendez, H. Catalan, J. R. Rosell, et al. SIMLIDAR-Simulation of LIDAR performance in artificially simulated orchards [J].Biosystems Engineering, 2012, 111(1):72-82.

[13]袁佐云，毛志懷，魏青．基于計算機視覺的作物行定位技術(shù)[J]．中國農(nóng)業(yè)大學學報，2005，10(3):69-72．

[14]袁池,陳軍,武濤,等.基于機器視覺的果樹行中心線檢測算法研究[J].農(nóng)機化研究,2013,35(3):37-39,45.

[15]Toru T, Satoshi K, Tsukasa T, et al. Crop row tracking by autonomous vehicle using machine Vision (part1)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(2):41-48.

[16]Toru T, Akira T, Tsuguo O, et al. Crop row tracking by autonomous vehicle using machine Vision (part2)[J].Journal of the Japanese Society of Agricultural Machinery,2000,62(5):37-42.

Navigation Line Extraction Based on Machine Vision in Orchard

Nie Sen， Wang Binglong， Hao Huanhuan， Chen Jun

(College of Mechanical and Electronic Engineering, Northwest A&F University,Yangling 712100，China)

Abstract：In order to realize automation in orchard. This study provides a kind of method about navigation path fitting method in orchard environment for the machine vision navigation.According to the orchard environment,HSV color model and Ostu were used to enhance the features of fruit tree line in orchard. Hough transform was Used to detect fruit tree row lines, and the midline, as a navigation path, was acquired between the two adjacent tree rows. Finally the experimental results show that this method can effectively extract the orchard fruit tree row lines and obtain the navigation line with overcoming the interference of grass, shadow and deadwood.

Key words：orchard environment; machine rision; navigation; Hough transform; image processing

中圖分類號：S127；TP391.41

文獻標識碼：A

文章編號：1003-188X(2016)12-0086-04

作者簡介：聶森(1990-)，男，陜西楊凌人，碩士研究生，(E-mail)nis428@163.com。通訊作者：陳軍(1970-)，男，寧夏固原人，教授，博士生導師，(E-mail)chenjun_jdxy@nwsuaf.edu.cn。

基金項目：高等學校博士學科點專項科研基金項目(20130204110020);中央高校基本科研業(yè)務費專項(ZD2013015)

收稿日期：2015-11-09