河南科技學(xué)院信息工程學(xué)院 趙 欣
國網(wǎng)新鄉(xiāng)供電公司 王戰(zhàn)勝
河南科技大學(xué)電氣工程學(xué)院 王永勝
采摘機器人目標(biāo)檢測方法研究
河南科技學(xué)院信息工程學(xué)院 趙 欣
國網(wǎng)新鄉(xiāng)供電公司 王戰(zhàn)勝
河南科技大學(xué)電氣工程學(xué)院 王永勝
隨著機器視覺技術(shù)的不斷發(fā)展,機器人技術(shù)已經(jīng)被應(yīng)用到很多領(lǐng)域。近幾年,采摘機器人技術(shù)得到了迅速的發(fā)展,被用于瓜果、蔬菜采摘、害蟲防治等各個方面,極大的提高了勞動效率[1、2、3、5]。但是由于環(huán)境的非結(jié)構(gòu)性、作業(yè)動作的復(fù)雜性等因素都會對采摘的準(zhǔn)確性和可靠性產(chǎn)生影響,因此針對不同的采摘環(huán)境和采摘目標(biāo),需要用不同的目標(biāo)識別方法[2、3]。本文重點分析幾種近年來應(yīng)用較廣的采摘機器人目標(biāo)檢測方法,比較它們的優(yōu)缺點.
機器視覺;采摘機器人;勞動效率;目標(biāo)檢測
視覺系統(tǒng)采摘機器人的核心部件,通過它可以實現(xiàn)圖像的采集、處理和識別等功能。本文所研究的采摘機器人機器視覺系統(tǒng)的硬件和軟件主要包括:攝像頭、圖像采集卡、計算機、暗箱及光源、圖像處理模塊及判決模塊等[1、2、4]。硬件和軟件系統(tǒng)示意圖如圖1所示:
圖1 機器視覺系統(tǒng)硬件和軟件示意圖
通過上圖可見,滿足一定光照條件下攝像機把目標(biāo)圖像采集到計算機中,在計算機中利用圖像處理軟件對采集到的目標(biāo)圖像進行預(yù)處理,以提高圖片質(zhì)量,然后根據(jù)相關(guān)算法獲取目標(biāo)特征要素,最后利用智能判決算法進行目標(biāo)識別。
直接從圖像采集設(shè)備上獲得的圖像在“質(zhì)量”上往往不能令人滿意,因此,在深入的識別和理解之前需要對圖像進行預(yù)處理。圖像預(yù)處理包括的基本方法有:灰度變換、直方圖變換、圖像濾波、形態(tài)學(xué)處理等[1、2、3]。
其中,圖像濾波的目的是盡量保留圖像特征情況下對目標(biāo)圖片進行噪聲濾除。圖像濾波的方法主要有平滑濾波、均值濾波、卡爾曼濾波和粒子濾波等??柭鼮V波和粒子濾波計算方法較前兩種復(fù)雜,但是卻有較高的精確度和較強的穩(wěn)定性,因此被廣泛應(yīng)用[1、2]。
開啟和閉合運算是利用腐蝕和膨脹等基本運算對圖像進行深度處理,來去除圖像邊緣的毛刺(開啟)或平滑圖像的邊界(閉合),其公式分別為:
根據(jù)需求對圖像預(yù)處理之后,處理過的圖片能更好的適用于視覺處理。
在采摘過程中,機器人的采摘準(zhǔn)確度以及采摘效率受采摘環(huán)境、采摘對象的結(jié)構(gòu)等諸多因素影響,精準(zhǔn)的目標(biāo)識別是提高采摘效率的前提,因此在不同的環(huán)境條件下,需要采取不同的目標(biāo)識別方法。根據(jù)不同的采摘環(huán)境,常用的目標(biāo)檢測方法有以下幾種[1、2、3]:
(1)BP神經(jīng)網(wǎng)絡(luò)分割法
所謂的BP(Back Propagation)算法即反向傳播算法,它屬于層次型神經(jīng)網(wǎng)絡(luò),能夠?qū)W習(xí)輸入模式和對應(yīng)輸出之間的關(guān)系,在模式識別和控制等方面都有非常廣泛應(yīng)用。
BP算法利用了均方誤差和梯度下降法來實現(xiàn)對網(wǎng)絡(luò)連接權(quán)的修正,整體可以分為輸入、中間和輸出三層,并且同層的神經(jīng)元之間沒有連接,異層的神經(jīng)元間前向連接。一般來說,網(wǎng)絡(luò)學(xué)習(xí)的過程就是對各層間權(quán)值的修正過程,只需通過對訓(xùn)練樣本的大量學(xué)習(xí)即可實現(xiàn)網(wǎng)絡(luò)的記憶功能,只要給出輸入圖像應(yīng)用獲得的權(quán)值即可得到期望的輸出圖像。此方法的優(yōu)點是不需要確定閾值,容錯性能好。缺點是:在光線較強的反光點或者光線較弱的陰影部分會出現(xiàn)較多的孔洞或者出現(xiàn)信息丟失的現(xiàn)象。
(2)LRCD處理方法
LRCD是Luminance and Red Color Difference的簡稱,通過圖像上各個成熟果實所具有的顏色分量與該點亮度信號的差異來突出其顏色。利用該方法可以起到突出前景的作用,其變換關(guān)系如下式所示:
利用上式得到灰度圖后進行閾值化處理,即可得到果實的二值圖像。LRCD處理方法計算量相對較小,效率較高,但是此方法不能很好的適應(yīng)實際生產(chǎn)中自然光線下拍攝的圖像,并且雙閾值來二值化需要人為根據(jù)經(jīng)驗來選擇閾值,結(jié)果不一定具有最優(yōu)性,該方法不太適合實際生產(chǎn)。
(3)改進的色度圖像分割
利用上述公式進行圖像二值化,即可得到成熟果實區(qū)域。改進后的RGB通道色度分割法處理速度快,減少了內(nèi)存占用空間,改進后的色度分割法算法性能更好,但是由于在RGB模型下進行,受自然光線影響較大,且方法應(yīng)用范圍太過局限,不適合實際生產(chǎn)。
(4)Lab分割方法
Lab是由RGB模型轉(zhuǎn)換為HSV模型和CMYK模型的橋梁,它是由RGB三基色通過變換轉(zhuǎn)換而來的,具體的變換公式如下式所示。L、a和b分別表示亮度分量和顏色分量,其中亮度分量L取0~100,a和b的取值范圍均為-120~120,a分量代表由綠色到紅色的光譜變化,b分量代表由藍色到黃色的光譜變化。
Lab分割方法就是利用a通道的特性將成熟的果實從背景中分割出來。此方法選用Lab模型下的a通道進行研究,不受光線的影響,產(chǎn)生的孔洞較少,采用單通道節(jié)省處理時間,方法較簡單。它的最大缺點是:將圖像從RGB格式轉(zhuǎn)成Lab格式,運算量較大,整體處理實時性差。
(5)基于Lab空間的K均值聚類分割
以上是幾種目前常用的目標(biāo)檢測方法,前面的分析可以看出,每一種方法都有其特定的應(yīng)用環(huán)境,也都有其優(yōu)缺點,沒有一種方法能夠適用于任何環(huán)境,因此,根據(jù)不同的環(huán)境選擇不同的方法就變得尤為重要。雖然目前的目標(biāo)檢測方法都有一定的局限性,但是實現(xiàn)目標(biāo)和背景的分離,可以為后續(xù)目標(biāo)的準(zhǔn)確定位提供參數(shù),是保證采摘準(zhǔn)確性必不可少的環(huán)節(jié)。
[1]周天娟.基于機器視覺的草莓采摘機器人技術(shù)研究[D].北京:中國農(nóng)業(yè)大學(xué),2007.
[2]謝忠紅.采摘機器人圖像處理系統(tǒng)中的關(guān)鍵算法研究[D].南京:南京農(nóng)業(yè)大學(xué),2007.
[3]李寒.基于機器視覺的目標(biāo)檢測在精細農(nóng)業(yè)中的關(guān)鍵技術(shù)研究[D].北京:中國農(nóng)業(yè)大學(xué),2014.
[4]李占坤.果樹采摘機器人控制系統(tǒng)研究與設(shè)計[D].北京:江蘇大學(xué),2010.
[5]刁智華,王會丹,魏偉.機器視覺在農(nóng)業(yè)生產(chǎn)中的應(yīng)用[J].農(nóng)機化研究,2014(3):206-211.