寧志剛，程 輝，楊 恒，程 雄

(南華大學電氣工程學院，湖南衡陽 421001)

在機器人采摘柑橘的實際工作環(huán)境中，自然環(huán)境中的許多因素會引起柑橘擾動.采摘機器人在采摘柑橘時，無論采用哪種采摘方式都不可避免地引起未采摘柑橘無規(guī)律振蕩.在傳統(tǒng)的靜態(tài)采摘情況下，這勢必影響機器人的采摘精度及工作效率.由于傳統(tǒng)靜態(tài)采摘方式，每個采摘周期只對一幅柑橘圖像進行分割、識別和定位.這種處理方式忽略了柑橘的動態(tài)特性，顯然不能適應(yīng)振蕩狀態(tài)下高效率的柑橘采摘要求［1-5］.為此，文中提出一種基于幀間差分算法的振蕩柑橘動態(tài)識別方法，結(jié)合靜態(tài)識別方法，對擾動狀態(tài)下的柑橘進行動態(tài)識別.

1 擾動柑橘識別方法

擾動柑橘的識別相對于靜止柑橘的識別具有很大的不同，擾動柑橘的識別需要獲取柑橘圖像的連續(xù)幀，對連續(xù)幀圖像進行處理，通過對連續(xù)幀圖像的分析來估計擾動柑橘的運動狀態(tài)，然后進行柑橘定位和采摘.擾動柑橘識別流程圖如圖1所示.首先利用攝像頭采集柑橘連續(xù)幀圖像，由于圖像像素的多少會影響柑橘識別的時間，在不影響定位精度的情況下，攝像頭分辨率的選取要根據(jù)機器人實際工作情況而定，文中采用USB寶貝計劃網(wǎng)絡(luò)攝像頭.對于視頻的采樣頻率和樣本數(shù)，由實際工作中碰到的各種情況動態(tài)確定，這樣能更好地適應(yīng)各種情況.通過對采樣的各幀圖像進行圖像分割，分離出各幀圖像中的水果.采用幀間差分法對柑橘圖像進行差分運算，識別出處于擾動狀態(tài)下的柑橘.根據(jù)內(nèi)切圓的圓心，對擾動水果進行定位.

2 顏色空間選取及圖像分割方法

柑橘圖像與背景具有較大的差別，所以選擇色彩顏色空間法來分離柑橘與背景.選取自然環(huán)境下的柑橘圖像，分析RGB顏色空間的R，G和B色彩通道灰度直方圖及I1I2I3顏色空間的I2和I3灰度直方圖，如圖2，3所示.

圖2 各分量的灰度直方圖(無直射光)

圖2分析了各色彩通道的直方圖，發(fā)現(xiàn)R分量和I2，I3分量有較明顯的雙峰和波谷.R分量不能區(qū)分柑橘與背景，會造成分割不完全［5］.I3分量能較完整地分離出柑橘與背景，但對直射光照過于敏感.

當有直射光照時，圖3中I3灰度直方圖就會明顯改變，不再具有較明顯的雙峰和波谷.所以，選擇魯棒性較好的I2分量，將柑橘圖像與背景進行分離.I1I2I3顏色空間與RGB顏色空間的轉(zhuǎn)換公式為［6-8］

常用的閾值分割算法有直方圖法、最大類間方差算法和迭代算法.直方圖法雖然能分離出柑橘圖像，但需要人為事先設(shè)定閾值.對自動化程度要求較高的采摘機器人而言，這種方法顯然不適用.最大類間方差算法(簡稱OTSU)，按圖像的灰度特性將圖像分成背景和目標兩部分.背景和目標之間的類間方差越大，說明目標和背景差別越大.當部分目標錯分為背景或部分背景錯分為目標，都會導致這兩部分差別變小.因此，類間方差最大意味著目標和背景的錯分概率最小.

圖3 各分量的灰度直方圖(有直射光)

最大類間方差的公式為

當k在0～L-1變化時，計算不同k值的類間方差δ2(k)，δ2(k)取最大值時對應(yīng)的k值就是所求的最優(yōu)閾值.由于算法復雜，該算法耗時較多.

迭代法指在初始條件中假定一個閾值，通過對圖像的迭代運算，不斷更新這一假定閾值，從而得到最佳閾值［9-11］.迭代分割算法是一種自適應(yīng)選擇閾值的方法，是基于逼近思想的算法.通過閾值迭代，利用計算機程序自動計算出合適的分割閾值.

迭代算法的主要步驟為先分別計算出灰度圖像的最大灰度值Gmax和最小灰度值Gmin，再計算初始閾值，相應(yīng)的計算公式為

Ti+1表示采用迭代算法計算得到的閾值，迭代公式為

若指定一個極小值ξ，則有

迭代運算直到滿足式(5)，才停止運算.上述算法在計算機上較易實現(xiàn)，迭代過程不超過4次就會結(jié)束.

雖然OTSU法與迭代法都能較好地完成柑橘與背景的分離，但迭代法比OTSU法節(jié)約了大量時間，迭代算法比OTSU法要快0.1 s左右.兩種算法的分割圖像如圖4 b，c所示.比較圖b和c，發(fā)現(xiàn)迭代算法對非目標區(qū)域有一定地抑制作用.所以，選取迭代法作為分割算法.

圖4 OTSU與迭代算法分割效果圖

3 柑橘動態(tài)區(qū)域標識及柑橘定位

對處于擾動狀態(tài)下的柑橘進行識別，由于幀間差分算法實現(xiàn)簡單、計算復雜度低、容易編程實現(xiàn)、對光線變化不敏感，所以采用幀間差分法對擾動狀態(tài)下的柑橘進行識別.對兩幀圖像進行差分運算，得到圖像灰度差的絕對值.但是，幀間差分法不能提取對象的完整區(qū)域，該算法依賴于視頻采樣間隔.對于運動過快的物體，則需要采用較短的采樣間隔，否則，差分后的圖像將分離成獨立的兩部分.對于運動過慢的物體，則需要采用較長的采樣間隔.這兩種情況對文中的識別算法都不會造成影響.當物體在前后幀中幾乎完全重疊時，該算法完全失效.差分后仍需采用腐蝕、去除、膨脹方法來消除噪聲，腐蝕膨脹采用3×3正方形結(jié)構(gòu)元素進行運算.在處理得到的差分圖像的基礎(chǔ)上，完成柑橘動態(tài)區(qū)域標識.具體步驟如下:①標記差分圖像中所有連通域，消除面積小于800的連通域.800是基于統(tǒng)計運算得到的結(jié)果.然后，對圖像進行形態(tài)學處理，減少小的噪聲塊對圖像后期處理的影響;②存儲各連通域水平最小外接矩形的長度和寬度;③通過建立競爭函數(shù)來確定需要標識的區(qū)域;④在差分圖像上畫出最優(yōu)區(qū)域的水平最小外接矩形，以外接矩形中較大的邊作為最小外接正方形邊沿，得到最小外接正方形.畫出該正方形的內(nèi)切圓，該內(nèi)切圓就近似為待識別的柑橘，采用該內(nèi)切圓對柑橘進行標識和定位.

競爭函數(shù)定義為

T的初始值設(shè)為1.其意義為找出最接近于圓的連通域.T越小，則表示連通域越類似圓形.W為某一連通域的水平最小外接矩形的寬，H為水平最小外接矩形的高.通過對連通域逐一比較，確定最佳匹配區(qū)域.

通過上述步驟的處理，獲得最佳匹配區(qū)域的外接正方形.由外接正方形求得其內(nèi)切圓的圓心和半徑.其外接正方形左上角的角點坐標為(rx，ry).

4 試驗結(jié)果分析

針對自然環(huán)境中遇到的各種情況，選取了幾種具有代表性的狀態(tài)進行動態(tài)識別.具體狀態(tài)包括單個擾動柑橘、單靜止單擾動柑橘、單擾動有遮擋、雙擾動無遮擋以及單擾動且遮擋率大于70%的情況.試驗中采用VC++6.0編程實現(xiàn)，對象為真實柑橘.網(wǎng)絡(luò)攝像頭的幀率為30幀·s-1，隔幀捕獲.采用圖像的大小為320像素×240像素.試驗中，為了模擬采摘機器人在采摘過程中造成的柑橘擾動，在開始捕獲圖像時給柑橘一個側(cè)向力.圖5-8為動態(tài)識別方法的試驗結(jié)果.

圖5 單個擾動

圖6 單個擾動單個靜止

圖7 單擾動有遮擋

圖8 雙擾動無遮擋

試驗驗證了自然環(huán)境下遇到的各種情況，特別分析了伴有遮擋情況的擾動柑橘識別.各種狀態(tài)下的柑橘樣本數(shù)量為20組.視頻捕捉環(huán)境為自然環(huán)境，不考慮柑橘樹葉對柑橘的遮擋，只考慮水果之間的相互遮擋情況.遮擋率通過計算面積比確定.通過圖1算法流程，進行標識和識別，統(tǒng)計識別結(jié)果，如表1所示.

表1 各種狀態(tài)的柑橘識別率

通過分析表1各種狀態(tài)下的識別率，得到各種狀態(tài)識別率的變化圖，如圖9所示.

圖9 各狀態(tài)識別率的變化圖

圖9中的縱坐標表示識別率，橫坐標中狀態(tài)1-4分別表示圖5-8中采摘柑橘時的狀態(tài)，狀態(tài)5是指單擾動且遮擋率大于70%的柑橘識別情況.對于其他幾種狀態(tài)，當遮擋率大于70%時，識別率低于25%.圖9中的曲線表明，隨著狀態(tài)復雜度的增加，識別率在不斷地下降.通過分析圖9中的曲線可知:無遮擋擾動柑橘的檢測成功率達到100%，完全適用于無遮擋狀態(tài)柑橘檢測的要求，單擾動且遮擋率小于70%柑橘的檢測成功率達到85%，仍然滿足采摘機器人的工作要求.當遮擋率大于70%時，柑橘的檢測成功率急劇下降，擾動柑橘識別方法基本失效.當遮擋率大于70%時，由于內(nèi)切圓算法自身原因，該算法會把整個分割區(qū)域誤認為是最優(yōu)匹配區(qū)域，雖然能檢測擾動柑橘所在區(qū)域，但誤差較大，沒有實際意義.對應(yīng)策略為暫時放棄采摘遮擋率大于70%的嚴重遮擋柑橘，采摘機器人將這一個位置識別的柑橘采摘完畢;采摘機器人移動到臨近下一個位置，通過改變采摘角度，減少上一個位置由于遮擋嚴重而未被采摘柑橘的遮擋率.此方案在實際的采摘工作中是可行的.

5 結(jié)論

采用I2色彩分量將柑橘圖像與背景進行分離，然后采用迭代法對柑橘圖像進行二值化處理，獲得了較好的分割效果，減少了識別時間，提高了采摘效率.其次，采用幀間差分法、水平最小外接矩形法、建立競爭函數(shù)法，對分割圖像中的振蕩柑橘動態(tài)區(qū)域進行標識.在擾動柑橘標識階段，采用內(nèi)切圓法，盡量不采用復雜的識別算法.在不影響采摘精度的條件下，盡量減少單個采摘周期的識別時間.最后，根據(jù)內(nèi)切圓的圓心確定柑橘的位置.該算法能較好地適應(yīng)自然環(huán)境下碰到的各種擾動情況，具有較高的魯棒性.

References)

［1］宋 健，張鐵中，徐麗明，等.果蔬采摘機器人研究進展與展望［J］.農(nóng)業(yè)機械學報，2006，37(5):158-162.

Song Jian，Zhang Tiezhong，Xu Liming，et al.Research actuality and prospect of picking robot for fruits and vegetables［J］.Transactions of the Chinese Society for Agricultural Machinery，2006，37(5):158-162.(in Chinese)

［2］熊俊濤，鄒湘軍，陳麗娟，等.采摘機械手對擾動荔枝的視覺定位［J］.農(nóng)業(yè)工程學報，2012，28(14):36-41.

Xiong Juntao，Zou Xiangjun，Chen Lijuan，et al.Visual position of picking manipulator for disturbed litchi［J］.Transactions of the Chinese Society of Agricultural Engineering，2012，28(14):36-41.(in Chinese)

［3］熊俊濤，鄒湘軍，陳麗娟，等.基于機器視覺的自然環(huán)境中成熟荔枝識別［J］.農(nóng)業(yè)機械學報，2011，42(9):162-166.

Xiong Juntao，Zou Xiangjun，Chen Lijuan，et al.Recognition of mature litchi in natural environment based on machine vision ［J］.Transactions of the Chinese Society for Agricultural Machinery，2011，42(9):162-166.(in Chinese)

［4］蔡健榮，周小軍，李玉良，等.基于機器視覺自然場景下成熟柑橘識別［J］.農(nóng)業(yè)工程學報，2008，24(1):175-178.

Cai Jianrong，Zhou Xiaojun，Li Yuliang，et al.Recognition of mature oranges in natural scene based on machine vision ［J］.Transactions of the Chinese Society of Agricultural Engineering，2008，24(1):175-178.(in Chinese)

［5］Zhao Dean，Lü Jidong，Ji Wei，et al.Design and control of an apple harvesting robot［J］.Biosystems Engineering，2011，110(2):112-122.

［6］林開顏，吳軍輝，徐立鴻，等.彩色圖像分割方法綜述［J］.中國圖象圖形學報，2005，10(1):1-10.

Lin Kaiyan，Wu Junhui，Xu Lihong，et al.A survey on color image segmentation techniques［J］.Journal of Image and Graphics，2005，10(1):1-10.(in Chinese)

［7］徐惠榮，葉尊忠，應(yīng)義斌.基于彩色信息的樹上柑橘識別研究［J］.農(nóng)業(yè)工程學報，2005，21(5):98-101.

Xu Huirong，Ye Zunzhong，Ying Yibin.Identification of citrus fruit in a tree canopy using color information［J］.Transactions of the Chinese Society of Agricultural Engineering，2005，21(5):98-101.(in Chinese)

［8］Lou X P，Tian J，Zhu G Y，et al.A survey on image segmentation techniques［J］.Pattern Recognition and Artificial Intelligence，1999，12(3):300-312.

［9］Bulanon D M，Kataoka T，Ota Y，et al.Segmentation algorithm for the automatic recognition of Fuji apples at harvest［J］.Biosystems Engineering，2002，83(4):405-412.

［10］馬 陸，陳曉挺，龔文斌，等.低軌衛(wèi)星頻譜感知的二維差值迭代分割［J］.宇航學報，2011，32(4):851-856.

Ma Lu，Chen Xiaoting，Gong Wenbin，et al.A two-dimensional difference iterative partition algorithm for LEO network's spectrum sensing［J］.Journal of Astronautics，2011，32(4):851-856.(in Chinese)

［11］王雅琴，高 華.自然環(huán)境下水果圖像分割與定位研究［J］.計算機工程，2004，30(13):128-130.

Wang Yaqin，Gao Hua.Study on the segmentation and orientation of fruit image under natural environment［J］.Computer Engineering，2004，30(13):128-130.(in Chinese)