*

( 佳木斯大學(xué)a.材料科學(xué)與工程學(xué)院;b.機械工程學(xué)院，黑龍江 佳木斯 154007；c.蘭州理工大學(xué)材料科學(xué)與工程學(xué)院，甘肅 蘭州 730050)

0 引 言

水果采收作為果園生產(chǎn)全過程中的一個重要環(huán)節(jié)，具有季節(jié)性強和勞動密集型的特點[1]，所用勞動力占整個生產(chǎn)過程所用勞動力的35%～45%[2]。目前采摘水果的主要方法是依靠人工攀爬或借助簡單工具，且水果采摘效率較低。由于人工采摘水果自身所存在的勞動強度大、效率較低等原因，繼而造成水果采摘成本逐漸提高[3]。使用輔助水果采摘設(shè)備能夠有效提高水果采摘的質(zhì)量和效率，降低人工采摘的勞動強度，具有良好的經(jīng)濟效益。水果識別技術(shù)作為水果輔助采摘設(shè)備的重要技術(shù)之一，其性能對于提高輔助水果采摘的效率及準確率具有很大的影響[4]。因此，對于輔助水果采摘設(shè)備的研制而言，探究水果識別技術(shù)具有重要意義。

在果實識別技術(shù)方面，陶華偉等[5]通過對果蔬的顏色和紋理進行局部二值化處理，獲得果蔬的顏色和紋理特征，使用最近鄰分類器對獲取的特征進行果蔬識別，并在室內(nèi)和室外環(huán)境下得到較好的識別率，單幅圖像的識別時間約為1.1s。徐惠榮等[6]針對柑橘與枝葉在圖像中的顏色差異的特點，結(jié)合動態(tài)閾值法實現(xiàn)柑橘與背景的自動分割，在順光且背景反射光不強的條件下，實現(xiàn)了將柑橘從復(fù)雜背景中分離出來，但在背景有較強反射光的條件下識別效果較差。在果實定位技術(shù)方面，高楊[7]使用SR300深度攝像頭作為水果采摘機器人的近景探測傳感器，在識別果實的同時，通過攝像頭內(nèi)置的紅外傳感器獲得目標(biāo)的空間坐標(biāo)，從而實現(xiàn)了先在較遠距離對水果識別定位、再近距離采摘水果的功能，攝像頭對水果的定位精度達到3mm。朱新新[8]使用F200深度攝像頭獲得當(dāng)前環(huán)境的點云數(shù)據(jù)，根據(jù)識別目標(biāo)與攝像頭之間的距離(預(yù)設(shè)閾值)對點云數(shù)據(jù)進行篩選，通過移除前景與背景以獲得目標(biāo)物體的最佳識別區(qū)域，便于在最佳識別區(qū)域內(nèi)查找符合柑橘輪廓的目標(biāo)；通過對五個不同品種的柑橘進行識別試驗，在無遮擋和有遮擋的條件下均有較為理想的識別率。

基于點云數(shù)據(jù)進行果實的識別與定位技術(shù)具有對光線強弱不敏感的特點，但其欠缺對果實成熟度的辨識能力；此外，將深度攝像頭安裝在機械臂末端，在一定程度上增加了識別與定位過程的復(fù)雜性；與此同時，果實的識別速度也是提高果實采摘設(shè)備工作效率的關(guān)鍵因素。針對此問題，提出了一種基于視覺的橘類水果識別系統(tǒng)，根據(jù)橘類水果成熟度及其枝葉在顏色特征方面的差異性，分別從識別與定位的技術(shù)層面進行了深入研究，并進行了實驗驗證，其研究結(jié)果為橘類水果采摘裝置的樣機研究提供了技術(shù)支撐。

1 基于視覺的橘類水果識別系統(tǒng)模型

基于視覺的橘類水果識別系統(tǒng)模型由圖像采集、圖像處理、目標(biāo)識別和目標(biāo)定位四個環(huán)節(jié)構(gòu)成，如圖1所示。圖像采集環(huán)節(jié)使用Intel RealSense D415深度相機在室內(nèi)正常光線下拍攝橘類水果圖像，該圖像中水果數(shù)量隨機，且存在水果重疊的現(xiàn)象。圖像處理環(huán)節(jié)包括背景移除與成熟度篩選、圖像形態(tài)學(xué)處理兩個部分，先在RGB顏色空間下實現(xiàn)背景移除與成熟度篩選，再使用中值濾波和高斯平滑消除圖像噪點和空洞。目標(biāo)識別環(huán)節(jié)使用霍夫變換識別目標(biāo)圖像中的橘類水果，獲得水果中心的像素坐標(biāo)。目標(biāo)定位環(huán)節(jié)則根據(jù)目標(biāo)識別得到的像素坐標(biāo)及相機參數(shù)，計算得到目標(biāo)相對于相機的空間坐標(biāo)，從而實現(xiàn)水果的識別與定位。

圖1 基于視覺的橘類水果識別系統(tǒng)模型

2 系統(tǒng)設(shè)計

2.1 橘類水果顏色分析

使用顏色特征對橘類水果進行識別時，需要對橘類水果及枝葉在圖像中的R(紅色)、G(綠色)、B(藍色)顏色分量進行分析，從而實現(xiàn)成熟橘類水果與背景區(qū)分的目的。由圖2和圖3分析可知，成熟橘類水果與未成熟橘類水果及枝葉在R-G分量和R-B分量上有明顯區(qū)分，成熟水果的R-G分量和R-B分量主要分布在坐標(biāo)軸對角線的下方，具有明顯的顏色特征；由圖4可知，成熟橘類水果的G-B分量主要分布在枝葉和未成熟水果之間，與樹枝及未成熟水果有一定的區(qū)別?；谝陨戏治隹芍赗GB顏色空間中，成熟橘類水果顏色特征與未成熟水果及樹枝的顏色特征有較大區(qū)別，根據(jù)顏色差異能夠有效地將成熟橘類水果從圖像中提取出來。

圖2 枝上橘類水果圖像R-G顏色分量對比

圖3 枝上橘類水果圖像R-B顏色分量對比

圖4 枝上橘類水果圖像G-B顏色分量對比

圖5 圖像處理前后圖像

2.2 圖像處理

攝像頭采集到的圖像經(jīng)過顏色篩選后，將顏色特征符合成熟橘類水果的像素點保留下來。受光線和顏色篩選范圍的影響，篩選后獲得的橘類水果的邊緣毛刺較多，且圖像中存在較多噪點，因此，需要對該圖像進行處理，以便提高后續(xù)目標(biāo)識別的精確性。使用中值濾波和高斯平滑對圖像進行平滑濾波處理，處理前后的圖像如圖5所示。

2.3 目標(biāo)識別與定位

鑒于大部分橘類水果在圖像中的輪廓形狀近似圓形，因此使用圓檢測的方法實現(xiàn)橘類水果識別具有一定的通用性。使用霍夫變換實現(xiàn)圖像圓檢測，同時獲得目標(biāo)的圓心像素坐標(biāo)和半徑。通過設(shè)定閾值的方式對識別目標(biāo)進行初步篩選，將低于閾值的對象視為距離較遠的橘類水果，不進行識別。目標(biāo)定位時，由Intel RealSense D415深度攝像頭獲取圓心像素坐標(biāo)相對于攝像頭的空間坐標(biāo)即可。

3 試驗研究

3.1 試驗平臺

對橘類水果識別系統(tǒng)的識別效果及識別準確率進行了試驗驗證，試驗在室內(nèi)正常光線下對枝葉上的蜜桔進行識別，深度攝像頭安裝于水果采摘試驗平臺的相機支架上。硬件環(huán)境：Intel RealSense D415深度攝像頭，CPU 2.3GHz，內(nèi)存16GB，水果采摘試驗平臺；軟件環(huán)境：Intel RealSense SDK 2.0，Visual Studio 2015，OpenCV3.3.1。部分實驗圖片如圖6所示。

3.2 試驗方案及結(jié)果

基于上述試驗平臺，分別在蜜桔有枝葉遮擋和無枝葉遮擋兩種條件下進行試驗研究，并在有枝葉遮擋的條件下增加有外部光源補光的試驗，統(tǒng)計上述3種情況下正確識別到的蜜桔數(shù)量和平均識別時間，試驗結(jié)果如表1所示。

表1 蜜桔識別試驗結(jié)果

圖6 試驗圖片

3.3 結(jié)果分析

經(jīng)過試驗驗證，該橘類水果識別系統(tǒng)在室內(nèi)自然光線下對無遮擋的蜜桔識別率達到80%(距離較遠的蜜桔視為未識別)，在有枝葉遮擋的條件下有60%的識別率，在外部光源補光后對有枝葉遮擋蜜桔的識別率有一定的提高，平均識別時間為86ms，能夠滿足圖像實時處理的要求。在對蜜桔識別時，該識別系統(tǒng)對成熟度不符合要求的蜜桔表現(xiàn)為不識別，實現(xiàn)了對蜜桔成熟度的判別。同時，根據(jù)深度攝像頭的特性，將其安裝在采摘裝置的固定位置，而非末端夾持器上，實現(xiàn)了一次性地獲取目標(biāo)的空間坐標(biāo)，在一定程度上簡化了識別與定位系統(tǒng)設(shè)計的復(fù)雜性，提高了果實采摘的工作效率。但在試驗過程中也發(fā)現(xiàn)，光線強弱對提出的橘類水果識別系統(tǒng)有一定程度的影響，在后續(xù)研究中可考慮使用其他顏色空間實現(xiàn)對橘類水果的過濾，改進目標(biāo)識別原理，并增加外部光源以減少環(huán)境光線對目標(biāo)識別精確性的影響。

4 結(jié) 論

設(shè)計的基于視覺的橘類水果識別系統(tǒng)，根據(jù)成熟橘類水果在RGB顏色空間中的顏色特征，實現(xiàn)了水果成熟度的判別；基于霍夫圓檢測原理進行目標(biāo)識別，獲得目標(biāo)中心點的像素坐標(biāo)；使用深度攝像頭，獲得目標(biāo)中心點與相機的相對坐標(biāo)。以蜜桔為研究對象開展試驗研究，在正常光線無遮擋情況下具有良好的識別率；在正常光線、有枝葉遮擋時識別率存在一定程度的降低，且在外部光源補光后識別率有明顯提升，識別與定位的速度快，能夠滿足實時處理的要求，適應(yīng)性好。試驗結(jié)果表明，提出的基于視覺的橘類水果識別系統(tǒng)能夠為水果識別與定位技術(shù)提供技術(shù)支撐和可靠數(shù)據(jù)，為實現(xiàn)水果智能化采摘樣機的研制奠定基礎(chǔ)。