熊俊濤 林 睿 劉 振 何志良 楊振剛 卜榕彬

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642)

夜間自然環(huán)境下荔枝采摘機(jī)器人識別技術(shù)

熊俊濤 林 睿 劉 振 何志良 楊振剛 卜榕彬

(華南農(nóng)業(yè)大學(xué)數(shù)學(xué)與信息學(xué)院， 廣州 510642)

利用機(jī)器視覺實(shí)現(xiàn)自然環(huán)境下成熟荔枝的識別，對農(nóng)業(yè)采摘機(jī)器人的研究與發(fā)展具有重要意義。本文首先設(shè)計(jì)了夜間圖像采集的視覺系統(tǒng)，然后選取了白天和夜間兩種自然環(huán)境下采集荔枝圖像，分析了同一串荔枝在白天自然光照與夜間LED光照下的顏色數(shù)據(jù)，確定了YIQ顏色模型進(jìn)行夜間荔枝果實(shí)識別的可行性。首先選擇夜間荔枝圖像的I分量圖，利用Otsu算法分割圖像去除背景，然后使用模糊C均值聚類算法分割果實(shí)和果梗圖像，得到荔枝果實(shí)圖像；再利用Hough圓擬合方法檢測出圖像中的各個(gè)荔枝果實(shí)。荔枝識別試驗(yàn)結(jié)果表明：夜間荔枝圖像識別的正確率為95.3%，識別算法運(yùn)行的平均時(shí)間為0.46 s。研究表明，該算法對夜間荔枝的識別有較好的準(zhǔn)確性和實(shí)時(shí)性，為荔枝采摘機(jī)器人的視覺定位方法提供了技術(shù)支持。

荔枝； 采摘機(jī)器人； 識別； 夜間圖像； Hough圓檢測

引言

果蔬采摘機(jī)器人已經(jīng)逐步深入到農(nóng)業(yè)生產(chǎn)[1]。開發(fā)具有視覺功能的智能果蔬采摘機(jī)器人，對于提高農(nóng)業(yè)生產(chǎn)力有極大的應(yīng)用價(jià)值與現(xiàn)實(shí)意義[2]。

采摘機(jī)器人的工作環(huán)境為非結(jié)構(gòu)化的自然環(huán)境，在自然環(huán)境中存在著各種隨機(jī)因素，因此實(shí)現(xiàn)自然環(huán)境下采摘機(jī)器人對目標(biāo)的視覺精確定位有很大的難度[3-4]。當(dāng)前采摘機(jī)器人視覺技術(shù)的研究中，因視覺定位會(huì)受到自然環(huán)境中各種因素的干擾，特別是自然光造成視覺的識別誤差，因此一些采摘機(jī)器人的視覺技術(shù)研究選擇在溫室環(huán)境下進(jìn)行[5-6]。JIANG等[7]進(jìn)行了溫室環(huán)境下番茄、柑橘等的識別定位研究，采用雙目立體視覺技術(shù)獲取溫室內(nèi)果蔬的三維位置信息，實(shí)驗(yàn)結(jié)果表明，無論在順光或逆光環(huán)境下，該識別模型都可以識別出柑橘，正確識別率較高。文獻(xiàn)[8-9]中溫室黃瓜采摘機(jī)器人，分別對黃瓜和葉子的光譜學(xué)特性進(jìn)行分析，并根據(jù)光譜學(xué)特性差異對黃瓜進(jìn)行識別，實(shí)驗(yàn)結(jié)果表明黃瓜的識別正確率為83.3%。

在溫室環(huán)境下，減弱了自然光照對視覺識別結(jié)果的影響，但是不能完全避免自然光照的影響。針對這種情況，一些研究者進(jìn)行了夜間環(huán)境下采摘機(jī)器人的視覺技術(shù)研究[10-11]。LIU等[12]設(shè)計(jì)了夜間蘋果的采集試驗(yàn)，利用BP神經(jīng)網(wǎng)絡(luò)在RGB和HSI顏色空間訓(xùn)練樣本進(jìn)行蘋果圖像分割，該研究有效提高了自然環(huán)境中蘋果的識別，但是當(dāng)蘋果存在重疊情況，以及夜間產(chǎn)生較多陰影遮擋果實(shí)時(shí)會(huì)存在較大誤差。FU等[13]進(jìn)行了獼猴桃的夜間圖像識別研究，通過設(shè)計(jì)夜間照明及視覺系統(tǒng)來采集獼猴桃的圖像，在R-G顏色空間進(jìn)行獼猴桃的識別，試驗(yàn)結(jié)構(gòu)表明識別準(zhǔn)確率達(dá)到了88.3%。

世界上有三分之一的荔枝生產(chǎn)自我國南方，因此進(jìn)行荔枝采摘機(jī)器人的視覺研究，對農(nóng)業(yè)機(jī)械自動(dòng)化的發(fā)展有重要意義[14]。

已有荔枝視覺識別技術(shù)的研究主要集中在白天自然環(huán)境下，例如郭艾俠等[15]針對荔枝果與結(jié)果母枝的特點(diǎn)、光照與環(huán)境的特殊性及不確定性，提出了探索性分析與荔枝圖像識別的融合方法。熊俊濤等[16]針對不同光照條件的荔枝彩色圖像，采用Retinex圖像增強(qiáng)和H分量旋轉(zhuǎn)的方法處理后進(jìn)行分割。彭紅星等[17]提出了一種基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識別方法。這些研究中，荔枝視覺識別的精度很大程度受到了自然光照的影響，因此提高視覺的識別精確度，避免自然光的干擾是主要考慮因素之一。

本文在前人研究的基礎(chǔ)上，提出夜間荔枝的視覺識別方法，為夜間荔枝采摘機(jī)器人的視覺定位提供技術(shù)支持。通過對夜間荔枝圖像進(jìn)行顏色特征分析，確定合適的顏色模型進(jìn)行荔枝圖像分割，然后結(jié)合Otsu算法與模糊C均值聚類法進(jìn)行夜間荔枝果實(shí)圖像分割，實(shí)現(xiàn)夜間成熟荔枝果實(shí)快速準(zhǔn)確的識別，將為機(jī)器人夜間作業(yè)提供理論基礎(chǔ)，以及為采摘機(jī)器人的智能化發(fā)展提供技術(shù)支持。

1 材料與方法

1.1 視覺系統(tǒng)

本研究的視覺系統(tǒng)由CCD攝像機(jī)、LED燈、支架等硬件組成。CCD攝像機(jī)是維視公司生產(chǎn)的MV-E800C型，最大分辨率為3 312像素×2 496像素。LED光源是美國CREE公司生產(chǎn)的XREWHT-L1-Q5型燈珠，色溫5 700～7 000 K，光通量為93.9LM-100LM/W，典型視角90°，能在夜間環(huán)境下提供有效的穩(wěn)定光源。荔枝圖像的采集方式為：光源距荔枝果實(shí)500～1 000 mm，與攝像頭位于同一垂線，平行于拍攝方向。圖像采集的地點(diǎn)是廣東省農(nóng)業(yè)科學(xué)院荔枝園，時(shí)間是2016年6月25日—7月15日，荔枝品種是糯米糍，共采集526幅彩色圖像，圖像分辨率為2 992像素×2 000像素，荔枝圖像采集視覺系統(tǒng)示意圖如圖1所示。

圖1 荔枝圖像采集視覺系統(tǒng)示意圖Fig.1 Visual system diagram of litchi picture acquisition

為了比較白天和晚上采集的荔枝圖像，使用該視覺系統(tǒng)在同一天分別在白天自然光照下和夜間進(jìn)行荔枝圖像的采集。其中，白天在自然光照條件下采集圖像，夜間利用LED燈的光照條件進(jìn)行圖像采集并篩選出240幅白天荔枝圖像和240幅夜間荔枝圖像，如圖2所示。

圖2 白天和夜間的荔枝圖像Fig.2 Litchi pictures at daytime and nighttime

1.2 果實(shí)識別算法

利用圖像處理技術(shù)識別自然環(huán)境下果實(shí)的關(guān)鍵是確定合適的顏色模型。本研究對荔枝的彩色圖像進(jìn)行顏色特征分析，針對采集的白天與夜間的荔枝圖像，進(jìn)行顏色數(shù)據(jù)分析，根據(jù)生長環(huán)境中不同光照條件下荔枝果實(shí)、果梗、樹葉、枝桿的圖像數(shù)據(jù)，找出適合在夜間識別荔枝的顏色分量。然后使用所選分量對荔枝進(jìn)行識別，本研究的算法流程如圖3所示。

圖3 夜間荔枝識別算法流程圖Fig.3 Flow chart of litchi nighttime recognition algorithm

1.2.1圖像數(shù)據(jù)分析

圖4 荔枝不同部位在4種顏色模型下的各顏色分量箱線圖Fig.4 Various color component distribution graphs of different parts of litchi in four color models

本文選取了白天和夜間的荔枝果實(shí)、果梗和樹葉的圖像，在不同顏色模型(RGB、HSV、Lab、YIQ)下進(jìn)行對比分析，4個(gè)顏色模型的顏色分量箱線圖如圖4所示。由圖4可以發(fā)現(xiàn)，因?yàn)榘滋毂彻馀牡膱D像會(huì)變暗，順光產(chǎn)生光斑，導(dǎo)致白天背景(樹葉和果梗)灰度分布范圍較廣，而相比白天圖像在HSV、Lab和YIQ 3個(gè)顏色模型下的特征，夜間荔枝圖像中背景灰度分布范圍比白天小，荔枝灰度與背景灰度的重疊部分明顯比白天小。

同時(shí)對比RGB、HSV、Lab、YIQ 4個(gè)顏色模型，從圖4中可發(fā)現(xiàn)，RGB和HSV顏色模型下，無論是白天還是夜間，荔枝與背景的灰度在3個(gè)分量下都存在很明顯的重疊部分，在Lab顏色模型的a分量和YIQ顏色模型的I分量下荔枝與背景灰度重疊部分都較小，而在這2個(gè)分量下，夜晚荔枝灰度與背景灰度重疊部分又比白天小。分析夜間a分量和I分量圖像特征，在夜間a分量和I分量下果梗與荔枝灰度都有一點(diǎn)重疊部分，但相比之下I分量更少一點(diǎn)，并且I分量下樹葉和果?；叶确植挤秶萢分量小。另外從算法的實(shí)時(shí)性分析，RGB轉(zhuǎn)換為Lab顏色模型是非線性的，而RGB轉(zhuǎn)換為YIQ顏色模型是線性的，選擇YIQ顏色模型的算法運(yùn)行速度會(huì)相對較快。綜上所述，本研究選用YIQ顏色模型進(jìn)行夜間環(huán)境下的荔枝識別，并對YIQ顏色模型下的顏色特征進(jìn)行進(jìn)一步的分析。

選擇240幅夜間LED光照下的荔枝圖像進(jìn)行Y、I、Q顏色分量灰度的統(tǒng)計(jì)分析，得到了夜間荔枝果實(shí)、果梗和樹葉在Y、I、Q顏色分量的灰度均值范圍，如表1所示。從表1可得，夜間條件下荔枝果實(shí)I分量灰度分布區(qū)間為25～91，果梗的I分量灰度分布區(qū)間為14～26，樹葉的I分量灰度分布區(qū)間為0～16，這表明夜間環(huán)境下的荔枝圖像中果實(shí)與果梗、樹葉的I分量灰度平均值分布區(qū)域重疊很少，比較適合進(jìn)行荔枝果實(shí)圖像識別的算法分割，因此本文選擇YIQ顏色模型的I分量進(jìn)行夜間荔枝的識別。

表1 荔枝不同部位的YIQ顏色模型分量灰度統(tǒng)計(jì)Tab.1 Grayscale range of different parts of litchi inYIQ color model

1.2.2判斷圖像中存在的荔枝

在圖像分割之前首先要判斷圖像中是否有荔枝，在YIQ顏色模型中，荔枝果實(shí)、樹葉、枝桿的I分量直方圖如圖5所示。其中圖5a代表圖像中存在荔枝果實(shí)的I分量灰度分布情況，圖5b代表無荔枝果實(shí)圖像的I分量灰度分布情況，由圖5可發(fā)現(xiàn)，樹葉、枝桿的I分量像素?cái)?shù)主要集中在灰度小于25的區(qū)域，而灰度大于25的區(qū)域主要是荔枝果實(shí)的I分量像素?cái)?shù)，因此，根據(jù)I分量圖中灰度大于25的像素?cái)?shù)占整個(gè)I分量圖像像素?cái)?shù)的比例來判斷夜間圖像中是否存在荔枝。

本文選取攝像頭與目標(biāo)距離在500～1 000 mm內(nèi)采集的夜間荔枝圖像，進(jìn)行I分量直方圖的分析與統(tǒng)計(jì)，設(shè)定I分量圖像灰度大于25的像素?cái)?shù)為a，整個(gè)I分量灰度圖的像素?cái)?shù)為b，通過對100幅夜間荔枝圖像的統(tǒng)計(jì)，確定了當(dāng)滿足時(shí)，圖像中存在荔枝果實(shí)。

(1)

圖5 YIQ顏色空間的I分量圖像直方圖Fig.5 Histograms of image based on I component in YIQ color model

圖6 夜間荔枝識別效果Fig.6 Recognition effect of litchi in nighttime

1.2.3荔枝果實(shí)的識別算法

通過分析夜間荔枝圖像的灰度直方圖，選擇Otsu與FCM(Fuzzy C-means clustering algorithm)結(jié)合的方法進(jìn)行荔枝果實(shí)的識別。其實(shí)現(xiàn)過程為：

(1)荔枝圖像背景的去除。利用Otsu方法去除荔枝果實(shí)和果梗外的背景，獲得果實(shí)與果梗圖像，如圖6b所示。Otsu方法的基本思路是將灰度圖像分成兩組并計(jì)算兩組的方差，當(dāng)兩組之間的方差最大時(shí)，就以這個(gè)灰度為閾值分割圖像[18]。

(2)利用改進(jìn)的FCM方法進(jìn)行圖像分割，得到荔枝果實(shí)和果梗，最終得到荔枝果實(shí)圖像，如圖6c所示。傳統(tǒng)的FCM算法中聚類種子數(shù)是根據(jù)圖像灰度變化的，本文根據(jù)荔枝圖像I分量直方圖分布規(guī)律，對直方圖進(jìn)行波峰的檢測，根據(jù)波峰數(shù)來確定種子數(shù)，如果波峰為n，則種子數(shù)為n+1。通過分析夜間荔枝果實(shí)和果梗圖像，確定FCM算法的種子數(shù)，選擇固定值為2，從而提高FCM算法的效率。

1.2.4Hough圓檢測

對圖像分割得到的荔枝果實(shí)圖像進(jìn)行Hough圓檢測，確定果實(shí)串中的各個(gè)單獨(dú)果實(shí)。Hough圓檢測算法的關(guān)鍵是確定擬合圓的半徑范圍，才能實(shí)現(xiàn)精確快速的圓擬合[19]。為確定Hough圓擬合時(shí)半徑r的取值范圍，設(shè)計(jì)試驗(yàn)計(jì)算圓擬合半徑的取值范圍，其過程為：選取一顆中等大小荔枝，在距離攝像頭500～1 000 mm范圍內(nèi)，每隔50 mm采集1幅圖像，計(jì)算每幅圖像中荔枝果實(shí)半徑對應(yīng)的像素?cái)?shù)，最后根據(jù)半徑r與深度距離d的關(guān)系

(2)

同時(shí)結(jié)合圖像尺寸改變后的比例，得到最終Hough圓擬合取值的半徑范圍。

利用Canny算子進(jìn)行荔枝果實(shí)的邊緣檢測，得到荔枝果實(shí)串的邊緣圖。然后基于式(2)進(jìn)行Hough圓擬合半徑取值，對得到的荔枝邊緣圖像進(jìn)行處理，最終得到Hough圓擬合的各個(gè)荔枝果實(shí)，其中為了提高Hough變換的效率和精度，對Hough圓擬合算法進(jìn)行優(yōu)化，具體思路參考文獻(xiàn)[20]。如圖7所示，夜間荔枝圖像的Hough圓檢測結(jié)果表明此方法能準(zhǔn)確得到荔枝串的各個(gè)果實(shí)，實(shí)現(xiàn)夜間荔枝果實(shí)的有效識別。

圖7 Hough圓擬合結(jié)果Fig.7 Results of Hough circle fitting

2 結(jié)果與討論

2.1 荔枝果實(shí)的識別試驗(yàn)

本文設(shè)計(jì)了白天和夜間的荔枝圖像識別試驗(yàn)，隨機(jī)選擇夜間LED光照與白天自然光照的圖像各150幅。利用本文算法進(jìn)行荔枝識別試驗(yàn)，試驗(yàn)結(jié)果如表2所示。

因?yàn)槔笾κ浅纱L的，果實(shí)之間會(huì)存在重疊現(xiàn)象，因此荔枝果實(shí)圖像的識別正確率不能根據(jù)荔枝果實(shí)的正確識別個(gè)數(shù)來計(jì)算。本研究計(jì)算荔枝圖像中果實(shí)被準(zhǔn)確識別的標(biāo)準(zhǔn)為：被識別的荔枝果實(shí)像素?cái)?shù)占圖像中所有荔枝果實(shí)像素?cái)?shù)的百分比超過90%。在表2中，夜間荔枝圖像中有143幅荔枝果實(shí)的識別像素?cái)?shù)百分比超過90%，識別正確率為95.3%；以同樣的方法進(jìn)行白天荔枝識別準(zhǔn)確率的計(jì)算，白天150幅荔枝圖像中總共有109幅準(zhǔn)確識別的荔枝果實(shí)圖像，識別正確率為72.7%。

表2 荔枝識別試驗(yàn)結(jié)果Tab.2 Results of litchi recognition experiment

表2的試驗(yàn)結(jié)果表明：本文算法能有效判斷夜間自然環(huán)境中荔枝的存在狀態(tài)，指導(dǎo)采摘機(jī)器人進(jìn)行正確有效的作業(yè)。使用同一算法在白天識別荔枝的效果沒有夜間好，容易受周圍環(huán)境的影響，具體原因?yàn)椋孩侔滋觳杉膱D像中，地面的枯葉、背景中的近色物體顏色接近荔枝串，從而導(dǎo)致荔枝串與背景的分割誤差。②順光、逆光等不同的光照條件使荔枝串顏色改變，順光有明顯的白色光斑，逆光的果實(shí)呈黑色，均影響圖像識別的準(zhǔn)確性。在夜間環(huán)境下，周圍環(huán)境的影響大大減小，被燈光照射的荔枝串與背景能明顯區(qū)分，有效提高視覺識別的成功率。

夜間荔枝圖像識別失敗的主要原因有：①背景中如果有其它外侵光源，會(huì)影響荔枝圖像的采集效果，造成識別誤差，如圖8所示。②目標(biāo)與攝像機(jī)之間存在相對運(yùn)動(dòng)造成圖像采集模糊，產(chǎn)生識別誤差。而針對這些誤差可以采取的改進(jìn)措施有：保證夜間圖像采集環(huán)境的光源單一性，以及后續(xù)研究中進(jìn)行擾動(dòng)目標(biāo)的圖像處理算法的優(yōu)化。

圖8 周圍環(huán)境對夜間識別的影響Fig.8 Effect of environment on nighttime litchi recognition

2.2 算法性能分析

本文進(jìn)行了算法性能分析，隨機(jī)挑選150幅夜間圖像，對本文算法和FCM算法進(jìn)行性能分析，為對比2個(gè)算法分割的準(zhǔn)確性，先對這150幅圖像進(jìn)行人工標(biāo)記，計(jì)算荔枝像素?cái)?shù)，再計(jì)算2種算法分割后得到的荔枝像素?cái)?shù)，并計(jì)算2種算法的運(yùn)行時(shí)間，其中部分試驗(yàn)數(shù)據(jù)的統(tǒng)計(jì)結(jié)果如表3所示。經(jīng)過對試驗(yàn)結(jié)果的分析，用直接模糊C均值聚類分割150幅夜間荔枝圖像，平均面積偏差為13.6%，平均分割單幅圖像運(yùn)行時(shí)間為0.57 s。用本文算法分割平均面積偏差為4.7%，平均分割單幅圖像運(yùn)行時(shí)間為0.46 s。

表3 算法性能分析統(tǒng)計(jì)表Tab.3 Statistics of algorithm performance analysis

注：面積偏差=|算法分割果實(shí)面積-人工標(biāo)記果實(shí)面積|/人工標(biāo)記果實(shí)面積×100%。果實(shí)面積指荔枝像素?cái)?shù)的總和。

3 結(jié)論

(1)通過分析白天自然光和夜間LED燈光2種光照條件下采集的荔枝圖像，確定了夜間荔枝識別的可行性，選取了YIQ顏色模型進(jìn)行夜間荔枝識別，利用Otsu與FCM算法相結(jié)合的方法實(shí)現(xiàn)夜間荔枝果實(shí)的識別；設(shè)計(jì)了夜間荔枝的識別試驗(yàn)，結(jié)果表明識別的正確率為95.3%。

(2)對本文算法進(jìn)行了性能分析，試驗(yàn)結(jié)果表明該算法對夜間荔枝的識別有較好的實(shí)時(shí)性，夜間荔枝圖像識別的平均時(shí)間為0.46 s。

1 BAC C W, HEMMING J, HENTEN E J V. Stem localization of sweet-pepper plants using the support wire as a visual cue[J]. Computers and Electronics in Agriculture, 2014, 10: 111-120.

2 項(xiàng)榮, 應(yīng)義斌, 蔣煥煜. 田間環(huán)境下果蔬采摘快速識別與定位方法研究進(jìn)展[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2013, 44(11): 208-223. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20131137amp;flag=1amp;journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2013.11.037.

XIANG Rong, YING Yibin, JIANG Huanyu. Development of real-time recognition and localization methods for fruits and vegetables in field[J/OL]. Transactions of the Chinese Society for Agricultural Machinery，2013, 44(11): 208-223. (in Chinese)

3 BERENSTEIN R, SHAHAR O B, SHAPIRO A, et al. Grape clusters and foliage detection algorithms for autonomous selective vineyard sprayer[J]. Intelligent Service Robotics, 2010, 3(4): 233-243.

4 熊俊濤, 鄒湘軍, 劉念,等.基于機(jī)器視覺的荔枝果實(shí)采摘時(shí)品質(zhì)檢測技術(shù)[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2014,45(7):54-60. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140709amp;flag=1amp;journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2014.07.009.

XIONG Juntao, ZOU Xiangjun, LIU Nian, et al. Fruit quality detection based on machine vision technology when picking litchi[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2014,45(7):54-60. (in Chinese)

5 BULANON D M, KATAOKA T. Fruit detection system and an end effector for robotic harvesting of Fuji apples[J]. Agricultural Engineering International: the CIGR Journal, 2010, 12(1): 203-210.

6 井利民, 何東健, 張建鋒. 基于ARM 的蘋果果實(shí)圖像識別與定位技術(shù)研究[J]. 微計(jì)算機(jī)信息, 2009, 25(20): 87-89.

JING Limin, HE Dongjian, ZHANG Jianfeng. Research on technologies of apple fruit image recognition and location based on ARM[J]. Microcomputer Information, 2009, 25(20): 87-89. (in Chinese)

7 JIANG Huanyu，PENG Yongshi，YING Yibin. Measurement of 3-D locations of ripe tomato by binocular stereo vision for tomato harvesting[C]∥2008 ASABE International Meeting, ASABE Paper 084880,2008.

8 YUAN Ting, LI Wei, FENG Qingchun, et al. Spectral imaging for greenhouse cucumber fruit detection based on binocular stereovision[C]∥2010 ASABE International Meeting, ASABE Paper 1009345, 2010.

9 紀(jì)超, 馮青春, 袁挺,等. 溫室黃瓜采摘機(jī)器人系統(tǒng)研制及性能分析[J]. 機(jī)器人, 2011(6): 726-730.

JI Chao, FENG Qingchun, YUAN Ting, et al. Development and performance analysis on cucumber harvesting robot system in greenhouse[J]. Robot, 2011(6): 726-730. (in Chinese)

10 趙德安, 劉曉洋, 陳玉,等.蘋果采摘機(jī)器人夜間識別方法[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(3):15-22.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150303amp;flag=1amp;journal_id=jcsam. DOI：10.6041/j.issn.1000-1298.2015.03.003.

ZHAO Dean, LIU Xiaoyang, CHEN Yu, et al. Image recognition at night for apple picking robot[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2015,46(3):15-22. (in Chinese)

11 項(xiàng)榮, 段鵬飛.番茄采摘機(jī)器人夜間照明系統(tǒng)設(shè)計(jì)與試驗(yàn)[J/OL].農(nóng)業(yè)機(jī)械學(xué)報(bào),2016,47(7):8-14.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20160702amp;flag=1amp;journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2016.07.002.

XIANG Rong, DUAN Pengfei. Design and experiment of night lighting system for tomato picking robot[J/OL]. Transactions of the Chinese Society for Agricultural Machinery,2016,47(7):8-14. (in Chinese)

12 LIU Xiangyang, ZHAO Dean, JIA Weikang, et al. A method of segmenting apples at night based on color and position information[J]. Computers and Electronics in Agriculture, 2016,112: 118-123.

13 FU Longsheng, WANG Bin, CUI Yongjie, et al. Kiwifruit recognition at nighttime using artificial lighting based on machine vision[J]. International Agriculture and Biological Engineering, 2015(4):52-59.

14 熊俊濤, 鄒湘軍, 陳麗娟,等. 荔枝采摘機(jī)械手果實(shí)識別與定位技術(shù)[J]. 江蘇大學(xué)學(xué)報(bào):自然科學(xué)版, 2012, 33(1): 1-5．

XIONG Juntao, ZOU Xiangjun, CHEN Lijuan, et al. Fruit recognition and positioning technology of litchi picking manipulator[J]. Journal of Jiangsu University: Natural Science Edition, 2012, 33(1): 1-5. (in Chinese)

15 郭艾俠, 鄒湘軍, 朱夢思,等. 基于探索性分析的荔枝果及結(jié)果母枝顏色特征分析與識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2013, 29(4):191-198.

GUO Aixia, ZOU Xiangjun, ZHU Mengsi, et al. Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis[J]. Transactions of the CSAE, 2013, 29(4):191-198. (in Chinese)

16 熊俊濤, 鄒湘軍, 王紅軍,等. 基于Retinex圖像增強(qiáng)的不同光照條件下的成熟荔枝識別[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2013, 29(12):170-178.

XIONG Juntao, ZOU Xiangjun, WANG Hongjun, et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the CSAE, 2013, 29(12):170-178. (in Chinese)

17 彭紅星, 鄒湘軍, 陳麗娟,等. 基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識別[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(4):61-68.http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140410amp;flag=1amp;journal_id=jcsam.DOI：10.6041/j.issn.1000-1298.2014.04.010.

PENG Hongxing, ZOU Xiangjun, CHEN Lijuan, et al. Fast recognition of multiple color targets of litchi image in field environment based on double Otsu algorithm[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(4):61-68. (in Chinese)

18 OTSU N. A threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man and Cybernetics, 1979, 9(1): 62-66.

19 GALAMBOS C, KITTLER J, MATAS J. Gradient-based progressive probabilistic Hough transform[J]. IEEE Vision Image and Signal Processing, 2002, 148(3): 158-165.

20 黃永林, 葉玉堂, 陳鎮(zhèn)龍,等. 一種新的快速Hough變換圓檢測方法[J].電子測量與儀器學(xué)報(bào),2010，24(9): 837-841.

HUANG Yonglin, YE Yutang, CHEN Zhenlong, et al. New method of fast Hough transform for circle detection[J]. Journal of Electronic Measurement and Instrument, 2010，24(9): 837-841. (in Chinese)

VisualTechnologyofPickingRobottoDetectLitchiatNighttimeunderNaturalEnvironment

XIONG Juntao LIN Rui LIU Zhen HE Zhiliang YANG Zhen’gang BU Rongbin

(CollegeofMathematicsandInformatics,SouthChinaAgriculturalUniversity,Guangzhou510642,China)

Fruit and vegetable production occupy an important position in agriculture with wide market and huge economic benefit. Currently, due to the diversity of picking object, most of fruit harvesting in our country depends on manual work. It’s not only time-consuming, but also technic-demanding. The labor cost of harvesting tends to occupy one-third to one-half of the whole labor cost in fruit production process. Thus, fruit harvesting robot needs to be developed to increase the efficiency and lower the costs. Since the working task of harvesting robot grows in natural environment with various shapes and complex structure, visual system needs to be built to recognize the target. This article focusing on litchi picking process, a visual system for litchi images was built and used to recognize litchi. Firstly, a visual system for litchi picture acquisition was built and a method of nighttime litchi recognition and picking point calculation was proposed. For comparison, pictures of same cluster of litchis were captured at daytime with different natural illumination and nighttime with artificial illumination. By analyzing color features of same litchi picture in different color models, the YIQ color model was proved to be the model with best practicability for nighttime litchi recognition and picking point calculation. The background of nighttime picture was firstly removed using Otsu algorithm, then fruit was segmented from stem using Fuzzy C-means clustering algorithm. Circle detection was performed to recognize fruits respectively using Hough circle fitting method. The experiments showed that nighttime litchi recognition accuracy was 95.3% with the average recognition time of 0.46 s, and the method for litchi recognition at night time had better accuracy and higher real-time. This research provided technical support for visual localization technology of litchi picking robots. Based on machine vision, the recognition of litchi fruit was realized. It could provide technical support for litchi picking robot, bring practical significance with high harvest efficiency and low labor cost.

litchi; picking robot; recognition; nighttime image; Hough circle detection

10.6041/j.issn.1000-1298.2017.11.004

TP391.41

A

1000-1298(2017)11-0028-07

2017-04-07

2017-04-30

國家自然科學(xué)基金項(xiàng)目(31201135、31571568)、廣東省科技計(jì)劃項(xiàng)目(2015A020209123)和廣州市科技計(jì)劃項(xiàng)目(201506010081)

熊俊濤(1981—)，男，副教授，主要從事農(nóng)業(yè)機(jī)器人和智能設(shè)計(jì)與制造研究，E-mail： xiongjt2340@163.com