雷歡 吳亮生,2 焦?jié)申?陳再勵(lì) 馬敬奇 鐘震宇

特約論文

果園環(huán)境中成熟楊梅自動(dòng)檢測方法研究*

雷歡1吳亮生1,2焦?jié)申?陳再勵(lì)1馬敬奇1鐘震宇1

（1.廣東省科學(xué)院智能制造研究所 廣東省現(xiàn)代控制技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東 廣州 510070 2.仲愷農(nóng)業(yè)工程學(xué)院，廣東 廣州 510070）

針對果園環(huán)境中自動(dòng)摘果機(jī)視覺系統(tǒng)受光照、遮擋等影響，導(dǎo)致成熟楊梅檢測準(zhǔn)確率低的問題，提出一種基于機(jī)器視覺的成熟楊梅自動(dòng)檢測方法。首先，利用RGB攝像頭采集果園環(huán)境中的楊梅圖像，并采用基于YUV顏色空間Y分量的限制對比度自適應(yīng)直方圖均衡化算法對采集圖像進(jìn)行處理，以補(bǔ)償光照對成像質(zhì)量的影響；然后，采用“G-R”，“2R-G-B”色差法分別提取背景和前景區(qū)域，并通過形態(tài)學(xué)、區(qū)域生長等操作，建立基于OneCut算法的前景、背景區(qū)域標(biāo)記控制點(diǎn)集，從而自動(dòng)分割成熟楊梅區(qū)域；最后，針對重疊楊梅區(qū)域采用標(biāo)記控制的分水嶺變換方法與凸殼理論進(jìn)行果實(shí)分離，實(shí)現(xiàn)每顆果實(shí)區(qū)域的準(zhǔn)確定位。通過試驗(yàn)驗(yàn)證：該方法能準(zhǔn)確檢測果園環(huán)境中成熟的楊梅果實(shí)，平均準(zhǔn)確率為93.5%，平均召回率為90.6%，具有一定的實(shí)用價(jià)值。

果園環(huán)境；成熟楊梅檢測；限制對比度自適應(yīng)直方圖均衡化算法；OneCut；分水嶺變換

0　引言

楊梅成熟期較短，且果實(shí)成熟后極易腐爛與落果，及時(shí)采摘是降低落果損失、提升果品的必然手段。隨著計(jì)算機(jī)和自動(dòng)控制技術(shù)的快速發(fā)展，采用自動(dòng)機(jī)械采摘方式可有效節(jié)約成本、提高采摘效率與果實(shí)品質(zhì)、提升果農(nóng)收入。而對成熟楊梅進(jìn)行準(zhǔn)確檢測，是實(shí)現(xiàn)楊梅自動(dòng)采摘的前提。

目前，基于機(jī)器視覺的自動(dòng)摘果機(jī)已逐步應(yīng)用于農(nóng)業(yè)生產(chǎn)[1]，然而因果園環(huán)境中光照強(qiáng)度變化、果實(shí)成簇、枝葉遮擋等因素影響，自動(dòng)摘果機(jī)視覺系統(tǒng)存在果實(shí)檢測準(zhǔn)確率低的問題，制約了其在楊梅果園的實(shí)際應(yīng)用。自動(dòng)摘果機(jī)的研究主要是針對果實(shí)的顏色、形狀、紋理等單個(gè)或多個(gè)生物特征的組合[2-4]。從圖像處理的角度分析，果實(shí)的生物特征會因自然光照的變化引起光斑和陰影，導(dǎo)致果實(shí)、葉子和背景顏色發(fā)生變化，從而增加果實(shí)檢測的錯(cuò)誤率。針對自然光照的影響，WANG C等提出一種改進(jìn)的小波變換和基于Retinex的圖像增強(qiáng)算法，突出在各種光照條件下的圖像，并使用K-均值聚類分割果實(shí)區(qū)域[3]；XU L等利用全局同態(tài)濾波對光照分布不均勻的圖像進(jìn)行圖像增強(qiáng)，取得一定的識別效果[4]；趙德安等提出一種改進(jìn)的夜間R-G色差分割方法，分割潛在的蘋果目標(biāo)區(qū)域，準(zhǔn)確率達(dá)83.7％[5]；Si Y等利用色差和色差比的方法識別蘋果目標(biāo)區(qū)域，再結(jié)合隨機(jī)圓環(huán)法和匹配算法定位蘋果[6]；WANG Q等在晚上使用人造光源建立圖像采集系統(tǒng)，從而在均勻光線下，精準(zhǔn)識別紅色蘋果。近幾年基于深度學(xué)習(xí)的果實(shí)檢測方法也逐漸流行，如XIONG J等提出一種基于深度學(xué)習(xí)的樹上青芒果檢測方法，可較準(zhǔn)確檢測自然環(huán)境下的芒果果實(shí)[8]。雖然基于深度學(xué)習(xí)的方法能獲得較好性能，但其訓(xùn)練所需的各種條件環(huán)境下的樣本量較大，而實(shí)際應(yīng)用中難以采集，且算法的訓(xùn)練和推理很大程度依賴于高配置硬件設(shè)備。

近十年，專家學(xué)者對如何準(zhǔn)確識別水果進(jìn)行了大量研究，然而針對自然光照條件下果園環(huán)境中成熟楊梅果實(shí)分割與檢測的研究少之又少。本文針對成熟楊梅的檢測，提出一種基于機(jī)器視覺的果園環(huán)境中成熟楊梅的自動(dòng)檢測方法。在自然光照條件下，首先，對楊梅圖像進(jìn)行局部自適應(yīng)圖像增強(qiáng)；然后，采用色差法提取前景和背景區(qū)域，并利用形態(tài)學(xué)、區(qū)域生長等操作生成用于分割的標(biāo)記控制點(diǎn)；最后，結(jié)合OneCut算法和分水嶺變換方法，提取每顆成熟楊梅果實(shí)區(qū)域，實(shí)現(xiàn)果園環(huán)境中成熟楊梅的準(zhǔn)確檢測。

1　成熟楊梅檢測流程

果園環(huán)境中成熟楊梅的檢測流程如圖1所示。

圖1 成熟楊梅檢測方法流程圖

果園環(huán)境中成熟楊梅的檢測流程主要包括4部分：1）局部自適應(yīng)圖像增強(qiáng)，基于YUV顏色空間Y分量，采用限制對比度自適應(yīng)直方圖均衡化（contrast limited adaptive histogram equalization, CLAHE）算法對楊梅圖像進(jìn)行局部自適應(yīng)圖像增強(qiáng)，以補(bǔ)償自然場景下光照影響；2）成熟楊梅區(qū)域估計(jì)，通過RGB顏色空間通道色差法提取圖像前景和背景區(qū)域，實(shí)現(xiàn)成熟楊梅區(qū)域初步提??；3）成熟楊梅區(qū)域分割，利用形態(tài)學(xué)和區(qū)域生長法對前景和背景區(qū)域進(jìn)行標(biāo)記，采用標(biāo)記控制的OneCut算法對楊梅圖像進(jìn)行處理，實(shí)現(xiàn)成熟楊梅區(qū)域分割；4）單顆楊梅果實(shí)分離，采用分水嶺變換方法對重疊果實(shí)進(jìn)行分離，并利用凸殼運(yùn)算對果實(shí)缺失區(qū)域進(jìn)行估計(jì)，實(shí)現(xiàn)楊梅檢測。

2 楊梅圖像光照補(bǔ)償

在果園環(huán)境中采集數(shù)據(jù)時(shí)，楊梅圖像質(zhì)量會受光照不均、拍攝角度等條件影響。在處理光照分布不均勻的圖像時(shí)，傳統(tǒng)直方圖均衡化算法可能使圖像部分區(qū)域“過度曝光”，而CLAHE算法在補(bǔ)償光照影響的同時(shí)改善局部過度曝光問題。該算法將圖像分割為大小相同的多個(gè)子塊，對每個(gè)子塊進(jìn)行直方圖均衡化，即設(shè)置裁剪像素，并將超出設(shè)定像素范圍的灰度值均勻分配到各像素點(diǎn)，從而改善圖像灰度值分配不均的情況，提高圖像清晰度。本文為了不改變圖像色彩信息而改善圖像亮度，僅提取YUV顏色空間的Y分量用于圖像增強(qiáng)，具體算法過程如下：

1）將采集的RGB圖像轉(zhuǎn)換為YUV顏色空間圖像，提取YUV圖像中代表亮度的Y通道；

2）將Y通道圖像劃分為大小相同的若干子塊，并對分割好的每個(gè)子塊進(jìn)行直方圖裁剪，計(jì)算該子塊的像素平均值，如式(1)所示；

3）對比度受限值計(jì)算公式為

5）利用式(4)找出裁剪過后超出設(shè)定像素范圍的像素值，并重新分配；

6）將子塊進(jìn)行直方圖均衡化，并利用線性差值算法解決子塊間產(chǎn)生的影響；

3 成熟楊梅分割與定位

果園中采集的楊梅圖像一般包含幾種遮擋的自然場景，如樹葉、樹枝、樹干、草地、天空等。雖然可利用單個(gè)顏色分量或各個(gè)顏色分量的特征關(guān)系進(jìn)行圖像分割而得到不同目標(biāo)，但楊梅果實(shí)面積偏小且生長位置眾多，導(dǎo)致圖像背景中也存在形態(tài)各異的楊梅，采用簡單的顏色分割無法在不改變前景區(qū)域楊梅形態(tài)的同時(shí)去除背景的“楊梅噪點(diǎn)”。TANG M提出的OneCut算法基于圖論分割方法[9]，具有反映全局圖像屬性的能力[10]，通過使用一次圖切割即可獲得硬分割結(jié)果。OneCut算法采用快速全局最優(yōu)二元分割技術(shù)，明確最小化目標(biāo)和背景顏色分布之間的表觀重疊。提供一個(gè)包圍感興趣目標(biāo)的矩形包圍盒，矩形包圍盒外面的像素使用硬性約束分配為背景。采用一次圖切割最小化公式（式(5)）表達(dá)的能量函數(shù)，實(shí)現(xiàn)目標(biāo)分割。

圖2 楊梅果實(shí)的色差分割圖

圖3 楊梅前景區(qū)域分割與定位示意圖

楊梅因聚集生長，導(dǎo)致圖像中的楊梅有重疊或遮擋情況發(fā)生。分水嶺變換是基于拓?fù)淅碚摰臄?shù)學(xué)形態(tài)學(xué)的分割方法，對微弱邊緣具有良好的響應(yīng)。但傳統(tǒng)分水嶺算法對圖像中的噪聲、物體表面細(xì)微的灰度變化，會產(chǎn)生過度分割現(xiàn)象。本文采用標(biāo)記控制的分水嶺變換[11]進(jìn)行單顆楊梅果實(shí)分割，其中前景目標(biāo)的標(biāo)記控制點(diǎn)是從前景區(qū)域找到局部極大值而得。針對因遮擋不全的果實(shí)采用凸殼理論進(jìn)行處理，最終實(shí)現(xiàn)每顆成熟楊梅位置的精準(zhǔn)檢測。

4　實(shí)驗(yàn)及結(jié)果分析

在2018年5月楊梅成熟期，用手機(jī)拍攝廣州從化某天然楊梅果園圖像作為實(shí)驗(yàn)圖像。果園中楊梅樹均為規(guī)則種植，在不同天氣時(shí)距離楊梅果實(shí)15 cm ～ 35 cm處采集圖像，圖像分辨率為3264×2448，包括遮擋和光照不均等情況的成熟及非成熟楊梅圖像。實(shí)驗(yàn)在Windows10操作系統(tǒng) Visual Studio Code環(huán)境下，基于python-opencv 和numpy開源庫，采用python語言編程完成。實(shí)驗(yàn)平臺硬件配置：Intel(R) Core(TM) i7-9750H；16.0 GB內(nèi)存；Nvidia Geforce GTX 1660 Ti。

為驗(yàn)證本文方法的有效性，對成熟楊梅果實(shí)檢測質(zhì)量進(jìn)行定量客觀評價(jià)，采用準(zhǔn)確率（precision）和召回率（recall）和F-measure作為衡量算法優(yōu)劣的評價(jià)指標(biāo)[12]，其計(jì)算公式為

由于人工標(biāo)記的成熟楊梅真值圖像是根據(jù)楊梅在圖中的實(shí)際呈現(xiàn)所標(biāo)記，不會對遮擋成熟楊梅區(qū)域進(jìn)行估計(jì)標(biāo)記，因此本文方法的性能測試是以分水嶺操作后、凸殼運(yùn)算前的二值圖像與人工標(biāo)記的真值圖像進(jìn)行計(jì)算，以客觀反映算法分割效果。為評估與對比成熟楊梅檢測性能，將本文方法分別與基于直方圖均衡化與色差圖的OneCut分割方法（簡稱HCO）、基于CLAHE與色差圖的分水嶺分割方法（簡稱CCW）進(jìn)行對比，其性能測試結(jié)果如表1所示。其中，果實(shí)序號分別為圖2(a)、圖2(b)中圖像橫坐標(biāo)方向上成熟楊梅的排序號。

表1 實(shí)驗(yàn)方法的性能測試結(jié)果

由表1可以看出：相比于HCO，本文方法的平均準(zhǔn)確率、平均召回率分別高出4.4%，2.8%，可知利用CLAHE進(jìn)行光照補(bǔ)償后，改善了楊梅果實(shí)區(qū)域圖像質(zhì)量，有利于后續(xù)成熟楊梅分割；相比于CCW，本文方法的平均準(zhǔn)確率提升了約2%，且平均召回率高出15.3%，明顯優(yōu)于CCW；結(jié)合圖3所示，可知利用基于標(biāo)記控制點(diǎn)的OneCut算法進(jìn)行自動(dòng)分割處理后，能明顯改善果實(shí)邊界較模糊的成熟楊梅尤其是略帶黃綠色的成熟楊梅區(qū)域的分割效果，提升成熟楊梅檢測方法的適用性。

5　結(jié)語

為了自動(dòng)水果采摘系統(tǒng)能夠準(zhǔn)確識別成熟楊梅，本文設(shè)計(jì)一種果園環(huán)境中基于機(jī)器視覺的成熟楊梅自動(dòng)檢測方法。首先，利用基于YUV顏色空間Y分量的CLAHE，增強(qiáng)原始圖像對比度，減弱光照噪聲對成熟楊梅圖像質(zhì)量的影響；其次，利用色差法分別得到前景和背景標(biāo)記圖，結(jié)合基于標(biāo)記控制點(diǎn)的OneCut算法自動(dòng)提取更精準(zhǔn)的前景區(qū)域，有效避免背景中未成熟楊梅果實(shí)、枝葉遮擋等干擾；最后，通過試驗(yàn)驗(yàn)證該方法的有效性，可在果園環(huán)境中有效檢測并分割出成熟楊梅，平均準(zhǔn)確率達(dá)93.5%，平均召回率達(dá)90.6%，具有較強(qiáng)的魯棒性和適用性，可用于成熟楊梅自動(dòng)采摘檢測，且對于其他果實(shí)分割與檢測具有一定的借鑒意義。

[1] LINKER R, COHEN O, NAOR A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2011, 81: 45-57.

[2] WEI X, JIA K, LAN J, et al. Automatic method of fruit object extraction under complex agricultural background for vision system of fruit picking robot[J]. Optik-International Journal for Light and Electron Optics, 2014,125(19):5684-5689.

[3] WANG C, TANG Y, ZOU X, et al. A robust fruit image segmentation algorithm against varying illumination for vision system of fruit harvesting robot[J]. Optik-International Journal for Light and Electron Optics, 2017, 131: 626-631.

[4] XU L, LV J. Recognition method for apple fruit based on SUSAN and PCNN[J]. Multimedia Tools and Applications, 2018, 77(6):7205-7219.

[5] 趙德安,劉曉洋,陳玉,等.果樹采摘機(jī)器人夜間識別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2015,46(3):15-22.

[6] SI Y, LIU G, FENG J. Location of apples in trees using stereoscopic vision[J]. Computers and Electronics in Agriculture, 2015, 112:68-74.

[7] WANG Q, NUSKE S, BERGERMAN M, et al. Automated crop yield estimation for apple orchards[C]//Proceedings of International Symposium of Experimental Robotics. Springer International Publishing, 2013,88: 745-758.

[8] 熊俊濤,劉振,林睿,等.自然環(huán)境下樹上綠色芒果的無人機(jī)視覺檢測技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào),2018,4:45-52.

[9] TANG M, GORELICK L, VEKSLER O, et al. GrabCut in One Cut[C]//International Conference on Computer Vision, Sydney: IEEE, 2013:1769-1776.

[10] CAMILUS K S, GOVINDAN V K. A review on graph based segmentation[J]. International Journal of Image Graphics & Signal Processing, 2012, 4(5):1-13.

[11] JUNG C, KIM C. Segmenting clustered nuclei using h-minima transform-based marker extraction and contour parameterization[J]. IEEE Transactions on Biomedical Engineering, 2010, 57(10), 2600-2604.

[12] CHANG H H, ZHUANG A H, VALENTINO D J, et al. Performance measure characterization for evaluating neuroimage segmentation algorithms[J]. Neuroimage, 2009, 47(1):122-135.

Study on Automatic Detection Method of Mature Bayberry in Orchard Environment

Lei Huan1Wu Liangsheng1,2Jiao Zeyu1Chen Zaili1Ma Jingqi1Zhong Zhenyu1

(1.Guangdong Key Laboratory of Modern Control Technology, Institute of Intelligent Manufacturing, Guangdong Academy of Science, Guangzhou 510070, China 2.Zhongkai University of Agriculture and Engineering, Guangzhou 510225, China)

In view of the problem that the vision system of the automatic fruit picker in the natural environment of the orchard is affected by the light, occlusion and other factors, which leads to the low detection accuracy of mature bayberry, An automatic detection method of mature bayberry based on machine vision is proposed. First of all, RGB camera is used to collect bayberry image in orchard environment. The input image is processed by contrast limited adaptive histogram equalization (CLAHE) based on Y component of YUV color space to compensate the influence of light on image quality. Then, the "G-R" and "2R-G-B" color difference methods are used to extract the background region and foreground region respectively. Based on the operations of morphology and region growth, the set of control points of foreground and background regions is established, and the region of mature bayberry fruit in natural environment is segmented automatically by OneCut segmentation algorithm. Finally, the watershed transform method and convex hull theory are used to segment the overlapped fruit, so that each arbutus fruit area can be located accurately. The experiment results show that the method can accurately detect the mature bayberry fruit in orchard environment, with an average precision of 93.5% and an average recall rate of 90.6%, which has a certain practical value.

orchard natural environment; mature bayberry detection; CLAHE; OneCut; watershed transformation

廣州市科技計(jì)劃項(xiàng)目（202002020063）；廣東省級鄉(xiāng)村振興戰(zhàn)略專項(xiàng)資金項(xiàng)目（2019KJ138）。

雷歡，男，1987年生，碩士，工程師，主要研究方向：機(jī)器視覺、人工智能。

吳亮生，男，1987年生，在讀碩士，工程師，主要研究方向：機(jī)器視覺、人工智能。

焦?jié)申?，男?991年生，博士，助理研究員，主要研究方向：機(jī)器視覺、人工智能。

陳再勵(lì)，男，1989年生，博士，工程師，主要研究方向：安全工程、人工智能

馬敬奇（通信作者），男，1988年生，碩士，工程師，主要研究方向：機(jī)器視覺、人工智能。E-mail: majingqiauto123@126.com

鐘震宇，男，1971年生，博士，研究員，主要研究方向：運(yùn)動(dòng)控制與機(jī)器視覺。

S225

A

1674-2605(2021)03-0002-07

10.3969/j.issn.1674-2605.2021.03.002