江梅 孫颯爽 何東健 宋懷波

摘? ?要：自然場景下蘋果目標(biāo)的精確識別與定位是智慧農(nóng)業(yè)信息感知與獲取領(lǐng)域的重要內(nèi)容。為了解決自然場景下蘋果目標(biāo)識別與定位易受枝葉遮擋的問題，在K-means聚類分割算法的基礎(chǔ)上，提出了基于凸殼原理的目標(biāo)識別算法，并與基于去偽輪廓的目標(biāo)識別算法和全輪廓擬合目標(biāo)識別算法作了對比。基于凸殼原理的目標(biāo)識別算法利用了蘋果近似圓形的形狀特性，結(jié)合K-means算法與最大類間方差算法將果實與背景分離，由凸殼原理得到果實目標(biāo)的凸殼多邊形，對凸殼多邊形進(jìn)行圓擬合，標(biāo)定出果實位置。為驗證算法有效性，對自然場景下的157幅蘋果圖像進(jìn)行了測試，基于凸殼原理的目標(biāo)識別算法、基于去偽輪廓的目標(biāo)識別方法和全輪廓擬合目標(biāo)識別方法的重疊率均值分別為83.7%、79.5%和70.3%，假陽性率均值分別為2.9%、1.7%和1.2%，假陰性率均值分別為16.3%、20.5%和29.7%。結(jié)果表明，與上面兩種對比算法相比較，基于凸殼原理的目標(biāo)識別算法識別效果更好且無識別錯誤的情況，該算法可為自然環(huán)境下的果實識別與分割問題提供借鑒與參考。

關(guān)鍵詞：蘋果識別;遮擋目標(biāo);凸殼原理;偽輪廓;K-means聚類算法

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ? ? ?文章編號：201903-SA003

江? 梅， 孫颯爽， 何東健， 宋懷波. 融合K-means聚類分割算法與凸殼原理的遮擋蘋果目標(biāo)識別與定位方法[J].智慧農(nóng)業(yè)， 2019， 1（2）： 45-54.

Jiang M， Sun S， He D， Song H. Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm and convex hull theory[J]. Smart Agriculture， 2019， 1（2）： 45-54.（in Chinese with English abstract）

1? 引言

果實目標(biāo)的精準(zhǔn)識別是實現(xiàn)農(nóng)業(yè)機(jī)械智能化的重要前提[1，2]。在自然場景下，果實目標(biāo)多處于枝葉遮擋環(huán)境之中，導(dǎo)致目標(biāo)缺失，識別與定位難度較大，實現(xiàn)自然場景下遮擋果實的準(zhǔn)確識別與定位，已成為智能機(jī)械采摘作業(yè)發(fā)展的重要研究方向[3-5]。

國內(nèi)外眾多學(xué)者在果實目標(biāo)識別領(lǐng)域已經(jīng)開展了大量的研究工作，現(xiàn)有識別算法基本可以分為兩類。一是利用果實自身顏色特性，結(jié)合灰度閾值分割的算法。例如黃小玉等[6]提出判別區(qū)域特征集成算法與顏色等相結(jié)合的識別算法，有效解決了近景色與果葉遮擋問題，識別率達(dá)91.7%;錢建平等[7]提出一種基于R/B值和V值的混合顏色空間識別算法，在小幅度降低識別成功率的同時大幅度降低誤識率，誤識率降低6.4%;針對果葉大面積遮擋，Wang等[8]提出了一種基于凸殼原理的蘋果目標(biāo)識別算法;司永勝等[9]利用歸一化紅綠色差（R-G）/（R+G）和隨機(jī)圓環(huán)算法對不同光照下蘋果圖像進(jìn)行識別分割，識別率高達(dá)92%;熊俊濤等[10]提出了基于雙邊濾波的Retinex圖像增強(qiáng)并結(jié)合HSI和YCbCr顏色模型的分割算法，避免光照對結(jié)果的影響，分割正確率為90.9%。二是利用形狀紋理等屬性特點實現(xiàn)識別定位。李寒等[11]結(jié)合果實紋理和形狀特性提出了基于FCNN和霍夫圓變換的識別算法，可有效應(yīng)對光線、遮擋等影響，檢測正確率為86.7%;Sun等[12]提出融合模糊集理論與流形排序法的方法，針對枝葉遮擋、果實與背景色相近的果實進(jìn)行識別，準(zhǔn)確率達(dá)90.87%;Seng和Mirisaee[13]提出一種基于最近鄰分類并結(jié)合果實形狀、大小及顏色的識別算法，識別準(zhǔn)確率較高;Rakun等[14]將果實顏色、紋理、3D形狀三種特性結(jié)合實現(xiàn)果實目標(biāo)識別定位;宋懷波等[15]提出一種基于凸殼原理的遮擋蘋果目標(biāo)識別算法，平均定位誤差為4.28%;楊慶華等[16]采用Hough變換結(jié)合果實顏色與形狀特征實現(xiàn)果實目標(biāo)識別，識別成功率為90%。

自然場景下的果實識別與定位除了易受枝葉遮擋干擾外，還會受到光照、果實成熟程度等因素影響。大部分研究僅針對于其中某個或某兩個因素開展，算法的環(huán)境適應(yīng)性較低。鑒于此，本研究提出基于凸殼原理結(jié)合K-means顏色聚類分割算法的識別方法，該算法不僅可應(yīng)用于枝葉遮擋的情況，還可對受到光照及著色不均等多重因素影響的果實進(jìn)行識別與定位。

2? 測試圖像及算法運行環(huán)境說明

為測試算法有效性和環(huán)境適應(yīng)性，采集了157幅圖像作為測試樣本。在自然條件下進(jìn)行果實識別，影響因素主要為光照、顏色（成熟度）、背景和枝葉遮擋程度。測試圖像涵蓋這4種影響因素，具體分類如表1所示。光照因素按照果實表面有無高亮與陰影區(qū)域進(jìn)行分類;顏色與成熟度相關(guān)，深紅色和紅色都屬于著色良好，蘋果表面含有青色或白色區(qū)域?qū)儆谥煌耆?果實輪廓或果實表面被遮擋三分之一，屬于嚴(yán)重遮擋;果實背景按照枝葉、天空、土壤歸為三類。

本研究算法運行于Microsoft Windows 10操作系統(tǒng)，Matlab R2016a版本軟件，內(nèi)存12G，硬盤空間239G。

3? 基于凸殼原理的目標(biāo)識別算法

基于凸殼原理的目標(biāo)識別算法包括蘋果目標(biāo)提取、卷包裹凸殼算法處理和圓擬合定位三部分。首先提取蘋果目標(biāo)，利用凸殼原理處理得到更接近真實果實面積的凸殼多邊形，最后使用最小二乘法對其進(jìn)行圓擬合，實現(xiàn)果實目標(biāo)定位。

3.1? 蘋果目標(biāo)提取方法研究

蘋果目標(biāo)提取是進(jìn)行目標(biāo)識別定位的前期準(zhǔn)備。為了獲取果實目標(biāo)，對原圖進(jìn)行圖像增強(qiáng)后，利用K-means聚類算法得到目標(biāo)的大致位置，然后進(jìn)行目標(biāo)預(yù)處理操作達(dá)到去除冗雜干擾信息的目的。

3.1.1? 圖像增強(qiáng)

圖像采集過程中會引入噪聲點，導(dǎo)致部分傳遞信息損失，需要對其進(jìn)行圖像增強(qiáng)。高斯濾波可有效抑制圖像噪聲，因此本研究選擇高斯濾波去除圖像噪聲，增強(qiáng)有用信息、抑制無關(guān)信息，達(dá)到圖像增強(qiáng)的目的。圖1（a）為原圖，含有被枝葉遮擋的果實區(qū)域和因光照造成的光斑及陰影，圖1（b）是經(jīng)過高斯濾波去噪后的圖像，圖像變得較平滑。

3.1.2? 基于K-means聚類分割算法的蘋果目標(biāo)分割

K-means聚類算法是一種無指導(dǎo)學(xué)習(xí)算法，通過迭代搜索將單一數(shù)據(jù)劃分為指定的簇[17]。假設(shè)要將目標(biāo)聚成k類，則K-means聚類算法步驟如下：

1）選取k類的初始聚類中心分別為：Z1（1），Z2（1），…，Zk（1）;

2）在第n次迭代時，對樣本集{Z}用如下方法分類：對i，j=1，2…k，i≠j，若||Z-Zj（n）||<||Z∈Zi（n）||，則Z∈Sj（n）;

3）令由2）得到的新類中心為Zj（n+1），使得? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?達(dá)到最小;

4）對于所有的j=1，2，…，k，若Zj（n+1）=Zj（n）則迭代結(jié)束;否則，n=n+1，轉(zhuǎn)到步驟2）繼續(xù)執(zhí)行。

在K-means聚類算法中，分類數(shù)k會對圖像聚類效果產(chǎn)生影響。本研究中聚類數(shù)k設(shè)為3，將圖像分為果實、枝葉和土壤/天空三類。圖1（b）進(jìn)行K-means顏色聚類處理的結(jié)果如圖2所示，背景與果實目標(biāo)已初步分割，提取出了未被枝葉遮擋的果實部分。

3.1.3? ?目標(biāo)預(yù)處理

K-means聚類算法處理后得到的目標(biāo)圖像含有枝葉等冗雜信息可能導(dǎo)致后續(xù)處理步驟出錯，需要轉(zhuǎn)換為二值圖像并做進(jìn)一步處理，為后期分割果實目標(biāo)做準(zhǔn)備工作，這個過程稱為目標(biāo)預(yù)處理過程，具體步驟如圖3所示。利用最大類間方差算法對圖2中的果實與背景作進(jìn)一步分割，分割后的結(jié)果見圖3（a），目標(biāo)圖像中含有因光斑導(dǎo)致的孔洞、邊緣毛刺和小面積未連通區(qū)域等。為避免后續(xù)步驟出錯，需對圖3（a）進(jìn)行圖像填充、圖像開運算及去除未連通小區(qū)域等預(yù)處理，處理結(jié)果見圖3（b），孔洞和非目標(biāo)小區(qū)域被消除，圖像邊緣變平滑，確保了識別算法后期處理運行的準(zhǔn)確高效。

3.2? 卷包裹凸殼算法處理

凸殼是包含目標(biāo)的最小凸集，其頂點必為邊界點集中的點。平面點集的凸殼問題在圖像處理領(lǐng)域應(yīng)用極為廣泛[18]，本研究采用卷包裹凸殼算法[19]進(jìn)行目標(biāo)凸殼的提取，凸殼多邊形圍繞目標(biāo)區(qū)域覆蓋了部分因枝葉遮擋等因素未識別出的目標(biāo)區(qū)域，與目標(biāo)圖像更為接近，便于得到更準(zhǔn)確的定位結(jié)果。算法原理如下：

（1）對目標(biāo)圖像邊緣進(jìn)行標(biāo)記，按照標(biāo)記大小順序逐一提取其凸殼;

（2）搜尋給定標(biāo)記值的目標(biāo)輪廓點集S中縱坐標(biāo)最小的點p1，過點p1做水平直線 ，令p1為凸殼的初始頂點;

（3）繞p1點逆時針旋轉(zhuǎn)直線L將首先觸及到的S中的點p2作為凸殼的第二個頂點，線段p1p2則構(gòu)成凸殼的第一條邊;

（4）重復(fù)（3），直到使L繞頂點pn按逆時針旋轉(zhuǎn)回到p1，則線段pnp1構(gòu)成凸殼的第n條邊;

（5）由封閉折線p1p2，p2p3，…，pn-1pn，pnp1構(gòu)成的凸多邊形就是點集S的凸殼。

圖3（b）目標(biāo)圖像中含有因光照、枝葉遮擋和顏色特性導(dǎo)致未識別出的目標(biāo)區(qū)域，和真實圖像相差很多。為了更大程度還原果實目標(biāo)區(qū)域，由卷包裹凸殼算法處理圖3（b）目標(biāo)圖像得到凸殼多邊形，如圖4所示藍(lán)色線段即為凸殼多邊形。對比之下，凸殼多邊形即圖4凸殼處理結(jié)果目標(biāo)面積與位置更接近原始圖像圖1（a）。

3.3? 圓擬合定位

利用凸殼原理得到目標(biāo)區(qū)域之后，進(jìn)行圓擬合處理，實現(xiàn)蘋果目標(biāo)定位。曲線擬合采用最小二乘法，通過凸殼多邊形各點到未知擬合圓邊緣對應(yīng)點的距離平方和的最小化，求出未知擬合圓半徑圓心的最佳匹配值。對凸殼多邊形進(jìn)行曲線擬合處理，為方便觀察凸殼多邊形與圓曲線的擬合程度，將其在直角坐標(biāo)系中顯示如圖5（a），橫縱坐標(biāo)表示該點的像素坐標(biāo)，根據(jù)黑色凸殼多邊形各點擬合得到藍(lán)色擬合圓。將擬合圓在原圖中顯示，識別與定位效果如圖5（b）所示，本算法處理目標(biāo)圖像最終得到藍(lán)色擬合圓，這個圓與蘋果真實輪廓基本重合，被枝葉遮擋的果實區(qū)域也被識別出來，算法受到各種因素影響較小，識別效果較好。

4? 對比方法

為對比并驗證本文算法的目標(biāo)識別效果，提出兩種對比方法，基于去偽輪廓的目標(biāo)識別方法和全輪廓擬合目標(biāo)識別方法。

4.1? 基于去偽輪廓的目標(biāo)識別算法

基于去偽輪廓的目標(biāo)識別算法包括目標(biāo)圖像前期處理和去偽輪廓后果實目標(biāo)的圓擬合兩部分。目標(biāo)前期處理得到果實目標(biāo)的全輪廓后，去除偽輪廓并用最小二乘法進(jìn)行圓擬合，實現(xiàn)果實目標(biāo)定位。

（1）目標(biāo)圖像前期處理

目標(biāo)圖像前期處理旨在得到凸殼擬合圓的圓心與目標(biāo)全輪廓，為后續(xù)去偽輪廓擬合做準(zhǔn)備。經(jīng)3.1節(jié)獲取蘋果目標(biāo)圖像之后，對目標(biāo)圖像分別進(jìn)行2步處理：

a. 對目標(biāo)圖像進(jìn)行凸殼多邊形擬合得到圓心，具體處理方式前文已經(jīng)詳述，此處不再贅述。

b. 利用邊界跟蹤算子提取目標(biāo)邊界，此邊界為目標(biāo)全輪廓。

（2）去偽輪廓后果實目標(biāo)的圓擬合

目標(biāo)圖像前期處理得到凸殼擬合圓的圓心與目標(biāo)全輪廓后，需要去除偽輪廓并進(jìn)行圓擬合定位。由圖5（b）可以看出凸殼擬合圓的圓心基本在果實目標(biāo)的中心位置，枝葉遮擋等因素造成的偽輪廓，一般為凹陷部分，與圓心距離較近。本算法中偽輪廓的判定準(zhǔn)則為：目標(biāo)輪廓點到圓心的距離小于各輪廓點到圓心距離均值的0.9倍，即為偽輪廓點。按照判定準(zhǔn)則，圖6（a）中藍(lán)色輪廓為偽輪廓，目標(biāo)全輪廓由藍(lán)色偽輪廓和紅色非偽輪廓組成，該算法去除了大量的偽輪廓，僅有一小部分未能識別去除。

去除所有偽輪廓點并擬合其余輪廓點，實現(xiàn)目標(biāo)定位。為方便觀察，將去偽輪廓擬合結(jié)果在坐標(biāo)系中顯示，如圖6（b）所示，紅色去偽輪廓段與黑色擬合圓曲線大部分重疊，擬合程度較好。

4.2? 全輪廓擬合目標(biāo)識別算法

獲取果實目標(biāo)后，提取其邊界輪廓，將目標(biāo)全輪廓進(jìn)行圓擬合，對圖6（a）的擬合結(jié)果如圖7所示，藍(lán)色目標(biāo)全輪廓擬合得黑色圓，由于偽輪廓點影響，定位結(jié)果存在偏差，并不精確。

5? 測試結(jié)果與分析

5.1? 評價指標(biāo)

為測試算法的有效性及適應(yīng)性，對157幅蘋果目標(biāo)圖像進(jìn)行了測試。為了進(jìn)一步驗證本文算法的有效性，采用重疊率OI[20]、假陰性率FN[8]和假陽性率FP[15]三個指標(biāo)評價。

重疊率OI是真實蘋果面積（S）與擬合圓（S1）的重疊面積（S1∩S）占真實蘋果面積的比例，體現(xiàn)真實蘋果與擬合圓的重合程度，該值越高，擬合識別定位的準(zhǔn)確度越高。重疊率OI[20]的計算公式如（1）所示。

（1）

假陰性率FN[8]是真實蘋果目標(biāo)的面積與重疊面積的差值（S-|S1∩S|）占真實蘋果面積的比例，表示未被識別出的真實蘋果區(qū)域的大小程度。該值越小，說明未被識別出的目標(biāo)面積越小，擬合定位效果越好，計算公式如（2）所示。

（2）

假陽性率FP[15]是擬合圓面積與重疊面積的差值（S1-|S1∩S|）占真實蘋果面積的比例，表示擬合圓所定位的區(qū)域中不是真實目標(biāo)的程度，即誤識程度。假陽性率FP值越小，則擬合圓中非真實果實的面積越小，誤識程度越低，計算公式如（3）所示。

（3）

其中利用Photoshop軟件處理獲取真實蘋果目標(biāo)面積。擬合圓面積、重疊面積、假陰面積及假陽面積用MATLAB運行代碼得到，面積的單位均為像素數(shù)。

5.2? 試驗結(jié)果

在前文所述的運行環(huán)境下，用本研究提出的算法和兩種對比算法處理157幅測試圖像，每幅圖像的平均運行時間分別為12.2s、14.4s和12.0s，運行速率較慢，算法有待優(yōu)化以提高運行效率。

所有測試結(jié)果如圖8所示，圖中橫坐標(biāo)是圖像序號，縱坐標(biāo)是測試指標(biāo)數(shù)值，可直觀地反映各個圖像的指標(biāo)值。經(jīng)過計算，基于凸殼原理的目標(biāo)識別算法、基于去偽輪廓的目標(biāo)識別算法和全輪廓擬合目標(biāo)識別算法的重疊率均值分別為83.7%、79.5%和70.3%，假陰性率均值分別為16.3%、20.5%和29.7%，假陽性率均值分別為2.9%、1.7%和1.2%?？傮w而言，與兩種對比算法相比較，本研究提出的算法可有效實現(xiàn)自然場景下的果實識別，識別與定位結(jié)果更精確。

本研究按照影響因素將測試圖像分為四大類，其中果實表面含高亮與陰影與無高亮陰影相比，三種算法的重疊率平均下降了6%;顏色為紅色的蘋果圖像指標(biāo)結(jié)果在三種著色分類情況中最好;未遮擋果實圖像由本研究算法處理得到的重疊率均值為89.6%，遮擋程度為1/3的圖像重疊率均值為85%，遮擋程度超過1/3的圖像重疊率均值為78.5%;由于聚類數(shù)為3，當(dāng)背景僅為枝葉時，三種算法識別定位效果與另兩種背景相比稍差。三種算法針對不同分類圖像測試得到的假陽性率均值大致相同，該值較為穩(wěn)定。

本研究方法與兩個對比方法的部分測試過程如圖9所示，藍(lán)色擬合圓、粉色擬合圓和綠色擬合圓分別由基于凸殼原理的目標(biāo)識別算法、基于去偽輪廓的目標(biāo)識別算法和全輪廓擬合目標(biāo)識別算法處理得到，直角坐標(biāo)系中黑色輪廓為偽輪廓。從圖9中可以看出，結(jié)合K-means聚類算法與大津閾值法能較好的將果實從背景中分割出來，識別與分割的準(zhǔn)確程度較高。與兩種對比算法相比，基于凸殼原理的目標(biāo)識別算法的擬合圓與蘋果輪廓最貼合，該算法定位準(zhǔn)確度最高。

5.3? 結(jié)果分析與討論

部分參考文獻(xiàn)提出的方法識別率高達(dá)85%以上[6，9-12，16]，但出錯率較高且存在受制因素[7，10]。自然條件下進(jìn)行果實識別，影響結(jié)果的主要因素有光照、顏色（成熟度）和枝葉遮擋，在果實與背景分割時可能導(dǎo)致部分果實目標(biāo)區(qū)域未被識別。本算法中凸殼多邊形會覆蓋由此造成的果實目標(biāo)缺失區(qū)域，更大程度的還原果實目標(biāo)，減少自然因素影響，使環(huán)境適應(yīng)性更高且無識別錯誤情況，對圖像光照、顏色和枝葉遮擋程度等均能適應(yīng)并良好識別。

（1）遮擋程度是影響本研究算法重疊率和假陰性率的重要因素。由試驗結(jié)果可知，遮擋程度為1/3的圖像重疊率均值較未遮擋情況下降了約6%，遮擋程度超過1/3的圖像下降了11.1%。若枝葉遮擋程度較低，大部分真實輪廓被保留，獲取的凸殼多邊形能體現(xiàn)蘋果部分輪廓特征，則

擬合效果較好。若遮擋面積過大，果實目標(biāo)的

凸殼多邊形與真實果實輪廓相差較大，擬合效果較差。

（2）本研究算法利用擬合圓定位，但蘋果輪廓并非絕對圓形，擬合圓中會包括果柄果蒂等不規(guī)則部分，導(dǎo)致假陽性率升高。

（3）影響結(jié)果的另一因素是光照。在提取果實目標(biāo)時，光照造成的果實陰影部分無法被識別出或者識別不全，分割得到的目標(biāo)圖像與原始圖像相差較大導(dǎo)致后續(xù)擬合效果較差，定位準(zhǔn)確性較低。

（4）自然場景下果實的精準(zhǔn)定位是智能農(nóng)業(yè)機(jī)械采摘的關(guān)鍵環(huán)節(jié)，本研究以自然場景下的蘋果圖像為測試對象，以K-means聚類分割算法為基礎(chǔ)并融合凸殼原理，提出基于凸殼原理的目標(biāo)識別算法，將果實定位問題轉(zhuǎn)化為圓擬合問題。

（5）基于凸殼原理的目標(biāo)識別算法重疊率為83.7%，分別高出兩種對比算法結(jié)果的4.2%、13.4%;本研究算法和兩種對比算法的假陽性率都較低，分別為2.9%、1.7%和1.2%;基于凸殼原理的目標(biāo)識別算法的假陰性率最低，為16.3%;

（6）蘋果遮擋程度與光照是影響識別效果的主要因素。如何減小遮擋與光照影響，使擬合圓更貼合果實真實輪廓尚需深入研究。

參考文獻(xiàn)

[1]? ?Xu L， Lv J. Recognition method for apple fruit based on SUSAN and PCNN[J]. Multimedia Tools and Applications， 2018， 77（6）： 7205-7219.

[2]? ?Rizon M， Yusri N A N， Kadir M F A， et al. Determination of mango fruit from binary image using randomized Hough transform[C]. Eighth International Conference on Machine Vision. International Society for Optics and Photonics， 2015， 9875（3）： 1-5.

[3]? ?Preter De A， Anthonis J， Baerdemaeker De J. Development of a robot for harvesting strawberries[J]. IFAC-Papers On Line， 2018， 51（17）： 14-19.

[4]? ?He Z， Xiong J， Lin R， et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture， 2017， 140（8）： 159-167

[5]? ?Pothen Z S， Nuske S. Texture-based fruit detection via images using the smooth patterns on the fruit[C]. IEEE International Conference on Robotics and Automation， 2016： 5171-5176.

[6]? ?黃小玉， 李光林， 馬 馳， 等. 基于改進(jìn)判別區(qū)域特征融合算法的近色背景綠色桃子識別[J]. 農(nóng)業(yè)工程學(xué)報， 2018， 34（23）： 142-148.

Huang X， Li G， Ma C， et al. Green peach recognition based on improved discriminative regional feature integration algorithm in similar background[J]. Transactions of the CSAE， 2018， 34（23）： 142-148.

[7]? ?錢建平， 楊信廷， 吳曉明， 等. 自然場景下基于混合顏色空間的成熟期蘋果識別方法[J]. 農(nóng)業(yè)工程學(xué)報， 2012， 28（17）： 137-142.

Qian J， Yang X， Wu X， et al. Mature apple recognition based on hybrid color space in natural scene[J]. Transactions of the CSAE， 2012， 28（17）： 137-142.

[8]? ?Wang D， Song H， Tie Z， et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory： a comparison[J]. Multimedia Tools and Applications， 2016， 75（6）： 3177-3198.

[9]? ?司永勝， 劉剛， 高瑞， 等. 蘋果采摘機(jī)器人果實識別與定位方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2010， 41（9）： 148-153.

Si Y， Liu G， Gao R， et al. Recognition and location of fruits for apple harvesting robot[J]. Transactions of the CSAM， 2010， 41（9）： 148-153.

[10]? 熊俊濤， 鄒湘軍， 王紅軍， 等. 基于Retinex 圖像增強(qiáng)的不同光照條件下的成熟荔枝識別[J]. 農(nóng)業(yè)工程學(xué)報， 2013， 29（12）： 170-178.

Xiong J， Zou X， Wang H， et al. Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J]. Transactions of the CSAE， 2013， 29

（12）： 170-178.

[11]? 李寒， 張漫， 高宇， 等. 溫室綠熟番茄機(jī)器視覺檢測方法[J]. 農(nóng)業(yè)工程學(xué)報， 2017， 33（增刊1）： 328-334.

Li H， Zhang M， Gao Y et al. Green ripe tomato detection method based on machine vision in greenhouse[J]. Transactions of the CSAE， 2017， 33（Supp.1）： 328-334.

[12]? Sun S， Wu Q， Jiao L， et al. Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J]. Optik， 2018， 165， 395-407.

[13]? Seng W C， Mirisaee S H. 2009 International Conference on Electrical Engineering and Informatics-A new method for fruits recognition system[J]. IEEE 2009 International Conference on Electrical Engineering and Informatics （ICEEI） - Bangi， Malaysia （2009.08.5-2009.08.7）， 2009： 130-134.

[14]? Rakun J， Stajnko D， Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture， 2011， 76（1）： 80-88.

[15]? 宋懷波， 何東健， 潘景朋. 基于凸殼理論的遮擋蘋果目標(biāo)識別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報， 2012， 28（22）： 174-180.

Song H， He D， Pan J. Recognition and localization methods of occluded apples based on convex hull theory[J]. Transactions of the CSAE， 2012， 28（22）： 174-180.

[16]? ?楊慶華， 劉燦， 荀一， 等. 葡萄套袋機(jī)器人目標(biāo)識別方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報， 2013， 44（8）： 234-239.

Yang Q， Liu C， Xun Y， et al. Target recognition for grape bagging robot[J]. Transactions of the CSAM，

2013， 44（8）： 234-239.

[17]? Zheng X， Lei Q， Yao R， et al. Image segmentation based on adaptive K-means algorithm[J]. EURASIP Journal on Image and Video Processing， 2018， 2018（1）： 68.

[18]? 趙軍， 曲仕茹. 平面點集凸殼的快速算法[J]. 計算機(jī)工程與應(yīng)用， 2009， 45（1）： 56-58.

Zhao J， Qu S. Efficient convex hull algorithm for plane point set[J]. Computer Engineering and Applications， 2009， 45（1）： 56-58.

[19]? 周啟海. 論二維點集或線段集凸殼生成算法改進(jìn)與優(yōu)化的同構(gòu)化方向[J]. 計算機(jī)科學(xué)， 2007， 34（7）： 216- 218， 247.

Zhou Q. On an isomorphic direction of improving and optimizing an algorithm for determining the convex hull of 2D point set or line segment set[J]. Computer Science， 2007， 34（7）： 216-218， 247.

[20]? 宋懷波， 張傳棟， 潘景朋， 等. 基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J]. 農(nóng)業(yè)工程學(xué)報， 2013， 29（3）： 163-168.

Song H， Zhang C， Pan J， et al. Segmentation and reconstruction of overlapped apple images based on convex hull[J]. Transactions of the CSAE， 2013， 29（3）：163-168.

Recognition and localization method of occluded apples based on K-means clustering segmentation algorithm

and convex hull theory

Mei Jiang1，2，3， Sashuang Sun1，2，3， Dongjian He1，2，3， Huaibo Song1，2，3*

（1. College of Mechanical and Electronic Engineering， Northwest A&F University， Yangling， 712100， China;

2. Ministry of Agriculture Key Laboratory for Agricultural Internet of Things， Yangling， 712100， China;

3. Key Laboratory of Agricultural Information Perception and Intelligent Services， Yangling 712100， China）

Abstract： Accurate segmentation and localization of apple objects in natural scenes is an important part of wisdom agriculture research for information perception and acquisition. In order to solve the problem that apples recognition and positioning are susceptible to occlusion of leaves in natural scenes， based on the K-means clustering segmentation algorithm， the object recognition algorithm based on convex hull theory was proposed. And the algorithm was compared with the object recognition algorithm based on removing false contours and the full-contour points fitting object recognition algorithm. The object recognition algorithm based on convex hull theory utilized that apples were like circle， combining K-means algorithm with Otsu algorithm to separate fruit from background. The convex polygon was obtained by convex hull theory and fit it circle to determine the position of the fruit. To verify the effectiveness of the algorithm， 157 apple images in natural scenes were tested. The average overlap rates of the object recognition algorithm based on convex hull theory， the object recognition algorithm based on removing false contour points and the full-contour points fitting object recognition algorithm were 83.7%， 79.5% and 70.3% respectively， the average false positive rates were 2.9%， 1.7% and 1.2% respectively， and the average false negative rates were 16.3%， 20.5% and 29.7% respectively. The experimental results showed that the object recognition algorithm based on convex hull theory had better localization performance and environmental adaptability compared to the other two algorithms and had no recognition error， which can provide reference for occluded fruits segmentation and localization in the natural scenes.

Key words： apple recognition; occluded object; convex hull theory; false contour points; K-means clustering algorithm