程佳兵 鄒湘軍 林桂潮 李錦慧 陳明猷 黃礦裕

?

基于AdaBoost算法的級聯(lián)分類器對綠色荔枝的快速檢測方法*

程佳兵 鄒湘軍 林桂潮 李錦慧 陳明猷 黃礦裕

（華南農(nóng)業(yè)大學(xué)工程學(xué)院）

針對綠色荔枝與樹葉顏色相似，采摘機(jī)器人在自然環(huán)境下準(zhǔn)確識別較為困難的問題，提出一種基于AdaBoost算法的級聯(lián)分類器快速檢測方法。首先提取MB-LBP特征，并基于積分圖技術(shù)快速計(jì)算其特征值；然后利用AdaBoost算法從MB-LBP特征中構(gòu)造若干個最優(yōu)弱分類器，并加權(quán)組合成強(qiáng)分類器；最后通過若干個強(qiáng)分類器的級聯(lián)來構(gòu)造級聯(lián)分類器，可獲得基于MB-LBP特征的AdaBoost級聯(lián)分類器。試驗(yàn)表明：該方法對綠色荔枝的識別準(zhǔn)確率為92.7%，召回率為81.3%；測試圖像的平均處理時間為1.276 s。

綠色荔枝；MB-LBP特征；AdaBoost算法；強(qiáng)分類器；級聯(lián)分類器

0　引言

我國是荔枝生產(chǎn)大國，在荔枝種植過程中，通過對綠色荔枝進(jìn)行識別來估計(jì)產(chǎn)量，由產(chǎn)量決定決策，具有一定的科學(xué)依據(jù)，并可合理利用資源。

近年來，許多學(xué)者深入研究了自然環(huán)境下成熟荔枝的檢測方法。彭紅星等[1]提出一種雙次Otsu分割算法，果實(shí)分割正確率達(dá)94.75%，并且該算法實(shí)時性較好，但對與背景顏色相似的果實(shí)分割效果不佳。熊俊濤等[2-5]基于YIQ顏色模型中I分量、YCbCr顏色模型的Cr分量、HSV顏色模型或HSV顏色模型中H分量的旋轉(zhuǎn)，結(jié)合Otsu算法除去背景，再用模糊C均值聚類方法使果實(shí)與果梗分開，該算法的分割正確率、穩(wěn)定性和實(shí)時性均較好。郭艾俠[6]等基于YCbCr顏色模型中Cr分量的灰度化處理，采用二次閾值方法對不同光照條件下的荔枝各部位進(jìn)行識別，荔枝果、荔枝串和結(jié)果母枝的平均識別率分別為91.67%，91.67%和86.67%，但在強(qiáng)光條件下對荔枝果分割效果不佳。郭艾俠等[7]提出探索性分析與荔枝圖像識別融合的方法，可較好地識別荔枝串、荔枝果和結(jié)果母枝。Han等[8]提出一種基于機(jī)器視覺的快速歸一化互相關(guān)（FNCC）算法，可在野外環(huán)境下識別出綠色柑橘，正確識別率為84.4%。Sun等[9]提出將模糊集理論和流行排序方法融合的識別算法，在自然環(huán)境下對綠色蘋果的正確識別率為90.87%。伍艷蓮[10]等提出改進(jìn)的均值漂移算法與顏色指數(shù)結(jié)合的方法，利用閾值分割將圖像分成綠色部分與背景部分，該方法能將綠色作物從復(fù)雜背景中分離出來且誤分割率小于6.5%。但當(dāng)背景與綠色作物顏色相似時，該方法無法正確分割。謝忠紅等[11]對目標(biāo)果實(shí)顏色與背景相差較大時，基于HIS和RGB色彩模型，利用H分量或R-G分量，通過Otsu方法確定最優(yōu)閾值來分割目標(biāo)果實(shí)與背景，準(zhǔn)確分割目標(biāo)果實(shí)成功率達(dá)98%；但當(dāng)目標(biāo)果實(shí)顏色與背景相似時，需通過提取熵和能量兩個紋理特征，才可將綠色果實(shí)從復(fù)雜背景中分割出來，試驗(yàn)表明果實(shí)分割成功率達(dá)95%。熊俊濤等[12]提出基于深度學(xué)習(xí)的技術(shù)，利用YOLOV2模型對自然環(huán)境下樹上的綠色芒果進(jìn)行檢測識別，試驗(yàn)表明識別準(zhǔn)確率為90.64%。

為檢測野外環(huán)境下的綠色荔枝，He等[13]提出一種改進(jìn)的LDA分類器，采用SVM最大余量的思想確定LDA分類器閾值，用AdaBoost算法將多個LDA分類器加權(quán)組合成強(qiáng)分類器，該強(qiáng)分類器對綠色荔枝的檢測準(zhǔn)確率為80.4%，召回率為76.4%。為進(jìn)一步提高綠色荔枝的檢測準(zhǔn)確率以及召回率，本文提出一種基于AdaBoost算法的級聯(lián)分類器對綠色荔枝快速檢測方法，實(shí)現(xiàn)在自然環(huán)境下對綠色荔枝的快速檢測。

1　綠色荔枝圖像采集

2018年5月30日上午，天氣晴，在廣東省增城區(qū)某果業(yè)園，用型號為D3400（分辨率是6000×4000像素）的相機(jī)采集綠色荔枝圖像150張，并將采集的圖像約按4：1分為訓(xùn)練集和測試集。在圖像采集過程中，相機(jī)與目標(biāo)的距離約為600 mm。

2　綠色荔枝檢測

由訓(xùn)練集圖像制作正負(fù)樣本集，正樣本與負(fù)樣本數(shù)量之比約為1：3。通過提取MB-LBP特征并計(jì)算特征值，訓(xùn)練弱分類器，尋得最優(yōu)弱分類器；基于AdaBoost算法獲得強(qiáng)分類器，將強(qiáng)分類器級聯(lián)構(gòu)建級聯(lián)分類器，對測試圖像中的綠色荔枝檢測識別。

2.1　特征提取及快速計(jì)算

2.1.1提取MB-LBP特征

LBP特征[14]可提取圖像的局部紋理信息，但只能描述圖像的微觀特征。Zhang等提出MB-LBP特征，可描述不同尺度下圖像的微觀、宏觀信息[15]。文獻(xiàn)[16]將MB-LBP特征用于檢測人臉，效果較好。綠色荔枝與樹葉、枝干等背景的紋理顯著不同，本文將MB-LBP特征用于綠色荔枝的檢測識別。

先將圖像進(jìn)行灰度化處理，在3×3像素的大方塊中，以中間塊像素灰度值的平均值為閾值，分別與其他鄰域塊像素灰度值的平均值一一進(jìn)行比較。當(dāng)某鄰域塊像素灰度值的平均值大于中間塊像素灰度值的平均值時，該位置置1，否則置0。通過式(1)和式(2)可計(jì)算出MB-LBP的特征值。

提取MB-LBP特征時，以1像素為步長平移遍歷整個圖像。在檢測測試圖像時，由于圖像遠(yuǎn)大于MB-LBP特征的尺寸，為檢測不同尺寸的綠色荔枝，需將測試圖像按一定的比例縮小，再由MB-LBP特征遍歷整個圖像，重復(fù)檢測過程。因此提取MB-LBP特征的數(shù)量較多，特征值計(jì)算量較大。為減少計(jì)算量，本文采用積分圖技術(shù)。

2.1.2積分圖

為減少特征值的計(jì)算量，Viola等[17]人引入了積分圖技術(shù)。積分圖技術(shù)是把從圖像起點(diǎn)開始到圖像中所有點(diǎn)構(gòu)成的矩形區(qū)域中像素值之和作為元素存儲在數(shù)組中，當(dāng)需要計(jì)算某個特征值時，直接訪問存儲在數(shù)組中相應(yīng)位置的值進(jìn)行相關(guān)計(jì)算即可。積分圖的定義為[16]

其中，i(x, y)是點(diǎn)(x, y)處的像素值；ii(x, y)是圖像i在像素(x, y)的左上角與原點(diǎn)所構(gòu)成區(qū)域中的所有像素值之和；(x', y')是區(qū)域中任意一點(diǎn)。積分圖的定義如圖1所示。

為實(shí)時計(jì)算積分圖，采用遞歸法。

其中()表示列的積分值。

基于積分圖，任意矩形區(qū)域的像素值之和可由該區(qū)域4個頂點(diǎn)的積分圖值計(jì)算得到，如圖2所示。

區(qū)域D的積分圖值為

(4)?(2)? ii(3)+(1)

其中，(1)表示區(qū)域A的像素值之和；(2)表示區(qū)域A+B的像素值之和；(3)表示區(qū)域A+C的像素值之和；(4)表示區(qū)域A+B+C+D的像素值之和。

圖2　積分圖計(jì)算示意圖

2.2　AdaBoost算法原理

AdaBoost算法是通過不同的訓(xùn)練集訓(xùn)練弱分類器，從弱分類器中挑選出對訓(xùn)練樣本分類誤差最小的作為最優(yōu)弱分類器。不同訓(xùn)練集是指每次用來訓(xùn)練的樣本相同，但樣本的權(quán)值不同。首次訓(xùn)練弱分類器時，設(shè)定正負(fù)樣本權(quán)值的初始值；然后從得到的弱分類器中挑選出對訓(xùn)練樣本分類誤差最小的作為最優(yōu)弱分類器，將其分類正確的樣本權(quán)值降低，分類錯誤的樣本權(quán)值升高，并歸一化權(quán)值。多次重復(fù)上述訓(xùn)練步驟，并將得到的所有最優(yōu)弱分類器以其分類誤差的函數(shù)作為權(quán)值，加權(quán)組合成強(qiáng)分類器。在此基礎(chǔ)上，對若干個強(qiáng)分類器進(jìn)行級聯(lián)來構(gòu)造級聯(lián)分類器。該算法在訓(xùn)練弱分類器時，看重分類錯誤的樣本，提高其權(quán)重，這樣在下一次訓(xùn)練獲得的弱分類器對該樣本可能分類正確。

2.2.1弱分類器的構(gòu)造與訓(xùn)練

假設(shè)訓(xùn)練樣本集為

對每一個特征，通過樣本訓(xùn)練得到弱分類器，計(jì)算該弱分類器對樣本的分類誤差。統(tǒng)計(jì)樣本所有特征訓(xùn)練得到的弱分類器誤差，取其中分類誤差最小的弱分類器作為最優(yōu)弱分類器，并記下閾值。

2.2.2強(qiáng)分類器的構(gòu)造

2）歸一化權(quán)重為

其中，循環(huán)次數(shù)=1,2,…,；為正負(fù)樣本總數(shù)（）；的取值為1~；

其中，為特征編號；為窗口編號；

4）計(jì)算最優(yōu)弱分類器在強(qiáng)分類器中的權(quán)值

5）更新訓(xùn)練樣本的權(quán)值

2.2.3級聯(lián)分類器的構(gòu)建

將AdaBoost算法訓(xùn)練得到的若干個強(qiáng)分類器進(jìn)行級聯(lián)構(gòu)造級聯(lián)分類器。級聯(lián)分類器總的準(zhǔn)確率和誤識別率，由式(13)和式(14)計(jì)算[20]。

其中，為級聯(lián)分類器的總層數(shù)；表示級聯(lián)分類器的某層。

圖3　級聯(lián)分類器的示意圖

3　試驗(yàn)結(jié)果與分析

3.1　試驗(yàn)平臺

為驗(yàn)證本文提出算法的可行性，采用試驗(yàn)測試。試驗(yàn)平臺為內(nèi)存16 GB的Window10筆記本電腦；編程平臺為Visual Studio 2013與Opencv3.0；編程語言采用C++。

3.2　定量實(shí)驗(yàn)

用獲得的級聯(lián)分類器對測試圖像進(jìn)行檢測，得到綠色荔枝的候選區(qū)域；提取最大連通區(qū)域，獲得其最小外接矩形；以外接矩形的中心為圓心，荔枝的平均半徑畫圓，圈出識別出的綠色荔枝并統(tǒng)計(jì)個數(shù)。本文將正確識別的綠色荔枝定義為：當(dāng)未被遮擋時，要求圓心在綠色荔枝上，并且圓圈住綠色荔枝露出面積超過60%；若有遮擋時，只要圓的中心在綠色荔枝上即可；若有多個圓圈住同一個綠色荔枝，則將其只算一個是正確識別的，其余則當(dāng)作誤檢測處理。對以下3種情況下的綠色荔枝不進(jìn)行識別：1）拍照時由于風(fēng)的干擾，造成部分綠色荔枝模糊；2）當(dāng)兩個綠色荔枝有重疊，前面綠色荔枝露出面積的1/2大于后面綠色荔枝的截取面積，后面的綠色荔枝將不能被識別；3）由于樹葉或者樹枝的遮擋，綠色荔枝露出部分小于50%。

本文采用準(zhǔn)確率和召回率來評價訓(xùn)練得到的級聯(lián)分類器的性能。準(zhǔn)確率的定義為預(yù)測為正的樣本中正例所占識別出樣本總數(shù)的比例。召回率的定義為正確識別的樣本總數(shù)占正例的樣本總數(shù)的比例。本文隨機(jī)選取116張綠色荔枝圖像作訓(xùn)練，34張綠色荔枝圖像作測試，以評估該算法訓(xùn)練獲得的級聯(lián)分類器相關(guān)性能。試驗(yàn)相關(guān)數(shù)據(jù)如表1所示。從表1可知，本文提出的基于MB-LBP特征的AdaBoost級聯(lián)分類器，綠色荔枝識別準(zhǔn)確率為92.7%，召回率為81.3%，圖像平均檢測時間為1.276 s。為驗(yàn)證本文算法的識別準(zhǔn)確率以及實(shí)時性，采用同樣的訓(xùn)練樣本，提取Haar-like特征，獲得基于Haar-like特征的AdaBoost級聯(lián)分類器。該級聯(lián)分類器對綠色荔枝的識別準(zhǔn)確率為89.4%，召回率為79.6%，圖像平均檢測時間為1.494 s?？煽闯?，前者級聯(lián)分類器性能要比后者好，綠色荔枝識別準(zhǔn)確率提高3.3%，召回率提高1.7%，并且試驗(yàn)過程中前者訓(xùn)練得到級聯(lián)分類器以及檢測每張測試圖像所花的時間較短，滿足實(shí)時性的要求。

表1　不同特征訓(xùn)練獲得的級聯(lián)分類器的識別效果

3.3　定性分析

將級聯(lián)分類器用于檢測測試圖像，其效果如圖4所示，其中圖4(a)比圖4(b)中綠色荔枝準(zhǔn)確識別的數(shù)量要多，且誤識別較少。

MB-LBP特征反映圖像區(qū)域的紋理信息，綠色荔枝的紋理信息相對于背景而言較為突出；同時MB-LBP特征對不同的光照條件具有魯棒性，提高級聯(lián)分類器的準(zhǔn)確識別率；并且MB-LBP特征的特征值是十進(jìn)制整數(shù)，加快模型的訓(xùn)練過程以及測試圖像的檢測過程。Haar-like特征反映圖像區(qū)域的灰度差異，但該特征由一些簡單矩形構(gòu)成，呈現(xiàn)出一定的局限性；而且對于同樣尺寸的圖像而言，Haar-like特征的數(shù)量相對于MB-LBP特征要多，訓(xùn)練模型所需的時間較長。但也可看出：1）兩者均會出現(xiàn)不同程度的誤檢測情況，由于裁剪正樣本時，當(dāng)綠色荔枝被樹葉、樹枝等背景遮擋時，為提取完整的綠色荔枝，會將部分的樹枝或樹葉等背景保留，這增加了級聯(lián)分類器的誤識別；2）圖像中有小部分綠色荔枝出現(xiàn)漏檢測的情況。

圖4(a)　基于MB-LBP特征的AdaBoost級聯(lián)分類器識別綠色荔枝的效果圖

4　結(jié)論

1）本文提出一種基于AdaBoost算法的級聯(lián)分類器對綠色荔枝快速檢測方法，能有效將綠色荔枝從顏色相似的背景中準(zhǔn)確分離。通過試驗(yàn)可得：基于MB-LBP特征的AdaBoost級聯(lián)分類器對測試圖像中的綠色荔枝識別準(zhǔn)確率為92.7%，召回率為81.3%，測試圖像平均檢測時間為1.276 s，準(zhǔn)確率以及實(shí)時性滿足實(shí)際應(yīng)用的需求。

2）本文利用AdaBoost算法將所得的最優(yōu)弱分類器加權(quán)組合成強(qiáng)分類器，同時將多個強(qiáng)分類器進(jìn)行級聯(lián)構(gòu)造級聯(lián)分類器。每個檢測窗口首先由若干個最優(yōu)弱分類器的加權(quán)投票決定其是否為目標(biāo)，當(dāng)其概率小于50%時，非目標(biāo)的窗口經(jīng)過一個強(qiáng)分類器后，就有部分被剔除，則后面的強(qiáng)分類器檢測的窗口將會減少，多個強(qiáng)分類器的決策可降低誤識別率，提高識別準(zhǔn)確率。

3）引入積分圖技術(shù)，加快了特征值的計(jì)算，減少級聯(lián)分類器訓(xùn)練花費(fèi)的時間。由于裁剪樣本時，綠色荔枝被背景遮擋，為盡量保證綠色荔枝截取完整，會將部分背景保留，導(dǎo)致后續(xù)級聯(lián)分類器出現(xiàn)誤識別。

后續(xù)研究將結(jié)合綠色果實(shí)的顏色、形狀和其他抽象特征從復(fù)雜背景中檢測識別綠色果實(shí)，在保證準(zhǔn)確率的同時盡量減少漏檢數(shù)，提高召回率。

[1] 彭紅星,鄒湘軍,陳麗娟,等.基于雙次Otsu算法的野外荔枝多類色彩目標(biāo)快速識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2014,45(4):61-68,75.

[2] 熊俊濤,林睿,劉振,等.夜間自然環(huán)境下荔枝采摘機(jī)器人識別技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報,2017,48(11):28-34.

[3] 熊俊濤,鄒湘軍,陳麗娟,等.基于機(jī)器視覺的自然環(huán)境中成熟荔枝識別[J].農(nóng)業(yè)機(jī)械學(xué)報,2011,42(9):162-166.

[4] 熊俊濤,鄒湘軍,陳麗娟,等.荔枝采摘機(jī)械手果實(shí)識別與定位技術(shù)[J].江蘇大學(xué)學(xué)報(自然科學(xué)版),2012,33(1):1-5.

[5] 熊俊濤,鄒湘軍,王紅軍,等.基于Retinex 圖像增強(qiáng)的不同光照條件下的成熟荔枝識別[J].農(nóng)業(yè)工程學(xué)報,2013,29(12): 170-178.

[6] 郭艾俠,鄒湘軍,鄒海鑫.基于二次閾值的荔枝果與結(jié)果母枝圖像識別[J].計(jì)算機(jī)工程與設(shè)計(jì),2014,35(2):557-561.

[7] 郭艾俠,鄒湘軍,朱夢思,等.基于探索性分析的荔枝果及結(jié)果母枝顏色特征分析與識別[J].農(nóng)業(yè)工程學(xué)報,2013,29(4):191-197.

[8] Li H, Lee WS, Wang K. Immature green citrus fruit detection and counting based on fast normalized cross correlation (FNCC) using natural outdoor colour images[J]. Precision agriculture, 2016,17(6):678-697.

[9] Sun S, Wu Q, Jiao L, et al. Recognition of green apples based on fuzzy set theory and manifold ranking algorithm[J]. Optik, 2018,165:395-407.

[10] 伍艷蓮,趙力,姜海燕,等.基于改進(jìn)均值漂移算法的綠色作物圖像分割方法[J].農(nóng)業(yè)工程學(xué)報,2014,30(24):161-167.

[11] 謝忠紅,姬長英.基于顏色模型和紋理特征的彩色水果圖像分割方法[J].西華大學(xué)學(xué)報(自然科學(xué)版),2009,28(4):41-45.

[12] 熊俊濤,劉振,林睿,等.自然環(huán)境下樹上綠色芒果的無人機(jī)視覺檢測技術(shù)[J].農(nóng)業(yè)機(jī)械學(xué)報,2018,49(11):23-29.

[13] He ZL, Xiong JT, Lin R, et al. A method of green litchi recognition in natural environment based on improved LDA classifier[J]. Computers and Electronics in Agriculture, 2017,140:159-167.

[14] Sun H, Shen J, Chen B. LBP based fast face recognition system on symbian platform[J]. AASRI Procedia, 2012,1:276-281.

[15] Zhang L, Chu RF, Xiang SM, et al. Face Detection Based on Multi-Block LBP Representation[C].Seoul,Korea:Springer-Verlag Berlin Heidelberg, 2007:27-29.

[16] Jia ZJ, Wang CS, Yang G, et al. A Research of Face Feature Extraction Based on MB-LBP[C].2011 IEEE Power Engineering and Automation ConferenceL:IEEE,2011:69-72.

[17] Viola P, Jones M. Rapid Object Detection using a Boosted Cascade of Simple Features[C]. CVPR 2001:IEEE,2001:511-518

[18] 江偉堅(jiān),郭躬德,賴智銘.基于新Haar-like特征的AdaBoost 人臉檢測算法[J].山東大學(xué)學(xué)報(工學(xué)版),2014,44(2):43-48.

[19] 張雪芹,方婷,李志前,等.基于類Haar特征和AdaBoost的車輛識別技術(shù)[J].華東理工大學(xué)學(xué)報(自然科學(xué)版),2016, 42(2):260-265.

[20] 李芳.基于AdaBoost算法的人臉檢測研究與實(shí)現(xiàn)[D].武漢:武漢理工大學(xué),2013.

Fast Detection Method for Green Litchi by Cascaded Classifier Based on AdaBoost Algorithm

Cheng Jiabing Zou Xiangjun Lin Guichao Li Jinhui Chen Mingyou Huang Kuangyu

(School of Engineering, South China Agricultural University)

Due to the similar color of green litchi and leaves, it is more difficult to accurately identify green litchi in the wild environment. In this regard, this paper proposes a fast detection method for green litchi by cascaded classifier based on AdaBoost algorithm. Firstly, the MB-LBP features are extracted, and their eigenvalues are quickly calculated based on the integral graph technique. Then, several optimal weak classifiers are constructed from the MB-LBP features by AdaBoost algorithm, and weighted into strong classifiers. Finally, the AdaBoost cascade classifier based on MB-LBP feature can be obtained by constructing a cascade classifier by cascading several strong classifiers. Experiments show that the AdaBoost cascade classifier based on MB-LBP features the recognition accuracy of green litchi is 92.7%, the recall rate is 81.3%, and the average processing time of test images is 1.276s. Therefore, the robustness and real-time performance of the algorithm is good, and it also provides a feasible method for green fruit detection.

Green Litchi; MB-LBP Feature; AdaBoost Algorithm; Strong Classifier; Cascade Classifier

程佳兵，女，1994年生，碩士研究生，主要研究方向：機(jī)器視覺。

鄒湘軍（通信作者），女，1957年生，教授，博士生導(dǎo)師，主要研究方向：農(nóng)業(yè)機(jī)器人、智能設(shè)計(jì)與制造、仿真等。 E-mail: xjzou1@163.com

國家自然科學(xué)基金（31571568）；廣東省省級科技計(jì)劃項(xiàng)目（2017A030222005）。