黃 辰，費(fèi)繼友

（大連交通大學(xué)機(jī)械工程學(xué)院，大連 116028）

基于圖像特征融合的蘋果在線分級(jí)方法

黃 辰，費(fèi)繼友※

（大連交通大學(xué)機(jī)械工程學(xué)院，大連 116028）

蘋果在線分級(jí)是提升蘋果商品化價(jià)值的重要環(huán)節(jié)，需要同時(shí)滿足分級(jí)準(zhǔn)確度和速度要求。為進(jìn)一步提高蘋果在線分級(jí)效率，該文借助機(jī)器視覺技術(shù)動(dòng)態(tài)采集蘋果傳輸過程中的實(shí)時(shí)圖像，提出改進(jìn)的三層Canny邊緣檢測(cè)算法來提取蘋果輪廓以克服采集圖像中的光線噪聲影響，通過分析蘋果分級(jí)指標(biāo)，采用判別樹對(duì)蘋果的果徑、缺陷面積、色澤等特征進(jìn)行初步分級(jí)判斷，并采用粒子群參數(shù)優(yōu)化的支持向量機(jī)對(duì)果形、果面紋理、顏色分布等特征進(jìn)行模型構(gòu)建與分級(jí)，最后，通過將兩種分級(jí)判斷結(jié)果進(jìn)行決策融合來實(shí)現(xiàn)樣本精確分級(jí)。同時(shí)，采取圖像壓縮和特征降維方法提高實(shí)時(shí)性。試驗(yàn)結(jié)果表明，基于圖像特征決策融合的蘋果分級(jí)準(zhǔn)確率可達(dá)到95%，平均分級(jí)速率可達(dá)到4個(gè)/s。研究結(jié)果為水果的在線分級(jí)提供參考。

圖像處理；支持向量機(jī)；機(jī)器視覺；蘋果分級(jí)；決策融合；三層Canny；特征分析

0 引 言

隨著機(jī)器視覺技術(shù)的發(fā)展，近年來國(guó)內(nèi)外研究人員對(duì)圖像處理在水果質(zhì)量檢測(cè)等方面取得深入進(jìn)展[1-4]。目前，主要是按尺寸、顏色、形狀以及表面缺陷等特征進(jìn)行水果質(zhì)量評(píng)估[5-10]。朱堅(jiān)民等[11]分析了顏色和形狀特征，結(jié)合灰色關(guān)聯(lián)分析和模糊隸屬的方法，利用總匹配度提高了水果識(shí)別的準(zhǔn)確率。近期，機(jī)器學(xué)習(xí)的引入，大大提升了水果分級(jí)檢測(cè)的自動(dòng)化水平。例如，支持向量機(jī)以其良好的分類性能應(yīng)用于蘋果的自動(dòng)分揀和分級(jí)系統(tǒng)中[12]。Bhatt等[13]建立了一個(gè)基于人工神經(jīng)網(wǎng)絡(luò)的蘋果質(zhì)量自動(dòng)分類系統(tǒng)，針對(duì)顏色、尺寸和損傷等進(jìn)行分析，具有較好性能。

借助機(jī)器視覺進(jìn)行在線分級(jí)檢測(cè)是水果實(shí)現(xiàn)自動(dòng)化生產(chǎn)和商品化處理的重要環(huán)節(jié)[14]。但是，水果分級(jí)檢測(cè)大多在室內(nèi)環(huán)境中進(jìn)行，光線噪聲嚴(yán)重影響著視覺檢測(cè)的準(zhǔn)確性。因此，在檢測(cè)過程中需要重點(diǎn)克服光線噪聲的影響。另外，由于同一水果品種的形狀等特征差別細(xì)微，精細(xì)化水果分級(jí)難度較大。目前多數(shù)對(duì)蘋果分級(jí)檢測(cè)的研究由于圖像檢測(cè)速度較慢，因此難以實(shí)現(xiàn)在線檢測(cè)[15-16]。為滿足蘋果檢測(cè)分級(jí)系統(tǒng)的實(shí)際應(yīng)用需求，對(duì)準(zhǔn)確率和檢測(cè)速度提出更高要求。

目前，蘋果的形態(tài)和果面等外觀特征是劃分蘋果等級(jí)的關(guān)鍵參考因素[17-20]，借助采集圖像提取蘋果多個(gè)重要特征，快速建立高效分級(jí)模型是提高蘋果分級(jí)精度和分級(jí)速度的有效途徑。本文探討了利用機(jī)器視覺技術(shù)采集蘋果圖像的特征參數(shù)，通過分析蘋果分級(jí)指標(biāo)，采用決策融合方法將判別樹（decision tree，DT）的初步分級(jí)結(jié)果和粒子群優(yōu)化的支持向量機(jī)（support vector machine,SVM）的分級(jí)模型相結(jié)合，實(shí)現(xiàn)蘋果在線檢測(cè)的精細(xì)化分級(jí)。同時(shí)，對(duì)于光照不均問題，提出對(duì)光照不均蘋果圖像進(jìn)行分割的三層 Canny方法，以提高在光照影響下蘋果分級(jí)檢測(cè)的穩(wěn)定度。

1 試驗(yàn)設(shè)計(jì)與標(biāo)定

1.1 試驗(yàn)平臺(tái)構(gòu)建

試驗(yàn)裝置如圖1所示。試驗(yàn)設(shè)備主要包括皮帶機(jī)、光源、工業(yè)攝像機(jī)、圖像采集器、工控機(jī)、控制器。試驗(yàn)過程為：首先，當(dāng)蘋果由皮帶機(jī)送達(dá)工業(yè)攝像機(jī)的拍照范圍，光電傳感器會(huì)觸發(fā)攝像機(jī)開始拍照，實(shí)現(xiàn)對(duì)成像區(qū)域內(nèi)目標(biāo)進(jìn)行圖像采集。其次，由圖像處理單元提取采集圖像，并對(duì)成像區(qū)域內(nèi)目標(biāo)進(jìn)行提取和檢測(cè)，同時(shí)，記錄檢測(cè)時(shí)間。試驗(yàn)前，調(diào)整工業(yè)攝像頭位置，使其成像范圍能夠覆蓋傳送帶物料區(qū)。采集圖像格式設(shè)置為JPEG，光照度約為800 lx。為較精確從采集到的圖像中提取目標(biāo)物蘋果特征，采用黑色傳送帶。為避免成像模糊，同時(shí)保持檢測(cè)效率，傳送帶速度設(shè)置為0.4 m/s左右。

圖1 蘋果分級(jí)檢測(cè)試驗(yàn)系統(tǒng)原理圖Fig.1 Schematic diagram of apple grading detection experiment

1.2 分級(jí)樣本

GB/T10651-2008《鮮蘋果》的頒布，為蘋果分級(jí)提供了指導(dǎo)?！鄂r蘋果》中將蘋果樣本的檢測(cè)等級(jí)劃分為三級(jí)：優(yōu)等品、一等品和二等品。結(jié)合機(jī)器視覺系統(tǒng)特點(diǎn)分析，確定本次試驗(yàn)分級(jí)指標(biāo)為果徑、果面缺陷、色澤、果形、果面紋理和顏色分布等6類外觀特征，見表1。試驗(yàn)用富士蘋果樣本全部采購自大連某批發(fā)市場(chǎng)。在蘋果分級(jí)過程中，應(yīng)對(duì)無明顯缺陷蘋果進(jìn)一步精細(xì)化分級(jí)，提高分級(jí)準(zhǔn)確度，使檢測(cè)分級(jí)具有實(shí)際意義。預(yù)先選出滿足等級(jí)要求的蘋果樣本共150個(gè)，每級(jí)樣本為50個(gè)。

表1 富士蘋果外觀等級(jí)Table 1 Appearance class of red Fuji apple

1.3 尺寸標(biāo)定

為實(shí)現(xiàn)圖像像素尺寸與真實(shí)尺寸轉(zhuǎn)化，根據(jù)標(biāo)準(zhǔn)矩形工件尺寸來標(biāo)定像素當(dāng)量，進(jìn)而測(cè)量果徑、面積等特征。首先，將工件置于傳送帶上，保持?jǐn)z像機(jī)高度不變。其次，為提高標(biāo)定精確度，采用距離正則化水平集方法[21]提取工件圖像。根據(jù)距離正則化水平集檢測(cè)的邊緣來提取工件輪廓，并對(duì)分割后圖像進(jìn)行最小外接矩形擬合[22]，圖2為圖像尺寸標(biāo)定過程。

計(jì)算工件圖像上縱向和橫向像素長(zhǎng)度。用公式（1）計(jì)算橫向像素當(dāng)量 Pex和縱向像素當(dāng)量Pey（單位：cm/pixel）。像素當(dāng)量 Pe為 Pex和 Pey的平均值。

式中 La為工件橫向?qū)嶋H長(zhǎng)度（cm），Lp為工件橫向長(zhǎng)像素個(gè)數(shù)；Wa為縱向?qū)嶋H長(zhǎng)度（cm），Wp為縱向長(zhǎng)像素個(gè)數(shù)。

圖2 尺寸標(biāo)定過程Fig.2 Size calibration process

2 基于三層Canny的蘋果輪廓提取

光照不均使采集圖像出現(xiàn)灰度分布不均現(xiàn)象，導(dǎo)致識(shí)別難度增加。因此，采用圖像預(yù)處理和多層Canny[23]圖像分割方法來提取蘋果輪廓。圖3為蘋果輪廓的提取步驟。

圖3 蘋果輪廓提取步驟Fig.3 Extraction steps of apple contour

2.1 預(yù)處理

由采集到的原圖（圖4a）可以看出，原圖像存在噪聲，容易干擾分割和特征分析。采用小波分解和中值濾波相結(jié)合來對(duì)圖像進(jìn)行預(yù)處理，實(shí)現(xiàn)圖像壓縮和降噪，提高實(shí)時(shí)處理效率和質(zhì)量。

1）采用小波變換[23]壓縮原圖像，將含有噪聲的二維圖像信號(hào)進(jìn)行多尺度分解，時(shí)域信號(hào)轉(zhuǎn)換到小波域中，充分提取信號(hào)的小波系數(shù)，分解級(jí)數(shù)為2，低頻信號(hào)為壓縮圖像，圖像壓縮后平均節(jié)省時(shí)間0.03 s左右。

2）采用自適應(yīng)中值濾波[24]，對(duì)圖像每個(gè)區(qū)域進(jìn)行噪聲檢測(cè)，按區(qū)域中受到噪聲污染程度不同來選擇濾波方形窗口尺寸。根據(jù)所檢測(cè)出的噪聲點(diǎn)進(jìn)行中值濾波。

圖4b為預(yù)處理結(jié)果，處理前后峰值信噪比PSNR約為48.41 dB，處理結(jié)果顯示壓縮后失真率較低，但圖中光照影響仍存在，需要在后續(xù)過程中進(jìn)一步處理。

2.2 邊緣檢測(cè)

邊緣檢測(cè)的目的是提取目標(biāo)。但采集圖像受到光源影響，灰度分布不均，單一閾值無法分割。因此采用多閾值來進(jìn)行圖像分割。眾所周知，Canny算子[23,25]的魯棒性較好，但邊緣提取受到平滑函數(shù)尺度影響，同時(shí)考慮局部相對(duì)灰度的不同會(huì)引起碎片分割。在Canny算法中，某一層的目標(biāo)邊緣可能不會(huì)被其他層檢測(cè)到，因此，需要建立三層互相補(bǔ)充檢測(cè)點(diǎn)?；谠撍枷胩岢隽巳龑覥anny的分割算法，其基本步驟為：

圖4 圖像分割過程與比較Fig.4 Process and comparison of image segmentation

1）令圖像f(x,y)為輸入圖像，g(x,y)為平滑后圖像，用函數(shù)h(x,y,σ)平滑輸入圖像f(x,y)：

2）采用2×2一階有限差分近似式計(jì)算平滑后圖像g(x,y)梯度，即x與y偏導(dǎo)數(shù)的兩個(gè)陣列Gx(x,y)和Gy(x,y)：

其幅值和方位角可用直角坐標(biāo)系到極坐標(biāo)的坐標(biāo)轉(zhuǎn)化公式來計(jì)算，

式中M[x,y]反映圖像邊緣強(qiáng)度，θ [x,y]反映邊緣方向。Gx(x,y)、Gy(x,y)分別為x與y偏導(dǎo)數(shù)的兩個(gè)陣列。θ[x,y]為M[x,y]取得局部最大值的方向角，反映邊緣方向。

3）確定邊緣，確定邊緣必須保留局部梯度最大點(diǎn)，而抑制非極大值。利用梯度方向，將梯度角離散為圓周的4個(gè)扇區(qū)之一，用3×3的窗口作抑制運(yùn)算。4個(gè)扇區(qū)標(biāo)號(hào)為0～3，對(duì)應(yīng)3×3鄰域4種可能組合。在每個(gè)點(diǎn)上，鄰域中心像素M[x,y]與沿著梯度線的兩個(gè)像素相比較，如果M[ x,y]的梯度值不大于沿梯度線的兩個(gè)相鄰像素梯度值，則令M[ x,y]=0。用滯后閾值去除多層中多余邊緣點(diǎn)。

4）將三層邊緣點(diǎn)合并為一個(gè)邊緣線。三層Canny的滯后閾值T1，T2和T3分別設(shè)為0.24，0.13和0.07；標(biāo)準(zhǔn)差為1,2和3。每層邊緣檢測(cè)結(jié)果依次為圖4c-e。

5）用形態(tài)學(xué)對(duì)圖像進(jìn)行閉操作，填充和開操作，克服光照不均的分割圖，分割結(jié)果為圖 4 f。形態(tài)學(xué)操作時(shí)選擇圓形結(jié)構(gòu)元素，其參數(shù)設(shè)為3。

為說明三層 Canny算法的優(yōu)越性，針對(duì)預(yù)處理后圖像，與兩個(gè)經(jīng)典分割算法[23]相比較。如圖4g和4h所示，Ostu算法[26]在反光情況下會(huì)出現(xiàn)欠分割問題；傳統(tǒng)Canny算法在背景灰度不均地方存在過分割現(xiàn)象。因此，針對(duì)采集圖像，三層 Canny算法的分割效果優(yōu)于另外兩種經(jīng)典方法。

3 基于決策融合的蘋果分級(jí)模型

在蘋果分級(jí)中，蘋果的各個(gè)特征之間具有無關(guān)性。但由表1 可得，獨(dú)立的特征不能判斷蘋果等級(jí)。因此，引入決策融合的概念，根據(jù)各項(xiàng)特征綜合來判斷樣本的等級(jí)。整個(gè)分級(jí)模型的結(jié)構(gòu)如圖5所示。

圖5 蘋果分級(jí)模型結(jié)構(gòu)圖Fig.5 Model structure of apple grading

3.1 特征提取

1）果徑R（cm）：

式中Na為蘋果區(qū)域內(nèi)的像素個(gè)數(shù)，Pe為像素當(dāng)量，Cp為圖像壓縮率。

2）缺陷面積S（cm2）：

式中Nbp為果面缺陷區(qū)域內(nèi)的像素個(gè)數(shù)，根據(jù)試驗(yàn)樣本分析，果面缺陷主要為深色，在灰度圖像中，像素灰度級(jí)均小于20的次大區(qū)域即為缺陷。

3）色澤Q：蘋果紅色區(qū)域內(nèi)的像素?cái)?shù)與總面積內(nèi)像素?cái)?shù)之間的比值。

4）果形特征

首先，用凸度Dcon描述果形規(guī)則程度，公式如下：

式中 So為目標(biāo)的像素個(gè)數(shù)，Sc為目標(biāo)最小凸包的像素個(gè)數(shù)。

另外，傅立葉描述子[23]，用于補(bǔ)充描述蘋果輪廓信息，傅立葉描述子參數(shù)量選為21。

5）果面紋理

紋理特征具有旋轉(zhuǎn)不變性和局部抗噪能力，可用來描述果面光滑程度?；诨叶裙采仃嚨募y理特征分析方法[23]，通過計(jì)算灰度來得到共生矩陣，采用反差、能量、熵和逆差距 4 個(gè)參數(shù)表征紋理特征。設(shè)I(x,y)為蘋果圖像，x和y分別代表橫坐標(biāo)和縱坐標(biāo)，p(i,j)為圖像的灰度共生矩陣，i和j代表灰度值，則有：

6）顏色分布

數(shù)字圖像顏色可用RGB分量值，蘋果顏色分布特征主要包括： R分量均值與方差、G分量均值與方差、平均灰度等5個(gè)參數(shù)值。

最后，為避免特征間干擾，對(duì)其進(jìn)行歸一化。

3.2 判別樹分級(jí)模型

針對(duì)果徑、缺陷面積和色澤特征有明確分級(jí)指標(biāo)，見表1。因此，依據(jù)分級(jí)指標(biāo)構(gòu)造判別樹模型進(jìn)行樣本判斷，得到候選等級(jí)，分級(jí)結(jié)構(gòu)如圖6所示。

圖6 判別樹分級(jí)結(jié)構(gòu)Fig.6 Grading structure of decision tree

3.3 SVM分級(jí)模型

針對(duì)復(fù)雜高維的特征，建立有監(jiān)督的分類模型，依據(jù)人工經(jīng)驗(yàn)訓(xùn)練樣本進(jìn)行分級(jí)。采用的特征包括果形、果面紋理和顏色分布。

3.3.1 特征降維

為提高分級(jí)實(shí)時(shí)性，高維特征需要降維。由于該特征集具有非線性特點(diǎn)，采用核主元分析法（kernel principal component analysis,KPCA）[27]。設(shè)輸入樣本矩陣，對(duì)X進(jìn)行非線性變換 φ(·)映射到特征空間F中，設(shè)，則協(xié)方差矩陣為：

求解方程λv=Cv的特征值λ及相應(yīng)特征向量v，設(shè)i=1,2,…,N，存在系數(shù)α={α1,α2,…,αN}：

核函數(shù)選擇徑向基核函數(shù)，其計(jì)算公式如下：

式中g(shù)是選定的參數(shù)。

3.3.2 SVM分類方法

SVM方法[28-29]能解決小樣本訓(xùn)練集的機(jī)器學(xué)習(xí)問題，提高泛化性能。假設(shè)訓(xùn)練樣本標(biāo)簽向量，核函數(shù)為K，ai為每個(gè)樣本對(duì)應(yīng)的Lagrange乘數(shù)。

對(duì)于具體分類問題，關(guān)鍵是計(jì)算 ai，構(gòu)造與求解最優(yōu)化問題如下：

則SVM的分類函數(shù)P(x)為：

式中sgn(·)為符號(hào)函數(shù)，將徑向基函數(shù)作為核函數(shù)，見公式（16）。

由于SVM只適用兩類，因此，采用“一對(duì)一”的判別策略[28]，對(duì)于3類問題，需要構(gòu)造3個(gè)分類函數(shù)，通過投票機(jī)制得票最多的類別即為未知樣本類別。

在訓(xùn)練時(shí)，由于SVM模型的參數(shù)ζ和核參數(shù)g兩個(gè)預(yù)設(shè)參數(shù)對(duì)分類影響較大。為避免參數(shù)盲目選擇，引入具有較好全局遍歷能力的粒子群優(yōu)化算法（particle swarm optimization，PSO）[30-31]，對(duì)參數(shù)ζ和g進(jìn)行優(yōu)化選擇。優(yōu)化過程如下：1）由參數(shù)SVM參數(shù)｛ζ,g｝映射成一個(gè)粒子，并隨機(jī)產(chǎn)生一組粒子的初始位置；2）適應(yīng)度確定。粒子的適應(yīng)度值越大，則粒子位置越好。用帶入SVM參數(shù)集計(jì)算每個(gè)粒子的k-折交叉驗(yàn)證值作為其適應(yīng)度；3）計(jì)算個(gè)體最優(yōu)位置，更新粒子速度和位置。迭代終止得到全局最優(yōu)粒子映射為｛ζ,g｝，建立參數(shù)優(yōu)化的SVM模型。

3.4 決策融合

針對(duì)一個(gè)蘋果樣本進(jìn)行決策融合，判別策略為：比較判別樹模型和SVM模型的分級(jí)結(jié)果，樣本的最終等級(jí)對(duì)應(yīng)兩個(gè)結(jié)果中的較低等級(jí)。例如，針對(duì)某一樣本，判別樹模型的分類等級(jí)為一等品，SVM模型的分類等級(jí)為二等品，則該蘋果樣本為二等品。

4 結(jié)果與分析

利用尺寸已知的標(biāo)準(zhǔn)件對(duì)像素當(dāng)量進(jìn)行標(biāo)定，工件長(zhǎng)為12 cm，寬10 cm。通過尺寸標(biāo)定方法得到像素當(dāng)量Pe=0.0331 cm/pixel。為驗(yàn)證測(cè)量精度，隨機(jī)選取5個(gè)蘋果樣本，利用游標(biāo)卡尺測(cè)量作為其實(shí)際果徑，再結(jié)合像素當(dāng)量采用機(jī)器視覺方法計(jì)算，不考慮人工誤差，平均測(cè)量誤差約為2.83%，滿足實(shí)際要求，并且機(jī)器視覺測(cè)量果徑普遍小于人工測(cè)量果徑，究其原因在于機(jī)器視覺測(cè)量果徑是有效面積擬合的圓直徑，而人工針對(duì)單樣本是采用隨機(jī)角度 3 次測(cè)量方式。因此，在本次試驗(yàn)中，對(duì)機(jī)器視覺所測(cè)的果徑值均加補(bǔ)償值0.2 cm。

在試驗(yàn)前，對(duì)150個(gè)蘋果樣本進(jìn)行人工分級(jí)，每級(jí)包括50個(gè)蘋果。首先，在每級(jí)樣本中隨機(jī)抽出10個(gè)蘋果按分級(jí)順序放入傳送帶進(jìn)行采集圖像離線訓(xùn)練。使用KPCA降維特征用于訓(xùn)練，得到特征維數(shù)為4，建立粒子群優(yōu)化的SVM分類參數(shù)模型。根據(jù)經(jīng)驗(yàn)，設(shè)定優(yōu)化參數(shù)為：粒子群優(yōu)化算法的種群數(shù)量為 2 0，最大迭代次數(shù)為80，得到最優(yōu)ζ和g分別為18.2和8.8。粒子群優(yōu)化的適應(yīng)度變化結(jié)果如圖7所示。

為表明分級(jí)檢測(cè)方法的有效性，用剩余 1 20個(gè)蘋果樣本進(jìn)行在線批量測(cè)試。將樣本置于傳送帶上進(jìn)行連續(xù)驗(yàn)證。在線分級(jí)檢測(cè)結(jié)果如表2 所示。以人工分級(jí)結(jié)果為基準(zhǔn)，采用決策融合方法對(duì)上述蘋果樣本進(jìn)行分級(jí)的準(zhǔn)確率分別為95%、92.5%、97.5%，總準(zhǔn)確率達(dá)95%，表明該方法的正確性和有效性。處理計(jì)算機(jī)配置為處理器3.40 GHz和內(nèi)存8 G。針對(duì)120個(gè)蘋果的批量測(cè)試樣本，在線分級(jí)檢測(cè)總用時(shí)約為29 s，平均速度為4個(gè)/s，能夠滿足實(shí)時(shí)要求。

圖7 粒子群優(yōu)化的適應(yīng)度曲線Fig.7 Fitness curve of PSO

表2 批量蘋果分級(jí)檢測(cè)結(jié)果Table 2 Grading results of batch apples

采用本文方法對(duì)蘋果樣本等級(jí)進(jìn)行在線檢測(cè)，雖然能夠?qū)Υ蠖鄶?shù)樣本準(zhǔn)確分級(jí)，但對(duì)少量樣本存在誤分。除了存在果徑測(cè)量誤差和人工分級(jí)的失誤外，分析造成錯(cuò)誤分級(jí)的主要原因有：1）受到傳動(dòng)帶運(yùn)行速度及外界光照等因素干擾，因此采集到的蘋果圖像存在噪聲，容易影響蘋果色澤和紋理特征計(jì)算，致使高等級(jí)蘋果誤判為低等級(jí)蘋果。2）由于機(jī)器視覺成像范圍限制，未能檢測(cè)水果底部和下側(cè)面的缺陷，造成低等級(jí)蘋果誤判為高等級(jí)蘋果。

5 結(jié) 論

1）利用機(jī)器視覺技術(shù)，在線采集傳送帶上的蘋果圖像，針對(duì)光線噪聲干擾情況，提出基于三層 Canny算子圖像分割方法。該方法可以有效克服光照影響，滿足自動(dòng)提取蘋果圖像要求。

2）提出基于融合決策的蘋果分級(jí)檢測(cè)模型。果徑、缺陷面積和著色度等特征采用判別樹分級(jí)模型；同時(shí)，針對(duì)果形、紋理和顏色分布等復(fù)雜特征，通過訓(xùn)練建立基于粒子群優(yōu)化的SVM模型來進(jìn)行分級(jí)。最后，根據(jù)決策融合策略來確定該樣本等級(jí)。試驗(yàn)準(zhǔn)確率高達(dá)95%，證明該方法的可行性。

3）由于該方法屬于在線檢測(cè)，所以，對(duì)實(shí)時(shí)性要求較高。本文從2個(gè)方面進(jìn)行改進(jìn)，一方面，在圖像預(yù)處理階段，對(duì)圖像進(jìn)行壓縮，平均節(jié)省時(shí)間0.03 s左右；另一方面，在SVM模型中的特征屬于高維非線性特征，為了滿足實(shí)時(shí)性要求，引入核函數(shù)方法對(duì)其降維。

[1] Blasco J,Aleixos N,Moltó E. Machine vision system for automatic quality grading of fruit[J]. Biosystems Engineering,2003,85(4):415－423.

[2] 宋懷波，張傳棟，潘景朋，等. 基于凸殼的重疊蘋果目標(biāo)分割與重建算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(3)：163－168. Song Huaibo,Zhang Chuandong,Pan Jingpeng,et al. Segmentation and reconstruction of overlappedapple images based on convex hull[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(3):163－168.(in Chinese with English abstract)

[3] 周薇，馮娟，劉剛，等. 蘋果采摘機(jī)器人中的圖像配準(zhǔn)技術(shù)[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2013，29(11)：20－26. Zhou Wei,Feng Juan,Liu Gang,et al. Application of image registration technology in apple harvest robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(11):20－26.(in Chinese with English abstract)

[4] Yogitha S,Sakthivel P. A distributed computer machine vision system for automated inspection and grading of fruits[C]// International Conference on Green Computing Communication and Electrical Engineering. 2014:1－4.

[5] 顧玉宛，史國(guó)棟，劉曉洋，等. 基于空間特征譜聚類算法的含噪蘋果圖像優(yōu)化分割[J]. 農(nóng)業(yè)工程學(xué)報(bào),2016,32(16)：159－167. Gu Yuwan,Shi Guodong,Liu Xiaoyang,et al. Optimization spectral clustering algorithm of apple image segmentation with noise based on space feature[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(16):159－167.(in Chinese with English abstract)

[6] Li Q,Wang M,Gu W. Computer vision based system for apple surface defect detection[J]. Computers &Electronics in Agriculture,2002,36(23):215－223.

[7] 朱德利，陳兵旗，楊雨濃，等. 蘋果采摘機(jī)器人視覺系統(tǒng)的暗通道先驗(yàn)去霧方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(16)：151－158. Zhu Deli,Chen Bingqi,Yang Yunong,et al. Method of haze-removal based on dark channel prior in visual system of apple harvest robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(16):151－158.(in Chinese with English abstract)

[8] 賈偉寬，趙德安，阮承治，等. 蘋果采摘機(jī)器人夜間圖像降噪算法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：219－226. Jia Weikuan,Zhao Dean,Ruan Chengzhi,et al. De-noising algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2015,31(10):219－226.(in Chinese with English abstract)

[9] 趙娟,彭彥昆,SAGAR D,等. 基于機(jī)器視覺的蘋果外觀缺陷在線檢[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44(增刊1)：260－263. Zhao Juan，Peng Yankun，Sagar D，et al. On-line detection of apple surface defect based on image processing method[J]. Transactions of the Chinese Society for Agricultural Machinery,2013,44(Supp. 1):260－263.(in Chinese with English abstract)

[10] 陳艷軍，張俊雄，李偉，等. 基于機(jī)器視覺的蘋果最大橫切面直徑分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2012，28(2)：284－288. Chen Yanjun,Zhang Junxiong,Li Wei,et al. Grading method of apple by maximum cross-sectional diameter based on computer vision[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2012,28(2):284－288.(in Chinese with English abstract)

[11] 朱堅(jiān)民，雷靜桃，翟東婷，等. 基于灰關(guān)聯(lián)分析和模糊隸屬度匹配的球形水果自動(dòng)識(shí)別方法[J]. 儀器儀表學(xué)報(bào)，2012，33(8)：1826－1836. Zhu Jianmin,Lei Jingtao,Zhai Dongting,et al. Spherical fruit automatic recognition method based on grey relational analysis and fuzzy membership degree matching[J]. Chinese Journal of Scientific Instrument,2012,33(8):1826－1836.(in Chinese with English abstract)

[12] Mizushima A,Lu R. An image segmentation method for apple sorting and grading using support vector machine and Otsu’s method[J]. Computers &Electronics in Agriculture,2013,94(94):29－37.

[13] Bhatt A K,Pant D. Automatic apple grading model development based on back propagation neural network and machine vision,and its performance evaluation[J]. Ai &Society,2015,30(1):45－56.

[14] Du C J,Sun D W. Learning techniques used in computer vision for food quality evaluation:A review[J]. Journal of Food Engineering,2006,72(1):39－55.

[15] Leemans V,Destain M F. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering,2004,61(1):83－89.

[16] Toylan H,Kuscu H. A real-time apple grading system using multicolor space[J]. The Scientific World Journal,2013,2014(1):292681－292681.

[17] 李先鋒，朱偉興，花小朋，等. 基于D－S證據(jù)理論的決策級(jí)多特征融合蘋果分級(jí)方法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào)，2011，42(6)：188－192.

[18] Li X,Zhu W. Apple grading method based on features fusion of size,shape and color[J]. Procedia Engineering,2011,15(1):2885－2891.

[19] Radojevi? R L,Petrovi? D V,Pavlovi? V B,et al. Digital parameterization of apple fruit size,shape and surface spottiness[J]. African Journal of Agricultural Research,2011,6(13):3131—3142.

[20] Garrido-Novell C,Pérez-Marin D,Amigo J M,et al. Grading and color evolution of apples using RGB and hyperspectral imaging vision cameras[J]. Journal of Food Engineering,2012,113(2):281－288.

[21] Li C,Xu C,Gui C,et al. Distance regularized level set evolution and its application to image segmentation[J],IEEE Transactions on Image Processing,2010,19(12):3243－3254.

[22] Wang W. Image analysis of particles by modified ferret method:best-fit rectangle[J]. Powder Technology,2006. 165(1):1－10.

[23] Gonzalez R C,Woods R E,Eddins S L. Digital image processing using MATLAB[M]. Upper Saddle River:Prentice Hall,2004.

[24] 張旭明，徐濱士，董世運(yùn). 用于圖像處理的自適應(yīng)中值濾波[J]. 計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2005，17(2)：295－299. Zhang Xuming,Xu Binshi,Dong Shiyun. Adaptive median filtering for image processing[J]. Journal of computer-aideddesign &compter graphics,2005,17(2):295－299.(in Chinese with English abstract)

[25] 費(fèi)繼友，謝金路，李花，等. 基于字符特征約束的自適應(yīng)車牌校正提取[J]. 儀器儀表學(xué)報(bào)，2016(3)：632－639. Fei Jiyou,Xie Jinlu,Li Hua,et al. Adaptive license plate correction and extraction based on character feature constraint[J]. Chinese Journal of Scientific Instrument,2016(3):632－639.(in Chinese with English abstract)

[26] Otsu N. A Threshold selection method from gray-level histograms[J]. IEEE Transactions on Systems Man &Cybernetics,1979,9(1):62－66.

[27] Lee J M,Yoo C K,Sang W C,et al. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical Engineering Science,2004,59(1):223－234.

[28] Chang C,Lin C. LIBSVM:a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology,2011,2(27):1－27.

[29] 王璨，李志偉. 利用融合高度與單目圖像特征的支持向量機(jī)模型識(shí)別雜草[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(15)：165－174. Wang Can,Li Zhiwei. Weed recognition using SVM model with fusion height and monocular image features[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(15):165－174.(in Chinese with English abstract)

[30] Poli R,Kennedy J,Blackwell T. Particle swarm optimization:an overview[J]. Swarm Intelligence,2007,1(1):33－57.

[31] 肖艷，姜琦剛，王斌，等. 基于ReliefF和PSO混合特征選擇的面向?qū)ο笸恋乩梅诸怺J]. 農(nóng)業(yè)工程學(xué)報(bào)，2016，32(4)：211－216. Xiao

Yan,Jiang Qigang,Wang Bin,et al. Object basedlanduse classification based on hybrid feature selection method of combining Relief F and PSO[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2016,32(4):211－216.(in Chinese with English abstract)

Online apple grading based on decision fusion of image features

Huang Chen,Fei Jiyou※
(School of Mechanical Engineering,Dalian Jiaotong University,Dalian 116028,China)

Machine vision has been applied in automatic grading for fruit recently. It is well known that as an important detection task,online fruit grading automation faces some challenges in online sorting system. Machine vision is a developing technique facilitating the fruit detection. In this paper,in order to improve the accuracy and efficiency for apple grading,an online detection method of apple grading based on machine vision features is presented. Apple images can be captured from the online industrial camera in the sorting system,which can ensure that the imaging view is suitable for the object area of the conveyor. At first,to obtain the relationship between the real size and the image size,the improved calibration algorithm with the standard workpiece is used to calculate the pixel equivalent of the captured image. The distance regularized level set method is introduced to segment the workpiece edge,and the best-fit rectangle method is used to compute the length and width of the pixels. Then the values of pixel equivalent in length and width are respectively obtained. Secondly,because apple grading detections are mostly performed in indoors,illumination can seriously affect the detection accuracy. For this problem mentioned above,the image preprocessing including wavelet compression and median filtering is introduced to reduce the size and overcome the noise which is from the image acquiring and transmission previously. Accordingly,the improved three-layer Canny edge detection algorithm is proposed to extract the apple contour for the online image which suffers from the uneven lighting. In this step,the 3 different thresholds and scales are considered. The morphological operation is used to close the edge. Thirdly,according to the characteristics of the appearance class of the Fuji apple,multi-feature parameters can be considered,which include fruit diameter,defeat area,color degree,fruit shape,texture features,color distribution parameters and so on. Decision tree is used to determine the candidate class with fruit diameter,defeat area and color degree features. In the meanwhile,to save the online computation time,the features set should be reduced. So kernel principal component analysis(KPCA) is used to reduce both nonlinearity and dimension for fruit shape,texture and color distribution features. Support vector machine(SVM) is introduced to classify apple grades with dimensionality reduction features. The parameters of SVM are selected with particle swarm optimization(PSO) method for the training set. Finally,decision fusion is used for the apple grading based on decision tree result and SVM model result. In the experimental case,the actual fruit diameters were measured with vernier caliper for 5 apples,and the machine vision method with pixel equivalent was also used for measuring the fruit diameters of the same apples. Measurement error was about 2.83%. Then 30 apples were selected for training SVM modeling,and 120 apples were used to test the proposed method. The results showed that the recognition accuracy based on the decision fusion of image features could reach 95%. The proposed model has good performance of accuracy and stability. So the proposed method is believed to be feasible for online grading of apples. It also provides a frame of reference for other types of fruits.

image processing;support vector machine;computer vision;apple grading;decision fusion;three-layer Canny;feature analysis

10.11975/j.issn.1002-6819.2017.01.039

TP391.4

A

1002-6819(2017)-01-0285-07

黃 辰，費(fèi)繼友. 基于圖像特征融合的蘋果在線分級(jí)方法[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2017，33(1)：285－291.

10.11975/j.issn.1002-6819.2017.01.039 http://www.tcsae.org

Huang Chen,Fei Jiyou. Online apple grading based on decision fusion of image features[J]. Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2017,33(1):285－291.(in Chinese with English abstract)doi：10.11975/j.issn.1002-6819.2017.01.039 http://www.tcsae.org

2016-06-27

2016-10-24

國(guó)家自然科學(xué)基金資助項(xiàng)目（51376028）；國(guó)家科技支撐計(jì)劃（2015BAF20B02）。

黃 辰，女，遼寧營(yíng)口人，工程師，博士生，主要從事運(yùn)動(dòng)控制研究。大連大連交通大學(xué)機(jī)械工程學(xué)院，116028。Email：huangchen054@163.com

※通信作者：費(fèi)繼友，男，吉林松原人，教授，博士生導(dǎo)師，主要從事現(xiàn)代測(cè)試技術(shù)研究。大連大連交通大學(xué)機(jī)械工程學(xué)院，116028。Email：fjy@djtu.edu.cn