王迎超，張婧婧，賈東霖，周騰飛

（新疆農(nóng)業(yè)大學(xué) 計算機與信息工程學(xué)院，新疆 烏魯木齊 830052）

我國是世界上公認(rèn)的蘋果種植大國，每年的蘋果產(chǎn)量占到了世界總產(chǎn)量的40%以上。在高產(chǎn)量的背后，由于我國普遍采用人工分級方式，導(dǎo)致蘋果的質(zhì)量參差不一和大量的蘋果碰傷，造成了很大的利潤損失[1]。蘋果在線分級是解決由人工分級導(dǎo)致的蘋果碰傷、分級準(zhǔn)確率不高等問題的主要方法。在基于機器視覺的蘋果外觀品質(zhì)分級領(lǐng)域，通過提取蘋果的果徑[1-3]、缺陷[4-5]、顏色[6-7]、果形[8-11]、紋理[12-13]等單一特征進(jìn)行量化與分級的技術(shù)已得到廣泛研究與應(yīng)用。而不同體系的蘋果分級標(biāo)準(zhǔn)表明，單一特征的蘋果分級與主流的分級標(biāo)準(zhǔn)差異較大，多特征的蘋果分級具備顯著的技術(shù)優(yōu)勢。在多特征融合的蘋果分級技術(shù)研究中[14-20]，通常在蘋果圖像經(jīng)過預(yù)處理、背景分割、特征提取等步驟后，將蘋果的果徑、果形等多個特征融合并作為蘋果分級的依據(jù)，彌補了單一特征進(jìn)行蘋果分級的局限性，其分級結(jié)果更貼合人工標(biāo)準(zhǔn)。在此類分級技術(shù)中，以支持向量機（SVM）、卷積神經(jīng)網(wǎng)絡(luò)（CNN）等分類器進(jìn)行分級更為普遍[21-24]。就模型的泛化能力而言，SVM 中懲罰因子的選取會隨著特征個數(shù)及特征數(shù)據(jù)本身的變化而變化，不具備較好的泛化能力[25]。從蘋果分級效率出發(fā)，CNN網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，雖然在分級結(jié)果上更為準(zhǔn)確，但分級時間很難滿足流水線的實時性需求。多層感知機（MLP）神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)簡單，輸入特征接口數(shù)量易改變，參數(shù)易選取，適于高效、多分類的分級目標(biāo)[26]。鑒于此，采集阿克蘇紅富士蘋果的果形、果徑、著色比、缺陷及紋理特征構(gòu)建樣本數(shù)據(jù)集，基于遺傳算法和MLP 神經(jīng)網(wǎng)絡(luò)建立蘋果分級模型，通過遺傳算法對MLP神經(jīng)網(wǎng)絡(luò)的優(yōu)化，進(jìn)一步提升傳統(tǒng)MLP 的性能，著重解決類球形果體在自動分級過程中分級效率不高、分級不準(zhǔn)確等問題，為類球形果體外觀品質(zhì)的分級提供參考與借鑒。

1 材料和方法

1.1 材料

供試蘋果為新疆阿克蘇紅富士蘋果，依據(jù)GB/T 10651—2008《鮮蘋果》標(biāo)準(zhǔn)采集蘋果圖像，使用華為Mate30-5G 手機，其攝像頭為4 000 萬像素，共計采集了 1 500 個蘋果的正視、側(cè)視與俯視圖，如圖1所示。

圖1 蘋果圖像采集Fig.1 Apple image acquisition

為獲取完整的蘋果側(cè)面圖像，在采集正視與后視圖時以蘋果的最大橫截面為標(biāo)準(zhǔn)，采集方式如圖2 所示。圖2 中a 表示攝像頭到蘋果最大橫截面的距離。依據(jù)三視圖的原理，當(dāng)觀測距離相等時，同一物體的正視圖與后視圖相同，均為該物體的最大橫截面。試驗證明，由圖2 所得到的正視圖與后視圖可以相互重合，因此該方法能夠保證蘋果側(cè)面圖像采集完整。

圖2 蘋果側(cè)面圖像采集Fig.2 Apple profile image acquisition

1.2 方法

1.2.1 試驗設(shè)計 提出一種基于K-means 聚類和改進(jìn)MLP 的蘋果分級方法。首先采用均值濾波方法預(yù)處理分類圖像，過濾圖像表面的噪聲；之后借助K-means 聚類算法進(jìn)行蘋果圖像聚類，進(jìn)一步完成背景與果體的分離。在提取蘋果特征之前，使用全局亮度均衡化操作降低圖像表面光照及亮斑的影響，保證特征提取過程的準(zhǔn)確性。考慮到人工分級過程的人為因素，根據(jù)相關(guān)性分析結(jié)果與人工偏好權(quán)重，對特征數(shù)據(jù)集作綜合加權(quán)，并進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)化轉(zhuǎn)換。最后按照7∶3的比例把數(shù)據(jù)集的70%用于遺傳算法（GA）優(yōu)化的MLP 神經(jīng)網(wǎng)絡(luò)訓(xùn)練，30%用于測試，其試驗設(shè)計框架如圖3所示。

圖3 試驗設(shè)計框架Fig.3 Experimental design framework

1.2.2 試驗環(huán)境 操作系統(tǒng)為Windows10 家庭版，版本號為21H2，筆記本操作系統(tǒng)為64 位，CPU 為Intel（R）Core（TM）i7-7500U，內(nèi)存大小為8 GB，開發(fā)語言為Python。

1.2.3 預(yù)處理 蘋果作為類球形水果，在圖像采集過程中表面會產(chǎn)生不同的反光，因此，需要對圖像進(jìn)行亮度均衡化處理，以降低光照對后續(xù)試驗的影響。首先將蘋果圖像進(jìn)行顏色空間轉(zhuǎn)換，然后在YCrCb 中對亮度通道進(jìn)行自適應(yīng)直方圖均衡化操作，有效降低光照影響。預(yù)處理后圖像如圖4所示。

圖4 預(yù)處理后蘋果圖像Fig.4 Pre-processed apple images

1.2.4 背景分割 為準(zhǔn)確地提取蘋果特征，需要對蘋果圖像進(jìn)行背景分割操作。首先，根據(jù)背景與果實區(qū)域像素閾值的不同，使用最大類間方差法（OSTU）完成圖像的分割操作，結(jié)果見圖5a。其不足之處在于，當(dāng)背景與果實區(qū)域的像素閾值接近時無法滿足預(yù)期的分割效果?；谔O果圖像的簡單背景，選用K-means 聚類算法設(shè)定的K 值，通過計算最短歐式距離，將蘋果圖像的像素點進(jìn)行分類，據(jù)此完成背景的分割，如圖5b 所示。對比2 種方法的分割結(jié)果，OSTU 分割得到的圖像無法準(zhǔn)確劃分出背景與果實的閾值，出現(xiàn)較明顯的誤判現(xiàn)象。K-means 聚類方法的分割效果更加清晰，對果實區(qū)域的提取也更為完整。

圖5 蘋果圖像分割效果對比Fig.5 Comparison of apple image segmentation effect

為進(jìn)一步驗證基于 K-means聚類的分割優(yōu)勢，引入經(jīng)典的U-net 和DeepLab-V3 模型分別對同一蘋果圖像數(shù)據(jù)集進(jìn)行測試，其平均分割時間的對比結(jié)果如表1所示。由表1可知，在3種方法分割效果趨于一致的情況下，基于U-net和DeepLab-V3的分割時間分別為3.18、12.10 s/次，比基于K-means 聚類的分割時間分別多出1.22、10.14 s/次。表明基于U-net 和DeepLab-V3 為代表的實例分割網(wǎng)絡(luò)無法滿足簡單背景下蘋果圖像分割的高速率要求，而基于K-means 聚類的分割方法在蘋果分級過程中能夠確保分級的準(zhǔn)確率和速率。

表1 各模型分割時間對比Tab.1 Comparison of model segmentation time

1.2.5 蘋果特征的提取

1.2.5.1 果徑 果徑大小是蘋果分級的重要指標(biāo)之一。利用蘋果的俯視圖來計算蘋果的果徑大小。在俯視圖的采集過程中，得到的最大截面的直徑即為蘋果的最大果徑。即對俯視圖像進(jìn)行背景分割、二值化處理，之后進(jìn)行Canny邊緣檢測，并依據(jù)蘋果輪廓構(gòu)建最小外接矩形，按照最小外接矩形的頂點坐標(biāo)獲得矩形的長和寬（h，w），最后對矩形的長和寬取平均值得到蘋果的果徑d。

1.2.5.2 果形 果形是描述蘋果果實圓度（E）的重要參考指標(biāo)，越接近圓形的蘋果等級越高，一般E為0.9 時，近似為圓形或者近圓形。果形為蘋果果實的縱徑與橫徑之比，如公式（1）[27]，其中，縱徑與橫徑分別取自蘋果輪廓的最小外接矩形的長和寬（h，w）。

1.2.5.3 顏色特征 蘋果的顏色特征是最直觀的蘋果分級指標(biāo)之一。HSV 空間是接近于人眼感知的能夠清晰表述顏色直觀特征的顏色空間，因此，將RGB 按照式（2）、（3）、（4）[28]轉(zhuǎn)換到HSV 空間，利用H、S、V 通道的閾值范圍進(jìn)行紅色素的提取，如圖6所示。各顏色在HSV空間的閾值范圍如表2所示。

表2 HSV顏色閾值范圍Tab.2 HSV color threshold range

圖6 HSV各通道蘋果圖像Fig.6 Images of apples in each channel of HSV

式 中：R′=R/255；G′=G/255；B′=B/255；Cmax=max（R′，G′，B′）；Cmin=min（R′，G′，B′）；Δ=Cmax-Cmin。

1.2.5.4 缺陷 蘋果的缺陷包括擦傷、腐爛、蟲洞等，嚴(yán)重影響著蘋果的質(zhì)量等級。在采集的圖像中，蘋果的缺陷一般呈現(xiàn)暗黑色或者黑褐色。首先對圖像進(jìn)行二值化并取反，接著對孔洞進(jìn)行填充，并與原二值圖像進(jìn)行異或運算，得到蘋果的缺陷圖像。部分缺陷提取效果如圖7所示。

圖7 蘋果缺陷提取Fig.7 Apple defect extraction

1.2.5.5 紋理 紋理是反映圖像同質(zhì)現(xiàn)象變化的一種視覺特征?；诨叶裙采仃嚨募y理特征提取方法，能夠體現(xiàn)蘋果圖像表面的組織結(jié)構(gòu)的緩慢性或周期性變化。通過計算圖像灰度得到灰度共生矩陣，借助ASM能量、熵（ENT）、逆差矩（IDM）、對比度（CON）、相關(guān)性（Corr）5個參數(shù)表示蘋果圖像的紋理特征。設(shè)l(x,y) 為蘋果圖像，大小為a×b，則l(x,y)的灰度共生矩陣為：

其中，#(x)為元素x的集合。

基于灰度共生矩陣，得到以下的紋理特征向量[29-31]：

1.2.6 蘋果特征數(shù)據(jù)加權(quán) 考慮到人工分級中部分人為因素，試驗中引入蘋果等級的偏好設(shè)置。即采用相關(guān)性分析獲取特征數(shù)據(jù)與分級結(jié)果的關(guān)聯(lián)，結(jié)合人工分揀偏好的各特征權(quán)重，與輸入特征融合并進(jìn)行加權(quán)，重新進(jìn)行特征數(shù)據(jù)集的構(gòu)建。

在提取圖像特征后，蘋果等級依次劃分為1、2、3、4四個等級，1代表特級果，一級果、二級果和等外果以此類推。根據(jù)相關(guān)性分析結(jié)果，將得到的相關(guān)系數(shù)定義為wj。根據(jù)人工挑選偏好權(quán)重，將蘋果各個特征權(quán)重定義為aj，如表3所示。

表3 人工挑選偏好權(quán)重Tab.3 Manual selection weight

依照公式（11）[32]計算wj與aj得到各個特征的綜合權(quán)重（βj）。

1.2.7 基于改進(jìn)MLP的多特征融合分級

1.2.7.1 MLP神經(jīng)網(wǎng)絡(luò) 多層感知機是一個包含輸入層、多個隱藏層、輸出層的神經(jīng)網(wǎng)絡(luò)，最簡單的MLP為3層，包含1個隱藏層，如圖8所示。

圖8 3層感知機Fig.8 Three layer perceptron

1.2.7.2 改進(jìn)的MLP 神經(jīng)網(wǎng)絡(luò)（GA-MLP）傳統(tǒng)機器學(xué)習(xí)的優(yōu)化算法從單個的初始值開始，通過多次迭代得到最優(yōu)解，容易陷入局部最優(yōu)解。而遺傳算法（GA）的運算過程是從問題解的串集中開始搜索，搜索范圍廣，覆蓋的值域多，利于找尋最優(yōu)解。因此，采用遺傳算法替代傳統(tǒng)優(yōu)化算法，用于MLP 神經(jīng)網(wǎng)絡(luò)的優(yōu)化，其優(yōu)化流程如圖9所示。

圖9 GA優(yōu)化MLP流程Fig.9 Optimization flow chart of MLP by GA

1.2.8 分級模型訓(xùn)練

1.2.8.1 數(shù)據(jù)標(biāo)準(zhǔn)化 設(shè)輸入樣本矩陣為X={x1,x2,…,xi}，對X進(jìn)行標(biāo)準(zhǔn)差歸一化，則歸一化后數(shù)據(jù)[33]為：

1.2.8.2 初始化MLP 神經(jīng)網(wǎng)絡(luò)與GA 參數(shù) 初始化MLP神經(jīng)網(wǎng)絡(luò)隱含層節(jié)點數(shù)參考公式（13）[33]：

其中，l為隱含層節(jié)點數(shù)；m為輸入層節(jié)點數(shù)；n為輸出層節(jié)點數(shù)；s為常數(shù)，一般取值為（0，10）。

初始化MLP 神經(jīng)網(wǎng)絡(luò)激活函數(shù)為Sigmoid 函數(shù)，如公式（14）[33]所示：

1.2.8.3 GA-MLP 模型訓(xùn)練與預(yù)測 首先，將預(yù)處理后的數(shù)據(jù)通過輸入神經(jīng)元輸入到MLP 神經(jīng)網(wǎng)絡(luò)，利用遺傳算法對MLP 神經(jīng)網(wǎng)絡(luò)的初始參數(shù)進(jìn)行編碼，編碼完成后計算個體長度，計算公式如式（15）[33]所示：

其中，e為隱含層節(jié)點數(shù)。

其次，計算個體的適應(yīng)度函數(shù)值。一般選取網(wǎng)絡(luò)的輸出值與預(yù)測值之間的誤差絕對值作為個體的適應(yīng)度值。計算公式如公式（16）[33]所示：

其中，F(xiàn)為適應(yīng)度值，yi為網(wǎng)絡(luò)實際輸出值，oi為預(yù)期輸出值，k為參數(shù)，n為輸出個數(shù)。

然后，執(zhí)行遺傳算法的選擇操作，采用比例選擇算子方法。設(shè)群體的大小為n，個體為xi的適應(yīng)度為f(xi)，則個體xi的選擇概率如公式（17）[33]所示：

選擇操作完成后，對于保留下來的個體進(jìn)行交叉操作，設(shè)隨機2 個個體為akj、alj，b為參數(shù)，則交叉過程如公式（18）[33]所示。

此外，選取其中的第i個個體上的第j個基因進(jìn)行變異，變異過程如公式（19）[33-34]所示。

其中，f(g) =r(1-g/Gmax)2，r屬于（0，1），g為當(dāng)前迭代次數(shù)，Gmax為最大迭代次數(shù)。

最后，將得到的最優(yōu)參數(shù)賦值給MLP 神經(jīng)網(wǎng)絡(luò)，MLP 神經(jīng)網(wǎng)絡(luò)則根據(jù)得到的參數(shù)進(jìn)行訓(xùn)練，完成GA對MLP神經(jīng)網(wǎng)絡(luò)的優(yōu)化。

2 結(jié)果與分析

將處理好的蘋果特征數(shù)據(jù)送入到GA-MLP 神經(jīng)網(wǎng)絡(luò)中進(jìn)行分級，并與傳統(tǒng)的MLP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練結(jié)果進(jìn)行對比，其中GA-MLP 神經(jīng)網(wǎng)絡(luò)與傳統(tǒng)MLP神經(jīng)網(wǎng)絡(luò)參數(shù)設(shè)置如表4所示。其中，（15，20）表示隱藏層層數(shù)為2，神經(jīng)元個數(shù)分別為15，20。（13，13）表示隱藏層層數(shù)為2，神經(jīng)元個數(shù)分別為13，13。

表4 GA-MLP神經(jīng)網(wǎng)絡(luò)與MLP神經(jīng)網(wǎng)絡(luò)的參數(shù)Tab.4 GA-MLP neural network and MLP neural network parameters

圖10 展現(xiàn)了GA-MLP 神經(jīng)網(wǎng)絡(luò)與MLP 神經(jīng)網(wǎng)絡(luò)在迭代次數(shù)為500、學(xué)習(xí)率為0.001 條件下的訓(xùn)練過程。由圖10可以看出，基于GA-MLP神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率全程高于 MLP神經(jīng)網(wǎng)絡(luò)，且訓(xùn)練速度和收斂速度都高于MLP神經(jīng)網(wǎng)絡(luò)。

圖10 網(wǎng)絡(luò)訓(xùn)練結(jié)果Fig.10 Network training results

將GA-MLP 神經(jīng)網(wǎng)絡(luò)與MLP 神經(jīng)網(wǎng)絡(luò)在測試集上的輸出值與實際值進(jìn)行擬合，其結(jié)果如圖11所示。GA-MLP 神經(jīng)網(wǎng)絡(luò)與MLP 神經(jīng)網(wǎng)絡(luò)在蘋果特征數(shù)據(jù)集上的輸出絕對誤差如圖12 所示。從圖11可以看出，通過MLP 神經(jīng)網(wǎng)絡(luò)及GA-MLP 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，其蘋果等級的預(yù)測與真實值變化趨勢基本一致，且GA-MLP 神經(jīng)網(wǎng)絡(luò)的預(yù)測結(jié)果更為準(zhǔn)確。同樣，如圖12 中，GA-MLP 神經(jīng)網(wǎng)絡(luò)的分級誤差低于MLP神經(jīng)網(wǎng)絡(luò)。

圖11 分級結(jié)果擬合Fig.11 Grading result fitting

圖12 GA-MLP與MLP輸出絕對誤差分析Fig.12 Absolute error analysis of GA-MLP and MLP output

另取400 個蘋果的圖像完成模型的測試驗證。測試集包括前后視圖及俯視圖，共計1 200 副圖像，仍劃分為特級果、一級果、二級果和等外果4 個等級。每類蘋果數(shù)量各為100個。依據(jù)上述方法完成背景分割、指標(biāo)提取、相關(guān)性分析后分別送入GAMLP 與MLP 神經(jīng)網(wǎng)絡(luò)中，分類結(jié)果如表5 所示。由表5 可知，在蘋果分級應(yīng)用中，GA-MLP、MLP 神經(jīng)網(wǎng)絡(luò)的分級準(zhǔn)確率分別為94.25%、93.25%。

表5 各等級蘋果分類結(jié)果對比Tab.5 Comparison of apple classification results of different grades

3 結(jié)論與討論

在前人研究蘋果分級中，常以閾值分割法來分割蘋果圖像，該方法對蘋果圖像背景要求較為嚴(yán)格，有較大的局限性。本研究將直方圖均衡與Kmeans 聚類相結(jié)合，提出一種基于直方圖均衡與Kmeans 聚類的分割方法，一定程度上降低了圖像背景的要求。在建立數(shù)據(jù)集方面，前人研究中多認(rèn)為蘋果各個特征權(quán)重相同，與實際的分級場景不符。本研究充分考慮到各個蘋果特征的權(quán)重問題，采用相關(guān)性分析法來模擬蘋果特征的權(quán)重分配，并與人工挑選偏好權(quán)重充分結(jié)合，進(jìn)一步模擬更加真實的蘋果分級場景。

針對阿克蘇紅富士蘋果外觀品質(zhì)分級的需求，本試驗制作了阿克蘇紅富士蘋果特征數(shù)據(jù)集，基于MLP 神經(jīng)網(wǎng)絡(luò)對該數(shù)據(jù)集進(jìn)行分級訓(xùn)練，且采用遺傳優(yōu)化算法獲取準(zhǔn)確率更高的分級模型。結(jié)果表明，基于K-means 聚類和改進(jìn)MLP 的蘋果分級方法的平均分級準(zhǔn)確率達(dá)到94.25%，高于一般的MLP分類，達(dá)到了較好的分級效果?；陂撝档腛STU 方法在分割蘋果圖像過程中，對圖像的像素差別要求較高，容易造成分割誤差。K-means 聚類借助歐氏距離對圖像進(jìn)行聚類，降低對像素閾值的依賴。在實際圖像分割任務(wù)中，基于K-means 聚類的背景分割效果優(yōu)于一般的OSTU 分割法，為準(zhǔn)確提取蘋果的各項特征奠定了基礎(chǔ)。在測試集上，二級果的分級準(zhǔn)確率偏低。考慮到特征數(shù)據(jù)集的差異，后續(xù)可通過數(shù)據(jù)增強、特征數(shù)據(jù)擴充等增加數(shù)據(jù)集的方式將二級果樣本數(shù)據(jù)增加至500條左右。

在后續(xù)的研究工作中，將繼續(xù)探究本研究所提方法在其他多特征果體分級案例中的表現(xiàn)，并展開更多的測試應(yīng)用，根據(jù)其他果體的分級表現(xiàn)，進(jìn)一步獲取優(yōu)化的方法與理論，推動類球形水果的自動分級研究。