劉曉洋 趙德安 賈偉寬 阮承治 姬 偉

(1.江蘇大學電氣信息工程學院， 鎮(zhèn)江 212013； 2.山東師范大學信息科學與工程學院， 濟南 250358；3.武夷學院機電工程學院， 武夷山 354300)

0 引言

蘋果是我國產(chǎn)量最高的水果，根據(jù)2019年中國統(tǒng)計年鑒數(shù)據(jù)顯示，2017年中國蘋果總產(chǎn)量達4 139萬t。蘋果采摘作業(yè)是一種勞動力密集型和時間密集型工作。為推進農業(yè)生產(chǎn)的自動化，采用蘋果采摘機器人替代人工進行果實采摘是農業(yè)發(fā)展的必然趨勢[1-3]。在自然非結構化的環(huán)境下，果實由于著色不均或受光線影響增加了識別和分割的難度。

根據(jù)果實和背景的色差并結合閾值分割的方法是一種常用的果實分割方法[4-5]。這種類型分割方法的核心思想是在RGB、Lab、HSV、HSI和YCbCr等顏色空間中尋找背景和目標差異較大的顏色通道，或者根據(jù)不同顏色通道間的運算構造出背景和目標差異較大的圖像，再進行閾值分割[6-8]。呂繼東等[9]采用R-G色差結合Otsu動態(tài)閾值法實現(xiàn)了對蘋果的快速分割。盧軍等[10]采用R-B色差結合Otsu動態(tài)閾值法實現(xiàn)了對成熟柑橘的初步分割。司永勝等[11]將滿足公式R-G>0和(R-G)/(G-B)>1的像素點劃分為蘋果像素點實現(xiàn)了果實的分割。THENDRAL等[12]采用Lab顏色空間中的a分量，實現(xiàn)了對成熟柑橘的分割。該類型方法因簡單、快速、運算量少，且不涉及復雜運算，便于在多種硬件平臺上實現(xiàn)，而得到廣泛運用。但是，其缺點同樣明顯，該類算法只能適應特定的光線環(huán)境，對于自然環(huán)境下多變的光線環(huán)境識別效果不佳。此外，該類型算法難以對背景中所有景物實現(xiàn)有效的分離。例如，在利用R-G色差法結合Otsu自動閾值法對成熟蘋果進行分割時，難以將果實與嫩枝和土壤等景物進行有效分離。

相較于以上基于色差與閾值分割的果實分割算法，基于多種特征和智能分類算法的果實分割方法具有更好的分割效果[13-15]。TEIXID等[16]采集2種樹枝樣本、5種樹葉樣本和4種果實樣本，根據(jù)不同像素點樣本在RGB顏色空間的分布，建立11種線性顏色模型，以實現(xiàn)對桃子果實的分割。JI等[17]首先篩選出一批可能是蘋果的像素點，然后以像素點之間在RGB顏色空間的歐氏距離作為相似性衡量標準，采用區(qū)域生長法對蘋果果實進行初步分割，再通過生長區(qū)域的顏色紋理特征，采用SVM法對其進行分類，實現(xiàn)對果實的分割。LIU等[18]根據(jù)每個像素的RGB值和HSI值，采用反向傳播神經(jīng)網(wǎng)絡(Back propagation neural network, BPNN)進行分類，初步分割出夜間的蘋果果實，并根據(jù)已分割果實周圍像素的相對位置和顏色差，采用BPNN進行再次分割，得到果實邊緣較暗的部分，實現(xiàn)對夜間果實的完整分割。

以上算法在初步分割階段僅考慮了單個像素的特征，而未考慮相鄰像素之間的潛在聯(lián)系。超像素分割算法是一種充分考慮鄰接像素位置關系的分割算法。常見的超像素分割算法包含以Graph-based和Graph Cuts為代表的基于圖論的方法與以分水嶺算法和SLIC為代表的基于梯度下降的算法。徐偉悅等[19]采用FSLIC算法進行了自然場景下成熟蘋果的分割，并取得了良好的效果。任守綱等[20]采用超像素分割算法對黃瓜葉部病害圖像進行分割，并運用顯著性檢測算法實現(xiàn)病蟲害的識別。孫龍清等[21]結合分水嶺算法提出改進的Graph Cuts算法，實現(xiàn)了對生豬圖像的分割。超像素分割方法能夠有效避免因單個像素突變帶來的分割誤差。

果實與背景差異越大，越容易分割，由于果實品種的差異，以及果園種植管理方面的差異，大部分果實在成熟狀態(tài)也難以均勻著色，并且在實際的識別中還要受到光線等多方面因素干擾。針對蘋果果實的分割問題，本文提出一種基于超像素特征的果實分割方法。該方法首先將整幅圖像分割成若干超像素單元，然后提取超像素的顏色和紋理特征并用智能分類算法SVM對超像素進行分類，最后根據(jù)超像素之間的鄰接關系對分類結果進行修正，從而實現(xiàn)對果實的分割。

1 圖像獲取

實驗所用圖像在徐州市豐縣大沙河鎮(zhèn)蘋果經(jīng)濟示范園進行分時段拍攝。具體拍攝時間為07:00、12:00、15:00和19:00前后。相機在距離果樹1～2 m范圍內圍繞果樹進行不同角度的拍攝。其中，夜間拍攝時采用LED光源進行補光。圖像拍攝工具為佳能 IXUS 275HS型相機，相機采用CMOS (Complementary metal oxide semiconductor) 圖像傳感器。圖像分辨率為3 000像素×4 000像素，保存為jpg格式，24位彩色圖像。文中所有實驗程序采用Matlab 2018b編寫，并在個人計算機上運行。該計算機配有主頻為3.00 GHz的Intel i5-7400 CPU和8.00 GB內存，并安裝有64位的Windows 10 操作系統(tǒng)。

實驗共采集400幅蘋果圖像，其中白天采集圖像300幅，夜間采集圖像100幅。所拍攝圖像中的果實、枝、葉和其他景物如圖1所示。從圖1a可以看出，蘋果果實的著色不均勻甚至部分果實還套有透明的塑膜袋，同時在拍攝過程中蘋果果實難以避免地受到光線、陰影等影響。圖1b顯示蘋果樹樹葉的正面和背面的顏色也不相同，有的樹葉因為病變呈現(xiàn)紅褐色。圖1c展示了果樹的嫩枝和老枝，二者在紋理和顏色上也有著較大差別。圖1d展示了圖像中可能出現(xiàn)的其他景物，從左至右依次是裸露的土壤、落葉、過曝的天空、夜間的黑暗背景和夜間的土壤。

圖1 采集圖像中的典型景物Fig.1 Typical objects in collected images

從以上分析可以看出，影響圖像分割的主要因素有圖像中景物的多樣性、相同景物所呈現(xiàn)的不同特性以及拍攝中光線的干擾。這些因素都為圖像的分割增加了難度。

2 超像素聚類

本節(jié)采用簡單線性迭代聚類(Simple linear iterative clustering,SLIC)算法將圖像分割成若干超像素單元，并通過實驗確定恰當?shù)某袼財?shù)量。

2.1 SLIC算法

SLIC算法是一種超像素聚類算法[22]。超像素是指具有相似紋理、顏色和亮度等特征的相鄰像素構成的具有一定視覺意義的不規(guī)則像素塊。ACHANTA等[23]提出SLIC算法，該算法是將圖像像素在Lab顏色空間3個顏色分量的值和每個像素在直角坐標系下的2維位置坐標組成N(N為圖像像素點的總數(shù))個5維特征向量，然后對5維向量構造距離度量標準并進行聚類。

一幅圖像設定的超像素數(shù)目K(即將一幅圖像分割為約K個超像素)對分割效果有較大影響。圖2是當K=400時采用SLIC算法對分辨率降為600像素×800像素的圖像進行分割的效果圖。圖中紅色漁網(wǎng)狀線條為SLIC算法產(chǎn)生的圖像分割線(分割線的實際像素寬度為0，為了方便在圖中展示，采用1像素寬度表示分割線)，圖兩側的子圖為4個超像素區(qū)域的放大圖。從圖中可以看出SLIC算法產(chǎn)生的超像素邊緣大部分區(qū)域和景物的實際邊緣是重合的，但是存在部分邊緣不完全重合現(xiàn)象。當一個超像素中包含多種不同景物時，會給超像素的分類造成困難，也會影響最后果實的識別精度。因此需要選擇一個合適的K值，以減少該狀況造成的誤差。

圖2 K=400時SLIC算法的分割效果圖Fig.2 Sample image segmented by SLIC when K was 400

2.2 K的選擇

為尋找一個較為合理的K值，在采集的400幅圖像中隨機選取100幅圖像，并采用選取不同K值的SLIC算法對其進行聚類分割。由于實驗目標是將果實從背景中分割出來，因此實驗只關心果實部分是否被錯誤分割。將超像素邊緣和果實邊緣不完全重合的超像素定義為錯誤分割的超像素并將其挑選出來，最后統(tǒng)計這些超像素中蘋果像素點占蘋果所有像素的比例。錯誤分割超像素挑選的具體步驟如下：

(1)復制原圖，如圖3a所示，并對副本圖像中的果實用紅色進行標記，如圖3b所示。

(2)利用采用不同K值的SLIC算法對原圖進行分割，得到如圖3c中所示的被分割成超像素的二值圖像。

(3)從標記圖像中提取出果實區(qū)域，得到如圖3d所示的果實掩模圖像。

(4)將圖3c中的每個超像素逐個與圖3d中的區(qū)域分別做交集運算。若圖3c中的單個超像素與圖3c中區(qū)域的交集小于自身面積的20%，則將該超像素定義為背景超像素；若大于80%則定義為果實超像素；若在20%～80%之間則定義為錯誤分割超像素。

之所以留出20%的容忍閾值，是考慮到人工標記的誤差和SLIC算法導致的微小偏差。圖3e為錯誤分割的超像素掩模，圖3f是以圖3e為掩膜在原圖中提取的錯誤分割超像素。

圖3 提取和果實相關的錯誤分割區(qū)域步驟Fig.3 Steps of extracting superpixels segmented falsely

圖4為當K為不同值時，圖像被錯誤分割的超像素中果實像素占果實總像素的比率。從圖中可以看出，隨著K的增加，該比率總體呈下降趨勢。但是K越大，意味著一幅圖像被分割為超像素越多，則每個超像素越小，這不但會增加后續(xù)分類的計算量，也會失去超像素聚類的意義。由圖4可看出，當K<600時，比率下降較快，當K>600時，下降幅度明顯減小。因此選取K=600作為SLIC算法分割中的超像素數(shù)目。圖5為K=600時SLIC算法分割的結果。對比圖2可以看出，圖5分割更加精確，錯分的比率更小。

圖4 果實超像素單元被錯誤分割的比率Fig.4 Ratios of superpixels segmented falsely

圖5 K=600時SLIC算法的分割效果圖Fig.5 Sample image segmented by SLIC when K was 600

3 超像素分類

SLIC算法已將圖像分割為600個左右的超像素單元，因此只要對超像素進行分類并篩選出屬于目標水果的超像素就能將目標果實從復雜的背景中分割出來。由于超像素的形狀是不規(guī)則的，因此在圖像分類中只考查超像素的顏色和紋理特征，并采用支持向量機(Support vector machine,SVM)分類[24]方法對超像素進行分類。

SVM算法是一種有監(jiān)督的學習方法，因此需要事先提取果實超像素和背景超像素的顏色和紋理特征對SVM進行訓練。從采集的400幅圖像中選取100幅圖像用于樣本超像素的采集。樣本超像素的采集方法與圖3所示的選取錯誤分割超像素的方法相同，共采集果實超像素1 272個，背景超像素3 854個。其中80%(1 018個)的果實超像素和3 083個背景超像素用于SVM分類器的訓練，剩余的超像素用于分類器的測試。圖6為用于訓練的部分超像素示意圖。

圖6 部分樣本超像素示意圖Fig.6 Sketch of part of superpixel samples

3.1 特征提取

用于超像素分類的顏色特征是超像素的一個重要特征，常用的顏色模型有RGB、HSV、HSI、Lab、YCbCr、YIQ、CMYK等。實驗選用3種具有代表性的顏色模型RGB、Lab、HSI，并提取它們中每個顏色分量的均值組成超像素的顏色特征向量C=(R,G,B,L,a,b,H,S,I)。

由于超像素的形狀是不規(guī)則的矩形，因此采用灰度直方圖統(tǒng)計特征對超像素的紋理進行描述，具體包括均值m、標準差σ、平滑度Rs、一致性U4個描述子。紋理特征提取過程中首先將彩色的超像素轉換為灰度圖像，然后根據(jù)超像素中每個像素的灰度值繪制灰度直方圖，最后根據(jù)直方圖計算出4個紋理描述子組成紋理特征向量E=(m,σ,Rs,U)。最后將顏色特征向量和紋理特征向量組合成一個向量，并進行歸一化從而實現(xiàn)對超像素的特征描述。

3.2 SVM分類

實驗采用基于Gaussian(高斯)核函數(shù)的SVM分類器對超像素特征向量進行訓練分類，并設果實超像素為正樣本標記為“+1”，背景超像素為負樣本標記為“-1”。采用測試樣本對訓練好的SVM進行測試得到每個超像素的置信度，若置信度小于0，則其被判別為背景超像素，分類標簽為“-1”， 若超像素置信度大于0，則其被判別為果實超像素，分類標簽為“+1”。測試結果顯示果實超像素的分類正確率僅為80.78%，背景超像素的分類正確率為99.22%，總的分類正確率為94.63%。

從以上分類數(shù)據(jù)可以看出，分類器的分類誤差較大，尤其是果實超像素的分類誤差。這是由于訓練樣本集是人工選取的，缺乏一定的代表性，不易區(qū)分的超像素在樣本集中比重較少。因此為進一步改進分類的正確率，實驗新增難例樣本集。難例樣本集的建立是通過重新選取100幅蘋果圖像并利用SLIC算法分割后，采用上述訓練好的SVM對每個超像素進行分類，并將錯誤分類的果實超像素和背景超像素加入難例訓練集。根據(jù)原樣本集和難例樣本集重新對SVM進行訓練并采用同樣的測試樣本集進行測試，測試結果顯示果實超像素的分類正確率為98.73%，背景超像素的分類正確率為99.32%，總的分類正確率為98.91%。

最后綜合SLIC算法和SVM超像素分類對剩下的100幅圖像進行分割測試，部分分割效果如圖7所示。

圖7 本文方法的果實分割效果Fig.7 Examples of fruit segmentation by proposed method

從圖7中可以看出，SVM能夠準確地分類絕大部分的超像素單元，但是每幅圖像仍然存在個別錯誤分類的超像素。對分類正確率的分析表明，該數(shù)據(jù)的虛高是由于測試樣本的總量較大導致的。在實際的圖像分類中，一幅圖像會被分成600個左右的超像素，平均一幅圖像約有6.54個超像素被錯誤分類。因此，超像素的分類正確率仍然具有進一步提高的空間。

4 超像素分類修正

為了進一步提高超像素分類的正確率，需要對錯誤分類的超像素進行分析。表1列舉了部分錯誤分類的超像素及分類數(shù)據(jù)。從表中示意圖可以看出，被錯誤分類的超像素不管是從顏色上還是紋理上都存在較大的相似性，即使人工進行識別也難以分辨。在現(xiàn)有圖像特征難以分辨的情況下，實驗發(fā)現(xiàn)不同超像素之間的鄰接關系能夠在一定程度上作為超像素類別判斷的依據(jù)。通過觀察分割后的圖像發(fā)現(xiàn)，一個完整的蘋果由多個超像素組成，這些超像素的鄰接關系和其他超像素有明顯的區(qū)別，每個果實超像素都與多個相同屬性的超像素相鄰。但是被錯誤分成果實的超像素則相對孤立，與之相鄰的相同屬性的超像素較少。

表1 部分錯誤分類的超像素
Tab.1 Part of superpixels classified falsely

為了定量地描述不同碎片在二維空間中的關系，需要建立一個區(qū)域鄰接圖(Region adjacency graph, RAG)來表達不同超像素區(qū)域之間的鄰接關系。區(qū)域鄰接圖是一個M×M的二值矩陣，M為超像素的數(shù)量。F為一幅區(qū)域鄰接圖，若F(i,j)=1(i,j=1,2,…,M)，則表示第i個圖像碎片與第j個圖像碎片相鄰，若為0則不相鄰，具體鄰接圖生成方式如圖8所示。

圖8 區(qū)域鄰接圖生成示意圖Fig.8 Sketch of region adjacency graph

根據(jù)區(qū)域鄰接圖的描述，統(tǒng)計每個被誤判為果實超像素的區(qū)域周圍相鄰的果實超像素的數(shù)量。根據(jù)3.2節(jié)中100幅圖像分割的統(tǒng)計結果顯示，絕大多數(shù)被誤判為果實超像素的區(qū)域周圍相鄰的果實超像素數(shù)量為0或1。而每個被正確分類的果實超像素周圍相鄰的果實超像素數(shù)量都在2個及以上。根據(jù)此統(tǒng)計數(shù)據(jù)，進行以下操作：

圖9 圖像分割修正示例Fig.9 Examples of modified image segmentation

(1)為濾除被判別為果實超像素的背景超像素干擾，統(tǒng)計每幅分割后的圖像中每個果實超像素相鄰的果實超像素的數(shù)量，若為0或1，則將該超像素濾除。

(2)為了將被判別為背景超像素的果實超像素修正，統(tǒng)計每幅分割后圖像中每個背景超像素周圍相鄰的果實超像素數(shù)量，若大于2且該背景超像素的置信度在-1～0之間，則將該背景超像素重新判別為果實超像素。

(3)進行一次濾除或增加果實超像素后，更新區(qū)域鄰接圖并重復步驟(1)、(2)，直到超像素分類結果不再變化。

需要注意的是，由于部分距離較遠或者遮擋嚴重的蘋果在圖像中所占面積較小，在其被分割后只由1～3個超像素組成，由于其鄰接關系與被錯誤分類的果實超像素鄰接關系相同，從而被濾除。但是由于其難以被在當前位置的機器所采摘，因此將其同樣視作背景濾除并不會對機器采摘產(chǎn)生影響。在進行區(qū)域鄰接圖修正后，提高了每幅圖像的超像素分類正確率，通過對30幅圖像的統(tǒng)計，得到平均每幅圖像所有超像素的分類正確率為99.62%，即平均每幅圖像被錯誤分類的超像素數(shù)量為2.28個。

圖9展示了修正前后的圖像分割效果，為了清晰地表示每個超像素之間的鄰接關系，采用二值化圖像并結合SLIC算法分割線對分割后的圖像效果進行展示。對比圖9b和圖9c可以看出，經(jīng)過修正后，消除了孤立的超像素并減少了部分被錯誤分類的果實超像素，進一步改善了圖像分割效果。

5 實驗對比

色差法與基于BPNN的蘋果圖像分割方法是較為常見的圖像分割方法。色差法采用的是R-G(RGB顏色空間的紅色分量與綠色分量的差)與最大類間方差(Otsu)法相結合的方法，即首先通過R-G運算獲得果實與背景差異較大的灰度圖像，然后采用Otsu算法對灰度圖像進行二值化，從而實現(xiàn)果實分割。基于BPNN的蘋果分割方法采用BPNN對每個像素5×5鄰域內所有像素在RGB、Lab和HSI顏色空間中每個顏色分量的均值進行訓練和分類，從而實現(xiàn)果實的分割，BPNN的拓撲結構為9×13×1的3層網(wǎng)絡結構，即9個輸入層節(jié)點，13個隱含層節(jié)點和1個輸出層節(jié)點。該方法需要進行有監(jiān)督的訓練，在各類超像素樣本中選取2 000個果實像素和5 000個背景像素，并提取其5×5鄰域內所有像素的顏色特征輸入BPNN網(wǎng)絡進行訓練。BPNN網(wǎng)絡訓練根據(jù)Levenberg-Marquard方法進行權值和偏差更新，采用均方差衡量分類誤差，最大迭代次數(shù)1 000次，初始動量0.001，目標誤差精度為1×10-5。

3種方法的主要區(qū)別在于，色差法運用的是像素級圖像特征，基于BPNN的圖像分割方法采用的是包含鄰域像素的圖像特征，而本文所提出的方法更進一步采用超像素圖像特征。色差法和基于BPNN的圖像分割方法通常會采用形態(tài)學方法對分割結果進行進一步優(yōu)化，而此處為比較采用不同等級像素特征對分割效果的影響，不進行形態(tài)學優(yōu)化。采用這兩種方法對圖7a中圖像進行分割，分割效果分別如圖10a和圖10b所示。對比同樣未經(jīng)鄰接關系修正的圖7b可以看出，隨著所采用的像素特征等級的提高，總體上分割效果也逐步提高。

圖10 兩種方法的分割效果Fig.10 Segmentation results of two kinds of comparison methods

為了進一步定量描述3種方法的分割效果，實驗對圖像中的景物重新定義。果實為前景設為正，其他景物為背景設為負，前景像素被判別為前景設為真正(X)，背景像素被判別為前景設為假正(Y)，前景像素被判別為背景設為假負(Z)。準確率V的計算公式為

V=X/(X+Y)

(1)

表示所有被檢測為前景像素的像素點中真正的前景像素所占的比率，反映了圖像分割算法的查準率。召回率W的計算公式為

W=X/(X+Z)

(2)

表示所有前景像素中被正確判別的像素所占的比率，反映了圖像分割算法的查全率。

實驗選取3.2節(jié)中用于測試的100幅圖像并對圖像中的果實和背景進行人工標記，然后分別采用色差法、BPNN分割方法以及本文方法對圖像進行分割，并且與人工標記的圖像進行對比，分別計算分割后圖像準確率V、召回率W和一幅圖像的平均分割時間T,結果如表2所示。從表中可以看出，無論是V還是W，本文所述方法都顯著優(yōu)于其他算法。色差法由于只采用了單個像素的顏色特征，對不同景物的分辨能力不足，因此存在較多的誤識別和漏識別，從而導致V和W在三者中最低。 基于BPNN的分割方法，通過綜合鄰域像素的顏色特征提高對不同景物的分辨能力。而本文提出的方法以超像素為單位對圖像進行分割，不僅能夠提取顏色特征，還能夠方便地提取紋理特征，從而進一步提高分割效果。但是從三者的運行時間對比可以看出，色差法因為運算簡單，運行速度最快并超出其他算法一個數(shù)量級；基于BPNN的分割方法因為需要重復提取鄰域像素的圖像特征，運行效率不高，因此較本文方法稍慢。總體來說，本文方法雖然運算復雜，但是檢測精度高且基本滿足實時性需求。

表2 分割結果對比Tab.2 Comparison of segmentation results

6 結論

(1)提出了基于超像素特征的圖像分割方法，從信息量上分析，超像素所包含的信息大于單個像素所含有的信息，有利于改善圖像分割效果。采用SLIC算法將圖像分為內部屬性相對一致的超像素單元，然后根據(jù)超像素的顏色和紋理特征，采用SVM對其進行分類，最后根據(jù)超像素間的鄰接關系對分割結果進行進一步修正。

(2)通過實驗發(fā)現(xiàn)，本文方法對超像素的分類正確率為99.62%，即平均每幅圖像約有2.28個超像素被錯誤分類。對比采用像素級特征的算法，采用超像素特征的算法在分割準確率和召回率上均具有較好的表現(xiàn)。本文方法在進行鄰接關系修正前，圖像分割的準確率為0.921 4，召回率為0.856 5，平均分割識別一幅圖像耗時0.608 7 s。