劉栩廷，劉姣娣，王明明，許洪振，馬靜雯

（桂林理工大學(xué)機(jī)械與控制工程學(xué)院，廣西 桂林 541006）

甘蔗是我國(guó)糖料生產(chǎn)的重要原材料，生產(chǎn)出來(lái)的蔗糖作為多功能的食品添加劑[1]。蔗糖產(chǎn)業(yè)作為廣西壯族自治區(qū)實(shí)現(xiàn)農(nóng)民增收的主導(dǎo)產(chǎn)業(yè)，甘蔗種植質(zhì)量直接影響農(nóng)戶收入和政府財(cái)政收入[2]。目前，國(guó)內(nèi)推廣并投入使用的甘蔗種植機(jī)主要有整桿式種植機(jī)、實(shí)時(shí)切種式種植機(jī)及預(yù)切種式種植機(jī)[3]，整桿式種植機(jī)與實(shí)時(shí)切種式種植機(jī)在作業(yè)時(shí)不考慮蔗種蔗芽的活性，無(wú)法保證蔗種出苗率，蔗種出苗率僅為50%～60%，另外，預(yù)切種式種植機(jī)作業(yè)前需人工剔除帶病蟲害或因機(jī)械損傷的壞芽蔗種，工作效率低且誤判率高。

檢測(cè)識(shí)別壞芽蔗種并進(jìn)行剔除是降低甘蔗種植成本，提高蔗種出苗率的重要途徑。目前國(guó)內(nèi)外學(xué)者針對(duì)甘蔗切種防傷芽這一要求，通過(guò)比較甘蔗莖節(jié)部位與莖稈區(qū)域的顏色、直徑最大值等特征差異，利用機(jī)器視覺技術(shù)識(shí)別莖節(jié)，其中，MOSHASHAI K等[4]對(duì)甘蔗莖節(jié)的識(shí)別做了初步研究;陸尚平等[5]通過(guò)定義莖節(jié)特征指標(biāo)，用支持向量機(jī)識(shí)別莖節(jié)；張衛(wèi)正等[6]通過(guò)建立偏最小二乘法（PLS）分類模型，用高光譜成像和圖像處理技術(shù)識(shí)別定位莖節(jié)；李尚平等[7]采用改進(jìn)的YOLOv3網(wǎng)絡(luò)，建立智能識(shí)別卷積神經(jīng)網(wǎng)絡(luò)模型，對(duì)整根甘蔗的莖節(jié)圖像特征進(jìn)行實(shí)時(shí)定位與識(shí)別。上述研究主要是通過(guò)莖節(jié)識(shí)別以降低切種傷芽率，但均未對(duì)蔗種壞芽進(jìn)行檢測(cè)識(shí)別。黃亦其等[8]將蔗芽區(qū)域圖像的明暗特征作為完好與破損蔗芽的區(qū)分特征，計(jì)算蔗芽區(qū)域圖像特征的分布區(qū)間占整個(gè)分布區(qū)間的百分比，利用貝葉斯決策模型檢測(cè)蔗種蔗芽完好性。

上述蔗芽完好性的研究主要是基于所搭建的檢測(cè)機(jī)構(gòu)在靜態(tài)環(huán)境下進(jìn)行檢測(cè)，且被測(cè)蔗種樣品需要良好的光照環(huán)境，實(shí)驗(yàn)條件較為嚴(yán)苛，難以適應(yīng)田間作業(yè)環(huán)境采集蔗種圖像光照不均勻、圖像模糊失真的蔗芽檢測(cè)識(shí)別。LBP算法[9-11]在描繪圖像局部紋理特征時(shí)具有很強(qiáng)魯棒性，對(duì)光照環(huán)境的要求較低，且由于蔗種壞芽具有特殊的顏色特征，而SVM算法[12-15]訓(xùn)練建模具有小樣本統(tǒng)計(jì)的最佳預(yù)測(cè)能力，為此，本文提出一種基于LBP與顏色特征融合的SVM蔗種壞芽識(shí)別算法，以適應(yīng)蔗種種植作業(yè)田間復(fù)雜光照環(huán)境，通過(guò)提取蔗種圖像的LBP特征和顏色特征，基于單特征和融合特征模型，設(shè)計(jì)SVM分類器，構(gòu)建蔗種壞芽識(shí)別模型，比較不同分類器對(duì)蔗種壞芽識(shí)別效果,優(yōu)選蔗種壞芽識(shí)別分類器，旨在為預(yù)切種式甘蔗種植機(jī)智能識(shí)別并剔除壞種提供研究基礎(chǔ)。

1 材料和方法

1.1 蔗芽識(shí)別及剔除系統(tǒng)工作原理

針對(duì)預(yù)切種式甘蔗種植機(jī)，以剔除壞芽蔗種為研究目標(biāo)，進(jìn)行蔗種壞芽識(shí)別。由于種箱堆放的蔗種蔗芽初始方位不同，所以在圖像讀取時(shí)不能保證采集到的每張蔗種圖像上都帶有蔗芽信息。為確保實(shí)驗(yàn)的可靠性，設(shè)計(jì)蔗芽調(diào)向識(shí)別及剔除系統(tǒng)，如圖1所示。

圖1 蔗芽識(shí)別及剔除原理

蔗芽調(diào)向識(shí)別及剔除系統(tǒng)由工業(yè)相機(jī)、圖像采集系統(tǒng)、計(jì)算機(jī)、PLC控制器、步進(jìn)電機(jī)、夾持取種機(jī)構(gòu)和剔除推手組成。其工作流程如下：夾持取種機(jī)構(gòu)抓取蔗種，并將蔗種置于工業(yè)相機(jī)圖像采集位，以蔗種的軸線為基準(zhǔn)，順時(shí)針勻速旋轉(zhuǎn)蔗種，以一定的速度采集各個(gè)方位的蔗種圖像；當(dāng)相機(jī)采集到蔗芽圖像，蔗種停止旋轉(zhuǎn)，計(jì)算機(jī)對(duì)蔗芽進(jìn)行識(shí)別，若識(shí)別為壞芽，將此信號(hào)通過(guò)計(jì)算機(jī)反饋給PLC控制器，由步進(jìn)電機(jī)2控制剔除推手將帶有壞芽的劣質(zhì)蔗種推離工作臺(tái)。

1.2 試驗(yàn)材料與設(shè)備

甘蔗樣本來(lái)源于廣西桂林市農(nóng)科院甘蔗種植基地，以最具有代表性的“桂糖44號(hào)”蔗種為研究對(duì)象。利用MV-HS510GC工業(yè)相機(jī)對(duì)蔗種圖像進(jìn)行采集，鏡頭型號(hào)為BT-23C0814 MP5，C接口。計(jì)算機(jī)操作系統(tǒng)Windows 10，搭載Intel @ Core（TM）i5-8400 CPU @CPU 2.80 GHz處理器，內(nèi)存16 GB。拍攝環(huán)境為自然光照環(huán)境，圖像處理算法和分類器搭建在Matlab2018b環(huán)境下完成。

拍攝前先將甘蔗葉剝凈，人工切成含單個(gè)蔗芽的單芽段蔗種，選取帶壞芽的蔗種270個(gè)，蔗芽外部輪廓形態(tài)完整的蔗種430個(gè)，共700個(gè)蔗種樣本進(jìn)行圖像采集。

1.3 蔗種壞芽檢測(cè)識(shí)別方法

蔗種壞芽主要是由兩類組成：機(jī)械破損蔗芽（剝?nèi)~、裝運(yùn)等過(guò)程造成的機(jī)械損傷）和遭受病蟲害的爛芽，分別拍攝這兩類壞芽，在爛芽圖像與機(jī)械破損蔗芽圖像中各選出4張典型的樣本，并截取圖像樣本的蔗芽區(qū)域，與好芽區(qū)域進(jìn)行對(duì)比，如圖2所示。

圖2 兩類壞芽與好芽特征對(duì)比

由圖2可見：遭受病蟲害的爛芽區(qū)域結(jié)構(gòu)特征呈凹陷狀態(tài)，蔗芽中心區(qū)域?yàn)榻茍A形的黑色凹槽且邊緣區(qū)域紋理特征較為粗糙；機(jī)械破損蔗芽區(qū)域受空氣氧化影響，表面顏色普遍較深，表面紋理特征也表現(xiàn)粗糙；好芽的結(jié)構(gòu)特征呈凸起狀態(tài)，其紋理特征相對(duì)均勻，顏色較淺。表明爛芽與機(jī)械破損蔗芽有相似的特征，與好芽的區(qū)分特征明顯。因此，選定蔗芽圖像的LBP紋理特征與顏色特征作為好芽與壞芽的區(qū)分特征，并與SVM算法相結(jié)合進(jìn)行蔗種壞芽識(shí)別，檢測(cè)識(shí)別流程見圖3，主要流程如下：

（1）圖像預(yù)處理。為避免圖像上冗余信息干擾識(shí)別，將圖像分割提取感興趣區(qū)域。

（2）提取LBP特征與顏色特征。壞芽的芽尖、芽尾區(qū)域的特征值具有顯著差異，為滿足壞芽識(shí)別精度要求，盡可能保留壞芽特征的細(xì)節(jié)信息。將圖像劃分網(wǎng)格成一定量塊區(qū)域，提取每個(gè)量塊區(qū)域內(nèi)的LBP特征并建立其子直方圖，將所有量塊區(qū)域的直方圖合并成能描述完整圖像的LBP特征直方圖。將圖像的RGB模型轉(zhuǎn)換為HSV模型，對(duì)比H、S、V三個(gè)分量，發(fā)現(xiàn)S分量的蔗種壞芽特征最為明顯，因此利用HSV色彩空間中的色飽和度S分量模型提取壞芽病斑的顏色特征。

（3）訓(xùn)練SVM分類器?；赟VM算法對(duì)圖像的LBP特征與顏色特征進(jìn)行分析訓(xùn)練，SVM分類器的核函數(shù)采用線性核函數(shù)。

（4）壞芽檢測(cè)識(shí)別。將測(cè)試集圖像輸入SVM分類器處理，識(shí)別蔗種的壞芽區(qū)域。

圖3 蔗種壞芽檢測(cè)識(shí)別流程

2 結(jié)果與分析

2.1 圖像預(yù)處理

圖像預(yù)處理是圖像處理過(guò)程中必不可少的一個(gè)環(huán)節(jié)，經(jīng)過(guò)預(yù)處理后圖像質(zhì)量會(huì)得到提高，感興趣區(qū)域特征會(huì)更加明顯。對(duì)蔗種圖像進(jìn)行預(yù)處理，提取蔗種圖像并刪除其他無(wú)關(guān)區(qū)域，將蔗種圖像由RGB顏色空間轉(zhuǎn)到HSV顏色空間可以直觀表現(xiàn)顏色的色調(diào)、飽和度和亮度，減少光照影響。H分量圖（圖4a）可以明顯區(qū)分蔗種輪廓與背景，其灰度直方圖（圖4b）呈雙峰特征，波谷段對(duì)應(yīng)的灰度級(jí)在0.3～0.4之間，實(shí)驗(yàn)發(fā)現(xiàn)選擇合適的閾值可以實(shí)現(xiàn)對(duì)蔗種邊界輪廓與背景的分離，確定H分量的圖像分割閾值為0.35。

圖4 蔗種H分量圖和直方圖

對(duì)蔗種原圖像（圖5a、b）進(jìn)行圖像分割處理，實(shí)驗(yàn)發(fā)現(xiàn)經(jīng)H分量閾值分割結(jié)果存在噪聲現(xiàn)象。為更好保護(hù)圖像邊緣，根據(jù)中值濾波在降噪的同時(shí)引起模糊效應(yīng)較低這一特性，實(shí)驗(yàn)選取9×9的中值濾波模板對(duì)蔗種圖像進(jìn)行去噪，并通過(guò)形態(tài)學(xué)閉運(yùn)算填平小孔，彌合小裂縫以消除噪聲，得到蔗種分割圖像（圖5c、d）。

圖5 H分量分割蔗種圖像

2.2 蔗芽特征參數(shù)提取

2.2.1 LBP特征提取原理

LBP是紋理描述算子，用于描述圖像的局部特征?；镜腖BP算子是以3*3的模板逐行掃描圖像，以3*3窗口中心像素定為閾值，像素若小于閾值，則記為0，否則記1。如圖6所示，將二值化結(jié)果進(jìn)行加權(quán)求和獲得窗口紋理特征均值為124。由于LBP是取決于特定區(qū)域的中心像素和相鄰像素值之間的相對(duì)差，光照增強(qiáng)或減弱，圖像局部區(qū)域的像素值也會(huì)隨之單調(diào)變化，改變光照強(qiáng)度對(duì)LBP值幾乎沒有影響，LBP算法具有良好的魯棒性。

圖6 LBP算法求解過(guò)程

LBP計(jì)算公式為：

（1）

（2）

上式中Ip表示窗口中除中心像素之外第p個(gè)像素的灰度值，Ic表示中心像素點(diǎn)的灰度值，sx為門限函數(shù)。

2.2.2 LBP頻譜結(jié)果分析

結(jié)果（圖7）顯示：壞芽頻譜幅值明顯高于好芽和莖稈頻譜幅值，壞芽區(qū)域頻譜分布密集。這滿足分類器的設(shè)計(jì)前提。

圖7 蔗種樣本表面的LBP特征

2.2.3 顏色特征提取

顏色特征是顏色分類的重要指標(biāo)，顏色特征提取的質(zhì)量好壞決定了蔗種壞芽識(shí)別的準(zhǔn)確性。對(duì)各色彩空間不同分量進(jìn)行對(duì)比分析，結(jié)果（圖8）顯示：本研究HSV顏色空間的色飽和度S分量的能準(zhǔn)確表達(dá)壞芽的獨(dú)有特征。在色飽和度三維圖中，壞芽區(qū)域呈凸?fàn)?，其S分量值最高。因此，本文提取HSV顏色空間下的S分量特征作為壞芽顏色特征。

圖8 RGB原始圖像與S分量三維圖

2.3 SVM分類器設(shè)計(jì)

支持向量機(jī)SVM在小樣本統(tǒng)計(jì)上具有明顯優(yōu)勢(shì)，具有規(guī)避結(jié)構(gòu)化風(fēng)險(xiǎn)的能力，在追求大致正確分類的同時(shí)，一定程度上可以避免過(guò)擬合，同時(shí)具有最佳預(yù)測(cè)能力[16-17]。支持向量機(jī)分為線性可分和非線性可分，其基本原理是將低維空間的樣本訓(xùn)練數(shù)據(jù)映射到高維空間中，使得樣本訓(xùn)練數(shù)據(jù)線性可分，進(jìn)而對(duì)邊界進(jìn)行線性劃分。在線性可分情況下（圖9）,實(shí)驗(yàn)根據(jù)給定蔗種樣本數(shù)據(jù){（x1,y1）,（x2,y2）,…（xN,yN）}，x是D維實(shí)數(shù)空間中的向量，x∈y∈{-1,+1}，當(dāng)y=+1時(shí)表示樣本x是壞芽，當(dāng)y=-1時(shí)表示樣本x是好芽與莖稈。在樣本數(shù)據(jù)（xi,yi）中，若ai=0，此樣本點(diǎn)不是支持向量，對(duì)于訓(xùn)練模型沒有貢獻(xiàn)；若ai>0，此樣本點(diǎn)屬于支持向量。

圖9 SVM分類器設(shè)計(jì)

對(duì)兩類樣本分類，尋找區(qū)分兩類標(biāo)簽的最優(yōu)分割超平面。超平面方程為

（3）

（4）

根據(jù)約束條件

（5）

在式（5）中引入拉格朗日算子ai構(gòu)建函數(shù):

（6）

（7）

（8）

確定SVM分類的決策函數(shù)為：

（9）

3 實(shí)驗(yàn)結(jié)果與分析

對(duì)采集的700幅蔗種圖像（其中含有壞芽圖像270幅，好芽圖像430幅）進(jìn)行預(yù)處理，利用Photoshop將樣本人工裁剪為270幅壞芽圖像、580幅好芽和莖稈圖像，再選取150幅壞芽圖像與400幅好芽與莖稈圖像作為訓(xùn)練集，其余120幅壞芽圖像和180幅好芽與莖稈圖像作為測(cè)試集。

3.1 特征模型測(cè)試與比較

提取壞芽區(qū)域、好芽與莖稈區(qū)域的LBP特征和顏色特征，建立LBP、顏色和LBP+顏色3個(gè)特征模型，并進(jìn)行特征模型比較。為更清晰地體現(xiàn)基于SVM分類器的不同特征模型分類性能，引入混淆矩陣[18]進(jìn)行性能評(píng)估?；煜仃嚨牧袠?biāo)簽表示預(yù)測(cè)的類別，其對(duì)應(yīng)的行數(shù)值總和為該類別的樣本總數(shù)；混淆矩陣的行標(biāo)簽表示預(yù)測(cè)圖像的真實(shí)類別。行列交叉處的數(shù)值表示該類別被預(yù)測(cè)為對(duì)應(yīng)列標(biāo)簽的數(shù)量，對(duì)角線處的數(shù)值表示正確預(yù)測(cè)的標(biāo)簽數(shù)量。

結(jié)果（圖10）顯示：基于SVM單一的LBP特征或顏色模型，其識(shí)別效果都較差，將其融合為L(zhǎng)BP+顏色特征模型，識(shí)別效果有所提高，為此本實(shí)驗(yàn)選用LBP+顏色特征融合的方式進(jìn)行蔗種特征提取。

圖10 各特征模型對(duì)數(shù)據(jù)集分類的混淆矩陣

3.2 分類器測(cè)試結(jié)果對(duì)比

為了進(jìn)一步證明SVM分類器對(duì)壞芽識(shí)別的優(yōu)越性，選取卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行對(duì)比實(shí)驗(yàn)。卷積神經(jīng)網(wǎng)絡(luò)由輸入層、卷積層、歸一化層、池化層、全連接層各1層構(gòu)成，其中，歸一化層選用批量歸一化層，池化層選用最大池化層，激活函數(shù)選用Sigmoid函數(shù)。輸入層的輸入為經(jīng)預(yù)處理的LBP+顏色特征數(shù)據(jù)集，好芽和莖稈區(qū)特征數(shù)據(jù)集類別為1，壞芽特征數(shù)據(jù)集類別為2。使用準(zhǔn)確率、查準(zhǔn)率、召回率作為分類器的評(píng)價(jià)指標(biāo)，準(zhǔn)確率表示兩類預(yù)測(cè)正確的樣本數(shù)占總樣本數(shù)的比例，查準(zhǔn)率表示壞芽正確分類的樣本數(shù)占預(yù)測(cè)分類為壞芽樣本數(shù)的比例，召回率表示壞芽正確分類的樣本數(shù)占實(shí)際為壞芽樣本數(shù)的比例。

不同分類器的訓(xùn)練所耗費(fèi)的時(shí)間及效果見表1。由表1可知:SVM分類器的準(zhǔn)確率、查準(zhǔn)率、召回率均達(dá)90%以上，高于卷積神經(jīng)網(wǎng)絡(luò)?；贚BP+顏色融合特征的SVM平均耗時(shí)（0.714 s）小于卷積神經(jīng)網(wǎng)絡(luò)（1.63 s）。壞種剔除不僅要滿足較高的準(zhǔn)確率，還需具有較高的識(shí)別效率。實(shí)驗(yàn)結(jié)果表明，基于LBP+顏色融合特征的SVM分類模型較理想，其識(shí)別準(zhǔn)確率94.33%、識(shí)別平均耗時(shí)為0.714 s。

表1 基于LBP+顏色特征的兩種分類器測(cè)試對(duì)比

4 結(jié)論

（1）本研究基于H分量直方圖波谷設(shè)置閾值、分割目標(biāo)圖像，該方法可以有效克服背景噪聲影響，滿足自動(dòng)分割蔗種圖像要求。

（2）蔗種壞芽LBP頻譜幅值明顯高于好芽和莖稈的，且壞芽區(qū)域頻譜分布密集；壞芽的色飽和度S分量值高，能準(zhǔn)確表達(dá)壞芽的獨(dú)有特征。表明LBP+顏色特征融合模型提取蔗種圖像特征的效果較好。

（3）基于LBP與顏色特征融合的SVM模型壞芽識(shí)別準(zhǔn)確率達(dá)94.33%，平均耗時(shí)0.714 s，均優(yōu)于卷積神經(jīng)網(wǎng)絡(luò)識(shí)別模型。