林杰，王發(fā)贏，姚艷春，，崔春曉，盛振哲，曲殿偉

(1.山東理工大學農(nóng)業(yè)工程與食品科學學院,山東淄博,255000;2.山東省旱作農(nóng)業(yè)機械及信息化重點實驗室,山東淄博,255000;3.山東五征集團有限公司,山東日照,276825)

0 引言

支持向量機[1-3]、神經(jīng)網(wǎng)絡[4-6]等計算機視覺技術(shù)及算法已廣泛應用于農(nóng)作物分類,卷積神經(jīng)網(wǎng)絡[7-8]作為深度學習的一種代表算法,廣泛應用于計算機視覺等領(lǐng)域,其自動提取目標特征的優(yōu)勢在復雜圖像分類中得到體現(xiàn)。國內(nèi)利用深度卷積神經(jīng)網(wǎng)絡對檢測與分類農(nóng)作物[9-10]開展了相關(guān)研究[11-12]。陳文博等[13]以稻米品種識別與碎米檢測為目的,對比VGG19[14]和GoogLeNet[15]神經(jīng)網(wǎng)絡,結(jié)果表明,GoogLeNet在稻米檢測中識別準確率可達96.46%,相比于VGG19驗證精度提高了1.46%。侯俊銘等[16]研究了在線實時分類蓖麻種子損傷,采用SGDM類優(yōu)化器更新網(wǎng)絡獲得更優(yōu)分類性能,種殼缺失蓖麻種子的識別準確率高達96.67%。蘇寶峰等[17]基于注意力機制改進多品種葡萄分類的識別算法,并使用Grad-CAM方法對特征圖進行可視化處理,對卷積層提取的特征進行可視化解釋,克服了復雜背景導致的辨識困難等問題,其測試集準確率為88.75%,平均召回率為89.17%。徐巖等[18]選取了登海518、浚單20、鄭單958玉米品種,使用Keras深度學習框架搭建了CNN模型,平均識別率達到95.49%。權(quán)龍哲等[19]研究了玉米粒選和分類,搭建了輕量級卷積神經(jīng)網(wǎng)絡,對優(yōu)良、剔除玉米籽粒胚面與胚乳面4大類玉米籽粒分類,通過調(diào)整樣機參數(shù)達到最優(yōu)性能,玉米籽粒檢測準確率達到96.50%,有效分選率達到97.51%。以上研究表明,在農(nóng)作物種粒的分類鑒別中,卷積神經(jīng)網(wǎng)絡具有準確率高、適應性強等優(yōu)點[20]。

綜上,玉米籽粒圖像切片處理主要針對單一背景與理想光線條件下的圖像,一般先對圖像進行二值化處理,提取玉米籽粒輪廓后,直接對圖像進行切割,該處理方法對成像環(huán)境要求高,在切割玉米籽粒圖像時,容易出現(xiàn)圖像信息丟失等問題,難以應用在大規(guī)模玉米籽粒分選作業(yè)場景。

因此,本文提出一種基于HSV顏色空間閾值分割的玉米籽粒圖像切片算法,該算法在HSV顏色模式下分割閾值,提取到玉米籽粒輪廓后,擴大切割尺寸,對于固定閾值分割造成圖像信息丟失等問題具有補償作用。該算法創(chuàng)建完好、破損及霉變玉米籽粒數(shù)據(jù)集,并以GoogLeNet為試驗模型,訓練切片處理與未經(jīng)圖像切片的數(shù)據(jù)集,基于Grad-CAM可視化方法[21-22]顯示模型關(guān)注區(qū)域,驗證了GoogLeNet識別破損及霉變玉米籽粒的可行性以及圖像切片算法的有效性。

1 數(shù)據(jù)集制作

1.1 玉米籽粒圖像采集

本文選取完好、破損及霉變玉米籽粒作為研究對象,其中,破損粒樣本一部分由完好粒經(jīng)壓力機破碎獲得,另一部分由玉米果穗經(jīng)過脫粒機脫粒獲得;霉變粒樣本通過人工霉變處理獲得,即先將完好玉米籽粒置于潮濕陰暗環(huán)境中,待其表面產(chǎn)生霉斑后,再將其置于陽光下暴曬獲得干燥的霉變玉米籽粒樣本。在恒定光源照射的條件下,搭建圖像采集裝置,完成了圖像采集工作。其中,玉米籽粒圖像采集裝置主要由排種器、限位開關(guān)、傳送輪盤、工位、相機等硬件設備組成。工作時,步進電機驅(qū)動傳送輪盤間歇運動,當傳送輪盤上的工位觸發(fā)限位開關(guān),工位停止于排種口下方,排種器排出單粒玉米籽粒落入工位內(nèi),前序工位停止于相機正下方,相機拍攝工位內(nèi)的玉米籽粒,循環(huán)后不斷獲取圖像。獲得完好玉米籽粒圖像1 456張,破損玉米籽粒圖像1 160張,霉變玉米籽粒308張。玉米籽粒圖像采集流程如圖1所示。

圖1 玉米籽粒圖像采集過程

1.2 玉米籽粒圖像預處理

1.2.1 玉米籽粒圖像分割閾值確定

為確定玉米籽粒圖像分割的上、下邊界閾值,對RGB顏色模型圖像進行模型轉(zhuǎn)換,獲得HSV顏色模型圖像。將H、S、V分量的各自最小值作為圖像分割閾值的下限值,其最大值作為圖像分割閾值的上限值。通過調(diào)整HSV顏色模型下圖像H、S、V分量大小,觀察玉米籽粒圖像分割效果,確保清晰分割出玉米籽粒整體輪廓,記錄下此時的閾值,最終設定下邊界閾值為[Hmin,Smin,Vmin]=[0,44,7],上邊界閾值為[Hmax,Smax,Vmax]=[36,255,255]。玉米籽粒圖像分割閾值的獲取流程如圖2所示,閾值分割效果如圖3所示。

圖2 圖像分割閾值的獲取

圖3 閾值分割效果

1.2.2 玉米籽粒圖像切片

為了建設一支高效廉潔的監(jiān)管隊伍，局黨組始終把黨風廉政建設放在首位，突破性地開創(chuàng)了黨風廉政建設全程記實工作程序。3年來，全局受理行政許可申請5.8萬余件，無一名干部職工發(fā)生違法違紀行為。局黨組把“不看文憑看水平、不看學歷看能力、不看年齡看本領(lǐng)”作為用人原則，努力培養(yǎng)各方面工作的業(yè)務尖子和復合型人才，帶動了整個隊伍的風清氣正，爭先創(chuàng)優(yōu)，以及執(zhí)法能力、執(zhí)法水平的穩(wěn)步提升。

玉米籽粒圖像切片處理流程如圖4所示。

圖4 玉米籽粒圖像切片流程

由玉米籽粒圖像可以發(fā)現(xiàn),圖像存在冗余信息多、目標區(qū)域占比小、目標位置不固定等問題。為減少圖像中冗余信息對玉米籽粒圖像識別分類的干擾,并提高目標區(qū)域在整張圖像中占比,提升模型的識別準確率,采用如下方法對圖像進行處理:首先,將原始圖像RGB顏色模型轉(zhuǎn)換為HSV模型,設置圖像分割閾值,獲取掩碼圖像,即低于下邊界閾值或高于上邊界閾值的像素值置為0,其余像素值全部置為255;然后,調(diào)用OpenCV庫函數(shù)對二值化圖像(掩碼圖像)提取輪廓并獲取玉米籽粒輪廓最小外接矩形(圖4中黃色矩形框)四個頂點坐標,即(Xmin,Y1),(X1,Ymax),(Xmax,Y2),(X2,Ymin);最后,在原始圖像上計算出裁剪矩形框(圖4中紅色矩形框)的頂點坐標,并進行裁剪,獲得最終切片圖像。

1.3 數(shù)據(jù)集組成

通過相機采集的原始玉米籽粒圖像共2 924張,其中破損粒圖像1 160張,完好粒圖像1 456張,霉變粒圖像308張。為確保神經(jīng)網(wǎng)絡能正常進行訓練,得到可靠的訓練數(shù)據(jù),數(shù)據(jù)集按7∶3劃分為訓練集與驗證集。同時,設置對照數(shù)據(jù)集,將圖像切片處理作為變量,用于模型訓練試驗中對比評價圖像切片方法的效果。方案A使用原始數(shù)據(jù)集,由相機采集獲得;方案B訓練集是由方案A訓練集經(jīng)過圖像切片獲得。數(shù)據(jù)集組成如表1所示。

表1 數(shù)據(jù)集組成

2 GoogLeNet模型試驗及分析

2.1 網(wǎng)絡結(jié)構(gòu)簡介

GoogLeNet的創(chuàng)新在于提出并應用了Inception模組(產(chǎn)生稠密數(shù)據(jù)的稀疏網(wǎng)絡結(jié)構(gòu)),其網(wǎng)絡結(jié)構(gòu)中包含了9個Inception模塊級聯(lián),均采用1×1、3×3、5×5不同大小的卷積核提取特征,獲得大小不同的感受野,最后通過并行操作,融合不同尺度的特征,增加了網(wǎng)絡的深度和寬度,同時,為避免通道數(shù)快速增長,加入1×1的卷積核實現(xiàn)降維。Inception模組網(wǎng)絡結(jié)構(gòu)如圖5所示。

圖5 Inception模組結(jié)構(gòu)

2.2 模型試驗及分析

2.2.1 試驗環(huán)境

本試驗采用Pytorch深度學習框架,Python作為編程語言,在PyCharm編程環(huán)境中運行相關(guān)程序訓練網(wǎng)絡模型;硬件方面,工作臺搭載Intel(R) Core(TM) i9-8950HK CPU@2.90GHz處理器,顯卡為NVIDIA Quadro P4200。

2.2.2 訓練試驗與分析

訓練時采用定學習率方式,設置學習率為0.001,批尺寸大小為32,將交叉熵損失函數(shù)(Cross Entropy Loss)作為誤差計算函數(shù),選用SGD優(yōu)化器,采用隨機梯度下降算法,動量參數(shù)設置momentum為0.9,迭代輪數(shù)設置為150。在同一試驗環(huán)境下,設置相同超參數(shù),使用訓練方案A與方案B,分別訓練GoogLeNet。訓練曲線如圖6和圖7所示。

圖6 訓練集準確率曲線

圖7 驗證集準確率曲線

由圖6可知,兩種方案的訓練準確率最終均趨近于1,但方案B的訓練準確率收斂速度快于方案A,且震蕩幅度較小,相較于方案A更快、更平穩(wěn)地趨近于1。由圖7可以看出,使用方案B訓練的GoogLeNet相較于方案A,其驗證集準確率收斂時更加平穩(wěn),并且獲得較高的準確率。表2為GoogLeNet不同訓練方案對應驗證集準確率與玉米籽粒識別準確率。

表2 驗證集準確率與各類別識別準確率

由表2可知,由訓練方案B獲得的GoogLeNet模型相較于方案A,其性能得到全面提升,訓練方案B相較于方案A在驗證集準確率上提高了7.99%,在破損粒、完好粒、霉變粒的辨識結(jié)果中,其準確率分別提升了17.56%、2.07%、1.08%。

2.2.3 討論

在模型的訓練試驗中發(fā)現(xiàn),未經(jīng)切片處理的破損粒識別準確率遠低于霉變粒識別準確率,切片處理后的破損粒與霉變粒識別準確率仍存在一定差距,分析主要存在以下可能原因。

1) 霉變粒與完好粒、破損粒的顏色特征差異性較大,識別霉變粒相對容易,模型不易出現(xiàn)誤判,主要影響其識別準確率的因素是成像環(huán)境中冗余信息的干擾。

2) 識別未經(jīng)切片處理的破損粒圖像主要存在兩個影響其識別準確率的因素,一是破損粒自身特征相較于完好粒的特征區(qū)別不明顯,識別其本身具有一定難度;二是成像環(huán)境中存在一些無關(guān)特征,會影響網(wǎng)絡對玉米籽粒有效特征的提取。

經(jīng)切片處理后的圖像,主要是排除了成像環(huán)境的影響因素,但區(qū)分破損粒與完好粒相似特征的問題并未得到完全解決,因此,破損粒與霉變粒的識別準確率都有不同程度的提升,但仍然存在一定差距。進一步提升破損粒的識別率,需擴充或增強訓練集,使網(wǎng)絡充分學習特征;或優(yōu)化改進網(wǎng)絡結(jié)構(gòu),提升網(wǎng)絡對破損粒特征的提取能力。

3 Grad-CAM可視化分析

為進一步驗證本文所提出的玉米籽粒圖像切片方法有利于GoogLeNet提取玉米籽粒關(guān)鍵特征,引入Grad-CAM可視化方法對GoogLeNet提取的玉米籽粒特征進行可視化解釋,在網(wǎng)絡結(jié)構(gòu)中前三層卷積層與inception5b模塊后分別使用Grad-CAM可視化方法,即先計算目標層梯度,計算每一張?zhí)卣鲌D的均值,再取出目標層的激活值與均值相乘,根據(jù)加權(quán)結(jié)果繪制出熱力圖,與原圖重疊后,可以根據(jù)顏色深淺來判定模型的感興趣區(qū)域,顏色越深的位置,代表模型在此位置的注意力越集中,越關(guān)注此區(qū)域的特征。

在訓練方案A與方案B的驗證集中抽取的3類玉米籽粒圖像,其中每類圖像抽取兩張,分別對其加載由兩種訓練方案獲得的兩組GoogLeNet權(quán)重文件,并在目標層使用Grad-CAM可視化方法。各層的可視化結(jié)果如圖8、圖9所示。

圖8 模型A可視化結(jié)果

圖9 模型B可視化結(jié)果

由圖8可知,前3層卷積層的熱力圖顏色變化不均勻,且inception5b層的熱力圖深色區(qū)域并非完全與玉米籽粒所在位置重合,甚至存在完全不重合的情況,表明模型A提取有效特征的能力較差,受到圖像冗余信息干擾大,關(guān)注區(qū)域較為分散,可解釋模型A驗證集準確率較低。由圖9可知,各卷積層的熱力圖深色區(qū)域均集中在玉米籽粒輪廓或霉斑位置,說明該模型所提取的特征與預期特征一致,表明使用本文提出的圖像切片處理方法處理數(shù)據(jù)集,經(jīng)過訓練后得到的模型B,在各卷積層都能夠提取到有效的特征,關(guān)注區(qū)域均集中在玉米籽粒所在區(qū)域,這也是模型B相較于模型A在驗證集上準確率較高的原因,同時也驗證了本文提出的玉米籽粒圖像切片方法有助于GoogLeNet提取玉米籽粒的有效特征,減少了無效特征的干擾。

4 結(jié)論

訓練試驗中設置了相同學習率、損失函數(shù)和優(yōu)化器,并設置同樣的批尺寸和迭代次數(shù),使用未經(jīng)切片處理的訓練方案A與切片處理的訓練方案B訓練GoogLeNet,對比兩組方案的驗證集準確率。

1) 使用圖像切片處理的玉米籽粒數(shù)據(jù)集,訓練后獲得的網(wǎng)絡模型在其驗證集準確率上可達到93.74%,相較于未經(jīng)圖像處理獲得的網(wǎng)絡模型提升了7.99%,且在破損粒、完好粒、霉變粒辨識中準確率有全面的提高,分別達到90.18%、95.16%和100%。

2) 經(jīng)過圖像切片處理的模型,對玉米籽粒關(guān)鍵特征的注意力更加集中,受目標區(qū)域外的特征干擾較小,本文提出的玉米籽粒圖像切片方法可克服復雜背景的干擾,有助于GoogLeNet提取玉米籽粒關(guān)鍵特征,可有效提高破損及霉變玉米籽粒的辨識精度。