印志本 劉鋒 欒世偉

(塔里木大學(xué)信息工程學(xué)院，新疆 阿拉爾 843300)

引言

新疆的駿棗是從山西[1]的壺瓶棗培訓(xùn)改良的，目前主要分布在新疆阿克蘇、和田、喀什等地區(qū)[2]，新疆是中國(guó)規(guī)模最大的優(yōu)質(zhì)干棗生產(chǎn)基地。新疆因其優(yōu)越的地理位置和得天獨(dú)厚的自然環(huán)境條件，也成就了品質(zhì)優(yōu)良的駿棗，相對(duì)于國(guó)內(nèi)其他區(qū)域的同類產(chǎn)品，新疆駿棗被譽(yù)為“中華第一棗”，因果形大、松脆、味甜、皮薄、致密、汁液多[3]。生長(zhǎng)出果形飽滿、色澤鮮亮、皮薄肉厚、口感甘甜醇厚而著稱。紅棗不僅能提高人體免疫力，補(bǔ)氣養(yǎng)血，還能抑制癌細(xì)胞，是極佳的滋補(bǔ)食品。近年來(lái)，新疆的氣候增溫增濕趨勢(shì)明顯[4]，駿棗本身引進(jìn)時(shí)間短、皮薄、肉質(zhì)疏松、糖分較多，在夜間低溫高濕條件下容易裂口，從而易得黑斑病，嚴(yán)重影響駿棗的產(chǎn)量和品質(zhì)。

2010—2020年黑斑病已成為危害西北棗類最大的病害之一，造成平均產(chǎn)量損失超過(guò)30%，嚴(yán)重時(shí)超過(guò)50%[5]。黑斑病的主要致病菌是鏈格孢霉菌，該病菌能夠產(chǎn)生對(duì)人及動(dòng)物的健康危害的毒素，還具有致畸、致癌、致突變等作用。發(fā)病的駿棗無(wú)論是在硬度、質(zhì)量、色差果皮亮度和色澤飽和度顯著降低,顏色偏暗紅色等外觀品質(zhì)上，還是含糖量、蛋白質(zhì)、維生素C等內(nèi)在品質(zhì)上，均有明顯下降。目前檢測(cè)識(shí)別黑斑病的方法有紅外光譜、卷積神經(jīng)網(wǎng)絡(luò)等，為了提高對(duì)駿棗黑斑病的分揀速度和效率，本項(xiàng)目以卷積神經(jīng)網(wǎng)絡(luò)SSD算法為基礎(chǔ)框架，對(duì)南疆駿棗黑斑病識(shí)別進(jìn)行研究。

1 國(guó)內(nèi)外研究現(xiàn)狀

國(guó)內(nèi)外許多研究學(xué)者對(duì)基于計(jì)算機(jī)視覺(jué)的農(nóng)產(chǎn)品做了大量研究，在我國(guó)農(nóng)業(yè)領(lǐng)域?qū)崿F(xiàn)了工程化應(yīng)用。目前對(duì)農(nóng)產(chǎn)品品質(zhì)檢測(cè)內(nèi)容主要分為2類：基于傳統(tǒng)機(jī)器學(xué)習(xí)方法有高光譜、圖像分類、圖像分割、淺層神經(jīng)網(wǎng)絡(luò)(SVM隨機(jī)深林)，以及各種相結(jié)合的方法；基于深度學(xué)習(xí)[6]的目標(biāo)檢測(cè)算法，如YOLO、SSD、Fater-RCNN等。

1.1 傳統(tǒng)機(jī)器學(xué)習(xí)在農(nóng)產(chǎn)品檢測(cè)上研究現(xiàn)狀

邱光應(yīng)等[7]使用傳統(tǒng)的邊緣檢測(cè)算法來(lái)提取蘋(píng)果提取目標(biāo)區(qū)域的特征值，將提取的特征輸入到SVM進(jìn)行分類來(lái)確定是缺陷果還是正常果。孫海霞等[8]在鮮棗上檢測(cè)黑斑病，采用高光譜成像技術(shù)采集、圖像處理、BP網(wǎng)絡(luò)神經(jīng)、卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖片信息提取處理。孫世鵬等[9]提取更多顏色分量，在黑斑類方面利用單因素方差分析和最小顯著差異檢驗(yàn)得到R顏色分量，建立了Bayes線性分類模型和冬棗病害的分類標(biāo)準(zhǔn)。傳統(tǒng)機(jī)器學(xué)習(xí)需人工提取特征，導(dǎo)致誤差性特別大、相關(guān)特征不夠全面，從而降低識(shí)別的準(zhǔn)確率。

1.2 深度學(xué)習(xí)在農(nóng)產(chǎn)品檢測(cè)上研究現(xiàn)狀

石新麗等[10]將圖像處理和模式識(shí)別技術(shù)應(yīng)用到害蟲(chóng)的識(shí)別中，使用中值濾波和圖像二值化方式進(jìn)行處理。并建立了圖像害蟲(chóng)識(shí)別系統(tǒng)。程海超[11]以番茄病蟲(chóng)害為研究對(duì)象，采取以YOLO為基礎(chǔ)識(shí)別算法。對(duì)番茄病蟲(chóng)害的危害展開(kāi)研究，對(duì)基于YOLO的番茄病蟲(chóng)害識(shí)別算法進(jìn)行分析，推動(dòng)番茄的增產(chǎn)增收，全面滿足番茄種植戶的相應(yīng)需求。Mahesh等[12]鑒定芙蓉花是決定花是否準(zhǔn)備好授粉識(shí)別中，使用SSD MobileNet，結(jié)果證明準(zhǔn)確率都隨著epoch的增加而增加。

可以發(fā)現(xiàn)，深度學(xué)習(xí)技術(shù)在常規(guī)的農(nóng)作物上有廣泛的應(yīng)用，并且逐漸取代傳統(tǒng)的農(nóng)作物識(shí)別方法，該類算法具有強(qiáng)大的泛化能力和自適應(yīng)性，然而深度學(xué)習(xí)目標(biāo)識(shí)別SSD技術(shù)在農(nóng)產(chǎn)品小目標(biāo)檢測(cè)上未見(jiàn)聲明。

1.3 改進(jìn)SSD算法在小目標(biāo)上應(yīng)用現(xiàn)狀

張錦等[13]在安全帽檢測(cè)方面，針對(duì)目標(biāo)尺度偏小尺度分布不均勻，提出添加(FPN)特征融合的分支網(wǎng)絡(luò)。耿慶華等[14]在對(duì)動(dòng)車底異常檢測(cè)中，針對(duì)目標(biāo)尺度較小和異常樣本少提出改進(jìn)SSD算法，Resnet-101作為骨干網(wǎng)絡(luò)，引入特征融合策略改進(jìn)細(xì)節(jié)信息和語(yǔ)義信息，最后引入注意力機(jī)制突出相關(guān)特征。以上在改進(jìn)的SSD實(shí)踐中，都取得良好的成績(jī)。改進(jìn)的SSD算法在小目標(biāo)精度檢測(cè)上，主要從輕量級(jí)網(wǎng)絡(luò)融合與層級(jí)特征融合2個(gè)方面進(jìn)行研究。

綜上所述，研究SSD算法在駿棗黑斑病識(shí)別意義重要。在實(shí)際加工過(guò)程中，黑斑病駿棗同樣具有目標(biāo)尺寸較小，且流水線速度較快的特點(diǎn)，所以本項(xiàng)目采用一系列方法提高SSD算法對(duì)小物體的識(shí)別精準(zhǔn)率，以適用于南疆黑斑病的識(shí)別。同時(shí)SSD算法本身是群體檢測(cè)，對(duì)每一個(gè)目標(biāo)都有精確的坐標(biāo)，后期方便對(duì)硬件下發(fā)最坐標(biāo)指令。

2 擬解決的關(guān)鍵問(wèn)題

在工廠生產(chǎn)過(guò)程中駿棗黑斑病目標(biāo)尺度較小，流水線檢測(cè)速度需求較快，在棗的大小不一的背景下，本項(xiàng)目將采用SSD算法作為基礎(chǔ)檢測(cè)框架，通過(guò)對(duì)模型的優(yōu)化和改進(jìn)，充分利用非黑斑病的駿棗也作為模型訓(xùn)練數(shù)據(jù)，提高黑斑病檢測(cè)的準(zhǔn)確率和速度。主要解決以下幾個(gè)具體問(wèn)題。

2.1 充分利用正常駿棗特征，更好地學(xué)習(xí)缺陷特征

傳統(tǒng)的缺陷檢測(cè)是通過(guò)訓(xùn)練大量的圖片，以達(dá)到缺陷識(shí)別的泛發(fā)性，但隨著科學(xué)的植物防治，帶有黑斑病的駿棗逐年減少。因此充分利用正常的駿棗數(shù)據(jù)集(約5900顆)進(jìn)行訓(xùn)練，隨后通過(guò)算法多少量的缺陷樣本(約1100顆)進(jìn)行訓(xùn)練，通過(guò)對(duì)比識(shí)別，充分認(rèn)識(shí)缺陷樣本特征。

2.2 使用CBAM和FPN網(wǎng)絡(luò)，提升小目標(biāo)檢測(cè)精度

擬采用深度學(xué)習(xí)目標(biāo)檢測(cè)SSD模型為原理，對(duì)駿棗黑斑病進(jìn)行檢測(cè)識(shí)別，但SSD模型對(duì)小物體目標(biāo)檢測(cè)效果不佳。所以本項(xiàng)目通過(guò)CBAM增強(qiáng)圖像特征提取，F(xiàn)PN用來(lái)進(jìn)一步提升小目標(biāo)物體的識(shí)別精度，加強(qiáng)對(duì)小尺度目標(biāo)的特征提取，提升SSD模型在黑斑病檢測(cè)上的準(zhǔn)確率。

2.3 主干網(wǎng)替換為MobileV3網(wǎng)絡(luò)，提升駿棗檢測(cè)的速度

雖然SSD算法在速度上占有優(yōu)勢(shì)，隨著自動(dòng)化的不斷提升，工廠對(duì)速度的要求也越來(lái)越高。本項(xiàng)目期望對(duì)速度做出改善(主要使用Mobile網(wǎng)絡(luò)替換源SSD的主干網(wǎng)絡(luò)VGG，輔助設(shè)計(jì)損失函數(shù)，設(shè)計(jì)先驗(yàn)框)，滿足流水線對(duì)速度上的需求。

3 研究思路

在實(shí)際生產(chǎn)加工過(guò)程中，駿棗一般為群檢，流水線速度較快，尤其是黑斑病特征的尺度較小，目前檢測(cè)駿棗黑斑病識(shí)別率和速率上不能很好的平衡。本項(xiàng)目擬采用改進(jìn)SSD算法運(yùn)用在駿棗檢測(cè)上。經(jīng)典的SSD算法在一般物體檢測(cè)的速率和準(zhǔn)確率上均有較好的平衡性，但是檢測(cè)小目標(biāo)不能取得較好檢測(cè)結(jié)果。所以本項(xiàng)目采用一系列方法提高SSD對(duì)小物體的識(shí)別精準(zhǔn)率。本論文主要研究思路總結(jié)如下。

3.1 改進(jìn)模型結(jié)構(gòu)設(shè)計(jì)

SSD算法中檢測(cè)小物體，需要較低層網(wǎng)絡(luò)獲得特征圖，同時(shí)也需要高層網(wǎng)絡(luò)的語(yǔ)義信息對(duì)檢測(cè)目標(biāo)的特征描述。本項(xiàng)目提出改進(jìn)的SSD，將基礎(chǔ)網(wǎng)絡(luò)模型替換為深度殘差網(wǎng)絡(luò)MobileV3，并利用CBAM、FPN將高層特征通過(guò)上采樣與低層網(wǎng)絡(luò)提取的特征進(jìn)行融合，充分利用低層網(wǎng)絡(luò)的特征提取和高層網(wǎng)絡(luò)的語(yǔ)義信息，通過(guò)改進(jìn)來(lái)提高小目標(biāo)檢測(cè)精度。

3.2 解決漏檢情況和側(cè)面提升速度

針對(duì)漏檢情況，本文采用Soft-NMS來(lái)過(guò)濾檢測(cè)框，從而達(dá)到過(guò)濾無(wú)效的重疊框。采用先驗(yàn)框設(shè)計(jì)和損失函數(shù)設(shè)計(jì)2個(gè)方面來(lái)加速模型收斂。設(shè)計(jì)先驗(yàn)框能匹配有效視野，在一定程度上有利于提升目標(biāo)檢測(cè)。設(shè)計(jì)損失函數(shù)，能夠較大程度上的使模型充分訓(xùn)練。借助QFL損失函數(shù)對(duì)正負(fù)樣本進(jìn)行平衡?？梢酝瑫r(shí)兼顧到正負(fù)樣本權(quán)重的平衡，使網(wǎng)絡(luò)得到充分的訓(xùn)練。

3.3 最后驗(yàn)證模型可靠性

為了驗(yàn)證提出的改進(jìn)SSD算法是否取得良好的檢測(cè)效果，在上述的方法中對(duì)駿棗數(shù)據(jù)進(jìn)行測(cè)試。對(duì)實(shí)際目標(biāo)物體進(jìn)行檢測(cè)以滿足流水線的實(shí)際生產(chǎn)需求。進(jìn)行消融實(shí)驗(yàn)，得出驗(yàn)證改進(jìn)算法的各個(gè)模塊的性能。對(duì)幾個(gè)經(jīng)典的目標(biāo)檢測(cè)進(jìn)行比較(Faster RCNN，YOLOv3，SSD)，驗(yàn)證改進(jìn)SSD算法有明顯精度提升效果。使各個(gè)評(píng)價(jià)指標(biāo)為標(biāo)準(zhǔn)，得出結(jié)論。

4 模型研究方法

4.1 改進(jìn)模型結(jié)構(gòu)設(shè)計(jì)

經(jīng)典的SSD具有優(yōu)秀的網(wǎng)絡(luò)設(shè)計(jì)思路，整個(gè)網(wǎng)絡(luò)分為backbone層、neck層、head層，但是鑒于當(dāng)時(shí)特征提取探索有一定的局限性，經(jīng)典SSD深度學(xué)習(xí)模型中的基礎(chǔ)網(wǎng)絡(luò)VGG-16替換成MobileV3網(wǎng)絡(luò)，引入CBAM、FPN網(wǎng)絡(luò)確保小目標(biāo)檢測(cè)的效果，見(jiàn)圖1。

圖1 改進(jìn)SSD模型

4.2 引入CBAM、FPN網(wǎng)絡(luò)結(jié)構(gòu)

原SSD為了檢測(cè)小目標(biāo)，把低層網(wǎng)絡(luò)拿來(lái)做預(yù)測(cè)對(duì)目標(biāo)位置較為精確，但是語(yǔ)義信息較少。MobileV3繼承了v1v2版本的可分離卷積和線性瓶頸的殘差結(jié)構(gòu)，并且引入SE通道注意力結(jié)構(gòu)；輕量級(jí)網(wǎng)絡(luò)MobileV3的特點(diǎn)是參數(shù)少、計(jì)算量小、推理時(shí)間短等優(yōu)點(diǎn)。更適用于存儲(chǔ)空間和功耗受限的場(chǎng)景，在主干網(wǎng)絡(luò)中，MobileV3更適合駿棗在流水線下識(shí)別的效率要求，見(jiàn)圖2。CBAM是輕量級(jí)的卷積注意力模塊，其結(jié)合了通道和空間的注意力機(jī)制模塊。分別進(jìn)行通道和空間上的Attention，這樣不僅能夠節(jié)約參數(shù)和計(jì)算力，并且保證了其能夠做為深度學(xué)習(xí)的一種即插即用的模塊集成到現(xiàn)有的網(wǎng)絡(luò)架構(gòu)中去，使用通道注意力空間注意力的CBAM增強(qiáng)特征提取，見(jiàn)圖3。FPN可以作為一種深度學(xué)習(xí)中通用的特征提取器，通過(guò)網(wǎng)絡(luò)層的不斷堆疊，上采樣和低層網(wǎng)絡(luò)做融合，并且每個(gè)網(wǎng)絡(luò)獨(dú)立預(yù)測(cè)，得到的特征圖具有尺寸不斷減小的特點(diǎn)，是天然的金字塔結(jié)構(gòu)，可以以極低的代價(jià)來(lái)進(jìn)行構(gòu)建特征金字塔結(jié)構(gòu)。這樣很大程度上改進(jìn)對(duì)小物體檢測(cè)的性能，見(jiàn)圖4。

圖2 MobileV3

圖3 CBAM

圖4 FPN

4.3 損失函數(shù)設(shè)計(jì)

SSD預(yù)設(shè)置大量先驗(yàn)框，在訓(xùn)練時(shí)會(huì)產(chǎn)生更多負(fù)樣本。其采用了難例挖掘的策略來(lái)保持正負(fù)樣本無(wú)法比例為1∶3，但這種方式卻忽視了大量簡(jiǎn)單負(fù)樣本對(duì)模型訓(xùn)練的影響。無(wú)法使模型得到充分的訓(xùn)練。源SSD損失函數(shù)包括類別置信度損失函數(shù)(conf _loss)和預(yù)測(cè)框的位置損失函數(shù)(loc_loss)組成，2項(xiàng)函數(shù)需要加權(quán)求和。對(duì)于位置誤差本項(xiàng)目采用Smooth_L1損失。

4.4 先驗(yàn)框設(shè)計(jì)

源SSD的6個(gè)不同特征圖分辨率也不同，即特征圖上的每個(gè)點(diǎn)映射到輸入圖上的大小也不同。所以，先驗(yàn)框大小的設(shè)置也應(yīng)該有所變化。將相對(duì)應(yīng)的每個(gè)特征圖上的點(diǎn)作為中心，生成一組同長(zhǎng)寬比不同且同心的先驗(yàn)框。對(duì)于先驗(yàn)框的需要計(jì)算出min size和max size的大小。對(duì)于先驗(yàn)框的尺度計(jì)算需要遵循以下的公式所規(guī)定的線性遞增的規(guī)則。

4.5 消融實(shí)驗(yàn)

設(shè)置消融實(shí)驗(yàn)，來(lái)探究各個(gè)改進(jìn)對(duì)模型的影響。其中先驗(yàn)框設(shè)計(jì)和損失函數(shù)設(shè)計(jì)是在訓(xùn)練模型前為保證充分利用圖片效率而設(shè)計(jì)。

特征金字塔消融實(shí)驗(yàn)：為探究FPN對(duì)SSD精度準(zhǔn)度產(chǎn)生影響，本項(xiàng)目分別設(shè)置2組模型對(duì)照，一組為源SSD，一組基礎(chǔ)網(wǎng)絡(luò)改為ResNet101的SSD，另一組為添加FPN后的SSD,其余均和本項(xiàng)目相同。最后用AP和mAP作為評(píng)價(jià)指標(biāo)。

先驗(yàn)證框的消融實(shí)驗(yàn)：調(diào)節(jié)先驗(yàn)框大小。本小節(jié)將設(shè)置不同取值的n，探究先驗(yàn)框大小對(duì)改進(jìn)SSD檢測(cè)模型準(zhǔn)度的影響。改進(jìn)SSD檢測(cè)模型首先固定經(jīng)驗(yàn)值最大為0.8，設(shè)置n∈{l,2,4,6}，其余訓(xùn)練參數(shù)相同，進(jìn)行訓(xùn)練并測(cè)試。最后用AP、mAP、有效感受野匹配度作為評(píng)價(jià)指標(biāo)。

5 總結(jié)與展望

隨著深度學(xué)習(xí)的不斷深入研究，在模型設(shè)計(jì)上，逐漸形成一種以backbone層、neck層、head層3種框架展開(kāi)工作。在任務(wù)上，逐漸從實(shí)驗(yàn)室單一的環(huán)境走向自然情況下復(fù)雜的背景。在應(yīng)用上，逐漸從常規(guī)物體走向特殊物體研究，并依據(jù)不同的物體衍生出不同的研究思路。

目標(biāo)檢測(cè)是機(jī)器視覺(jué)近年來(lái)研究的熱點(diǎn)，學(xué)術(shù)界融入大量的優(yōu)秀算法。SSD算法在無(wú)論是在檢測(cè)速度上還是在檢測(cè)精度上都有一定的優(yōu)勢(shì)。雖然在小目標(biāo)上研究現(xiàn)狀比較少，但是未來(lái)必然是SSD算法的拓展延伸熱點(diǎn)。希望全面開(kāi)展SSD算法在南疆駿棗黑斑病識(shí)別中應(yīng)用研究，同樣也期望在藍(lán)莓、葡萄等密集、小目標(biāo)的加工檢測(cè)上拋磚引玉。