朱逸航， 張延寧， 張小敏， 林洋洋， 耿金鳳， 應(yīng)義斌， 饒秀勤*

(1.浙江大學(xué) 生物系統(tǒng)工程與食品科學(xué)學(xué)院，浙江 杭州 310058； 2.農(nóng)業(yè)農(nóng)村部農(nóng)產(chǎn)品產(chǎn)地處理裝備重點(diǎn)實(shí)驗(yàn)室，浙江 杭州 310058；3.棗莊學(xué)院機(jī)電工程學(xué)院，山東 棗莊 277101； 4.新多集團(tuán)有限公司，浙江 永康 321300)

農(nóng)機(jī)在田間作業(yè)時(shí)的道路識別與導(dǎo)航控制是我國農(nóng)業(yè)從機(jī)械化向智能化發(fā)展過程中不可或缺的一部分[1]，目前智能農(nóng)機(jī)在田間的路徑導(dǎo)航以使用衛(wèi)星定位系統(tǒng)導(dǎo)航以及機(jī)器視覺導(dǎo)航為主[2]。目前基于衛(wèi)星定位系統(tǒng)的導(dǎo)航技術(shù)精度有限，適用于農(nóng)機(jī)行走路徑確定、行走方式以直線為主的場景，以大田路徑規(guī)劃為主[3]。而在棉花田中實(shí)際作業(yè)時(shí)，存在種植行間距窄、作物實(shí)際種植行并不完全是直線等情況，以及田間先遣路徑難以保持穩(wěn)定等問題，因此，智能農(nóng)機(jī)的導(dǎo)航需要在實(shí)際情況下進(jìn)行調(diào)整[4-6]。

基于機(jī)器視覺的導(dǎo)航可以較好地解決此問題，對棉花壟間路徑進(jìn)行識別，為智能作業(yè)機(jī)械提供導(dǎo)航信息。但目前基于機(jī)器視覺的導(dǎo)航方案依舊面臨田間光照環(huán)境變化和非結(jié)構(gòu)化道路自身特征過于復(fù)雜的挑戰(zhàn)[7-10]。同時(shí)基于視覺的導(dǎo)航方案主要任務(wù)是對行進(jìn)中農(nóng)機(jī)的路徑進(jìn)行實(shí)時(shí)調(diào)整，而圖像數(shù)據(jù)有信息量大、計(jì)算設(shè)備處理較慢的固有特征，所以實(shí)時(shí)性也是機(jī)器視覺導(dǎo)航方案的另一大挑戰(zhàn)[11-12]。

近年來，深度學(xué)習(xí)在機(jī)器視覺領(lǐng)域發(fā)展迅速[13]，其中的卷積神經(jīng)網(wǎng)絡(luò)算法更是被廣泛應(yīng)用于各類農(nóng)業(yè)的視覺任務(wù)場景[14]，并取得較好的效果。在常規(guī)道路識別方面，卷積神經(jīng)網(wǎng)絡(luò)已被廣泛應(yīng)用于結(jié)構(gòu)化道路下的汽車自動駕駛[15]。同時(shí)，使用基于深度學(xué)習(xí)的機(jī)器視覺技術(shù)可以避免因人為選擇圖像特征而產(chǎn)生的局限性[9]，使視覺算法擁有更好的魯棒性和精確性。

基于深度學(xué)習(xí)算法的非結(jié)構(gòu)化道路識別領(lǐng)域，宋廣虎等[16]使用FCN在葡萄種植園中實(shí)現(xiàn)準(zhǔn)確導(dǎo)航檢測行間道路，李云伍等[17]使用FCN實(shí)現(xiàn)丘陵山區(qū)田間道路場景像素級的預(yù)測，Lin等[11]在FCN的基礎(chǔ)上提出Enet對茶葉種植場景進(jìn)行語義分割，得到茶行輪廓，為騎式采茶機(jī)的茶葉采收提供實(shí)時(shí)導(dǎo)航。

本文采用卷積神經(jīng)網(wǎng)絡(luò)對單目相機(jī)采集的田間道路圖像數(shù)據(jù)進(jìn)行分割，獲取棉花壟間的主要道路。本監(jiān)測使用自然光照下拍攝的棉花行間道路圖像，對2種主流的分割網(wǎng)絡(luò)FCN[18]和Unet[19]分別進(jìn)行語義分割試驗(yàn)和性能對比，并對Unet網(wǎng)絡(luò)進(jìn)行了優(yōu)化，降低深度學(xué)習(xí)算法的資源消耗，為其在嵌入式設(shè)備的部署提供支持。

1 材料與方法

1.1 試驗(yàn)數(shù)據(jù)集構(gòu)建

本文使用VisionDatum公司的Mars2000-50gc相機(jī)在安徽省安慶市望江縣棉花試驗(yàn)田采集試驗(yàn)圖像數(shù)據(jù)，采集時(shí)相機(jī)安裝于移動平臺上，在移動平臺移動時(shí)不斷對當(dāng)前的棉花壟間狀態(tài)進(jìn)行采集。本試驗(yàn)共選取800幅分辨率為1 900×1 180像素的圖片進(jìn)行標(biāo)注，并生成數(shù)據(jù)集。圖1展現(xiàn)了數(shù)據(jù)集中所包含的多種場景，包括光照的變化、圖片成像模糊、道路上有較多陰影、作物高密度生長遮擋壟間道路等，這些場景對于模型的魯棒性提出較高的要求。

圖1 環(huán)境復(fù)雜的棉花壟間道路

圖2 數(shù)據(jù)標(biāo)注

1.2 數(shù)據(jù)增強(qiáng)

本文所構(gòu)建的數(shù)據(jù)集較小，為提高模型的魯棒性，本文在模型訓(xùn)練過程中采用隨機(jī)旋轉(zhuǎn)90°、隨機(jī)進(jìn)行水平或者垂直翻轉(zhuǎn)和隨機(jī)調(diào)整圖像色相飽和度(HSV)的方法進(jìn)行數(shù)據(jù)增強(qiáng)。如圖3所示，在每次迭代訓(xùn)練進(jìn)行讀取圖片數(shù)據(jù)時(shí)，圖像都會有50%的概率發(fā)生上述步驟的變化。在色相飽和度中，色調(diào)(H)的變化在20°以內(nèi)，飽和度(S)的變化在30%以內(nèi)，明度V的變化在20%以內(nèi)。

圖3 數(shù)據(jù)增強(qiáng)的流程

隨機(jī)旋轉(zhuǎn)和翻轉(zhuǎn)圖像為數(shù)據(jù)集中壟間道路的方向增加了多樣性，而對于圖片色相飽和度的隨機(jī)調(diào)整則為模型適應(yīng)不同的光照環(huán)境提供了進(jìn)一步的保障。

1.3 語義分割

語義分割時(shí)對于圖像進(jìn)行像素級的分類。輸入圖片在通過深度神經(jīng)網(wǎng)絡(luò)處理時(shí)會被卷積層和池化層編碼[20]。編碼器的輸出經(jīng)過解碼器進(jìn)行解碼，生成輸出圖像。解碼器由雙線性差值進(jìn)行上采樣確保輸出圖像大小與輸入圖像相同，并提供了每個(gè)像素的預(yù)測類別。

本文選擇VGG16[21]作為全卷積網(wǎng)絡(luò)FCN和U-net的編碼器主干。VGG16由13個(gè)卷積層和3個(gè)全連接層構(gòu)成。其通過5次最大池化下采樣32倍來獲取不同尺度的特征。

碑帖學(xué)屬于書法史范疇，是具有學(xué)科交叉性的課題，需要史學(xué)理論和書法藝術(shù)素養(yǎng)兼?zhèn)涞娜瞬?。目前在碑帖學(xué)的研究人員中，有影響的多是具有書法、美術(shù)素養(yǎng)的學(xué)者，如曹建、金丹等，他們的研究范圍廣泛且提出了許多新的觀點(diǎn)，值得思考。但應(yīng)注意的是，對于碑帖學(xué)的相關(guān)課題研究需要有一定的歷史理論作指導(dǎo)，所以培養(yǎng)具有歷史理論基礎(chǔ)的書法史人才迫在眉睫。

當(dāng)使用FCN進(jìn)行像素級分類時(shí)，VGG16需要被調(diào)整為端到端模型，其全連接層需要被改為W/32×H/32卷積層，當(dāng)輸入圖像像素為96×96時(shí)，編碼器的輸出特征映射為3×3×4 096像素。在FCN的解碼器部分，VGG16輸出的Conv7被反卷積上采樣32倍，上采樣的輸出為每個(gè)像素的分類，與原圖分辨率一致。模型下采樣次數(shù)越多，就能檢測到更多不同的尺度。但在FCN網(wǎng)絡(luò)結(jié)構(gòu)中，不同尺度的特征之間的聯(lián)系有限，而Unet網(wǎng)絡(luò)是針對醫(yī)學(xué)圖像分析中數(shù)據(jù)量少、邊際模糊及灰度范圍大等問題而提出的[22]。Unet網(wǎng)絡(luò)通過跳躍連接，將網(wǎng)絡(luò)下采樣時(shí)的高分辨率信息與上采樣時(shí)的低分辨率信息通過特征疊加的方式進(jìn)行整合，改善網(wǎng)絡(luò)上采樣信息不足的現(xiàn)狀，可提高圖像的分割精度(圖4)。

圖4 Unet網(wǎng)絡(luò)的架構(gòu)

考慮到農(nóng)機(jī)導(dǎo)航對實(shí)時(shí)性提出了較高的要求，對Unet的網(wǎng)絡(luò)主干進(jìn)行剪枝壓縮，縮小模型尺度，為實(shí)時(shí)性提供更大的保障，提出Half-Unet和Quarter-Unet兩種新的訓(xùn)練模型。本文采取的模型剪枝策略是縮減VGG16主干中的卷積核數(shù)量，進(jìn)而縮減前向傳遞過程中的特征圖數(shù)量，用較少的特征圖來保留更多的信息，具體數(shù)量如表1所式。

表1 Unet模型剪枝

2 結(jié)果與分析

2.1 試驗(yàn)平臺

試驗(yàn)所用平臺為運(yùn)算服務(wù)器，處理器為Intel(R)Xeon(R)Gold 6147M，基準(zhǔn)頻率為2.50 GHz，內(nèi)存為256 GB，圖形處理器(GPU)為NVIDIA TITAN RTX，操作系統(tǒng)為Ubuntu 18.04.1。

2.2 模型訓(xùn)練

本文使用pytorch深度學(xué)習(xí)框架實(shí)現(xiàn)了基于VGG16主干的FCN和UNet網(wǎng)絡(luò)，以及基于UNet網(wǎng)絡(luò)的改進(jìn)模型，并通過預(yù)先劃分的640幅圖像的訓(xùn)練集和160幅圖像的驗(yàn)證集對模型進(jìn)行訓(xùn)練與驗(yàn)證。

本文的訓(xùn)練網(wǎng)絡(luò)所采用的超參數(shù)。迭代次數(shù)(Epochs)為100次，最小批處理大小(MiniBatch Size)為32，并采用學(xué)習(xí)率衰減訓(xùn)練策略中的學(xué)習(xí)率調(diào)整策略，分別在0～4、4～30、31～70、71～100次迭代過程中，采取0.1、0.01、0.001、0.000 1的學(xué)習(xí)率。

本文在訓(xùn)練過程中使用BCEDiceLoss作為損失函數(shù),該損失函數(shù)是二分類交叉熵?fù)p失(Binary Cross EntropyLoss)BCELoss和DiceLoss的組合，損失函數(shù)公式如下：

(1)

(2)

(3)

BCEDiceLoss=0.5×BCELoss+DiceLoss。

(4)

BCELoss從像素級別上考察分類的效果，而DiceLoss是從整張圖片的全局出發(fā)對分類效果進(jìn)行考察。本文對于棉花壟間道路的識別更注重于全局判斷的準(zhǔn)確性，所以在BCEDiceLoss的計(jì)算中，賦予DiceLoss更高的權(quán)重。訓(xùn)練過程中FCN模型及U-Net模型的損失函數(shù)值曲線見圖5。

圖5 FCN與Unet的損失函數(shù)曲線

由圖5可以看出，在迭代次數(shù)到達(dá)30次左右時(shí)，2種模型的驗(yàn)證集損失函數(shù)都逐漸趨于穩(wěn)定，但訓(xùn)練集損失函數(shù)值還在繼續(xù)下降，且與驗(yàn)證集的損失函數(shù)值逐漸拉開差距，說明模型訓(xùn)練到后期可能出現(xiàn)過擬合的現(xiàn)象。本文訓(xùn)練數(shù)據(jù)集相對較小，在模型過于復(fù)雜的情況容易發(fā)生過擬合，因此，對模型進(jìn)行剪枝可以在有效降低模型復(fù)雜度的情況下，降低模型過擬合的程度。實(shí)現(xiàn)在基本不損害模型精度的情況下，提高模型的效率。

2.3 評價(jià)指標(biāo)

在語義分割任務(wù)中，評價(jià)指標(biāo)一般從運(yùn)算速度、內(nèi)存占用和精度3個(gè)方面進(jìn)行考量。運(yùn)算速度說明模型在部署后的實(shí)時(shí)性水平，內(nèi)存占用說明模型在資源有限的嵌入式設(shè)備上部署的可行性。本文采取平均交并比對MIoU進(jìn)行精度估算。

本文的運(yùn)算速度采取每秒處理幀數(shù)(FPS)來表示。為了模擬智能農(nóng)機(jī)工作場景中的嵌入式環(huán)境，本文限制了部署模型的運(yùn)算算力，算力資源限制為Intel(R)Xeon(R)Gold 6147M，基準(zhǔn)頻率為2.50 GHz CPU的單一核心。內(nèi)存占用是算法在運(yùn)行時(shí)實(shí)際占用計(jì)算機(jī)內(nèi)存資源的數(shù)值。

平均交并比(Mean IoU)是在語義分割任務(wù)中的一種標(biāo)準(zhǔn)度量，計(jì)算真實(shí)值與預(yù)測值2個(gè)集合的交集和并集之比，其公式如下：

(5)

式中，pii表示真實(shí)值為i且被預(yù)測為i的數(shù)量，為真值數(shù)量；pij表示真實(shí)值為i，被預(yù)測為j的數(shù)量，是假正的數(shù)量；pji表示真實(shí)值為j，被預(yù)測為i的數(shù)量，是假負(fù)的數(shù)量；k+1表示包含空類的類別數(shù)量，本研究k=1。

2.4 試驗(yàn)結(jié)果分析

由基礎(chǔ)模型Unet與FCN性能對比可知(表2)，Unet網(wǎng)絡(luò)的性能在精度、運(yùn)算速度、內(nèi)存占用3個(gè)方面較FCN具有一定的優(yōu)勢，故將Unet選作基準(zhǔn)模型進(jìn)行后續(xù)的剪枝與優(yōu)化。

表2 模型性能對比

本文首先對于Unet進(jìn)行剪枝，設(shè)計(jì)了Half-Unet，Half-Unet的卷積核數(shù)量為Unet網(wǎng)絡(luò)的一半。Half-Unet的MIoU為0.793，與Unet相當(dāng)，但內(nèi)存占用量為Unet的42.6%，處理速度高29.3%。

本文在Half-Unet的基礎(chǔ)上做進(jìn)一步剪枝，設(shè)計(jì)了Quarter-Unet，使其卷積核數(shù)量為Unet網(wǎng)絡(luò)的25%，其MIoU相較于Unet下降0.014，但仍比FCN高0.018。Quarter-Unet在基本保障精度的前提下，其運(yùn)算速度和內(nèi)存占用具有絕對的優(yōu)勢。單核CPU計(jì)算下達(dá)到19.14FPS，較Unet高55%，在普通嵌入式設(shè)備的環(huán)境下可達(dá)到實(shí)時(shí)運(yùn)算水平。Quarter-Unet的內(nèi)存占用為19.44 MB，為Unet內(nèi)存占用量的19.5%。

道路分割的實(shí)際效果如圖6所示。各模型的分割精度指標(biāo)MIoU的水平差異不明顯，且模型在完成道路識別的任務(wù)時(shí)，與實(shí)際識別效果基本相似。因此，計(jì)算速度最快、占用存儲資源最少的Quarter-Unet模型相比于其他模型擁有更大的應(yīng)用價(jià)值。

圖6 棉花壟間道路識別效果對比

3 小結(jié)

本文提出了一種基于深度學(xué)習(xí)語義分割的棉花壟間道路識別的方法，實(shí)現(xiàn)了在田間自然光照及作物遮擋道路條件下棉花壟間道路的有效識別。比較了深度學(xué)習(xí)語義分割模型FCN和Unet自動識別棉花壟間道路的性能，發(fā)現(xiàn)了Unet模型識別棉花壟間道路精度更高，且處理時(shí)間更短。對Unet模型的VGG16主干進(jìn)行優(yōu)化，建立了Half-Unet和Quarter-Unet識別模型。試驗(yàn)結(jié)果表明，在MioU相當(dāng)?shù)那闆r下，Quarter-Unet模型的內(nèi)存量僅為Unet的19.5%，而處理速度較其高55%，這為后續(xù)研發(fā)棉花田間智能農(nóng)機(jī)導(dǎo)航設(shè)備提供了技術(shù)基礎(chǔ)，也為其他作物壟間道路的識別與導(dǎo)航提供了技術(shù)思路。