李艷文,左朝陽,王登奎,李 赫,陳子明

(燕山大學(xué) 機(jī)械工程學(xué)院,河北 秦皇島 066004)

0 引言

據(jù)聯(lián)合國糧農(nóng)組織統(tǒng)計(jì),2020年中國蘋果總產(chǎn)量約為3 100萬噸,貢獻(xiàn)了該年度世界蘋果總產(chǎn)量的52.7%[1]。蘋果的種植、養(yǎng)護(hù)和采摘是廣大果農(nóng)最關(guān)心的問題,而蘋果的采摘作為最后一個(gè)重要階段,面臨著勞動(dòng)強(qiáng)度大、人工成本高和采摘周期短等問題。為了解放勞動(dòng)力,實(shí)現(xiàn)果園的智能化運(yùn)作,基于視覺系統(tǒng)的采摘機(jī)器人成為當(dāng)前的研究熱點(diǎn),準(zhǔn)確無誤地完成識(shí)別與定位是目前研究采摘機(jī)器人需要解決的難題[2]。

目前主流的果實(shí)定位方法有以下四種:1)利用質(zhì)心定位;2)根據(jù)果實(shí)目標(biāo)的軸對(duì)稱特征對(duì)果實(shí)進(jìn)行空間定位;3)采用略大于果實(shí)最大輪廓的球包圍果實(shí),用球心和半徑定位采摘點(diǎn);4)利用空間三維坐標(biāo)定位,對(duì)視覺系統(tǒng)采集到的圖像進(jìn)行處理,或者利用激光測距傳感器、三維相機(jī)定位[3-4]。采摘機(jī)器人的采摘方式一般分為兩種:扭斷和剪斷。剪斷式采摘的采摘點(diǎn)設(shè)置在果梗處,在復(fù)雜的自然環(huán)境中,相對(duì)于果臍的位置,果梗更容易被枝葉遮擋,不僅會(huì)降低采摘點(diǎn)的識(shí)別率,還需要不斷變換拍攝角度去獲取無遮擋的圖像,非常影響識(shí)別的效率。

近年來,國內(nèi)外學(xué)者在果實(shí)定位上取得了許多不錯(cuò)的成果。戴寧[5]提出了一種基于柚子果實(shí)質(zhì)心和掛果姿態(tài)結(jié)合感興趣區(qū)域?qū)﹁肿硬烧c(diǎn)識(shí)別的算法,實(shí)現(xiàn)機(jī)器人采摘中對(duì)柚子采摘點(diǎn)位置識(shí)別的功能;王丹丹等[6]提出了基于平滑輪廓對(duì)稱軸的蘋果采摘點(diǎn)定位算法,試驗(yàn)結(jié)果表明該算法能有效提高定位精度和實(shí)時(shí)性;Niu等[7]用Shape Context算法對(duì)提取的被遮擋蘋果輪廓進(jìn)行匹配,通過提取輪廓的對(duì)稱軸實(shí)現(xiàn)蘋果定位;Xiao等[8]采用BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練識(shí)別出圖像中的果實(shí),并提取出目標(biāo)輪廓,然后對(duì)該輪廓進(jìn)行圓擬合,進(jìn)而實(shí)現(xiàn)采摘點(diǎn)的定位;梁喜鳳等[9-10]提出了基于提取番茄果實(shí)串連通區(qū)域邊界的采摘點(diǎn)識(shí)別方法,對(duì)垂直向下的串番茄采摘點(diǎn)識(shí)別效果較好,以及提出了基于果梗骨架角點(diǎn)計(jì)算方法,實(shí)驗(yàn)表明番茄采摘點(diǎn)位置成功率為90%,能有效提供準(zhǔn)確的采摘位置信息;袁妍[11]根據(jù)葡萄的空間幾何特征提出了一種基于單一深度信息的果梗近景識(shí)別方法,實(shí)驗(yàn)表明該方法能夠較好地識(shí)別水平棚架栽培的葡萄采摘點(diǎn);王政等[12]通過采用Lab彩色空間聚類算法對(duì)視頻圖像進(jìn)行量化,能夠有效地提高圖像的處理速度,從而為提高果實(shí)定位速度提供了一種方法;郭艾俠等[13]通過融合 SIFT與Harris兩種算法對(duì)采摘點(diǎn)進(jìn)行計(jì)算和匹配,并利用三角測量法對(duì)特征點(diǎn)定位,實(shí)現(xiàn)了對(duì)串型荔枝的識(shí)別和定位;張起榮等[14]利用櫻桃上特征點(diǎn)的三維坐標(biāo)重建櫻桃擬合球模型,并用最小二乘法求出質(zhì)心位置實(shí)現(xiàn)采摘點(diǎn)的定位;Bulanon等[15]利用機(jī)器視覺系統(tǒng)與激光測距傳感器完成對(duì)蘋果目標(biāo)的三維定位;樊湘鵬等[16]提出了一種改進(jìn)Faster R-CNN的核桃識(shí)別定位算法,該算法結(jié)合了歸一化思想和感興趣區(qū)域提取算法的優(yōu)點(diǎn),實(shí)驗(yàn)結(jié)果表明該算法的識(shí)別率為97.56%,平均檢測用時(shí)為0.291 s,滿足自然環(huán)境下核桃實(shí)時(shí)采摘的要求。

綜上所述,目前解決果實(shí)定位問題的方法主要為上述四大類,而通過深度學(xué)習(xí)解決水果的采摘點(diǎn)定位問題的研究還處于起步階段,Bulanon等[15]人利用神經(jīng)網(wǎng)絡(luò)解決了在田園環(huán)境下草莓采摘點(diǎn)定位困難的問題,表明了神經(jīng)網(wǎng)絡(luò)在水果采摘點(diǎn)識(shí)別方面有著巨大潛力。因此,本文選擇在區(qū)域分割上有著明顯優(yōu)勢的SegNet[17]作為分割蘋果果實(shí)目標(biāo)采摘點(diǎn)的訓(xùn)練模型,并對(duì)其加以改進(jìn)。

1 基于SegNet的分割算法

1.1 SegNet原理

SegNet模型是在VGG16[18]的基礎(chǔ)上進(jìn)行的改進(jìn),總體可視為編碼和解碼兩大過程。編碼部分主要以VGG16為基礎(chǔ),刪除了VGG16的全連接部分以提升模型的性能。在解碼部分進(jìn)行了上采樣操作,并通過卷積等操作實(shí)現(xiàn)圖像的語義分割,即實(shí)現(xiàn)景象的多分類。因?yàn)樵撜Z義分割模型在區(qū)域分割上的優(yōu)勢,適用于點(diǎn)、塊形狀的分割,所以選用SegNet作為分割蘋果采摘點(diǎn)的方法,并在此基礎(chǔ)上進(jìn)行改進(jìn)。

SegNet模型的原理如圖1所示。該模型的編碼過程以最大池化的形式來降低輸入圖像的維度,并記錄在圖像最大池化過程中的索引位置,編碼器中其下采樣的過程分別由2個(gè)綠色的3×3的卷積層和1個(gè)紫色的2×2池化層組成,并通過Relu激活函數(shù)[19]傳導(dǎo)激活給下一層。

圖1 SegNet結(jié)構(gòu)圖Fig.1 Structure diagram of SegNet

解碼器部分與編碼器對(duì)稱,在下采樣期間,在每一次進(jìn)行最大池化操作后,都需要保存最大值所對(duì)應(yīng)的位置。上采樣時(shí)采用2×2的滑動(dòng)窗口,步長為2,在對(duì)應(yīng)位置恢復(fù)其最大值,其余值均設(shè)置為0。假設(shè)最大池化后的值為 a、g、j、p,保存其對(duì)應(yīng)最大值位置。通過該上采樣的方法恢復(fù)圖像中的輪廓和位置信息,能夠更好地從圖像中提取目標(biāo)邊緣特征的位置信息并保存,恢復(fù)圖像的大小和細(xì)節(jié),實(shí)現(xiàn)較高精度的圖像分割,最后輸出層連接一個(gè)多類Softmax分類器,對(duì)每一個(gè)像素進(jìn)行輸出類概率的預(yù)測。下采樣到上采樣的過程如圖2所示。

圖2 下采樣到上采樣過程示意圖Fig.2 Process diagram of down-sampling to up-sampling

1.2 改進(jìn)的SegNet模型

直接使用SegNet模型分割蘋果圖像時(shí)會(huì)產(chǎn)生采摘點(diǎn)分割不清晰和采摘點(diǎn)分割錯(cuò)誤的問題,其產(chǎn)生原因是SegNet模型對(duì)多尺度語義信息的利用率有限,每個(gè)解碼器中僅包含一種尺度的語義信息,因此在多層之間傳遞時(shí)會(huì)發(fā)生特征丟失的現(xiàn)象。

為了提高卷積神經(jīng)網(wǎng)絡(luò)模型的分割精度,往往會(huì)增加網(wǎng)絡(luò)的層數(shù)。對(duì)于深層次的網(wǎng)絡(luò),輸入信息容易出現(xiàn)消失或膨脹的問題,而淺層網(wǎng)絡(luò)則往往不會(huì)出現(xiàn),DenseNet卷積神經(jīng)網(wǎng)絡(luò)能夠很好地解決這類問題[20],其核心思想是直接連接來自不同層的特征圖,實(shí)現(xiàn)特征多次重用。該網(wǎng)絡(luò)結(jié)構(gòu)具有以下優(yōu)點(diǎn):加強(qiáng)了圖像特征的傳播、解決了深層網(wǎng)絡(luò)層梯度消失的問題和減少了模型參數(shù)。為了確保網(wǎng)絡(luò)層之間的最大信息流,每個(gè)卷積層的輸出都輸入到后面的卷積層中。DenseNet卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

圖3 DenseNet結(jié)構(gòu)圖Fig.3 Structure diagram of DenseNet

借鑒DenseNet的思想,采用適用于點(diǎn)、塊分割的SegNet卷積神經(jīng)網(wǎng)絡(luò)的方法,以解決蘋果采摘點(diǎn)分割精度和識(shí)別成功率偏低的問題。本文對(duì)SegNet模型進(jìn)行改進(jìn),改進(jìn)的網(wǎng)絡(luò)融合DenseNet的特性,有效加強(qiáng)網(wǎng)絡(luò)之間特征的傳播,解決深層網(wǎng)絡(luò)梯度消失的問題以及減少訓(xùn)練模型參數(shù)。改進(jìn)的SegNet保留原模型的上采樣方法,在卷積和池化操作的過程中引入了DenseNet的思想,改進(jìn)的SegNet實(shí)現(xiàn)流程如圖4所示。

圖4 改進(jìn)的SegNet結(jié)構(gòu)圖Fig.4 Structure diagram of improved SegNet

首先,深度網(wǎng)絡(luò)的輸入為8通道的圖像,即為兩個(gè)4通道的圖像合并結(jié)果,在深度網(wǎng)絡(luò)輸入的第一層需要對(duì)8通道圖像進(jìn)行局部響應(yīng)歸一化處理(Local Response Normalization,LRN)[21];然后,進(jìn)行多次卷積、池化操作;接著,進(jìn)行多次上采樣和反卷積操作;最后進(jìn)行一次卷積和Softmax得到網(wǎng)絡(luò)的輸出。這里的反卷積亦稱為轉(zhuǎn)置卷積。Softmax操作得到的是一個(gè)K通道的概率圖像,其中K代表結(jié)果的類別,因?yàn)榇舜螌?shí)驗(yàn)將圖像分割為背景和采摘點(diǎn)兩類,所以K值為 2。改進(jìn)的SegNet網(wǎng)絡(luò)配置如表1所示。

改進(jìn)的SegNet模型共進(jìn)行了9次卷積操作和8次反卷積操作。所有的卷積以及反卷積均采用3×3的卷積核,滑動(dòng)步長為1。池化操作均采用最大值池化的方法,采用2×2的滑動(dòng)窗口,步長為2。除了最后一次卷積操作,每次卷積以及反卷積后均采用批標(biāo)準(zhǔn)化(Batch Normalization,BN)[22]。采用LRN和BN的主要目的是加速網(wǎng)絡(luò)訓(xùn)練和收斂的速度。

在最大池化操作后,分別引入了前幾層的結(jié)果,然后進(jìn)行卷積操作。需要注意的是,在每次池化操作后引入前幾層的結(jié)果時(shí),需要對(duì)前幾層的結(jié)果進(jìn)行相應(yīng)的池化操作,以滿足和當(dāng)前的池化輸出結(jié)果一樣的大小一致。例如,第一次最大池化操作后,引入網(wǎng)絡(luò)第一層輸入時(shí)需要對(duì)其進(jìn)行一次最大池化操作。第二次最大池化操作后,引入網(wǎng)絡(luò)第一層輸入和第一次最大池化的結(jié)果時(shí),需要對(duì)網(wǎng)絡(luò)第一層輸入進(jìn)行兩次最大池化操作。第三次最大池化操作后,引入網(wǎng)絡(luò)第一層輸入、第一次以及第二次最大池化的結(jié)果時(shí),需要對(duì)網(wǎng)絡(luò)第一層輸入進(jìn)行三次最大池化操作。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 蘋果采摘點(diǎn)數(shù)據(jù)集

本文在不同光照條件下對(duì)3種不同品種蘋果進(jìn)行圖像采集,采集的紅富士、黃元帥和蛇果圖像數(shù)量分別為64、24和7。采集設(shè)備類型為大恒DH-SV1421FC/FM,采集的圖像分辨率為2048×1536,格式為JPG。模型訓(xùn)練所用的蘋果圖像均采用Photoshop進(jìn)行人工標(biāo)注。因?yàn)楸疚闹谎芯刻O果采摘點(diǎn)(果臍)的識(shí)別分割,采摘點(diǎn)與所采用的扭斷式采摘密切相關(guān),所以標(biāo)注時(shí)將蘋果圖像分為果臍與背景兩類。標(biāo)注結(jié)果示例如圖5所示。

根據(jù)教師自身的專業(yè)特點(diǎn)，結(jié)合掛職企業(yè)的工作和崗位情況，派出教師掛職的院系為教師量身訂制企業(yè)掛職任務(wù)書。在任務(wù)書制定時(shí)，結(jié)合計(jì)算機(jī)專業(yè)課程的發(fā)展規(guī)劃、專業(yè)建設(shè)、人才培養(yǎng)等需求，與企業(yè)加強(qiáng)事前溝通，在任務(wù)書中明確教師掛職崗位、項(xiàng)目任務(wù)、掛職導(dǎo)師、學(xué)習(xí)內(nèi)容、考核方式等。讓教師明確企業(yè)掛職的任務(wù)，帶著工作、學(xué)習(xí)任務(wù)進(jìn)入企業(yè)，同時(shí)，企業(yè)也可以根據(jù)教師的掛職任務(wù)書，明確教師掛職的崗位和工作內(nèi)容。

圖5 圖像標(biāo)注結(jié)果Fig.5 Results of image annotation

2.2 精度評(píng)價(jià)指標(biāo)

本次訓(xùn)練中用到檢測評(píng)價(jià)的指標(biāo)包括精確率Eprecision、召回率Erecall、特異性Especificity以及相似度Edice,其計(jì)算式分別為

式中,Ntp表示正確識(shí)別到的采摘點(diǎn)的像素,Nfp表示被錯(cuò)誤識(shí)別為采摘點(diǎn)的像素,Ntn表示被正確識(shí)別為背景的像素,Nfn表示被錯(cuò)誤識(shí)別為背景的像素,Edice系數(shù)用來衡量經(jīng)過模型訓(xùn)練后獲得的分割圖與真值圖之間的相似度。

2.3 訓(xùn)練結(jié)果

訓(xùn)練平臺(tái)的顯卡為GeForce GTX 1080、處理器為Intel Core i7-8700,內(nèi)存為16 G,頻率為3.2 GHz,運(yùn)行環(huán)境為 Python 3.4、深度學(xué)習(xí)框架為PyTorch。

訓(xùn)練完成后,取測試集測試各模型精度評(píng)價(jià)指標(biāo),統(tǒng)計(jì)結(jié)果如表2所示。由表中結(jié)果可知,改進(jìn)的SegNet模型進(jìn)行采摘點(diǎn)識(shí)別時(shí)在精確率方面分別比 U-Net、FCN、SegNet模型提高了 0.51%、2.26%、1.69%,召回率方面分別比 U-Net[24]、FCN[25]、SegNet模型提高了 3.09%、6.10%、3.20%,特異性方面分別比 U-Net、FCN、SegNet提高了 0.35%、0.64%、0.73%,相似度上分別比U-Net、FCN、SegNet模型提高了 1.97%、3.62%、2.43%,根據(jù)上述數(shù)據(jù)可知,改進(jìn)的SegNet模型通過直接連接來自不同網(wǎng)絡(luò)層的特征圖,實(shí)現(xiàn)圖像特征的多次重用,提高了模型的分割精度。

表2 各模型精度評(píng)價(jià)指標(biāo)對(duì)比Tab.2 Comparison of accuracy evaluation indexes of each model

通過統(tǒng)計(jì)所有的蘋果采摘點(diǎn)為274,SegNet模型成功識(shí)別出的個(gè)數(shù)為248,改進(jìn)的SegNet模型成功識(shí)別出的個(gè)數(shù)為254。Segnet模型與改進(jìn)的SegNet模型對(duì)蘋果采摘點(diǎn)的識(shí)別成功率分別為90.51%和92.70%。在識(shí)別成功率方面改進(jìn)的SegNet模型比原模型提高了2.19%。SegNet模型在改進(jìn)前后處理100張圖像運(yùn)算時(shí)間分別為48.84 s和49.80 s,運(yùn)行時(shí)間近乎相等。

2.4 不同品種蘋果的識(shí)別效果

圖6 不同品種蘋果的采摘點(diǎn)分割效果Fig.6 Segmentation of picking points for different varieties of apples

如圖5(h)～圖5(k)所示,實(shí)驗(yàn)結(jié)果表明直接使用U-Net、FCN、SegNet模型分割黃元帥圖像時(shí)出現(xiàn)采摘點(diǎn)分割錯(cuò)誤的情況;如圖5(n)～圖5(q)所示,實(shí)驗(yàn)結(jié)果表明直接使用U-Net、FCN、SegNet模型分割蛇果圖像時(shí)出現(xiàn)采摘點(diǎn)分割不清晰的情況,而改進(jìn)的SegNet模型則有效解決了這些問題,在蘋果采摘點(diǎn)識(shí)別精度和識(shí)別成功率上具有綜合優(yōu)勢。

3 結(jié)論

本文以自然環(huán)境下采集的不同品種的蘋果圖像作為數(shù)據(jù)集,選擇SegNet模型對(duì)蘋果圖像中的采摘點(diǎn)進(jìn)行提取,并對(duì)該模型進(jìn)行改進(jìn)優(yōu)化,以適用于分割自然環(huán)境下的蘋果采摘點(diǎn)。

1)SegNet模型中融合了DenseNet的特性,即直接連接來自不同層的特征圖,實(shí)現(xiàn)了特征多次重用,加強(qiáng)了網(wǎng)絡(luò)之間特征的傳播,能有效解決SegNet模型對(duì)多尺度語義信息的利用率有限的問題,提高模型的采摘點(diǎn)分割精度。

2)利用改進(jìn)的SegNet模型對(duì)自然環(huán)境不同品種的蘋果采摘點(diǎn)進(jìn)行分割,在精確率方面比原模型提高了1.69%、召回率方面提高了3.2%、特異性方面提高了0.73%、相似度上提高了2.43%,識(shí)別成功率上提高了2.19%,數(shù)據(jù)表明了改進(jìn)的SegNet模型提高了果實(shí)采摘點(diǎn)的識(shí)別精度和識(shí)別成功率,所以與原模型相比,改進(jìn)的SegNet模型能夠更好地分割自然環(huán)境下蘋果目標(biāo)的采摘點(diǎn)。