周學(xué)成 肖明瑋 梁英凱 商楓楠 陳 橋 羅陳迪

(1.華南農(nóng)業(yè)大學(xué)工程學(xué)院,廣州 510642; 2.南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,廣州 510642)

0 引言

水果產(chǎn)業(yè)已成為我國(guó)繼糧食和蔬菜之后的第3大農(nóng)業(yè)種植產(chǎn)業(yè),我國(guó)水果種植面積和產(chǎn)量常年穩(wěn)居世界首位[1]。盡管我國(guó)水果產(chǎn)業(yè)已經(jīng)逐步實(shí)現(xiàn)規(guī)?；N植,但是機(jī)械化采摘程度依然較低,大多仍以人工采摘為主,和發(fā)達(dá)國(guó)家相比存在明顯差距。由于果園環(huán)境多為半結(jié)構(gòu)化環(huán)境,大型機(jī)械作業(yè)受限,限制了果園機(jī)械智能化的發(fā)展[2]。因此我國(guó)迫切需要提高果園機(jī)械化、智能化水平,提高生產(chǎn)效率[3]。視覺導(dǎo)航作為果園機(jī)械提升智能化水平的關(guān)鍵技術(shù)之一,具有成本低、信息豐富等特點(diǎn),適用于不規(guī)則地塊[4]。而且有效彌補(bǔ)了果園因樹葉遮擋、衛(wèi)星信號(hào)弱而無法進(jìn)行導(dǎo)航的情況[5]。能夠?qū)崟r(shí)準(zhǔn)確地識(shí)別導(dǎo)航路徑是當(dāng)前國(guó)內(nèi)外學(xué)者研究的重點(diǎn)。

目前在果園環(huán)境下的導(dǎo)航路徑識(shí)別研究中,研究人員通常將果樹樹干或者作物行作為獲取導(dǎo)航信息的參照物,利用參照物具有的顏色、形態(tài)和紋理特征運(yùn)用傳統(tǒng)的圖像處理技術(shù)提取出導(dǎo)航路徑。目前已有針對(duì)蘋果園[6]、黃瓜園[7]、橙園[8]、枸杞園[9]、桃園[10]等環(huán)境的視覺導(dǎo)航研究。但是,在設(shè)施農(nóng)業(yè)、果園等復(fù)雜環(huán)境中,圖像處理算法易受光照、陰影的影響[11]。而且果園道路屬于非結(jié)構(gòu)化道路,無明顯道路邊界線,傳統(tǒng)圖像處理算法不能完全適用。

近年來隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展,許多研究人員將深度學(xué)習(xí)技術(shù)應(yīng)用在導(dǎo)航路徑的識(shí)別研究中[12-15],與傳統(tǒng)的語義分割方法相比,基于深度學(xué)習(xí)的語義分割方法能獲取更多、更高級(jí)的語義信息來表達(dá)圖像中的信息[16]。SONG等[17]利用全卷積網(wǎng)絡(luò)(FCN)對(duì)小麥、地面和背景進(jìn)行語義分割,進(jìn)而擬合出導(dǎo)航路徑。KIM等[18]提出了一種半結(jié)構(gòu)化環(huán)境自主路徑檢測(cè)方法實(shí)現(xiàn)路徑區(qū)域分割。YANG等[19]提出了一種基于神經(jīng)網(wǎng)絡(luò)和像素掃描的可視化導(dǎo)航路徑提取方法。韓振浩等[20]提出了一種基于U-Net網(wǎng)絡(luò)的果園視覺導(dǎo)航路徑識(shí)別方法。

以上基于深度學(xué)習(xí)算法的導(dǎo)航路徑識(shí)別研究為本研究提供了借鑒。然而在火龍果園導(dǎo)航路徑檢測(cè)識(shí)別任務(wù)中,果園道路存在的雜草以及掉落的枝條,使得道路的邊界信息模糊,增加了導(dǎo)航路徑的識(shí)別難度。而且大多數(shù)研究較少關(guān)注模型的部署問題,所提出的網(wǎng)絡(luò)結(jié)構(gòu)較為復(fù)雜,使得模型的參數(shù)量大,不利于部署至硬件條件有限的果園視覺導(dǎo)航系統(tǒng)。為此,針對(duì)視覺導(dǎo)航應(yīng)用在果園環(huán)境中面臨干擾因素多、圖像背景復(fù)雜、復(fù)雜模型難以部署等問題,本文以火龍果園的自然環(huán)境為研究對(duì)象,提出一種基于改進(jìn)DeepLabv3+網(wǎng)絡(luò)的果園視覺導(dǎo)航路徑識(shí)別方法。本研究選擇輕量化的MobileNetV2替換原網(wǎng)絡(luò)中的主干特征提取網(wǎng)絡(luò),并將空間金字塔池化模塊(Atrous spatial pyramid pooling,ASPP)中的空洞卷積替換成深度可分離卷積(Depthwise separable convolution,DSC),以降低模型的復(fù)雜度。為了提高模型對(duì)道路特征的提取能力,考慮在特征提取模塊處引入坐標(biāo)注意力機(jī)制(Coordinate attention,CA);最后利用網(wǎng)絡(luò)模型生成的道路掩碼,得到道路的邊界信息并通過最小二乘法擬合道路邊界,再運(yùn)用角平分線算法擬合出導(dǎo)航路徑。

1 材料與方法

1.1 圖像數(shù)據(jù)獲取

本研究所需的果園圖像數(shù)據(jù)于2022年7月采自廣州市番禺區(qū)火龍果種植園。拍攝設(shè)備為英特爾公司生產(chǎn)的D435i深度相機(jī),圖像數(shù)據(jù)通過USB接口傳輸并保存在計(jì)算機(jī)內(nèi),自動(dòng)曝光;圖像分辨率為1 920像素×1 080像素,以PNG格式存儲(chǔ),圖像采集幀率為30 f/s。數(shù)據(jù)采集時(shí)將深度相機(jī)固定在相機(jī)支架上,向下傾斜10°,拍攝方向?yàn)榈缆氛胺?。根?jù)研究目標(biāo),本文只對(duì)果園壟間道路進(jìn)行圖像數(shù)據(jù)采集,不包括果園地頭以及果樹行間。為了提高樣本的多樣性,分別在不同道路條件下共采集原始圖像456幅,如圖1所示。

圖1 火龍果園道路圖像示例

1.2 果園道路數(shù)據(jù)集制作

通過相機(jī)直接獲取的原始圖像分辨率較高,在訓(xùn)練時(shí)會(huì)占用過多顯存,降低訓(xùn)練速度,同時(shí)圖像沒有語義標(biāo)簽,需要預(yù)先進(jìn)行標(biāo)注,才能傳入神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。為了減少模型訓(xùn)練時(shí)間,將456幅原始圖像尺寸等比例縮放為960像素×540像素,再使用像素級(jí)標(biāo)注工具Lableme進(jìn)行語義標(biāo)注,標(biāo)注后的文件以.json格式存儲(chǔ)。針對(duì)現(xiàn)場(chǎng)采集的數(shù)據(jù)樣本量不足,本文通過幾何變換(平移、旋轉(zhuǎn))與顏色變換(對(duì)比度、亮度)進(jìn)行數(shù)據(jù)增強(qiáng)。增強(qiáng)后的圖像共1 074幅,按照8∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于訓(xùn)練深度網(wǎng)絡(luò)模型參數(shù)權(quán)重;驗(yàn)證集用于訓(xùn)練過程中對(duì)模型參數(shù)進(jìn)行調(diào)優(yōu);測(cè)試集用于評(píng)估最終模型的泛化能力。

2 果園道路場(chǎng)景語義分割

2.1 改進(jìn)的DeepLabv3+語義分割算法

DeepLabv3+網(wǎng)絡(luò)被稱為語義分割網(wǎng)絡(luò)的新高峰,但也存在不足。首先,為了追求分割精度,選擇了網(wǎng)絡(luò)層數(shù)較多、參數(shù)量大的Xception作為特征提取網(wǎng)絡(luò),同時(shí)ASPP模塊中采用空洞卷積,使得模型參數(shù)量增加,提高了模型的復(fù)雜度;另外,這些特點(diǎn)也對(duì)硬件提出了更高要求[21]。為了使得移動(dòng)機(jī)器人能夠?qū)崟r(shí)準(zhǔn)確地識(shí)別果園道路,確保該網(wǎng)絡(luò)模型能夠部署在嵌入式設(shè)備上,本文針對(duì)上述問題對(duì)傳統(tǒng)的DeepLabv3+網(wǎng)絡(luò)進(jìn)行了如下改進(jìn):首先,為了減小參數(shù)計(jì)算量并降低模型的復(fù)雜度,將DeepLabv3+模型中原本用于主干特征提取的Xception網(wǎng)絡(luò)更換成更為輕量級(jí)的MobileNetV2。為了增強(qiáng)模型學(xué)習(xí)特征的表達(dá)能力,在主干提取網(wǎng)絡(luò)輸出的高層特征層處添加CA模塊。為了提高模型的檢測(cè)速率,減小內(nèi)存占用量,將ASPP模塊中的空洞卷積替換成深度可分離卷積。改進(jìn)后的網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

2.2 輕量化特征提取模塊

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)通過擴(kuò)充網(wǎng)絡(luò)深度和廣度,提高網(wǎng)絡(luò)模型準(zhǔn)確性,但也存在復(fù)雜度高、運(yùn)行速度慢等問題。MobileNetV2是由谷歌團(tuán)隊(duì)在2018年提出的高性能輕量化的卷積神經(jīng)網(wǎng)絡(luò),相對(duì)于MobileNetV1而言準(zhǔn)確率更高,模型更小[22]。MobileNetV2采用一種具有線性瓶頸的殘差結(jié)構(gòu),該模塊將輸入的低維壓縮表示首先擴(kuò)展到高維并用輕量級(jí)深度卷積進(jìn)行過濾。隨后用線性卷積將特征投影回低維表示。最后采用跨連接層將輸入特征與輸出特征相加,從而增加網(wǎng)絡(luò)的實(shí)時(shí)性和準(zhǔn)確性。為了讓MobileNetV2模塊能夠適用于語義分割,本文對(duì)該網(wǎng)絡(luò)結(jié)構(gòu)做了如下修改:將第1部分用于提取特征的3×3卷積塊以及包含多個(gè)深度可分離卷積的中間部分保留,把包含全局平均池化層與特征分類層的第3部分去掉。

2.3 CA模塊

注意力機(jī)制常用來告訴模型需要更關(guān)注哪些內(nèi)容和哪些位置,已經(jīng)被廣泛使用在深度神經(jīng)網(wǎng)絡(luò)中來加強(qiáng)模型的性能。HOU等[23]為輕量級(jí)網(wǎng)絡(luò)設(shè)計(jì)提出了新的注意力機(jī)制,該機(jī)制將位置信息嵌入到了通道注意力中,稱為坐標(biāo)注意力機(jī)制(Coordinate attention,CA)。

不同于通道注意力將輸入通過2維全局池化轉(zhuǎn)化為單個(gè)特征向量,CA將通道注意力分解為兩個(gè)沿著不同方向聚合特征的1維特征編碼過程。這樣,可以沿一個(gè)空間方向捕獲遠(yuǎn)程依賴關(guān)系,同時(shí)可以沿另一空間方向保留精確的位置信息。然后,將生成的特征圖分別編碼,將其互補(bǔ)地應(yīng)用于輸入特征圖,以增強(qiáng)關(guān)注對(duì)象的表示。該模塊的結(jié)構(gòu)如圖3所示,圖中C表示通道數(shù),H表示特征圖高度,W表示特征圖寬度。

圖3 坐標(biāo)注意力機(jī)制結(jié)構(gòu)圖

2.4 網(wǎng)絡(luò)損失函數(shù)

損失函數(shù)是一種用來度量模型預(yù)測(cè)值與真實(shí)值之間差異程度的函數(shù),損失函數(shù)的值越小,模型的魯棒性就越好。為了解決處理前景和背景體素?cái)?shù)量之間存在嚴(yán)重不平衡的問題,MILLETARI等[24]提出了DiceLoss。本文將其作為損失函數(shù),其表達(dá)式為

(1)

式中LDice——損失函數(shù)Dice——損失系數(shù)

X——真實(shí)分割圖像的像素類別

Y——模型預(yù)測(cè)分割圖像的像素類別

|X∩Y|——X和Y的點(diǎn)乘結(jié)果之和

|X|——X對(duì)應(yīng)圖像中的像素之和

|Y|——Y對(duì)應(yīng)圖像中的像素之和

3 導(dǎo)航路徑擬合

本文研究所涉火龍果園采用較為規(guī)范化的種植模式,果園道路較為平直,采摘機(jī)器人可將道路中線作為導(dǎo)航路徑。常用的直線擬合算法包括霍夫變換、隨機(jī)采樣一致性、最小二乘法等[25]。果園道路非結(jié)構(gòu)化,道路邊緣信息不規(guī)則,為此本文利用網(wǎng)絡(luò)模型生成的道路掩碼,提出一種基于道路邊界擬合的角平分線提取導(dǎo)航路徑算法。通過逐行掃描提取道路左右邊緣信息點(diǎn),再根據(jù)邊緣信息點(diǎn)用最小二乘法擬合出道路左右邊界線,最后利用角平分線算法擬合導(dǎo)航路徑。具體流程如圖4所示。

圖4 導(dǎo)航路徑擬合流程圖

3.1 道路邊緣信息提取

首先對(duì)模型生成的道路掩碼區(qū)域二值化,使得掩碼區(qū)域像素值為255,背景區(qū)域像素為0。道路掩碼區(qū)域可以近似看成上底邊有凸起的梯形區(qū)域,如圖5所示。為了提取道路的邊緣信息,首先需要確定掩碼區(qū)域的頂點(diǎn)。逐行掃描像素,以掩碼區(qū)域圖像的前景首行像素的所有像素的中點(diǎn)位置為頂點(diǎn),并記錄下此時(shí)頂點(diǎn)的坐標(biāo)(W,H)。其次以頂點(diǎn)的橫坐標(biāo)W當(dāng)作逐行掃描的分界線,以分界線為基準(zhǔn),分別向左、向右掃描。如果向左掃描時(shí)某個(gè)像素點(diǎn)的相鄰兩列像素值不同,則該點(diǎn)記為左邊界點(diǎn)。同理向右掃描時(shí),如果某個(gè)像素點(diǎn)的相鄰兩列像素值不同,則記為右邊界點(diǎn),直到整幅圖像像素遍歷完畢。

圖5 圖像分割結(jié)果

3.2 基于角平分線算法擬合導(dǎo)航路徑

根據(jù)得到的道路邊緣信息,用最小二乘法擬合出道路邊界。但根據(jù)果園導(dǎo)航的需求,如果選擇道路邊線當(dāng)作導(dǎo)航路徑會(huì)造成較大的導(dǎo)航偏差,而且也不利于采摘,為了提高導(dǎo)航路徑的精度,本研究將道路左右邊界線的角平分線當(dāng)成導(dǎo)航路徑。圖像坐標(biāo)系中道路左右邊界直線分別為mL和mR,假設(shè)mL和mR直線方程分別為

yL=kLx+bL

(2)

yR=kRx+bR

(3)

式中yL、yR——道路左邊界和右邊界對(duì)應(yīng)點(diǎn)的縱坐標(biāo)值

kL、kR——道路左、右邊界直線方程斜率

bL、bR——道路左、右邊界直線方程截距

為了得到正確的導(dǎo)航線斜率,本文利用向量來求解。假設(shè)左右邊界線的交點(diǎn)記為點(diǎn)O(x0,y0),隨機(jī)在左右邊界線上分別取兩個(gè)點(diǎn),記為點(diǎn)A(xa,ya)和B(xb,yb),則有

lOA=(xa-x0,ya-y0)

(4)

lOB=(xb-x0,yb-y0)

(5)

考慮將lOA和lOB歸一化,需要求出2個(gè)向量的模長(zhǎng),根據(jù)模長(zhǎng)公式則有

(6)

(7)

(8)

(9)

b=y0-k

(10)

從而得到導(dǎo)航基準(zhǔn)線方程為

y=k(x-x0)+y0

(11)

3.3 導(dǎo)航路徑精度測(cè)試方法

本文通過人工方法來擬合果園實(shí)際導(dǎo)航路徑。首先通過卷尺測(cè)量同一行左右兩棵果株間的距離,然后在中點(diǎn)位置做好標(biāo)記,接著利用白色尼龍繩將測(cè)得的中點(diǎn)位置依次連接。為了使得實(shí)際導(dǎo)航路徑更加精確,用釘子將尼龍繩加以固定。本文從像素誤差、實(shí)際距離兩個(gè)參數(shù)指標(biāo)來評(píng)價(jià)擬合導(dǎo)航路徑的精度。將相機(jī)支架放置在道路中間,拍攝角度和采集圖像時(shí)一致,從道路盡頭開始,從擬合導(dǎo)航路徑上以70像素為間距等距選取10個(gè)關(guān)鍵點(diǎn),利用D435i制造商提供的SDK來計(jì)算每幅圖像上10個(gè)關(guān)鍵點(diǎn)與分別對(duì)應(yīng)具有相同縱坐標(biāo)的實(shí)際導(dǎo)航路徑上10個(gè)點(diǎn)之間的像素誤差和實(shí)際距離。像素誤差的計(jì)算公式為

epix=|Xfit-Xreal|

(12)

式中epix——像素誤差

Xfit——擬合導(dǎo)航路徑上關(guān)鍵點(diǎn)的像素橫坐標(biāo)

Xreal——實(shí)際導(dǎo)航路徑上關(guān)鍵點(diǎn)的像素橫坐標(biāo)

為了將圖像中的像素誤差轉(zhuǎn)換為火龍果園中的實(shí)際距離,根據(jù)針孔成像模型分別將擬合導(dǎo)航路徑以及實(shí)際導(dǎo)航路徑上關(guān)鍵點(diǎn)的像素坐標(biāo)轉(zhuǎn)換成相機(jī)坐標(biāo),通過計(jì)算兩點(diǎn)的歐氏距離得到實(shí)際距離。相機(jī)的內(nèi)外參數(shù)以及畸變參數(shù)已標(biāo)定,坐標(biāo)轉(zhuǎn)換公式為

(13)

其中

(14)

(15)

式中 (u,v)——像素坐標(biāo)

fx、fy、u0、v0——相機(jī)內(nèi)參

(xcorrected,ycorrected)——?dú)w一化平面糾正坐標(biāo)

k1、k2、p1、p2——相機(jī)畸變參數(shù)

r——?dú)w一化平面極徑

(X,Y,Z)——相機(jī)坐標(biāo)系坐標(biāo)

(x,y)——?dú)w一化平面直角坐標(biāo)

4 結(jié)果與分析

為了驗(yàn)證基于改進(jìn)DeepLabv3+的火龍果園導(dǎo)航路徑識(shí)別算法以及基于角平分線算法擬合導(dǎo)航路徑的準(zhǔn)確性、穩(wěn)定性和魯棒性,分別進(jìn)行了果園道路分割和導(dǎo)航路徑提取實(shí)驗(yàn)。

4.1 果園道路分割

4.1.1實(shí)驗(yàn)平臺(tái)

本研究所使用的訓(xùn)練平臺(tái)為配備Windows 10 64位操作系統(tǒng)的臺(tái)式圖形工作站,其中CPU為Intel i9 10900X@3.75 GHz,GPU為NVIDIA GeForce GTX3090,RAM為128 GB,軟件環(huán)境為PyTorch 1.7.1,CUDA 11.1,以及CUDNN 8.0.2。

4.1.2訓(xùn)練參數(shù)設(shè)置

訓(xùn)練前,將數(shù)據(jù)集中的1 074幅圖像按照8∶1∶1隨機(jī)劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集,訓(xùn)練集有860幅圖像,驗(yàn)證集和測(cè)試集分別有107幅圖像。DeepLabv3+模型在批量大小為16、初始學(xué)習(xí)率為0.007時(shí),在Pacal VOC 2012和Cityscapes數(shù)據(jù)集上取得了良好的分割效果[26]。本研究將其作為模型訓(xùn)練超參數(shù),同時(shí)根據(jù)經(jīng)驗(yàn),優(yōu)化方法選擇隨機(jī)梯度下降優(yōu)化器(SGD),優(yōu)化器動(dòng)量設(shè)置為0.9,權(quán)重衰減設(shè)置成0.000 1,采用余弦退火的學(xué)習(xí)率下降方式。為了提高模型精度,使用Pytorch官方提供的MobileNetV2預(yù)訓(xùn)練權(quán)重。由于本文需求是分割道路和背景,故將分類個(gè)數(shù)設(shè)置成2,并訓(xùn)練300個(gè)周期。

4.1.3評(píng)價(jià)指標(biāo)

本文采用平均像素準(zhǔn)確率(Mean pixel accuracy,MPA)、平均交并比(Mean intersection over union,MIoU)、檢測(cè)速率(Frames per second,FPS)、模型內(nèi)存占用量、參數(shù)量(Params)作為語義分割算法性能評(píng)價(jià)指標(biāo)。假設(shè)總共有k+1個(gè)類,令Pij表示第i類被預(yù)測(cè)為第j類的像素?cái)?shù)量,則Pii表示預(yù)測(cè)準(zhǔn)確的像素?cái)?shù)量。

4.1.4改進(jìn)前后網(wǎng)絡(luò)模型訓(xùn)練結(jié)果對(duì)比

改進(jìn)前后的DeepLabv3+網(wǎng)絡(luò)的訓(xùn)練過程如圖6所示。根據(jù)圖6可知,隨迭代次數(shù)增加,二者的訓(xùn)練集損失值呈減少趨勢(shì),而且隨著迭代次數(shù)逐漸增加,MIoU越來越高。當(dāng)?shù)螖?shù)到達(dá)100次時(shí),二者的損失值和精度均趨于穩(wěn)定。但是與傳統(tǒng)DeepLabv3+網(wǎng)絡(luò)比較,改進(jìn)后的DeepLabv3+網(wǎng)絡(luò)的收斂速度更快,精度也更高。

圖6 改進(jìn)前后網(wǎng)絡(luò)模型訓(xùn)練結(jié)果

4.1.5模型有效性驗(yàn)證

為了驗(yàn)證在傳統(tǒng)DeepLabv3+網(wǎng)絡(luò)中添加CA注意力機(jī)制模塊的有效性,從測(cè)試集中選取了一幅道路條件較為復(fù)雜的圖像進(jìn)行驗(yàn)證,如圖7所示。原始圖像的右下方區(qū)域包含較多的雜草,同時(shí)由于受到光照的影響,路面上存在周邊果株的投影區(qū)域。對(duì)比圖中綠色橢圓區(qū)域分割結(jié)果發(fā)現(xiàn),傳統(tǒng)DeepLabv3+網(wǎng)絡(luò)模型丟失了部分道路邊緣信息,而且未能分割出道路存在雜草覆蓋的區(qū)域。而添加CA模塊后的DeepLabv3+網(wǎng)絡(luò)模型對(duì)道路邊緣信息提取更完整,能準(zhǔn)確分割出覆蓋雜草的道路,說明添加CA模塊后提高了網(wǎng)絡(luò)模型的特征提取能力。

為了驗(yàn)證將傳統(tǒng)DeepLabv3+網(wǎng)絡(luò)中的主干特征提取網(wǎng)絡(luò)由Xception更換為輕量級(jí)的MobileNetV2的有效性,以及驗(yàn)證添加注意力機(jī)制模塊CA、替換ASPP模塊中的空洞卷積為深度可分離卷積對(duì)分割結(jié)果的影響,本文根據(jù)語義分割評(píng)價(jià)指

標(biāo),設(shè)置4組不同的改進(jìn)方案進(jìn)行消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表1所示。

表1 消融實(shí)驗(yàn)結(jié)果

根據(jù)表1可得,將DeepLabv3+的主干網(wǎng)絡(luò)由Xception換成MobileNetV2后檢測(cè)速率提升23.55 f/s,而且極大減小了參數(shù)量以及模型內(nèi)存占用量,參數(shù)量和模型內(nèi)存占用量?jī)H為原來的1/9。其次,主干網(wǎng)絡(luò)為MobileNetV2的基礎(chǔ)上添加CA模塊后,MIoU以及MPA分別提升0.46、0.26個(gè)百分點(diǎn),表明CA模塊可以在一定程度上提高模型分割精度。另外,將APSS模塊中的空洞卷積換成DSC時(shí),相比原來的訓(xùn)練結(jié)果MIoU和MPA有略微下降,分別降低0.20、0.08個(gè)百分點(diǎn),但是參數(shù)量和模型內(nèi)存占用量分別減小33.70%、33.50%,表明DSC可以有效降低模型復(fù)雜度。最后,本文提出的改進(jìn)DeepLabv3+網(wǎng)絡(luò)模型的訓(xùn)練結(jié)果和原模型相比,無論是分割精度還是檢測(cè)速率都有明顯提升,更重要的是改進(jìn)后的網(wǎng)絡(luò)模型的參數(shù)量和模型內(nèi)存占用量?jī)H相當(dāng)于原來的1/14。因此改進(jìn)DeepLabv3+模型可以更好適用于果園道路的檢測(cè),而且也便于在嵌入式設(shè)備和移動(dòng)設(shè)備上部署。圖8為改進(jìn)網(wǎng)絡(luò)在不同環(huán)境條件下果園道路場(chǎng)景分割效果圖。

圖8 不同環(huán)境條件下果園道路場(chǎng)景分割結(jié)果

從圖8可以看出,白色地膜道路圖像中的道路區(qū)域被有效分割,分割結(jié)果沒有受到地面散落枝條的影響;黑色地膜道路圖像中,路面不但覆蓋雜亂無章的雜草,而且由于光照的影響,路面上還存在周邊果株的投影區(qū)域,但分割結(jié)果并沒有受到復(fù)雜路面環(huán)境的影響,道路分割完整,同時(shí)道路盡頭的白色地膜道路沒有被錯(cuò)誤分割為背景,而是和黑色地膜區(qū)域一塊識(shí)別為道路區(qū)域,說明模型具有良好的抗干擾性;在無地膜道路圖像中,道路無明顯邊界,而且無地膜道路的雜草較為密集,同時(shí)沙土路面潮濕且不平整,加上光照的影響,這些復(fù)雜環(huán)境因素會(huì)對(duì)分割結(jié)果造成干擾,但根據(jù)模型的預(yù)測(cè)結(jié)果,道路邊緣信息完整,道路的左右邊界連續(xù)且對(duì)稱分布,分割效果精細(xì),說明模型具有較高的魯棒性。

4.1.6不同模型性能對(duì)比

為了進(jìn)一步分析改進(jìn)DeepLabv3+模型的分割性能,選擇分割精度較高的Pspnet、U-net與本文模型進(jìn)行對(duì)比,以上網(wǎng)絡(luò)模型均利用果園道路數(shù)據(jù)集進(jìn)行訓(xùn)練,訓(xùn)練結(jié)果如表2所示。

表2 不同網(wǎng)絡(luò)模型性能對(duì)比

由表2可以看出,本文模型和Pspnet相比,無論是在分割精度還是檢測(cè)速率都優(yōu)于后者,其中MIoU和MPA分別提高0.49、0.25個(gè)百分點(diǎn),另外檢測(cè)速率提高11.7 f/s,參數(shù)量和模型內(nèi)存占用量減小91%。另外本文模型相較于U-net,盡管在分割精度上略低于后者,但是在檢測(cè)速率、參數(shù)量和模型內(nèi)存占用量方面都顯著優(yōu)于U-net,其中檢測(cè)速率提升20.58 f/s,參數(shù)量和模型內(nèi)存占用量分別減小4.003×107和152.0 MB,相比U-net,本文模型更加適合部署至嵌入式設(shè)備,而且保證了模型具有較高的分割精度的同時(shí)也更加輕量化。

4.2 導(dǎo)航路徑提取

選擇白色地膜道路、黑色地膜道路、無地膜道路3種不同的道路環(huán)境來驗(yàn)證本文設(shè)計(jì)的導(dǎo)航路徑提取算法精度。導(dǎo)航路徑識(shí)別結(jié)果如圖9所示(上圖為原始圖像,下圖為結(jié)果圖像)。從圖9中可以看出,本文方法能夠完整提取道路兩側(cè)的邊緣信息,而且通過最小二乘法擬合出道路邊界線與兩側(cè)的果樹行銜接緊湊,角平分線算法擬合的導(dǎo)航路徑能夠有效減小不規(guī)則道路邊緣對(duì)導(dǎo)航路徑提取的干擾。

圖9 不同環(huán)境條件下果園導(dǎo)航路徑識(shí)別結(jié)果

3種不同道路條件下的導(dǎo)航路徑精度測(cè)試結(jié)果如表3所示。在白色地膜道路條件下,平均像素誤差和平均距離誤差分別為17像素和7.42 cm。在黑色地膜道路條件下,平均像素誤差和平均距離誤差分別為32像素和10.55 cm。在無地膜道路條件下,平均像素誤差和平均距離誤差分別為17像素和4.76 cm?？傻貌煌缆窏l件下的平均像素誤差是22像素,平均距離誤差是7.58 cm。已知所在火龍果園的道路寬度為3 m,平均距離誤差占比為2.53%。在當(dāng)前火龍果園環(huán)境中本文方法具有較高的精度,能夠適應(yīng)不同的火龍果園道路環(huán)境。

表3 導(dǎo)航路徑精度測(cè)試結(jié)果

5 結(jié)論

(1)提出了一種基于改進(jìn)DeepLabv3+的火龍果園道路識(shí)別方法,通過加入CA模塊提高了模型的特征提取能力;另外將原模型中的主干特征提取網(wǎng)絡(luò)更換成MobileNetV2,以及將ASPP模塊中的空洞卷積更換成DSC,極大降低了模型內(nèi)存占用量,改進(jìn)模型和原模型、Pspnet以及U-net相比內(nèi)存占用量分別減小97.00%、91.57%和91.02%。并且檢測(cè)速率和平均交并比分別提升至57.89 f/s和95.80%,說明本文模型更加適合部署至嵌入式設(shè)備上。

(2)根據(jù)網(wǎng)絡(luò)模型分割出的道路掩碼,提出一種基于道路邊界擬合的角平分線提取導(dǎo)航路徑算法,該算法能準(zhǔn)確提取出導(dǎo)航路徑。

(3)在火龍果園3種不同道路環(huán)境條件下,進(jìn)行了導(dǎo)航路徑精度測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明,平均像素誤差為22像素,平均距離誤差為7.58 cm。已知所在果園道路寬度約為3 m,平均距離誤差占比為2.53%。說明本文提出的導(dǎo)航路徑擬合方法具有較好的適應(yīng)性。因此本研究可以為火龍果園視覺導(dǎo)航提供有效參考。