馮 健,馬俊燕,b,鄧齊林,黃 毅,常亞楠

(廣西大學(xué) a.機(jī)械工程學(xué)院;b.廣西制造系統(tǒng)與先進(jìn)制造重點(diǎn)實(shí)驗(yàn)室,南寧 530004)

0 引言

柑橘是我國(guó)種植最廣泛的水果之一,近20年來產(chǎn)量從1000余萬t增長(zhǎng)到4000余萬t[1]。在大規(guī)模的生產(chǎn)模式下,對(duì)果園產(chǎn)量的預(yù)測(cè)有利于合理分配勞動(dòng)力資源、規(guī)劃倉(cāng)儲(chǔ)空間和采收設(shè)備等,但目前的果實(shí)產(chǎn)量主要通過人工抽樣估測(cè)[2],費(fèi)時(shí)費(fèi)力,故自動(dòng)計(jì)算果園產(chǎn)量信息至關(guān)重要。

近年來,水果的產(chǎn)量估算方法已經(jīng)得到廣泛研究。Bargoti等[3]采用多尺度多層感知器(MLP)和卷積神經(jīng)網(wǎng)絡(luò)(CNN)進(jìn)行特征學(xué)習(xí),再利用分水嶺分割(WS)和循環(huán)霍夫變換(CHT)算法對(duì)像素級(jí)水果分割輸出進(jìn)行處理,實(shí)現(xiàn)水果的檢測(cè)和計(jì)數(shù)。Chen等[4]使用完全卷積網(wǎng)絡(luò)[5]對(duì)蘋果和橘子圖像進(jìn)行分割,有水果像素存在的區(qū)域稱為簇,再使用另一個(gè)卷積神經(jīng)網(wǎng)絡(luò)估計(jì)每個(gè)簇中的水果數(shù)量。張小花等[6]提出融合顏色轉(zhuǎn)換及霍夫圓變換的果樹估產(chǎn)方法,準(zhǔn)確率可達(dá) 96.58%。雖然目前的方法對(duì)水果產(chǎn)量的估算獲得了較高的精度,但都是基于靜態(tài)圖像完成的,無法對(duì)視頻中的果實(shí)進(jìn)行動(dòng)態(tài)計(jì)數(shù),在實(shí)際應(yīng)用中具有局限性。

實(shí)現(xiàn)果園的產(chǎn)量估算首先需要通過拍攝設(shè)備獲取果園的全局信息。其中,無人機(jī)具有較高的部署靈活性,已被用于農(nóng)業(yè)生產(chǎn)的各個(gè)方面,如噴藥施肥[7]、農(nóng)情監(jiān)測(cè)[8]、農(nóng)田灌溉[9]、估算植被覆蓋[10]以及放牧[11]等。由于柑橘主要種植于我國(guó)的南方山地丘陵地區(qū),地形復(fù)雜,很多自動(dòng)化設(shè)備難以在山地應(yīng)用,故無人機(jī)是獲取柑橘果園產(chǎn)量原始數(shù)據(jù)的首要選擇。

為了實(shí)現(xiàn)視頻中柑橘果園的產(chǎn)量估算,采用無人機(jī)獲取柑橘果園實(shí)時(shí)視頻,通過目標(biāo)檢測(cè)算法YOLOv5s識(shí)別每一幀圖像中的果實(shí),并改進(jìn)算法使運(yùn)行速度更快;同時(shí),通過目標(biāo)跟蹤方法實(shí)現(xiàn)相鄰幀圖像中的相同果實(shí)間的關(guān)聯(lián),為每個(gè)果實(shí)標(biāo)記不同的ID,記錄生成的ID總量用來估算果園中果實(shí)的數(shù)量,為生產(chǎn)實(shí)踐提供參考。

1 系統(tǒng)組成及工作原理

1.1 系統(tǒng)組成

系統(tǒng)的目標(biāo)是統(tǒng)計(jì)果園的整體產(chǎn)量,如圖1所示。

圖1 柑橘產(chǎn)量估算系統(tǒng)流程Fig.1 Citrus yield estimation system flow

首先,需要無人機(jī)進(jìn)入果園中通過攝像機(jī)不重復(fù)地記錄每一顆柑橘樹果實(shí)數(shù)量的視頻文件作為原始數(shù)據(jù),通過無人機(jī)的圖傳系統(tǒng)傳輸?shù)接跋窠邮掌髦?再通過HDMI接口將視頻導(dǎo)入計(jì)算機(jī);計(jì)算機(jī)通過算法識(shí)別視頻每一幀圖像的柑橘果實(shí),對(duì)每個(gè)獨(dú)立果實(shí)進(jìn)行視頻幀間關(guān)聯(lián),為果實(shí)標(biāo)記獨(dú)立的ID,以避免不同幀圖像包含相同果實(shí)帶來的重復(fù)計(jì)數(shù);最后,通過獲取最終生成的ID數(shù)量得到果園產(chǎn)量的估算值。

1.2 果實(shí)識(shí)別方法

果園中的柑橘果實(shí)通常生長(zhǎng)在茂密的枝葉之間,且較為密集,難以被精確識(shí)別;在無人機(jī)記錄的實(shí)時(shí)視頻中,通常1s輸出15幀以上圖像數(shù)據(jù),故需要算法在保證識(shí)別準(zhǔn)確性的同時(shí)提高運(yùn)行速度,滿足實(shí)時(shí)檢測(cè)的需求。

本文以YOLOv5s算法為基礎(chǔ)進(jìn)行柑橘果實(shí)識(shí)別。YOLOv5是YOLO系列算法的最新版本,有x、l、m、s等4種尺度的模型可供實(shí)際應(yīng)用選擇[12]。其中,YOLOv5s是最小的模型,具有極快的檢測(cè)速度及較高的檢測(cè)精度。其識(shí)別的流程如圖2所示。

圖2 柑橘果實(shí)識(shí)別流程Fig.2 Citrus fruit identification process

YOLOv5主要由主干網(wǎng)絡(luò)(Backbone)、頸部網(wǎng)絡(luò)(Neck)和檢測(cè)頭(Prediction)3個(gè)部分構(gòu)成。其中,主干網(wǎng)絡(luò)是CSPDarkNet53卷積神經(jīng)網(wǎng)絡(luò),通過多次卷積和合并從輸入圖像中提取不同大小的特征圖,且保留主干網(wǎng)絡(luò)中提取的最后3層特征圖,通過頸部網(wǎng)絡(luò)(圖2中虛線框部分)將這些不同大小的特征圖進(jìn)行融合;在融合過程中,使用了FPN和PAN的特征金字塔結(jié)構(gòu)。FPN結(jié)構(gòu)將強(qiáng)語義特征從頂部特征映射傳遞到下部特征映射,并將強(qiáng)大的本地化特征從較低的特征映射傳遞到較高的特征映射。這兩種結(jié)構(gòu)共同增強(qiáng)了頸部網(wǎng)絡(luò)的特征融合能力,以獲得豐富的上下文信息,減少了信息丟失;將最后獲得的特征圖輸入檢測(cè)頭中,通過反解碼在原始圖像上繪出包含果實(shí)位置的邊界框,得到果實(shí)的位置信息。

由于本文不僅需要實(shí)時(shí)識(shí)別視頻中果實(shí)的位置,而且還要根據(jù)檢測(cè)的結(jié)果實(shí)現(xiàn)相同果實(shí)的幀間關(guān)聯(lián),為了給后續(xù)操作預(yù)留出時(shí)間,需要對(duì)算法進(jìn)行改進(jìn),以提升運(yùn)行速度。在CSPDarkNet53中,每次對(duì)特征圖進(jìn)行降維操作都使用CBL結(jié)構(gòu)進(jìn)行,包括標(biāo)準(zhǔn)卷積(Conv)、批處理標(biāo)準(zhǔn)化(Batch Normalization)及Leackyrelu激活函數(shù)?？紤]到標(biāo)準(zhǔn)卷積的運(yùn)算量較大,采用深度可分離卷積[13]作為代替。深度可分離卷積主要是將標(biāo)準(zhǔn)卷積拆分為對(duì)原始輸入圖像1對(duì)1的逐通道卷積和用1×1卷積核進(jìn)行擴(kuò)充通道數(shù)的逐點(diǎn)卷積兩部分,以減少模型的運(yùn)算量,結(jié)構(gòu)如圖3所示。

圖3 標(biāo)準(zhǔn)卷積和深度可分離卷積結(jié)構(gòu)Fig.3 Standard convolution and depth-wise separable convolution structures

深度可分離卷積和標(biāo)準(zhǔn)卷積的浮點(diǎn)運(yùn)算量比值計(jì)算公式為

(1)

其中,c為輸入通道數(shù);m為輸出通道數(shù);h、w分別為輸入特征圖的高和寬,h′、w′分別為輸出特征圖的寬和高;k為卷積核大小。以3×3的卷積為例,深度可分離的運(yùn)算量?jī)H有標(biāo)準(zhǔn)卷積的1/9左右,可以節(jié)省大量運(yùn)算資源。

1.3 視頻幀間關(guān)聯(lián)

實(shí)現(xiàn)視頻中水果產(chǎn)量估算的最大難點(diǎn)是對(duì)果實(shí)實(shí)現(xiàn)幀間關(guān)聯(lián),即在識(shí)別果實(shí)之后區(qū)分視頻中不同幀圖像中的果實(shí)是否為同一果實(shí),避免相同果實(shí)出現(xiàn)在不同視頻中導(dǎo)致對(duì)果實(shí)重復(fù)計(jì)數(shù)。因此,需要引入目標(biāo)跟蹤方法,為每個(gè)目標(biāo)標(biāo)記獨(dú)立的ID。

首先,通過卡爾曼濾波[14]根據(jù)改進(jìn)的YOLOv5獲得的水果位置狀態(tài)信息(邊界框中心位置、長(zhǎng)寬比和邊界框面積和這些位置信息在坐標(biāo)系中各自的速度),并對(duì)果實(shí)在視頻下一幀中出現(xiàn)的位置進(jìn)行預(yù)測(cè);然后,通過運(yùn)動(dòng)預(yù)測(cè)和下一幀中檢測(cè)到的果實(shí)的真實(shí)位置之間的馬氏距離,建立不同幀圖像中水果的運(yùn)動(dòng)信息關(guān)聯(lián)。馬氏距離計(jì)算公式為

(2)

其中,d(1)為第j個(gè)檢測(cè)和第i條軌跡之間的運(yùn)動(dòng)匹配度;dj為第j個(gè)檢測(cè)框的位置;yi為第i個(gè)追蹤器對(duì)目標(biāo)的預(yù)測(cè)位置;Si為由卡爾曼濾波預(yù)測(cè)得到的在當(dāng)前時(shí)刻觀測(cè)空間的協(xié)方差矩陣。

當(dāng)目標(biāo)運(yùn)動(dòng)不規(guī)律或者受到遮擋時(shí),馬氏距離的度量效果就會(huì)變得較差,需要引入外觀匹配的方法對(duì)匹配機(jī)制進(jìn)行補(bǔ)充。在此,通過卷積神經(jīng)網(wǎng)絡(luò)ResNet-18[15]提取果實(shí)的外觀特征向量,網(wǎng)絡(luò)結(jié)構(gòu)如表1所示。

表1 ResNet-18結(jié)構(gòu)

ResNet-18主要由17個(gè)卷積層和1個(gè)池化層組成,原始輸入是224×224的圖像,由于深度較淺而具有較快的運(yùn)行速度,并且該網(wǎng)絡(luò)提供使用ImageNet訓(xùn)練好的權(quán)重。ImageNet是一個(gè)含有數(shù)百萬張圖像的數(shù)據(jù)集[16],也包含了柑橘等水果,可以免去重新訓(xùn)練的麻煩。將每一幀通過改進(jìn)的YOLOv5s獲得的邊界框中的圖像輸入到ResNet-18中,提取其外觀特征并形成特征向量rk。最小余弦距離計(jì)算公式為

(3)

其中,d(2)為某一目標(biāo)當(dāng)前時(shí)刻前100幀外觀特征向量rk與當(dāng)前獲得的檢測(cè)框j的外觀特征向量rj的最小余弦距離。由于保留了當(dāng)前時(shí)刻前100幀的特征向量,故只需目標(biāo)100幀內(nèi)有一次沒有被遮擋就可以持續(xù)正確匹配。大大提升了抗遮擋性能。

兩種度量方式通過服務(wù)于分配問題的不同方面而相互補(bǔ)充,為了構(gòu)建關(guān)聯(lián)問題,使用加權(quán)和將馬氏距離和最小余弦距離相結(jié)合,即

ci,j=λd(1)(i,j)+(1-λ)d(2)(i,j)

(4)

其中,λ為權(quán)重參數(shù)。計(jì)算獲得的c值小于閾值時(shí)即認(rèn)為成功匹配。為每個(gè)成功匹配的柑橘果實(shí)標(biāo)記獨(dú)立的ID,計(jì)算生成的ID總數(shù)作為果園中果實(shí)的估算數(shù)量。

2 試驗(yàn)設(shè)計(jì)

2.1 試驗(yàn)區(qū)域概況

試驗(yàn)區(qū)域設(shè)在廣西魁圩鄉(xiāng)柑橘園,是廣西脫貧攻堅(jiān)農(nóng)業(yè)示范區(qū)域(105°56′～106°48′E,22°51′～23°34′N),屬于亞熱帶季風(fēng)氣候。當(dāng)?shù)卮蠖嗍鞘?石漠化嚴(yán)重,環(huán)境惡劣,近年來大力發(fā)展柑橘種植業(yè),已種植柑橘300hm2。當(dāng)?shù)氐霓r(nóng)業(yè)生產(chǎn)模式較為傳統(tǒng),基本全靠手工作業(yè),對(duì)產(chǎn)量并沒有明確的預(yù)估,故在后期的收成物流規(guī)劃上經(jīng)常造成人力物力的浪費(fèi)。試驗(yàn)時(shí)間為2021年12月中旬,是柑橘臨近收獲的時(shí)期。選取當(dāng)?shù)氐囊黄麍@,包含42株柑橘果樹,如圖4(a)所示。

2.2 數(shù)據(jù)獲取

柑橘果園產(chǎn)量原始視頻數(shù)據(jù)通過無人機(jī)平臺(tái)獲取,無人機(jī)選用大疆DJI Mini2,如圖4(b)所示。無人機(jī)的具體參數(shù)如表2所示。

圖4 試驗(yàn)區(qū)域與無人機(jī)Fig.4 Experimental area with drones

表2 無人機(jī)主要參數(shù)Table 2 Main parameters of UAV

數(shù)據(jù)采集時(shí),研究人員操縱無人機(jī)在樹行之間飛行拍攝。為完整地記錄果樹全貌,無人機(jī)保持距離柑橘樹1.2m左右,采用水平和傾斜兩種拍攝視頻的方式,傾斜角度45°左右,不重復(fù)地記錄每一行柑橘樹的產(chǎn)量信息,如圖1所示。視頻使用mp4格式錄制,視頻分辨率720P。

為訓(xùn)練果實(shí)識(shí)別網(wǎng)絡(luò),拍攝不同角度的600張柑橘果實(shí)圖像訓(xùn)練數(shù)據(jù)集,使用LabelImg軟件對(duì)原始數(shù)據(jù)進(jìn)行邊界框標(biāo)注。

2.3 試驗(yàn)設(shè)計(jì)

1)果實(shí)識(shí)別:使用600張圖像的訓(xùn)練集分別對(duì)原始YOLOv5s網(wǎng)絡(luò)和本文改進(jìn)的算法進(jìn)行充分訓(xùn)練,通過測(cè)試集對(duì)比檢測(cè)性能。平臺(tái)處理器為Intel Core i5-9300H CPU @2.40GHz,搭載NVIDIA GTX 1660 ti GPU。采用隨機(jī)梯度下降訓(xùn)練,初始學(xué)習(xí)率0.01,動(dòng)量衰減0.0005,訓(xùn)練300代。最后,對(duì)比改進(jìn)前后的識(shí)別性能。

2)視頻跟蹤:拍攝一段較短的果園中的柑橘果樹視頻,使用卡爾曼濾波和卷積神經(jīng)網(wǎng)絡(luò)對(duì)視頻中的每個(gè)柑橘果進(jìn)行跟蹤; 同時(shí),為每個(gè)果實(shí)標(biāo)記獨(dú)立的ID,逐幀播放觀察跟蹤的穩(wěn)定性,根據(jù)測(cè)試效果對(duì)實(shí)際應(yīng)用進(jìn)行調(diào)整。

3)果實(shí)計(jì)數(shù):在無人機(jī)采集到的果園相同區(qū)域的水平和傾斜兩種視頻數(shù)據(jù)上運(yùn)行果實(shí)產(chǎn)量估算系統(tǒng),獲得視頻中果實(shí)數(shù)的估計(jì),并與人工計(jì)數(shù)的實(shí)際數(shù)據(jù)相比較,計(jì)算準(zhǔn)確率。

3 試驗(yàn)分析

3.1 識(shí)別效果測(cè)試

分別使用訓(xùn)練好的改進(jìn)前YOLOv5s和改進(jìn)后的YOLOv5s對(duì)包含100張圖像柑橘測(cè)試集進(jìn)行識(shí)別測(cè)試,使用mAP(Mean Average Precision)、R(Recall)作為對(duì)模型精度的評(píng)價(jià)指標(biāo)。其中,mAP反映的是模型對(duì)所有類別目標(biāo)的平均精度,R反映的是模型成功檢測(cè)到的目標(biāo)的比率。對(duì)于模型的檢測(cè)速度,則用Fps(Frames Per Second)衡量,即每秒處理的圖像數(shù),并使用V(Volume)衡量模型的大小,即模型權(quán)重文件的大小。Fps和V的值通過模型訓(xùn)練和測(cè)試后得出,mAP和R的計(jì)算公式為

(5)

(6)

(7)

(8)

其中,TP為被判為正類的正類;FP為被判為正類的負(fù)類;FN為被判為負(fù)類的正類。測(cè)試結(jié)果如表3所示。

表3 不同網(wǎng)絡(luò)的檢測(cè)效果對(duì)比

雖然改進(jìn)模型的mAP和R與原YOLOv5s相比分別下降了0.8%和0.6%,但運(yùn)行速度提高到了98FPS。雖然無人機(jī)錄制的影像通常在30幀左右,但更快的識(shí)別速度能為后續(xù)跟蹤方法留出更多的處理時(shí)間。改進(jìn)模型的實(shí)際檢測(cè)效果如圖5所示。

圖5 改進(jìn)的YOLOv5s網(wǎng)絡(luò)實(shí)際檢測(cè)效果Fig.5 The actual detection effect of the improved YOLOv5s network

3.2 跟蹤穩(wěn)定性測(cè)試

在采集的視頻上進(jìn)行算法測(cè)試,可以達(dá)到25幀的運(yùn)行速度,實(shí)際效果如圖6所示。其中,圖6(a)為視頻第1幀的圖像,此時(shí)所有目標(biāo)處于待定狀態(tài),還未獲得對(duì)應(yīng)的ID;圖6(b)為視頻第3幀的圖像,此時(shí)目標(biāo)經(jīng)過3次與軌跡成功匹配,得到ID1～5的5個(gè)柑橘目標(biāo);圖6(c)是第70幀的圖像,此時(shí)經(jīng)過較多的幀數(shù)跨度,但在圖中可見第3幀中的5個(gè)目標(biāo)只有ID為5的柑橘受到較嚴(yán)重的遮擋導(dǎo)致ID切換為11;圖6(d)中第90幀之前出現(xiàn)的目標(biāo)ID都沒有改變;圖6(e)中第115幀果實(shí)數(shù)量已經(jīng)較多,跟蹤效果依舊穩(wěn)定,只有極少數(shù)果實(shí)因?yàn)楸徽趽醵鴣G失。

雖然跟蹤算法獲得了較為穩(wěn)定的跟蹤效果,但對(duì)于產(chǎn)量估算仍有一些問題沒有解決。在視頻中抽取背景有其它樹行果樹的圖像,如圖6(f)所示。此時(shí),圖像中檢測(cè)到了距離較遠(yuǎn)的柑橘樹上的果實(shí),說明在無人機(jī)經(jīng)過背景有不同樹行的柑橘樹存在的區(qū)域時(shí)會(huì)將多余的果實(shí)計(jì)入,將造成對(duì)柑橘果實(shí)的過量計(jì)數(shù)。因此,在識(shí)別柑橘果實(shí)時(shí)增加限制條件,為邊界框的生成增加閾值,即在應(yīng)用中若是目標(biāo)邊界框小于既定的閾值則不生成。經(jīng)過多次測(cè)試發(fā)現(xiàn),在閾值設(shè)定在長(zhǎng)寬都小于30像素時(shí),可以去除絕大多數(shù)背景中果實(shí)的邊界框,減少因?yàn)楸尘坝绊憥淼倪^量計(jì)數(shù)。

圖6 跟蹤效果抽幀示意圖Fig.6 Schematic diagram of tracking effect frame extraction

3.3 果實(shí)計(jì)數(shù)準(zhǔn)確率測(cè)試

在無人機(jī)拍攝時(shí),將無人機(jī)記錄到的柑橘樹的果實(shí)數(shù)量通過人工計(jì)數(shù)作為真實(shí)產(chǎn)量數(shù)據(jù)。為了進(jìn)行評(píng)估,通過比較本文系統(tǒng)預(yù)測(cè)的產(chǎn)量和人工計(jì)數(shù)的柑橘真實(shí)數(shù)量來計(jì)算精度,即

(9)

其中,GT為真實(shí)值;L1為計(jì)算誤差。

使用水平和傾斜兩種拍攝方式,通過算法獲得產(chǎn)量與人工統(tǒng)計(jì)的真實(shí)數(shù)量對(duì)比,結(jié)果如表4所示。

表4 柑橘視頻產(chǎn)量估算結(jié)果

水平拍攝時(shí),鏡頭移動(dòng)過程中對(duì)柑橘果樹的上、下部分果實(shí)都具有較高的可見性,且由于為邊界框添加了閾值條件,沒有受到背景果實(shí)的影響,僅漏檢208個(gè)果實(shí),達(dá)到88.6%的準(zhǔn)確率,如圖7(a)所示。但在實(shí)際應(yīng)用中,有時(shí)柑橘樹栽種較為密集,樹行間的距離不足以在水平拍攝時(shí)獲取完整的柑橘樹,需要在較高的地方進(jìn)行傾斜拍攝。此時(shí),由于鏡頭主要捕捉到上半部分的果實(shí),對(duì)位置較低的果實(shí)可見度不高,故漏檢291個(gè),準(zhǔn)確率84.1%,如圖7(b)所示。由此說明,使用無人機(jī)影像技術(shù)與機(jī)器視覺方法相結(jié)合對(duì)柑橘園果實(shí)的產(chǎn)量估算在兩種拍攝角度上都具有較高的準(zhǔn)確率,對(duì)柑橘采摘及物流規(guī)劃具有一定的指導(dǎo)意義。

圖7 不同視角拍攝的實(shí)際效果Fig.7 The actual effect of shooting from different perspectives

4 結(jié)論

提出了一種基于無人機(jī)影像的柑橘果園產(chǎn)量估算方法,在實(shí)地采集的柑橘果園視頻上估算水果數(shù)量,得到了較高的準(zhǔn)確率。首先,對(duì)無人機(jī)獲取的視頻進(jìn)行柑橘果實(shí)檢測(cè),通過改進(jìn)的YOLOv5算法獲得果實(shí)在每一幀圖像中的位置信息;然后,通過DeepSORT目標(biāo)跟蹤算法對(duì)相鄰幀之間的柑橘果實(shí)進(jìn)行運(yùn)動(dòng)匹配和外觀匹配,關(guān)聯(lián)不同圖像中的相同果實(shí),為每個(gè)獨(dú)立果實(shí)標(biāo)記獨(dú)立的ID,通過記錄生成的ID數(shù)量獲得對(duì)柑橘果實(shí)數(shù)量的估算。試驗(yàn)結(jié)果表明:在實(shí)際運(yùn)行中,最高獲得了88.6%的準(zhǔn)確率。