馬宏興 董凱兵 王英菲 魏淑花 黃文廣 茍建平

(1.北方民族大學電氣信息工程學院, 銀川 750021; 2.寧夏農(nóng)林科學院植物保護研究所, 銀川 750002;3.寧夏回族自治區(qū)草原工作站, 銀川 750002; 4.西南大學計算機與信息科學學院, 重慶 400715)

0 引言

寧夏地處我國西北農(nóng)牧交錯帶,在農(nóng)牧業(yè)發(fā)展中占據(jù)重要的地位。寧夏荒漠草原是全區(qū)分布面積最大的天然草原,約占草地總面積的一半以上。近年來,在各種自然因素及人類行為干擾下,荒漠草原出現(xiàn)諸如土壤沙化、草地生態(tài)系統(tǒng)的生產(chǎn)力下降、土壤肥力流失等一系列生態(tài)問題[1-2]。面對這些問題,快速有效識別荒漠草原植物群落主要物種,是調(diào)查草地群落結(jié)構(gòu)變化、劃分草地類型、明確草地退化和修復現(xiàn)狀,以及保護草地植物多樣性的基礎[3-4]。

在實際調(diào)查中,植物物種的識別主要按照傳統(tǒng)方法進行,既耗時又復雜。隨著計算機視覺技術(shù)的進步,在植物識別領域已有大量基于機器學習的植物識別方法,能夠快速有效識別植物種類。目前對植物識別的研究中,有支持向量機[5]、K最近鄰[6]、深度學習和膠囊網(wǎng)絡等[7]。在深度學習領域中,孫俊等[8]針對CNN訓練收斂時間長、模型參數(shù)龐大的問題,對網(wǎng)絡模型進行改進,提出一種批歸一化與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡識別模型,對14種不同植物共26類病害的平均測試識別準確率達到99.56%,參數(shù)內(nèi)存占用量為2.6 MB,推理時間為20.79 ms。GUANG等[9]提出了一種基于高效通道注意力(ECAENet)的輕量級植物物種識別算法,使用神經(jīng)架構(gòu)搜索來獲得基線網(wǎng)絡,復合系數(shù)統(tǒng)一縮放深度、寬度和分辨率的所有維度,在Swedish Leaf、Flavia Leaf數(shù)據(jù)集的準確率分別達到99.56%和99.75%。BARRADAS等[10]基于EfficientNet模型的自然環(huán)境中藥用植物物種的實時自動識別系統(tǒng),識別精度可達到78.5%。CHEN等[11]基于改進YOLO v5對橡樹病害進行識別,從橡膠樹病害數(shù)據(jù)庫中隨機抽取樣本圖像形成訓練集和測試集,改進網(wǎng)絡平均精度達到70%,相比原模型提高5.4%。項和雨等[12]通過改進的深度卷積神經(jīng)網(wǎng)絡RAN-11,以殘差注意力Attention-56模塊和Attention-92為基礎,將底層與頂層的通道特征融合,調(diào)整注意力模塊和殘差塊個數(shù)壓縮模型,對浮游植物識別準確率可達到95.67%。在膠囊網(wǎng)絡識別中,溫長吉等[13]提出一種改進稠密膠囊網(wǎng)絡模型,對32像素×32像素的植物圖像,平均識別準確率達到77.2%,參數(shù)量僅為1.8×106。

上述算法中,支持向量機針對高維度數(shù)據(jù)計算復雜;K近鄰需要大量數(shù)據(jù)集支撐訓練,而且占用內(nèi)存大; EfficientNet模型體積較大,推理速度慢; YOLO v5對于復雜植物圖像識別精度較低;膠囊網(wǎng)絡適合低分辨率圖像,對分辨率較高圖像不友好。

本文基于YOLO v5s網(wǎng)絡,以寧夏荒漠草原植物為研究對象,擬對復雜背景下輕量級植物目標識別模型進行研究。在模型中擬引入BoTNet[14]和坐標注意力機制CA[15]來有效提升對植物特征的提取能力;引入深度可分離卷積DSC來減小模型體積[16],加快模型推理速度,實現(xiàn)模型的輕量化;引入回歸損失函數(shù)SIoU來加快數(shù)據(jù)擬合[17];同時,對改進后的輕量化識別模型應用進行研究,以期應用于寧夏荒漠草原植物移動端識別和定點觀測。

1 植物數(shù)據(jù)集

采集寧夏荒漠草原17類常見植物,對植物數(shù)據(jù)集進行清洗和增強處理,如圖1所示。

圖1 植物部分圖像數(shù)據(jù)Fig.1 Images of plants

1.1 植物數(shù)據(jù)

主要采集寧夏鹽池縣麻黃山、大水坑,同心縣羅山等地區(qū)17類常見植物,分別為青海苜蓿(Medicagoarchiducis-nicolaii)、長芒草(Stipabungeana)、甘草(Glycyrrhizauralensis)、豬毛菜(Salsolacollina)、興安胡枝子(Lespedezadavurica)、二色補血草(Limoniumbicolor)、蒲公英(Taraxacummongolicum)、草木犀狀黃芪(Astragalusmelilotoides)、平車前(Plantagodepressa)、小車前(Plantagominuta)、反枝莧(Amaranthusblitum)、乳苣(Lactucatatarica)、刺齒枝子花(Dracocephalumperegrinum)、披針葉黃華(Thermopsislanceolata)、地梢瓜(Cynanchumthesioides)、二裂委陵菜(Potentillabifurca)、圓葉錦葵(Malvapusilla)。

由于寧夏屬溫帶大陸性干旱、半干旱氣候,降水偏少且相對集中,光能豐富,蒸發(fā)強烈,植被覆蓋以沙生植物為主,大部分植物葉片窄小。當對葉片進行采集時,難以獲取有效信息,因此,植物數(shù)據(jù)集采用整株植物。由于荒漠草原植物在自然環(huán)境中與背景相似、特征不明顯,不利于識別與分析,為豐富植物數(shù)據(jù)多樣性,提高識別模型泛化能力,數(shù)據(jù)采集時選取不同角度、不同光照環(huán)境下的自然圖像數(shù)據(jù),分辨率為3 000像素×4 000像素。

采集得到寧夏荒漠草原常見植物圖像數(shù)據(jù)共17類,1 953幅,7.2 GB。對部分拍攝模糊、枝葉遮擋等特征不明顯的植物圖像進行數(shù)據(jù)清洗后,得到植物圖像數(shù)據(jù)共17類,1 892幅,其中青海苜蓿94幅、長芒草101幅、甘草66幅、豬毛菜103幅、興安胡枝子88幅、二色補血草120幅、蒲公英156幅、草木犀狀黃芪142幅、平車前136幅、小車前107幅、反枝莧101幅、乳苣132幅、刺齒枝子花132幅、披針葉黃華117幅、地梢瓜108幅、二裂委陵菜92幅、圓葉錦葵97幅,7.0 GB。

1.2 數(shù)據(jù)增強

采用馬賽克數(shù)據(jù)增強和傳統(tǒng)圖像增強相結(jié)合的方法,擴展寧夏荒漠草原植物圖像樣本的豐富度,提高模型的泛化能力和魯棒性。在此選擇4幅圖像進行馬賽克增強,馬賽克增強實驗結(jié)果如圖2所示。

圖2 數(shù)據(jù)增強Fig.2 Data augmentation

1.3 數(shù)據(jù)標注

為了提高目標檢測模型輸出的準確性,使得網(wǎng)絡模型能夠?qū)W習到植物的特征與位置信息,需要對圖像中的植物進行標注。標注時使用LabelImg工具制作VOC格式數(shù)據(jù)集,文件中包含植物名稱和位置信息。圖像和標注文件均用于模型訓練和驗證。

2 輕量化植物識別模型設計

由于YOLO v5s對復雜目標識別精度低,參數(shù)量較大,所以在實際應用中需要對網(wǎng)絡模型進行改進,提升識別精度的同時,降低模型的參數(shù)量,加快模型推理速度。

2.1 網(wǎng)絡模型結(jié)構(gòu)設計

改進的網(wǎng)絡模型命名為YOLO v5s-CBD,模型結(jié)構(gòu)如圖3所示。

圖3 YOLO v5s-CBD結(jié)構(gòu)Fig.3 YOLO v5s-CBD structure

圖3中,YOLO v5s-CBD分為3部分,其中Backbone對輸入植物圖像進行特征提取,Neck對獲取的特征圖進行特征融合,Head 進行回歸預測。

YOLO v5s-CBD首先在特征提取網(wǎng)絡Backbone中引入帶有Transformer[18]模塊的輕量級主干網(wǎng)絡BoTNet,擴大模型的全局感受野;同時融入輕量級坐標注意力機制CA來有效捕獲位置和通道的關(guān)系,提高模型對關(guān)鍵信息的特征提取能力;其次在輸出端Head引入SIoU函數(shù)計算回歸損失,提升模型的收斂能力;最后使用深度可分離卷積DSC減小模型的體積,實現(xiàn)改進模型的輕量化,提升模型識別速度。

2.2 BoTNet網(wǎng)絡

由于高分辨率植物圖像中部分圖像背景復雜,特征不明顯,而YOLO v5s主干特征提取網(wǎng)絡為C3網(wǎng)絡,只具有平移不變性和局部性,不具有全局建模和長距離建模能力,為了提高模型的特征提取能力,在此引入BoTNet。

BoTNet是一種結(jié)合CNN和Transformer的骨干網(wǎng)絡,同時使用了卷積和自注意力機制,其模型結(jié)構(gòu)是在ResNet[19]的最后3個bottleneck blocks中使用全局多頭自注意力(Multi-head self-attention, MHSA)替換3×3空間卷積。全局多頭自注意力是Transformer的核心結(jié)構(gòu),可以匯總和處理特征圖中包含的目標信息,提高目標的識別能力。全局多頭自注意力的結(jié)構(gòu)如圖4所示。

圖4 MHSA的結(jié)構(gòu)圖Fig.4 Structural diagrams of MHSA

圖4a為單頭自注意力機制(Self-attention),計算公式為

(1)

式中V、K、Q——由輸入矩陣通過線性變換得到的矩陣,維度與輸入矩陣相同

QKT——經(jīng)過矩陣乘法所得的矩陣,計算Q和K的相似度

Softmax——歸一化函數(shù),與V進行映射,獲得通道的相關(guān)性

圖4b為全局多頭自注意力,首先將數(shù)據(jù)輸入4個Self-attention,得到4個加權(quán)后的特征矩陣,然后將4個特征矩陣按列拼接成大矩陣,經(jīng)過一層全連接得到最終的輸出。

在YOLO v5s中引入BoTNet,可以將卷積和自注意力機制相結(jié)合,彌補卷積信息丟失問題。BoTNet可以利用卷積有效地從高分辨率圖像中學習抽象的低分辨率特征圖,同時也使用自注意力機制來處理和聚合卷積捕獲的特征圖中包含的信息,擴展了模型專注于不同位置的能力,而且相比3×3的矩陣,BoTNet使用1×1的矩陣減小了模型參數(shù)量,有效提升目標識別性能的同時,兼顧模型的輕量化。

2.3 坐標注意力機制

注意力機制作為提高神經(jīng)網(wǎng)絡特征提取能力的一種有效方法,在自然語言處理、統(tǒng)計學習、語音和計算機視覺等領域有大量的應用[20]。

常見的注意力機制是通過加深網(wǎng)絡的深度來提高模型的性能,但單純加深網(wǎng)絡深度會增加模型的計算量,一般輕量級網(wǎng)絡所能承受的計算量有限,故常規(guī)的注意力機制在植物識別的輕量級網(wǎng)絡中應用會受到影響。

由于采集的植物圖像分辨率為3 000像素×4 000像素,背景信息占比較高,在深度卷積神經(jīng)網(wǎng)絡中,背景信息卷積迭代會積累大量冗余的無效信息,導致目標信息淹沒,識別的準確率降低。為提高改進模型YOLO v5s-CBD對荒漠草原植物關(guān)鍵信息的特征提取能力,解決無效冗余信息會降低植物識別準確率問題,在此采用輕量級坐標注意力機制(Coordinate attention,CA)。

CA能充分利用通道注意力信息和空間注意力信息,有效提升網(wǎng)絡模型的識別性能,結(jié)構(gòu)如圖5所示,其中C表示通道數(shù),W表示寬度,H表示高度,r表示維度[21]。

圖5 坐標注意力Fig.5 Coordinate attention

圖5中,CA首先利用2個一維全局池化操作分別將水平方向和垂直方向的輸入特征聚合為2個不相關(guān)的方向感知特征圖;接著2個嵌入垂直和水平方向信息的感知特征圖分別被編碼為2個注意力圖,每個注意力圖都捕獲了輸入特征圖沿著一個空間方向的長程依賴,意味著位置信息被保存在生成的注意力圖中;最后2個注意力圖被乘到輸入特征圖上來增強特征圖的表示能力。

在改進模型YOLO v5s-CBD中,CA可以融入到主干網(wǎng)絡C3模塊之后或者頸部融合網(wǎng)絡C3模塊之后。但在實際實驗中,融入到主干網(wǎng)絡C3模塊之后性能更好,在提升識別精度的同時,每秒浮點運算次數(shù)(FLOPS)僅僅增加1×108,幾乎可以忽略不計。

2.4 SIoU

YOLO v5s采用CIoU損失函數(shù)[22],這種傳統(tǒng)的目標檢測損失函數(shù)依賴于邊界框回歸指標的聚合,沒有考慮到所需真實框與預測框之間方向不匹配,導致收斂速度較慢,效率較低。為解決這一問題,改進模型中引入損失函數(shù)SIoU,不僅考慮重疊區(qū)域、距離和長寬,還考慮預測框和真實框之間的角度問題。

總損失函數(shù)為

L=WboxLbox+WcksLcls

(2)

(3)

式中IoU——傳統(tǒng)回歸損失

Δ——距離損失

Ω——形狀損失

Wbox——框損失模型體積

Lbox——回歸損失

Wcks——分類損失模型體積

Lcls——焦點損失

在改進模型引入了真實框與預測框之間的角度計算,可加速網(wǎng)絡的收斂。

2.5 深度可分離卷積

模型壓縮和加速不僅僅可以提升移動端模型性能,在服務端也可以加快推理響應速度,并減少服務器資源消耗,降低成本。

因此,為了進一步壓縮網(wǎng)絡參數(shù),降低模型參數(shù)量,提升模型推理速度,減小資源的消耗。在改進模型YOLO v5s-CBD中引入輕量級卷積塊深度可分離卷積來減小模型的參數(shù)量,在改進模型中原始卷積全部改進為深度可分離卷積。深度可分離卷積實現(xiàn)過程如圖6所示。

圖6 深度可分離卷積Fig.6 Depthwise separable convolution

由圖6可知,深度可分離卷積分為逐通道卷積和逐點卷積2個過程,逐通道卷積是對輸入的每個通道分別進行卷積運算,可在減少參數(shù)量的同時,保證模型的特征提取能力不變。但是這種卷積缺乏通道間的信息交流,而逐點卷積能夠?qū)W習不同通道間在相同空間位置上的特征信息,重新組合生成新的特征圖,從而增加了特征的學習利用率。

若常規(guī)卷積和深度可分離卷積輸入相同,在得到4張Feature map的情況下,深度可分離卷積的參數(shù)個數(shù)是常規(guī)卷積的約1/3。因此,選擇深度可分離卷積可以有效降低模型體積,提升模型推理速度。

3 改進模型識別結(jié)果與分析

3.1 實驗環(huán)境

所有模型在服務器上完成訓練,服務器配置為CPU:Intel(R) Xeon(R) Gold 6330,GPU:RTXA5000。模型訓練環(huán)境為PyTorch 1.11.0,Python 3.8(Ubuntu 20.04),Cuda 11.3。訓練參數(shù)為200輪次,Batch-size(批處理)為16,圖像輸入分辨率為640像素×640像素,其他使用原始默認參數(shù)?？傊参飻?shù)據(jù)圖像1 892幅,按7∶2∶1比例隨機劃分數(shù)據(jù)集,其中訓練集1 322幅,驗證集380幅,測試集190幅。

3.2 識別結(jié)果

采用改進模型YOLO v5s-CBD對測試集的190幅寧夏荒漠草原植物圖像,共17類植物進行識別,部分植物識別結(jié)果如圖7所示。

圖7 草原植物圖像識別結(jié)果Fig.7 Image recognition results of grassland plant

由圖7可以看出,對多目標的植物圖像、局部遮擋植物圖像和光線變化的植物圖像進行測試時,改進模型YOLO v5s-CBD可以準確予以識別。

3.3 植物數(shù)據(jù)集測試結(jié)果

為深入測試改進模型YOLO v5s-CBD的性能,選取精確率P(Precision)、召回率R(Recall)、平均精度均值(Mean average precision,mAP)和綜合評價指標F1值作為模型的識別精度評價指標,選取模型體積和檢測時間作為模型性能的評價指標[23-24]。同時考慮實際部署原因,分別使用Nvidia GTX A5000 GPU檢測時間T1和Xeon(R)E-2136 CPU檢測時間T2進行比較。

為有效評估改進模型YOLO v5s-CBD的性能,選取目標檢測模型YOLO v3-tiny[25]、YOLO v4-tiny[26]、YOLO v5s、YOLO v7-tiny[27]、YOLO v8n與YOLO v5s-CBD進行比較,其中改進模型與其它模型mAP訓練曲線變化如圖8所示。

圖8 不同模型mAP變化曲線Fig.8 The mAP change curves of different models

在圖8中,改進模型相比YOLO v3-tiny、YOLO v4-tiny、YOLO v5s、YOLO v7-tiny,明顯看出改進模型YOLO v5s-CBD平均精度均值最優(yōu),盡管相比于YOLO v8n模型,改進模型YOLO v5s-CBD收斂速度略差,但經(jīng)過300輪次的充分訓練之后,改進模型的收斂效果更好,且平均精度均值更優(yōu)。

改進模型YOLO v5s-CBD與其它模型識別精度和性能實驗結(jié)果如表1所示。

表1 網(wǎng)絡模型識別精度和性能比較Tab.1 Network model identification accuracy and performance comparison

由表1可見,對植物識別時,YOLO v5s-CBD相比YOLO v5s,精確率提高1.1個百分點,召回率提高1.3個百分點,平均精度均值提高0.6個百分點,綜合評價指標提升,模型內(nèi)存占用量下降38%,推理速度在GPU端提升2 ms。在模型內(nèi)存占用量下降的情況下,YOLO v5s-CBD精度和性能仍然優(yōu)于YOLO v5s;與YOLO v3-tiny相比,YOLO v5s-CBD精確率提高10.3個百分點,召回率提高12.4個百分點,平均精度均值提高9.1個百分點,綜合評價指標提升,模型內(nèi)存占用量下降75%,推理速度在GPU端提升7 ms;相比于YOLO v4-tiny,YOLO v5s-CBD精確率提高5.9個百分點,召回率提高6.7個百分點,平均精度均值提高5.6個百分點,綜合評價指標提升,模型內(nèi)存占用量下降61%,推理速度在GPU端提升5 ms;相比于YOLO v7-tiny,YOLO v5s-CBD精確率提高4.9個百分點,召回率提高7.1個百分點,平均精度均值提高4.9個百分點,綜合評價指標提升,模型內(nèi)存占用量下降26%,推理速度提升;而相比于YOLO v8n,盡管YOLO v5s-CBD召回率下降0.3個百分點,模型內(nèi)存占用量增加,但是改進模型在精確率、平均精度均值、綜合評價指標和推理時間更優(yōu)。綜合來看,改進的模型YOLO v5s-CBD的性能均優(yōu)于YOLO v3-tiny、YOLO v4-tiny、YOLO v5s、YOLO v7-tiny、YOLO v8n。

為驗證模型改進的有效性,選擇測試集中兩幅背景復雜的多目標圖像,使用YOLO v5s-CBD與以上網(wǎng)絡進行測試,測試結(jié)果如圖9所示。

圖9 不同模型識別對比Fig.9 Identification and comparison between different models

由圖9可知,對于背景復雜的植物圖像,YOLO v3-tiny、YOLO v4-tiny、YOLO v5s和YOLO v7-tiny均存在漏檢現(xiàn)象,YOLO v8n雖能識別圖像中的植物類別,但定位不準確。而改進模型YOLO v5s-CBD可以有效識別植物種類和定位目標。

為進一步驗證改進模型YOLO v5s-CBD的性能,選擇精確率、平均精度均值、推理時間、模型內(nèi)存占用量,比較YOLO v7和改進模型,結(jié)果如表2所示。

表2 網(wǎng)絡模型性能Tab.2 Network model performance

由表2可知,與YOLO v7相比,YOLO v5s-CBD精確率提高2.1個百分點,mAP提高1.3個百分點,模型內(nèi)存占用量更小,由于YOLO v7設計高效聚合網(wǎng)絡和引入RepVGG結(jié)構(gòu),所以速度更快,但是YOLO v5s-CBD推理時間僅僅比YOLO v7慢1 ms, 產(chǎn)生的影響可以忽略不計,因此,相比于YOLO v7,改進模型YOLO v5s-CBD擁有更好的檢測性能。

3.4 公開數(shù)據(jù)集測試結(jié)果

為進一步客觀評估本文所提模型的性能,選取公共數(shù)據(jù)集PASCAL VOC07+12(共包含20個目標)對YOLO v5s-CBD進行測試,并與Faster R-CNN、SDD(Mobilenet)[28]、YOLO v3-tiny、YOLO v4-tiny[29]和YOLO v7-tiny進行比較,比較結(jié)果見表3。

表3 網(wǎng)絡模型VOC數(shù)據(jù)集測試性能Tab.3 Network model VOC dataset performance

由表3可知,相比于雙階段目標檢測模型Faster R-CNN,YOLO v5s-CBD模型平均精度均值

提升7.7個百分點,推理速度提升明顯。相比于SSD模型,YOLO v5s-CBD模型mAP提升5.6個百分點,模型內(nèi)存占用量降低91%,推理速度提升212.5%;相比于YOLO v3-tiny,YOLO v5s-CBD模型mAP提升6.6個百分點,盡管浮點運算次數(shù)增加,但是模型內(nèi)存占用量降低71%,推理速度提升87.5%;相比于YOLO v4-tiny,YOLO v5s-CBD模型mAP提升3.3個百分點,模型內(nèi)存占用量降低62%,推理速度提升62.5%;相比于YOLO v7-tiny,YOLO v5s-CBD模型mAP提升2.5個百分點,模型內(nèi)存占用量降低26%,推理速度提升50%。這說明本文改進模型YOLO v5s-CBD在公共數(shù)據(jù)集PASCAL VOC07+12上相比其他一些輕量級網(wǎng)絡,有著更好的檢測性能。

3.5 消融實驗

為驗證改進模型YOLO v5s-CBD的有效性,需要通過消融實驗對模型進行對比分析,在此使用精確率、召回率、綜合評價指標和平均精度均值驗證。

消融實驗驗證結(jié)果如表4所示。由表4可知,①相比YOLO v5s,模型2的精確率提高0.9個百分點,召回率提高0.5個百分點,F1值提高0.5個百分點,平均精度均值提高0.4個百分點,說明采用BoTNet網(wǎng)絡,能夠較好地提取目標特征,有效提高網(wǎng)絡對植物的檢測性能,降低模型參數(shù)量。②相比YOLO v5s,模型3的精確率提高0.2個百分點,召回率提高1.9個百分點,F1值提高1.1個百分點,mAP提高0.2個百分點,說明使用SIoU,可以提高模型的擬合,提高模型識別精度。③相比YOLO v5s,模型4的精確率提高1個百分點,召回率提高1.9個百分點,F1值提高1.5個百分點,mAP提高0.6個百分點,說明BoTNet和SIoU有效提升網(wǎng)絡模型性能。④與模型YOLO v5s相比,模型5各方面均有提升,性能達到最優(yōu),說明改進模型的有效性。⑤模型6經(jīng)過模型壓縮之后,與模型5相比,精確率下降1.3個百分點,召回率提高2.4個百分點,F1值提高0.7個百分點,而mAP僅下降0.2個百分點,因此,模型壓縮檢測精度基本沒有變化,而與YOLO v5s模型相比,模型精確率、召回率、F1值和mAP均有提升,說明本文改進YOLO v5s-CBD在壓縮模型之后,盡管模型參數(shù)量下降,但檢測性能仍然優(yōu)于原始模型。

表4 網(wǎng)絡模型消融實驗Tab.4 Network model ablation experiment

為進一步分析改進前后模型的性能,訓練200個迭代周期后,得到Y(jié)OLO v5s-CBD和YOLO v5s的位置損失值如圖10所示。

圖10 位置損失值曲線Fig.10 Curves of location loss

由圖10可知,由于改進模型YOLO v5s-CBD 引入了 BoTNet和CA注意力機制結(jié)構(gòu),收斂更快且收斂性能優(yōu)于YOLO v5s。

4 應用

為方便調(diào)查寧夏全區(qū)荒漠草原植物種類及其分布,跟蹤植物生長形態(tài),基于改進模型YOLO v5s-CBD,設計并開發(fā)了移動端植物圖像識別APP,同時將植物識別模型與定點生態(tài)信息觀測平臺結(jié)合[30-32],實現(xiàn)遠程跟蹤。

植物圖像識別APP基于uni-app框架開發(fā),使用Android Studio工具打包部署,為方便后期模型的升級,在此使用Flask前端框架將植物識別模型部署到阿里云服務器。

植物圖像識別APP識別流程如圖11所示。

圖11 植物圖像識別實現(xiàn)流程圖Fig.11 Plant image recognition implementation flowchart

APP主要實現(xiàn)功能為:①用戶可通過APP拍照或者圖庫選取植物圖像,上傳至云服務器,云服務器調(diào)用YOLO v5s-CBD對圖像進行自動識別后將結(jié)果反饋給客戶端,實測在正常4G網(wǎng)絡中只需1 s便可返回識別結(jié)果。返回結(jié)果之后,可以查詢植物的詳細信息,包括植物的草原類型、密度、氮磷鉀、植物的干濕重、分布的經(jīng)緯度等。②用戶可以通過APP上傳圖像到數(shù)據(jù)庫,擴充原始植物數(shù)據(jù)集,增加模型識別種類,方便科研工作者使用。

植物圖像識別APP各模塊的UI頁面如圖12所示。

圖12 植物圖像識別APP界面Fig.12 Plant image recognition APP interface

定點生態(tài)信息觀測平臺以樹莓派作為控制核心,可完成光照強度、降雨量、空氣溫濕度、土壤氮磷鉀主要元素等10余類生態(tài)環(huán)境數(shù)據(jù)的實時監(jiān)測和跟蹤,同時可對觀測點植物圖像數(shù)據(jù)進行實時采集和跟蹤。定點生態(tài)信息觀測平臺實物如圖13所示。

圖13 定點生態(tài)信息觀測平臺實物Fig.13 Fixed-point plant ecological information observation platform

為了對觀測點的圖像進行實時采集并查看,使用UIkit輕量級框架構(gòu)建web 界面,通過定點生態(tài)信息觀測平臺數(shù)據(jù)采集模塊的高清圖像采集設備,使用 RTMP 推流的方式,與螢石云開放平臺結(jié)合,實時獲取寧夏草原地區(qū)植物圖像,同時利用部署在阿里云服務器的 YOLO v5-CBD 模型,使用圖像采集設備的RSTP地址,可完成觀測點植物圖像的跟蹤,圖像跟蹤界面如圖14所示。在圖14中,利用YOLO v5-CBD 模型,實現(xiàn)了長芒草植物圖像的遠程實時跟蹤識別。

圖14 圖像跟蹤界面Fig.14 Image tracking interface

5 結(jié)論

(1)針對寧夏荒漠草原植物樣本不一,背景復雜,采用YOLO系列檢測算法參數(shù)量較大、識別精度不高等問題,提出了一種復雜背景下輕量化目標檢測識別模型YOLO v5s-CBD,該模型使用BoTNet和CA改進特征提取網(wǎng)絡,引入SIoU提高模型收斂能力,使用深度可分離卷積壓縮模型來進行輕量化。

(2)在對寧夏草原植物檢測識別時,改進模型YOLO v5s-CBD識別精確率P為95.1%,召回率R為92.9%,F1值為94.0%,平均精度均值(mAP)為95.7%,模型內(nèi)存占用量為8.9 MB。與YOLO v3-tiny、YOLO v4-tiny、YOLO v5s模型相比,改進模型YOLO v5s-CBD對寧夏荒漠草原常見植物具有更好的檢測性能。

(3)結(jié)合實際應用,設計并開發(fā)了移動端植物識別APP和定點植物生態(tài)信息觀測平臺,可完成寧夏荒漠草原植物圖像的移動識別和觀測點的生態(tài)信息實時檢測和長期跟蹤。