李坤 劉婧 齊赫
doi:10.15889/j.issn.1002-1302.2024.10.029
摘要:為了及時(shí)、準(zhǔn)確地識(shí)別馬鈴薯葉片病害,有效預(yù)防馬鈴薯早期病變并提高馬鈴薯的產(chǎn)量和質(zhì)量,針對(duì)傳統(tǒng)馬鈴薯病害葉片識(shí)別方法過(guò)度依賴標(biāo)注樣本和特征利用不充分的問(wèn)題,提出一種基于分層特征交叉注意力的小樣本馬鈴薯病害葉片識(shí)別方法。首先,利用VGG-16網(wǎng)絡(luò)的不同編碼塊,將支持分支和查詢分支的馬鈴薯葉片映射到深度特征空間,并按照不同塊的輸出構(gòu)造分層特征集;其次,設(shè)計(jì)一種交叉注意力網(wǎng)絡(luò),實(shí)現(xiàn)雙分支網(wǎng)絡(luò)分層特征之間的信息交互,強(qiáng)化特征的表達(dá);最后,利用掩碼平均池化獲得交互特征的全局信息,并借助無(wú)參數(shù)的度量學(xué)習(xí)指導(dǎo)未知馬鈴薯病害葉片類型的識(shí)別。通過(guò)在AI Challenger 2018開(kāi)源數(shù)據(jù)集、自建小樣本馬鈴薯數(shù)據(jù)集上進(jìn)行測(cè)試,所提出模型分別可以實(shí)現(xiàn)0.973、0.951的識(shí)別精度,優(yōu)于當(dāng)前主流的馬鈴薯病害葉片識(shí)別模型,具有較好的實(shí)際應(yīng)用價(jià)值。
關(guān)鍵詞:馬鈴薯病害葉片識(shí)別;小樣本學(xué)習(xí);分層特征;交叉注意力網(wǎng)絡(luò)
中圖分類號(hào):TP391.41? 文獻(xiàn)標(biāo)志碼:A
文章編號(hào):1002-1302(2024)10-0210-07
收稿日期:2023-07-22
基金項(xiàng)目:海南省自然科學(xué)基金(編號(hào):619QN246);浙江省博士后科研項(xiàng)目(編號(hào):ZJ2021028)。
作者簡(jiǎn)介:李? 坤(1983—),女,遼寧北票人,博士,講師,研究方向?yàn)橹悄苻r(nóng)業(yè)大數(shù)據(jù)、植物病害檢測(cè)。E-mail:likun5311@sina.com。
隨著農(nóng)業(yè)科技的不斷發(fā)展,農(nóng)作物病害的早期檢測(cè)和識(shí)別對(duì)于提高農(nóng)作物產(chǎn)量和質(zhì)量、保障糧食安全具有重要意義。馬鈴薯是全球重要的糧食作物之一,常受到各種病害的威脅,如馬鈴薯晚疫病、馬鈴薯早疫病等[1]。這些病害迅速擴(kuò)散和侵害,嚴(yán)重影響馬鈴薯的產(chǎn)量和質(zhì)量,給農(nóng)民帶來(lái)巨大的經(jīng)濟(jì)損失。
傳統(tǒng)的馬鈴薯病害識(shí)別方法主要依賴于人工檢查和經(jīng)驗(yàn)判斷,該類方法存在主觀性強(qiáng)、效率低、誤判率高等問(wèn)題[2-3]。近年來(lái),深度學(xué)習(xí)技術(shù)的興起為馬鈴薯病害識(shí)別帶來(lái)了新的機(jī)遇[4-5]。深度學(xué)習(xí)模型可以通過(guò)學(xué)習(xí)大量的馬鈴薯病害圖像數(shù)據(jù),從中自動(dòng)提取特征,并準(zhǔn)確識(shí)別不同的病害類型。代國(guó)威等提出一種基于機(jī)器學(xué)習(xí)算法的馬鈴薯早、晚疫病檢測(cè)模型,該方法借助Fast K-means算法實(shí)現(xiàn)不同天氣、不同時(shí)間段下馬鈴薯葉片病害的檢測(cè)[6]。陳從平等針對(duì)現(xiàn)有模型在復(fù)雜場(chǎng)景下識(shí)別率低的問(wèn)題,提出一種基于深度學(xué)習(xí)算法的馬鈴薯葉片病害識(shí)別方法,通過(guò)從整張圖片中分割出馬鈴薯葉片,并提取葉片在空間中的顏色、紋理等細(xì)粒度特征,依據(jù)提取的特征識(shí)別出病害葉片[7]。王林柏等針對(duì)病害區(qū)域定位精度不高的問(wèn)題,提出一種基于卷積神經(jīng)網(wǎng)絡(luò)的馬鈴薯葉片病害檢測(cè)方法,通過(guò)捕獲待識(shí)別對(duì)象的中心點(diǎn)坐標(biāo)來(lái)提升模型的定位性能,同時(shí)借助中心點(diǎn)坐標(biāo)回歸獲得目標(biāo)區(qū)域[8]。類似地,惠巧娟等基于深度學(xué)習(xí)算法提出一種葉片病害檢測(cè)方法,通過(guò)建立病害葉片在空間特征中不同層級(jí)特征的交互,強(qiáng)化特征表達(dá)的可靠性;并通過(guò)在開(kāi)源的Plant數(shù)據(jù)集上進(jìn)行測(cè)試,驗(yàn)證了設(shè)計(jì)的合理性[9]。李康順等針對(duì)人工診斷成本高的問(wèn)題,提出一種改進(jìn)YOLO的農(nóng)作物葉片病害檢測(cè)方法,借助空間和通道注意力機(jī)制,強(qiáng)化特征表達(dá)的魯棒性;還設(shè)計(jì)了一種焦點(diǎn)損失函數(shù),提升了分類的性能[10]。熊夢(mèng)園等借助遷移學(xué)習(xí)提出一種玉米葉片病害檢測(cè)方法,通過(guò)在傳統(tǒng)RseNet-50網(wǎng)絡(luò)中嵌入通道和空間注意力機(jī)制,促使模型聚焦病害區(qū)域[11]。趙越等將Faster R-CNN網(wǎng)絡(luò)應(yīng)用到馬鈴薯葉片病害的檢測(cè)任務(wù)中,通過(guò)采用數(shù)據(jù)增強(qiáng)的方式緩解模型識(shí)別性能過(guò)度依賴訓(xùn)練數(shù)據(jù)集的問(wèn)題;利用預(yù)訓(xùn)練模型作為特征提取的基線模型,有效提升了模型的泛化性能[12]。
上述馬鈴薯葉片病害檢測(cè)模型在自建或開(kāi)源數(shù)據(jù)集上均可以實(shí)現(xiàn)較為理想的檢測(cè)結(jié)果。然而,大多數(shù)模型的識(shí)別性能仍然依賴大量的訓(xùn)練數(shù)據(jù);該類數(shù)據(jù)集的標(biāo)注成本高,不利于實(shí)際應(yīng)用。最新的方法通過(guò)涂鴉、框線、關(guān)鍵點(diǎn)標(biāo)注的弱監(jiān)督方式可以緩解上述數(shù)據(jù)標(biāo)注成本高的問(wèn)題,但該類模型對(duì)于未知新類的泛化性能不佳;此外,模型的微調(diào)仍然需要一些帶標(biāo)簽的監(jiān)督信息。針對(duì)上述問(wèn)題,提出一種基于分層特征交叉注意力的小樣本馬鈴薯葉片病害識(shí)別方法,主要緩解現(xiàn)有模型特征利用不充分和模型過(guò)度依賴訓(xùn)練樣本的問(wèn)題。其主要?jiǎng)?chuàng)新點(diǎn)如下:
(1)提出一種支持分支和查詢分支的雙分支特征交互模塊,通過(guò)建立支持分支、查詢分支每層特征間的信息交互,充分挖掘跨分支特征間的關(guān)聯(lián)性。
(2)利用小樣本學(xué)習(xí)網(wǎng)絡(luò)的支持分支,指導(dǎo)查詢分支中的目標(biāo)識(shí)別,旨在提高模型對(duì)于未知新類病害的泛化性能。
(3)利用無(wú)參數(shù)的度量學(xué)習(xí),實(shí)現(xiàn)特征間的關(guān)聯(lián)性計(jì)算,這有助于減少模型參數(shù)、降低計(jì)算資源。
1? 小樣本學(xué)習(xí)任務(wù)定義
小樣本學(xué)習(xí)網(wǎng)絡(luò)旨在利用有限的支持圖片和對(duì)應(yīng)的真實(shí)標(biāo)簽,指導(dǎo)與之同類的查詢圖片中的目標(biāo)識(shí)別。例如,馬鈴薯病害葉片數(shù)據(jù)集按照類的定義劃分為Base集和Novel集,Base集用于模型的訓(xùn)練,Novel集用于模型魯棒性和泛化性的測(cè)試;此外,Base集和Novel集中的類沒(méi)有交集,即Cbase∩Cnovel=。與傳統(tǒng)深度學(xué)習(xí)方式不同的是,小樣本學(xué)習(xí)采用多示例學(xué)習(xí)模式,即Base類Cbase包含多個(gè)支持集S和查詢集Q[13]。每個(gè)S集包含1組支持圖片和對(duì)應(yīng)的標(biāo)簽,即Si=[(Ik,Lk)]Kk=1,其中Ik表示支持圖片,Lk表示對(duì)應(yīng)的真實(shí)標(biāo)注。類似地,查詢集可表示為Qj=[(Iq,Lq)],并且Lq僅用于訓(xùn)練階段。
2? 馬鈴薯葉片病害識(shí)別方法
所提出模型包括特征提取、雙分支特征交互、無(wú)參數(shù)度量3個(gè)模塊,模型結(jié)構(gòu)如圖1所示。首先,在特征提取階段采用ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練的VGG-16作為主干網(wǎng)絡(luò),將雙分支網(wǎng)絡(luò)輸入的馬鈴薯病害葉片圖像映射到深度特征空間,構(gòu)造支持分支特征集和查詢分支特征集。然后,利用支持圖片的真實(shí)標(biāo)注,將支持特征集劃分為前景特征集、背景特征集,并建立前景特征集、查詢特征集中每層特征間的信息交互,強(qiáng)化特征間和特征內(nèi)的信息表達(dá)能力。最后,采用無(wú)參數(shù)的度量學(xué)習(xí),計(jì)算交互特征集和查詢特征間的相似度,依據(jù)相似度分?jǐn)?shù)指導(dǎo)查詢圖片中的目標(biāo)識(shí)別。
2.1? 特征提取
VGG-16網(wǎng)絡(luò)在圖像分類、目標(biāo)檢測(cè)、語(yǔ)義分割任務(wù)中得到了廣泛應(yīng)用。此處以VGG-16為主干網(wǎng)路為例,闡述馬鈴薯葉片病害圖片分層特征提取與交互的詳細(xì)流程[14]。VGG-16網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。
VGG-16是一種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò),由13層是卷積層、5層池化層和3層全連接層組成,并將池化層的輸出作為視覺(jué)編碼特征。在特征提取方面,VGG-16網(wǎng)絡(luò)可以分為低層特征、中間層特征、高層特征。低層特征可以捕獲圖像的底層結(jié)構(gòu)和紋理特征,如邊緣、角點(diǎn)等;中間層特征在空間上相對(duì)較大,包含更豐富的語(yǔ)義信息,能夠表示圖像中的部分目標(biāo)或局部結(jié)構(gòu);高層特征雖然可以捕獲物體的形狀、部件的組合等抽象和語(yǔ)義豐富的特征,但由于下采樣操作,極易造成信息的丟失[15-16]。為此,本研究利用一組共享權(quán)重的VGG-16作為主干網(wǎng)絡(luò),提取支持圖片和查詢圖片在低層、中間層、高層空間中的特征表達(dá)。每層特征表示如公式(1)所示。
Fl=avg_pool[conv1→x(I)]
Fm=avg_pool[conv1→y(I)],x Fh=avg_pool[conv1→z(I)]。(1) 式中:Fl表示低層特征圖,F(xiàn)m表示中間層特征圖,F(xiàn)h表示高層特征圖;avg_pool(·)表示平均池化操作,conv(·)表示卷積操作,x、y、z分別表示低層、中間層、高層特征圖輸出層對(duì)應(yīng)的層數(shù)。 此外,為了直觀展示不同層特征對(duì)病害區(qū)域的聚焦程度,分別將低層、中間層、高層特征聚焦區(qū)域可視化,可視化效果如圖3所示。可以看出,低層特征更聚焦紋理信息,中間層更關(guān)注局部結(jié)構(gòu),高層更關(guān)注目標(biāo)區(qū)域。 2.2? 雙分支特征交互 支持分支和查詢分支雖然共享相同的語(yǔ)義類,但由于相同類地處位置不同,以及不同視角和背景因素的影響,導(dǎo)致相同類之間存在很大差異。為此,本研究在支持分支、查詢分支映射特征圖中建立不同層之間的特征交互,促進(jìn)不同層特征間的信息傳遞和融合,旨在提高模型對(duì)雙分支圖片共有語(yǔ)義信息的捕獲能力;其次,雙分支不同層間的深度融合也有助于緩解跨域數(shù)據(jù)集中空間語(yǔ)義信息分布離散的問(wèn)題。本研究設(shè)計(jì)的分層特征交互模塊流程如圖4所示。 圖4中,低層Fl、中間層Fm、高層特征Fh分別表示融合支持分支和查詢分支后的特征,此處采用交叉注意力機(jī)制實(shí)現(xiàn)跨分支間不同層的特征融合,跨分支間的特征融合計(jì)算如公式(2)所示。 Fl=softmaxFqlFsTldFql Fm=softmaxFqmFsTmdFqm Fh=softmaxFqhFsThdFqh。(2) 式中:Fql、Fqm 、 Fqh和 Fsl、 Fsm、 Fsh分別表示查詢特征和支持特征的低層、中間層、高層特征,d表示特征維度,T表示轉(zhuǎn)置。 在跨分支分層特征融合后,得到低層融合特征Fl′、中間層融合特征Fm′、高層融合特征Fh′,并采用分支間交叉注意力融合策略對(duì)低層和中間層進(jìn)行融合,得到2個(gè)通道的融合特征Flm;然后,將融合特征與高層特征進(jìn)行融合,得到最終3個(gè)通道的融合特征圖Fus。具體計(jì)算如公式(3)所示。 Flm=softmaxFl′F′TmdFl′ Fus=softmaxFlm′F′ThdFlm′。(3) 此處,F(xiàn)us集成了馬鈴薯葉片低層、中間層、高層的上下文語(yǔ)義信息,并以此作為指導(dǎo)查詢圖片中目標(biāo)識(shí)別的指導(dǎo)信息。 2.3? 無(wú)參數(shù)度量 當(dāng)前主流的小樣本學(xué)習(xí)框架中,采用卷積運(yùn)算作為融合指導(dǎo)信息和查詢圖片特征的度量方法[17-18]。然而,該類有參數(shù)學(xué)習(xí)的方法參數(shù)量大,難以滿足實(shí)際場(chǎng)景中對(duì)于實(shí)時(shí)識(shí)別的高要求。為此,本研究采用無(wú)參數(shù)的度量方法計(jì)算指導(dǎo)信息和查詢圖片中每一位置特征間的相似度。具體計(jì)算如公式(4)所示。 Cs=Fq·Fus|Fq||Fus|。(4) 式中:Cs表示查詢特征和指導(dǎo)信息間的余弦相似度值;Fq表示查詢特征;|·|表示向量的模。 馬鈴薯葉片病害區(qū)域較小,并且病害區(qū)域并非單一連續(xù)區(qū)域。為此,本研究通過(guò)逐像素對(duì)查詢特征圖和指導(dǎo)信息做相似度計(jì)算,并根據(jù)每一位置處的最大相似度值,指導(dǎo)查詢圖片中每一位置處的像素進(jìn)行分類。具體計(jì)算如公式(5)所示。 ms=argmax[Cs(x,y)s→q]。(5) 式中:ms表示最大相似度值;argmax(·)表示最大相似度函數(shù),用于計(jì)算每一位置處的查詢特征與指導(dǎo)信息特征集間的最大相似度值[19];Cs(x,y)s→q表示當(dāng)前位置(x,y)處查詢特征與指導(dǎo)信息間的相似度。 最后,為了實(shí)現(xiàn)模型和指導(dǎo)信息集的優(yōu)化,采用交叉熵?fù)p失函數(shù)[20],具體計(jì)算如公式(6)所示。 ls=-∑Lilg(pi)。(6) 式中:ls表示交叉熵?fù)p失函數(shù);Li表示真實(shí)標(biāo)簽;pi表示預(yù)測(cè)結(jié)果;特別地,pi是所有位置處的像素分類結(jié)果的拼接。 3? 試驗(yàn) 3.1? 試驗(yàn)環(huán)境與評(píng)價(jià)指標(biāo) 試驗(yàn)環(huán)境采用Windows 10操作系統(tǒng),搭載cuDNN V8.2深度學(xué)習(xí)加速庫(kù)、NVIDIA CUDA 11.1,支持GPU加速的PyTorch深度學(xué)習(xí)框架,GPU為NVIDIA GeForce RTX 3090 24 GB,編程語(yǔ)言采用Python,編輯器采用Pycharm。初始學(xué)習(xí)率為0.001,優(yōu)化器采用Adam,迭代次數(shù)為90。模型訓(xùn)練與測(cè)試階段的精準(zhǔn)率和損失曲線如圖5所示。 為驗(yàn)證本研究方法的性能,選擇當(dāng)前目標(biāo)識(shí)別領(lǐng)域主流的評(píng)價(jià)指標(biāo):精準(zhǔn)率(Precision)、召回率(Recall)、F1分?jǐn)?shù)。計(jì)算如公式(7)至公式(9)所示。 Precision=TPTP+FP×100%;(7) Recall=TPTP+FN×100%;(8) F1分?jǐn)?shù)=2×Precision×RecallPrecision+Recall×100%。(9) 式中:TP表示被模型正確預(yù)測(cè)的病害葉片數(shù);FP表示被模型錯(cuò)誤預(yù)測(cè)的病害葉片數(shù);FN表示沒(méi)有檢測(cè)出的病害葉片數(shù)。 3.2? 試驗(yàn)數(shù)據(jù)集 模型訓(xùn)練數(shù)據(jù)集包括AI Challenger 2018開(kāi)源馬鈴薯病害葉片數(shù)據(jù)集、自建馬鈴薯病害葉片數(shù)據(jù)集。AI Challenger 2018開(kāi)源馬鈴薯病害葉片數(shù)據(jù)集包括健康、一般程度的早疫病、嚴(yán)重程度的早疫病、一般程度的晚疫病、嚴(yán)重程度的晚疫病馬鈴薯葉片等5種類型數(shù)據(jù),總共包括2 100幅圖片,并按照 7 ∶3 的比例劃分為訓(xùn)練集和測(cè)試集。自建數(shù)據(jù)集中的圖片主要來(lái)源于甘肅張掖某馬鈴薯種植基地,主要選擇馬鈴薯黑痣病、馬鈴薯輪紋病、馬鈴薯黃萎病、健康葉片4種類型,總共包括500幅圖片,同樣按照7 ∶3的比例劃分為訓(xùn)練集和測(cè)試集。2種數(shù)據(jù)集中不同類型的馬鈴薯病害葉片數(shù)據(jù)樣本分布如圖6所示。 3.3? 試驗(yàn)結(jié)果與分析 為了驗(yàn)證所設(shè)計(jì)模型的有效性,分別在開(kāi)源AI Challenger 2018馬鈴薯病害葉片數(shù)據(jù)集、自建馬鈴薯病害葉片數(shù)據(jù)集上進(jìn)行測(cè)試。 3.3.1? AI Challenger 2018馬鈴薯病害葉片數(shù)據(jù)集 為驗(yàn)證所設(shè)計(jì)模型的有效性,選擇當(dāng)前主流的馬鈴薯病害葉片檢測(cè)模型進(jìn)行對(duì)比試驗(yàn),對(duì)比模型包括MobileNet V3[18]、SPP[8]、YOLO v3[8]、YOLO v4[8]、GLCM[6]、DLNet[7]、Faster R-CNN[12]。不同模型在AI Challenger 2018開(kāi)源馬鈴薯病害葉片數(shù)據(jù)集上的識(shí)別結(jié)果見(jiàn)表1。 通過(guò)分析表1中不同模型的識(shí)別結(jié)果,可以發(fā)現(xiàn):(1)本研究方法綜合性能提升效果明顯,所設(shè)計(jì)模型獲得的精準(zhǔn)率、召回率、F1分?jǐn)?shù)分別為0.973、0.951、0.964。(2)相比于對(duì)比模型中表現(xiàn)最好的MobileNet v3,本研究方法的精準(zhǔn)率提升了0.83%;相比于所有對(duì)比模型中表現(xiàn)最好的DLNet,本研究方法的召回率提升了1.82%;相比于所有對(duì)比模型中表現(xiàn)最好的Faster R-CNN,本研究方法的F1分?jǐn)?shù)提升了1.37%。(3)所設(shè)計(jì)模型的時(shí)間開(kāi)銷為51.68 ms,相比于所有對(duì)比模型中測(cè)試開(kāi)銷最低的YOLO v3,降低了12.59 ms。究其原因,所設(shè)計(jì)模型在度量階段采用無(wú)參數(shù)的度量計(jì)算方式,有效降低了系統(tǒng)檢測(cè)時(shí)間開(kāi)銷,具有更好的實(shí)時(shí)性。(4)雖然本研究模型在單一指標(biāo)上提升效果不顯著,但綜合精準(zhǔn)率、召回率、F1分?jǐn)?shù)3個(gè)指標(biāo),綜合性能優(yōu)勢(shì)明顯,主要原因是本研究模型將支持分支和查詢分支輸入圖片的低層、中間層、高層特征進(jìn)行了融合,利用融合特征指導(dǎo)未知新類病害圖片的分割,這極大地提升了特征表達(dá)的魯棒性和可靠性。此外,本研究設(shè)計(jì)的跨分支間的特征融合方式可以緩解支持圖片、查詢圖片跨域間數(shù)據(jù)分布離散的問(wèn)題,這為實(shí)際場(chǎng)景下識(shí)別馬鈴薯病害葉片提供了一種新的思路。 3.3.2? 自建的馬鈴薯病害葉片數(shù)據(jù)集 為了進(jìn)一步驗(yàn)證所設(shè)計(jì)模型在實(shí)際場(chǎng)景中對(duì)于馬鈴薯病害葉片的識(shí)別性能,采集某農(nóng)區(qū)馬鈴薯種植基地的病害葉片,并選擇常見(jiàn)的目標(biāo)識(shí)別模型進(jìn)行對(duì)比試驗(yàn),對(duì)比模型包括YOLO v3、Faster R-CNN、MobileNet v3、GoogleNet、Inception v4。不同模型在自建的馬鈴薯病害葉片數(shù)據(jù)集上的測(cè)試結(jié)果見(jiàn)表2。 從表2可以看出,相比開(kāi)源數(shù)據(jù)集上的識(shí)別結(jié)果,真實(shí)場(chǎng)景下模型的識(shí)別性能均有所下降。然而,相比當(dāng)前主流的目標(biāo)識(shí)別模型,本研究方法仍存在一定的優(yōu)勢(shì)。本研究方法的精準(zhǔn)率為0.951,相比Faster R-CNN模型,提升了2.70%;本研究方法的召回率為0.938,相比GoogleNet模型提升了2.74%;本研究方法的F1分?jǐn)?shù)為0.946,相比MobileNet v3模型提升了1.39%。在時(shí)間開(kāi)銷方面,所設(shè)計(jì)模型相比YOLO v3降低了15.36 ms,具有更低的時(shí)間開(kāi)銷。上述測(cè)試結(jié)果進(jìn)一步驗(yàn)證了所設(shè)計(jì)模型不僅在開(kāi)源數(shù)據(jù)集上取得了可競(jìng)爭(zhēng)性的結(jié)果,在自建數(shù)據(jù)集上同樣具有競(jìng)爭(zhēng)性。究其原因,小樣本學(xué)習(xí)網(wǎng)絡(luò)建立的指導(dǎo)規(guī)則更有利于未知類的識(shí)別,并且已有成果也驗(yàn)證了小樣本學(xué)習(xí)網(wǎng)絡(luò)中建立的支持-查詢規(guī)則更有益于模型的泛化性能,這為馬鈴薯未知新類病害葉片的識(shí)別提供了可能。 圖7給出了本研究模型在2個(gè)數(shù)據(jù)集上的混淆矩陣??梢钥闯?,所提出模型在2個(gè)數(shù)據(jù)集上均可以實(shí)現(xiàn)較為理想的測(cè)試結(jié)果,并且不同類之間的誤報(bào)概率較小,這也驗(yàn)證了所設(shè)計(jì)模型可以有效捕獲到類間和類內(nèi)特征。為了進(jìn)一步直觀展示不同類特征表示的分布情況,將雙分支特征交互后的融合特征進(jìn)行可視化,特征分布如圖8所示??梢钥闯?,在2個(gè)數(shù)據(jù)集上,經(jīng)過(guò)特征交互后,類間距離增大、類內(nèi)距離減小。 3.4? 消融試驗(yàn) 為驗(yàn)證所設(shè)計(jì)模型的主要組件:多尺度特征提取和雙分支特征交互模塊對(duì)提升馬鈴薯病害葉片識(shí)別性能的作用,設(shè)計(jì)表3所示的消融試驗(yàn)。此處,以VGG-16網(wǎng)絡(luò)的高層輸出特征構(gòu)造指導(dǎo)信息,指導(dǎo)查詢圖片中的馬鈴薯病害葉片識(shí)別為基線模型??梢钥闯?,相比單一使用高層特征構(gòu)造的指導(dǎo)信息指導(dǎo)查詢圖片中馬鈴薯病害葉片的識(shí)別性能,融合多尺度特征可以顯著提高識(shí)別的性能。然而,最好的識(shí)別結(jié)果是融合支持分支和查詢分支中每一層的特征。上述結(jié)果也驗(yàn)證了本研究設(shè)計(jì)的初衷,通過(guò)挖掘支持分支、查詢分支間特征的上下文語(yǔ)義關(guān)聯(lián),來(lái)強(qiáng)化特征表達(dá)的魯棒性和泛化性。 4? 結(jié)論 提高馬鈴薯病害葉片的識(shí)別精度,降低識(shí)別時(shí)間開(kāi)銷,是當(dāng)前馬鈴薯病害葉片識(shí)別領(lǐng)域的難點(diǎn)和熱點(diǎn)。本研究提出了一種基于分層特征交叉注意力的小樣本馬鈴薯葉片病害識(shí)別方法。通過(guò)提取支持分支和查詢分支的高層、中間層、低層特征,并建立雙分支特征間的信息交互,強(qiáng)化特征表達(dá)的魯棒性和泛化性能;其次,利用無(wú)參數(shù)的度量實(shí)現(xiàn)指導(dǎo)信息與查詢特征之間的相似度計(jì)算,有效緩解模型識(shí)別開(kāi)銷大的問(wèn)題。主要結(jié)論包括: (1)提取單一分支特征的高層、中間層、低層特征,有助于強(qiáng)化馬鈴薯病害葉片特征的表達(dá)能力; (2)建立支持分支和查詢分支每一層特征間的信息交互,有助于捕獲跨域數(shù)據(jù)集中的不變特征,提升模型對(duì)于未知病害區(qū)域的泛化性能; (3)所提出模型可以在開(kāi)源AI Challenger 2018馬鈴薯病害葉片數(shù)據(jù)集上實(shí)現(xiàn)0.973的識(shí)別精準(zhǔn)率,在自建數(shù)據(jù)集上實(shí)現(xiàn)0.951的識(shí)別精準(zhǔn)率;在保持識(shí)別精度的同時(shí),有效降低了模型測(cè)試的時(shí)間開(kāi)銷。 參考文獻(xiàn): [1]Rashid J,Khan I,Ali G,et al. Multi-level deep learning model for potato leaf disease recognition[J]. Electronics,2021,10(17):2064. [2]Chen W R,Chen J D,Zeb A,et al. Mobile convolution neural network for the recognition of potato leaf disease images[J]. Multimedia Tools and Applications,2022,81(15):20797-20816. [3]Hou C J,Zhuang J J,Tang Y,et al. Recognition of early blight and late blight diseases on potato leaves based on graph cut segmentation[J]. Journal of Agriculture and Food Research,2021,5:100154. [4]Ngugi L C,Abelwahab M,Abo-Zahhad M. Recent advances in image processing techniques for automated leaf pest and disease recognition:a review[J]. Information Processing in Agriculture,2021,8(1):27-51. [5]Kashyap C K,Rashmi M,Chandan C,et al. Automated recognition of optical image based potato leaf blight diseases using deep learning[J]. Physiological and Molecular Plant Pathology,2022,117:101781. [6]代國(guó)威,胡? 林,樊景超,等. 基于GLCM特征提取和投票分類模型的馬鈴薯早、晚疫病檢測(cè)[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(8):185-192. [7]陳從平,鈕嘉煒,丁? 坤,等. 基于深度學(xué)習(xí)的馬鈴薯病害智能識(shí)別[J]. 計(jì)算機(jī)仿真,2023,40(2):214-217,222. [8]王林柏,張? 博,姚竟發(fā),等. 基于卷積神經(jīng)網(wǎng)絡(luò)馬鈴薯葉片病害識(shí)別和病斑檢測(cè)[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2021,42(11):122-129. [9]惠巧娟,孫? 婕. 基于多尺度特征度量元學(xué)習(xí)的玉米葉片病害識(shí)別模型研究[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(9):199-206. [10]李康順,楊振盛,江梓鋒,等. 基于改進(jìn)YOLOX-Nano的農(nóng)作物葉片病害檢測(cè)與識(shí)別方法[J]. 華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2023,44(4):593-603. [11]熊夢(mèng)園,詹? 煒,桂連友,等. 基于ResNet模型的玉米葉片病害檢測(cè)與識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué),2023,51(8):164-170. [12]趙? 越,趙? 輝,姜永成,等. 基于深度學(xué)習(xí)的馬鈴薯葉片病害檢測(cè)方法[J]. 中國(guó)農(nóng)機(jī)化學(xué)報(bào),2022,43(10):183-189. [13]Jiang W,Huang K,Geng J,et al. Multi-scale metric learning for few-shot learning[J]. IEEE Transactions on Circuits and Systems for Video Technology,2021,31(3):1091-1102. [14]汪? 泉,宋文龍,張怡卓,等. 基于改進(jìn)VGG16網(wǎng)絡(luò)的機(jī)載高光譜針葉樹(shù)種分類研究[J]. 森林工程,2021,37(3):79-87. [15]Elaraby N,Barakat S,Rezk A. A conditional GAN-based approach for enhancing transfer learning performance in few-shot HCR tasks[J]. Scientific Reports,2022,12:16271. [16]Pambala A K,Dutta T,Biswas S. SML:semantic meta-learning for few-shot semantic segmentation[J]. Pattern Recognition Letters,2021,147(12):93-99. [17]Wang C J,Xin C,Xu Z L. A novel deep metric learning model for imbalanced fault diagnosis and toward open-set classification[J]. Knowledge-Based Systems,2021,220:106925. [18]徐振南,王建坤,胡益嘉,等. 基于MobileNet V3的馬鈴薯病害識(shí)別[J]. 江蘇農(nóng)業(yè)科學(xué),2022,50(10):176-182. [19]孫小琳,季偉東,王? 旭. 基于余弦相似度反向策略的自然計(jì)算方法[J]. 信息與控制,2022,51(6):708-718. [20]李叔敖,解? 慶,馬艷春,等. 基于路徑聚合擴(kuò)張卷積的圖像語(yǔ)義分割方法[J]. 計(jì)算機(jī)工程與科學(xué),2021,43(4):712-720.