国产日韩欧美一区二区三区三州_亚洲少妇熟女av_久久久久亚洲av国产精品_波多野结衣网站一区二区_亚洲欧美色片在线91_国产亚洲精品精品国产优播av_日本一区二区三区波多野结衣 _久久国产av不卡

?

基于改進(jìn)YOLO v5的蘋果葉部病害檢測

2024-06-03 23:58:09趙興岳喜申鄔歡歡
江蘇農(nóng)業(yè)科學(xué) 2024年8期
關(guān)鍵詞:葉部直方圖病害

趙興 岳喜申 鄔歡歡

摘要:針對YOLO v5檢測模型存在的漏檢率和誤檢率問題,改進(jìn)目標(biāo)檢測技術(shù),提升蘋果葉部病害早期發(fā)現(xiàn)及定位的準(zhǔn)確性和速度,從而減少經(jīng)濟(jì)損失。先采用加權(quán)雙向特征金字塔網(wǎng)絡(luò)(BiFPN)特征融合方法,有效改善PANet對多尺度特征融合的不良影響,并引入Transformer機(jī)制,有效改進(jìn)原始網(wǎng)絡(luò)結(jié)構(gòu),使其專注于有用的信息,并增強(qiáng)特征融合效果。再使用ATCSP模塊和自上而下的特征融合方法,增強(qiáng)模型對多尺度疾病的檢測效果,并將強(qiáng)大的語義信息傳達(dá)至模型底層,進(jìn)一步提高檢測精度。使用數(shù)據(jù)集由實(shí)驗(yàn)室采集的蘋果樹葉樣本構(gòu)成,包含3 331張標(biāo)記圖像的矩形位置來標(biāo)記病害。由于圖像亮度分布不均勻,采用直方圖均衡化和改進(jìn)的直方圖均衡化處理,使圖像對比度得到增強(qiáng),大幅降低后續(xù)圖像特征提取的計(jì)算量。在訓(xùn)練和測試過程中,還對原始病害圖像進(jìn)行旋轉(zhuǎn)、隨機(jī)亮度增強(qiáng)、隨機(jī)色度增強(qiáng)、隨機(jī)對比度增強(qiáng)和銳化等數(shù)據(jù)增強(qiáng)操作。結(jié)果表明,改進(jìn)的YOLO v5檢測算法可以顯著提高蘋果葉部病害檢測的精度,對比原始算法,平均精度mAP@0.5提高20.8%。改進(jìn)YOLO v5蘋果葉部病害檢測算法能夠及時(shí)發(fā)現(xiàn)和定位蘋果葉部病害,進(jìn)而為深度學(xué)習(xí)技術(shù)在農(nóng)業(yè)病害監(jiān)測中的廣泛應(yīng)用提供技術(shù)支撐。

關(guān)鍵詞:改進(jìn)的YOLO v5;蘋果;葉部病害;BiFPN;Transformer機(jī)制;精度

中圖分類號:TP391.41;S126? 文獻(xiàn)標(biāo)志碼:A

文章編號:1002-1302(2024)08-0183-09

收稿日期:2023-05-15

基金項(xiàng)目:塔里木大學(xué)校長基金(編號:TDZKZD202104、TDZKSS202240);新疆生產(chǎn)建設(shè)兵團(tuán)財(cái)政科技計(jì)劃項(xiàng)目南疆重點(diǎn)產(chǎn)業(yè)創(chuàng)新發(fā)展支撐計(jì)劃(編號:2022DB005)。

作者簡介:趙 興(1999—),男,新疆哈密人,碩士研究生,主要從事農(nóng)業(yè)信息化、數(shù)字圖像處理研究。E-mail:1924360002@qq.com。

通信作者:鄔歡歡,碩士,教授,主要從事智慧農(nóng)業(yè)、計(jì)算機(jī)圖像處理、人工智能研究。E-mail:wuhuanhuan@taru.edu.cn。

傳統(tǒng)的蘋果病害檢測主要依靠個(gè)人經(jīng)驗(yàn)和專家診斷,主觀性和延遲性強(qiáng),難以達(dá)到快速準(zhǔn)確的檢測要求。早期的機(jī)器學(xué)習(xí)方法使用圖像預(yù)處理[1]、圖像分割[2]和特征提取技術(shù)來選擇和設(shè)計(jì)人工特征[3],然后使用特定的機(jī)器學(xué)習(xí)算法對疾病特征進(jìn)行分類[4-5]。雖然基于機(jī)器學(xué)習(xí)的方法能夠?qū)崿F(xiàn)特定植物病害識(shí)別的高檢測精度,但繁雜的特征選擇和設(shè)計(jì)工作給其推廣和應(yīng)用帶來了諸多困難。我國是世界上最大的蘋果生產(chǎn)國和消費(fèi)國,占世界蘋果種植總面積的40%以上,在世界蘋果產(chǎn)業(yè)中占有重要地位。由于氣候的影響,蘋果葉片不可避免地受到不同疾病的感染,這會(huì)顯著影響蘋果的質(zhì)量和產(chǎn)量,造成巨大的經(jīng)濟(jì)損失。因此,快速有效地發(fā)現(xiàn)和防控蘋果葉片病害是當(dāng)務(wù)之急[6-7]。檢測作物病害的傳統(tǒng)方法很大程度上依賴于專家的經(jīng)驗(yàn)。這需要大量的勞動(dòng)力和時(shí)間,準(zhǔn)確性也無法保證。近年來,隨著農(nóng)業(yè)信息化進(jìn)程的加快,基于機(jī)器學(xué)習(xí)的算法被應(yīng)用于農(nóng)業(yè)領(lǐng)域[8-10]。然而,支持向量機(jī)[11]、隨機(jī)森林[12]、決策樹[13]等機(jī)器學(xué)習(xí)算法需要專業(yè)經(jīng)驗(yàn)和手動(dòng)特征選擇,限制其在實(shí)際場景中的應(yīng)用。此外,基于機(jī)器學(xué)習(xí)的模型容易受到所選特征的影響,無法達(dá)到令人滿意的精度。隨著深度學(xué)習(xí)的發(fā)展,深度卷積神經(jīng)網(wǎng)絡(luò)被用于作物病害的監(jiān)測。基于深度卷積神經(jīng)網(wǎng)絡(luò)的作物病害檢測可自動(dòng)提取不同病害特征,實(shí)現(xiàn)高精度檢測,提高穩(wěn)定性,為蘋果葉片早期病害檢測提供高效的端到端方法[14-15]。但是,大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的模型包含很多參數(shù),計(jì)算非常復(fù)雜,訓(xùn)練過程對高性能服務(wù)器依賴性強(qiáng)[16-18]。在農(nóng)業(yè)領(lǐng)域,植物病害是對植物生長和產(chǎn)量的主要威脅因素。研究人員為了尋找更好的方法來控制這些疾病,作出了巨大的貢獻(xiàn)。傳統(tǒng)的機(jī)器學(xué)習(xí)算法最初被轉(zhuǎn)移到農(nóng)田,用以檢測植物病害。Redmon 等利用灰度共生矩陣提取特征以及利用SVM分類器進(jìn)行疾病分類的水稻葉片病害新方法,檢測性能精度為97.91%[19-21]。Ren等使用簡單線性迭代聚類(SLIC)算法得到超像素塊,使用SVM分類器對超像素塊進(jìn)行分類,結(jié)果顯示,261張患病影像的準(zhǔn)確度、精確度、召回率、F1分?jǐn)?shù)分別為98.5%、96.8%、98.6%、97.7%[22]。但機(jī)器學(xué)習(xí)算法需要復(fù)雜的圖像預(yù)處理和疾病特征提取專業(yè)知識(shí)來獲得高質(zhì)量的圖像[23],并不能保證檢測的準(zhǔn)確性。卷積神經(jīng)網(wǎng)絡(luò)近年來發(fā)展迅速,在農(nóng)業(yè)領(lǐng)域取得了良好的效果。采用Kiwi-Inception結(jié)構(gòu)和密集連接策略構(gòu)建Kiwi-ConvNet,可以增強(qiáng)多尺度特征的提取能力,保證多維度特征融合。Sethy等使用MEAN塊和Apple-Inception提出MEAN-SSD這一新的檢測模型,改進(jìn)后的MEAN-SSD檢測速度達(dá)到12.53幀/s、平均精度均值(mAP)達(dá)到83.12%[24-26]。Sun等通過引入Inception和Inception-resnet模塊,提出具有更高特征提取能力且更快的DR-IACNN模型。mAP可以達(dá)到81.1%,但速度只有15.01幀/s[27]。綜上,基于CNN的模型已廣泛應(yīng)用于作物病害的識(shí)別和檢測,并取得了良好的效果。但上述檢測模型尚不準(zhǔn)確,無法檢測令人困惑的早期蘋果葉部病害。蘋果葉部病害檢測可以被視為目標(biāo)檢測問題[28]。深度學(xué)習(xí)模型具有較強(qiáng)的特征表現(xiàn)能力,但深度學(xué)習(xí)方法在目標(biāo)檢測問題上比具有人工設(shè)置特征的檢測器更具有顯著優(yōu)勢[29]。在執(zhí)行目標(biāo)檢測時(shí),這些深度學(xué)習(xí)方法要完成檢測幀的定位和分類2項(xiàng)任務(wù)?;谏疃葘W(xué)習(xí)的目標(biāo)檢測方法主要分為兩級目標(biāo)檢測算法和一級目標(biāo)檢測算法[30-31]。兩級目標(biāo)檢測算法分2個(gè)階段實(shí)現(xiàn)目標(biāo)檢測:先從輸入網(wǎng)絡(luò)的圖像中提取建議區(qū)域,再對每個(gè)建議區(qū)域進(jìn)行分類和位置回歸,最后實(shí)現(xiàn)目標(biāo)檢測。單階段目標(biāo)檢測算法直接生成對象的類概率和位置坐標(biāo)值,而不需要區(qū)域建議階段。算法的典型代表是YOLO、SSD、YOLO v2、YOLO v3、RetinaNet、YOLO v4和YOLO v5。現(xiàn)有的蘋果葉部病害檢測算法存在病害識(shí)別效率和識(shí)別精度“雙低”等問題。因此,本研究提出一種改進(jìn)的YOLO v5檢測算法。本研究針對形狀不規(guī)則和小目標(biāo)的蘋果葉部病害問題,提出一種基于改進(jìn)YOLO v5模型的病害目標(biāo)檢測算法。并采用ATCSP模塊來改進(jìn)PANet的結(jié)構(gòu),引入BiFPN的思想,通過學(xué)習(xí)得到權(quán)重參數(shù)來融合不同層的特征映射。它可以過濾其他級別的特征,并將有用的信息保持在該級別,以提高對微小病害的檢測精度?;赥ransformer機(jī)制設(shè)計(jì)自注意力模塊,其可以增加有用特征的權(quán)重,抑制無效特征的權(quán)重,從而提高目標(biāo)檢測的精度。

1 相關(guān)工作

YOLO v5是基于原始的YOLO目標(biāo)檢測架構(gòu)設(shè)計(jì),并使用近年來卷積神經(jīng)網(wǎng)絡(luò)領(lǐng)域的最佳優(yōu)化策略,由Glenn Jocher在2020年提出。YOLO v5骨干網(wǎng)絡(luò)結(jié)合Focus結(jié)構(gòu)和CSP結(jié)構(gòu),提取輸入樣本中的主要信息。Yolov5使用PANet[32]結(jié)構(gòu)來融合特征層,并在特征層的3個(gè)不同尺度上實(shí)現(xiàn)預(yù)測。YOLO v5體系結(jié)構(gòu)包含4種體系結(jié)構(gòu),它們之間的主要區(qū)別為在網(wǎng)絡(luò)特定位置上的特征提取模塊和卷積核的數(shù)量有所不同。因此,本研究全面考慮識(shí)別模型的準(zhǔn)確性、效率和規(guī)模,并基于YOLO v5體系結(jié)構(gòu)進(jìn)行蘋果葉部對象識(shí)別網(wǎng)絡(luò)的改進(jìn)設(shè)計(jì)。原始YOLO v5的網(wǎng)絡(luò)結(jié)構(gòu)見圖1。

YOLO v5使用PANet結(jié)構(gòu)來融合和輸出多尺度的特征圖。PANet是一種基于特征金字塔(FPN)的自下而上的增強(qiáng)結(jié)構(gòu),這是一種雙向融合,而不是原來的單一融合。由圖2可知,PANet由自頂向下的融合路徑和自底向上的融合路徑組成自上而下的融合。它通過2倍上采樣對最近的特征圖X進(jìn)行調(diào)整,并在調(diào)整通道后通過1×1卷積將其添加到預(yù)層的特征圖Y中。自下而上的融合是自上而下融合的相反過程,即上采樣被下采樣所取代。

2 改進(jìn)的網(wǎng)絡(luò)結(jié)構(gòu)

2.1 BiFPN頭部特征融合網(wǎng)絡(luò)

根據(jù)Sharma 等的研究結(jié)果[33],在頭部網(wǎng)絡(luò)的特征融合結(jié)構(gòu)中,與FPN和PAN等其他特征融合結(jié)構(gòu)相比,雙向特征金字塔網(wǎng)絡(luò)結(jié)構(gòu)(BiFPN)可以實(shí)現(xiàn)更高效的雙向跨尺度連接和加權(quán)特征融合。YOLO v3采用的FPN特征融合結(jié)構(gòu)本質(zhì)上受到單向信息流的限制。該結(jié)構(gòu)從上到下傳輸特征信息,并通過上采樣和低級別特征融合高級別特征,以獲得用于預(yù)測的特征圖(圖3-a)?;贔PN特征融合結(jié)構(gòu),YOLO v4和YOLO v5采用的PAN特征融合結(jié)構(gòu)增加了1個(gè)額外的自下而上的路徑聚合網(wǎng)絡(luò)(圖3-b),它將淺層定位信息傳輸?shù)缴顚樱⒃诙鄠€(gè)尺度上增強(qiáng)定位能力。Sharma 等提出的BiFPN特征融合結(jié)構(gòu)將雙向(自下而上和自上而下)路徑視為特征網(wǎng)絡(luò)層,并多次重復(fù)同一層以實(shí)現(xiàn)更高級別的特征融合[33](圖3-d)。

Tan 等在此結(jié)構(gòu)的基礎(chǔ)上提出名為EfficientDet的目標(biāo)檢測算法[34],和同時(shí)期的其他目標(biāo)檢測算法如YOLO v3、MaskRCNN、NAS-FPN等相比,在準(zhǔn)確率、檢測速度和運(yùn)算量上EfficientDet均具有明顯優(yōu)勢,詳細(xì)的試驗(yàn)數(shù)據(jù)對比圖見圖4。

EfficientDet與其他算法的性能對比圖顯示,雖然隨著YOLO算法的發(fā)展,EfficientDet算法的性能已經(jīng)比不上YOLO v4和YOLO v5,但是它提出的BiFPN特征融合結(jié)構(gòu)卻值得參考和借鑒,所以本研究將BiFPN特征融合結(jié)構(gòu)引入YOLO v5算法,改進(jìn)后的YOLO v5模型網(wǎng)絡(luò)結(jié)構(gòu)見圖5。

由頭部網(wǎng)絡(luò)改進(jìn)為BiFPN結(jié)構(gòu)的YOLO v5網(wǎng)絡(luò)結(jié)構(gòu)可知,本研究對骨干層的網(wǎng)絡(luò)進(jìn)行保留,以輸入640像素×640像素的圖片為例,經(jīng)過骨干網(wǎng)絡(luò)后輸出為1 024個(gè)尺寸為4×4的特征圖。在10層采用1×1的卷積核進(jìn)行步長為1的卷積操作,得到512個(gè)尺寸為4×4的特征圖。在11層通過上采樣操作得到尺寸為8×8的特征圖,將在12層與6層得到的512個(gè)尺寸特征圖進(jìn)行拼接,得到1 024個(gè)尺寸為8×8的特征圖。在6層通過ATCSP層,采

用3倍層疊,通過多次卷積等操作輸出512個(gè)尺寸為 8×8 的特征圖,CSP層的內(nèi)部結(jié)構(gòu)如圖6所示。

在14~17層采用與10~13層一樣的網(wǎng)絡(luò)結(jié)構(gòu),由14層輸入的1 024個(gè)尺寸為8×8的特征圖得到17層輸出的256個(gè)尺寸為16×16的特征圖。在18層采用3×3的卷積核進(jìn)行步長為2的卷積操作,得到256個(gè)尺寸為8×8的特征圖。在19層結(jié)合BiFPN特征融合模式的思想,采用雙向跨尺度連接,對特征圖尺寸同為8×8的19、14、6層進(jìn)行多尺度特征融合,得到1 024個(gè)尺寸為8×8的特征圖。在20層通過CSP層,采用3倍層疊, 通過多次卷積

等操作輸出512個(gè)尺寸為8×8的特征圖。同理,在21~23層采用與18~20層一樣的網(wǎng)絡(luò)結(jié)構(gòu),其中在22層采用雙向跨尺度連接,對特征圖尺寸同為 4×4的22、10、9層進(jìn)行多尺度特征融合,得到 2 048 個(gè)尺寸為4×4的特征圖。最終在23層輸出 1 024 個(gè)尺寸為4×4的特征圖,檢測層也保持與原有YOLO v5一致的結(jié)構(gòu)。改進(jìn)后的模型用于蘋果葉部初次檢測,由于該模型保留了原始YOLO v5模型的骨干網(wǎng)絡(luò),便于對成熟的蘋果葉部檢測的YOLO v5模型進(jìn)行遷移學(xué)習(xí)。通過將BiFPN特征融合結(jié)構(gòu)引入YOLO v5算法,在訓(xùn)練蘋果葉部檢測數(shù)據(jù)時(shí)提升召回率,同時(shí)可以有效地提升平均精度。

2.2 自注意力機(jī)制

Transformer機(jī)制最初是由Vaswani 等提出的[35],用于機(jī)器翻譯,并在許多NLP任務(wù)中建立最先進(jìn)的技術(shù)。為了使Transformer也適用于計(jì)算機(jī)視覺任務(wù),已經(jīng)進(jìn)行了一些修改。只在每個(gè)查詢像素的局部鄰域中應(yīng)用自注意,而不是全局應(yīng)用。本研究提出稀疏Transformer,它采用可擴(kuò)展的近似來實(shí)現(xiàn)全局自注意。最近,視覺變壓器(ViT)通過直接將具有全局自關(guān)注的Transformer直接應(yīng)用于全尺寸圖像,實(shí)現(xiàn)了最先進(jìn)的圖像網(wǎng)分類技術(shù)。本研究采用Transformer的核心思想,利用注意機(jī)制設(shè)計(jì)Transformer層模塊,其結(jié)構(gòu)如圖7所示。Transformer層包含多頭注意結(jié)構(gòu),多頭注意力模塊結(jié)構(gòu)如圖8所示。

多頭自注意力模塊是設(shè)計(jì)特征融合網(wǎng)絡(luò)的基本組成部分。計(jì)算公式為

Attention(Q,K,V)=softmaxQKTdkV。(1)

式中:Q表示查詢向量;K表示鍵向量;V表示值向量。

將注意機(jī)制擴(kuò)展到多個(gè)頭部,使該機(jī)制能夠考慮不同的注意分布,并使模型關(guān)注信息的不同方面。多頭注意機(jī)制見公式(2)。

MuitiHead(Q,K,V)=Concat(H1,…,Hi)W;(2)

Hi=Attention(QWQi,KWKi,VWIVi)。(3)

式中:Hi表示第i個(gè)頭的輸出;W是輸出變換矩陣;WQi、WKi、WVi均表示第i個(gè)頭的查詢、鍵、值變換矩陣。

不同蘋果葉片病害感染的區(qū)域大小不一,同一病害的病斑大小仍然不固定。對于銹病和鏈格孢菌斑病而言,具有小斑點(diǎn)簇疾病的銹病病斑通常是油性橙色并從葉表面突出。相比之下,病斑鏈格孢菌斑點(diǎn)是棕褐色的,在病斑處枯萎;疾病斑點(diǎn)是灰色的,且在疾病斑點(diǎn)內(nèi)部具有網(wǎng)格形狀。就蚜蟲而言,蚜蟲連續(xù)成簇分布并集中在嫩葉上。對于蜘蛛螨而言,疾病斑點(diǎn)也是方格的,但呈淺黃色,感染區(qū)域較大。對于感染整張葉片的病害,花葉感染的葉片上覆蓋著亮黃色的斑點(diǎn),褐斑病感染的葉片是黃色的,白粉病感染的葉片上覆蓋著1層白色粉末,葉子變得卷曲,這給特征提取帶來了困難。

雖然BiFPN可以提取早期蘋果葉病的主要特征,但由于卷積核大小相同,該模型無法提取多尺度斑點(diǎn)的特征。此外,詳細(xì)特征沒有與抽象特征融合,因此網(wǎng)絡(luò)無法充分結(jié)合淺層位置信息和深層語義信息并加以利用。因此,有必要融合攜帶不同信息的特征圖。

在特征金字塔部分使用ATCSP模塊,通過并行化多個(gè)不同核大小的最大池化層,增強(qiáng)模型對多尺度疾病的檢測效果。BiFPN結(jié)構(gòu)使用自上而下的特征融合方法,從上到下傳達(dá)強(qiáng)大的語義信息。相比之下,PANet使用自下而上的特征融合方法,從下到上傳達(dá)強(qiáng)大的定位信息。因此,BiFPN中的上采樣特征圖與骨干網(wǎng)絡(luò)中的淺層特征圖融合,PANet中的下采樣特征圖與FPN中的特征圖輸出融合。

3 結(jié)果與分析

3.1 蘋果葉部病害數(shù)據(jù)集

本試驗(yàn)于2022年9月至2023年5月在塔里木大學(xué)園藝試驗(yàn)站進(jìn)行,所使用的數(shù)據(jù)集由筆者所在實(shí)驗(yàn)室采集的蘋果樹葉片樣本構(gòu)成,包含3 331張標(biāo)記圖像的矩形位置來標(biāo)記病害。其中,數(shù)據(jù)集中調(diào)整為512 像素×512像素用于訓(xùn)練目的。通過LabelImg圖像處理工具,將蘋果病害圖像中病變的位置信息和類別信息寫入相應(yīng)的xml文件中。之后,數(shù)據(jù)按訓(xùn)練集 ∶測試集=7 ∶3的比例隨機(jī)劃分,形成VOC格式的數(shù)據(jù)集,其包括“斑點(diǎn)落葉?。╝lternaria boltch)”“褐斑?。╞rown spot)”“灰斑病(grey spot)”“花葉?。╩osaic)”“銹病(rust)”5種病害。

3.2 數(shù)據(jù)增強(qiáng)

由于數(shù)據(jù)集受到室外光照的影響,在拍攝過程中會(huì)使圖像整體亮度分布不均勻,在圖像部分位置亮度過亮或過暗,因此需要調(diào)整圖像的對比度,實(shí)現(xiàn)對圖像的增強(qiáng)。

3.2.1 直方圖均衡化

圖像直方圖是表示圖像中亮度分布的直方圖,描述了圖像中每個(gè)亮度值的像素?cái)?shù),直方圖均衡化是通過改變圖像直方圖來改變圖像中各像素的灰度值,把原始圖像的直方圖變換為均衡的形式,對像素?cái)?shù)量較多的灰度值進(jìn)行擴(kuò)展,對像素?cái)?shù)量較少的灰度值進(jìn)行并歸,從而增大對比度,達(dá)到對圖像增強(qiáng)的效果。

直方圖均衡化的數(shù)學(xué)表達(dá)式為

Sk=T(rk)=∑kj=0njn,k=0,1,…,L-1。(4)

式中:nj表示rk的像素?cái)?shù);n表示像素總數(shù);k表示灰度級數(shù);L表示可能出現(xiàn)的灰度級總數(shù)。

直方圖均衡化后的圖像整體亮度提升,但對于圖像中地面上過亮的區(qū)域更亮,所在過暗的區(qū)域沒有起到明顯的增強(qiáng)效果。

3.2.2 改進(jìn)直方圖均衡化

針對上述直方圖均衡化對圖像過亮或過暗的區(qū)域沒有明顯增強(qiáng)的問題,利用自適應(yīng)閾值的方法對圖像直方圖均衡化,通過對圖像局部對比度的調(diào)整使整幅圖像的對比度得到增強(qiáng)。

首先將圖像分成多個(gè)小塊,分別計(jì)算每個(gè)小塊圖像的直方圖,然后根據(jù)每個(gè)小塊圖像直方圖的峰值,計(jì)算每個(gè)小塊圖像的閾值,同時(shí)為了防止每個(gè)小塊圖像的對比度過高或過低,圖像子塊之間的對比度差距過大,從而引入新的噪聲,因此需要對每個(gè)子塊的閾值進(jìn)行限制,主要根據(jù)相鄰塊的閾值進(jìn)行插值獲得,使得整幅圖像的閾值低于某個(gè)限制值。通過動(dòng)態(tài)調(diào)整找到圖像直方圖的某個(gè)閾值X,使過高幅值的小塊圖像直方圖降至閾值X,同時(shí)對于幅值過低的區(qū)域進(jìn)行填補(bǔ),通過調(diào)整整幅圖像的局部閾值,從而解決圖像過亮或過暗的區(qū)域?qū)Ρ榷葲]有明顯增強(qiáng)的問題。

直方圖均衡化后的蘋果葉部圖像整體亮度大幅度提升,圖像中亮度較大的區(qū)域圖像對比度增強(qiáng)效果較明顯,而自適應(yīng)直方圖均衡化可以有效解決圖像過亮或過暗的區(qū)域?qū)Ρ榷葲]有明顯增強(qiáng)的問題,使整幅圖像對比度得到增強(qiáng),減小后續(xù)圖像特征提取的計(jì)算量。對訓(xùn)練集原始疾病圖像進(jìn)行旋轉(zhuǎn)、隨機(jī)亮度增強(qiáng)、隨機(jī)色度增強(qiáng)、隨機(jī)對比度增強(qiáng)和銳化,經(jīng)過數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集如圖9所示。

3.3 訓(xùn)練環(huán)境和評價(jià)指標(biāo)

為了衡量改進(jìn)的算法相比原始算法的性能改善情況,本研究采用mAP@0.5、mAP@0.5 ∶0.95和召回率(R)作為評價(jià)指標(biāo)。

精度(P)為所有預(yù)測出的目標(biāo)中預(yù)測正確的目標(biāo)所占的比例,計(jì)算公式為

P=TPTP+FP。(5)

召回率(R)為所有標(biāo)注為正確的目標(biāo)中預(yù)測正確的目標(biāo)所占的比值,計(jì)算公式為

R=TPTP+FN。(6)

其中:上述2個(gè)公式中的參數(shù)TP表示預(yù)測正確的正面示例數(shù);FP表示預(yù)測錯(cuò)誤的反面示例數(shù);FN表示預(yù)測錯(cuò)誤的正面示例數(shù);TN表示預(yù)測正確的反面示例數(shù)。

平均精度(AP)是衡量訓(xùn)練出的網(wǎng)絡(luò)模型在單個(gè)類別上優(yōu)劣的重要指標(biāo),其計(jì)算公式為

AP=∫10P(R)dR。(7)

所有類別的平均精度(mAP)是衡量訓(xùn)練出的網(wǎng)絡(luò)模型在每個(gè)類別上的平均優(yōu)劣的重要指標(biāo),是指取所有類別上AP的平均值,它通常分為mAP@0.5和mAP@0.5 ∶0.95。其中,mAP@0.5是指將IoU設(shè)為0.5時(shí),所有類別的所有圖片AP的平均值;mAP@0.5 ∶0.95是指IoU閾值從0.5到0.95,步長0.05上的平均mAP。IoU是指預(yù)測框和真實(shí)框的交集部分的面積與預(yù)測框和真實(shí)框的并集部分的面積比值。IoU和mAP的計(jì)算公式分別為:

IoU=SoverlapSunion;(8)

mAP=∑Ni=1APiN。(9)

3.4 試驗(yàn)結(jié)果分析

葉部病害檢測應(yīng)同時(shí)考慮精確度和召回率,原始網(wǎng)絡(luò)訓(xùn)練參數(shù)見圖10,改進(jìn)后的網(wǎng)絡(luò)訓(xùn)練結(jié)果見圖11。本研究利用mAP、召回率等參數(shù)來驗(yàn)證模型的性能,并對檢測結(jié)果進(jìn)行評價(jià)。為了確認(rèn)改進(jìn)后YOLO v5網(wǎng)絡(luò)的各組件對最終性能的影響,通過ATCSP模塊的整合,mAP@0.5從0.323 1提高到0.390 4,提高幅度為20.8%,召回率從0.305 96提升到0.455 85,提高幅度為49.0%。表明改進(jìn)后的YOLO v5可以過濾其他級別的特征,并將有用的信息保持在該級別,以提高對小病害的檢測精度。在此基礎(chǔ)上,再采用Transformer機(jī)制設(shè)計(jì)Transformer層模塊,它可以增加有用特征的權(quán)重,抑制無效特征的權(quán)重,利用多頭注意結(jié)構(gòu),提高目標(biāo)檢測精度。

此外,改進(jìn)后YOLO v5網(wǎng)絡(luò)全面評估了BiFPN對多尺度學(xué)習(xí)的能力。在評價(jià)指標(biāo)IoU=0.95的情況下,mAP的差距也很明顯,表明BiFPN對多尺度對象特別是小對象檢測的有效性。另外,當(dāng)召回率為0.15時(shí),改進(jìn)后YOLO v5網(wǎng)絡(luò)比原始YOLO v5網(wǎng)絡(luò)高出很多。檢測模型在面對容易混淆的疾病斑點(diǎn)時(shí)可能會(huì)混淆,而相同的疾病卻不同,使分類更加困難。采用歸一化后的混淆矩陣直觀評價(jià)改進(jìn)后的YOLO v5對5種早期蘋果葉片病害的分類性能,結(jié)果見圖12,該模型在棕色斑點(diǎn)上的分類性能最好,大部分樣本的預(yù)測都正確。

相比之下,改進(jìn)后的YOLO v5模型對銹病和花

葉病2種輕微斑點(diǎn)病的檢測性能較差,特別是花葉病,只有超過3%的樣本被正確預(yù)測。造成該結(jié)果的主要原因是早期的花葉病斑點(diǎn)較小,斑點(diǎn)特征不明顯且容易聚集。因此,該模型很難正確提取和區(qū)分早期花葉病的特征。

本研究還給出每種疾病的F1分?jǐn)?shù)曲線,以便進(jìn)行更全面的模型評估。F1分?jǐn)?shù)是精度和召回率總和的平均值,在評估模型時(shí)將兩者考慮在內(nèi)。由圖13可知,當(dāng)置信水平在0.2~0.7之間時(shí),模型對所有疾病的F1平均得分都很高,而在置信水平為0.134時(shí),F(xiàn)1平均得分最高,為0.390。結(jié)果表明,改進(jìn)后的YOLO v5能夠較好地對5種早期蘋果葉片病害進(jìn)行分類,能夠滿足實(shí)際應(yīng)用場景的檢測需求。

4 結(jié)論

本研究提出的改進(jìn)YOLO v5蘋果葉部病害檢

測方法,可以在農(nóng)業(yè)生產(chǎn)中發(fā)揮較大的作用。采用ATCSP結(jié)構(gòu)來滿足蘋果葉部病害實(shí)時(shí)檢測的要求,引入自注意力機(jī)制的模塊可以精確地檢測出特定的蘋果葉部病害。經(jīng)過遷移學(xué)習(xí)后,淺層特征提取網(wǎng)絡(luò)可以快速收斂并保持超過原始網(wǎng)絡(luò)的檢測精度,同時(shí)檢測普遍存在的病害和特定的病害,更好地利用不同任務(wù)之間的互補(bǔ)性。為了更好地提高病害檢測性能,引入跨階段局部網(wǎng)絡(luò),在試驗(yàn)部分對改進(jìn)算法進(jìn)行評估,與其他主流算法進(jìn)行比較,發(fā)現(xiàn)改進(jìn)后的算法適用于蘋果葉部病害的自動(dòng)檢測任務(wù),可以較好地提高病害檢測的準(zhǔn)確性和效率,進(jìn)而提高農(nóng)業(yè)生產(chǎn)的信息化水平。

參考文獻(xiàn):

[1]Srinivasan K,Dastoor P H,Radhakrishnaiah P,et al. FDAS:a knowledge-based framework for analysis of defects in woven textile structures[J]. Journal of the Textile Institute,1992,83(3):431-448.

[2]彭明霞,夏俊芳,彭 輝. 融合FPN的Faster R-CNN復(fù)雜背景下棉田雜草高效識(shí)別方法[J]. 農(nóng)業(yè)工程學(xué)報(bào),2019,35(20):202-209.

[3]謝金衡,張炎生. 基于深度殘差和特征金字塔網(wǎng)絡(luò)的實(shí)時(shí)多人臉關(guān)鍵點(diǎn)定位算法[J]. 計(jì)算機(jī)應(yīng)用,2019,39(12):3659-3664.

[4]劉 洋,馮 全,王書志. 基于輕量級CNN的植物病害識(shí)別方法及移動(dòng)端應(yīng)用[J]. 農(nóng)業(yè)工程學(xué)報(bào),2019,35(17):194-204.

[5]王 聃,柴秀娟. 機(jī)器學(xué)習(xí)在植物病害識(shí)別研究中的應(yīng)用[J]. 中國農(nóng)機(jī)化學(xué)報(bào),2019,40(9):171-180.

[6]Usha Devi G,Gokulnath B V. A survey on plant disease prediction using machine learning and deep learning techniques[J]. Inteligencia Artificial,2020,23(65):136-154.

[7]Govardhan M,Veena M B. Diagnosis of tomato plant diseases using random forest[C]//2019 Global Conference for Advancement in Technology.Bangalore,2019:1-5.

[8]Han K,Wang Y H,Tian Q,et al. GhostNet:more features from cheap operations[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Seattle,2020:1577-1586.

[9]He K M,Zhang X Y,Ren S Q,et al. Spatial pyramid pooling in deep convolutional networks for visual recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(9):1904-1916.

[10]He K M,Zhang X Y,Ren S Q,et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas,2016:770-778.

[11]Howard A G,Zhu M L,Chen B,et al. MobileNets:efficient convolutional neural networks for mobile vision applications[EB/OL]. 2017:arXiv:1704.04861.http://arxiv.org/abs/1704.04861.

[12]Krizhevsky A,Sutskever I,Hinton G E. ImageNet classification with deep convolutional neural networks[J]. Communications of the ACM,2017,60(6):84-90.

[13]Lin T Y,Dollár P,Girshick R,et al. Feature pyramid networks for object detection[C]//Conference on Computer Vision and Pattern Recognition.Honolulu,2017:936-944.

[14]Liu B,Ding Z F,Zhang Y,et al. Kiwifruit leaf disease identification using improved deep convolutional neural networks[C]//44th Annual Computers,Software,and Applications Conference.Madrid,2020:1267-1272.

[15]Liu S,Qi L,Qin H F,et al. Path aggregation network for instance segmentation[C]//Conference on Computer Vision and Pattern Recognition.Salt Lake,2018:8759-8768.

[16]Liu W,Anguelov D,Erhan D,et al. SSD:single shot MultiBox detector[M]//Leibe B,Matas J,Sebe N,et al. Computer vision-ECCV 2016.Cham:Springer International Publishing,2016:21-37.

[17]Loey M,ElSawy A,Afify M. Deep learning in plant diseases detection for agricultural crops[J]. International Journal of Service Science,Management,Engineering,and Technology,2020,11(2):41-58.

[18]Prashar K,Talwar R,Kant C. Robust automatic cotton crop disease recognition (ACDR) method using the hybrid feature descriptor with SVM[C]. International Conference on Computing on Sustainable Global Development,2017.

[19]Redmon J,Divvala S,Girshick R,et al. You only look once:unified,real-time object detection[C]//Conference on Computer Vision and Pattern Recognition.Las Vegas,2016:779-788.

[20]Redmon J,F(xiàn)arhadi A. YOLO9000:better,faster,stronger[C]. Conference on Computer Vision and Pattern Recognition,2017.

[21]Redmon J,F(xiàn)arhadi A. YOLO v3:an incremental improvement[EB/OL]. arXiv:1804.(2018-04-08)[2023-05-10]. http://arxiv.org/abs/1804.02767.

[22]Ren S Q,He K M,Girshick R,et al. Faster R-CNN:towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2017,39(6):1137-1149.

[23]Sethy P K,Barpanda N K,Rath A K. Detection and identification of rice leaf diseases using multiclass SVM and particle swarm optimization technique[J]. J Innovative Tech and Exploring Eng,2019,8(6S2):108-120.

[24]Sethy P K,Barpanda N K,Rath A K,et al. Image processing techniques for diagnosing rice plant disease:a survey[J]. Procedia Computer Science,2020,167:516-530.

[25]SimonyanK,ZissermanA.Verydeepconvolutionalnetworksfor

large-scale image recognition[EB/OL]. 2014:arXiv:1409.1556.http://arxiv.org/abs/1409.1556.

[26]Sun H N,Xu H W,Liu B,et al. MEAN-SSD:a novel real-time detector for apple leaf diseases using improved light-weight convolutional neural networks[J]. Computers and Electronics in Agriculture,2021,189:106379.

[27]Sun Y Y,Jiang Z H,Zhang L P,et al. SLIC_SVM based leaf diseases saliency map extraction of tea plant[J]. Computers and Electronics in Agriculture,2019,157:102-109.

[28]Szegedy C,Liu W,Jia Y Q,et al. Going deeper with convolutions[C]//Conference on Computer Vision and Pattern Recognition.Boston,2015:1-9.

[29]Turkoglu M,Yanikogˇlu B,Hanbay D. PlantDiseaseNet:convolutional neural network ensemble for plant disease and pest detection[J]. Signal,Image and Video Processing,2022,16(2):301-309.

[30]Wang C Y,Mark Liao H Y,Wu Y H,et al. CSPNet:a new backbone that can enhance learning capability of CNN[C]//Conference on Computer Vision and Pattern Recognition Workshops.Seattle,2020:1571-1580.

[31]Woo S,Park J,Lee J Y,et al. CBAM:convolutional block attention module[C]//European Conference on Computer Vision.Cham:Springer,2018:3-19.

[32]Xie X Y,Ma Y,Liu B,et al. A deep-learning-based real-time detector for grape leaf diseases using improved convolutional neural networks[J]. Frontiers in Plant Science,2020,11:751.

[33]Sharma N,Gupta S,Reshan M S A. EfficientNetB0 cum FPN based semantic segmentation of gastrointestinal tract organs in MRI scans[J]. Diagnostics,2023,13(14):2399.

[34]Tan M,Pang R,Le Q V. Efficientdet:scalable and efficient object detection[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020:10781-10790.

[35]Vaswani A,Shazeer N,Parmar N,et al. Attention is all you need[C]//Conference on Natural Information Processing Systems. Long Beach,2017.

猜你喜歡
葉部直方圖病害
統(tǒng)計(jì)頻率分布直方圖的備考全攻略
符合差分隱私的流數(shù)據(jù)統(tǒng)計(jì)直方圖發(fā)布
面向移動(dòng)端的蘋果葉部病蟲害輕量級識(shí)別模型
早春養(yǎng)羊需防六大病害
基于YOLOv3的多類煙草葉部病害檢測研究
小麥常見三種病害咋防治
葡萄病害周年防治歷
果樹休眠期咋防病害
用直方圖控制畫面影調(diào)
基于顏色差異性的植物葉片病害圖像分割方法
两当县| 陇川县| 和平区| 涿鹿县| 香格里拉县| 威远县| 新龙县| 青州市| 盈江县| 额尔古纳市| 绵竹市| 晴隆县| 新和县| 凤城市| 郯城县| 济阳县| 福州市| 静安区| 延吉市| 德化县| 武安市| 泾川县| 甘泉县| 西充县| 绩溪县| 昌江| 漳平市| 昌吉市| 铜鼓县| 砚山县| 乌拉特后旗| 延边| 崇仁县| 色达县| 金昌市| 武乡县| 汝南县| 仪陇县| 营山县| 华容县| 阳朔县|