吳立東 夏金安* 朱元宏 陳晨 喬克成 曹福深 潘俊杰

（1 上海工程技術(shù)大學(xué)數(shù)理與統(tǒng)計(jì)學(xué)院，上海 201620；2 上海青浦現(xiàn)代農(nóng)業(yè)園區(qū)發(fā)展有限公司，上海 201702）*為通信作者

藍(lán)莓是一種高效的經(jīng)濟(jì)作物，在我國(guó)多地均有種植，我國(guó)藍(lán)莓年產(chǎn)量可達(dá)4.74×105t，是當(dāng)前全球藍(lán)莓鮮果產(chǎn)量最大的國(guó)家[1]。近年來，雖然我國(guó)在傳統(tǒng)農(nóng)業(yè)方面開始了智能化升級(jí)與更新，但是藍(lán)莓產(chǎn)業(yè)的信息化應(yīng)用不多，這在一定程度上限制了藍(lán)莓產(chǎn)業(yè)的發(fā)展與藍(lán)莓產(chǎn)品國(guó)際市場(chǎng)競(jìng)爭(zhēng)力的提升[2]，故亟須探索科學(xué)有效的藍(lán)莓產(chǎn)業(yè)升級(jí)途徑。

在信息化領(lǐng)域，20 世紀(jì)60 年代，HUBEL 等[3]從動(dòng)物實(shí)驗(yàn)中獲得靈感，初步創(chuàng)建了視覺皮層的地圖，但在隨后的幾十年，均未實(shí)現(xiàn)技術(shù)突破，直到LECUN 等[4]將BP 算法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，才獲得了第一個(gè)真正意義上的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）。早期的卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別效果較差，網(wǎng)絡(luò)訓(xùn)練復(fù)雜，直到KRIZHEVSKY 等[5]首次提出使用Alexnet 網(wǎng)絡(luò)進(jìn)行模型訓(xùn)練，這大幅改善了網(wǎng)絡(luò)表達(dá)能力。目前，卷積神經(jīng)網(wǎng)絡(luò)已成為社會(huì)各界的研究熱點(diǎn)，且已廣泛運(yùn)用至農(nóng)作物圖像識(shí)別領(lǐng)域。因此，為實(shí)現(xiàn)我國(guó)藍(lán)莓產(chǎn)業(yè)的高產(chǎn)、高效發(fā)展，將卷積神經(jīng)網(wǎng)絡(luò)與機(jī)器視覺相結(jié)合是藍(lán)莓產(chǎn)業(yè)技術(shù)升級(jí)的一個(gè)重要方向。在此背景下，筆者基于卷積神經(jīng)網(wǎng)絡(luò)模型的優(yōu)化，針對(duì)藍(lán)莓不同生長(zhǎng)階段，擬系統(tǒng)闡述卷積神經(jīng)網(wǎng)絡(luò)模型在藍(lán)莓圖像領(lǐng)域的研究進(jìn)展與應(yīng)用現(xiàn)狀，并在探討不同技術(shù)間差異與共性的同時(shí)，論述卷積神經(jīng)網(wǎng)絡(luò)在藍(lán)莓產(chǎn)業(yè)應(yīng)用的難題與挑戰(zhàn)，以期為進(jìn)一步利用宏觀成像平臺(tái)測(cè)量藍(lán)莓成熟度提供參考。

1 卷積神經(jīng)網(wǎng)絡(luò)在藍(lán)莓生長(zhǎng)階段的應(yīng)用

近年來，隨著信息化技術(shù)的不斷發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)因其識(shí)別精度高等優(yōu)點(diǎn)受到了越來越多的關(guān)注。卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要包含輸入層、卷積層（又稱濾波器）、池化層和全連通層，見圖1。通過添加多個(gè)卷積層和池化層，可加快運(yùn)算并使檢測(cè)的特征更突出。

1.1 在草莓葉片病蟲害防治中的應(yīng)用

在藍(lán)莓整個(gè)生長(zhǎng)階段，葉片病蟲害是影響藍(lán)莓產(chǎn)量和品質(zhì)的重要因素之一[6]，在一定程度上制約了藍(lán)莓產(chǎn)業(yè)的發(fā)展。據(jù)統(tǒng)計(jì)，受病蟲害的影響，全球藍(lán)莓減產(chǎn)30%左右，部分地區(qū)減產(chǎn)甚至高達(dá)70%[7]，其中，藍(lán)莓花葉病的發(fā)生尤為嚴(yán)重，可造成藍(lán)莓減產(chǎn)15%以上[8]。因此，及時(shí)發(fā)現(xiàn)草莓葉片病蟲害并判斷出病蟲害種類，對(duì)保護(hù)藍(lán)莓生長(zhǎng)和控制病蟲害傳播至關(guān)重要。目前，國(guó)內(nèi)外利用卷積神經(jīng)網(wǎng)絡(luò)處理葉片病蟲害圖像已取得較多的研究成果，但是在藍(lán)莓領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)模型的應(yīng)用并不多。分析其原因是，在藍(lán)莓領(lǐng)域，卷積神經(jīng)網(wǎng)絡(luò)模型容易受到較多因素的影響，且卷積神經(jīng)網(wǎng)絡(luò)模型在實(shí)際環(huán)境中的泛化能力較差。

為促進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型在藍(lán)莓葉片病蟲害防治中的應(yīng)用，研究者進(jìn)行了相關(guān)研究：針對(duì)傳統(tǒng)圖像識(shí)別在復(fù)雜環(huán)境中定位不準(zhǔn)確、空間復(fù)雜度高等問題，WANG 等[9]提出構(gòu)建一個(gè)三線性卷積神經(jīng)網(wǎng)絡(luò)模型，使用3 個(gè)CNN 流，其中一個(gè)用于實(shí)現(xiàn)圖像識(shí)別中的區(qū)域檢測(cè)任務(wù)，另外兩個(gè)分別用于實(shí)現(xiàn)作物識(shí)別和病害特征提取任務(wù)；同時(shí)，將區(qū)域檢測(cè)和特征提取相結(jié)合，增強(qiáng)模型的泛化能力，測(cè)試準(zhǔn)確率達(dá)84.11%。QU 等[10]使用MobileNet V1 結(jié)合多尺度特征提取（MSFE）模塊，改進(jìn)了通道注意機(jī)制的特征濾波模塊FFM，改善了模型分類能力，測(cè)試準(zhǔn)確率為99.33%，比MobileNet V1 的測(cè)試準(zhǔn)確率提高了3.17%。Francis等[11]提出一種具有4個(gè)卷積層和2 個(gè)全連接層的小型卷積神經(jīng)網(wǎng)絡(luò)，該小型卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過程中取得了可靠的識(shí)別精度，為構(gòu)建集成化模型提供了思路。隨著深度卷積神經(jīng)網(wǎng)絡(luò)的不斷發(fā)展，研究人員根據(jù)識(shí)別階段的不同，將算法分為兩類，一類是基于候選框的雙階段目標(biāo)檢測(cè)算法[12]，如Faster R-CNN、R-CNN、R-FCN等，能夠提取目標(biāo)的高維特征，這類算法雖然精度較高，但是速度較慢，適用于高精度的農(nóng)作物病害檢測(cè)；另一類是基于回歸的單階段目標(biāo)檢測(cè)算法[13]，如YOLO、SSD 等，這類算法雖然速度快，但是精度較低，不適合復(fù)雜背景的圖像。遷移學(xué)習(xí)是藍(lán)莓葉片病害圖像識(shí)別的重要方法，該網(wǎng)絡(luò)模型依托大數(shù)據(jù)集作為載體，通過預(yù)訓(xùn)練后，可實(shí)現(xiàn)同類圖像的高精度分類[14]。謝圣橋等[15]基于遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)技術(shù)，在ResNet 50 模型的基礎(chǔ)上，使用亮度變換、旋轉(zhuǎn)、添加高斯噪聲等手段，擴(kuò)充數(shù)據(jù)集，避免模型過擬合，試驗(yàn)的識(shí)別準(zhǔn)確率均在96%以上，實(shí)現(xiàn)了葉部病害圖像的精準(zhǔn)分類。綜合以上研究結(jié)果可看出，隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展，其訓(xùn)練結(jié)構(gòu)越來越復(fù)雜，其精確性和效率也越來越好。因此，在卷積神經(jīng)網(wǎng)絡(luò)模型在藍(lán)莓葉片病蟲害防治的實(shí)際應(yīng)用過程中，可根據(jù)實(shí)際需求選擇合適的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，在滿足各項(xiàng)檢測(cè)指標(biāo)的同時(shí)，提高模型速度與精度。同時(shí)，運(yùn)用遷移學(xué)習(xí)能對(duì)現(xiàn)有的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的結(jié)構(gòu)優(yōu)化，改善預(yù)訓(xùn)練的參數(shù)問題，從而提升現(xiàn)有技術(shù)對(duì)特定問題的處理能力。

1.2 在藍(lán)莓果園雜草監(jiān)測(cè)中的應(yīng)用

藍(lán)莓果園的雜草監(jiān)測(cè)是發(fā)展智能化果園的新方向。研究發(fā)現(xiàn)，藍(lán)莓是多年生根莖植物，故藍(lán)莓不可耕作和輪作[16-17]，再加上藍(lán)莓果園的人工除草成本高昂，故為保障藍(lán)莓的健康生長(zhǎng)，藍(lán)莓果園需實(shí)施水肥藥智能化管理，實(shí)現(xiàn)智能化點(diǎn)對(duì)點(diǎn)噴灑農(nóng)藥除雜。相關(guān)調(diào)查表明，有211種雜草可在藍(lán)莓田中生長(zhǎng)，雜草種類包括多年生草本蕨類（89 種）、多年生木本類（50 種）、一年生闊葉雜草（24 種）、多年生禾本科雜草（20 種）以及其他種類。

為促進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型在藍(lán)莓果園雜草監(jiān)測(cè)中的應(yīng)用，研究者進(jìn)行了相關(guān)研究：ESAU 等[18]研究開發(fā)了一種基于綠色分割的斑點(diǎn)識(shí)別系統(tǒng)，用來檢測(cè)藍(lán)莓田地中的雜草，并應(yīng)用于農(nóng)用化學(xué)品噴霧器，實(shí)現(xiàn)了精準(zhǔn)施藥，與普通噴霧器相比，添加該系統(tǒng)的噴霧器可減少44.5%的農(nóng)藥用量，但是該系統(tǒng)的缺點(diǎn)是無法區(qū)分同一種顏色的不同雜草。HENNESSY 等[19]在T.J.ESAU 等的基礎(chǔ)上，采用YOLOv3 微型卷積神經(jīng)網(wǎng)絡(luò)對(duì)藍(lán)莓果園拍攝的兩種雜草圖像進(jìn)行了訓(xùn)練，通過優(yōu)化相機(jī)和目標(biāo)的檢測(cè)精度，使拍攝的圖像產(chǎn)生的F1 分?jǐn)?shù)高達(dá)0.97，從而優(yōu)化了小目標(biāo)檢測(cè)性能，這對(duì)低功耗的雜草目標(biāo)檢測(cè)具有一定的參考價(jià)值。MATHIEU 等[20]提出了一種新的除草策略，該方法通過在多光譜無人機(jī)圖像上集成多分辨率分割，將藍(lán)莓果園分為具有相似光譜特征的片段，并對(duì)表現(xiàn)最好的片段進(jìn)行分類和測(cè)試，結(jié)果顯示，兩個(gè)調(diào)查區(qū)域的Kappa 系數(shù)值分別為0.90 和0.94，總體準(zhǔn)確率分別為95%和97%；同時(shí)，MATHIEU 等將航空?qǐng)D像與粒狀除草劑噴灑器結(jié)合，為藍(lán)莓果園的智能建設(shè)提供了新方法。綜合以上研究結(jié)果可看出，集成多分辨率分割方法有助于去除背景、檢測(cè)復(fù)雜的雜草目標(biāo)；同時(shí)，將其集成到廣泛運(yùn)用的農(nóng)業(yè)設(shè)備導(dǎo)航系統(tǒng)中，可在更大范圍內(nèi)改進(jìn)藍(lán)莓果園雜草檢測(cè)處理流程的同時(shí)，進(jìn)一步改善藍(lán)莓生長(zhǎng)環(huán)境，提高藍(lán)莓品質(zhì)。

1.3 在藍(lán)莓果實(shí)成熟度識(shí)別中的應(yīng)用

藍(lán)莓果實(shí)成熟高峰期只有短短幾天，隨著果實(shí)的成熟，漿果會(huì)從綠色變?yōu)榉凵?，再變?yōu)榧t色，最后變成藍(lán)色或黑色[21]。在機(jī)械化采摘時(shí)，藍(lán)莓果實(shí)成熟度的測(cè)定是收獲的關(guān)鍵步驟，采收過熟的藍(lán)莓果實(shí)會(huì)增加漿果軟化的風(fēng)險(xiǎn)，然而傳統(tǒng)的目視判斷往往費(fèi)時(shí)費(fèi)力。

為促進(jìn)卷積神經(jīng)網(wǎng)絡(luò)模型在藍(lán)莓果實(shí)成熟度識(shí)別中的應(yīng)用，研究者進(jìn)行了相關(guān)研究：古文君[22]運(yùn)用RGB、HSV、Lab 模型提取顏色特征值，分別構(gòu)建了PLS、BP、SVM 分類模型，判別分析藍(lán)莓果實(shí)成熟度，其中，根據(jù)RGB 顏色特征建立的BP 分類判別模型的性能最好，綜合判別準(zhǔn)確率為78.89%。針對(duì)藍(lán)莓果實(shí)成熟度難以識(shí)別的問題，朱旭等[23]通過改進(jìn)Faster R-CNN 算法，設(shè)計(jì)了一個(gè)可對(duì)不同成熟度的藍(lán)莓果實(shí)進(jìn)行精準(zhǔn)識(shí)別分類的模型，該模型采用WOA 算法優(yōu)化訓(xùn)練參數(shù)后，可將原始圖像的特征進(jìn)行提取，并將特征圖與RPN 網(wǎng)絡(luò)以及目標(biāo)區(qū)域的池化網(wǎng)絡(luò)進(jìn)行共享，實(shí)現(xiàn)了藍(lán)莓圖像背景的有效消除，對(duì)藍(lán)莓果實(shí)的成熟度識(shí)別準(zhǔn)確率達(dá)94.67%，比DPM 算法高20.00% 左右，F(xiàn)aster R-CNN 模型結(jié)構(gòu)及藍(lán)莓果實(shí)的識(shí)別過程見圖2。王立舒等[24]采用一種帶有注意力模塊的目標(biāo)檢測(cè)網(wǎng)絡(luò)（I-YOLOv4-Tiny），有效解決了藍(lán)莓果實(shí)圖像背景復(fù)雜等問題，即在YOLOv4-Tiny 的特征金字塔中加入卷積注意力模塊后，根據(jù)每個(gè)通道的特征進(jìn)行權(quán)重分配，從而加強(qiáng)了網(wǎng)絡(luò)結(jié)構(gòu)深層信息的傳遞，I-YOLOv4-Tiny 在遮擋與光照不均等復(fù)雜場(chǎng)景中，平均精度達(dá)96.24%，平均檢測(cè)時(shí)間為5.723 MS，滿足了藍(lán)莓果實(shí)成熟度識(shí)別的精度與速度需求。針對(duì)藍(lán)莓果實(shí)目標(biāo)較小、識(shí)別難度較大等問題，CRAIG 等[25]基于深入學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)模型，開發(fā)了6 個(gè)用于檢測(cè)藍(lán)莓果實(shí)成熟期的網(wǎng)絡(luò)模型（即YOLOv3 、YOLOv3-SPP、YOLOv3-Tiny、YOLOv4、YOLOv4-Small、YOLOv4-Tiny），并設(shè)計(jì)了3 類模型（綠色漿果、紅色漿果、藍(lán)色漿果）的漿果識(shí)別系統(tǒng)，測(cè)試結(jié)果見表1。由表1 可看出，YOLOv4和YOLOv4-Small 的檢測(cè)效果最佳，其mAP50 分別為79.79%和79.53%，但是，所有網(wǎng)絡(luò)模型中與紅色漿果相關(guān)的均得到較低的分?jǐn)?shù)。為提高模型的可靠性，CRAIG 等隨后將紅色和綠色合并為一個(gè)類別（未成熟的漿果），結(jié)果表明，未成熟漿果的mAP50 優(yōu)于單獨(dú)分析3 類模型的漿果，合并后的2類模型測(cè)試結(jié)果見表2。比較表1和表2的結(jié)果可看出，用YOLOv4 訓(xùn)練的2 類模型的準(zhǔn)確性和精確度表現(xiàn)較好，其中，3 類模型（綠色漿果、紅色漿果、藍(lán)色漿果）的mAP50 為79.79%，2 類模型（成熟漿果、未成熟漿果）的mAP50 為88.12%，說明2類模型在mAP50 方面有較大改善。該研究結(jié)果為部署藍(lán)莓成熟度相關(guān)檢測(cè)軟件提供了基礎(chǔ)。

圖2 Faster R-CNN 模型結(jié)構(gòu)及藍(lán)莓果實(shí)的識(shí)別過程

表1 3 類YOLO 模型mAP50 的平均精度統(tǒng)計(jì)

表2 2 類YOLO 模型mAP50 的平均精度統(tǒng)計(jì)

2 結(jié)論與討論

近年來，在藍(lán)莓的葉片病蟲害識(shí)別、果園雜草監(jiān)測(cè)和果實(shí)成熟度識(shí)別等領(lǐng)域，利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行了技術(shù)革新，且卷積神經(jīng)網(wǎng)絡(luò)與藍(lán)莓產(chǎn)業(yè)發(fā)展有較高的契合度。但是，目前在上述領(lǐng)域中基于卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究仍面臨較多的困難和挑戰(zhàn)。

針對(duì)圖像檢測(cè)的重要研究領(lǐng)域需構(gòu)建更大的數(shù)據(jù)集、更合理的樣本預(yù)處理方式以及更有效的數(shù)據(jù)增強(qiáng)策略，筆者通過對(duì)比文中部分分類模型的優(yōu)缺點(diǎn)，認(rèn)為可從以下3 個(gè)方面探討解決思路：（1）組建公共開源的大型樣本數(shù)據(jù)集供研究人員使用，彌補(bǔ)圖像資源不足等問題。（2）訓(xùn)練更科學(xué)的非線性函數(shù)神經(jīng)網(wǎng)絡(luò)，優(yōu)化相關(guān)預(yù)處理方式使訓(xùn)練的模型更具代表性。（3）從有限的資源中提取更多信息，實(shí)現(xiàn)小樣本的數(shù)據(jù)增強(qiáng)策略。

雖然卷積神經(jīng)網(wǎng)絡(luò)在藍(lán)莓圖像相關(guān)領(lǐng)域的優(yōu)勢(shì)與挑戰(zhàn)并存，但是這并不影響卷積神經(jīng)網(wǎng)絡(luò)在該領(lǐng)域的進(jìn)一步應(yīng)用與發(fā)展。筆者通過對(duì)比文中不同模型的優(yōu)缺點(diǎn)，提出以下建議：（1）數(shù)據(jù)增強(qiáng)。已有的研究表明，圖像識(shí)別所需的數(shù)據(jù)集并不完整，在缺乏所需的大數(shù)據(jù)集情況下，數(shù)據(jù)增強(qiáng)可大幅改善模型的識(shí)別能力。傳統(tǒng)的數(shù)據(jù)增強(qiáng)方式一般是對(duì)圖像進(jìn)行平移、裁剪以及翻轉(zhuǎn)等處理，現(xiàn)階段由于缺乏病害區(qū)域的圖像自動(dòng)生成技術(shù)，故大多采用遷移學(xué)習(xí)等方式人工生成更多的訓(xùn)練圖像，從而增強(qiáng)復(fù)雜背景下模型的泛化能力。（2）圖像分割。圖片背景、光照、遮擋等因素嚴(yán)重影響了圖像的準(zhǔn)確識(shí)別，而傳統(tǒng)的機(jī)器視覺無法從復(fù)雜的背景下提取到所需的圖像特征，若能設(shè)計(jì)出一個(gè)可靠的圖像分割技術(shù)來分割背景與目標(biāo)，就能解決因背景相近無法識(shí)別的問題，從而有效提高模型的識(shí)別精度。（3）算法精度。算法精度越高，越能識(shí)別出無法注意到的細(xì)微差異。目前，大多研究是通過遷移學(xué)習(xí)、增加層數(shù)以及增加訓(xùn)練輪次來增強(qiáng)模型的學(xué)習(xí)能力，然而減少圖片的顏色通道也可達(dá)到同樣的效果，若模型中的顏色是次要因素，可以考慮通過HSV 和Lab 來提高算法精度。（4）相似特征。當(dāng)需要識(shí)別的圖像特征在視覺上高度相似時(shí)，可通過對(duì)圖像的紋理、形狀和空間關(guān)系等特征進(jìn)行識(shí)別，并采用直方圖等方式進(jìn)行對(duì)比，例如利用平均哈希算法(aHash)和感知哈希算法(pHash)，可以有效地對(duì)相似特征進(jìn)行區(qū)分。但是，目前這種相似特征的識(shí)別過程在藍(lán)莓產(chǎn)業(yè)還未見報(bào)道。

3 結(jié)束語

隨著信息化時(shí)代的到來，計(jì)算機(jī)的應(yīng)用范圍越來越廣泛，就目前來說，結(jié)合卷積神經(jīng)網(wǎng)絡(luò)的圖像處理技術(shù)在農(nóng)業(yè)信息化發(fā)展過程中取得了較大突破，大大提高了藍(lán)莓產(chǎn)業(yè)的經(jīng)濟(jì)效益。為促進(jìn)卷積神經(jīng)網(wǎng)絡(luò)在藍(lán)莓產(chǎn)業(yè)的進(jìn)一步應(yīng)用，需實(shí)施以下措施：（1）快速定位植株病害的范圍。未來可建設(shè)更多的藍(lán)莓研究基地，彌補(bǔ)現(xiàn)階段卷積神經(jīng)網(wǎng)絡(luò)技術(shù)在該產(chǎn)業(yè)的應(yīng)用數(shù)據(jù)集匱乏的難題，做到快速定位病害植株的區(qū)域，并探索出更多高效的數(shù)據(jù)處理方法，實(shí)現(xiàn)在育種、補(bǔ)給以及運(yùn)輸?shù)阮I(lǐng)域的突破，從而實(shí)現(xiàn)全產(chǎn)業(yè)的技術(shù)革新。（2）實(shí)現(xiàn)產(chǎn)業(yè)鏈信息的智能化融合管理。目前的圖像處理功能單一、模塊間信息不互通，下一步的研究可以綜合其他智能技術(shù)進(jìn)行全產(chǎn)業(yè)領(lǐng)域多源信息融合，提升模型的綜合能力。（3）兼顧軟硬件的協(xié)調(diào)發(fā)展，實(shí)現(xiàn)設(shè)備的集成化和小型化應(yīng)用。云端的大數(shù)據(jù)集訓(xùn)練和評(píng)估，測(cè)試圖像中數(shù)據(jù)的視角、規(guī)模、清晰度、尺寸、相機(jī)屬性配置等均需要更強(qiáng)大的計(jì)算資源，故如能嘗試全數(shù)據(jù)鏈融合，將對(duì)設(shè)備的小型集成化產(chǎn)生重大影響。