張瑞森 萬興鴻 高昕

摘? 要：為解決在農(nóng)田無人巡檢過程中農(nóng)作物目標(biāo)智能識別的問題，將Cycle-GAN網(wǎng)絡(luò)與Faster RCNN網(wǎng)絡(luò)相結(jié)合構(gòu)成了一種新的能支持少樣本學(xué)習(xí)的網(wǎng)絡(luò)模型，其中Cycle-GAN網(wǎng)絡(luò)被用于提供數(shù)據(jù)增強。文中主要闡述了該網(wǎng)絡(luò)的結(jié)構(gòu)，并且對玉米、花生與豆子三種作物的種植地在不同的天氣條件下進(jìn)行了測試，對不同農(nóng)作物的最優(yōu)和最差識別率分別是96.53%和96.25%。實驗證明，通過兩者的結(jié)合能夠提供更好更快的農(nóng)作物識別和檢測，新的少樣本農(nóng)作物目標(biāo)識別模型具有較好的魯棒性。

關(guān)鍵詞：少樣本學(xué)習(xí);農(nóng)作物識別;數(shù)據(jù)增強;魯棒性

中圖分類號：TP311? ? ?文獻(xiàn)標(biāo)識碼：A

文章編號：2096-1472（2022）-01-10-04

Abstract： In order to solve the problem of crop object intelligent detection in the process of unmanned farmland patrol inspection， this paper proposes a new network model that can support few-shot learning by combining Cycle-GAN network and Faster RCNN network. The Cycle-GAN network is used for data enhancement. The paper mainly explains the structure of the proposed network， and tests the planting areas of corn， peanuts and beans under different weather conditions. The best and worst detection rates for different crops under different weather conditions are 96.53% and 96.25%. Practice has proved that a combination of the two can provide better and faster crop identification and detection， and the new few-shot crop object detection model has better robustness.

Keywords： few-shot learning; crop detection; data enhancement; robustness

1? ?引言（Introduction）

農(nóng)田無人巡檢是一項保護(hù)可用耕地、實施基本農(nóng)田保護(hù)措施的重要工作，可延伸至農(nóng)作物病蟲害防治、農(nóng)作物產(chǎn)量綜合預(yù)測、除草機器人智能除草等方面。而在農(nóng)田無人巡檢過程中，首先要解決的重要問題是農(nóng)作物目標(biāo)的智能識別。

國內(nèi)常采用的無人巡檢技術(shù)主要基于無人機飛控平臺，且多用于電力巡檢[1]、安保巡檢[2]和能源巡檢[3]。同時，無人機巡檢還用于精準(zhǔn)快速巡查秸稈禁燒工作[4]及農(nóng)田植保工作[5]。但是，國內(nèi)外少有使用陸基平臺開展農(nóng)田無人巡檢的案例。

在早期的研究中，吳健宇[6]提出了將多種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的思想，搭建了一種新的可應(yīng)用于農(nóng)作物病蟲害防治的識別算法。而陳小幫[7]則重點研究了基于深度學(xué)習(xí)在航拍農(nóng)作物圖像中的識別問題，實驗表明能將農(nóng)作物識別準(zhǔn)確率提高到98%。但是，大多數(shù)農(nóng)作物目標(biāo)識別算法的研究還基于大樣本條件下的監(jiān)督學(xué)習(xí)策略，且少有在不同農(nóng)作物與天氣條件下的比較研究。因此，進(jìn)行能夠在小樣本情況下仍然適用的農(nóng)作物目標(biāo)識別算法的研究顯得十分迫切。

基于上述原因，本文提出了一種融合Faster RCNN網(wǎng)絡(luò)與Cycle-GAN網(wǎng)絡(luò)的少樣本目標(biāo)識別算法，實驗時通過機器人陸基移動平臺搭載攝像頭在實際的種植地形中進(jìn)行連續(xù)采樣，實時進(jìn)行田間農(nóng)作物的識別和檢測工作。該方法具有識別率高、識別速度快、能在多種天氣條件下魯棒工作的特點。

2 網(wǎng)絡(luò)模型的建立（Establishment of network model）

當(dāng)今被用于圖像識別的深度卷積神經(jīng)網(wǎng)絡(luò)有GoogLeNet[8]、Faster RCNN[9-10]、Mask RCNN[11-12]等。對農(nóng)作物的識別在一定程度上可以采用這些圖像識別的技術(shù)與方法，但它們普遍都面臨小樣本情形下識別率不高的困境。為了尋找克服這樣的共性問題的方法，本文采用的是將循環(huán)一致性生成對抗網(wǎng)絡(luò)（Cycle-GAN）置于Faster RCNN網(wǎng)絡(luò)的前端形成的新網(wǎng)絡(luò)，簡稱CCG Faster RCNN網(wǎng)絡(luò)。

2.1? ?循環(huán)一致性生成對抗網(wǎng)絡(luò)

到現(xiàn)在為止，圖像生成領(lǐng)域最常使用的是生成對抗網(wǎng)絡(luò)（GAN），用它來做數(shù)據(jù)增強可以解決小數(shù)據(jù)集樣本量稀缺的問題。該數(shù)據(jù)增強的實現(xiàn)是利用GAN[13]網(wǎng)絡(luò)的生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)之間的動態(tài)博弈，以尋求得到一個最優(yōu)的生成式模型，用于產(chǎn)生更多的圖片來滿足目標(biāo)識別的需求。但它存在著需要配對訓(xùn)練對象以及可能出現(xiàn)所有的x都映射到y(tǒng)空間的同一張圖片使損失無效的問題。

Cycle-GAN網(wǎng)絡(luò)作為一個在GAN網(wǎng)絡(luò)的基礎(chǔ)上衍生出來的模型，它不需要特意地配對訓(xùn)練圖像。在文獻(xiàn)[14]中分別設(shè)置了一個對抗損失函數(shù)和，

其中：

式中，D為判別器;為真實圖像的分布;為服從關(guān)系;為期望。此外，還定義了循環(huán)一致?lián)p失函數(shù)解決損失無效的問題，如公式（2）所示：

式中，表示范數(shù)。由此，該網(wǎng)絡(luò)總的目標(biāo)優(yōu)化函數(shù)如公式（3）所示。其中為公式（2）在總的目標(biāo)優(yōu)化函數(shù)即公式（3）中所占的權(quán)重。在文中采取Cycle-GAN網(wǎng)絡(luò)增強數(shù)據(jù)。

2.2? ?快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)

Faster RCNN網(wǎng)絡(luò)于2015 年被提出，它在假設(shè)目標(biāo)位置時采用深度網(wǎng)絡(luò)計算建議框以解決建議框在檢測系統(tǒng)中計算瓶頸的問題，通常使用VGG16等經(jīng)典卷積網(wǎng)絡(luò)作為主干網(wǎng)，用于提取特征圖。由于殘差網(wǎng)絡(luò)（ResNet）[15]通過對輸入輸出的差別部分進(jìn)行學(xué)習(xí)，保證了信息的完整性，同時內(nèi)部殘差塊跳躍連接，緩解了增加網(wǎng)絡(luò)深度帶來的梯度消失現(xiàn)象，因此本文使用的主干網(wǎng)絡(luò)改變?yōu)镽esNet101，其主要流程如圖1所示。

2.3? ?CCG Faster RCNN網(wǎng)絡(luò)

CCG Faster RCNN網(wǎng)絡(luò)中將Cycle-GAN網(wǎng)絡(luò)即CCG部分用于增加輸入Faster RCNN網(wǎng)絡(luò)的樣本數(shù)量，而后者則用于訓(xùn)練農(nóng)作物識別模型。文中新提出的目標(biāo)檢測網(wǎng)絡(luò)的主體結(jié)構(gòu)如圖2所示，所采用的卷積網(wǎng)絡(luò)結(jié)構(gòu)為Convolution-Pooling-InstanceNorm-ReLU-Fully connected，其中Faster RCNN部分相關(guān)重要的參數(shù)如表1所示。

圖3為CCG部分中的生成器模型細(xì)節(jié)[16]，由2 組卷積層、9 層殘差塊和2 組轉(zhuǎn)置卷積層構(gòu)成。在圖3每層網(wǎng)絡(luò)下方的介紹中，字母C表示卷積層，R表示殘差塊，Tc表示轉(zhuǎn)置卷積層;字母后緊跟著的數(shù)字表示卷積核的大小，s-x、p-x、nck-x分別表示步長、補零、卷積核數(shù)目為x，例如C3s-2p-1nck-64表示卷積核大小為3×3、步長為2、補零為1、卷積核數(shù)目為64的卷積層。對于判別器則是采用5 組卷積層。

從圖2中可以發(fā)現(xiàn)，初始圖像先由路徑①輸入生成器中，經(jīng)卷積層、殘差層和轉(zhuǎn)置卷積層的運算后得到生成圖像，再從路徑②與自動生成的圖像一起進(jìn)入判別器中，通過判別后的生成圖像能進(jìn)入下一層網(wǎng)絡(luò)的條件是應(yīng)滿足生成圖像為真實圖像的概率不大于20%。其中由CCG部分生成的典型圖像如圖4所示。

下一層網(wǎng)絡(luò)即Faster RCNN網(wǎng)絡(luò)，將生成圖像與樣本圖像沿著圖2中的路徑③輸入，在該網(wǎng)絡(luò)中完成對模型的訓(xùn)練。該方法的有效性在于能有效利用少量的典型樣本通過CCG進(jìn)行圖形增強的輸出，將生成的圖像與原始的樣本圖像結(jié)合輸入訓(xùn)練網(wǎng)絡(luò)中實現(xiàn)對樣本的訓(xùn)練，用來解決初始樣本不足的問題。

3? ?模型訓(xùn)練（Model training）

3.1? ?數(shù)據(jù)集采集

本文采取由基于AGV的麥克納姆輪機器人移動平臺搭載攝像頭在實際的種植地形中進(jìn)行連續(xù)采樣，將采集的視頻樣本按照2 幀/秒的間隔進(jìn)行取樣，其中攝像頭的幀率為25 幀/秒，經(jīng)多次采集和篩選后僅取2，500 張作為網(wǎng)絡(luò)模型所需要的初始樣本集?？紤]天氣因素對識別準(zhǔn)確率的影響，文中采取在不同天氣下采集樣本實驗，并對其結(jié)果進(jìn)行對比的方法，以檢驗在不同實際環(huán)境下的魯棒性。

3.2? ?實驗過程

本文采用MATLAB R2020b作為訓(xùn)練平臺，整個網(wǎng)絡(luò)的訓(xùn)練在GPU上完成，GPU的計算能力為5.0。在訓(xùn)練集訓(xùn)練的過程中，設(shè)置訓(xùn)練輪數(shù)為20 輪，每輪迭代50 次，學(xué)習(xí)效率均為1×10-4。

在本次實驗中，采用1，000 張擴增圖像與初始樣本集合并構(gòu)成本文的數(shù)據(jù)集，這個數(shù)據(jù)集整體分為三部分，即用于訓(xùn)練的數(shù)據(jù)集、用于驗證的數(shù)據(jù)集和剩下的測試集，占總數(shù)據(jù)的比例分別為70%、20%、10%。將訓(xùn)練集的圖像通過Image Labeler標(biāo)注工具進(jìn)行人工標(biāo)注，隨后將訓(xùn)練集中的圖片隨機不重復(fù)地送入Faster RCNN網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。完成訓(xùn)練后的網(wǎng)絡(luò)將對驗證集中的圖像全部進(jìn)行檢驗，并隨機抽取測試集中的圖像進(jìn)行驗證。

3.3? ?實驗結(jié)果

將該訓(xùn)練好的模型分別對玉米、花生和豆子三種作物進(jìn)行測試，其中每種作物測試20 組圖像，得到如圖5所示的結(jié)果。圖5中測試圖序號表示從測試集中隨機抽取出的用來檢測網(wǎng)絡(luò)識別率、驗證網(wǎng)絡(luò)可行性的圖像的序號，也用于給得出的測試結(jié)果編號。

為了進(jìn)一步探究在不同的天氣條件下采用該算法對農(nóng)作物的識別能力，接下來分別在晴天和陰天對玉米、花生和豆子三種農(nóng)作物的實時識別率進(jìn)行了實驗。經(jīng)過多次實驗將玉米的識別率變化趨勢記錄在圖6中，三種作物平均識別率的對比則放在表2中。

由表2可以發(fā)現(xiàn)，在不同的天氣條件下該網(wǎng)絡(luò)均能夠較準(zhǔn)確地識別出農(nóng)田中的農(nóng)作物，同時算法也有著較快的識別速度，所以本文提出的農(nóng)作物識別方法可適用于不同天氣環(huán)境中的農(nóng)田作物識別與監(jiān)測的實時作業(yè)。

4? ?結(jié)論（Conclusion）

針對小樣本情況下導(dǎo)致的農(nóng)作物識別與檢測比較困難的問題，本文采用了一種新的改進(jìn)算法CCG Faster RCNN。該方法在網(wǎng)絡(luò)模型的訓(xùn)練階段就大大地降低了對真實樣本的大量需求。對不同天氣下該網(wǎng)絡(luò)識別率的測試結(jié)果表明，新的模型在一定程度上可規(guī)避天氣對其的影響。后續(xù)將對該算法更多可能的影響因素進(jìn)行測驗，使其能夠應(yīng)用于更多的場景。

參考文獻(xiàn)（References）

[1] 黎春翔.無人機電力巡檢圖像的缺陷檢測和信息量化[D].廣州：華南理工大學(xué)，2020.

[2] 張凌云.安防巡檢機器人導(dǎo)航系統(tǒng)設(shè)計與實現(xiàn)[D].成都：電子科技大學(xué)，2018.

[3] 徐思雅，邢逸斐，郭少勇，等.基于深度強化學(xué)習(xí)的能源互聯(lián)網(wǎng)智能巡檢任務(wù)分配機制[J].通信學(xué)報，2021，42（05）：191-204.

[4] 魏亞松，舒適.淺析無人機在精準(zhǔn)快速巡查秸稈禁燒工作中的作用[J].科技經(jīng)濟導(dǎo)刊，2019，27（10）：47，63.

[5] 王子彬.基于六旋翼無人機的農(nóng)業(yè)植保系統(tǒng)研究與設(shè)計[D].秦皇島：燕山大學(xué)，2018.

[6] 吳健宇.基于深度卷積神經(jīng)網(wǎng)絡(luò)的農(nóng)作物病蟲害識別及實現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[7] 陳小幫.基于深度學(xué)習(xí)的農(nóng)作物航拍圖像識別研究[D].廣州：廣東工業(yè)大學(xué)，2019.

[8] 張振洲，熊凌，李克波，等.基于改進(jìn)GoogLeNet的鋅渣識別算法[J].武漢科技大學(xué)學(xué)報，2021，44（03）：182-187.

[9] REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（06）：1137-1149.

[10] 余曉寧，顧桂梅，王陽萍，等.基于Faster R-CNN的接觸網(wǎng)吊弦故障檢測方法[J].蘭州交通大學(xué)學(xué)報，2021，40（02）：58-65.

[11] HE K， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[Z/OL]. （2018-01-24） [2021-08-07]. https：//arxiv.org/abs/1703.06870.

[12] 楊帆，梁敏健，楊寧祥，等.橋式起重機部件多任務(wù)學(xué)習(xí)Mask R-CNN分割與關(guān)鍵點識別方法[J].自動化與信息工程，2021，42（02）：14-18.

[13] SKANDARANI Y， JODOIN P M， LALANDE A. GANs for medical image synthesis： An empirical study[Z/OL]. （2021-07-19） [2021-08-07]. https：//arxiv.org/abs/2105.05318.

[14] ZHU J Y， PRAK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[Z/OL]. （2020-08-24） [2021-08-07]. https：//arxiv.org/abs/1703.10593.

[15] HE K， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition[Z/OL]. （2015-12-10） [2021-08-07]. https：//arxiv.org/abs/1512.03385.

[16] 王金娜，蘇杰，楊凱，等.基于Cycle-GAN的絕緣子圖像生成方法[J].廣東電力，2020，33（01）：100-108.

作者簡介：

張瑞森（2000-），男，本科生.研究領(lǐng)域：電氣工程及自動化.

萬興鴻（1999-），男，本科生.研究領(lǐng)域：自動化.

高? ? 昕（1981-），男，博士，講師.研究領(lǐng)域：智能感知與控制.