梁胤豪，陳 全，董彩霞，楊長才,4

（1. 西北大學數學學院，陜西 西安 710127；2. 福建農林大學農林大數據研究院，福建 福州 350002；3. 福建農林大學計算機與信息學院/數字福建農林大數據研究所，福建 福州 350002；4. 智慧農林福建省高校重點實驗室，福建 福州 350002）

0 引言

【研究意義】玉米是世界上最重要的谷類作物之一。玉米抽雄期是決定玉米產量最關鍵的時期，雄穗是判斷玉米是否進入抽雄期的主要依據。持續(xù)監(jiān)測玉米雄穗的生長可以確保玉米的安全性、質量和單產[1]。傳統(tǒng)育種中，雄穗主要依靠人為識別，效率低下，主觀成分高，識別的樣本量有限。因此，快速準確的鑒定對于更好地了解玉米的表型特征非常重要。【前人研究進展】隨著計算機視覺和基于圖像的植物表型平臺的發(fā)展，研究人員輕松獲得了高分辨率的植物生長圖像。搭載高清攝像機的無人機的最新應用發(fā)展極大地增加了樣本量[2-4]。深度學習算法已被廣泛用于計數莖[2]、幼苗數[3]和小麥穗數[4]。玉米雄穗的早期檢測算法是利用支持向量機方法[5]對圖像進行分割，但是，圖像捕獲過程的吞吐量較低，勞動強度大，無法應用于更大的領域。Lu等[6-7]開發(fā)了mTASSLE軟件，以自動細粒度機器視覺系統(tǒng)監(jiān)視玉米雄穗性狀的不同階段，并提出了TasselNet對玉米雄穗進行計數，但樣本數量仍然有限。Liu[8]通過基于無人機航拍圖像，采用Faster R-CNN目標檢測算法高通量的自動檢測雄穗數量，在15 m高度的無人機圖像中，檢測精度能達到90%，然而Faster R-CNN的模型參數較大，檢測速度相對較慢。【本研究切入點】衡量不同模型的性能，除了要采用相同的數據集，還要使用相同的評價準則。除了mAP指標外，預測的雄穗個數和真實的雄穗個數的差異也是衡量的重要指標?！緮M解決的關鍵問題】本研究利用無人機采集圖像數據，通過提高表現(xiàn)測量的通量，考量不同模型的檢測精度、檢測效率和參數大小，最終獲得一個檢測精度高、速度快、輕量且適合部署在無人機機載平臺上的模型。

1 材料與方法

1.1 試驗田、圖像采集和標簽

圖像數據集來自福建省南平市福建農林大學試驗田。試驗田一共種植了128行不同品種的玉米，每行30個重復。無人機采用大疆公司生產的Phantom4 Pro，通過無人機對試驗田進行航線規(guī)劃，選擇天氣晴朗、光照適度的天氣進行拍照?？紤]到無人機的續(xù)航能力及地面的分辨率，將無人機飛行高度設置為離地面25 m，攝像機分辨率為5 280×3 648像素，地面分辨率為1.0 cm·像素-1。航線規(guī)劃使用大疆的DJI Terra軟件（版本 2.2.0.15）（圖1），根據實際農田場景，設置航向重疊率和旁向重疊率為90%，無人機飛行速度由軟件自動設定，為1.2 m·s-1。共采集了236張?zhí)镩g玉米的圖像，為了減少數據處理時間，將原始圖像裁剪并過濾成分辨率為1 024×1 024的100張圖像。

圖1 無人機航線規(guī)劃Fig.1 Planning of UAV flight routes

使用圖像注釋工具LabelImg[9]對裁剪過的圖像進行雄穗邊界框標注（圖2）。圖2所示玉米雄穗的所有像素都在邊界框的范圍內。帶注釋的圖像根據3∶1比例隨機分為訓練驗證集和測試集。

1.2 目標檢測框架

圖2 試驗田、航線設置、DJI無人機與LabelImg數據標注Fig.2 Experimentation field, flight routes, DJI drone, and LabelImg data annotation

在圖像處理中，圖像里有多個感興趣的目標，不僅需要知道它們的類別，還需要得到它們在圖像中的具體位置。在計算機視覺里，這類任務稱為目標檢測（object detection）或物體檢測[10]。基于深度學習的目標檢測框架，目前主要分為兩類：一是基于one-stage的框架，如SSD[11]（Single Shot MultiBox Detector）、YOLO[12]（You Only Look Once）等，能夠同時完成檢測和回歸任務；另一類方法則是基于twostage的學習框架，將檢測任務分為回歸（location）和分類任務，如R-CNN、Fast R-CNN、Faster R-CNN[13]等。總體而言，two-stage框架任務準確率相對較高，但是運行速度比較慢；one-stage則能夠達到實時性，但犧牲了部分精度。

Faster R-CNN[13]采用池化的方法將訓練數據調整到統(tǒng)一尺寸，將分類與回歸任務合并到一起進行訓練，構建區(qū)域預測網絡（RPN）直接產生Region proposal來得到感興趣區(qū)域，利用這種方式實現(xiàn)端對端的訓練。YOLO v3[12]的基本思想主要是通過輸入圖像提取特征獲得特定大小特征圖，然后利用網格單元來進行預測并通過RPN預測一定的邊界框。SSD[11]使用了多尺度特征進行檢測，SSD不僅在最后的特征層上產生錨框，在幾個高層特征層處也都有產生錨框。同時SSD中所有特征層產生的錨框都經過正負樣本的篩選，然后進行分類分數以及邊框的學習。

1.3 目標檢測模型在玉米雄穗數據集上的訓練

試驗使用的框架基于 MXnet[14]和 GLounCV。MXNet是由DMLC（分布式機器學習社區(qū)）打造的深度學習框架，同時也是亞馬遜云官方深度學習框架，它集合了符號式編程以及命令式編程，能夠提供多樣化的環(huán)境，同時還有多種預訓練模型可供使用。GluonCV是MXNet的深度學習工具箱，提供了計算機視覺領域最先進的（SOTA）深度學習算法。模型訓練的試驗平臺參數如表1所示。

深度學習模型訓練中，batch-size的大小決定了深度學習訓練過程中完成每個單次訓練迭代（epochs）所需的時間和每次迭代（iteration）之間梯度的平滑程度[14]。學習率（learning rate）也是深度學習訓練中重要的超參數之一，當學習率設置過小時，收斂過程將變得十分緩慢。而當學習率設置的過大時，梯度可能會在最小值附近來回震蕩，甚至無法收斂。

對于目標檢測模型而言，不同的特征提取網絡對模型最終的效果也有極大影響?？紤]到基于無人機檢測玉米雄穗的實時性和機載平臺有限的計算資源，SSD的前置網絡除了采用網絡層數較多的ResNet50，還嘗試了更輕量型的mobilenet。結合試驗環(huán)境與數據類型，最終在Faster R-CNN，YOLO v3和SSD框架下設定訓練參數，如表2所示。

1.4 損失函數

Faster R-CNN的損失函數（Loss Function）如公式（1）：

表1 試驗硬件與軟件信息Table1 Information on hardware and software for testing

表2 模型訓練的超參數Table2 Hyperparameters for model training

Lcls是兩個類別的對數損失，函數為：

SSD的損失函數為：

YOLO v3的損失函數為：

1.5 模型評價

平均精確度（Mean of average precision，mAP）是目標檢測模型性能的衡量標準。mAP的計算涉及查準率和查全率，查準率（Precision）是指在所有預測為正例中真正例的比率，也即預測的準確性。查全率（Recall）是指在所有正例中被正確預測的比率，也即預測正確的覆蓋率。在目標檢測中，交并比IoU衡量的是兩個區(qū)域的重疊程度，是兩個區(qū)域重疊部分面積占二者總面積（重疊部分只計算一次）的比例。物體檢測中的每一個預測結果包含兩部分，預測框（bounding box）和置信概率（Pc）。當預測的類別正確且置信度大于一定閥值（P_threshold），并且預測框與真實框（ground truth）的IoU大于一定閥值（IoU_threshold）時，認為預測時正確的。在衡量模型性能時，IoU_threshold先取一個定值，然后綜合考慮各種P_threshold取值時的性能。設定不同的閾值，計算相應的Recall和Precision。在同一個坐標軸上，繪制Precision-Recall曲線，將曲線平滑化，并計算曲線的AUC（Area under curve），即為AP值。當檢測任務有多個類別時，mAP是各個類別AP的均值。

目標檢測技術在實際應用中除了對準確度有很高的要求，在速度上也要求模型能盡量快地進行感興趣物體的檢測。一般來說目標檢測中的速度評價指標有：（1）FPS，檢測器每秒能處理圖片的張數；（2）檢測器處理每張圖片所需要的時間。此外，在無人機上部署目標檢測模型也需要考慮機載平臺的內存資源有限，模型的大小決定所需占用的內存需求?；诖?，文章對模型的FPS和內存也進行對比。

2 結果與分析

2.1 Faster R-CNN、YOLO v3和SSD框架在數據集上的訓練與評估

Faster R-CNN模型的損失函數為RPN_conf、RPN_SmoothL1，Cross entropy和RCNN_SmoothL1，訓練過程的損失函數曲線如圖3-（1）所示；SSD模型的損失函數為Cross entropy和Smooth L1，基于ResNet50和mobilenet的SSD訓練過程的損失曲線分別如圖3-（2）和圖3-（3）所示；YOLOv3的如圖3-（4）所示。

從4個模型運行過程的損失函數中能夠清晰地看到，在經過300次迭代后，各框架的損失函數均已經趨于平穩(wěn)，驗證了試驗前期數據設置的合理性，具體數據如表3所示。從mAP的數值上來看，F(xiàn)aster R-CNN的數值最高，表示其檢測精度最高。YOLO v3和Faster R-CNN相當，而SSD_ResNet50和SSD_mobilenet的mAP值都相對較低，分別為0.490 5和0.578 0。

2.2 模型在測試數據上的測試結果

在同一硬件資源和數據集下，分別使用Faster RCNN、YOLO v3和SSD等3種主流目標檢測框架進行對比，其中考慮到實際使用中需要在無人機機載平臺上輕量級的部署訓練好的模型，SSD的特征提取網絡除了使用ResNet50，還使用了mobilenet。對已經標記好的25張玉米雄穗訓練集進行測試，并對最終的訓練結果進行了分析對比。

特征提取網絡使用mobilenet的SSD網絡對圖像中雄穗的訓練識別結果如圖4所示；特征提取網絡使用ResNet50的SSD網絡對圖像中雄穗的訓練識別結果如圖5所示；在Faster R-CNN框架下，對圖像中玉米雄穗的訓練識別結果如圖6所示；在YOLOv3框架下，對圖像中玉米雄穗的訓練識別結果如圖7所示。從3種前沿框架的處理結果能夠看到：在相同數據集和與硬件平臺基礎上，one-stage架構的YOLO v3的測試效果相比于Faster R-CNN與SSD要差，圖像中許多十分明顯玉米雄穗都并未被識別出來，整體情況如圖8所示。YOLO v3在對玉米雄穗的判別上，誤差也較為明顯，整體誤差相對較大，并未實現(xiàn)精準高效的判別效果。

圖3 模型在訓練過程中的損失函數曲線Fig.3 Loss function of model during training

表3 模型的mAP Table3 mAPs of models

圖4 SSD_mobilenet的預測結果Fig.4 Prediction by SSD-mobilenet

圖5 SSD_ResNet50的預測結果Fig.5 Prediction by SSD_ResNet50

圖6 Faster R-CNN的預測結果Fig.6 Prediction by Faster R-CNN

圖7 YOLO v3的預測結果Fig.7 Prediction by YOLOv3

使用基于ResNet50的SSD模型和基于mobilenet的SSD模型則基本上實現(xiàn)了對玉米雄穗的識別，但在光線不足或者過度曝光的圖像中，依然存在漏檢的情況，如圖4、圖5和圖8所示。相比之下，F(xiàn)aster R-CNN模型實現(xiàn)了對玉米雄穗的準確判別。在部分樣本中，在出現(xiàn)光線過度曝光以及顏色干擾等極端的情況，基于Faster R-CNN框架的依然能夠做到相對精準的判別，部分案例如圖6和圖8所示。

總體而言，在模型的預測上，F(xiàn)aster R-CNN識別精度最高，漏檢和誤檢率最低；YOLO v3識別精度最低，漏檢和誤檢率最高（表4）。SSD_ResNet50和SSD_mobilenet的識別精度略低于Faster R-CNN。

圖8 模型的預測結果對比Fig.8 Comparison of predictions by various models

表4 模型的測試誤差和計數準確率比較Table4 Comparison of test errors and detection accuracies by models

在模型對玉米雄穗的計數上，根據計算預測的框數和實際的雄穗數據做誤差分析，結果顯示（表4），F(xiàn)aster R-CNN準確率最高，達到93.79%，SSD_ResNet50和SSD_mobilenet的準確率分別為87.6%和89.9%；YOLO v3的mAP值較高（表3），但是實際測試的計數準確率卻非常低，僅有20.04%。在模型的訓練過程中，繪制出4種算法的mAP變化曲線，如圖9所示。

2.3 模型的性能比較

實際應用中，除了要考慮模型的精度和誤差，還要綜合考慮模型的性能，主要包括模型的處理速度和參數大小。

在數據的處理速度上，3種模型的處理性能也是差異明顯（表5）。從表5可以看出，F(xiàn)aster R-CNN處理性能最差，為2.6 samples·s-1（每秒處理的樣本數）；SSD_ResNet50 的檢測效率為 7.4 samples·s-1；YOLO v3 為3.47 samples·s-1，最快的是 SSD_mobilenet，處理速度為8.9 samples·s-1，領先優(yōu)勢十分明顯。SSD的效率較高，但是精度不高；Faster-RCNN的效率較低，但是精度比較高。

圖9 模型訓練過程的mAP曲線Fig.9 mAP curves of models in testing

無人機對田間玉米進行大規(guī)模掃描成像后，需要及時、快速地計算出檢測結果，并且無人機的機載資源有限，續(xù)航能力也限制了無人機的應用。因此，在模型的選擇上，除了要考慮精度、速度，也要考慮模型的大小。模型越小，占用的計算資源越小，從而更容易部署在無人機系統(tǒng)上。各個模型在訓練之后，保存到內存中，通過計算文件的大小來衡量模型的尺寸。如表表5所示，SSD_mobilenet模型的參數最小，僅有55.519 M；YOLO v3占用資源最大，占用了241.343 M的存儲；Faster R-CNN和SSD_ResNet50大小相當，分別為133.873 M和 144.277 M。僅從模型大小上來說，SSD_mobilenet更適用于無人機的機載系統(tǒng)部署，因為其所占用的資源較小。

表5 模型的處理速度和參數大小比較Table5 Comparison of processing speeds and parameters of models

3 討論與結論

通過使用深度學習目標檢測中的Faster R-CNN、SSD以及YOLO v3等3種主流的框架，對標注好的玉米雄穗數據集進行訓練和識別。在選定硬件與軟件平臺的基礎上，通過設置損失函數、迭代次數、學習率等參數，對數據進行訓練與測試。以識別精度、計數精度、處理速度和模型大小等重要指標作為評價標準，并結合最終處理效果作為對比，F(xiàn)aster R-CNN框架識別精度和計數準確上最高。而對于模型的處理速度和模型的大小，SSD_mobilenet處理效率最高，模型占用計算資源最小。

Faster R-CNN的計數準確率為93.79%，SSD_mobilenet的計數準確率為89.9%；處理速度上，SSD_mobilenet為 8.9 samples·s-1， Faster R-CNN 僅 為 2.6 samples·s-1，SSD_mobilenet的速度比 Faster R-CNN 低了近3倍；模型大小上，F(xiàn)aster R-CNN高出SSD_mobilenet近2倍。相對于Faster R-CNN，SSD_mobilenet犧牲部分精度，獲取更快的處理速度和占用更小的計算資源，是比較理想的機載模型選擇。

從試驗整個過程的識別精度中也能看出，三大主流框架中Faster R-CNN的整體表現(xiàn)最好，整體曲線趨于平穩(wěn)；而YOLO v3識別精度曲線則是波動劇烈，同時在整個處理期間都存在明顯波動。

雖然經過試驗，F(xiàn)aster R-CNN、YOLO v3和SSD的對比分析中，F(xiàn)aster R-CNN和SSD已經實現(xiàn)了精準高效的自動判別，但是本研究工作依然存在一定的缺陷與不足。尤其是前期遙感數據采集過程中因為天氣等原因，出現(xiàn)了圖像質量不夠完美，部分樣張因為拍攝角度和光線的問題被剔除，對樣本數據量造成了一定的影響，也對后期識別造成了一定的干擾。

雖然Faster R-CNN模型最終達到了預期效果，但在處理過程中依然存在數據設定不夠完善的情況，影響了最終數據的識別效果。在硬件方面，更好的硬件平臺可以實現(xiàn)對數據更加充分高效的處理，本次試驗設備處理性能相對一般，并未徹底的展現(xiàn)出各模型的優(yōu)劣，最終也影響了處理性能與數據的處理效果。