曹英麗，江凱倫，于正鑫，肖 文，劉亞帝

（沈陽農(nóng)業(yè)大學 信息與電氣工程學院/遼寧省農(nóng)業(yè)信息化工程技術(shù)中心，沈陽 110161）

紋枯病是水稻發(fā)生最為普遍的主要病害之一，其致病病原菌為立枯絲核菌，在葉鞘表面形成侵染結(jié)構(gòu)并吸收水稻營養(yǎng)，使葉鞘、葉片和谷殼感染病菌，造成谷粒不飽滿，空殼率增加，嚴重的可引起植株倒伏枯死，導致水稻減產(chǎn)20%～50%[1]。 近20 年來，中國北方稻區(qū)紋枯病發(fā)生逐漸加重，由于此病發(fā)生面積廣、流行頻率高，所致?lián)p失往往超過稻瘟病[2]。 在實際生產(chǎn)中，農(nóng)民和從事相關(guān)研究人員通過人工目測來識別水稻紋枯病，但由于光線、雜草、枯葉等外在自然因素，加上自身的判斷能力有限，導致對水稻的病害等級誤判，從而延誤對水稻病害的防治或者藥劑使用量不當，造成水稻減產(chǎn)、經(jīng)濟成本的增加、環(huán)境污染等不利后果。 因此，對水稻病害檢測的傳統(tǒng)方法不僅效率低，而且嚴重影響病害預報的準確率。

計算機圖像處理和識別技術(shù)的發(fā)展給水稻的病害準確識別帶來了可能。 袁媛等[3]采用圖像切割方法提取水稻紋枯病病斑特征，通過支持向量機對其進行識別。 其特征提取具有非實時性[4]，而且基于顏色空間特征的圖像分割法有一定的局限性，難以對不同性狀的病斑進行識別檢測。 LIANG 等[5]將圖像分割成子圖形式，通過傳統(tǒng)的CNN 來提取子圖中的水稻病斑的特征，實現(xiàn)對水稻稻瘟病的識別。 但準確率受背景影響較大，如將水珠、光斑、枯葉等錯誤識別成病斑，不能在原有的復雜背景下準確識別病害。譚云蘭等[6]采用卷積神經(jīng)網(wǎng)絡(luò)模型，對自然場景下的多類水稻病害圖像進行分類，運用fine-tune 方法使識別精度大幅提高，但其不能對病斑進行準確定位，而且當一張圖中同時存在多種病害會影響識別精度。而對于傳統(tǒng)的CNN 分類網(wǎng)絡(luò)，是采用不同大小的窗口在整張圖像上，以一定的步長進行滑動，再對這些窗口對應的區(qū)域做圖像分類，以實現(xiàn)對整張圖像的檢測。由于檢測目標大小的不確定性，需要設(shè)置不同大小和比例的滑動窗口和合適的步長，導致產(chǎn)生很多需要通過分類器做預測的子區(qū)域，使計算量變得龐大，具有網(wǎng)絡(luò)訓練和檢測效率低的特點。 而對于YOLO 系列[7-8]的檢測算法，則是采用全卷積將原始圖像分割成互不重合的網(wǎng)格，再通過卷積產(chǎn)生特征圖，而每個元素都對應原始圖像的一個網(wǎng)格，利用每個元素來預測那些中心點在該網(wǎng)格內(nèi)的目標，可以極大提高了檢測速度[9]。

鑒于此，本研究通過深度卷積神經(jīng)網(wǎng)絡(luò)，綜合借鑒YOLOv1、YOLOv2 和Faster R-CNN[10]算法，設(shè)計了一個完全基于水稻紋枯病的檢測識別網(wǎng)絡(luò)，該網(wǎng)絡(luò)具有優(yōu)越的特征提取能力和良好的實時識別效果，能夠?qū)ψ匀粓鼍跋滤緢D像中的紋枯病病斑進行目標檢測和識別，為病害診斷提供有用信息。為了驗證該網(wǎng)絡(luò)在此目標檢測下的優(yōu)異性，將其與相同條件訓練之后的YOLOv1、YOLOv2 和Faster R-CNN 3 種網(wǎng)絡(luò)進行性能對比。 另外，為了使做為訓練樣本的水稻圖像具有多樣性，試驗田內(nèi)栽種5 個不同的水稻品種，另外設(shè)置了4 個不同的施氮水平，并在不同的天氣下采集圖像樣本，而且對所采集的圖像進行擴增處理，使訓練樣本達到千量級別，以保證該網(wǎng)絡(luò)對于水稻紋枯病的目標檢測識別，具有一定的普適性和魯棒性。

1 材料和方法

1.1 試驗材料

試驗于2019 年在沈陽農(nóng)業(yè)大學北方粳型超級稻成果轉(zhuǎn)化基地進行，試驗設(shè)計4 個施氮水平N0-N3：N0對照（0kg·hm-2）、N1（150kg·hm-2）、N2（240kg·hm-2）、N3（330kg·hm-2）；5 個遼寧地區(qū)主栽品種 V1～V5：V1（399）、V2（鹽豐 47）、V3（橋潤粳）、V4（美豐稻）、V5（鹽粳糯 66），共 20 個小區(qū)，分布圖如圖 1，每個小區(qū)面積為5m×20m=100m2。 水稻紋枯病影像從水稻抽穗期到齊穗期分3 次進行采集，3 次測試的天氣分別是陰、晴、小雨，在不同的氣候條件下，手持數(shù)碼相機（攝像頭型號為索尼 imax586，分辨率為 2250×4000pixel）入田采集水稻莖稈下部1/3 處，平行水稻莖稈方向，正射拍攝，每個試驗小區(qū)采集圖像15 張，共采集900 張水稻紋枯病的植株圖像，以JPG 格式存儲，所有圖像調(diào)整為450×800pixel，人工對數(shù)據(jù)集進行標注，對形狀不規(guī)則的紋枯病病斑采用形狀規(guī)則的矩形離散化標記，用鼠標框選取目標物，使矩形框和紋枯病病斑包含的像素點面積盡可能一致，構(gòu)建水稻紋枯病圖像數(shù)據(jù)集，如圖2，其中1 張圖片中可包含多個待檢測的紋枯病病斑目標。

圖1 試驗田俯瞰圖,V1～V5 為5 種不同的水稻品種，N1～N4為不同的氮肥處理Figure 1 Field view, V1-V5 shows five different rice varieties, and N1-N4 shows different nitrogen treatments

圖2 部分水稻紋枯病圖像數(shù)據(jù)集Figure 2 Part of the image data set of rice sheath blight

1.2 數(shù)據(jù)增強

數(shù)據(jù)增強可通過在訓練期間隨機變換原始數(shù)據(jù)來提高網(wǎng)絡(luò)準確度[11]。 通過使用數(shù)據(jù)增強，可以為訓練數(shù)據(jù)添加更多變化，但又不必增加帶標簽訓練樣本的數(shù)量。 對原有900 張圖像數(shù)據(jù)集增強處理，應用隨機水平翻轉(zhuǎn)和隨機X/Y 縮放，如果縮放后目標框與邊界外重疊大于0．25 將會被裁剪。 同時，對圖像進行色彩抖動（Color jit鄄tering）和對比度變換（Contrast transformation）[12]。

色彩抖動：HSV 顏色空間隨機改變圖像原有的飽和度和亮度（即，改變S 和V 通道的值）或?qū)ι{(diào)(Hue)進行小范圍微調(diào)。

對比度變換：在圖像的HSV 顏色空間，改變飽和度S 和V 亮度分量，保持色調(diào)H 不變。 對每個像素的S 和V 分量進行指數(shù)運算（指數(shù)因子在 0．25～4 之間，隨機選?。?，增加光照變化。

通過隨機水平翻轉(zhuǎn)圖像和相關(guān)顏色空間來增強訓練數(shù)據(jù)。 但數(shù)據(jù)增強不適用于測試數(shù)據(jù)，測試數(shù)據(jù)應代表原始數(shù)據(jù)并且保持不變，以便進行無偏差的評估。 網(wǎng)絡(luò)訓練隨機選取70%的圖像樣本作為訓練集，10%作為驗證集，剩余20%作為測試集。

2 建立水稻紋枯病檢測識別模型

圖3 數(shù)據(jù)增強示例Figure 3 Data augmentation example

2.1 模型架構(gòu)

本研究綜合借鑒YOLOv1、YOLOv2 和Faster R-CNN 算法，設(shè)計了一個基于深度卷積神經(jīng)網(wǎng)絡(luò)的水稻紋枯病識別網(wǎng)絡(luò)，結(jié)構(gòu)如圖4，以下簡稱為YRSNHT。 該網(wǎng)絡(luò)通過圖像特征預測水稻紋枯病病斑的邊界來實現(xiàn)對水稻紋枯病的檢測識別。 在YOLOv1 算法中，是采用由24 個卷積層構(gòu)成的卷積網(wǎng)絡(luò)來提取特征，然后使用全連接層來輸出邊界框（bounding box）的信息。 Darknet-19 作為優(yōu)異的特征提取網(wǎng)絡(luò)而被廣泛應用[13]，因此對于YRSNHT，CNN 部分采用Darknet-19 作為基礎(chǔ)結(jié)構(gòu)，但對其進行了部分調(diào)整，并刪除冗余的卷積層和池化層，結(jié)構(gòu)信息如圖5。 另外，YRSNHT 對于邊界框的坐標不是由卷積后的全連接層得到，而是與YOLOv2 相同，借鑒Faster R-CNN 算法，利用錨盒（anchorbox）機制[9]來輸出邊界框。

YRSNHT 將輸入的圖像分割成大小相等、互不重合的Sr×Sc個網(wǎng)格，并為每個網(wǎng)格產(chǎn)生B 個預測器，輸出B組預測值。 如果圖像中的1 個網(wǎng)格內(nèi)含有某個檢測目標的中心點，則由該網(wǎng)格對應的B 個預測器來負責檢測該目標。 每個預測器輸出1 個邊界框信息，包括該邊界框中心點偏移相關(guān)的tx、ty和尺寸相關(guān)的tw、th，以及與其中包含待檢測目標置信度相關(guān)的tCI，由于本網(wǎng)絡(luò)不涉及分類，只有1 類目標，所以與YOLO 算法不同的是不計算邊界框類別得分項，一定程度上減少了計算量。 因此，YRSNHT 的CNN 部分輸出特征圖的維數(shù)應為（B×5）×Sr×Sc，B 表示預測器個數(shù)，B×5 為特征圖的通道數(shù)，Sr×Sc表示圖像網(wǎng)格的個數(shù)。 B、Sr和 Sc為 YRSNHT 的超參數(shù)。

圖 4 水稻紋枯病識別網(wǎng)絡(luò)（YRSNET）架構(gòu) ，Sr 、Sc 為網(wǎng)格行、列數(shù)，B 為預測器數(shù)，tx 、ty 、tw 和 th 為預測值Figure 4 Rice sheath blight identification network (YRSNET) framework

圖5 水水稻紋枯病識別網(wǎng)絡(luò)（YRSNET）CNN 結(jié)構(gòu)信息Figure 5 CNN structure information of rice sheath blight identification network (YRSNET)

2.2 目標邊界框的預測

邊界框的大小與位置可以用 4 個值（bx，by，bw，bh）來表征：由預測器輸出，實現(xiàn)目標的位置預測。 其中，bx和 by為邊界框的中心坐標，是對應網(wǎng)格左上角坐標（cx，cy）的偏移值，用歸一化值描述該偏移，即偏移范圍為0～1，保證每個邊界框的中心點均落在其對應的網(wǎng)格中，用Sigmoid 函數(shù)σ 使σ（tx）、σ（ty）落入該范圍。 每層預測器關(guān)聯(lián)1 種預定義尺寸的錨盒，寬和高表示為pw和ph。 而錨盒的尺寸和數(shù)量通過使用K-means[14]方法對數(shù)據(jù)集中的目標框維度聚類得出。

bw、bh是邊界框的寬與高，由對應的關(guān)聯(lián)錨盒的橫縱方向的縮放因子 ηwσ（tw）和 ηhσ（th）間接計算得出，ηw、ηh表示輸入圖像和最小錨盒的橫縱比值。 網(wǎng)格的左上角坐標用網(wǎng)格編號表示，錨盒尺寸用相對于輸入圖像的歸一化尺寸表示。 則邊界框的歸一化坐標表示為：

而每個邊界框的預測值包含 5 個元素，bx、by、bw、bh，CI，其中，前 4 個元素表征邊界框的大小與位置，CI 表示置信度，定義為 Pr（object）×10Utruthpred。 其中，Pr（object）表示該邊界框含有目標的概率，當該邊界框是背景時，即不包含目標，此時 Pr（object）=0，而當該邊界框包含目標時，Pr（object）=1，即：

10Utruthpred表示該邊界框的準確度，反映預測框和目標真實框的吻合程度，用預測框與實際框(groundtruth)的面積交并比IOU(intersectionoverunion)計算得出，即：

而置信度范圍為 0～1，YRSNHT 用 σ 函數(shù)使 σ(tCI)落入該范圍，即：

對于錨盒的數(shù)量是由水稻紋枯病的圖像的數(shù)據(jù)集中的目標框維度聚類得到，錨盒個數(shù)與k 值相等；使用不同的 k 值得到不同的 Mean IOU， 隨著 k 值的增加，Mean IOU 的值也增大， 變化曲線如圖 6。 當 k＜5 時，Mean IOU 變化得較快；當k＞5 時，Mean IOU 變化較慢。 綜合考慮網(wǎng)絡(luò)模型的復雜度和檢測速度，選擇錨盒的個數(shù)為5，錨盒尺寸參數(shù)：(54，25)，(167，31)，(125，48)，(330，43)，(90，33)，Mean IOU 值為 0．7417。

另外當一個目標被多次檢測時，采用非極大值抑制算法(nonmaximumsuppression，NMS)[15]，只輸出其中唯一的最優(yōu)預測框。首先從同一目標的所有預測框中找到置信度CI 值最大的預測框，逐個計算其與剩余框的IOU值，若其值大于預定義的閾值，表示重合度過高，那么就將該預測框剔除； 然后對剩余的檢測框重復上述過程，直到處理完所有的檢測框。 NMS 對YOLO 算法的影響是顯著的，采用NMS 算法可以提高識別的精確度[16]。

2.3 網(wǎng)絡(luò)訓練目標

YOLO 算法對于目標檢測具有回歸思想，采用最小化均方差損失函數(shù)作為訓練目標。本研究不涉及分類問題，只考慮坐標誤差，無分類誤差。坐標誤差，即邊界框?qū)嶋H坐標與預測坐標的誤差，但其中不同的部分采用了不同的權(quán)重值。 區(qū)分不含目標的邊界框與含有目標的邊界框的置信度，對于前者，采用較小的權(quán)重值λnoobj=0．5，其它權(quán)重值均設(shè)為1；對于均方誤差，由于較小的邊界框的坐標誤差要比較大的邊界框更為敏感[7]，所以將網(wǎng)絡(luò)的邊界框的寬與高的預測改為對其平方根的預測，即數(shù)Loss 計算為：

圖6 不同k 值下的Mean IOU 變化曲線Figure 6 Mean IOU change curve under different k values

式中：第1 項是邊界框中心坐標的誤差項，Iobjij指的是第i 個網(wǎng)格存在目標，且該網(wǎng)格中的第j 個邊界框負責預測該目標：第2 項是邊界框的高與寬的誤差項；第3 項是包含目標的邊界框的置信度誤差項；第4 項是不包含目標的邊界框的置信度誤差項。

2.4 網(wǎng)絡(luò)訓練

計算機配置信息：顯卡為Inter(R)HDGraphics620，處理器為Inter(R)Core(TM)i5-7200U，主頻為2．5GHz，內(nèi)存為64G，操作系統(tǒng)為Windows10。 網(wǎng)絡(luò)的訓練目標是最小化目標函數(shù)Loss(式4)。

設(shè)置YRSNHT 的網(wǎng)絡(luò)超參數(shù)Sc=15，Sr=25，B=5，其輸入圖像大小為450×800pixel。網(wǎng)絡(luò)訓練參數(shù)：訓練階段動量項(momentum)為 0．9，衰減系數(shù)(decay)為 0．0005；batch 大小為 32，每個 Hpoch 設(shè)置為 1000 次。 共迭代訓練30 個Hpochs。 其中分為3 個訓練階段，快速訓練(1th-5th Hpoch)、精準訓練(6th-15th Hpoch)和優(yōu)化訓練(16th-30th Hpoch)。 在快速訓練階段，為加速模型的收斂，權(quán)值學習率的值較大，設(shè)置為0．02；精準訓練階段是為精調(diào)模型，將權(quán)值學習率減小為0．002；優(yōu)化訓練階段，權(quán)值學習率為0．0002。 模型訓練過程中，保存每個Hpoch 的權(quán)重文件。 模型迭代訓練過程中的， 訓練模型在迭代代數(shù)為25 時之后的損失值趨于平穩(wěn) （圖7）， 因此對于YRSNHT 選擇迭代訓練第25 個Hpoch 中最優(yōu)的權(quán)重文件作為識別模型。

本研究從查準率(precision)、查全率(recall)、平均精度(mAP)和F1 這4 個參數(shù)對YRHSNHT 檢測網(wǎng)絡(luò)的性能進行評估。 在不同網(wǎng)絡(luò)模型中，與置信度相關(guān)的檢測閾值的差異會導致PR(precision-recall)曲線變化，而由PASCALVOC[18]提 出 的 mAP(meanAveragePrecision)可 作為任何模型的評估指標，其由特定檢測閾值下的查準率和查全率計算得出。

式中：tp 為正確檢測的樣本數(shù)量 （truepositives，tp）；fp 為錯誤檢測值樣本數(shù)量 （false positives，fp）；fn 指漏檢的物體數(shù)（false negatives，fn）；F1 為衡量二分類的模型精度的指標，其值越大代表模型訓練效果越好[17]。

閾值取值越大，平均精度就越高，平均查全率就越低；閾值越小，則反之[19]。對于本研究檢測閾值的設(shè)定，采用不同的檢測閾值在訓練集和測試集檢測后得到的結(jié)果如表1， 其中綜合訓練集和測試集的平均精度和平均查全率，最終選取檢測閾值為0．4，在此檢測閾值下，precision-recall 曲線變化如圖8。

表1 不同檢測閾值下的檢測結(jié)果Table 1 Detection results under different detection thresholds

3 結(jié)果與分析

圖 8 PR(precision-recall)曲線Figure 8 PR(precision-recall) curve

為了比較YRSNHT 與其他3 種網(wǎng)絡(luò)對于水稻紋枯病的檢測識別能力，在相同條件下用相同圖像數(shù)據(jù)集，分別在這YOLOv1、YOLOv2 和Faster R-CNN 上進行網(wǎng)絡(luò)訓練，在相同的測試集上測試，試驗對比效果見表2。可以看出， 在此研究中，YRSNHT 對于水稻紋枯檢測識別的性能優(yōu)于其他3 種網(wǎng)絡(luò)，mAP 和recall 分別達到84．97%和 77．62%，檢測一張 450×800pixel 大小的圖像速度到達 31．45 幀·s-1。

Faster R-CNN 的背景的誤判率遠大于其他3 種網(wǎng)絡(luò)（其中背景誤判率定義為只含有背景預測框的數(shù)目與預測框總數(shù)的比值），而且檢測速度較慢，那是因為Faster R-CNN 是針對特征圖的每個像素都產(chǎn)生先驗框，而YOLO 算法中是將原圖分成網(wǎng)格的策略，所以其檢測速度更快、背景誤判率會更低，但Faster R-CNN 的查準率高于YOLOv1 和YOLOv2，其中錨盒扮演著關(guān)鍵性的作用[20]。而YRSNHT 采用YOLOv1、YOLOv2 中具有回歸思想的網(wǎng)絡(luò)結(jié)構(gòu)，又借鑒Faster R-CNN 的錨盒機制，其對于水稻紋枯病的檢測表現(xiàn)更出色的識別能力。

綜上可見，對于水稻紋枯病的檢測識別，YRSNHT 模型更能滿足實時性的要求。由圖9 可知，YRSNHT 能有效識別水稻植株圖像中的紋枯病病斑，其輸出的預測框（圖9 中包圍病斑的矩形框）能較好的覆蓋所識別的目標對象。 也可以看出，YRSNHT 能夠很好的區(qū)分枯葉和病斑，對未聚焦的模糊病斑也具有一定的識別效果。

表2 試驗效果對比Table 2 Comparison of test results

圖9 YRSNET 的識別結(jié)果示例Figure 9 Examples of YRSNET's recognition results

4 討論與結(jié)論

在本研究中， 基于深度卷積神經(jīng)網(wǎng)絡(luò)， 綜合借鑒具有回歸思想的YOLOv1、YOLOv2 和具有錨盒概念的Faster R-CNN，設(shè)計了一種完全基于水稻紋枯病檢測識別網(wǎng)絡(luò)：YRSNHT。 本研究將特征提取能力強的Darknet-19 應用在YRSNHT 的卷積部分，并對其進行調(diào)整，刪除部分冗余的卷積層和池化層，來提高網(wǎng)絡(luò)的檢測速度和訓練速度。通過對源圖像數(shù)據(jù)進行k 均值聚類，得到特定數(shù)量和特定尺寸的錨盒，結(jié)合應用在此檢測網(wǎng)絡(luò)中，來提高檢測性能。 另外，在網(wǎng)絡(luò)訓練中，不同于傳統(tǒng)機器學習中使用固定不變的學習率，而是采用不同大小的數(shù)值，將訓練階段分成快速訓練、精準訓練和優(yōu)化訓練3 個階段，使目標函數(shù)值更快速的達到收斂，從而高效率地完成網(wǎng)絡(luò)訓練。 在最終訓練好的YRSNHT 上采用不同的檢測閾值，對測試集和訓練集進行測試，根據(jù)結(jié)果確定0．4 作為最佳的檢測閾值。

YRSNHT 對水稻紋枯病病斑的自動識別取得了令人滿意的結(jié)果，而且YRSNHT 具有實時性檢測的要求，平均檢測一張大小為 450×800pixel 的圖像僅需 32．26ms，查準率、查全率分別達到 90．21%、77．62%。本研究在不同的同自然光線下，采集了染有紋枯病的不同種類水稻植株的樣本圖像，并做了圖像擴增處理，使訓練網(wǎng)絡(luò)的數(shù)據(jù)集充足，保證了YRSNHT 具有一定的普適性和魯棒性。 此外，將其與另外3 種網(wǎng)絡(luò)進行了對比，基于此研究中的水稻紋枯病圖像測試集，YRSNHT 表現(xiàn)出了更高的識別精度，相比于YOLOv1、YOLOv2 和Faster RCNN，mAP 分別提高 22．08%、17．54%和 11．43%。

在未來的試驗驗研究中，將會采集不同種類的水稻病害圖像，構(gòu)建水稻病害圖像集，來設(shè)計出一種能夠?qū)Χ喾N不同水稻病害檢測和分類的網(wǎng)絡(luò)模型，實時識別和分類水稻病害，為水稻病害診斷提供有用信息。