張林朋 楊紅云* 錢 政 郭紫微

(1.江西農業(yè)大學 軟件學院,南昌 330045;2.江西農業(yè)大學 計算機與信息工程學院,南昌 330045)

在水稻的栽培管理中,氮肥對其產量的貢獻率約占50%[1],過量施氮則會在土壤中遺留大量氮元素,不僅造成了氮肥的浪費,而且對環(huán)境產生一定的污染[2]。精準施氮能夠減少水稻生長過程中的無效分蘗,提高有效成穗率,優(yōu)化群體結構,改善田間植株的生長狀況,減少病蟲害的發(fā)生率,從而提升水稻的產量[3]。因此,對施氮量的管理至關重要,對水稻氮素營養(yǎng)快速準確診斷能夠有效的指導合理施氮[4]。

目前,氮素營養(yǎng)診斷主要包括化學分析[5]、光譜遙感[6]、便攜式葉綠素儀[7](Soil and plant analyzer development,SPAD)和數字圖像技術[8]等。雖然這些技術在一定的條件下可以進行氮素營養(yǎng)診斷,但化學分析需要在實驗室進行處理且對相關專業(yè)的要求較高[9],光譜遙感試驗儀器昂貴,對專業(yè)的要求較高[10],便攜式SPAD儀需要多點重復測量且SPAD值易受光照影響[11-12],數字圖像技術需要人為的設計、提取和優(yōu)化特征,且提取過程較為繁雜,未考慮到模型的自主學習。

近年來,隨著深度學習等技術的廣泛應用,使用深度學習等技術用于識別病蟲害,識別雜草,營養(yǎng)診斷等也越來越廣泛[13]。熊俊濤等[14]使用遷移學習和改進的VGG16模型對大豆葉片缺素數據集進行訓練,該模型在測試集上的準確率為89.42%。Kusanur等[15]使用經遷移學習的Inception-V3、ResNet50和VGG16網絡模型分別對番茄植物營養(yǎng)缺乏性進行預測和分類,結果表明Inception-v3模型的準確率達到99.99%。Xu等[16]通過微調4種最先進的DCNN：Inception-v3、ResNet50、NasNet-Large和DenseNet121,在水培試驗獲取的水稻葉片圖像數據集上進行訓練,所有的DCNN在測試準確率均在90%以上。潘圣剛等[17]研究表明,水稻氮素吸收及快速積累的主要時期是在分蘗期和拔節(jié)期。本研究擬在水稻生長的幼穗分化期和齊穗期,分別采集4種不同氮素水平的葉片圖像,使用改進的VGG 16網絡和遷移學習相結合的方法,構建水稻氮素營養(yǎng)診斷模型,以期為水稻等作物的氮素營養(yǎng)診斷建模提供理論依據。

1 材料與方法

1.1 試驗區(qū)概況及試驗設計

于2017-06-14開始在江西省南昌市成新農場(116°15′ E,28°92′ N)進行水稻氮素營養(yǎng)試驗。經測定稻田土壤基本理化性質為：pH 5.30、有機質24.40 g/kg、全氮1.40 g/kg、有效磷12.70 mg/kg、速效鉀123.0 mg/kg[18]。

以超級雜交稻‘兩優(yōu)培九’(Liangyoupei 9,LYP9)為供試品種,其最佳施氮(純氮)量為210～300 kg/hm2[19]。本研究設置N1、N2、N3和N4共4組不同的施氮水平：施氮量分別為0、210、300和390 kg/hm2。將水稻種植于小區(qū)中,小區(qū)隨機區(qū)組排列,每小區(qū)面積5 m×6 m=30 m2,小區(qū)間筑土埂隔開,并用塑料薄膜覆蓋埂體,單灌單排,重復3次。氮肥按m(基肥)∶m(分蘗肥)∶m(穗肥)=2∶1∶2施用。鉀肥按m(分蘗肥)∶m(穗肥)=7∶3施用,磷肥一次性做基肥施用。各施肥區(qū)域中磷、鉀肥用量相等,即P2O5為225 kg/hm2和K2O為300 kg/hm2。供試肥料分別為尿素(含N量46%)、氯化鉀(含K2O 量60%)和鈣鎂磷肥(含P2O5量12%)[19]。人工移植前1 d施用基肥,人工移植后7 d施用分蘗肥,在葉齡余數1.5左右施用穗肥料[20]。于5月25日播種,6月14日人工移栽,栽插密度為13.3 cm×26.6 cm,其他操作均按常規(guī)的高產栽培要求進行。

1.2 水稻葉片圖像獲取

本試驗所用掃描設備為MICROTEK掃描儀(型號MRS-9600TFU2L,上海中晶科技有限公司生產,分辨率600 dpi),于水稻幼穗分化期(2017-07-24)和齊穗期(2017-08-24)掃描獲取水稻圖像,每次掃描獲取960張,其中每個時期水稻的頂一葉、頂二葉、頂三葉圖像均為320張(葉片圖像包含對應葉鞘圖像),共計1 920張2 515像素×3 997像素的水稻圖像。每一張水稻圖像視為一組水稻數據。因水稻葉片過長[21],為便于掃描圖像,將每片葉片分為葉中和葉尖部分,平鋪在同一大小的白色紙張上,同時放置對應葉片的葉鞘和一個已知大小的參照物,以便后續(xù)試驗處理。

1.3 葉片圖像預處理

本研究對水稻葉片圖像進行處理,從而獲取完整的水稻葉片。因在掃描圖像的過程中,有部分水稻葉片產生折疊、蜷縮等現象,將其去除。水稻生長幼穗分化期和齊穗期圖像數據集見表1。本試驗獲取的實際數據量為1 832張,其中幼穗分化期的圖像為902張,齊穗期的圖像為930張。部分幼穗分化期的水稻葉片圖像見圖1。

表1 水稻生長幼穗分化期和齊穗期采集的水稻圖像數據集Table 1 Rice image data sets were collected at the young panicle differentiation stage and full heading stage of rice growth

圖1 幼穗分化期4組不同施氮水平的水稻葉片圖像示例Fig.1 Image examples of rice leaves with four different nitrogen application levels at young panicle differentiation stage

因本試驗獲取的水稻圖像數據集較少,構建水稻葉片氮素營養(yǎng)診斷模型難以了解真實的數據集分布,很容易出現過擬合現象。因此需要對原始的數據圖像使用數據擴充的方法,用以解決數據量過少的問題。在深度學習中,數據增強是常用的數據擴充方法之一。本研究采用平移變換、旋轉任意角度、翻轉變換、尺度變換、增加噪聲以及調節(jié)明亮度等常用的數據增強方式進行水稻葉片擴充,將水稻幼穗分化期采集的水稻葉片每一類的原有數據圖像擴充為原來的10倍,圖像由原來的902張擴充到9 020張。按照同樣操作,將齊穗期采集的水稻葉片數據進行擴充。將原來的930張葉片圖像擴充為9 300張(表1)。因經過掃描后的圖像的分辨率過大,且經過處理后圖像的大小尺寸不一,為了方便網絡模型的輸入,統(tǒng)一將圖像調整為224像素×224像素,圖像格式均為jpg。將水稻葉片數據集按照訓練集∶測試集=8∶2隨機劃分為訓練集和測試集。其中80%的圖像數據用于訓練,20%的圖像數據用于模型測試。

1.4 試驗環(huán)境及參數設置

本試驗模型的訓練與測試均在Windows10 64 bit操作系統(tǒng)下實現。試驗的硬件環(huán)境為：CPU使用Intel(R) Xeon(R) Silver 4112@2.6 GHz 2.59 GHz,內存為16 GB;GPU使用的是NVIDIA RTX 2080 Ti,顯存為11 GB。軟件環(huán)境為CUDA 11.1、Tensorflow 2.8.2和Python 3.7.13。網絡以TensorFlow為框架,調用keras的接口搭建模型。

為使得模型能夠取得更好的診斷識別效果,設置模型的超參數,設置批次(batch size)為64,即每次訓練和測試都是64張圖像。將訓練輪數(Epochs)設置為100。使用Adam優(yōu)化算法[22],初始學習率設置為1×10-5,微調前訓練100次,微調后訓練50次,微調后的學習率為初始學習率的1/10。

1.5 構建水稻葉片氮素營養(yǎng)診斷模型

選擇現階段比較流行的VGG16[23]網絡以作為特征提取模塊,去除頂層的全連接層,保留前面的卷積層和池化層。對該網絡模型構建分類網絡部分,分類網絡部分由全局平均池化層(Global average pooling)、批標準化層(Batch normalization)、Dropout層及全連接層構成。

具體步驟如下：

1)使用全局平均池化操作將特征圖(Feature map)單位均值化,將每層的特征值合為一個特征值,用以替代卷積神經網絡中的多層全連接層分類網絡,有效降低參數的數量。

2)使用批標準化操作可以使得模型訓練過程更加穩(wěn)定,提高模型的訓練速度,Batch Normalization 具有某種正則化作用,減少過擬合,加快模型的訓練速度[24]。

3)因為圖像數據樣本數量較少,為了減少模型的過擬合,在全局平均池化層后加入Dropout層,在模型訓練過程中以某個概率凍結部分神經元,使其失活,減少中間特征的計算量[25-26]。

4)在設計最后的分類網絡中,由于數據集中包含4種不同的氮素營養(yǎng),因此全連接層的輸出神經元設計為4個。圖2為改進的VGG16網絡模型簡圖及主干部分。

圖2 改進的VGG16網絡模型簡圖(a)和主干部分(b)Fig.2 Improved VGG16 network model diagram (a) and backbone (b)

1.6 主要算法流程

模型的算法流程(圖3)如下：

圖3 模型算法流程Fig.3 Algorithm flow chart of the model

1)數據預處理。將獲取的水稻葉片數據進行平移、翻轉、旋轉、縮放等預處理操作,用以實現數據集的擴充,并將圖像全部調整為224像素×224像素。

2)輸入水稻葉片數據。在4種不同的氮素營養(yǎng)的水稻葉片圖像數據中隨機抽取80%作為訓練樣本集。

3)構建水稻葉片氮素營養(yǎng)診斷模型,將訓練集送入模型進行訓練。

4)遷移學習和微調。使用遷移學習策略將ImageNet大型數據集上預訓練的VGG16網絡模型的權重參數遷移到構建的網絡模型中,優(yōu)化模型參數,調整訓練時的學習率、Batchsize等超參數,更新參數,優(yōu)化分類網絡的結構和參數。

5)測試模型。抽取剩余的20%的水稻葉片圖像數據用于模型的測試,以驗證模型的診斷識別效果。

1.7 遷移學習及微調

采用遷移學習策略[27],將ImageNet大型數據集上預訓練的VGG16網絡的權值參數遷移到本研究所構建的改進的VGG16網絡模型中,將其作為特征提取模塊,應用在水稻氮素營養(yǎng)診斷的數據集上,提取水稻葉片圖像的特征信息,減少因訓練神經網絡模型所需的時間成本、數據量和試驗所需的算力,可以解決小型數據集在深度神經網絡上產生的過擬合現象。本試驗利用遷移學習策略與改進的VGG16網絡模型相結合,構建水稻氮素營養(yǎng)診斷模型。遷移學習與全新學習的不同在于,遷移學習可以加快網絡的訓練時間,使得模型能夠更快收斂。微調是指預先將網絡的特征提取部分凍結為不可訓練狀態(tài),只對分類網絡部分進行訓練,最后解凍網絡的特征提取部分的某些隱藏層,對這些網絡層進行不同程度的解凍并參與到模型的訓練中,可以更好的提升模型的分類能力。

2 結果與分析

2.1 改進的VGG16網絡模型的準確率及參數

以水稻幼穗分化期的圖像數據為例,對改進的VGG16網絡與原始的VGG16網絡模型進行準確率和模型參數的對比,結果見表2。可以看出,遷移學習在一定的時間內加速模型的收斂,提高模型的準確率。改進的VGG16網絡模型的識別準確率更佳,其訓練時間只有遷移學習的VGG16網絡模型訓練時間的60%左右,且模型的大小約為遷移學習的VGG16網絡模型的1/6。同時,改進的VGG16網絡模型在精準率和召回率上均優(yōu)于遷移學習的VGG16網絡。

表2 改進前后VGG16 網絡模型的準確率及參數對比Table 2 Comparison of accuracy and parameters of VGG16 network model before and after improvement

圖4示出遷移學習的VGG16和改進的VGG16網絡模型訓練過程損失曲線?？梢?遷移學習的VGG16網絡模型訓練過程中出現了損失曲線的震蕩,而改進的VGG16網絡模型,震蕩小,更穩(wěn)定,表明改進的VGG16網絡模型更穩(wěn)定,更趨近于收斂。在齊穗期時,本模型亦優(yōu)于遷移學習的VGG16網絡。

圖4 遷移學習的VGG16(a)和改進的VGG16(b)網絡模型訓練過程損失曲線Fig.4 Loss curves during training of VGG16 (a) and improved VGG16 (b) network models for transfer learning

2.2 其他不同網絡模型的準確率和參數對比

為更好的驗證改進的VGG16網絡模型的有效性,在使用水稻幼穗分化期的圖像數據條件下,與經典的AlexNet、VGG19、ResNet50網絡模型和輕量級網絡模型MobileNet V1進行對比,結果見表3?？梢钥闯觯翰煌W絡模型在識別準確率、運行時間及模型大小等方面存在較大差異。遷移學習可以加快模型的收斂,在一定程度上提高模型的泛化能力,且模型的訓練時間更短。改進的VGG16網絡模型在水稻氮素營養(yǎng)上的準確率,運行時間以及模型大小均優(yōu)于全新學習的AlexNet、VGG19和遷移學習的ResNet50、MobileNet V1模型。本模型在齊穗期時,亦同樣優(yōu)于其他模型。

表3 不同網絡模型學習方式和參數對比Table 3 Comparison of learning methods and parameters of different network models

2.3 微調前后網絡模型的識別準確率

微調是指對模型的特征提取部分從一開始設置的凍結權重的狀態(tài)調整為解凍權重。使其更好的擬合所訓練的網絡模型。在使用幼穗分化期和齊穗期的水稻葉片圖像的條件下,對改進的VGG16網絡模型預訓練100輪,再分別解凍前5、10、15和全部的特征提取網絡層數。模型在水稻生長2個不同時期測試集上的準確率見表4。微調全部的特征提取網絡,模型在測試集上的識別準確率最好。

表4 改進的VGG16模型微調前后在水稻幼穗分化期和齊穗期測試集的準確率Table 4 Accuracy of the improved VGG16 model before and after fine-tuning on the test set at the young panicle differentiation and full heading stages of rice

以模型在幼穗分化期為例,其訓練過程曲線見圖5。微調后模型的準確率有著較大的提升,且損失曲線更趨向于收斂。齊穗期時,微調模型,亦有準確率的提升。表明微調后,模型在測試集上的準確率能夠有提升。

圖5 改進的VGG16模型在微調全部特征提取層訓練過程的準確率(a)和損失(b)曲線Fig.5 Accuracy (a) and loss (b) curves of the improved VGG16 model during the training process of fine-tuning all feature extraction layers

2.4 在幼穗分化期和齊穗期的準確率及評價指標

在水稻生長幼穗分化期和齊穗期,使用上述改進的VGG16網絡模型,將2組不同生長期的圖像數據分別對該模型預訓練100輪,微調50輪,其在測試集上的準確率及評價指標見表5。本模型不但適用于幼穗分化期的水稻氮素營養(yǎng)診斷,同樣適用于齊穗期的水稻氮素營養(yǎng)診斷識別。

表5 微調后模型在水稻生長幼穗分化期和齊穗期測試集上的準確率及評價指標Table 5 Accuracy and evaluation index of the model after fine adjustment in the test set of rice growth young spike differentiation stage and full heading stage

將微調后模型分別在水稻幼穗分化期和齊穗期的測試集上進行評估,得到混淆矩陣見圖6。當施氮水平為N1和N4及施氮水平為N2和N3時,彼此分類的錯誤率較大,可能是田間稻田土壤肥力不均勻,以及田間管理不規(guī)范、數據預處理時未對圖像進行消噪處理等因素造成的。齊穗期時,在測試集上氮素營養(yǎng)的識別的準確率從高到低依次為N4、N1、N2、N3。

圖6 微調后的模型在水稻幼穗分化期(a)和齊穗期(b)測試集上的混淆矩陣Fig.6 The confusion matrix of the finely tuned model on the test set of young panicle differentiation stage (a) and full heading stage (b)

3 討 論

研究表明[28]在水稻生育后期合理施肥可以使灌漿期保持一定的氮素供應,延緩功能葉的衰老,維持生育后期較高的光合速率和蒸騰速率,有利于光合作物的積累與運輸,使水稻籽粒灌漿充分,從而提高產量。近年來,由于高產品種的推廣和肥料的大量使用,稻谷產量大幅提升,稻米品質卻未明顯改善,肥料利用率也呈現出下降趨勢[29]。因此,合理施用氮肥是非常重要的,對氮素營養(yǎng)診斷識別可以有效的指導施氮。已有研究只涉及某個日期或某個時間段內的水稻營養(yǎng)診斷識別,沒有涉及幾個具體的水稻生長期。本研究在齊穗期時,使用改進的VGG16網絡和遷移學習相結合的氮素營養(yǎng)診斷模型進行診斷識別,得出第一類和第四類的氮素營養(yǎng)識別準確率高于第二類和第三類,這與周瓊等[30]得出的結論相同,證明了改進的VGG16網絡和遷移學習相結合的水稻氮素營養(yǎng)診斷模型操作的可行性。關于幼穗分化期的識別準確率高于齊穗期,正好說明超級雜交稻生育后期易出現早衰現象,葉片的含氮量快速衰減,難以通過葉片直接進行區(qū)分[31]。

在幼穗分化期,改進的VGG 16在模型大小和運行時間上優(yōu)于其他幾個經典模型。與VGG 19相比,本研究重構頂層,增加全局平均池化可以減少模型的參數,提升模型的診斷識別效果。與ResNet50對比,可能是模型的網絡層數增加,其參數量過多,本研究所采用的數據不足以訓練ResNet50網絡。而MobileNetV1 網絡在準確率和訓練時間上弱于改進的VGG 16網絡,表明MobileNetV1所使用的深度可分離卷積具有較好的提取特征的效果,且模型的所占內存較為合適,可以為后續(xù)的開發(fā)應用提供參考。試驗結果也表明改進的VGG16網絡模型對水稻氮素營養(yǎng)診斷具有較好的識別準確率及魯棒性。

本研究所構建的水稻氮素營養(yǎng)診斷模型,雖能較好地判定其氮素含量的缺失,但水稻的最佳施氮量僅為一個范圍。因此,在后續(xù)研究中,將在最佳施氮范圍內增設多個施氮梯度進行研究。本研究只試驗了一種水稻品種的幼穗分化期和齊穗期的圖像數據,在后續(xù)的研究中,還應考慮其他品種,不同水稻生長關鍵期,多個不同梯度的氮素施肥以及使用數碼相機、手機拍照等非掃描方式獲取圖像等因素的影響。水稻氮素營養(yǎng)診斷的核心及目的是建立適合的追施肥體系,并據此進行推薦施肥[32],因此,如何更好的進行氮素營養(yǎng)診斷,使其更加科學與合理的指導使用肥料還需進一步研究探索。

4 結 論

本研究通過構建氮素營養(yǎng)診斷模型,對采集的圖像數據進行識別,在訓練過程中遷移預訓練的權重,并對此進行微調,得出以下結論：

1)改進的VGG16網絡模型在水稻的氮素營養(yǎng)診斷識別中具有較高的準確率。

2)遷移學習可以加快模型的收斂速度,在一定的程度上使得模型減少訓練時間與訓練成本,提高模型的準確率。微調能夠加快模型的收斂速度,節(jié)約計算資源。

3)本模型對幼穗分化期和齊穗期的水稻氮素營養(yǎng)診斷是有效、可行的。