黃海霞 李耀翔 張哲宇
摘 要:為實(shí)現(xiàn)森林土壤碳含量(SOC)的快速、高效、無損檢測(cè),以小興安嶺帶嶺林業(yè)實(shí)驗(yàn)局東方紅林場(chǎng)土壤為研究對(duì)象,利用近紅外光譜(NIRs)技術(shù),建立SOC預(yù)測(cè)模型。利用深度殘差網(wǎng)絡(luò)(ResNet18)算法建立預(yù)測(cè)模型,從光譜數(shù)據(jù)的預(yù)處理(一階導(dǎo)數(shù)(1D)+Savitzky-Golay(SG)卷積平滑、標(biāo)準(zhǔn)正態(tài)變量變換(SNV)、SG卷積平滑和去趨勢(shì)(DT))和批量2個(gè)角度對(duì)模型進(jìn)行優(yōu)化,并將該模型與偏最小二乘回歸(PLSR)、BP神經(jīng)網(wǎng)絡(luò)(BPNN)和卷積神經(jīng)網(wǎng)絡(luò)VGG19模型進(jìn)行對(duì)比。研究結(jié)果表明,利用1D+SG卷積平滑組合的方式進(jìn)行預(yù)處理,批量大小為15,所得模型最優(yōu),其訓(xùn)練集的均方根誤差(RMSE)和決定系數(shù)(R)分別為7.695和0.906,驗(yàn)證集的RMSE和R分別為7.146和0.821,ResNet18模型精度優(yōu)于PLSR、BPNN和VGG19,其驗(yàn)證集R分別比三者提升了14.66%、40.10%和0.37%。該研究表明,利用NIRs技術(shù)結(jié)合深度殘差網(wǎng)絡(luò)可實(shí)現(xiàn)SOC無損檢測(cè)。
關(guān)鍵詞:深度殘差網(wǎng)絡(luò);近紅外光譜;森林土壤;碳含量;深度學(xué)習(xí)
中圖分類號(hào):S714.2 文獻(xiàn)標(biāo)識(shí)碼:A 文章編號(hào):1006-8023(2023)06-0164-08
A NIR Prediction Model for Forest Soil Carbon Content Based on ResNet
HUANG Haixia, LI Yaoxiang, ZHANG Zheyu
(College of Mechanical and Electrical Engineering, Northeast Forestry University, Harbin 150040, China)
Abstract:To achieve rapid, efficient and nondestructive detection of forest soil carbon content (SOC), taking the soils of Dongfang Hong Forestry Experimental Bureau of the Xiaoxinganling Beltling Forestry Bureau as the research object, a SOC prediction model was developed using near-infrared spectrum (NIRs) technique. The prediction model was established using the deep residual network (ResNet18) algorithm, and the model was optimized from two perspectives: preprocessing of spectral data (first-order derivative (1D) + Savitzky-Golay (SG) convolutional smoothing, standard normal variance transformation (SNV), SG convolutional smoothing and detrending (DT)) and batch size, and the model was compared with partial least squares regression (PLSR), BP neural network (BPNN) and convolutional neural networks VGG19 models. The research results showed that using the combination of 1D+SG convolutional smoothing for preprocessing, with a batch size of 15, the obtained model was the best. The root mean square error (RMSE) and determination coefficient (R) of the training set were 7.695 and 0.906, respectively. The RMSE and R of the validation set were 7.146 and 0.821, respectively. The ResNet18 model had better accuracy than PLSR, BPNN, and VGG19, and its validation set R had increased by 14.66%, 40.10%, and 0.37% compared to the three, respectively. This study showed that SOC nondestructive detection can be achieved by using NIRs technique combined with deep residual networks.
Keywords:Deep residual network; near infrared spectrum; forest soil; carbon content; deep learning
收稿日期:2023-04-24
基金項(xiàng)目:黑龍江省重點(diǎn)研發(fā)計(jì)劃子課題(GA21C030、GA19C006)資助。
第一作者簡(jiǎn)介:黃海霞,碩士研究生。研究方向?yàn)樯止こ獭-mail: 1763925671@qq.com
*通信作者:李耀翔,博士,教授。研究方向?yàn)樯止こ獭-mail: yaoxiangli@nefu.edu.cn
引文格式:黃海霞, 李耀翔, 張哲宇. 基于ResNet的森林土壤碳含量近紅外預(yù)測(cè)模型[J]. 森林工程, 2023, 39(6):164-171.
HUANG H X, LI Y X, ZHANG Z Y. A NIR prediction model for forest soil carbon content based on ResNet[J]. Forest Engineering, 2023, 39(6):164-171.
0 引言
森林生態(tài)系統(tǒng)在穩(wěn)定全球碳循環(huán)和緩解全球氣候變暖方面發(fā)揮著重要作用,其中森林土壤是森林生態(tài)系統(tǒng)的重要組成部分,是一個(gè)巨大的碳庫,具有很高的碳儲(chǔ)存潛力。土壤中存在有機(jī)質(zhì)循環(huán)機(jī)制,既可以是碳匯,也可以是碳源。充分了解森林土壤碳儲(chǔ)存機(jī)制并建立土壤碳儲(chǔ)量預(yù)測(cè)模型,對(duì)研究森林生態(tài)系統(tǒng)有重要意義。傳統(tǒng)的測(cè)定土壤碳含量方法有重鉻酸鉀容量法、干燒法等。這些方法費(fèi)時(shí)、費(fèi)力,會(huì)對(duì)環(huán)境產(chǎn)生污染,且具有一定的危險(xiǎn)性,因此尋求一種快速無損的新型檢測(cè)技術(shù)是必要的。近紅外光譜(near infrared spectrum, NIRs)技術(shù),作為一種新興的無損檢測(cè)技術(shù),為測(cè)定土壤碳含量提供了一種快速高效的替代方案。目前已經(jīng)廣泛應(yīng)用于煙草、化工、農(nóng)業(yè)和服裝等行業(yè)中。在土壤有機(jī)質(zhì)(soil organic matter, SOM)無損檢測(cè)方面,NIRs技術(shù)已有諸多應(yīng)用。鐘翔君等使用Savitzky-Golay(SG)卷積平滑對(duì)沙壤潮土的光譜數(shù)據(jù)進(jìn)行預(yù)處理,并通過連續(xù)投影算法(successive projections algorithm, SPA)、無信息變量消除算法(uninformative variables elimination, UVE)、競(jìng)爭(zhēng)性自適應(yīng)重加權(quán)算法(competitive adaptive reweighted sampling, CARS)和CARS-SPA及變量組合集群分析算法(variable combination population analysis, VCPA)等波段優(yōu)選方法篩選特征波段,利用偏最小二乘回歸算法(partial least squares regression, PLSR)建立了沙壤潮土SOM的全波段和特征波段的預(yù)測(cè)模型,結(jié)果發(fā)現(xiàn)CARS-SPA-PLSR模型的效果最好,其驗(yàn)證集決定系數(shù)(R)和剩余預(yù)測(cè)偏差(residual projection deviation, RPD)分別為0.901和3.188。章海亮等用遺傳算法(genetic algorithms, GA)結(jié)合SPA算法對(duì)398個(gè)農(nóng)田土壤樣品的光譜數(shù)據(jù)進(jìn)行波段優(yōu)選,采用PLSR算法對(duì)挑選出的18個(gè)特征波長建立SOM預(yù)測(cè)模型,結(jié)果顯示其預(yù)測(cè)集R為0.830,均方根誤差(root mean squared error, RMSE)為0.200,RPD為2.450。Ahmad等通過SG卷積平滑進(jìn)行預(yù)處理后,建立了SOM的PLSR模型,模型驗(yàn)證集的R為0.770。解宏圖等利用GA算法進(jìn)行波長選擇后,建立了土壤有機(jī)碳(soil organic carbon, SOC)的PLSR模型,其模型預(yù)測(cè)集R、RMSE和RPD分別為0.931、1.840和3.810。李耀翔等采用SG卷積平滑、一階導(dǎo)數(shù)(1 derivative, 1D)和多元散射校正(multiplicative scatter correction, MSC)進(jìn)行土壤光譜數(shù)據(jù)的預(yù)處理,用主成分分析(principal component analysis, PCA)法提取前8個(gè)主成分,建立SOC的BP神經(jīng)網(wǎng)絡(luò)(back propagation neural network, BPNN)模型,其預(yù)測(cè)集的相關(guān)系數(shù)(R)和RMSE分別為0.849和0.454。孟珊等對(duì)原始光譜進(jìn)行數(shù)學(xué)變換及微分變換,采用CARS算法篩選特征波段,利用BPNN算法建立了SOC的預(yù)測(cè)模型,結(jié)果表明二階微分變換的模型精度最好,其驗(yàn)證集R、RPD和RMSE分別為0.830,2.450和4.890。前人的研究已經(jīng)為基于NIRs的SOC無損檢測(cè)提供了很好的思路,但大多是選擇合適的預(yù)處理及波段優(yōu)選方法,利用傳統(tǒng)的回歸模型來建模,使得NIRs技術(shù)的應(yīng)用過程變得復(fù)雜,省去一些過程對(duì)提高NIRs技術(shù)應(yīng)用的便利性是有必要的。
近年來,隨著計(jì)算機(jī)性能的提升,人工智能得到了快速的發(fā)展,深度學(xué)習(xí)以其優(yōu)秀的特征提取能力被廣泛地應(yīng)用于計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等領(lǐng)域。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)本質(zhì)是從輸入到輸出的映射,計(jì)算過程包括前向傳播和反向傳播,在反向傳播的過程中,通過梯度下降算法來更新不同卷積層神經(jīng)元之間的權(quán)重,具有權(quán)值共享的特點(diǎn),在圖像領(lǐng)域(如目標(biāo)檢測(cè)、人臉識(shí)別等)有著廣泛的應(yīng)用。在土壤養(yǎng)分檢測(cè)領(lǐng)域也有了一些應(yīng)用。深度殘差網(wǎng)絡(luò)(deep residual network, ResNet)是一種重要的CNN模型,通過殘差學(xué)習(xí)(學(xué)習(xí)的目標(biāo)不再是一個(gè)完整的輸出,而是輸入和輸出的差別),有效地解決了深層神經(jīng)網(wǎng)絡(luò)的退化問題,而得到了廣泛的應(yīng)用。文獻(xiàn)[20-22]所用的模型均為一維CNN,所使用的神經(jīng)網(wǎng)絡(luò)層數(shù)最多只有10層且均為串聯(lián)結(jié)構(gòu);理論上更深層的網(wǎng)絡(luò)可以提取更復(fù)雜的特征,那么使用二維光譜數(shù)據(jù)和更深層的CNN模型,土壤碳含量近紅外預(yù)測(cè)模型的性能還有待研究。將ResNet18算法應(yīng)用于基于NIRs的土壤碳含量的無損檢測(cè)中,首先使用SG卷積平滑和標(biāo)準(zhǔn)正態(tài)變量變換(standard normal variate transformation, SNV)等預(yù)處理方法對(duì)土壤近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理,消除基線漂移和環(huán)境背景等噪聲干擾,然后將一維光譜信號(hào)轉(zhuǎn)換為正方形的二維光譜矩陣,利用經(jīng)典的ResNet18建立土壤含碳量近紅外預(yù)測(cè)模型;探究每次輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量,即批量,對(duì)模型的影響。將最終模型與傳統(tǒng)的PLSR、BPNN以及與ResNet18層數(shù)相近的卷積神經(jīng)網(wǎng)絡(luò)模型VGG19進(jìn)行對(duì)比,旨在探究一種高效準(zhǔn)確的土壤碳含量檢測(cè)方法。
1 材料與方法
1.1 樣品的采集與制備
2022年7月,于小興安嶺帶嶺林業(yè)實(shí)驗(yàn)局東方紅林場(chǎng)(128°37′46″~129°17′50″ E、46°50′8″~47°21′32″ N)設(shè)立了面積為20 m×20 m的20塊標(biāo)準(zhǔn)樣地,進(jìn)行調(diào)查取樣。土壤以暗棕壤為主,少量林地為谷地草甸土和沼澤土。根據(jù)典型取樣的原則,用五點(diǎn)取樣法對(duì)深度為0~10、10~20 cm的土壤進(jìn)行取樣,并裝于自封袋中,共計(jì)200個(gè)土壤樣本。將土樣帶回試驗(yàn)室風(fēng)干、粉碎后采集光譜,過60目不銹鋼篩后,制成標(biāo)準(zhǔn)土樣,進(jìn)行土壤實(shí)際含碳量的測(cè)定。
1.2 光譜信息采集
使用美國ASD公司的Lab Spec Pro FR/A114260便攜式物質(zhì)成分分析光譜儀收集波長區(qū)間為350~2 500 nm的近紅外光譜,光譜分辨率為3 nm@700 nm和10 nm@1 400/2 100 nm。采集近紅外光譜所用的土樣為粉碎后的土樣。在采集前將光譜儀預(yù)熱30 min,設(shè)置一次掃描30次,并自動(dòng)生成一個(gè)平均光譜,每采集5次進(jìn)行一次白板校準(zhǔn),每個(gè)土樣采集3次光譜,取平均作為原始光譜。
1.3 森林土壤碳含量測(cè)定
采用重鉻酸鉀-濃硫酸氧化外加熱法測(cè)定其碳含量。碳含量的測(cè)定結(jié)果見表1。
1.4 實(shí)驗(yàn)環(huán)境
使用CAMO公司的The Unscrambler X10.4對(duì)近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理,使用基于Python3.9版本的Pytorch1.12.0+cpu搭建基于ResNet18、BPNN和VGG19的預(yù)測(cè)模型。PLSR算法代碼基于scikit-learn1.0.2版本軟件包。
1.5 深度殘差網(wǎng)絡(luò)
從理論上來說,隨著神經(jīng)網(wǎng)絡(luò)層數(shù)的加大,模型的泛化能力會(huì)變好。但事實(shí)上,隨著神經(jīng)網(wǎng)絡(luò)模型層數(shù)的加大,會(huì)出現(xiàn)梯度消失和梯度爆炸現(xiàn)象,因此,網(wǎng)絡(luò)變得越來越難訓(xùn)練。在較大層數(shù)的神經(jīng)網(wǎng)絡(luò)中,當(dāng)梯度信息反向傳遞時(shí),傳遞的過程中會(huì)出現(xiàn)梯度接近于0或梯度值非常大的現(xiàn)象,導(dǎo)致神經(jīng)網(wǎng)絡(luò)模型退化。
為了緩解神經(jīng)網(wǎng)絡(luò)的退化,He等提出了殘差學(xué)習(xí)的概念。具體如下:如果深層網(wǎng)絡(luò)后面層是恒等映射,那模型就退化為一個(gè)淺層網(wǎng)絡(luò),此時(shí)要解決的是學(xué)習(xí)恒等映射函數(shù)。但是直接擬合一個(gè)潛在的恒等映射函數(shù)H(x)=x較為困難,增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和難度。此時(shí),如果把網(wǎng)絡(luò)設(shè)計(jì)為H(x)=F(x)+x,如圖1所示??梢赞D(zhuǎn)換為學(xué)習(xí)一個(gè)殘差函數(shù)F(x)=H(x)-x。只要F(x)=0,就構(gòu)成了一個(gè)恒等映射H(x)=x。而且,擬合殘差更加容易。深度殘差網(wǎng)絡(luò)就是由若干個(gè)殘差塊堆疊而成的。
1.6 模型構(gòu)建
經(jīng)典的深度殘差網(wǎng)絡(luò)模型有ResNet18、ResNet34、ResNet50、ResNet101和ResNet152,隨著網(wǎng)絡(luò)層數(shù)的增大,參數(shù)量也會(huì)增大,訓(xùn)練時(shí)間也會(huì)增加,考慮到訓(xùn)練時(shí)間的因素,本研究選擇網(wǎng)絡(luò)層數(shù)最少的深度殘差網(wǎng)絡(luò)(ResNet18)進(jìn)行訓(xùn)練,如圖2所示。由于ResNet18的輸入是二維的灰度圖或三維的彩色圖像,為了使一維的光譜數(shù)據(jù)適應(yīng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),在光譜數(shù)據(jù)后補(bǔ)零并將其轉(zhuǎn)換為47×47的二維光譜矩陣,類似灰度圖,如圖3所示,圖3中顏色深淺表示數(shù)值的大小,顏色越淺,數(shù)值越大,作為神經(jīng)網(wǎng)絡(luò)的輸入,補(bǔ)零個(gè)數(shù)為58。將網(wǎng)絡(luò)的輸出通道改為1。圖2中k為卷積核尺寸,s為步長,p為邊界零填充數(shù)。除了2.3節(jié)外,其余批量大小設(shè)置為15。文獻(xiàn)[26]的研究表明,使用數(shù)據(jù)增強(qiáng)技術(shù)(通過旋轉(zhuǎn)或截取圖像的一部分等來增大數(shù)據(jù)集的數(shù)量和多樣性)可以提升模型的泛化能力,故本研究將2層的土壤數(shù)據(jù)混在一起建模。
在訓(xùn)練過程中優(yōu)化器選擇適應(yīng)性矩估計(jì)(adaptive moment estimation, Adam),Adam算法是一種自適應(yīng)學(xué)習(xí)速率算法,通過計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)來控制模型更新的方向和學(xué)習(xí)速率。為了使模型訓(xùn)練性能更加穩(wěn)定,Adam優(yōu)化器中設(shè)置模型初始學(xué)習(xí)速率為0.001、采用學(xué)習(xí)率自適應(yīng)衰減策略,當(dāng)訓(xùn)練10次,驗(yàn)證集均方誤差(mean square error,式中用M表示)損失不更新時(shí),學(xué)習(xí)率就變?yōu)樵瓉淼?.1倍,其他參數(shù)保持默認(rèn)值。MSE計(jì)算如公式(1)所示。
式中:y和y^分別為第i個(gè)土壤樣本的碳含量真實(shí)值和土壤碳含量近紅外預(yù)測(cè)模型輸出值;樣本總數(shù)為N。
2 結(jié)果與分析
從不同角度對(duì)基于ResNet18的土壤碳含量近紅外預(yù)測(cè)模型進(jìn)行比較,在進(jìn)行實(shí)驗(yàn)前,先使用train_test_split函數(shù)按7∶3的比例將土壤數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集。通過RMSE和R來評(píng)價(jià)土壤碳含量近紅外預(yù)測(cè)模型的性能。相關(guān)實(shí)驗(yàn)主要包括土壤近紅外光譜數(shù)據(jù)的預(yù)處理、批量大小對(duì)模型的影響以及與傳統(tǒng)回歸模型的比較。
2.1 光譜預(yù)處理對(duì)土壤碳含量近紅外預(yù)測(cè)模型性能的影響
為了消除基線漂移及儀器的環(huán)境背景之類的噪聲對(duì)土壤近紅外光譜信號(hào)的影響,提高模型的性能。采用1D+SG卷積平滑、SNV、SG卷積平滑和去趨勢(shì)(de-trending, DT)4種方式對(duì)土壤近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理。
建模結(jié)果見表2。與原始的光譜數(shù)據(jù)相比,進(jìn)行光譜數(shù)據(jù)預(yù)處理后的土壤碳含量近紅外預(yù)測(cè)模型性能均有不同程度的提升或下降。其中SG卷積平滑和DT預(yù)處理后建模的效果均低于原始數(shù)據(jù)的建模效果,SG卷積平滑預(yù)處理的效果最差。1D+SG卷積平滑組合預(yù)處理和SNV預(yù)處理方式均提升了模型的性能,其驗(yàn)證集RMSE分別為7.146和7.867,和原始數(shù)據(jù)的建模結(jié)果相比,分別降低了1.764和1.043;其驗(yàn)證集R分別為0.821和0.781,相比原始數(shù)據(jù)的建模結(jié)果,驗(yàn)證集R分別提升了0.104和0.064。經(jīng)過對(duì)比分析,發(fā)現(xiàn)使用1D+SG卷積平滑的組合預(yù)處理方式對(duì)土壤近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理后,所建模型的精度最高。這與焦德曉的研究結(jié)果類似,其利用1D、平滑和歸一化等方式對(duì)光譜數(shù)據(jù)進(jìn)行預(yù)處理,結(jié)果發(fā)現(xiàn),1D與3點(diǎn)平滑結(jié)合進(jìn)行預(yù)處理模型性能最好,其SOM的PLSR模型,預(yù)測(cè)集RMSE和相關(guān)系數(shù)R分別為0.181和0.928。綜合考慮,本研究選擇1D+SG卷積平滑的組合預(yù)處理方式對(duì)土壤近紅外光譜數(shù)據(jù)進(jìn)行預(yù)處理。
2.2 訓(xùn)練次數(shù)對(duì)土壤碳含量近紅外預(yù)測(cè)模型性能的影響
探究訓(xùn)練次數(shù)對(duì)土壤碳含量近紅外預(yù)測(cè)模型性能的影響。在保證模型參數(shù)不變的情況下,通過訓(xùn)練次數(shù)(epoch)來探究模型的最佳泛化能力。在訓(xùn)練初期,由于神經(jīng)網(wǎng)絡(luò)對(duì)土壤近紅外光譜數(shù)據(jù)的學(xué)習(xí)不足,導(dǎo)致模型的M損失太大,因此從epoch為8開始觀察訓(xùn)練規(guī)律。訓(xùn)練過程中訓(xùn)練集和驗(yàn)證集的M損失隨訓(xùn)練次數(shù)的變化曲線如圖4所示,隨著訓(xùn)練的進(jìn)行,驗(yàn)證集的M不斷減小,在epoch為35的時(shí)候,M最小,但是訓(xùn)練到了60次之后,驗(yàn)證集的M就一直在50~100波動(dòng),而訓(xùn)練集的M一直在50附近波動(dòng),并沒有隨著訓(xùn)練的進(jìn)行而繼續(xù)減小。因此,模型的性能并不會(huì)隨著訓(xùn)練次數(shù)的增加而持續(xù)提升,根據(jù)訓(xùn)練的規(guī)律,設(shè)置訓(xùn)練次數(shù)為100較為合適。
2.3 批量大小對(duì)土壤碳含量近紅外預(yù)測(cè)模型性能的影響
學(xué)習(xí)率和每次迭代輸入神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)量,即批量,是影響神經(jīng)網(wǎng)絡(luò)模型性能的關(guān)鍵參數(shù),由于采用自適應(yīng)衰減學(xué)習(xí)率(根據(jù)模型的訓(xùn)練損失結(jié)果動(dòng)態(tài)調(diào)整學(xué)習(xí)速度),本節(jié)將探討不同批量對(duì)土壤碳含量近紅外預(yù)測(cè)模型性能的影響。在保證ResNet18模型其他參數(shù)不變的情況下,調(diào)整批量的大小。模型的驗(yàn)證集評(píng)價(jià)指標(biāo)(RMSE、R)和訓(xùn)練時(shí)間隨批量的變化規(guī)律如圖5所示。
由圖5可知,在性能上,隨著批量的增加,土壤碳含量近紅外預(yù)測(cè)模型的泛化能力呈現(xiàn)先變好后變差的趨勢(shì),在批量大于20的時(shí)候,模型的性能開始迅速變差。當(dāng)批量為15的時(shí)候,模型的泛化能力最好,其驗(yàn)證集RMSE和R分別為7.146和0.821。在訓(xùn)練時(shí)間上,隨著批量的增加,訓(xùn)練時(shí)間在一直減少,但是當(dāng)批量大于35的時(shí)候,因?yàn)橛?jì)算機(jī)計(jì)算資源的限制,訓(xùn)練時(shí)間不再繼續(xù)減少,趨于平穩(wěn),在批量從5增加到40的過程中,模型的訓(xùn)練時(shí)間可減少64.49%。
Keskar等研究發(fā)現(xiàn)大批量方法會(huì)使模型的訓(xùn)練集和測(cè)試集收斂到尖銳極小值,從而導(dǎo)致模型的泛化能力下降,與之相比,小批量方法更容易收斂到平坦最小化,更容易收斂到全局最優(yōu)。Luschi等研究發(fā)現(xiàn)批量在2~32模型性能最優(yōu)。而本研究結(jié)果則證明,當(dāng)批量為15的時(shí)候,模型的泛化能力最優(yōu),與前人的研究結(jié)果相似。
2.4 土壤碳含量近紅外預(yù)測(cè)模型比較
為了進(jìn)一步測(cè)試ResNet18土壤碳含量近紅外預(yù)測(cè)模型的性能,本研究選擇化學(xué)計(jì)量學(xué)中傳統(tǒng)的PLSR、BPNN算法以及與ResNet18層數(shù)相近的卷積神經(jīng)網(wǎng)絡(luò)算法VGG19進(jìn)行比較。其中,PLSR的主成分?jǐn)?shù)為4,BPNN設(shè)計(jì)2個(gè)隱藏層,從輸入到輸出,神經(jīng)元數(shù)目分別為2 151、1 028、512、1。
由表3可知,ResNet18、PLSR、BPNN和VGG19土壤碳含量近紅外預(yù)測(cè)模型的RMSE分別為7.146、9.817、10.827和7.388,ResNet18的RMSE分別比其他三者降低了2.671、3.681和0.242;R分別為0.821、0.716、0.586和0.818,ResNet18的R分別比其他三者提升了0.105、0.235和0.003。經(jīng)過對(duì)比分析,發(fā)現(xiàn)ResNe18的模型精度明顯優(yōu)于PLSR和BPNN,略微優(yōu)于VGG19,但是訓(xùn)練時(shí)間明顯低于VGG19的訓(xùn)練時(shí)間,其訓(xùn)練時(shí)間比VGG19減少了58.56%,這是因?yàn)镽esNet18沒有全連接層,參數(shù)量更少,訓(xùn)練效率更高。從模型精度和訓(xùn)練時(shí)間2個(gè)方面考慮,ResNet18模型最優(yōu)。
圖6為4個(gè)土壤碳含量近紅外預(yù)測(cè)模型驗(yàn)證集實(shí)測(cè)值和預(yù)測(cè)值的散點(diǎn)圖,由圖6可以看出,BPNN模型的數(shù)據(jù)點(diǎn)分布比較散,模型的擬合效果較差,PLSR、ResNet18和VGG19的差異不是太明顯,但是PLSR模型的預(yù)測(cè)值中存在負(fù)數(shù),這可能是PLSR模型的R比ResNet18和VGG19低0.1左右的原因。綜合來說卷積神經(jīng)網(wǎng)絡(luò)(ResNet18、VGG19)的擬合效果要優(yōu)于其他傳統(tǒng)回歸模型,這在不同的學(xué)科得到了證實(shí)。這一結(jié)果與Kawamura等的研究一致,其利用CNN模型預(yù)測(cè)土壤磷含量,證明CNN(R=0.878)模型的預(yù)測(cè)能力要遠(yuǎn)優(yōu)于PLSR(R=0.792)和隨機(jī)森林(random forest, RF)(R=0.808)。
3 結(jié)論
本研究使用ResNet18算法結(jié)合NIRs實(shí)現(xiàn)森林土壤碳含量無損檢測(cè),將土壤近紅外光譜數(shù)據(jù)轉(zhuǎn)換為二維光譜矩陣來適應(yīng)CNN模型的結(jié)構(gòu)。
1)通過比較1D+SG卷積平滑、SNV、SG卷積平滑、DT和原始數(shù)據(jù)的建模結(jié)果,結(jié)果表明1D+SG卷積平滑的組合預(yù)處理方式建模效果最好。
2)對(duì)不同批量的模型性能進(jìn)行了比較,發(fā)現(xiàn)當(dāng)批量為15的時(shí)候,模型的泛化能力最好,其驗(yàn)證集RMSE和R分別為7.146和0.821,當(dāng)批量繼續(xù)增大時(shí),模型的性能會(huì)急速下降,訓(xùn)練時(shí)間隨著批量的增加逐漸減小到一定水平后保持平穩(wěn)。
3)將ResNet18模型與傳統(tǒng)的建模方法PLSR、BPNN以及與ResNet18層數(shù)相近的CNN方法VGG19所建的模型進(jìn)行比較,結(jié)果表明:ResNet18和VGG19的R相近、具有很好的特征提取能力和泛化能力,且明顯優(yōu)于傳統(tǒng)模型PLSR和BPNN,ResNet18模型的R比傳統(tǒng)模型的提升了0.1以上,且ResNet18的訓(xùn)練時(shí)間要比VGG19的訓(xùn)練時(shí)間減少58.56%,綜合考慮,ResNet18模型最佳。
4)由于一些客觀原因的限制,本研究收集的數(shù)據(jù)有限且缺乏多樣性,并且只針對(duì)風(fēng)干土樣采集近紅外光譜數(shù)據(jù),導(dǎo)致模型對(duì)其他地區(qū)或不同含水率的土壤預(yù)測(cè)精度不夠,因此,在今后的研究中,收集更加豐富的土壤樣品和采集不同含水率土壤樣品的近紅外光譜數(shù)據(jù)是十分必要的。
【參 考 文 獻(xiàn)】
[1]CHEN Y, BIN J, ZOU C M, et al. Discrimination of fresh tobacco leaves with different maturity levels by near-infrared (NIR) spectroscopy and deep learning[J]. Journal of Analytical Methods in Chemistry, 2021, 2021: 9912589.
[2]LIANG Y Y, ZHAO L, GUO J W, et al. Just-in-time learning-integrated partial least-squares strategy for accurately predicting 71 chemical constituents in Chinese tobacco by near-infrared spectroscopy[J]. ACS Omega, 2022, 7(43): 38650-38659.
[3]潘威,馬文廣,鄭昀曄,等.用近紅外光譜無損測(cè)定煙草種子淀粉含量[J].煙草科技,2017,50(2):15-21.
PAN W, MA W G, ZHENG Y Y, et al. Nondestructive determination of starch content in tobacco seeds by near infrared spectroscopy[J]. Tobacco Science & Technology, 2017, 50(2): 15-21..
[4]ALVES J C L, POPPI R J. Simultaneous determination of hydrocarbon renewable diesel, biodiesel and petroleum diesel contents in diesel fuel blends using near infrared (NIR) spectroscopy and chemometrics[J]. The Analyst, 2013, 138(21): 6477-6487.
[5]王艷斌,胡于中,李文樂,等.近紅外原油快速評(píng)價(jià)技術(shù)預(yù)測(cè)常減壓蒸餾裝置側(cè)線收率[J].光譜學(xué)與光譜分析,2014,34(10):2612-2616.
WANG Y B, HU Y Z, LI W L, et al. Prediction of the side-cut product yield of atmospheric/vacuum distillation unit by NIR crude oil rapid assay[J]. Spectroscopy and Spectral Analysis, 2014, 34(10): 2612-2616.
[6]BEGHI R, SPINARDI A, BODRIA L, et al. Apples nutraceutic properties evaluation through a visible and near-infrared portable system[J]. Food and Bioprocess Technology, 2013, 6(9): 2547-2554.
[7]SONG J, LI G L, YANG X D, et al. Rapid analysis of soluble solid content in navel orange based on visible-near infrared spectroscopy combined with a swarm intelligence optimization method[J]. Spectrochimica Acta Part A, Molecular and Biomolecular Spectroscopy, 2020, 228: 117815.
[8]劉玲,張書敏,皮付偉.基于變權(quán)重正交變換的腈綸/棉運(yùn)動(dòng)纖維面料近紅外光譜識(shí)別和信息增強(qiáng)機(jī)制[J].南昌大學(xué)學(xué)報(bào)(理科版),2022,46(1):91-97.
LIU L, ZHANG S M, PI F W. Mechanisms of near-infrared spectroscopy recognition and signal enhancement based on correlation of variable sorting for normalization on acrylic/cotton sport textile fabrics[J]. Journal of Nanchang University (Natural Science), 2022, 46(1): 91-97.
[9]張海煊,程鑫橋,黎海洋,等.人造革基布纖維含量近紅外光譜法專屬定量分析模型的建立[J].塑料科技,2017,45(11):99-102.
ZHANG H X, CHENG X Q, LI H Y, et al. Establishment of near infrared exclusive quantitative analysis model for determination of fiber contents of artificial leather base fabric[J]. Plastics Science and Technology, 2017, 45(11): 99-102.
[10]鐘翔君,楊麗,張東興,等.砂壤潮土有機(jī)質(zhì)含量可見-近紅外光譜預(yù)測(cè)[J].光譜學(xué)與光譜分析,2022,42(9):2924-2930.
ZHONG X J, YANG L, ZHANG D X, et al. Prediction of organic matter content in sandy fluvo-aquic soil by visible-near infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2022, 42(9): 2924-2930.
[11]章海亮,羅微,劉雪梅,等.應(yīng)用遺傳算法結(jié)合連續(xù)投影算法近紅外光譜檢測(cè)土壤有機(jī)質(zhì)研究[J].光譜學(xué)與光譜分析,2017,37(2):584.
ZHANG H L, LUO W, LIU X M, et al. Measurement of soil organic matter with near infrared spectroscopy combined with genetic algorithm and successive projection algorithm[J]. Spectroscopy and Spectral Analysis, 2017, 37(2): 58.
[12]ZHANG H L, LUO W, LIU X M, et al. Measurement of soil organic matter with near infrared spectroscopy combined with genetic algorithm and successive projection algorithm[J]. Spectroscopy and Spectral Analysis, 2017, 37(2): 58.
[13]解宏圖,宣然然,彭義,等.基于遺傳算法的波長選擇方法對(duì)土壤有機(jī)碳預(yù)測(cè)模型影響[J].土壤通報(bào),2014,45(4):795-800.
XIE H T, XUAN R R, PENG Y, et al. Effects of prediction model on soil organic carbon using genetic algorithm[J]. Chinese Journal of Soil Science, 2014, 45(4): 795-800.
[14]李耀翔,汪洪濤,耿志偉,等.基于近紅外光譜及BP神經(jīng)網(wǎng)絡(luò)分析法預(yù)測(cè)森林土壤有機(jī)碳含量[J].西部林業(yè)科學(xué),2014,43(3):1-6.
LI Y X, WANG H T, GENG Z W, et al. Prediction of forest soil organic carbon content based on NIRS and BP neural network[J]. Journal of West China Forestry Science, 2014, 43(3): 1-6.
[15]孟珊,李新國,焦黎.基于CARS算法的湖濱綠洲土壤表層有機(jī)碳估算[J].環(huán)境科學(xué)與技術(shù),2022,45(8):218-225.
MENG S, LI X G, JIAO L. Estimation of surface soil organic carbon in lakeside oasis based on CARS algorithm[J]. Environmental Science & Technology, 2022, 45(8): 218-225.
[16]LI J C, SUN S D, JIANG H R, et al. Image recognition and empirical application of desert plant species based on convolutional neural network[J]. Journal of Arid Land, 2022, 14(12): 1440-1455.
[17]LOU G X, SHI H Z. Face image recognition based on convolutional neural network[J]. China Communications, 2020, 17(2): 117-124.
[18]金玉堂,王以松,王麗會(huì),等.基于多尺度階梯時(shí)頻Conformer GAN的語音增強(qiáng)算法[J/OL].計(jì)算機(jī)應(yīng)用,2023:1-11.
JIN Y T, WANG Y S, WANG L H, et al. Speech enhancement algorithm based on multiscale ladder-type time-frequency Conformer GAN[J/OL]. Journal of Computer Applications, 2023: 1-11.
[19]劉正梁,賀孟申,姜作偉,等.自然語言處理在醫(yī)學(xué)影像分析中的應(yīng)用[J].中南大學(xué)學(xué)報(bào)(醫(yī)學(xué)版),2022,47(8):981-993.
LIU Z L, HE M S, JIANG Z W, et al. Survey on natural language processing in medical image analysis[J]. Journal of Central South University (Medical Science), 2022, 47(8): 981-993.
[20]KAWAMURA K, NISHIGAKI T, ANDRIAMANANJARA A, et al. Using a one-dimensional convolutional neural network on visible and near-infrared spectroscopy to improve soil phosphorus prediction in Madagascar[J]. Remote Sensing, 2021, 13(8): 1519.
[21]LI R X, YIN B, CONG Y P, et al. Simultaneous prediction of soil properties using Multi_CNN model[J]. Sensors, 2020, 20(21): 6271.
[22]唐永生,陳爭(zhēng)光.卷積神經(jīng)網(wǎng)絡(luò)和近紅外光譜的土壤pH值預(yù)測(cè)[J].光譜學(xué)與光譜分析,2021,41(3):892-897.
TANG Y S, CHEN Z G. Soil pH prediction based on convolution neural network and near infrared spectroscopy[J]. Spectroscopy and Spectral Analysis, 2021, 41(3): 892-897.
[23]毛亮亮,董希斌,曲杭峰,等.撫育間伐對(duì)小興安嶺天然針闊混交林不同土層深度土壤養(yǎng)分的影響[J].東北林業(yè)大學(xué)學(xué)報(bào),2022,50(12):66-71.
MAO L L, DONG X B, QU H F, et al. Effects of thinning on soil nutrients at different depths of natural conifer and broadleaved mixed forest in Xiaoxing'an Mountains[J]. Journal of Northeast Forestry University, 2022, 50(12): 66-71.
[24]張燕杏,王凱學(xué),石橋德,等.2種移栽方式下稻水象甲幼蟲的空間分布型及抽樣技術(shù)研究[J].華南農(nóng)業(yè)大學(xué)學(xué)報(bào),2016,37(1):58-62.
ZHANG Y X, WANG K X, SHI Q D, et al. Spatial distribution patterns and sampling techniques of Lissorhoptrus oryzophilus larvae under two transplanting methods[J]. Journal of South China Agricultural University, 2016, 37(1): 58-62.
[25]HE K M, ZHANG X Y, REN S Q, et al. Deep residual learning for image recognition[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). June 27-30, 2016, Las Vegas, NV, USA. IEEE, 2016: 770-778.
[26]田斌,李俊,楊超,等.基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的工頻水下磁目標(biāo)探測(cè)[J].探測(cè)與控制學(xué)報(bào),2023,45(1):78-83,90.
TIAN B, LI J, YANG C, et al. Underwater magnetic target power frequency detection based on optimized CNN[J]. Journal of Detection & Control, 2023, 45(1): 78-83, 90.
[27]焦德曉.應(yīng)用不同預(yù)處理方法建模測(cè)定土壤有機(jī)質(zhì)和總氮含量[D].濟(jì)南:山東大學(xué),2019.
JIAO D X. Determination of soil organic and total nitrogen by modeling with different spectral pretreatment methods[D]. Jinan: Shandong University, 2019.
[28]KESKAR N S, MUDIGERE D, NOCEDAL J, et al. On large-batch training for deep learning: generalization gap and sharp minima[J]. 2016: arXiv: 1609.04836v2[cs.LG].
[29]MASTERS D, LUSCHI C. Revisiting small batch training for deep neural networks[EB/OL]. 2018: arXiv: 1804.07612v1[cs.LG].
[30]談愛玲,王曉斯,楚振原,等.基于近紅外光譜融合與深度學(xué)習(xí)的玉米成分定量建模方法[J].食品與發(fā)酵工業(yè),2020,46(23):213-219.
TAN A L, WANG X S, CHU Z Y, et al. Research on quantitative modeling method of maize composition based on near infrared spectrum fusion and deep learning[J]. Food and Fermentation Industries, 2020, 46(23): 213-219.
[31]吳爽,李國建,介鄧飛.基于深度學(xué)習(xí)的西瓜可見/近紅外光譜可溶性固形物預(yù)測(cè)模型研究[J].食品與機(jī)械,2020,36(12):132-135.
WU S, LI G J, JIE D F. Prediction model research of SSC in watermelon based on deep learning and visible/near infrared spectroscopy[J]. Food & Machinery, 2020, 36(12): 132-135.