封雨欣，梁少華，童 浩

（長江大學(xué)計算機科學(xué)學(xué)院，湖北 荊州 434023）

據(jù)統(tǒng)計，目前有超過12 000 種多肉植物，隸屬約80 科[1]。但在國內(nèi)的多肉植物市場中，供人們欣賞的作為盆栽類的多肉植物種類只有百余種。多肉植物的外觀特征很難準(zhǔn)確評估和描述，種類間存在的差異很小，肉眼很難進行分辨，只有少數(shù)植物學(xué)家和多肉植物從業(yè)者能夠完全識別它們。由于多肉植物種類繁多，類與類之間差異小，而類的內(nèi)部由于生長周期、生長狀態(tài)和環(huán)境的不同存在較大差異，這使得多肉植物的分類與其他分類任務(wù)相比更加復(fù)雜，屬于細(xì)粒度分類問題。

深度學(xué)習(xí)技術(shù)為解決多肉植物圖像分類問題帶來了新思路，不僅大大節(jié)省了時間和精力，更是將人工智能和農(nóng)業(yè)科學(xué)相結(jié)合促進了現(xiàn)代農(nóng)業(yè)的發(fā)展。在多肉植物圖像分類技術(shù)研究中，劉儼嬌[2]提出的基于深度卷積網(wǎng)的多肉植物分類使用了包含10 個種類的多肉植物數(shù)據(jù)集和9 個種類的生石花細(xì)粒度數(shù)據(jù)集，通過微調(diào)AlexNet，多肉植物和生石花的分類準(zhǔn)確率分別達到了96.1%和88.1%。黃嘉寶等[3]提出的基于卷積神經(jīng)網(wǎng)絡(luò)的多肉植物細(xì)粒度圖像分類使用了包含20 個種類的多肉植物數(shù)據(jù)集，通過微調(diào)GoogLeNet，多肉植物的分類準(zhǔn)確率達到了96.7%。上述多肉植物分類研究雖然能夠有效提升分類準(zhǔn)確率，但多肉植物數(shù)據(jù)集種類較少，只是簡單對卷積網(wǎng)絡(luò)進行微調(diào)，在多肉植物數(shù)據(jù)集種類擴充以及模型結(jié)構(gòu)的改進方面仍有很大的進步空間。

隨著人工智能技術(shù)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)近年來被廣泛用于解決圖像分類任務(wù)，它具有良好的特征提取和映射能力，通過迭代運算來提高模型的泛化能力。DYRMANN 等[4]設(shè)計了一個卷積神經(jīng)網(wǎng)絡(luò)，對22 種植物進行識別，識別準(zhǔn)確率達到了86.2%。HU 等[5]提出了一種多尺度融合卷積神經(jīng)網(wǎng)絡(luò)（MSF-CNN），對MalayaKew Leaf[6]數(shù)據(jù)集中的99種植物葉片和LeafSnap[7]數(shù)據(jù)集中的184 種植物葉片進行識別。李立鵬等[8]使用遷移學(xué)習(xí)和殘差網(wǎng)絡(luò)對62 種野生植物進行識別，得到了85.6%的準(zhǔn)確率。但是單純的卷積神經(jīng)網(wǎng)絡(luò)在面對“類間差異小、類內(nèi)差異大”這種細(xì)粒度分類時，往往很難捕捉到具有區(qū)分能力的關(guān)鍵局部信息。隨著自監(jiān)督學(xué)習(xí)領(lǐng)域中對比學(xué)習(xí)思想的提出，利用對比學(xué)習(xí)作為外部信息輔助細(xì)粒度圖像分類也成為很多研究者的研究重點，涌現(xiàn)出了MoCo[9]、SimCLR[10]等一系列優(yōu)秀的對比學(xué)習(xí)模型。MoCo 和SimCLR 都提出批大小設(shè)置的越大，越能獲得更好的效果，這對計算機資源的需求很大，不利于實際應(yīng)用。且在解決固定下游任務(wù)時，仍需要采用“預(yù)訓(xùn)練→微調(diào)遷移下游任務(wù)”兩階段訓(xùn)練過程，造成一定資源的浪費。鑒于此，擴充多肉植物數(shù)據(jù)集種類，參考卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計，融合了對比學(xué)習(xí)思想，提出一種基于對比學(xué)習(xí)的CL_ConvNeXt 網(wǎng)絡(luò)（ConvNeXt with contrastive learning），以提高多肉植物圖像的分類準(zhǔn)確率，從而有效識別更多種類的多肉植物。

1 材料和方法

1.1 試驗材料

1.1.1 多肉植物數(shù)據(jù)集 數(shù)據(jù)集是自主采集的原創(chuàng)數(shù)據(jù)集，收集了網(wǎng)絡(luò)上較為常見的190 種多肉植物的圖片，每個種類包含60～180 張不等的圖片，共有24 440 張圖片，以8∶2 的比例劃分訓(xùn)練集和驗證集。部分種類多肉植物圖像如圖1所示。多肉植物種類多、數(shù)據(jù)量少，類內(nèi)差異大、類間差異小等問題是多肉植物識別的主要難點。圖2展示了多肉植物類內(nèi)差異大、類間差異小的特點。

圖1 部分種類多肉植物圖像Fig.1 Images of some species of succulents

圖2 多肉植物的識別難點Fig.2 Difficulties in identifying succulents

1.1.2 數(shù)據(jù)預(yù)處理 數(shù)據(jù)增強[11]可以有效解決數(shù)據(jù)不足引發(fā)的模型過擬合問題。數(shù)據(jù)增強可以讓有限的數(shù)據(jù)產(chǎn)生更多的數(shù)據(jù)，增加訓(xùn)練樣本的數(shù)量以及多樣性，提升模型魯棒性。常用的監(jiān)督數(shù)據(jù)增強的方法包括裁剪、反轉(zhuǎn)、對比度增強、平移、旋轉(zhuǎn)、添加噪聲等。所用數(shù)據(jù)集在使用普通數(shù)據(jù)增強的方法，比如中心裁剪、隨機翻轉(zhuǎn)、隨機旋轉(zhuǎn)、隨機改變對比度之外，還增加了Cutout[12]和Mixup[13]2 種數(shù)據(jù)增強的方法。Cutout能更好地實現(xiàn)對遮擋數(shù)據(jù)的模擬，提高泛化能力。同時能夠讓卷積神經(jīng)網(wǎng)絡(luò)更好地利用圖像的全局信息，而不是依賴于小部分特定的視覺特征。Mixup 作為常見的多樣本數(shù)據(jù)增強方法，使用線性插值得到新樣本數(shù)據(jù)，可以將不同類別之間的圖像進行混合，從而擴充訓(xùn)練數(shù)據(jù)集。圖3為多肉植物數(shù)據(jù)集的數(shù)據(jù)增強示例。

圖3 多肉植物數(shù)據(jù)集的數(shù)據(jù)增強示例Fig.3 Example of data augmentation for the succulent dataset

1.2 試驗方法

1.2.1 網(wǎng)絡(luò)結(jié)構(gòu) CL_ConvNeXt 網(wǎng)絡(luò)以ConvNeXt模型為主干網(wǎng)絡(luò)。ConvNeXt[14]是2022 年提出的一款純卷積神經(jīng)網(wǎng)絡(luò)。它以殘差網(wǎng)絡(luò)ResNet50[15]為基準(zhǔn)模型，設(shè)計上參考了Transformer 和Swin-Transformer 的訓(xùn)練策略。在推理速度和準(zhǔn)確率兩方面都明顯優(yōu)于ResNet網(wǎng)絡(luò)和Swin-Transformer[16]。CL_ConvNeXt 將卷積網(wǎng)絡(luò)與對比學(xué)習(xí)相融合，利用ConvNeXt 模型的多路特征表示能力提取出不同抽象級別的特征，對比學(xué)習(xí)可以通過比較不同層之間的相似性和差異性，加強不同卷積層之間的交互，從而進一步提高模型的特征表示能力和性能。

一般來說，卷積神經(jīng)網(wǎng)絡(luò)的不同層傾向于學(xué)習(xí)不同層次的特征。通常，淺層學(xué)習(xí)諸如顏色和邊緣等底層特征，而最后幾層學(xué)習(xí)更多與任務(wù)相關(guān)的高級語義特征。對于細(xì)粒度圖像分類任務(wù)來說，淺層網(wǎng)絡(luò)學(xué)習(xí)到的特征同樣需要關(guān)注。傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)只對最后一層進行監(jiān)督，然后將誤差從最后一層傳播到較淺的層，導(dǎo)致中間層優(yōu)化困難，出現(xiàn)梯度消失的問題。對比學(xué)習(xí)作為一種表征學(xué)習(xí)方法，將其運用到網(wǎng)絡(luò)中間層，學(xué)習(xí)數(shù)據(jù)增強的不變性，可以很好地對淺層網(wǎng)絡(luò)特征進行提取，解決了傳統(tǒng)深度卷積網(wǎng)絡(luò)容易出現(xiàn)的梯度傳播不穩(wěn)定和收斂過慢的問題。同時還可以帶來一定的計算優(yōu)勢，由于中間層的特征維度相對較小，因此在進行特征投影時所需計算的參數(shù)數(shù)量也較小，可以減少計算量和模型參數(shù)，加速模型的訓(xùn)練和推理過程。圖4 為不同方法的基本結(jié)構(gòu)對比，CL_ConvNeXt 網(wǎng)絡(luò)模型的結(jié)構(gòu)如圖5所示。

圖4 不同方法的基本結(jié)構(gòu)對比Fig.4 The basic structure comparison of different methods

圖5 CL_ConvNeXt網(wǎng)絡(luò)模型結(jié)構(gòu)Fig.5 CL_ConvNeXt network model structure

CL_ConvNeXt 在解決多肉植物種類多、類間差異小、類內(nèi)差異大的問題時，首先，不需要數(shù)據(jù)集具有詳細(xì)特征判別區(qū)域標(biāo)簽，簡單的類別標(biāo)簽就可以獲得不錯的效果；其次，投影層（Projection head）的嵌入比較靈活，淺層嵌入如果效果好，就無需多層嵌入，避免資源浪費，也可以適應(yīng)不同的任務(wù)需求；同時不需要復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)，對不同卷積神經(jīng)網(wǎng)絡(luò)均有適用性。相較于SimCLR 和MoCo 需要先訓(xùn)練出通用大模型再進行fine-turn 訓(xùn)練出分類器的方法，在解決多肉植物圖像分類這個特定領(lǐng)域問題時有著不可取代的優(yōu)勢。不僅可以提取淺層網(wǎng)絡(luò)特征，對全局和局部特征進行融合，而且重新設(shè)計了損失函數(shù)的計算方法，可以實現(xiàn)單階段模型訓(xùn)練。對計算機資源的要求不高，對后續(xù)在移動設(shè)備或嵌入網(wǎng)絡(luò)系統(tǒng)中部署非常有利。

1.2.2 Projection head 結(jié)構(gòu) Projection head 通過將高維特征映射到低維向量空間來增強特征表示，這個低維的向量空間通常被稱為嵌入空間（Embedding space），其中每個向量對應(yīng)著1 個樣本的表示。在這個空間中，相似的樣本會被映射到相似的位置，不相似的樣本會被映射到不同的位置。這種低維的表示可以幫助模型更好地學(xué)習(xí)數(shù)據(jù)的結(jié)構(gòu)和特征，從而提高模型的性能。通過只保留相關(guān)信息并消除不相關(guān)信息，Projection head 有助于在不同任務(wù)中實現(xiàn)更好的泛化、高效的特征提取和穩(wěn)定而健壯的模型性能。Projection head 中的每個神經(jīng)元可以看作是1 個學(xué)到的特征。因此，可以通過分析每個神經(jīng)元對應(yīng)的權(quán)重來了解模型在學(xué)習(xí)哪些特征。對于多肉植物圖像分類任務(wù)，可以通過分析投影層中的每個神經(jīng)元對應(yīng)的權(quán)重，來了解模型是否學(xué)習(xí)到了圖像的紋理、形狀、顏色等特征。Projection head 的結(jié)構(gòu)對模型性能至關(guān)重要，常見的Projection head 主要結(jié)構(gòu)是1 個包含隱藏層的多層感知機，一般添加在主干網(wǎng)絡(luò)之后。

在本方法中將Projection head 作用于中間層，可以學(xué)習(xí)到淺層較為局部的特征，也可以學(xué)習(xí)到深層的全局特征，這些特征可以較好地融合全局和局部信息。為了使作用于中間層的Projection head 能夠更好地對多個不同深淺層的特征進行特征提取，通過添加卷積層來增加Projection head 的復(fù)雜性，建立1個多層層級結(jié)構(gòu)，使梯度傳播過程更穩(wěn)定、收斂速度更快。卷積層可以通過局部感受野、參數(shù)共享等特性，通過在輸入圖像上滑動1個濾波器，提取圖像中的更加高級的語義信息，從而使得Projection head 可以學(xué)習(xí)到更加抽象和區(qū)分度更高的特征表示。并且通過參數(shù)共享可以大大減少網(wǎng)絡(luò)參數(shù)數(shù)量，從而降低模型復(fù)雜度，避免過擬合。通過使用非線性激活函數(shù)（ReLU 函數(shù)），以增強模型的非線性表達能力。此外，加入Batch Normalization（BN）這種正則化手段，以進一步提高模型的泛化能力和魯棒性。圖6為Projection head結(jié)構(gòu)圖。

圖6 Projection head結(jié)構(gòu)Fig.6 Projection head structure

1.2.3 損失函數(shù)設(shè)計 對比學(xué)習(xí)[17]的核心思想是縮小正樣本的距離，擴大負(fù)樣本的距離，正、負(fù)樣本的構(gòu)造是計算對比損失的前提。本研究將1個批處理中的N個樣本經(jīng)過2 種數(shù)據(jù)增強得到2N個樣本，對于1 個樣本來說，其經(jīng)過數(shù)據(jù)增強后得到的2 張圖片互為1 對正樣本，同批次中其余2N- 2 個樣本均為負(fù)樣本。使用余弦相似度計算2 個樣本u、v之間的距離，公式如下：

以1 對正例圖像為例，其對比損失函數(shù)[10]的計算公式如下：

式中，zi,zj為1對正樣本，zi,zk互為負(fù)樣本，τ是溫度參數(shù)。

假設(shè)每對正樣本位置相鄰，對批處理中的每1對圖像做上述損失函數(shù)計算，最后對所有損失函數(shù)之和求均值，即為最終的損失函數(shù)值，公式如下：

傳統(tǒng)深度卷積網(wǎng)絡(luò)[18]通常只需要對最后1 層計算損失然后向前反向傳播，由于本研究在中間特征層引入了對比學(xué)習(xí)方法作為輔助分類器，所以對于損失函數(shù)需要重新設(shè)計。在每個特征提取階段i，都要對輔助分類器Ci計算對比損失。因此，一共有n個分類器。中間層的輔助分類器采用上述對比損失函數(shù)LContra，最終層分類器Cn采用交叉熵[19]損失函數(shù)LCE，α是1 個超參數(shù)，用來平衡2 個損失項。所得損失函數(shù)公式如下：

1.2.4 訓(xùn)練策略優(yōu)化 優(yōu)化器選擇AdamW（Adam with decoupled weight decay）[20]優(yōu)化器是Adam（Adaptive moment estimation）[21]的改進版本。AdamW 是在Adam 的基礎(chǔ)上加入L2正則，并且采用計算整體損失函數(shù)的梯度來進行更新。AdamW 優(yōu)化器計算公式如下：

式（5）中，mt計算的是t時刻的一階動量，gt表示時刻梯度，β1為一階矩陣指數(shù)衰減率。式（6）中，vt計算的是t時刻的二階動量，gt表示時刻梯度，β2為二階矩陣指數(shù)衰減率。式（7）（8）中和分別是對一階動量mt和二階動量vt的校正。式（9）中，θ是要更新的參數(shù)，λ為權(quán)重衰減因子，α為學(xué)習(xí)率，?是為了維持?jǐn)?shù)值穩(wěn)定性而添加的常數(shù)。

學(xué)習(xí)率優(yōu)化時采用了學(xué)習(xí)率預(yù)熱（Warmup）[22]和余弦下降（CosineAnnealingLR）[23]策略。由于神經(jīng)網(wǎng)絡(luò)剛開始訓(xùn)練時，模型的權(quán)重是隨機初始化的，此時若選擇一個較大的學(xué)習(xí)率，可能帶來模型的振蕩，選擇學(xué)習(xí)率預(yù)熱的訓(xùn)練方式，可以在開始訓(xùn)練的幾個訓(xùn)練周期內(nèi)設(shè)置較小學(xué)習(xí)率，在學(xué)習(xí)率預(yù)熱階段，模型可以慢慢趨于穩(wěn)定，等模型相對穩(wěn)定后再選擇預(yù)先設(shè)置的學(xué)習(xí)率進行訓(xùn)練。這種方法有助于減緩模型在初始階段對小批量數(shù)據(jù)的提前過擬合現(xiàn)象，保持分布的平穩(wěn)和模型深層的穩(wěn)定性。當(dāng)預(yù)熱階段結(jié)束后，選擇采用余弦下降的方法來調(diào)整訓(xùn)練時的學(xué)習(xí)率。余弦下降調(diào)整學(xué)習(xí)率的原理公式如下:

2 結(jié)果與分析

2.1 試驗環(huán)境及參數(shù)設(shè)置

GPU 顯卡為NVIDIA GeForce RTX3060，軟件環(huán)境為Windows10，深度學(xué)習(xí)框架是Pytorch1.10。各參數(shù)的初始設(shè)置如下：（1）對訓(xùn)練樣本進行數(shù)據(jù)增強時，Mixup 的概率為0.2。（2）學(xué)習(xí)率預(yù)熱階段，學(xué)習(xí)率設(shè)為0.001，訓(xùn)練輪數(shù)設(shè)為20。（3）對整個模型進行微調(diào)訓(xùn)練的最大輪數(shù)設(shè)為300，批大小設(shè)為64，學(xué)習(xí)率為0.01，權(quán)重衰減為0.05，Dropout 概率為0.5。（4）數(shù)據(jù)增強對比試驗采用的基礎(chǔ)結(jié)構(gòu)是ConvNeXt-tiny，其他試驗均采用ConvNeXt-base。

2.2 數(shù)據(jù)增強對比試驗

為了驗證數(shù)據(jù)增強對多肉植物圖像識別的影響，在沒有對模型微調(diào)和優(yōu)化的情況下，都采用ConvNeXt 網(wǎng)絡(luò)結(jié)構(gòu)，分別在沒有數(shù)據(jù)增強只做了尺寸歸一化處理的數(shù)據(jù)集上和經(jīng)過Cutout、Mixup數(shù)據(jù)增強處理的數(shù)據(jù)集上進行140個輪次的訓(xùn)練。訓(xùn)練結(jié)果如圖7所示。

圖7 數(shù)據(jù)增強前后的結(jié)果對比Fig.7 Comparison of results before and after data augmentation

從圖7 可以看出，未做數(shù)據(jù)增強的數(shù)據(jù)集進行訓(xùn)練時存在明顯的過擬合現(xiàn)象。數(shù)據(jù)增強后的訓(xùn)練集進行訓(xùn)練時，一定程度上緩解了模型過擬合的問題，使模型獲得了更好的泛化能力。并且經(jīng)過140 個輪次的訓(xùn)練，數(shù)據(jù)增強后模型的識別準(zhǔn)確率仍然存在上升的趨勢。相比原始數(shù)據(jù)集46.63%的識別準(zhǔn)確率，數(shù)據(jù)增強后的訓(xùn)練效果顯著提升，識別準(zhǔn)確率提高了31.47 個百分點，達到了78.10%。說明數(shù)據(jù)增強能有效地提升多肉植物數(shù)據(jù)集的識別準(zhǔn)確率。

為了進一步探究常見的幾何變換、Cutout 和Mixup 3 種數(shù)據(jù)增強方式對多肉植物識別的影響，分別采用不同的數(shù)據(jù)增強方法，進行了多次消融試驗，結(jié)果如表1 所示。從表1 可以看出，僅僅采用幾何變換這種數(shù)據(jù)增強方式，雖然可以提升模型的識別準(zhǔn)確率，解決模型過擬合的問題，但遠沒有任意2種數(shù)據(jù)增強組合的方式效果好。綜合來看，將3 種數(shù)據(jù)增強方式組合起來使用，更適合多肉植物數(shù)據(jù)集的訓(xùn)練。

表1 不同數(shù)據(jù)增強方式的訓(xùn)練結(jié)果Tab.1 Training results of different data augmentation methods

2.3 不同方法對比試驗

為了驗證CL_ConvNeXt 在多肉植物數(shù)據(jù)集上的適用性，將目前熱門網(wǎng)絡(luò)結(jié)構(gòu)，包括ResNet50、Vision-Transformer[24]、Swin-Transforme 和ConvNeXt，與CL_ConvNeXt 對比，均采用遷移學(xué)習(xí)[25]、選擇AdamW 優(yōu)化器、使用CosineAnnealingLR+Warmup的學(xué)習(xí)率優(yōu)化策略、迭代300 次來進行訓(xùn)練。不同方法的訓(xùn)練結(jié)果如表2所示。具體識別準(zhǔn)確率隨迭代次數(shù)的變化情況如圖8 所示。從表2 可以看出，CL_ConvNeXt 訓(xùn)練出的最終準(zhǔn)確率分別比ResNet50、Vision-Transformer、Swin-Transformer 和ConvNeXt 高35.94、25.24、19.59、12.24 個百分點，損失函數(shù)值也是5 種方法中最小的。從圖8 可以看出，CL_ConvNeXt 的收斂速度快于ResNet50、Vision-Transformer、Swin-Transformer。雖 然ConvNeXt 的收斂速度略快于CL_ConvNeXt，但CL_ConvNeXt 趨于穩(wěn)定后的準(zhǔn)確率更高。說明CL_ConvNeXt 在解決多肉植物分類問題時效果更好，更適合本研究所用多肉植物數(shù)據(jù)集的訓(xùn)練，進一步體現(xiàn)了將對比學(xué)習(xí)融入深度卷積網(wǎng)絡(luò)的有效性。

表2 不同方法訓(xùn)練結(jié)果對比Tab.2 Comparison of training results of different methods

圖8 不同方法的識別準(zhǔn)確率曲線Fig.8 Recognition accuracy curve of different methods

為了驗證CL_ConvNeXt 同經(jīng)典對比學(xué)習(xí)模型相比的優(yōu)勢，將CL_ConvNeXt與MoCo、SimCLR進行對比試驗，批大小均設(shè)置為64。最終試驗結(jié)果如表3所示。

表3 不同對比學(xué)習(xí)方法訓(xùn)練結(jié)果對比Tab.3 Comparison of training results of different contrastive learning methods

從表3 可以看出，相比于SimCLR 和MoCo 這2種批大小設(shè)置越大效果越好的模型來說，在同樣設(shè)置批大小為64 的情況下，CL_ConvNeXt 網(wǎng)絡(luò)在識別準(zhǔn)確率和損失函數(shù)值兩方面都遠遠優(yōu)于SimCLR 和MoCo。識別準(zhǔn)確率比SimCLR 和MoCo 分別提升了52.64、48.86 個百分點。進一步說明CL_ConvNeXt能夠降低對計算機資源的需求，更適合多肉植物圖像的分類任務(wù)。

為了驗證本研究所用方法在其他深度卷積網(wǎng)絡(luò)是否同樣適用，分別以ResNet50 和ResNet101 為主干網(wǎng)絡(luò)，融入本研究提到的對比學(xué)習(xí)方法，構(gòu)建了CL_ResNet50 和CL_ResNet101，訓(xùn)練策略同上，最終結(jié)果如表4所示。具體識別準(zhǔn)確率隨迭代次數(shù)的變化情況如圖9所示。

表4 不同模型訓(xùn)練結(jié)果對比Tab.4 Comparison of training results of different models

圖9 不同模型的識別準(zhǔn)確率曲線Fig.9 Recognition accuracy curves of different models

從表4 可以看出，相比于原始的ResNet50 網(wǎng)絡(luò)，CL_ResNet50 識別準(zhǔn)確率提高了28.98 個百分點，說明本研究的方法解決多肉植物圖像分類問題的效果比較明顯，在深度卷積網(wǎng)絡(luò)中有一定的適用性。采用CL_ConvNeXt 訓(xùn)練出來的最終準(zhǔn)確率在CL_ResNet50 的基礎(chǔ)上提升了6.96 個百分點，在CL_ResNet101 的基礎(chǔ)上提升了6.15 個百分點，最終的損失函數(shù)值也比CL_ResNet101低了0.14。從圖9可以看出，CL_ConvNeXt的收斂速度最快，且穩(wěn)定后的準(zhǔn)確率也是最高的，由此可見，CL_ConvNeXt訓(xùn)練出來的效果仍優(yōu)于其他模型。

2.4 不同優(yōu)化策略對比試驗

對不同數(shù)據(jù)集針對性地進行訓(xùn)練策略優(yōu)化可以在一定程度上提高模型的訓(xùn)練精度，得到最優(yōu)模型。為了驗證不同優(yōu)化策略對多肉植物圖像識別的影響，以CL_ConvNeXt 網(wǎng)絡(luò)為基準(zhǔn)模型，對網(wǎng)絡(luò)細(xì)節(jié)進行多方面優(yōu)化，比如嘗試增加Dropout 模塊[26]、更改優(yōu)化器、更改學(xué)習(xí)率策略等。每次訓(xùn)練周期均為300，以驗證集準(zhǔn)確率的最大值為判斷依據(jù)，得到的對比結(jié)果如表5所示。

表5 不同優(yōu)化策略訓(xùn)練結(jié)果對比Tab.5 Comparison of training results of different optimization strategies

從表5 可以看出，在增加了Dropout 模塊后，識別準(zhǔn)確率提升了0.58 個百分點。將優(yōu)化器從Adam換成AdamW 后，無論是準(zhǔn)確率還是損失函數(shù)值都較之前有了明顯的進步，說明AdamW 優(yōu)化器在模型的泛化能力上優(yōu)于Adam。在學(xué)習(xí)率優(yōu)化策略的選擇上可以看出，CosineAnnealingLR+Warmup 的效果是最優(yōu)的，最終模型的識別準(zhǔn)確率達到了91.79%。增加Dropout 模塊，以AdamW 為優(yōu)化器，學(xué)習(xí)率策略更新為CosineAnnealingLR+Warmup，這種組合的訓(xùn)練策略更適合于本模型的訓(xùn)練。

3 結(jié)論與討論

本研究提出一種基于對比學(xué)習(xí)的ConvNeXt 網(wǎng)絡(luò)CL_ConvNeXt，用于多肉植物圖像的分類識別。研究了多種數(shù)據(jù)增強方法、網(wǎng)絡(luò)結(jié)構(gòu)、優(yōu)化策略對模型最終結(jié)果的影響。最終CL_ConvNeXt 對190種多肉植物分類識別準(zhǔn)確率可達91.79%。表明對比學(xué)習(xí)和卷積網(wǎng)絡(luò)相融合的方法在解決多肉植物圖像的分類識別問題時效果較好；3 種數(shù)據(jù)增強方法組合使用能夠減小模型的過擬合問題；增加Dropout模塊、選擇AdamW 優(yōu)化器、使用CosineAnnealingLR+Warmup 的學(xué)習(xí)率優(yōu)化策略都能在一定程度上提升模型性能。在未來的研究中，考慮引入注意力機制來優(yōu)化模型結(jié)構(gòu)，提高模型處理任務(wù)的效率和準(zhǔn)確率；考慮將CL_ConvNeXt 在其他細(xì)粒度圖像分類數(shù)據(jù)集（如Oxford flower[27]、CUB200[28]、Stanford Dog[29]）上進行試驗，驗證其在解決圖像分類識別任務(wù)時是否具有通用性。