呂宗旺，王玉琦，孫福艷

（1.河南工業(yè)大學(xué)信息科學(xué)與工程學(xué)院，河南 鄭州 450001；2.糧食信息處理與控制教育部重點(diǎn)實(shí)驗(yàn)室，河南 鄭州 450001）

國(guó)家儲(chǔ)糧在糧食安全、農(nóng)民收益保障以及國(guó)家經(jīng)濟(jì)穩(wěn)定等方面具有重要的作用，是保障國(guó)家糧食安全和促進(jìn)農(nóng)業(yè)發(fā)展的重要手段[1-3]。由于小麥在食品工業(yè)發(fā)展中有著其他糧食產(chǎn)品不可替代的作用，小麥的質(zhì)量等級(jí)檢測(cè)也成為重要的研究?jī)?nèi)容之一[4-5]。目前，傳統(tǒng)的小麥質(zhì)量等級(jí)檢測(cè)方法精度和檢測(cè)效率仍有提升空間。隨著深度學(xué)習(xí)的發(fā)展，以深度學(xué)習(xí)的方法實(shí)現(xiàn)小麥質(zhì)量分級(jí)成為可能，逐漸成為研究熱點(diǎn)[6-8]。

早期，在糧庫(kù)和質(zhì)檢部門(mén)小麥的檢測(cè)都采用人工操作儀器檢測(cè)的方法[9]。但該操作步驟繁瑣，檢測(cè)效率低，從而影響糧食的進(jìn)出口等進(jìn)度。利用X射線可以斷層掃描小麥籽粒在發(fā)芽之后的內(nèi)部結(jié)構(gòu)，但仍需尋找更為有效的三維重建方法[10]。多光譜成像技術(shù)具有計(jì)算機(jī)視覺(jué)和光譜分析的優(yōu)點(diǎn)，但數(shù)據(jù)量大、系統(tǒng)昂貴等問(wèn)題是不可避免的[11]。傳統(tǒng)的機(jī)器學(xué)習(xí)方法可以通過(guò)計(jì)算機(jī)視覺(jué)系統(tǒng)捕捉作物圖像，根據(jù)顏色、形狀、面積和紋理提取特征[12-13]，但人工提取的特征依賴于人類的先驗(yàn)知識(shí)，且特征之間相互關(guān)聯(lián)容易造成冗余，不能滿足小麥質(zhì)量等級(jí)的快速準(zhǔn)確評(píng)價(jià)[14]。

目前，一些國(guó)內(nèi)外研究人員已經(jīng)利用語(yǔ)義分割技術(shù)實(shí)現(xiàn)了一些糧食作物的品質(zhì)、病害和不完善粒的識(shí)別檢測(cè)[15-17]。王梁等[18]提出了一種基于Mask-RCNN 的油茶果目標(biāo)識(shí)別與檢測(cè)算法，油茶果目標(biāo)識(shí)別的平均檢測(cè)精度達(dá)到89.42%；戴雨舒等[19]提出了基于改進(jìn)Deeplabv3+的小麥赤霉病識(shí)別模型，以輕量化網(wǎng)絡(luò)MobileNet V2為網(wǎng)絡(luò)編碼模塊建立基于深度學(xué)習(xí)網(wǎng)絡(luò)的小麥赤霉病發(fā)病麥穗的識(shí)別與檢測(cè)模型，該模型的平均精度為0.969 2，平均交并比（MIoU）為0.793；陳鵬等[20]提出一種融合卷積神經(jīng)網(wǎng)絡(luò)和注意力機(jī)制的小麥赤霉病語(yǔ)義分割網(wǎng)絡(luò)模型UNetA，其MIoU 值達(dá)到83.90%；ZHANG 等[21]提出了一種名為Ir-UNet 的改進(jìn)算法，結(jié)果顯示，具有5個(gè)原始波段的Ir-UNet優(yōu)于基本U-Net，在各種輸入中取得了最高的總體準(zhǔn)確度（OA），得分97.13%；鄧楊等[22]提出了一個(gè)輕量級(jí)的語(yǔ)義分割網(wǎng)絡(luò)IMUN，實(shí)現(xiàn)對(duì)大米上堊白區(qū)域的像素級(jí)分割，大米上堊白區(qū)域的分割準(zhǔn)確率可達(dá)到94.11%?？梢?jiàn)，用深度學(xué)習(xí)方法可以實(shí)現(xiàn)小麥等糧食籽粒的識(shí)別檢測(cè)。本研究提出了一種結(jié)合殘差堆疊主干網(wǎng)絡(luò)和注意力機(jī)制的改進(jìn)U-Net 模型，以實(shí)現(xiàn)更準(zhǔn)確的小麥圖像分割。在小麥圖像的分割過(guò)程中，充分考慮到如小麥目標(biāo)尺寸較小、特征不明顯和邊緣分割不清晰等問(wèn)題，在網(wǎng)絡(luò)結(jié)構(gòu)中引入了殘差堆疊模塊來(lái)減少特征損失，并增強(qiáng)了網(wǎng)絡(luò)對(duì)小麥細(xì)微特征的提取能力；為了進(jìn)一步改進(jìn)網(wǎng)絡(luò)性能，在編碼器部分嵌入了CBAM（Convolutional block attention module）注意力機(jī)制模塊，該模塊能夠自適應(yīng)地調(diào)整特征融合的權(quán)重，使網(wǎng)絡(luò)能夠更好地聚焦于小麥圖像中的重要區(qū)域，提高分割的精度和魯棒性；同時(shí)，在解碼器部分嵌入了自注意力機(jī)制模塊，提高網(wǎng)絡(luò)模型的特征還原能力，使分割結(jié)果更加準(zhǔn)確和清晰。通過(guò)采用語(yǔ)義分割技術(shù)，可以實(shí)現(xiàn)從圖像層面對(duì)小麥圖像進(jìn)行更精確的分割，更準(zhǔn)確地識(shí)別出小麥籽粒的位置和形狀，為不同容重小麥籽粒的識(shí)別檢測(cè)奠定基礎(chǔ)。

1 材料和方法

1.1 原始U-Net模型

本研究采用語(yǔ)義分割技術(shù)的思想，通過(guò)小麥籽粒圖像與背景之間的像素級(jí)差異，建立小麥圖像分割模型。 通過(guò)對(duì)比 U-Net[23-24]、SegNet[25]、PSPNet[26-27]、DeepLabv3+[28]網(wǎng)絡(luò)結(jié)構(gòu)的優(yōu)缺點(diǎn)，結(jié)合研究對(duì)象小麥籽粒自身的特點(diǎn)，選擇較適合的UNet 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)[29-31]。如圖1 所示，U-Net 具有對(duì)稱的編碼器-解碼器結(jié)構(gòu)。在編碼器部分，輸入的圖像通過(guò)一個(gè)卷積操作、激活函數(shù)和歸一化處理進(jìn)行特征提取和下采樣；編碼器部分的輸出被傳遞到解碼器部分，并通過(guò)跳躍連接（Skip connections）在2 個(gè)對(duì)應(yīng)層之間建立連接；解碼器通過(guò)上采樣（增加分辨率）和卷積操作來(lái)還原圖像的尺寸，通過(guò)一個(gè)最后的卷積層，經(jīng)過(guò)適當(dāng)?shù)募せ詈瘮?shù)后，在輸出層生成最終的分割結(jié)果。

圖1 U-Net網(wǎng)絡(luò)模型Fig.1 U-Net network model

1.2 殘差結(jié)構(gòu)

殘差結(jié)構(gòu)（Residual structure）是一種解決深度網(wǎng)絡(luò)訓(xùn)練中梯度消失和梯度爆炸問(wèn)題以及加速網(wǎng)絡(luò)收斂速度的結(jié)構(gòu)[32]。殘差網(wǎng)絡(luò)是由一系列殘差塊組成的，如圖2 所示，輸入的x 被復(fù)制成兩部分，一部分輸入到層（Weight layer）之中，進(jìn)行層間的運(yùn)算得到輸出F（x）；另一部分作為分支結(jié)構(gòu)，輸出原本的x，最后分別將兩部分輸出進(jìn)行疊加[F（x）+x]，再通過(guò)Relu 激活函數(shù)處理，這便是整個(gè)殘差塊的基本結(jié)構(gòu)。

圖2 殘差結(jié)構(gòu)塊Fig.2 Residual structure block

1.3 CBAM注意力機(jī)制模塊

CBAM 是一種基于注意力機(jī)制的輕量級(jí)卷積神經(jīng)網(wǎng)絡(luò)模塊[33]，用于增強(qiáng)模型的特征表示能力。CBAM 由2 個(gè)部分組成：通道注意力和空間注意力。通道注意力機(jī)制（Channel attention）用于自適應(yīng)地調(diào)整不同通道特征的權(quán)重；空間注意力機(jī)制（Spatial attention）用于自適應(yīng)地調(diào)整不同空間位置的特征融合權(quán)重。如圖3 所示，輸入特征F∈RC*H*W，然后是通道注意力模塊一維卷積Mc∈RC*1*1，將卷積結(jié)果乘原圖，將通道注意力模塊的輸出結(jié)果作為輸入，進(jìn)行空間注意力模塊的二維卷積Ms∈R1*H*W，再將結(jié)果與原圖相乘。

圖3 CBAM注意力機(jī)制Fig.3 CBAM attention mechanism

1.4 自注意力機(jī)制模塊

自注意力機(jī)制（Self-attention mechanism）是一種用于建模序列或圖像中不同元素之間關(guān)系的技術(shù)[34]。如圖4 所示，在圖像中，自注意力機(jī)制可以學(xué)習(xí)像素之間的依賴關(guān)系，從而增強(qiáng)模型的特征表示能力，其減少了對(duì)外部信息的依賴，更擅長(zhǎng)捕捉數(shù)據(jù)或特征的內(nèi)部相關(guān)性。

圖4 自注意力機(jī)制Fig.4 Self-attention mechanism

1.5 CBSA_U-Net模型構(gòu)建

本研究對(duì)U-Net 網(wǎng)絡(luò)進(jìn)行改進(jìn)，提出了基于殘差網(wǎng)絡(luò)的雙注意力融合模型CBSA_U-Net，如圖5所示。該模型在U-Net 的基礎(chǔ)上進(jìn)行了修改，將編碼器（Encoder）部分的特征提取網(wǎng)絡(luò)替換為殘差堆疊模塊，減少下采樣過(guò)程中的特征損失；為進(jìn)一步提取特征，在初級(jí)特征圖后嵌入CBAM 注意力機(jī)制模塊并在解碼器部分加入自注意力機(jī)制增強(qiáng)不同目標(biāo)之間的相關(guān)性，從而還原細(xì)節(jié)信息，實(shí)現(xiàn)小麥的精確分割。

圖5 CBSA_U-Net模型Fig.5 CBSA_U-Net model

首先，在編碼器部分，結(jié)合小麥籽粒目標(biāo)較小的特點(diǎn)，將所采集的小麥籽粒圖像進(jìn)行卷積操作，使用ResNet50 卷積神經(jīng)網(wǎng)絡(luò)初步提取小麥籽粒圖片的特征，采用殘差傳播，減少小目標(biāo)在下采樣過(guò)程中損失的特征，生成初級(jí)特征圖。

其次，在U-Net模型中，特征融合模塊的目的是將編碼器中的初級(jí)特征圖與解碼器（Decoder）中的高級(jí)特征圖進(jìn)行融合，以提高對(duì)小目標(biāo)的分割能力。當(dāng)目標(biāo)較小時(shí)，初級(jí)特征圖可能無(wú)法捕捉到足夠的細(xì)節(jié)信息。為了解決這個(gè)問(wèn)題，在ResNet50 輸出初級(jí)特征圖之后嵌入CBAM 注意力機(jī)制。從通道和空間位置以自適應(yīng)地調(diào)整不同像素點(diǎn)的特征

融合權(quán)重，從而更好地提取小麥籽粒的細(xì)節(jié)信息，這有助于增強(qiáng)初級(jí)特征圖的表達(dá)能力，提高對(duì)小目標(biāo)的分割準(zhǔn)確性。

最后，在解碼器部分中，由于經(jīng)過(guò)一系列的下采樣操作使得與目標(biāo)之間呈現(xiàn)弱相關(guān)性，導(dǎo)致對(duì)小目標(biāo)的細(xì)節(jié)信息抓取不足，因此在解碼器部分中嵌入自注意力模塊，通過(guò)減少對(duì)外部信息的依賴，更多地捕捉特征的內(nèi)部相關(guān)性，加強(qiáng)上下文之間的聯(lián)系，還原細(xì)節(jié)信息。通過(guò)引入殘差網(wǎng)絡(luò)和雙注意力融合機(jī)制，CBSA_U-Net 模型在小麥圖像分割任務(wù)中表現(xiàn)出更好的性能。

通過(guò)以上改進(jìn)，CBSA_U-Net 模型能夠準(zhǔn)確地分割小麥圖像，并還原小麥籽粒的細(xì)節(jié)信息。它能夠更好地處理解碼器部分的弱相關(guān)性問(wèn)題，提高分割模型的性能。

1.6 數(shù)據(jù)集及預(yù)處理

本研究利用專業(yè)工業(yè)攝像機(jī)人工搭建的圖像采集平臺(tái)，對(duì)小麥籽粒圖像進(jìn)行采集，所選用的小麥樣品來(lái)自于河南鄭州興隆國(guó)家糧食和物資儲(chǔ)備庫(kù)。選取3種容重等級(jí)（790、805、810 g/L）的小麥籽粒作為研究對(duì)象，并將其放置在黑色不反光的密胺材質(zhì)托盤(pán)上，采用在同一光源下定點(diǎn)拍攝的方法獲取了150張小麥籽粒圖像。對(duì)采集到的小麥籽粒圖像進(jìn)行打點(diǎn)連線標(biāo)注得到標(biāo)注后的掩膜圖像。其中，背景像素值為0，790 g/L 小麥籽粒的像素值為1，805 g/L 小麥籽粒的像素值為2，810 g/L 小麥籽粒的像素值為3。再對(duì)圖像采用中值濾波的方法進(jìn)行降噪處理，隨后對(duì)數(shù)據(jù)集以512為步長(zhǎng)進(jìn)行裁剪，得到尺寸為512×512大小的圖像，經(jīng)過(guò)圖像裁剪操作，原始的150 張小麥籽粒圖像被劃分為3 527 張。如圖6 所示，其中圖6a 表示的是經(jīng)過(guò)處理后的訓(xùn)練集中部分小麥籽粒圖像及其對(duì)應(yīng)的標(biāo)簽，從左到右依次為容重是790 g/L（紅色標(biāo)簽）、805 g/L（綠色標(biāo)簽）、810 g/L（黃色標(biāo)簽）的小麥籽粒圖像及其對(duì)應(yīng)的掩膜圖像；圖6b 表示的是測(cè)試集中的3 種小麥籽粒圖像及其對(duì)應(yīng)的掩膜圖像。

圖6 部分小麥籽粒圖像及其標(biāo)簽Fig.6 Some wheat kernel images and their labels

1.7 數(shù)據(jù)增強(qiáng)

由于小麥籽粒樣本較小，容易產(chǎn)生泛化能力不足的問(wèn)題，為防止網(wǎng)絡(luò)過(guò)擬合，提高識(shí)別精度，對(duì)小麥籽粒圖像的原始圖和標(biāo)簽圖通過(guò)數(shù)據(jù)增強(qiáng)的方式進(jìn)行樣本擴(kuò)充[35-36]。依次通過(guò)向左、向右旋轉(zhuǎn)90°，水平和上下翻轉(zhuǎn)，調(diào)節(jié)亮度等方式進(jìn)行8 次擴(kuò)充，增強(qiáng)后的數(shù)據(jù)集擴(kuò)增為原來(lái)的9倍，數(shù)據(jù)集共計(jì)31 743 個(gè)，把圖像增強(qiáng)后的數(shù)據(jù)集按照8∶1∶1 劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，共25 395 個(gè)訓(xùn)練集、3 174 個(gè)驗(yàn)證集和3 174 個(gè)測(cè)試集。數(shù)據(jù)集中部分圖像及標(biāo)簽如圖7所示。

1.8 試驗(yàn)設(shè)置

試驗(yàn)環(huán)境使用的操作系統(tǒng)為Windows 10 專業(yè)版，64 G 內(nèi)存，顯卡型號(hào)為NVIDIA GeForce RTX 3060，CUDA 版本11.0，使用Pytorch 框架搭建模型。模型訓(xùn)練選用Adam 優(yōu)化器，其中動(dòng)量設(shè)置為0.9，權(quán)重衰減設(shè)置為0.000 5；學(xué)習(xí)率衰減策略使用指數(shù)衰減，初始學(xué)習(xí)率設(shè)為0.001；在小麥圖像數(shù)據(jù)集上進(jìn)行訓(xùn)練，批處理設(shè)置為8，最大迭代次數(shù)為100。模型訓(xùn)練使用多損失函數(shù)交叉熵?fù)p失函數(shù)和Dice損失函數(shù)，總損失為二者加權(quán)平均。交叉熵?fù)p失函數(shù)的表達(dá)式如式（1）所示，其中p（x）為真實(shí)值的概率分布，q（x）為預(yù)測(cè)值的概率分布，n表示類別總數(shù)。

Dice 損失函數(shù)的表達(dá)式如式（2）所示，其中|x∩y|表示真實(shí)樣本與預(yù)測(cè)集的交集，|x|和|y|分別表示真實(shí)值和預(yù)測(cè)值的個(gè)數(shù)。

1.9 評(píng)價(jià)指標(biāo)

采用MIoU（Mean intersection over union）作為分割結(jié)果的評(píng)價(jià)指標(biāo)[37-38]，IoU（Intersection over union）是指某個(gè)類別預(yù)測(cè)結(jié)果與真實(shí)標(biāo)簽之間交集與并集之間的比值，MIoU就是這些比值的平均值。其中TP（True positive）=pii，表示一個(gè)樣本被預(yù)測(cè)為正例，并且真實(shí)標(biāo)簽為正例；FN（False negative）=pij，表示一個(gè)樣本被預(yù)測(cè)為反例，但是真實(shí)標(biāo)簽為正例；FP（False positive）=pji，表示一個(gè)樣本被預(yù)測(cè)為正例，但是真實(shí)標(biāo)簽為反例；TN（True negative）表示一個(gè)樣本被預(yù)測(cè)為反例，并且真實(shí)標(biāo)簽為反例。MIoU 和IoU的計(jì)算公式如式（3）（4）所示。

2 結(jié)果與分析

2.1 小麥圖像分割結(jié)果及分析

在搭建的圖像采集平臺(tái)基礎(chǔ)上，采用改進(jìn)的CBSA_U-Net 模型，對(duì)17 634 粒小麥進(jìn)行分割，各種小麥籽粒的分割結(jié)果如表1 所示。其中，錯(cuò)誤分割的小麥籽粒中，被錯(cuò)分為其他籽粒的數(shù)量最多，占錯(cuò)分比例的很大一部分，主要是因?yàn)樵谛←溩蚜Ｌ卣魈崛∵^(guò)程中，小麥的大小形狀差異不大，但是需要通過(guò)很多不同的局部信息進(jìn)行分類，然而在模型訓(xùn)練過(guò)程中，隨著任務(wù)的變化，注意力區(qū)域往往會(huì)發(fā)生變化，會(huì)檢測(cè)更多無(wú)意義的信息使網(wǎng)絡(luò)冗余且效率低下。

表1 小麥圖像分割結(jié)果Tab.1 Wheat image segmentation results

2.2 不同模型對(duì)比試驗(yàn)結(jié)果

使用PSPNet、DeepLabv3+、U-Net 模型作為對(duì)比模型，在訓(xùn)練過(guò)程中，輸入圖像的大小為512×512。為驗(yàn)證模型的有效性，所有試驗(yàn)均在同等參數(shù)設(shè)置下進(jìn)行對(duì)比，表2 展示的試驗(yàn)結(jié)果為樣本集多次不同劃分下的平均精度。如表2 所示，基于UNet 的改進(jìn)網(wǎng)絡(luò)CBSA_U-Net 在MIoU 指標(biāo)上達(dá)到81.5%，與原模型U-Net 相比提升了1.8 百分點(diǎn)，相較于PSPNet、DeepLabv3+都有明顯的提升。容重為810 g/L 的小麥籽粒大小和紋理特征較明顯，分割精度最高；而790 g/L 的小麥籽粒分割精度提升較小，可能原因是容重為790 g/L的小麥籽粒目標(biāo)較小，并且可能存在一些干癟的籽粒，影響了小麥籽粒的分割效果；805 g/L 的小麥籽粒相比于原模型提升了0.4 百分點(diǎn)，可能是由于容重為805 g/L 的小麥籽粒大小、紋理等介于上下2種等級(jí)小麥之間，容易造成誤分割。

表2 不同模型在不同容重小麥籽粒數(shù)據(jù)集上的分割精度Tab.2 Segmentation accuracy of different models on wheat kernel data sets with different volume weight

從圖8 可以看出，U-Net 和Deeplabv3+模型分割結(jié)果中的破碎圖斑較多，這主要是因?yàn)镃NN 的特征提取特性使網(wǎng)絡(luò)更關(guān)注局部信息，未關(guān)注足夠的上下文信息而使目標(biāo)的分割呈現(xiàn)碎片化，但加入自注意力機(jī)制的CBSA_U-Net模型，無(wú)明顯破碎圖斑。CBSA_U-Net 模型相較于其他網(wǎng)絡(luò)邊緣分割更平滑，歸結(jié)于CBSA_U-Net 模型的解碼器部分多了一個(gè)自注意力機(jī)制，該結(jié)構(gòu)通過(guò)減少對(duì)外部信息的依賴，更多地捕捉特征的內(nèi)部相關(guān)性，加強(qiáng)上下文之間的聯(lián)系，還原細(xì)節(jié)信息和邊緣特征的提取。此外，U-Net 和Deeplabv3+模型對(duì)810 g/L 的小麥籽粒分割效果較差，出現(xiàn)了不同程度的誤分，而CBSA_U-Net 模型相較于這2 種模型有更好的分割效果，預(yù)測(cè)結(jié)果更完整、更準(zhǔn)確，說(shuō)明基于殘差結(jié)構(gòu)加入雙注意力機(jī)制的U-Net結(jié)構(gòu)在提高分割精度和保持小麥籽粒完整性上是有效的。

圖8 不同模型預(yù)測(cè)結(jié)果對(duì)比Fig.8 Comparison of prediction results of different models

2.3 消融試驗(yàn)結(jié)果

為了驗(yàn)證加入模塊的有效性，分別對(duì)U-Net 等模型進(jìn)行消融試驗(yàn)，精度評(píng)估結(jié)果如表3 所示。從表3 可以看出，加入CBAM 注意力機(jī)制模塊的CBANet 模型相對(duì)于原始U-Net 模型有了略微的提升，MIoU 提升了0.8 百分點(diǎn)，CBAM 注意力機(jī)制模塊結(jié)合了通道注意力和空間注意力，可以提取特征圖中的重要信息，對(duì)于小麥籽粒分類任務(wù)，CBAM 注意力機(jī)制幫助網(wǎng)絡(luò)集中注意力在最相關(guān)的特征通道上，提取小麥的形狀、紋理、顏色等與分類有關(guān)的信息，從而提升網(wǎng)絡(luò)對(duì)小麥籽粒不同特征的感知能力；在通道注意力之后，對(duì)特征圖的空間維度進(jìn)行注意力權(quán)重的計(jì)算，CBAM 注意力機(jī)制進(jìn)一步聚焦在特定的空間位置上，如麥粒的中心或邊緣，從而突出小麥籽粒的局部特征，以便更準(zhǔn)確地區(qū)分不同類型的小麥籽粒；最后，CBAM 注意力機(jī)制能夠幫助網(wǎng)絡(luò)更敏銳地捕捉小麥籽粒間的微小差異，通過(guò)提取和強(qiáng)調(diào)重要的特征，CBAM 注意力機(jī)制能夠使網(wǎng)絡(luò)更好地區(qū)分小麥籽粒的類別。

表3 消融試驗(yàn)的分類精度Tab.3 Classification accuracy of ablation experiment

本研究在模型改進(jìn)過(guò)程中還加入了自注意力機(jī)制，加入自注意力機(jī)制的SANet模型相比原始UNet 模型精度提升了1.2 百分點(diǎn)，自注意力機(jī)制在解碼器部分幫助網(wǎng)絡(luò)更好地理解小麥籽粒的整體結(jié)構(gòu)和上下文環(huán)境來(lái)恢復(fù)小麥籽粒的細(xì)節(jié)和形狀；通過(guò)計(jì)算特征之間的相似性，增強(qiáng)重要特征的表示，并抑制不相關(guān)的特征，這使得解碼器更好地捕捉小麥分類任務(wù)中的關(guān)鍵特征，提高分類準(zhǔn)確性；在解碼器中，某些細(xì)節(jié)特征可能與較遠(yuǎn)的上下文相關(guān)，自注意力機(jī)制可以通過(guò)學(xué)習(xí)特征之間的依賴關(guān)系，使網(wǎng)絡(luò)能夠更好地捕捉小麥籽粒的邊緣或紋理信息這些長(zhǎng)距離的依賴關(guān)系，從而提高小麥分類的性能。自注意力機(jī)制在U-Net網(wǎng)絡(luò)的解碼器部分對(duì)于小麥分類任務(wù)具有重要作用。它可以通過(guò)上下文信息建模、特征融合和長(zhǎng)距離依賴建模等方式，增強(qiáng)解碼器對(duì)小麥籽粒特征的感知能力，提高分類準(zhǔn)確性，并幫助網(wǎng)絡(luò)更好地理解小麥籽粒的形狀、紋理和上下文環(huán)境。

由圖9 可以看出，加入了雙注意力機(jī)制模塊的CBSA_U-Net 模型相較于U-Net 模型在790、805、810 g/L 3 種小麥籽粒的分割精度上都有明顯提升。3 種小麥之間大小、紋理差別較小，CBAM 注意力機(jī)制在通道和空間上幫助網(wǎng)絡(luò)更好地集中于小麥的最相關(guān)特征通道上，自注意力機(jī)制模塊通過(guò)特征融合和長(zhǎng)距離依賴建模，增強(qiáng)對(duì)小麥籽粒特征的感知能力，進(jìn)而提高分類準(zhǔn)確性，故加入雙注意力機(jī)制后提升效果明顯。結(jié)合圖9 可以看出，加入CBAM注意力機(jī)制的CBANet對(duì)790 g/L和805 g/L 2種小麥籽粒分割精度有較大的提升，原因是這2 種小麥特征、紋理相對(duì)清晰明顯，加入注意力機(jī)制后提升了模型對(duì)特征的提取能力，從而提高了分割精度。

圖9 不同模型在3種小麥籽粒上的分割精度Fig.9 The segmentation accuracy of each model on three kinds of wheat grains

3 結(jié)論與討論

在小麥的質(zhì)量等級(jí)檢測(cè)中，利用深度學(xué)習(xí)方法進(jìn)行小麥籽粒的識(shí)別檢測(cè)是一種新的趨勢(shì)，其中主要挑戰(zhàn)是小麥籽粒目標(biāo)較小且特征不明顯。為了解決上述問(wèn)題，本研究通過(guò)搭建圖像采集平臺(tái)，采集不同等級(jí)的小麥籽粒圖像。在圖像采集過(guò)程中，特別注意避免小麥籽粒之間的相互粘連，以確保采集到清晰的、單獨(dú)的小麥籽粒圖像。這有助于提供更準(zhǔn)確、可靠的訓(xùn)練數(shù)據(jù)，為模型的訓(xùn)練和性能評(píng)估提供基礎(chǔ)。通過(guò)優(yōu)化圖像采集過(guò)程，可以獲得更具代表性的小麥籽粒圖像數(shù)據(jù)集，有助于提升模型對(duì)小麥籽粒的識(shí)別和檢測(cè)能力。這為進(jìn)一步改進(jìn)和優(yōu)化基于深度學(xué)習(xí)的小麥質(zhì)量等級(jí)檢測(cè)方法奠定了基礎(chǔ)，并為實(shí)際應(yīng)用中提供了更可靠的檢測(cè)結(jié)果。

本研究中小麥圖像有25 395個(gè)訓(xùn)練集、3 174個(gè)驗(yàn)證集和3 174 個(gè)測(cè)試集。結(jié)合小麥籽粒目標(biāo)小、特征不明顯的問(wèn)題，比較了PSPNet、DeepLabv3+、U-Net 的優(yōu)勢(shì)和缺點(diǎn)：PSPNet 采用金字塔池化的方法，將不同尺度的特征圖進(jìn)行池化和拼接，這樣會(huì)導(dǎo)致一些細(xì)節(jié)信息丟失，特別是在處理小目標(biāo)時(shí)容易出現(xiàn)分割不準(zhǔn)確的情況。改進(jìn)后的U-Net在特征提取時(shí)主干結(jié)構(gòu)采用殘差堆疊模塊對(duì)局部特征進(jìn)行初步提取，減少了小目標(biāo)在下采樣過(guò)程中損失的特征，這有助于提高對(duì)小麥籽粒的分割準(zhǔn)確性；DeepLabv3+ 采用 ASPP（Atrous spatial pyramid pooling）的方法來(lái)融合多尺度特征，但是只考慮了不同尺度的特征融合，沒(méi)有考慮不同層次的特征融合，導(dǎo)致模型對(duì)于一些細(xì)節(jié)信息的分割效果不理想。改進(jìn)后的U-Net在輸出的初級(jí)特征圖之后嵌入CBAM 注意力機(jī)制，從通道和空間位置以自適應(yīng)地調(diào)整不同像素點(diǎn)的特征融合權(quán)重，從而更好地提取小麥籽粒的細(xì)節(jié)信息，進(jìn)一步增強(qiáng)分割性能；U-Net在解碼器部分通過(guò)上采樣和跳躍連接來(lái)恢復(fù)之前被壓縮的特征圖，但是這種方式會(huì)導(dǎo)致分辨率的降低，影響模型的精度。改進(jìn)后的U-Net 在解碼器部分中嵌入自注意力模塊，通過(guò)減少對(duì)外部信息的依賴，更多地捕捉特征的內(nèi)部相關(guān)性，加強(qiáng)上下文之間的聯(lián)系，還原細(xì)節(jié)信息，從而實(shí)現(xiàn)更精確的小麥分割。通過(guò)對(duì)不同模型的分析和改進(jìn)，本研究旨在提高小麥圖像分割的準(zhǔn)確性和效果，為小麥質(zhì)量等級(jí)檢測(cè)方法的發(fā)展做出貢獻(xiàn)。

盡管本研究提出的方法在小麥籽粒分割方面表現(xiàn)出較快速和準(zhǔn)確的特點(diǎn)，并具備實(shí)際應(yīng)用的價(jià)值，但在將該方法真正應(yīng)用于市場(chǎng)時(shí)仍然面臨一些困難。首先，為了實(shí)現(xiàn)小麥籽粒的分割，需要配置適當(dāng)?shù)臋z測(cè)設(shè)備。這包括高質(zhì)量的圖像采集設(shè)備和計(jì)算資源，以確保能夠捕捉到細(xì)微的小麥籽粒特征，并進(jìn)行高效的圖像處理和分割。其次，搭建大型圖像采集平臺(tái)是一個(gè)復(fù)雜而昂貴的任務(wù)。為了獲得具有代表性的數(shù)據(jù)集，需要建立一個(gè)完善的采集系統(tǒng)，以確保小麥籽粒的不同等級(jí)能夠得到準(zhǔn)確的標(biāo)注和分類。這涉及到人力資源、設(shè)備投資和數(shù)據(jù)管理等方面的挑戰(zhàn)。分割、檢測(cè)和識(shí)別的速度和準(zhǔn)確率也是應(yīng)用面臨的問(wèn)題。盡管本方法在速度和準(zhǔn)確性方面取得了一定的改進(jìn)，但仍需要進(jìn)一步提高算法的效率，以滿足實(shí)時(shí)應(yīng)用的需求。此外，計(jì)算結(jié)果的呈現(xiàn)方式也需要考慮。在將小麥籽粒的分割結(jié)果用于質(zhì)量等級(jí)劃分時(shí)，應(yīng)該結(jié)合多視角圖像采集的信息，提高識(shí)別的精度和可靠性。為了克服這些困難，應(yīng)嚴(yán)格構(gòu)建更大規(guī)模的不同等級(jí)小麥籽粒數(shù)據(jù)集，并提高數(shù)據(jù)的標(biāo)準(zhǔn)化水平。此外，還可以將傳統(tǒng)的分割方法、語(yǔ)義分割方法和實(shí)例分割方法深入結(jié)合，以應(yīng)對(duì)更復(fù)雜的分割情況。最終的目標(biāo)是實(shí)現(xiàn)小麥籽粒的高精度、快速和準(zhǔn)確的分割，為小麥質(zhì)量等級(jí)劃分提供科學(xué)依據(jù)。這需要不斷優(yōu)化算法，并繼續(xù)開(kāi)展研究，以推動(dòng)該領(lǐng)域的發(fā)展和應(yīng)用。