呂振虎，許新征，2*，張芳艷

（1.中國礦業(yè)大學計算機科學與技術(shù)學院，江蘇徐州 221116；2.光電技術(shù)與智能控制教育部重點實驗室（蘭州交通大學），蘭州 730070；3.寧夏大學智能工程與技術(shù)學院，寧夏中衛(wèi) 755000）

0 引言

注意力機制模塊是計算機視覺領(lǐng)域研究中的一個重要方向，可以使卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network，CNN）模型增強對特征圖中關(guān)鍵信息的學習與理解，被廣泛嵌入卷積神經(jīng)網(wǎng)絡模型中，用于提高模型在圖像分類［1-2］、目標檢測［3-4］和語義分割［5］等領(lǐng)域的應用精度。對于研究注意力機制模塊問題而言，由于將其嵌入模型會增加模型所需要的計算資源，所以如何在提高模型應用精度的同時，減少增加的參數(shù)和計算量是當前研究的一個熱點。

在注意力機制模塊研究中，最經(jīng)典的是Hu 等［6］2018 年提出的擠壓激勵（Squeeze and Excitation，SE）模塊，因為卷積層局部感受野的限制，模型只能學習到特征圖局部位置的依賴關(guān)系，而SE 模塊通過全局平均池化獲得每個特征圖的全局信息，使用全連接層學習特征圖之間的全局依賴關(guān)系。SE 模塊使用全局平均池化和縮減率減小增加的參數(shù)和計算量，目前仍被廣泛的使用。2018 年，Park 等［7］提出了瓶頸注意力模塊（Bottleneck Attention Module，BAM），BAM 在SE 的通道注意力基礎(chǔ)之上添加了使用卷積模塊操作的空間注意力機制，兩者并行執(zhí)行。BAM 由于并行執(zhí)行兩種注意力機制，雖相比SE 進一步提高了模型的應用精度，但增加的參數(shù)和計算量比SE 更多。由于BAM 的缺點，Woo 等［8］在同年提出了卷積塊注意力模塊（Convolutional Block Attention Module，CBAM），CBAM 是BAM 的改進版本，將BAM 中并行執(zhí)行的兩種維度注意力機制分為兩個獨立的部分。CBAM先使用通道注意力增強特征圖，然后將增強后的特征圖輸入到空間注意力模塊中進行處理。在空間注意力模塊中CBAM 與BAM 不同的是先使用平均池化和全局池化提取特征圖的全局信息，然后使用一個卷積層進行處理，而BAM 使用了四個卷積層，因此CBAM 相比BAM 減小了向模型中增加的參數(shù)量和計算量。

隨著研究的進展，Wang 等［9］在2020 年提出了高效通道注意力（Efficient Channel Attention，ECA）模塊。Wang 等認為SE 模塊中使用縮減率降維的方法會妨礙特征圖通道之間的信息交互，ECA 模塊通過自適應大小的一維卷積實現(xiàn)無降維的局部通道交互策略。因為ECA 模塊使用了自適應的一維卷積，所以模塊的復雜度相比SE 模塊、BAM 和CBAM 更低一些，同時增加的參數(shù)量和計算量更小。Hou 等［10］在2021年提出了協(xié)調(diào)注意力（Coordinate Attention，CA）模塊。由于SE 模塊忽略了特征圖中感興趣目標的位置信息，而位置信息對生成空間注意力圖很重要，所以CA 模塊對每一張?zhí)卣鲌D沿橫向和縱向分別使用平均池化獲取不同方向上的信息，然后將獲得的信息進行拼接操作，使用1×1 卷積進行降維，將降維后的信息沿著空間維度進行分解，之后分別使用1×1卷積進行升維操作，最后將獲得的信息與特征圖對應相乘。使用CA 模塊增加的參數(shù)和計算量相比SE 模塊更少，提高的模型的應用精度更高一些。

根據(jù)上述內(nèi)容，注意力機制模塊研究存在兩個問題：1）怎樣在使用注意力機制模塊提高模型應用精度的同時，增加更少的參數(shù)和計算量；2）從SE 的通道注意力到BAM 的空間注意力，與后來的CA 模塊的位置信息，表明特征圖中可能仍存在著沒有被利用的信息。

針對上述問題，本文在逐維度卷積高效網(wǎng)絡（Dimension-wise convolutions for efficient Network，DiceNet）［11］使用的卷積方法基礎(chǔ)上提出了基于擠壓激勵的輕量化注意力機制模塊：高度維度擠壓激勵（Height Dimensional SE，HDSE）模塊和寬度維度擠壓激勵（Width Dimensional SE，WDSE）模塊，分別在特征圖的高度維度和寬度維度上進行擠壓激勵操作，捕獲特征圖的信息，在提高模型應用精度的同時，增加比SE 模塊、CA 模塊、CBAM 更少的參數(shù)和計算量，同時說明了特征圖中仍存在著可利用的信息。

1 相關(guān)理論

1.1 DiceNet的卷積方法

卷積核的可接受域有限，在通道維度上無法獲得特征圖全部有用的信息。DiceNet 不再局限于常規(guī)的通道維度卷積，它采用多維度卷積操作，對每一層的特征圖分別在通道維度、高度維度和寬度維度上做卷積提取特征信息，進而提高模型的精度，三種卷積類型如圖1 所示。圖1 中的H和W表示特征圖的高和寬，D和n分別表示特征圖通道數(shù)目和卷積核尺寸。圖1（b）、（c）中的卷積核通道數(shù)目分別與特征圖的高度和寬度的大小相等。

圖1 三種類型的卷積Fig.1 Three types of convolutions

DiceNet 使用多維度卷積操作證明了在特征圖的高度維度和寬度維度上存在模型可用的信息，為本文的方法提供了重要的理論支持。

1.2 擠壓激勵操作

擠壓激勵操作由Hu 等［6］于2018 年提出。由于標準的卷積操作無法捕獲特征圖通道之間的關(guān)系信息，SE 模塊通過全局池化和全連接層構(gòu)建特征圖通道間的相互依賴關(guān)系，使用全局平均池化使網(wǎng)絡模型捕獲特征圖通道的全局信息，這是卷積操作無法做到的。

如圖2 所示，SE 模塊主要由三部分組成：擠壓操作（squeeze）、激勵操作（excitation）以及特征圖重標定（scale）操作，完成對特征圖通道自適應關(guān)系的重新校準。首先使用全局平均池化進行擠壓操作提取每個特征圖通道的全局信息，如式（1）所示：

圖2 SE模塊Fig.2 SE module

其中：Fsq表示擠壓操作；U表示特征圖張量；c表示通道索引。

然后，將擠壓操作得到的特征向量Z輸入到激勵操作中，如式（2）所示：

其中：Fex表示激勵操作；ω1與ω2分別是全連接層或者卷積層的降維權(quán)值與升維權(quán)值；σ表示Sigmoid 函數(shù)；δ代表線性整流函數(shù)（Rectified Linear Unit，ReLU）。

最后，將通道權(quán)值向量S與U對應相乘，得到重標定的特征圖，將重標定的特征圖輸入下一卷積層繼續(xù)執(zhí)行。

上述就是擠壓激勵操作的全部過程。當前，作為經(jīng)典的注意力機制模塊，擠壓激勵操作仍被廣泛使用于圖像分類、目標檢測等領(lǐng)域中。

2 HD-SE和WD-SE模塊

卷積神經(jīng)網(wǎng)絡模型卷積層輸出的特征圖U∈RC×H×W是一個包含深度、高度與寬度的三維張量。常規(guī)的擠壓激勵操作是在深度維度上，以每個特征圖的通道為單位去處理。而HD-SE 模塊是從特征圖的高度維度去捕獲有用的信息，增強高度維度上的每一個特征圖張量。在將特征圖輸入到HD-SE 模塊進行操作之前，首先將特征圖按照高度維度轉(zhuǎn)置成U1∈RH×C×W。然后，HD-SE 模塊使用全局平均池化對U1進行擠壓操作，得到Y(jié)∈R1×1×H特征向量；之后使用降維卷積模塊對Y進行降維得到Y(jié)1∈R1×1×H/r，使用升維卷積模塊對Y1進行升維得到轉(zhuǎn)置后的每個特征圖的權(quán)重系數(shù)Y2∈R1×1×H；將Y2與U1對應相乘，得到重標定的轉(zhuǎn)置特征圖；最后，將懲罰系數(shù)β運用到擠壓激勵后的U1中，U1恢復到RC×H×W維度，輸入到下一個卷積層。

WD-SE 模塊與HD-SE 模塊的不同之處是WD-SE 模塊是對在寬度維度上轉(zhuǎn)置后的特征圖進行操作。WD-SE 模塊首先將特征圖轉(zhuǎn)置成U2∈RW×H×C，之后在U2上使用全局平均池化，得到Z∈R1×1×W，先后使用升維卷積塊和降維卷積塊，得到轉(zhuǎn)置后的每個特征圖的權(quán)重系數(shù)，將權(quán)重系數(shù)與U2對應相乘，將處理后的特征圖乘以懲罰系數(shù)β。最后將U2轉(zhuǎn)置回原來的維度，輸入到下一個卷積層。

HD-SE 模塊的整個處理過程，如圖3 所示。轉(zhuǎn)置之前，特征圖的高度為H，寬度為W，個數(shù)為C，在使用tran-H 操作在高度維度上轉(zhuǎn)置之后，特征圖高度變?yōu)镃，寬度不變，個數(shù)變?yōu)镠。Fsq（·）、Fex（·，ω）和Fscale（·，·）與圖2 中的含義相同，分別表示擠壓操作、激勵操作和特征重標定操作。?符號表示相乘操作，β表示懲罰系數(shù)。因為WD-SE 模塊與HD-SE 模塊極為相似，此處不再給出其處理過程。

圖3 HD-SE模塊的流程Fig.3 Flow of HD-SE module

HD-SE 模塊或者WD-SE 模塊都對特征圖進行轉(zhuǎn)置處理后進行擠壓激勵操作。因為轉(zhuǎn)置操作會破壞掉特征圖正常的結(jié)構(gòu)信息，將轉(zhuǎn)置后的特征圖進行擠壓激勵操作，在得到對模型有用的信息的同時，會獲取到一些干擾、無用的特征。所以，本文提出的HD-SE 和WD-SE 模塊中使用懲罰系數(shù)β，能削弱特征圖轉(zhuǎn)置操作帶來的干擾。在模型訓練測試初始階段，懲罰系數(shù)β在削弱無用信息的同時，也會對特征圖潛在的有用特征造成影響，但隨著模型的不斷學習，這種影響會越來越小。

當前，主流的卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)包括簡單的卷積塊的堆疊，如VGGNet（Visual Geometry Group Network）［12］；殘差連接結(jié)構(gòu)，如ResNet（Residual Network）［13］；深度卷積和逐點卷積結(jié)構(gòu)，如MobileNetV1［14］；在MobileNetV1 和ResNet 的基礎(chǔ)上提出的倒殘差結(jié)構(gòu)，如MobileNetV2［15］。本文將提出的HDSE 和WD-SE 模塊分別嵌入這四種不同的結(jié)構(gòu)中。為了與SE 模塊、CA 模塊和CBAM 公平比較，HD-SE 與WD-SE 的嵌入方式是單獨嵌入，不將兩者級聯(lián)或者并聯(lián)嵌入，以驗證其作用，具體結(jié)構(gòu)如圖4 所示。圖4（a）和（b）分別是HD-SE、WD-SE 的詳細結(jié)構(gòu)，Transpose 表示轉(zhuǎn)置操作，GAP（Global Average Pooling）表示全局平均池化操作；圖4（c）～（f）中HDSE/WD-SE 表示嵌入HD-SE 或者WD-SE。在VGGNet 簡單的卷積塊堆疊結(jié)構(gòu)中，一個完整的卷積操作包括卷積+BatchNorm+ReLU，所以本文將HD-SE、WD-SE 嵌入ReLU 函數(shù)之后，如圖4（c）所示；在ResNet 殘差結(jié)構(gòu)中，一個殘差塊中包括2 個卷積操作，將HD-SE、WD-SE 嵌入于第2 個卷積操作之后，能夠獲得更多的特征圖隱藏的信息，如圖4（d）所示；在MobileNetV1 深度卷積和逐點卷積結(jié)構(gòu)中，深度卷積是通過廉價的操作提取特征，而逐點卷積作用是融合特征圖中的信息，逐點卷積之后的特征圖包含的信息比深度卷積處理后的更豐富，所以將HD-SE、WD-SE 嵌入到逐點卷積之后更為合適，如圖4（e）所示；在MobileNetV2 的倒殘差結(jié)構(gòu)中，使用文獻［10］在結(jié)構(gòu)中嵌入的位置，如圖4（f）所示。

圖4 HD-SE與WD-SE模塊的嵌入位置Fig.4 Embedding positions of HD-SE and WD-SE modules

3 實驗與結(jié)果分析

3.1 實驗設(shè)置

本文實驗環(huán)境為Xeon Gold 5120 處理器，NVIDIA GeForce RTX 2080 11 GB 顯存，軟件環(huán)境為Ubuntu16.04，CUDA10.1。使用PyTorch1.4.0［16］深度學習框架，在CIFAR10/100［17］分類數(shù)據(jù)集上進行驗證，CIFAR10/100數(shù)據(jù)集包含50000張訓練圖片和10000張測試圖片，分別含有10/100個類別，在VGGNet、ResNet的子模型VGG16、ResNet56和MobileNetV1、MobileNetV2模型上進行實驗驗證。

常規(guī)的卷積神經(jīng)網(wǎng)絡，如VGG16、ResNet56 網(wǎng)絡中，使用SE 模塊時，由于網(wǎng)絡模型卷積層輸出的特征圖通道數(shù)遠遠大于縮減率r，所以縮減率通常根據(jù)經(jīng)驗設(shè)置為4、16、32 或64。本文提出的HD-SE 模塊與WD-SE 模塊的操作對象是將特征圖在高度維度和寬度維度轉(zhuǎn)置后的特征張量，轉(zhuǎn)置后的特征圖數(shù)目為H（H=W）。在上述網(wǎng)絡模型中，隨著卷積層數(shù)的增加，特征圖的高和寬是遞減的，會出現(xiàn)轉(zhuǎn)置后的特征圖通道數(shù)目小于縮減率最小值（r=4）的情況，所以當H與W小于縮減率r時，本文設(shè)定r等于H。

本文將提出的HD-SE 和WD-SE 與SE、CA、CBAM 和ECA模塊在測試精度、增加的參數(shù)量和計算量三類指標上進行比較。為了能夠讓上述四種模型對CIFAR10 和CIFAR100 進行訓練測試，本文使用文獻［18］提供的VGG16 和ResNet56 變體模型，文獻［19］提供的MobileNetV1 和MobileNetV2 變體模型，以適合CIFAR 數(shù)據(jù)集32×32 分辨率大小的圖片。

基本的訓練參數(shù)設(shè)置與文獻［18］相同。VGG16、ResNet56 和MobileNetV2 在CIFAR10 和CIFAR100 數(shù)據(jù)集上，訓練160 個epoch，訓練批次和測試批次設(shè)為64，初始化學習率設(shè)為0.1，并在第80 和第120 個epoch 減少1/10，動量設(shè)置為0.9，權(quán)值衰減設(shè)為0.000 1。在MobileNetV1 上，訓練100個epoch，學習率初始化與VGG16、ResNet56 和MobileNetV2相同，在第50 和第75 個epoch 減少1/10。使用Cross-Entropy損失函數(shù)，利用隨機梯度下降（Stochastic Gradient Descent，SGD）學習方法。將簡單的數(shù)據(jù)增強操作，如隨機裁剪和隨機水平翻轉(zhuǎn)運用于訓練集。為了避免參數(shù)動蕩帶來的精度誤差，每個實驗本文都運行3 次，取3 次的平均值作為最終結(jié)果。為了讓HD-SE 和WD-SE 起到更好的作用，在VGG16 和MobileNetV1中，懲罰系數(shù)β，設(shè)置為0.1；在ResNet56、MobileNetV2 設(shè)置為1。

3.2 實驗結(jié)果

1）VGG16。

將SE、CA、CBAM、ECA 和本文提出的HD-SE、WD-SE 分別嵌入VGG16 中，在上述設(shè)置下進行實驗，實驗結(jié)果如表1和圖5 所示。在CIFAR10 上：與SE、CA 和CBAM 相比，HDSE 的測試精度提升了0.17、0.11、0.26 個百分點；參數(shù)量降低了0.9×106、0.18×106、0.29×106；計算量降低了0.9×106、1.07×106、0.27×106。在CIFAR100 上：與SE、CA 和CBAM 相比，WD-SE 的測試精度提升了0.77、0.63、1.53 個百分點；計算量降低了0.9×106、1.07×106、0.27×106；HD-SE 測試精度為73.81%，雖比WD-SE 測試精度差，但比其余模塊的測試精度好。HD-SE、WD-SE 與ECA 相比較，參數(shù)量和計算量相似，但HD-SE 和WD-SE 的測試精度比ECA 高。六種模塊的訓練損失與測試精度如圖5 所示。

圖5 六種模塊在VGG16上訓練損失與測試精度的比較Fig.5 Comparison of training loss and test accuracy of six modules on VGG16

表1 VGG16在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.1 Results of VGG16 on CIFAR10/100 datasets

2）ResNet56。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE 和WD-SE 模塊按照圖4（d）嵌入ResNet56 模型中，實驗結(jié)果如表2 和圖6 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE 相比，測試精度提升了0.09 個百分點；與CA、CBAM 相比，測試精度降低了0.3、0.14 個百分點；與SE、CA 相比，參數(shù)量降低了0.02×106；與SE、CA、CBAM 相比，計算量降低了0.01×106、0.46×106、1.18×106；WD-SE 模塊測試精度為93.84%，與HDSE 效果相近。WD-SE 模塊在CIFAR100 上的結(jié)果：與SE、CA、CBAM 相比，測試精度提升了0.27、0.31、0.28 個百分點；參數(shù)量降低了0.03×106、0.03×106、0.01×106；計算量與CIFAR10 下的HD-SE 相同；HD-SE 測試精度為72.39%，與WD-SE 相比，降低了0.14 個百分點。HD-SE 和WD-SE 增加的參數(shù)量和計算量與ECA 相比，增加了0.01×106，但在CIFAR10 上三種模塊實現(xiàn)的結(jié)果相似。在CIFAR100 上，與ECA 相比，HD-SE 和WD-SE 實現(xiàn)了更好的測試精度。訓練損失和測試精度詳情如圖6 所示。

圖6 六種模塊在ResNet56上訓練損失與測試精度的比較Fig.6 Comparison of training loss and test accuracy of six modules on ResNet56

表2 ResNet56在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.2 Results of ResNet56 on CIFAR10/100 datasets

3）MobileNetV1。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE、WDSE 模塊分別嵌入MobileNetV1 逐點卷積之后進行實驗。實驗結(jié)果如表3 和圖7 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE、CA、CBAM 和ECA 相比，測試精度提升了0.31、0.27、0.46、0.65 個百分點；與SE、CA 和CBAM 相比，參數(shù)量降低了1.92×106、0.37×106、0.48×106；計算量降低了1.91×106、1.66×106、0.17×106；與ECA 相比，計算量增加了0.01×106。WD-SE 實現(xiàn)了91.92%的測試精度，比HD-SE 低，但比其余模塊高一些。在CIFAR100 上：HD-SE 和WD-SE 比其余模塊實現(xiàn)了更好的結(jié)果，其中HD-SE 的測試精度比WD-SE高0.15 個百分點，本文提出的HD-SE 和WD-SE 增加的參數(shù)量和計算量比SE、CA 和CBAM 都要低。訓練損失和測試精度如圖7 所示。

圖7 六種模塊在MobileNetV1上訓練損失與測試精度的比較Fig.7 Comparison of training loss and test accuracy of six modules on MobileNetV1

表3 MobileNetV1在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.3 Results of MobileNetV1 on CIFAR10/100 datasets

4）MobileNetV2。

將SE、CA、CBAM、ECA 模塊和本文提出的HD-SE 和WD-SE 模塊分別嵌入MobileNetV2 倒殘差塊（Inverted Residuals Block）中的3×3 深度卷積之后，根據(jù)上述設(shè)置進行的實驗結(jié)果如表4 所示。HD-SE 模塊在CIFAR10 上的結(jié)果：與SE 相比，測試精度提升了0.13 個百分點；與CA、ECA 相比，測試精度降低了0.07 和0.18 個百分點；與SE 相比，參數(shù)量、計算量降低了2.25×106、2.26×106；WD-SE 的測試精度為93.43%，與SE 相似。在CIFAR100 上：HD-SE 的測試精度為75.01%，比WD-SE 降低了0.14 個百分點。訓練損失和測試精度如圖8 所示。

表4 MobileNetV2在CIFAR10/100數(shù)據(jù)集上的結(jié)果Tab.4 Results of MobileNetV2 on CIFAR10/100 datasets

圖8 六種模塊在MobileNetV2上訓練損失與測試精度的比較Fig.8 Comparison of training loss and test accuracy of six modules on MobileNetV2

3.3 實驗結(jié)果分析

從實驗結(jié)果可看出：本文提出的HD-SE 與WD-SE 模塊能夠增強網(wǎng)絡模型的學習能力，提高模型應用精度。嵌入HD-SE 與WD-SE 模塊對網(wǎng)絡增加的參數(shù)和計算量比SE、CA模塊和CBAM 要少得多，可以忽略不計。在VGG16 與MobileNetV1 中，本文設(shè)置的懲罰系數(shù)β為0.1，而在ResNet56 殘差網(wǎng)絡和MobileNetV2 中設(shè)為1。通過實驗發(fā)現(xiàn)，β為1 時，VGG16 與MobileNetV1 在CIFAR10/100 數(shù)據(jù)上的精度比SE 與CA 模塊低，甚至還會低于基礎(chǔ)模型的精度；同樣，在殘差網(wǎng)絡ResNet56 和MobileNetV2 中，當β為0.1 時，仍然會低于基礎(chǔ)模型的精度。VGG16 和MobileNetV1 兩個模型與ResNet56 和MobileNetV2 的不同之處，是前兩者沒有殘差連接，而后兩者有殘差連接。似乎是因為殘差連接保留了原特征圖的結(jié)構(gòu)信息，而不需要懲罰系數(shù)，所以在ResNet56 和MobileNetV2 中懲罰系數(shù)設(shè)為1。在VGG16 與ResNet56 模型中，HD-SE、WD-SE 模塊會加速模型的收斂，比SE、CA、CBAM和ECA 模塊要好，如圖5～6 所示。在MobileNetV1 中，HDSE、WD-SE 使網(wǎng)絡最后的收斂損失比SE、CA、CBAM 大，但實現(xiàn)的測試精度相似，甚至更好。這是因為在特征圖的高度維度與寬度維度進行擠壓激勵雖能夠捕獲對模型有用的信息，但同時破壞了特征圖的正常的結(jié)構(gòu)信息，導致模型收斂損失較大。

HD-SE 與WD-SE 模塊在MobileNetV2 上的實驗結(jié)果表明，與SE、CA 模塊和CBAM 相比，雖然測試精度降低了，但減少了參數(shù)量和計算量；與ECA 模塊相比，HD-SE 和WD-SE 模塊不具備優(yōu)勢，可能是因為MobileNetV2 中的多種結(jié)構(gòu)（深度卷積、逐點卷積、殘差連接）在提取原圖片特征時，提高了特征圖信息的復雜性；HD-SE 與WD-SE 模塊中的轉(zhuǎn)置操作又可能會進一步加深特征圖信息的復雜性，使其阻礙了更多有用信息的提取。所以，HD-SE 與WD-SE 模塊在MobileNetV2上的性能比ECA 模塊稍差。

實驗結(jié)果表明：與SE、CA、CBAM 和ECA 模塊相比，本文所提HD-SE 和WD-SE 模塊在結(jié)構(gòu)簡單的卷積神經(jīng)網(wǎng)絡模型，如VGG、ResNet 和MobileNetV1 中更具優(yōu)勢。同時可以看出，在一般的普通卷積塊的堆疊或加上殘差連接的網(wǎng)絡模型中適合使用WD-SE 模塊，在如MobileNetV1 結(jié)構(gòu)的模型中適合使用HD-SE 模塊。

4 結(jié)語

本文為了解決注意力機制模塊研究領(lǐng)域存在的問題，以DiceNet 中的逐維度卷積為理論基礎(chǔ)，借鑒擠壓激勵方法，設(shè)計了基于擠壓激勵的兩種輕量化注意力機制模塊。通過實驗結(jié)果表明，本文提出的模塊是可行的。未來將在更多圖像視覺上進行實驗，進一步優(yōu)化其結(jié)構(gòu)。